spjallid.is

Mig langar til að setja saman tölvu fyrir Proxmox server til að keyra alls konar þjónustur og mögulega leika mér með local LLMs. Mig langar til að lenda þessu í kringum 140 þúsund og eiga möguleika á uppfærslu síðar. Ég setti bara inn eitthvað skjákort (var ekki viss um að móðurborðið gæti drifið skjá).

Dæmi um þjónustur: docker container fyrir hitt og þetta, home assistant, wireguard, gagnagrunnar, nextcloud, paperless-ngx, jellyfin etc.

Hvernig mynduð þið snúa ykkur fyrir minna en 140k ?


BUILD/FF1DE

kveðja,
Megni

ætti að vera meira en nóg til að keyra þær þjónustur sem þig langar til

Rafurmegni skrifaði:Mig langar til að setja saman tölvu fyrir Proxmox server til að keyra alls konar þjónustur og mögulega leika mér með local LLMs. Mig langar til að lenda þessu í kringum 140 þúsund og eiga möguleika á uppfærslu síðar. Ég setti bara inn eitthvað skjákort (var ekki viss um að móðurborðið gæti drifið skjá).

Dæmi um þjónustur: docker container fyrir hitt og þetta, home assistant, wireguard, gagnagrunnar, nextcloud, paperless-ngx, jellyfin etc.

Hvernig mynduð þið snúa ykkur fyrir minna en 140k ?


BUILD/FF1DE

kveðja,
Megni

Þú þarft ekki skjákort. Þú getir fengið örgjörvann ódýrari. Þú getur fengið 3600Mhz minni fyrir sama pening. Sýnist kælingin vera á 3500.

Hef ekki skoðað rest

Sinnumtveir skrifaði:Þú þarft ekki skjákort.

Ég hef bara sjaldan séð betra dæmi um eitthvað sem maður þarf helst öflugt skjákort í.

Ég myndi sleppa þessu skjákorti, G týpan af Ryzen er APU, sem sagt með skjástýringu. Ég myndi athuga seinna meir með gott transcoding kort fyrir jellyfin, GT kort gera ekkert í því.

Hann talar um að hann vilji keyra LLM á þessarri vél. Það er himinn og haf á hraða mun að keyra LLM á CPU vs GPU.

Hinsvegar myndi ég reyna að fara í töluvert öflugra kort en þetta.

TheAdder skrifaði:Ég myndi sleppa þessu skjákorti, G týpan af Ryzen er APU, sem sagt með skjástýringu. Ég myndi athuga seinna meir með gott transcoding kort fyrir jellyfin, GT kort gera ekkert í því.

Takk fyrir gagnlegt ráð. Ég sá einmitt fyrir mér að ef eitthvað yrði úr þessum LLM pælingum þá myndi ég velja kort sem hentaði betur

5700G -> Intel 13400f - fleiri kjarnar og ódýrari
Taktu bara 1 TB SSD disk, sparar 10k þar, getur svo stækkað þegar þarf
NVMe er overkill í svona.

Slepptu þessu 760GT korti - hjálpar þér ekkert

Farðu svo í betri aflgjafa, Inter-tec er algjör rusl.
Svo er bara að liggja yfir vaktinni og finna Nvidia 3070 skjákort, þau hafa verið í kringum 45þ undanfarið.

Þú þarft skjákort fyrir jellyfin og LLM æfingar.

Baldurmar skrifaði:

5700G -> Intel 13400f - fleiri kjarnar og ódýrari
Taktu bara 1 TB SSD disk, sparar 10k þar, getur svo stækkað þegar þarf
NVMe er overkill í svona.

Slepptu þessu 760GT korti - hjálpar þér ekkert

Farðu svo í betri aflgjafa, Inter-tec er algjör rusl.
Svo er bara að liggja yfir vaktinni og finna Nvidia 3070 skjákort, þau hafa verið í kringum 45þ undanfarið.

Þú þarft skjákort fyrir jellyfin og LLM æfingar.

Takk fyrir góð ráð. Hvaðan er þessi listi sem þú birtir, mér sýnist Vaktin ekki bjóða upp á þennan örgjörva í valkerfinu?
Ef ég myndi vilja setja 40 k í viðbót í þessa vél, hvar myndir þú boozta spekkurnar á því sem þú stakkst upp á? Ég tek svo 3070 kortið notað seinna

Ég henti spekkunum inn í ChatGPT og fær svipaðar ráðleggingar og frá ykkur expertunum:

Overall Opinion

This build is well-suited for a small Proxmox server handling light-to-moderate virtualization workloads. The major considerations are:

GPU: Likely unnecessary unless for specific tasks like passthrough.
PSU: Could benefit from a more reputable brand.
HDD: Consider a NAS-grade drive for reliability.
Case: You might save some cost here if you don’t need premium aesthetics.

Skjákortið er óþarfi fyrir þessa notkun og úrelt fyrir LLM pælingarnar.
Það er mælt með að fara í aðeins dýrari pælingu og betra PSU.
Kassinn þykir aðeins of fínn fyrir þessa notkun (headless unit).

kv. Megni

Það er spurning hvort þú gætir nýtt mining skjákort í LLM acceleration. Það er til haugur af kortum sem voru hönnuð fyrir mining og eru ekki einusinni með skjá tengjum.
Þau eru auðvitað gjörsamlega gagnslaus í tölvuleiki þar sem þú getur ekki tengt skjá við þau, og nánast jafn gagnslaus í mining í dag, þar sem að gpu mining er nokkuð dautt.

Það er oft hægt að finna frekar öflug svona kort fyrir lítinn pening á ebay.

Tesla kortin frá nVidia eru hugmynd fyrir svona lagað, LLM og transcoding pælingar.

Ryzen 5 8600G AM5 áttkjarna örgjörvi með SMT
https://kisildalur.is/category/9/products/3420
34.500kr.
ASRock B650M-HDV/M.2 µATX AM5 móðurborð
https://kisildalur.is/category/8/products/3011
24.500kr.
G.Skill 64GB (2x32GB) Ripjaws S5 6000MHz DDR5
https://kisildalur.is/category/10/products/2937
39.500kr.

Annað dæmi, örgjörvi er betri. Með betra skjákorti og með NPU fyrir LLM.
Með upgrade mögileika líka.

Fæ að fylgjast með. Er einmitt í sömu pælingum líka með proxmox server. Er reyndar að spá í þessum örgjörva, 9700X https://kisildalur.is/category/9/products/3613
og þá taka 128gíg í minni.

B0b4F3tt skrifaði:Fæ að fylgjast með. Er einmitt í sömu pælingum líka með proxmox server. Er reyndar að spá í þessum örgjörva, 9700X https://kisildalur.is/category/9/products/3613
og þá taka 128gíg í minni.

Það skemmir ekki að hafa "5. kynslóðar Zen hönnun"