Er eitthvað vit í þessari samsetningu?


Höfundur
Rafurmegni
Fiktari
Póstar: 82
Skráði sig: Fim 15. Okt 2020 14:53
Reputation: 26
Staða: Ótengdur

Er eitthvað vit í þessari samsetningu?

Pósturaf Rafurmegni » Mán 18. Nóv 2024 14:17

Mig langar til að setja saman tölvu fyrir Proxmox server til að keyra alls konar þjónustur og mögulega leika mér með local LLMs. Mig langar til að lenda þessu í kringum 140 þúsund og eiga möguleika á uppfærslu síðar. Ég setti bara inn eitthvað skjákort (var ekki viss um að móðurborðið gæti drifið skjá).

Dæmi um þjónustur: docker container fyrir hitt og þetta, home assistant, wireguard, gagnagrunnar, nextcloud, paperless-ngx, jellyfin etc.

Hvernig mynduð þið snúa ykkur fyrir minna en 140k ?


BUILD/FF1DE

kveðja,
Megni



Skjámynd

worghal
Kóngur
Póstar: 6417
Skráði sig: Sun 11. Mar 2007 14:00
Reputation: 474
Staðsetning: fyrir aftan þig
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf worghal » Mán 18. Nóv 2024 14:21

ætti að vera meira en nóg til að keyra þær þjónustur sem þig langar til :happy


CPU: Intel Core i7 12700KF MB: Gigabyte Z690 Gaming X GPU: EVGA RTX 3080 FTW3 ULTRA 12Gb RAM: Corsair Vengeance RGB Pro 2x16Gb 3600Mhz CPU Cooler: Noctua NH-D14 Sound: Topping DX7s - HD380PRO - Yamaha HS7 CASE: Corsair 4000D Airflow


Sinnumtveir
Gúrú
Póstar: 512
Skráði sig: Fim 28. Sep 2017 09:44
Reputation: 163
Staðsetning: 105
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf Sinnumtveir » Mán 18. Nóv 2024 14:42

Rafurmegni skrifaði:Mig langar til að setja saman tölvu fyrir Proxmox server til að keyra alls konar þjónustur og mögulega leika mér með local LLMs. Mig langar til að lenda þessu í kringum 140 þúsund og eiga möguleika á uppfærslu síðar. Ég setti bara inn eitthvað skjákort (var ekki viss um að móðurborðið gæti drifið skjá).

Dæmi um þjónustur: docker container fyrir hitt og þetta, home assistant, wireguard, gagnagrunnar, nextcloud, paperless-ngx, jellyfin etc.

Hvernig mynduð þið snúa ykkur fyrir minna en 140k ?


BUILD/FF1DE

kveðja,
Megni


Þú þarft ekki skjákort. Þú getir fengið örgjörvann ódýrari. Þú getur fengið 3600Mhz minni fyrir sama pening. Sýnist kælingin vera á 3500.

Hef ekki skoðað rest :)



Skjámynd

gnarr
Kóngur
Póstar: 6499
Skráði sig: Lau 29. Mar 2003 19:54
Reputation: 316
Staðsetning: Reykjavík
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf gnarr » Mán 18. Nóv 2024 14:52

Sinnumtveir skrifaði:Þú þarft ekki skjákort.


Ég hef bara sjaldan séð betra dæmi um eitthvað sem maður þarf helst öflugt skjákort í. :hmm


"Give what you can, take what you need."


TheAdder
Geek
Póstar: 825
Skráði sig: Mið 09. Des 2020 11:22
Reputation: 228
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf TheAdder » Mán 18. Nóv 2024 15:09

Ég myndi sleppa þessu skjákorti, G týpan af Ryzen er APU, sem sagt með skjástýringu. Ég myndi athuga seinna meir með gott transcoding kort fyrir jellyfin, GT kort gera ekkert í því.


NZXT 710i - Ryzen 7 5800X - 32GiB 3200 M/T RAM - X570 Aorus Ultra - PowerColor Radeon RX 7900 XTX - 1TB Samsung 970 Pro, 2TB Samsung 970 Evo

Skjámynd

gnarr
Kóngur
Póstar: 6499
Skráði sig: Lau 29. Mar 2003 19:54
Reputation: 316
Staðsetning: Reykjavík
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf gnarr » Mán 18. Nóv 2024 15:23

Hann talar um að hann vilji keyra LLM á þessarri vél. Það er himinn og haf á hraða mun að keyra LLM á CPU vs GPU.

Hinsvegar myndi ég reyna að fara í töluvert öflugra kort en þetta.
Síðast breytt af gnarr á Mán 18. Nóv 2024 15:23, breytt samtals 1 sinni.


"Give what you can, take what you need."


Höfundur
Rafurmegni
Fiktari
Póstar: 82
Skráði sig: Fim 15. Okt 2020 14:53
Reputation: 26
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf Rafurmegni » Mán 18. Nóv 2024 15:42

TheAdder skrifaði:Ég myndi sleppa þessu skjákorti, G týpan af Ryzen er APU, sem sagt með skjástýringu. Ég myndi athuga seinna meir með gott transcoding kort fyrir jellyfin, GT kort gera ekkert í því.


Takk fyrir gagnlegt ráð. Ég sá einmitt fyrir mér að ef eitthvað yrði úr þessum LLM pælingum þá myndi ég velja kort sem hentaði betur



Skjámynd

Baldurmar
FanBoy
Póstar: 798
Skráði sig: Þri 20. Jún 2006 12:07
Reputation: 142
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf Baldurmar » Mán 18. Nóv 2024 15:43

Mynd

5700G -> Intel 13400f - fleiri kjarnar og ódýrari
Taktu bara 1 TB SSD disk, sparar 10k þar, getur svo stækkað þegar þarf
NVMe er overkill í svona.

Slepptu þessu 760GT korti - hjálpar þér ekkert

Farðu svo í betri aflgjafa, Inter-tec er algjör rusl.
Svo er bara að liggja yfir vaktinni og finna Nvidia 3070 skjákort, þau hafa verið í kringum 45þ undanfarið.

Þú þarft skjákort fyrir jellyfin og LLM æfingar.
Síðast breytt af Baldurmar á Mán 18. Nóv 2024 15:45, breytt samtals 1 sinni.


Gigabyte X570 - Ryzen 5900 @ 4.5ghz all core - 5ghz single core - 64gb TridentZ 3400mhz - AMD 7900XTX


Höfundur
Rafurmegni
Fiktari
Póstar: 82
Skráði sig: Fim 15. Okt 2020 14:53
Reputation: 26
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf Rafurmegni » Mán 18. Nóv 2024 18:35

Baldurmar skrifaði:Mynd

5700G -> Intel 13400f - fleiri kjarnar og ódýrari
Taktu bara 1 TB SSD disk, sparar 10k þar, getur svo stækkað þegar þarf
NVMe er overkill í svona.

Slepptu þessu 760GT korti - hjálpar þér ekkert

Farðu svo í betri aflgjafa, Inter-tec er algjör rusl.
Svo er bara að liggja yfir vaktinni og finna Nvidia 3070 skjákort, þau hafa verið í kringum 45þ undanfarið.

Þú þarft skjákort fyrir jellyfin og LLM æfingar.


Takk fyrir góð ráð. Hvaðan er þessi listi sem þú birtir, mér sýnist Vaktin ekki bjóða upp á þennan örgjörva í valkerfinu?
Ef ég myndi vilja setja 40 k í viðbót í þessa vél, hvar myndir þú boozta spekkurnar á því sem þú stakkst upp á? Ég tek svo 3070 kortið notað seinna ;)




Höfundur
Rafurmegni
Fiktari
Póstar: 82
Skráði sig: Fim 15. Okt 2020 14:53
Reputation: 26
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf Rafurmegni » Mán 18. Nóv 2024 19:09

Ég henti spekkunum inn í ChatGPT og fær svipaðar ráðleggingar og frá ykkur expertunum:

Overall Opinion

This build is well-suited for a small Proxmox server handling light-to-moderate virtualization workloads. The major considerations are:

GPU: Likely unnecessary unless for specific tasks like passthrough.
PSU: Could benefit from a more reputable brand.
HDD: Consider a NAS-grade drive for reliability.
Case: You might save some cost here if you don’t need premium aesthetics.

Skjákortið er óþarfi fyrir þessa notkun og úrelt fyrir LLM pælingarnar.
Það er mælt með að fara í aðeins dýrari pælingu og betra PSU.
Kassinn þykir aðeins of fínn fyrir þessa notkun (headless unit).

kv. Megni



Skjámynd

gnarr
Kóngur
Póstar: 6499
Skráði sig: Lau 29. Mar 2003 19:54
Reputation: 316
Staðsetning: Reykjavík
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf gnarr » Mán 18. Nóv 2024 19:58

Það er spurning hvort þú gætir nýtt mining skjákort í LLM acceleration. Það er til haugur af kortum sem voru hönnuð fyrir mining og eru ekki einusinni með skjá tengjum.
Þau eru auðvitað gjörsamlega gagnslaus í tölvuleiki þar sem þú getur ekki tengt skjá við þau, og nánast jafn gagnslaus í mining í dag, þar sem að gpu mining er nokkuð dautt.

Það er oft hægt að finna frekar öflug svona kort fyrir lítinn pening á ebay.


"Give what you can, take what you need."


TheAdder
Geek
Póstar: 825
Skráði sig: Mið 09. Des 2020 11:22
Reputation: 228
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf TheAdder » Mán 18. Nóv 2024 23:28

Tesla kortin frá nVidia eru hugmynd fyrir svona lagað, LLM og transcoding pælingar.


NZXT 710i - Ryzen 7 5800X - 32GiB 3200 M/T RAM - X570 Aorus Ultra - PowerColor Radeon RX 7900 XTX - 1TB Samsung 970 Pro, 2TB Samsung 970 Evo

Skjámynd

Langeygður
Nörd
Póstar: 134
Skráði sig: Fim 12. Des 2019 00:04
Reputation: 34
Staðsetning: 101
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf Langeygður » Þri 19. Nóv 2024 07:16

Ryzen 5 8600G AM5 áttkjarna örgjörvi með SMT
https://kisildalur.is/category/9/products/3420
34.500kr.
ASRock B650M-HDV/M.2 µATX AM5 móðurborð
https://kisildalur.is/category/8/products/3011
24.500kr.
G.Skill 64GB (2x32GB) Ripjaws S5 6000MHz DDR5
https://kisildalur.is/category/10/products/2937
39.500kr.

Annað dæmi, örgjörvi er betri. Með betra skjákorti og með NPU fyrir LLM.
Með upgrade mögileika líka.
Síðast breytt af Langeygður á Þri 19. Nóv 2024 07:30, breytt samtals 2 sinnum.


Fractal Design Pop Air - Intel I9-9900K - 32GB DDR4 3600Mhz - ASUS TUF Z390M-PRO GAMING - Asus TUF RTX4080 OC 16GB Gaming - Samsung 970 PRO 500GB M.2 - Samsung 990 EVO 2TB M.2 - Samsung 870 EVO 4TB SSD - Seagate 4TB HDD


B0b4F3tt
Vélbúnaðarníðingur
Póstar: 314
Skráði sig: Þri 05. Ágú 2014 12:11
Reputation: 64
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf B0b4F3tt » Þri 19. Nóv 2024 08:10

Fæ að fylgjast með. Er einmitt í sömu pælingum líka með proxmox server. Er reyndar að spá í þessum örgjörva, 9700X https://kisildalur.is/category/9/products/3613
og þá taka 128gíg í minni.




Höfundur
Rafurmegni
Fiktari
Póstar: 82
Skráði sig: Fim 15. Okt 2020 14:53
Reputation: 26
Staða: Ótengdur

Re: Er eitthvað vit í þessari samsetningu?

Pósturaf Rafurmegni » Þri 19. Nóv 2024 11:08

B0b4F3tt skrifaði:Fæ að fylgjast með. Er einmitt í sömu pælingum líka með proxmox server. Er reyndar að spá í þessum örgjörva, 9700X https://kisildalur.is/category/9/products/3613
og þá taka 128gíg í minni.


Það skemmir ekki að hafa "5. kynslóðar Zen hönnun" :)