PC do obliczeń naukowych - 40000 PLN

[espoo]

Dzień dobry,

W ramach badań naukowych potrzebuję mocną maszynę przeznaczoną od obliczeń zmiennoprzecinkowych. Jak do tej pory wykorzystywałem R,  jednak aktualnie planuje rozpocząć badania z uczeniem maszynowym z wykorzystaniem TensorFlow. Dlatego też będę na pewno potrzebował kilku kart graficznych, dobry procesor,  sporo RAMu, solidny dysk SSD oraz HHD(do archiwizacji danych) i oczywiście płytę główną która to wszystko dobrze połączy. Do tego standardowe peryferia - klawiatura, mysz i 2 monitory. 

Jestem na etapie rozpisywania przetargu, dlatego bardziej od konkretnych modeli interesuje mnie jakiej klasy powinny być poszczególne elementy(specyfikacja). I ile na poszczególne elementy powinienem przeznaczyć pieniędzy.  Budżet jakim dysponuje to 40000 PLN. 

Z góry dziękuję za wszelką pomoc.

[helios128]

51 minut temu, espoo napisał:

maszynę przeznaczoną od obliczeń zmiennoprzecinkowych

Pytanie jak bardzo mocną ? Masz do wyboru mocno przypakowany jeden komp z 2 lub więcej GPU (przy czym trzeba to czymś schłodzić) lub farmę serwerów - czyli kilka kompów połączonych w clastry (zazwyczaj linux) i tu możesz dowolnie rozbudowywać (zwiększać moc obliczeniową ). Pytanie jak bardzo chcesz zaszaleć.

Jak w jedną maszynę chcesz iść to równie dobrze możesz kupić koparkę co kryptowalut - teraz na rynku powinno tego być do wyboru do koloru. I z tym wyborem odpada Ci trochę kłopotów z zasilaniem (do 6 GPU to już musisz oddzielny zasilacz dać - czyli 2 zasilacze w kompie).

Jak myślisz o naprawdę dużej mocy obliczeniowej - to farma serwerowa już - a to te skromne 40k to za mało. W sumie na upartego można by spiąć 3 jakieś popularne serwery IBM i w każdym po 2 GPU co by CI dało 6 Gpu - co w porównaniu z koparką już jest nie opłacalne (droższe w zakupie, droższe w utrzymaniu ). Ale powyżej 3 serwerów już sytuacja się odwraca na korzyść farmy.

A wracając na ziemie to

Kupujesz https://www.amazon.de/NVIDIA-Tesla-V100-GPU-Rechenprozessor-V100-16/dp/B076P84525

tyle sztuk na ile kasy starczy :)

Do tego

https://www.x-kom.pl/p/442756-procesor-amd-ryzen-amd-ryzen-threadripper-2990wx.html?gclid=EAIaIQobChMInfW2tOHK4wIVQ4fVCh3fYQ5EEAAYASAAEgJJ5PD_BwE

i to

https://www.komputronik.pl/product/557604/msi-meg-x399-creation.html?gclid=EAIaIQobChMIxr76l-LK4wIVQ4fVCh1uYQ5BEAAYAiAAEgLL5fD_BwE

 

prędkość Ramu raczej nie gra roli więc dowolne - byle 32Gb np 4 takie sztuki

https://www.x-kom.pl/p/360130-pamiec-ram-ddr4-hyperx-8gb-2666mhz-hyperx-fury-black-cl16.html

Zasilacz trzeba dobrać w zależności ile tych GPU ostatecznie wejdzie.  Ale coś w tym stylu

https://www.x-kom.pl/p/204387-zasilacz-do-komputera-corsair-hx1000i-1000w-platinum-box.html

Oczywiście pisząc to miałem na myśli Tensoryflow

Edytowane 23 Lipca 2019 przez helios128

[reyden]

Pytanie jak ma się wydajność tej Tesli V100 do Titana RTX .

Titan ma mniej rdzeni CUDa i RT / Tensor ale też jest zauważalnie tańszy , do tego ma więcej RAM ( o ile ilość ram ma znaczenie tutaj ) .

Bo proste przeliczenie z E na PLN i cena tej Tesli to ~35 k zł , zostaje ~5 k zł na resztę , gdzie sam TR to prawie 8 k zł .

Chyba że z tym V100 to był żart .

[helios128]

 

1 godzinę temu, reyden napisał:

Pytanie jak ma się wydajność tej Tesli V100 do Titana RTX .

tak się ma

Nie to nie był żart. Chociaż przyznaje nie przeliczyłem ceny i wyszło ponad 40k. Z drugiej strony autor nie określił nic w temacie jak bardzo wydajna ma być to maszyna - o co zapytałem w pierwszym poście.

Równie dobrze może kupić nowe I9  dowolną płytę + 2x 2800 RTX i wyjdzie go całość 14k czy 18k i do jego zapotrzebowania wystarczy. A potem się okaże że oszczędził 20k ale obliczenia trwają rok na jeden projekt. Za mało wiemy co konkretnie będzie robił.

Ludzie tensorami i na laptopach liczą i im starcza.

Powinien zrobić tak. Zapuścić projekt na tym co ma obecnie. Zmierzyć czas - i powiedzieć że na takim cpu i takim gpu liczy mu się tydzień - co ma kupić aby ten sam projekt liczył się 1 dzień.

 

 

 

 

[Gość]

a może coś na takiej podstawce

https://www.asus.com/pl/Commercial-Servers-Workstations/WS-C621E-SAGE/

4 karty graf i 2 procki wielojajowe to powinno mieć trochę mocy

[helios128]

TensorFlow raczej nie liczy się na CPU - więc espoo nie potrzebuje 2xcpu. Chyba że będzie chciał robić inne obliczenia to wtedy ma to sens.

[espoo]

Dzięki wszystkim za porady.

@helios128 - tensorflow rzeczywiście nie będzie jedyną rzeczą jaką chcemy liczyć.

TensorFlow planujemy wykorzystać w problemach klasyfikacji. Jednak nie mamy jeszcze żadnego doświadczenia z technologią. Nie znając dokładnie zakresu tych obliczeń, a mając pewien budżet do wykorzystania staramy się dobrać możliwie dobry sprzęt.  Nasze dotychczasowe badania/obliczenia oparte o CPU w ekstremalnych przypadkach liczyły się po kilka tygodni. 

Jedna osoba z zespołu przygotowała na podstawie Waszych sugestii nastepujące propozycje:
 

Quote

I propozycja:
1. procesor: i9, koszt około 2300 PLN;
https://www.morele.net/procesor-intel-core-i9-9900k-3-6ghz-16mb-box-bx80684i99900k-4142641/
2. RAM: w sumie 128 GB, koszt ok. 3000 PLN;
https://www.x-kom.pl/p/300882-pamiec-ram-ddr4-hyperx-32gb-2400mhz-fury-black-cl15-2x16gb.html
3. dwie karty graficzne: 2080 RTX, koszt ok. 11000 PLN w sumie
https://www.morele.net/karta-graficzna-msi-geforce-rtx-2080ti-gaming-x-trio-rtx-2080-ti-gaming-x-trio-4141835/
czy można nieparzscie?
4. płyta główna: koszt ok. 2200 PLN;
https://www.komputronik.pl/product/557604/msi-meg-x399-creation.html?gclid=EAIaIQobChMIxr76l-LK4wIVQ4fVCh1uYQ5BEAAYAiAAEgLL5fD_BwE
5. dyski:
Czy można cos doradzic?
6. zasilacz: koszt ok. 1000 PLN;
https://www.x-kom.pl/p/204387-zasilacz-do-komputera-corsair-hx1000i-1000w-platinum-box.html
całość mocno poniżej 30000 PLN wiec można by wiecej kart

Quote

II propozycja:
1. procesor: AMD RYZEN Threadripper2990WX, koszt około 8000 PLN;
https://www.x-kom.pl/p/442756-procesor-amd-ryzen-amd-ryzen-threadripper-2990wx.html?gclid=EAIaIQobChMInfW2tOHK4wIVQ4fVCh3fYQ5EEAAYASAAEgJJ5PD_BwE
2. RAM: w sumie 128 GB, koszt ok. 3000 PLN;
https://www.x-kom.pl/p/300882-pamiec-ram-ddr4-hyperx-32gb-2400mhz-fury-black-cl15-2x16gb.html
3. dwie karty graficzne: 2080 RTX, koszt ok. 11000 PLN w sumie
https://www.morele.net/karta-graficzna-msi-geforce-rtx-2080ti-gaming-x-trio-rtx-2080-ti-gaming-x-trio-4141835/
czy można nieparzscie?
4. płyta główna: koszt ok. 2200 PLN;
https://www.komputronik.pl/product/557604/msi-meg-x399-creation.html?gclid=EAIaIQobChMIxr76l-LK4wIVQ4fVCh1uYQ5BEAAYAiAAEgLL5fD_BwE
5. dyski:
Czy można cos doradzic?
6. zasilacz: koszt ok. 1000 PLN;
https://www.x-kom.pl/p/204387-zasilacz-do-komputera-corsair-hx1000i-1000w-platinum-box.html
całość mocno poniżej 30000 PLN wiec można by wiecej kart

Quote

III propozycja:
1. procesor: AMD RYZEN Threadripper2990WX, koszt około 8000 PLN;
https://www.x-kom.pl/p/442756-procesor-amd-ryzen-amd-ryzen-threadripper-2990wx.html?gclid=EAIaIQobChMInfW2tOHK4wIVQ4fVCh3fYQ5EEAAYASAAEgJJ5PD_BwE
2. RAM: w sumie 128 GB, koszt ok. 3000 PLN;
https://www.x-kom.pl/p/300882-pamiec-ram-ddr4-hyperx-32gb-2400mhz-fury-black-cl15-2x16gb.html
3. cztery karty graficzne: 2080 RTX, koszt ok. 22000 PLN w sumie
https://www.morele.net/karta-graficzna-msi-geforce-rtx-2080ti-gaming-x-trio-rtx-2080-ti-gaming-x-trio-4141835/
4. płyta główna: koszt ok. 2400 PLN;
https://www.morele.net/asus-c621e-ws-sage-90sw0020-m0eay0-4095770/
5. dyski:
Czy można cos doradzic?
6. zasilacz: koszt ok. 1000 PLN;
https://www.x-kom.pl/p/204387-zasilacz-do-komputera-corsair-hx1000i-1000w-platinum-box.html
całość już blisko 40000 PLN 

Czy mają one jakiś sens? Jak wycenić jeszcze pozostałe koszty? Tu mam na myśli pozostałe elementy takiego zestawu, które nie są bezpośrednio wymienione? Obudowa, peryferia, składanie, o czymś o czym jeszcze nie pomyśleliśmy.

[reyden]

Zastanawiam co za osoba przygotowywała te zestawienia które dałeś .

Te zestawy nie mają prawa zadziałać bo mają niekompatybilne płyty , z wyjątkiem zestawu nr.2 .

W pierwszym masz procesor na socket 1151 a  płytę na socket TR4 z chipsetem X399 .

Ostatni ma płytę serwerowa z 2 gniazdami pod procki Xeon od Intela .

Ram też źle dobrany , choć ten błąd jest pokłosiem błędu z płytą .

[marecki1]

Mamy do wydania 40000 prawdopodobnie publicznych pieniędzy na komputer, do technologi z którą nie mamy doświaczenia i nie do końca będziemy wiedzieć co będziemy liczyć. Więć komputer ma być dobry, mieć KILKA kart, DOBRY procesor, SPORO ramu, SOLIDNY dysk. Dodatkowo... zapytajmy o to na forum dla graczy komputerowych. Sami też jakieś zestawy zaproponowaliśmy i nawet jeden z nich się by się uruchomił.

Jeśli to nie jest prowokacja, to zaczyna to się nadawać na wykop.pl

[helios128]

Jężu chryste i inni święci.

2 godziny temu, espoo napisał:

Jedna osoba z zespołu przygotowała

Jeśli to tylko błąd , przeoczenie , ręka zadrżała - to nie ma problemu - jeśli te zestawienia zostały zrobione w pełni powagi - to niech ta osoba z zespołu zajmie się czymś innym. 

Po co wam 128GB ramu ?? Raczej tego nie wykorzystacie.

2 godziny temu, espoo napisał:

tensorflow rzeczywiście nie będzie jedyną rzeczą jaką chcemy liczyć.

OK. Czyli już coś wiemy - potrzebujecie ogólnie silnej maszyny do wszystkiego. Nie celujecie precyzyjnie w konkretny model obliczeniowy. Będziecie liczyć coś ale jeszcze nie wiadomo co i do tego trzeba dobrać sprzęt. Hymmm.

Więc najtrafniej chyba @tesel się wypowiedział

2 razy  = 18k

https://www.senetic.pl/product/BX806736128?gclid=EAIaIQobChMInPWD28LN4wIVBed3Ch3eogMvEAQYBCABEgJlP_D_BwE

płyta za 2k

https://www.x-kom.pl/szukaj?q=Socket 3647

64GB Ram = 2k

https://www.x-kom.pl/p/488500-pamiec-ram-serwerowa-crucial-16gb-2666mhz-rdimm-ecc-cl19-12v.html

GPU mogą być te zaproponowane  = 11k

Zasilacz też może być ten wybrany przez was 1k

18+2+2+11+1 = 34k

Dysk 1TB na system i apki do 1k - resztę danych trzymajcie na zewnątrz - nie trzyma się danych które liczyły się 3 tygodnie na kompie - bo jak dysk lub komp padnie to będzie "ała". Jeśli to uczelnia to macie pewnie zasoby sieciowe, NASy lub co kolwiek innego.

https://www.x-kom.pl/p/406963-dysk-ssd-samsung-1tb-25-sata-ssd-860-evo.html

zostaje 5k na obudowę klawiaturę , myszkę , monitor - a że to nie komp do grania - to najtańsza klawiatura + mysz za 50zł starczy.

Z obudową jest problem - czy to ma być zwykłą buda na biurko czy może wersja rakowa do skrzyni ?

np taka https://www.sferis.pl/obudowa-serwerowa-chieftec-4u-unc-410f-b-80r-rack-4u-p575517

Cytat

Nasze dotychczasowe badania/obliczenia oparte o CPU w ekstremalnych przypadkach liczyły się po kilka tygodni. 

Ok podaj na jakim sprzęcie to był robione obliczania.

Uważam że jak nie bardzo wiecie co będziecie robić to teraz dobieranie sprzętu jest nie bardzo. Bo możecie wydać 40k na coś co okaże się nie odpowiednie do danego tylu obliczeń. A jak precyzyjnie określicie co i jak to się okaże że w tej samej cenie możecie liczyć 10 razy szybciej.

Czyli coś na zasadzie potrzebuje samochodu - nie wiem jakiego ale muszę kupić - ok kupujesz poloneza - za dwa dni okazuje się że masz przewozić meble i potrzebujesz ciężarówki

Edytowane 24 Lipca 2019 przez helios128

[Gość]

https://www.morele.net/dysk-ssd-crucial-mx500-2tb-sata3-ct2000mx500ssd1-979474/

https://www.morele.net/pamiec-hyperx-fury-ddr4-16-gb-2666mhz-cl16-hx426c16fw-16-1176444/  x 12szt.

https://www.morele.net/chlodzenie-cpu-intel-s3647-xeon-combo-bxsts300c-1507006/   x 2 szt. [niewiem czy jest jakiś box z prockiem bo jak jest to mozna te wywalić albo pomyśleć o https://www.morele.net/chlodzenie-cpu-noctua-nh-d9-dx-3647-4u-cpu-k-hler-92mm-6059490/ ]

https://www.morele.net/obudowa-phanteks-enthoo-primo-ultimate-ph-es813p-bl-616450/

https://www.morele.net/zasilacz-super-flower-leadex-platinum-2000w-sf-2000f14hp-bk-714914/

https://www.morele.net/dysk-ssd-corsair-mp510-960gb-pcie-x4-nvme-cssd-f960gbmp510-4142856/

https://www.morele.net/procesor-serwerowy-intel-xeon-gold-5120-bx806735120-1438148/  x 2 szt.

https://www.morele.net/karta-graficzna-msi-geforce-rtx-2080-aero-8gb-gddr6-256-bit-hdmi-3xdp-usb-c-box-rtx-2080-aero-8g-5248674/   x 4 szt

https://www.morele.net/asus-c621e-ws-sage-90sw0020-m0eay0-4095770/

tak mniej więcej na szybko

razem wyjdzie 40k zł

płyty robi jeszcze gigabajt  https://www.gigabyte.com/Motherboard/Intel-Socket-3647  c621-wd12

[nie mam pewności co do dysków]

no i na pewno pytaj o rabat

Edytowane 24 Lipca 2019 przez Gość

[XantiO]

Do takich zastosowań nawet bym nie myślał o składaniu czegokolwiek. Najlepiej i najpewniej będzie napisać do kilku firm specjalizujących się w HPC o ofertę na jakiś zestaw w tej kwocie. Przedewszystkim dostaniecie dzięki temu pewne wsparcie w uruchomieniu i porządny serwis a nie kombinacje z naprawianiem poszczególnych elementów w razie awarii. 

Przykładowo:

https://zstor.de/en/tyan-gpu-server.html

 

[espoo]

3 hours ago, helios128 said:

5 hours ago, espoo said:

Jedna osoba z zespołu przygotowała

Jeśli to tylko błąd , przeoczenie , ręka zadrżała - to nie ma problemu - jeśli te zestawienia zostały zrobione w pełni powagi - to niech ta osoba z zespołu zajmie się czymś innym

Nikt z nas nie ma pojęcia o sprzęcie. Gdybyśmy mieli to nie prosilibyśmy o pomoc. 

3 hours ago, helios128 said:

czy to ma być zwykłą buda na biurko czy może wersja rakowa do skrzyni ?

Zwykła buda.

3 hours ago, helios128 said:

Ok podaj na jakim sprzęcie to był robione obliczania.

Najmocniejsze co mieliśmy to laptop Della z  i7-4600U, 8 GB, GeForce GT 720M(z którego jak łatwo się domyślić nie korzystaliśmy).

3 hours ago, helios128 said:

Uważam że jak nie bardzo wiecie co będziecie robić to teraz dobieranie sprzętu jest nie bardzo. Bo możecie wydać 40k na coś co okaże się nie odpowiednie do danego tylu obliczeń. A jak precyzyjnie określicie co i jak to się okaże że w tej samej cenie możecie liczyć 10 razy szybciej.

Cenna uwaga. Pytanie tylko w jaki sposób powinniśmy opisać charakter obliczeń by dało się określić najlepszy sprzęt do naszych potrzeb. Bo dane i plan jakiego typu informacje będziemy chcieli z nich uzyskać już mamy.
Musimy jednak jeszcze mieć na świadomość, że ma to być wieloletnia inwestycja, więc tuning pod konkretny jeden projekt może się odbić czkawką w przyszłości. 

[helios128]

To może inaczej. Jakiego oprogramowania używacie lub chcecie używać ? Wyspecjalizowane oprogramowanie zazwyczaj ma w dokumentacji napisane jak liczy , czy pozwala na rozbicie danych na clastry , czy zalecane jest gpu czy cpu , a może jest wybór.

Zobacz jak był liczony bitcoin - byle jaki cpu + wiele gpu. A i tak jeden taki zestaw to mało - i każdy kopacz był częścią wielkiej farmy. Czyli tak na prawdę moc obliczeniowa pochodziła z wielu komputerów wyposażonych w wiele gpu. Ale to oprogramowanie musi być przygotowane (pozwalać) na taki tym obliczeń. I to musicie sprawdzi u was. 

Skoro liczyliście na lapku - to wszystkie propozycje które tu padły dadzą wam gigantycznego kopa i to co liczyliście parę tygodni zamienia się w dni lub godziny.

Ale czy zakup tego rozwiązania czy tamtego jest opłacalny (przyszłościowy, rozwojowy) - to na razie nie wiadomo.

[Gość]

7 godzin temu, helios128 napisał:

To może inaczej. Jakiego oprogramowania używacie lub chcecie używać ?

to jest podstawowe pytanie - dzięki temu będziecie wiedzieć co jest najpotrzebniejsze - cpu czy gpu 

 

7 godzin temu, helios128 napisał:

Zobacz jak był liczony bitcoin - byle jaki cpu + wiele gpu. A i tak jeden taki zestaw to mało - i każdy kopacz był częścią wielkiej farmy.

akurat na początku to bitkojny były liczone na cpu bo nie było odpowiednich programów - ktoś je wymyślił to i poszło na gpu [więcej wydajności szło wycisnąć z karty niż procka] a wraz ze wzrostem trudności ludzie łączyli się w kopalnie -ale do tego musiał ktoś napisać odpowiedni soft i to jest wasz przypadek - jaki macie soft i co on jest w stanie wykorzystać 

tak trochę na chłopski jeżeli macie programy korzystające i z cpu i gpu to trzeba mieszaną maszynę a nie wyspecjalizowaną [np same karty graficzne a słabe procki]

Edytowane 25 Lipca 2019 przez Gość

[XantiO]

A jeśli sami tworzycie algorytmy AI i ML wykorzystując TensorFlow czy Caffe to największą wydajność osiągniecie na FPGA syntezując w nim to co aktualnie jest potrzebne. Tu wydajnością i ceną przebijecie wszystkie rozwiązania CPU i GPU.

Niestety będzie to wymagało większego know how

https://www.xilinx.com/publications/solution-briefs/machine-learning-solution-brief.pdf

Tym bardziej, że kolega wspomniał o klepaniu kodu w R

[PodkręconyBuba]

Witam

Niedawno w firmie stałem przed podobnym dylematem zakupu stacji roboczej do obliczeń, W naszym przypadku były to symulacje które działaja tylko na CPU, jedna symulacja na pojedyńczym wątku. Jako że pracuje w korporacji wybór padł na gotową maszynę. Lenovo ThinkStation P920 (2x Xeon Gold 6148 plus GPU Quatro P4000).

Konsultowałem maszyne z naszym działem IT który doradzał aby przy takim zastosowaniu wybierać procesor z duża ilością pamieci cash.

Po zakupie okazało sie ze 128 ramu ktory byl w konfiguracji 2x2x32 (2 kanaly na CPU)  potrafi być bottleneck'iem . Tak więc przy takich maszynach dobrze jest używać 4 lub 6 kanałowego kontrolera RAM. 

[helios128]

25 minut temu, PodkręconyBuba napisał:

duża ilością pamieci cash. 

 

25 minut temu, PodkręconyBuba napisał:

Po zakupie okazało sie ze 128 ramu

To cash czy ram ?

Nowe Ryzen 9 3950X  mają gigantyczną ilość pamięć podręcznej L2 + L3 - bo aż 8 + 64 MB to powinno dać niezłego kopa w obliczeniach jedno wątkowych ale jeszcze nie widziałem sensownego testu na ppc :)

[PodkręconyBuba]

Helios. Ruszyłem 2 oddzielne tematy, przepraszam jeśli namieszałem. 

CASH:

Gdy ja szukałem procesora skupiałem się głownie na częstotliwości i ilości rdzeni. Dział IT natomiast ze swoich testow doradzal proceosry z wieksza iloscia pamieci podrecznej wskazujac ze przy zaawansowanych obliczeniach daje to wiekszego kopa niz kilkaset Hz.

RAM:

Tutaj chodziło mi o to że bottelneckiem w naszym przypadku była przepustowość RAMu (a nie ilość). Patrzac że w stacjach roboczych nie da sie pograć z czestotliwoscią ramu (tutaj sie OC nie stasuje) trzeba postawić na kontrolery 4 lub 6 Kanalowe (6 kanałow udostępniaja najnowsze xenon scalable) 

[Gość]

2 godziny temu, PodkręconyBuba napisał:

Po zakupie okazało sie ze 128 ramu ktory byl w konfiguracji 2x2x32 (2 kanaly na CPU)  potrafi być bottleneck'iem . Tak więc przy takich maszynach dobrze jest używać 4 lub 6 kanałowego kontrolera RAM. 

czyżby pozorne oszczędności?

a było brać 12 x 16GB 

[Dart9]

Spróbujcie pójść ścieżką , o której napisał @helios128. Skierować zapytania ofertowe do wyspecjalizowanych firm zajmujących się w HPC. Jeśli nie wiecie/nie macie sprecyzowane co dokładnie będziecie liczyć i jaki skutek czy też problemy przyniesie to myślę, że ...nie jesteście jedyni w podobnych obliczeniach / doświadczeniach i na bank znacie, macie kontakt z innymi zespołami z firm, czy instytutów. Ich podpytajcie o sprzęt na jkaim pracują, czy jest wystarczający itd. w celu rozjaśnienia jakiej klasy konfigurację moglibyście oczekiwać by była odpowiednia. Przy takich kwotach wsparcie serwisowe - sprzętowe oraz programowe - jak najbardziej jest wskazane. Fakt , że część kwoty właściwie idzie właśnie na to, ale przy takim przeznaczeniu jest to "must have".