Raid 0 A Wydajność

[rafa]

Do dwóch dyskow to chociarz pcie x1.

 

Przejzyj sobie np te: http://www.komputronik.pl/Kontrolery/Seria...alog,kat,12233/

Edytowane 29 Stycznia 2009 przez rafa

[Gość <account_deleted>]

ciukacz:

art fajny, tyle że jakby trochę "nie na temat" -> testy przeprowadzane HD_Tachem itp. programami nie mają nic wspólnego z rozmiarem i wyrównaniem partycji, systemem plików, itd. Driver macierzy ma powyższe w ...poważaniu ;) (nie mówię o raidzie na dyskach dynamicznych, bo to inna sprawa)

Poza tym: kto używa windy (a szczególnie instalatora) do tworzenia partycji? to najbardziej kulawe narzędzie w świecie informatyki - już FDISKiem czasem więcej można zrobić - np. podzielić pendrive na partycje ;).

 

ps.

» Naciśnij aby pokazać/ukryć tekst oznaczony jako spoiler « - ''

Poza tym (2): ... kto by się przejmował problemami M$ z ich serwerami - czy ktoś "normalny" stawia serwer na windzie? :lol2:

[tallica]

Mam płytę Asus P5B Deluxe, do portów SATA ICH8 podpięte są dwa dyski (ST3500320AS) i dvd-rw (PIONEER DVR-212). Zamierzam kupić 3x Samsung F1 HD322HJ i połączyć je w RAID, w tym wypadku wszystkie porty SATA ICH8 będą zajęte... Zastanawiam się czy nie zainwestować w kontroler Adaptec 1430SA na PCI-E 4x i tym samy "odciążyć" ICH8. Tylko teraz pytanie, czy coś na tym zyskam? Bo dla kilkuprocentowego skoku w wydajności nie ma sensu wydawać ~500zł.

Edytowane 29 Stycznia 2009 przez Michal_86

[rafa]

Poza kilkoma procentami zyskasz mobilnośc macierzy do innych płyt głównych. No i więcej portów sata :D

[Gość ciukacz2]

ciukacz:

art fajny, tyle że jakby trochę "nie na temat" -> testy przeprowadzane HD_Tachem itp. programami nie mają nic wspólnego z rozmiarem i wyrównaniem partycji, systemem plików, itd. Driver macierzy ma powyższe w ...poważaniu ;) (nie mówię o raidzie na dyskach dynamicznych, bo to inna sprawa)

Poza tym: kto używa windy (a szczególnie instalatora) do tworzenia partycji? to najbardziej kulawe narzędzie w świecie informatyki - już FDISKiem czasem więcej można zrobić - np. podzielić pendrive na partycje ;).

 

ps.

» Naciśnij aby pokazać/ukryć tekst oznaczony jako spoiler « - ''

Poza tym (2): ... kto by się przejmował problemami M$ z ich serwerami - czy ktoś "normalny" stawia serwer na windzie? :lol2:

art jak najbardziej na temat, a predzej powiedzialbym ze testy hdtachem nie maja nic wspolnego z rzeczywista wydajnoscia. prawdziwy test to iometer + file server access pattern. jesli nie rozumiesz ze dla wydajnosci typowego domowego komputera duzo wazniejszy jest seek time niz predkosc liniowego odczytu, to tez nie dziwie sie ze nie zrozumiales meritum tego artykulu czyli tego ze na niewyrownanej partycji klaster moze byc rozbity na 2 dyski a co za tym idzie jego odczyt/zapis moze byc znacznie spowolniony (co jest szczegolnie widoczne przy dostepie typu random access).

 

"problemy m$ z ich serwerami": ta sprawa nie dotyczy tylko serwerow ms, ale tez domowych windowsow z raid czy serwerow linuksowych z raidem. co do zastosowania windows jako platformy serwerowej: przyznaj - chyba masz zero wiedzy w tym temacie za to uprzedzen pelno. ja na co dzien pracuje jako programista i w mojej pracy mam tez duzo wspolnego z administracja baza danych i serwerem www. w profesjonalnych zastosowaniach kombinacja windows server + sql server + iis spisuje sie wysmienicie jesli chodzi o wydajnosc i stabilnosc.

 

edit: jednak bede mial mozliwosc zrobienia takiego testu samemu. mam nadzieje ze w przyszlym tygodniu. platform bedzie taka:

 

DELL PowerEdge 2950 III

1x Xeon 2.5GHz 4 rdzeniowy

4 GB RAM

kontroler PERC 6/i

2 dyski Cheetah 15K.6 SAS 146GB (ST3146356SS)

Windows Server 2003

Edytowane 30 Stycznia 2009 przez ciukacz2

[rafa]

Ale czy nie dotyczy to tylko klastrów z końca obszaru macierzy? Początkowe i środkowe powinny być w każdym wypadku prawidłowe, zgadza sie?

[Gość ciukacz2]

Ale czy nie dotyczy to tylko klastrów z końca obszaru macierzy? Początkowe i środkowe powinny być w każdym wypadku prawidłowe, zgadza sie?

dotyczy to wszystkich klastrow

[rafa]

Poza kilkoma procentami zyskasz mobilnośc macierzy do innych płyt głównych. No i więcej portów sata :D

Przepraszam że sie zacytuje, zapomniałem dodac dość istotną rzecz - mimo utworzonej macierzy kontroler powinien pozwolić na odczyt SMART każdego z dysków czego nie ma w zintegrowanych rozwiązaniach.

[Gość <account_deleted>]

powiedzialbym ze testy hdtachem nie maja nic wspolnego z rzeczywista wydajnoscia. prawdziwy test to iometer + file server access pattern. jesli nie rozumiesz ze dla wydajnosci typowego domowego komputera duzo wazniejszy jest seek time niz predkosc liniowego odczytu, to tez nie dziwie sie ze nie zrozumiales meritum tego artykulu (...)

Zgadzam się co do hd_tacha, ale to Ty czegoś nie zrozumiałeś:

dotyczy to wszystkich klastrow

- bzdura dotyczy to tylko tych które wypadają "na granicy" stripe, a jaki to % to zależy od stosunku stripe/cluster size. I teraz do rzeczy: jeśli nawet tak jest, to g. ma to wspólnego z utratą wydajności -> dlaczego? -> dlatego że istnieją takie mechanizmy jak prefetch i r/w cache, które praktycznie redukują to zjawisko do zera. Znacznie większe znaczenie ma fakt, że te mechanizmy u ms nie działają zbyt dobrze, albo raczej przeciwdziałają temu co robi kontroler.

Inna kwestia: kontrolery sprzętowe remapują LBA. Sektor 63 może leżeć faktycznie na numerku 1567 - zależnie od konfiguracji macierzy. Tak więc o wiele większe przysiadki wydajności następują gdy stripe jest podzielony pomiędzy fizyczne tracki na dyskach - "blokowane" jest kilka/kilkanaście/kilkadziesiąt* klastrów w tym samym momencie. Patent ms to leczenie chorego pałą - poprawia trochę statystyki, ale nie likwiduje problemu.

 

*edit

Edytowane 30 Stycznia 2009 przez tomazzi

[ciukacz]

- bzdura dotyczy to tylko tych które wypadają "na granicy" stripe, a jaki to % to zależy od stosunku stripe/cluster size. I teraz do rzeczy: jeśli nawet tak jest, to g. ma to wspólnego z utratą wydajności -> dlaczego? -> dlatego że istnieją takie mechanizmy jak prefetch i r/w cache, które praktycznie redukują to zjawisko do zera. Znacznie większe znaczenie ma fakt, że te mechanizmy u ms nie działają zbyt dobrze, albo raczej przeciwdziałają temu co robi kontroler.

Inna kwestia: kontrolery sprzętowe remapują LBA. Sektor 63 może leżeć faktycznie na numerku 1567 - zależnie od konfiguracji macierzy. Tak więc o wiele większe przysiadki wydajności następują gdy stripe jest podzielony pomiędzy fizyczne tracki na dyskach - "blokowane" jest kilka/kilkanaście/kilkadziesiąt* klastrów w tym samym momencie. Patent ms to leczenie chorego pałą - poprawia trochę statystyki, ale nie likwiduje problemu.

ok, to byl skrot myslowy. odpowiadajac na pytanie rafa mialem na mysli to ze dotyczy to partycji w calej jej rozciaglosci, a nie kazdego jednego klastra.

rzeczywiscie tak jak napisales, zalezy to od tego stosunku rozmiar paska/rozmiar klastra. dla najpopularniejszego rozmiaru klastra 4kB i dosc popularnego rozmiaru paska 64kB srednio 1/16 odczytywanych klastrow bedzie odczytywany z granicy paska. im mniejszy rozmiar paska i im wiekszy rozmiar klastra tym szanse na wystapienie niepozadanego zjawiska zwiekszaja sie. pasek 32kB i juz te szanse wynosza 1/8, pasek 16kB i juz sie robi 1/4.

 

ponadto, przy dostepie sekwencyjnym cache moze to troche niwelowac, ale tak naprawde kiedy mamy do czynienia z dostepem sekwencyjnym ? gros operacji na hdd to wlasnie random access. ludzie nie polecaliby raptorow/ssd na dysk systemowy gdyby random access wystepowal rzadko a seek time mial male znaczenie. niewyrownanie partycji takze zmniejsza efektywnosc cache o to powyzsze 1/16 (dla naszych przykladowych danych) lub pesymistycznie o 1/4.

 

do tego nalezy dodac ze im wiecej procesow uzyskuje dostep do dysku to zjawisko to jest bardziej odczuwalne. bo moze i kazdy z tych procesow przy zdefragmentowanym dysku (malo kto o to dba) bylby w stanie sekwencyjnie czytac/pisac, ale jak tych procesow jest kilka/kilkanascie ? robi sie znowu random access na skutek wielozadaniowosci :)

 

argument o remapowaniu lba: moim zdaniem zjawisko pomijalne, jakby reallocated sectors count wskazywal taka wartosc ktora mialaby znaczenie w kontekscie naszej dyskusji to chyba bardziej bym sie martwil o swoje dane a nie o wydajnosc :D

 

z checia bym przeczytal cos wiecej w tematach o ktorych wyzej tylko napomknales:

- "Znacznie większe znaczenie ma fakt, że te mechanizmy u ms nie działają zbyt dobrze, albo raczej przeciwdziałają temu co robi kontroler."

- "Patent ms to leczenie chorego pałą - poprawia trochę statystyki, ale nie likwiduje problemu."

 

masz jakies linki albo napiszesz cos wiecej ?

Edytowane 31 Stycznia 2009 przez ciukacz

[Gość <account_deleted>]

...

dla najpopularniejszego rozmiaru klastra 4kB i dosc popularnego rozmiaru paska 64kB srednio 1/16 odczytywanych klastrow bedzie odczytywany z granicy paska. im mniejszy rozmiar paska i im wiekszy rozmiar klastra tym szanse na wystapienie niepozadanego zjawiska zwiekszaja sie. pasek 32kB i juz te szanse wynosza 1/8, pasek 16kB i juz sie robi 1/4.

...

do tego nalezy dodac ze im wiecej procesow uzyskuje dostep do dysku to zjawisko to jest bardziej odczuwalne. bo moze i kazdy z tych procesow przy zdefragmentowanym dysku (malo kto o to dba) bylby w stanie sekwencyjnie czytac/pisac, ale jak tych procesow jest kilka/kilkanascie ? robi sie znowu random access na skutek wielozadaniowosci :)

ehh, to temat rzeka, ale jeśli mówimy o dużych macierzach, to niekoniecznie najlepszym rozwiązaniem jest 128-dyskowy Raid5/6 - najlepiej jest postawić kilka macierzy i zamontować w odpowiednich katalogach na poziomie systemu. Mówisz 64k? no to chyba raczej w domu, przy większej ilości dysków (powiedzmy >5/6) stosuje się paski typu 256/512k, bo inaczej nie wykorzystasz skutecznie cache dysków. Tu jednak pojawia się problem - system powinien mieć możliwość ustawienia takiego rozmiaru linijki cache, żeby zmieścić n*stripe.

 

argument o remapowaniu lba: moim zdaniem zjawisko pomijalne, jakby reallocated sectors count wskazywal taka wartosc ktora mialaby znaczenie w kontekscie naszej dyskusji to chyba bardziej bym sie martwil o swoje dane a nie o wydajnosc :D

Remapowanie LBA nie ma nic wspólnego z remapowaniem uszkodzonych sektorów, każdy kontroler potrafi emulować LBA aby system "widział" liniową przestrzeń. Przesunięcie wynika z dodatkowych informacji zapisanych w nagłówku macierzy i jest zależne od kontrolera oraz poziomu raid.

[Gość ciukacz2]

Remapowanie LBA nie ma nic wspólnego z remapowaniem uszkodzonych sektorów, każdy kontroler potrafi emulować LBA aby system "widział" liniową przestrzeń. Przesunięcie wynika z dodatkowych informacji zapisanych w nagłówku macierzy i jest zależne od kontrolera oraz poziomu raid.

ale na to juz wplywu nie mamy. a ja pisze o takiej optymalizacji ktora da sie osiagnac niewielkim kosztem czasu przy przesiadce na nowe dyski. wystarczy slipstream sp3 + spisanie na kartke kilku polecen diskparta.

[aro52]

Znalazlem ciekawy test

(link musze podac w takiej formie poniewaz inaczej nie dziala)

abchw.com/content/seagate-barracuda-7200.11-ide-vs.-ahci%2C-barracuda-es.2-%2526amp%3B-raid-0%2C-1%2C-5

 

dyskow w IDE, AHCI i RAID0/1/5. Widac wyraznie, ze korzysci z raidu sa naprawde nie wielkie. A tryb AHCI pozostawie bez komentarza.

Wiec jeszcze raz napisze dla przecietnego Kowalskiego najlepsze rozwiazanie to pojedynczy dysk w trybie IDE. Reszta to strata czasu, pieniedzy, miejsca w kompie, zwiekszony poziom halasu, wieksze zuzycie energi elktrycznej(10w zawsze cos w skali roku) oraz 2-krotnie wieksza szansa na strate danych.

Sam dzis testowalem kilka gier na macierzy z 2xF1 320 vs stara 80 samsunga. Czasy ladowania gier byly maxymalnie krotsze o jakies 30-35% na macierzy ale trzeba wziac pod uwage to ze ta 80 jest 2x wolniejsza od pojedynczego F1.

Wiec jesli posiadasz 2Gb ramu i zastanawiasz sie nad raidem, najlepszym wyjsciem bedzie dokupienie kolejnych 2Gb ramu.

Edytowane 2 Lutego 2009 przez aro52

[rafa]

W wypadku Visty na pewno.

 

Co do gier to jak mówiłem wcześniej, wiele zależy od tytułu i część potrafi dobrze to wykożystać a część słabo. Ja wole zawsze mieć nawet kilka % więcej niż mniej. To tak jak z kupowaniem ramu 800 a 1000 czy tez podkręcanie go do 1100 i więcej - może dać to kilka klatek więcej - ale lepiej mieć ich więcej niż mniej.

[Gość <account_deleted>]

ale na to juz wplywu nie mamy. a ja pisze o takiej optymalizacji ktora da sie osiagnac niewielkim kosztem czasu przy przesiadce na nowe dyski. wystarczy slipstream sp3 + spisanie na kartke kilku polecen diskparta.

Mamy ( :lol: ) - to nie wiesz że kontrolery mają własne konsole?

A w ogóle to w tym artykule nie ma żadnego odkrywczego stwierdzenia, nie ma słowa na temat potencjalnego zysku z "wyrównania" partycji - gość jedynie stwierdził, że dobranie paska macierzy może dać 30% różnicę w wydajności - a co Twoim zdaniem jest w 1 poście tego tematu?

... no ale blog na stronie ms to jest coś ... i można błysnąć znajomością google ;)

 

ehh.

[Gość ciukacz2]

Mamy ( :lol: ) - to nie wiesz że kontrolery mają własne konsole?

tak, tylko ty posiadles ta tajemnicza wiedze.

mamy wplyw na remapowanie lba ? z konsoli ? z biosu kontrolera ? pokaz gdzie :)

np na perc 6/i ani na intel matrix nie widze takiej opcji.

 

A w ogóle to w tym artykule nie ma żadnego odkrywczego stwierdzenia, nie ma słowa na temat potencjalnego zysku z "wyrównania" partycji

sa wykresiki we wczesniej przytoczonych materialach, a w prezentacji byl opis zjawiska.

 

- gość jedynie stwierdził, że dobranie paska macierzy może dać 30% różnicę w wydajności - a co Twoim zdaniem jest w 1 poście tego tematu?

nie, w tej prezentacji mowa jest o tym:

dobierasz wlasciwy dla siebie pasek i masz pewien przyrost wydajnosci.

pozniej wyrownujesz partycje i w stosunku do niewyrownanej partycji NA TYM SAMYM PASKU masz NASTEPNY przyrost wydajnosci.

czy to az tak trudne do zrozumienia ?

 

.. no ale blog na stronie ms to jest coś ... i można błysnąć znajomością google ;)

ehh

[ODOO]

To może by się znalazł jakiś chętny żeby to sprawdzić ?

Bo nie ma co krytykować ani popierać do puki ktoś tego nie sprawdzi.

 

Sam bym się skusił ale z racji sesji licho z czasem :/ a zawsze nawet

kilku procentowy przyrost wydajności byłby mile widziany.

[rafa]

Kilka procent to byłoby bardzo dużo. A jeśli wyjdzie np 1% to mam to gdzieś.. :)

[Gość ciukacz2]

Kilka procent to byłoby bardzo dużo. A jeśli wyjdzie np 1% to mam to gdzieś.. :)

wlasnie to sprawdzam uzywajac:

- atto

- hdtune file benchmark

- xbitlabs file copy

- iometer (file server access pattern)

 

oprocz tego pogladowo hdtach i moze cos jeszcze

[ODOO]

O to super :) ciekaw jestem wyników bo mimo wszystko te prezentacje do mnie jakoś średnio przemawiały.

[Diamond32]

Krótkie pytanko, mam raid 0 z 2xHD320HJ, stripe 64kb, mam mocno ograniczony kontroler na ATI SB600, jakieś dziwne skoki odczytu (przekładałem w różne złącza i to samo), poniżej 2 testy na 2 ustawieniach:

 

Fast Unit OFF Gigabyte boundary ON (ustawienia domyślne)

 

 

Fast Unit ON Gigabyte boundary OFF

 

 

 

 

 

 

Które ustawienie byście zostawili? Pozdrawiam :wink:

Edytowane 3 Lutego 2009 przez Diamond32

[ODOO]

Z dwojga złego tylko na podstawie wyników z HDTune wybrałbym 2 opcje :] ze względu na mniej poszarpany wykres.

Wszystkie możliwości konfiguracji macierzy już wyczerpałeś ? Bo wykresy dziwne :>

 

Może zrób jeszcze testy w innych programach np ATTO i hdtune file benchmark (HD tune PRO) żeby było trochę

więcej wyników do porównania.

Edytowane 3 Lutego 2009 przez ODOO

[Diamond32]

Z dwojga złego tylko na podstawie wyników z HDTune wybrałbym 2 opcje :] ze względu na mniej poszarpany wykres.

Wszystkie możliwości konfiguracji macierzy już wyczerpałeś ? Bo wykresy dziwne :>

 

Może zrób jeszcze testy w innych programach np ATTO i hdtune file benchmark (HD tune PRO) żeby było trochę

więcej wyników do porównania.

Został tylko pasek 128kb, ale to raczej nie pomoże, no i 2 możliwości ustawień opcji których nie rozumiem:

 

tych nie próbowałem:

Fast Unit ON Gigabyte boundary ON

Fast Unit OFF Gigabyte boundary OFF...

[ODOO]

Tak w ogóle co to za płyta ? sterowniki i bios najnowsze wgrane ? Może by tak zapodać jakiś w miarę tani kontroler pod PCIe jak nic nie pomoże ?

[rafa]

W moim przypadku jak kiedyś testowałem pasek 64 był najgorszym z możliwych. Zmieniłbym na Twoim miejscu na 128kb jeszcze.

 

Sterowniki ze strony ATi najnowsze masz?

Jak nie pomoże to znaczy że SB600 do tego sie nie nadaje...

Edytowane 3 Lutego 2009 przez rafa

[Gość <account_deleted>]

mamy wplyw na remapowanie lba ? z konsoli ? z biosu kontrolera ? pokaz gdzie :)

np na perc 6/i ani na intel matrix nie widze takiej opcji.

Nie chodzi o zmianę mapowania LBA, tylko o wyrównanie stripe do początku cylindra. Jak najbardziej można to zrobić z konsoli - każdy normalny kontroler ma taką możliwość, nawet mój tani adaptec :lol:

 

dobierasz wlasciwy dla siebie pasek i masz pewien przyrost wydajnosci.

pozniej wyrownujesz partycje i w stosunku do niewyrownanej partycji NA TYM SAMYM PASKU masz NASTEPNY przyrost wydajnosci.

czy to az tak trudne do zrozumienia ?

Bzdura. Nawet jeśli wyrównasz partycje, to skoki wydajności i tak będą - wystarczy że plik/fragment danych leży na granicy stripe - prawdopodobieństwo takiego zdarzenia jest znacznie większe niż bzdety które wypisuje ms. Najważniejsze jest optymalne dobranie stripe/cluster i wyrównanie stripe do cylindra. Zgadzam się że wyrównanie partycji może coś dać - tyle że problem leży po stronie cache systemu ms/msSQL, a nie kontrolera.

 

No ale i tak z ciekawością obejrzę wyniki ;)

[Diamond32]

W moim przypadku jak kiedyś testowałem pasek 64 był najgorszym z możliwych. Zmieniłbym na Twoim miejscu na 128kb jeszcze.

 

Sterowniki ze strony ATi najnowsze masz?

Jak nie pomoże to znaczy że SB600 do tego sie nie nadaje...

W takim razie spróbuje jeszcze pasek 128kb, sterowniki nowe, bios nowy, płyta to MSI K9A2 CF-F na AMD 790X i SB600

[Diamond32]

Ostatnie starcie z macierzami, porównanie najlepszych wyników na 64kb i 128kb. Które byście wybrali?

 

64kb:

 

 

128kb:

 

 

 

Niestety nic lepszego nie udało mi się uzyskać <_< Pozdrawiam :wink:

[Gość ciukacz2]

Nie chodzi o zmianę mapowania LBA, tylko o wyrównanie stripe do początku cylindra. Jak najbardziej można to zrobić z konsoli - każdy normalny kontroler ma taką możliwość, nawet mój tani adaptec :lol:

ja pisalem o lba a ty o wyrownywaniu do cylindra - nie dogadalismy sie.

 

ale co z tego ze kontroler raid ma taka opcje ? myslisz ze czym on sie kieruje ?

jasne ze zmyslonymi danymi o geometrii w systemie CHS :)

kontroler na hdd zglasza jak go zaprogramowali ale z fizycznymi atrybutami dysku nie ma to nic wspolnego.

to tylko konwencja adresowania - pokaz mi jakis test to uwierze.

 

Bzdura. Nawet jeśli wyrównasz partycje, to skoki wydajności i tak będą - wystarczy że plik/fragment danych leży na granicy stripe - prawdopodobieństwo takiego zdarzenia jest znacznie większe niż bzdety które wypisuje ms.

przeciez ja caly czas mowie o tym zeby zrobic to wyrownanie w taki sposob aby klaster nie lezal na granicy stripe :D

a ze plik bedzie ? przeciez z tym i tak nic nie mozna zrobic, a ja pisze przede wszystkim o optymalizacji mozliwej do wykonania a nie dywaguje sobie o problemie.

 

Zgadzam się że wyrównanie partycji może coś dać - tyle że problem leży po stronie cache systemu ms/msSQL, a nie kontrolera.

twoim zdaniem odczyt 2x wiekszej liczby sektorow w pesymistycznym przypadku przy dostepie random access jest problemem zwiazanym Z CACHE ? :D

[rafa]

Ostatnie starcie z macierzami, porównanie najlepszych wyników na 64kb i 128kb. Które byście wybrali?

...

Niestety nic lepszego nie udało mi się uzyskać <_< Pozdrawiam :wink:

128kb jest mniej poszarpany. Spróbuj jeszcze tych opcji które masz i zobaczmy co się stanie z wykresem.