Raid5 3x160 Gb, Slaba Wydajnosc

[Kinslayer]

Witam, w firmie mamy serwerek na ktorym siedzi raid zlozony z 3 dyskow po 160 gb. Widoczny w windowsie 2003 serwer jest dysk 320 gb. Problem w tym, ze to ustawienie ma odczyt wg hdtacha sredni 65 mb/s, czas dostepy cos okolo 15 ms. Zerknalem na sterowniki od kontrolera raid 3ware Escalade 7000/8000 to sa one z 03-10-29 :/

 

Na stronie producenta znalazlem nowe z 2009r i teraz pytanie jak zaktualizowac sterowniki do kontrolera zeby nic nie spieprzyc delikatnie powiedziawszy ?

 

Prosilbym o porade mniej wiecej krok po kroku, gdyz na dyskach sa zbyt wazne dane i w przypadku ich utraty musialbym na Kube uciekac ;)

 

Pozdrawiam

Edytowane 31 Lipca 2009 przez Kinslayer

[toman]

Najbezpieczniej? Zrobić obrazy partycji z tych dysków i skopiować na zewnetrzną pamięć i wtedy bawić się z aktualizacją.

[Gość <account_deleted>]

Kinslayer: wiesz, Twoje wątpliwości nasuwają pytanie: kto cię wpuścił do serwera? - bez urazy ale:

- testujesz wydajność hdtachem - to śmieszne po prostu - a już szczególnie na serwerze

- wiesz co to support producenta?

- może warto poczytać co zmieniono w nowych sterach zanim się je uaktualni?

- może warto napisać jaki to poziom raid i na jakiej magistrali siedzi kontroler? <edit: dla jasności - bo nie jest to chyba raid0 jak w tytule>

- może warto sprawdzić jaką konkretnie masz wersję kontrolera a nie tylko jaką nazwę wyświetla MU?

 

podstawowa zasada korzystania z serwera: 'never touch working system' - słyszałeś? warto zapamiętać...

 

ehh, załamka - jak już ogarniesz temat to możemy pogadać dalej...

Edytowane 29 Lipca 2009 przez tomazzi

[Kinslayer]

Kinslayer: wiesz, Twoje wątpliwości nasuwają pytanie: kto cię wpuścił do serwera? - bez urazy ale:

- testujesz wydajność hdtachem - to śmieszne po prostu - a już szczególnie na serwerze

- wiesz co to support producenta?

- może warto poczytać co zmieniono w nowych sterach zanim się je uaktualni?

- może warto napisać jaki to poziom raid i na jakiej magistrali siedzi kontroler? <edit: dla jasności - bo nie jest to chyba raid0 jak w tytule>

- może warto sprawdzić jaką konkretnie masz wersję kontrolera a nie tylko jaką nazwę wyświetla MU?

 

podstawowa zasada korzystania z serwera: 'never touch working system' - słyszałeś? warto zapamiętać...

 

ehh, załamka - jak już ogarniesz temat to możemy pogadać dalej...

Domyslalem sie, ze predzej czy pozniej ktos kto sie zna na temacie mnie pojedzie. To prawda mam o tym male pojecie, ale co to za problem wyjasnic na spokojnie lub poradzic co mozna zrobic, zamiast pokazywac swoja wyzszosc znajac temat duzo lepiej?. Pracuje w firmie kilka mscy i zajmuje sie glownie innymi rzeczami a serwery w takim stane zastalem i powoli jak napisales musze ogarnac temat.

 

Wracaajc do raida jest to raid5, nie zero jak napisalem w tytule. Wiec jesli bylbys tak dobry to prosze, uzyj swojej wiedzy ale nie w ten sposob jaki zaprezentowales wyzej, tylko jesli mozesz wyjasnij i pokieruj. Wiem, ze latwiej jest kogos opieprzyc, ale pomoc to juz ciezko.

[Gość <account_deleted>]

oki, peace

 

1. Czy serwer jest za wolny jak na swoje możliwości / ma problemy z wykonywaniem swoich zadań? - jeśli nie, to nie rób nic poza okresowym backupem - wtedy Kubę zobaczysz najwyżej w ramach wakacji ;)

2. Jeśli serwer jest "za wolny" to najpierw sprawdź logi systemowe/logi aplikacji które są używane (alarmy, błędy)

3. Odpalasz Menadżera macierzy (dołączony do kontrolera - najlepiej używać wersji dostarczonej wraz ze sterami - nie nowszej, nie starszej). Sprawdzasz status macierzy który powinien być OK. Menadżer może powiedzieć że macierz jest 'degraded' - czyli padł jeden z dysków lub że jest w trakcie "rebuildingu" czyli synchronizacji danych (w obu tych przypadkach wydajność będzie nędzna) lub że jeden z dysków zgłąsza alarm SMART.

4. Jeśli menadżer mówi OK to sprawdzasz jaki masz model kontrolera i w jakim gnieżdzie siedzi - weryfikujesz z manualem do mobo i podajesz w następnym poście - najlepiej z info o reszcie sprzętu - a szczególnie modele dysków. Podaj również rozmiar bloku sytemu plików i stripe.

 

poza tym:

Wynik w HD_tachu uzyskany był po wyłączeniu wszystkich programów czy też miałeś w tle voipa, apache, ajaxa i inne takie? Jaki był burst?

Nie próbuj odczytać SMARTa HD_Tune, Everestem, itp - chyba że jednak chcesz pojechać na Kubę przymusowo ;)

[Kinslayer]

oki, peace

 

1. Czy serwer jest za wolny jak na swoje możliwości / ma problemy z wykonywaniem swoich zadań? - jeśli nie, to nie rób nic poza okresowym backupem - wtedy Kubę zobaczysz najwyżej w ramach wakacji ;)

2. Jeśli serwer jest "za wolny" to najpierw sprawdź logi systemowe/logi aplikacji które są używane (alarmy, błędy)

3. Odpalasz Menadżera macierzy (dołączony do kontrolera - najlepiej używać wersji dostarczonej wraz ze sterami - nie nowszej, nie starszej). Sprawdzasz status macierzy który powinien być OK. Menadżer może powiedzieć że macierz jest 'degraded' - czyli padł jeden z dysków lub że jest w trakcie "rebuildingu" czyli synchronizacji danych (w obu tych przypadkach wydajność będzie nędzna) lub że jeden z dysków zgłąsza alarm SMART.

4. Jeśli menadżer mówi OK to sprawdzasz jaki masz model kontrolera i w jakim gnieżdzie siedzi - weryfikujesz z manualem do mobo i podajesz w następnym poście - najlepiej z info o reszcie sprzętu - a szczególnie modele dysków. Podaj również rozmiar bloku sytemu plików i stripe.

 

poza tym:

Wynik w HD_tachu uzyskany był po wyłączeniu wszystkich programów czy też miałeś w tle voipa, apache, ajaxa i inne takie? Jaki był burst?

Nie próbuj odczytać SMARTa HD_Tune, Everestem, itp - chyba że jednak chcesz pojechać na Kubę przymusowo ;)

Dzieki za wyrozumialosc i za wszelkie informacje.

 

Ad1. Serwer z baza danych ma 2xXeon 2,8ghz i 4 gb pamieci, na nim jest tylko SQL. Aplikacji uruchamianych dodatkowo jest minimum. Czyma problemy ?Baza ma 5,6GB. W momencie gdy panie z biur zaczynaja robic raporty czy fakurowania, praca na bazie jest bardzo trudna, wrecz neimozliwa. Wszystko staje. Po 15 jak pojda wszyscy do domu, to co w dzien robilo u mnie 22 min, po 15 robi lekko ponad 3 min. Zanim napisalem na forum sprawdzalem przez perfmona, procesor sie nie poci nawet, pamiec tez, dysk za to dostaje po tylku. Staralem sie dobrac odpowiednie wskazniki, ale dane ktore otrzymalem niekiedy sie nie pokrywaly z normami jakie powinny byc aby dysk mozna bylo uznac za 100% sprawny. Wartosci byly bardzo dziwne. Backup robi sie codziennie :)

 

Ad2 Sprawdzam Logi i oprocz zwyklych malo istotnych informacji, co pare min, czasem pare godzin pojawia sie:

http://img60.imageshack.us/my.php?image=bladnetbt.jpg

Server ten ma 2 karty sieciowe 100mbit i 1gbit. I dlatego dla 2 roznych IP jest ta sama nazwa i dlatego ten blad. Chyba sie nie myle ? :)

 

Ad3 Stan RAId5 pokazuje OK, kazdy z dyskow osobno tez OK. Dyski są 3: 1x ST3160827AS i 2x ST3160023AS, oba 160 gb 7200 rpm

 

Ad4 Kontroler 3ware Model 8506-4LP == Gniazdo PCI 1 (Magistrala PCI 3, urządzenie 2, funkcja 0). Manuala od mobo poszukam. Reszte sprzetu podalem wyzej i modele dyskow tez :]. System plikow i stripe... hmm.. jak to najlatwiej sprawdzic ?

 

Co do hdtacha, wlaczony byl tylko SQL service manager. Nod32 jest caly czas wylaczony (skanowanie w czasie rzeczywistym mam na mysli)

 

DObrze, ze napisales zebym everesta nie odpalal zeby SMARTa sprawdzic :D.

 

Dzieki jeszcze raz za porady, mam nadzieje, ze info co przedstawilem wyzej, pomoze w dalszej walce :)

[Gość <account_deleted>]

Server ten ma 2 karty sieciowe 100mbit i 1gbit. I dlatego dla 2 roznych IP jest ta sama nazwa i dlatego ten blad. Chyba sie nie myle ? :)

Nie, zaprzyjażnij się z MS TechNet

 

Ad4. Manual od mobo powie ci co to jest PCI-1 - jeśli nie jest to PCI-X 64bit/conajmniej 66MHz to znaczy że serwer składał kaleka umysłowy - i nigdy nie było ani nie będzie szybciej. Aczkolwiek tutaj 2 "drobne" uwagi:

- Jeśli to jest PCI32bit/66 lub 33MHz to prawdopodobnie może być problem konfiguracji systemu, ponieważ te 100MB/s liniowego odczytu powinno być osiągalne

- 65MB/s które uzyskałeś teraz to prawdopodobnie i tak 10x więcej niż normalnie potrzebuje baza - problem polega na tym, że HD_tach gófno pokazuje - w rzeczywistości masz pewnie z 8-15MB/s - co i tak nie było by problemem w codziennej pracy gdyby nie <najprawdopodobniej> żle dobrany rozmiar bloku do stripe. Stripe pokazuje manager macierzy, rozmiar bloku manager dysków.

Poza tym sciągnij od ms dskcache.exe i zbacz co wyrzuca (szczególnie czy jest włączony Power Protected Cache)

Poproszę też o linijkę z boot.ini - tą zaczynającą się od rdisk(x).

[Kinslayer]

Ok, wg manuala gniazdo 1 to jest PCI-X 64bit/66MHz

 

Stripe jest 64kB, informacji co udało mi sie wyciagnac to rozmiar klastra to 4kB oraz fragmentacja całkowita 44% (mowa o partycji gdzie jest baza).

 

Boot.ini:

[operating systems]

multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Windows Server 2003, Standard" /fastdetect /PAE

 

Czytam o dskcache.exe :)

 

Edit:

Po odpaleniu nbtstat -n:

http://img56.imageshack.us/i/nbstat.jpg/

 

Zapomnialem tez dodac, ze z obie karty sieciowe sa polaczone ze switchem. (po 15 sprawdze czy oba kable sa z jednym switchem polaczone czy z dwoma, jako iz mamy dwa).

Edytowane 31 Lipca 2009 przez Kinslayer

[Gość <account_deleted>]

Kontroler siedzi dobrze - już jakiś plus ;)

podaj na jakich slotach siedzą karty sieciowe (bus, slot)

...oraz na czym siedzi grafika (jeśli to nie integra)

 

Stripe + block: tragedia - pewnie jedna z głównych przyczyn spadku wydajności - niestety nic z tym nie zrobisz bez przerwania pracy serwera. Przy R5/6 i takim zastosowaniu widzę takie opcje: <block/stripe> 4k/8k 4k/16k 8k/16k, 8k/32k - najlepszą opcję dobiera się w oparciu o dokładne pomiary.

 

Fragmentacja - słuszna uwaga - contig.exe + PowerDefragmenterGUI - śmiało możesz puścić 'online'

Fragmentacja DB?

 

poproszę jeszcze o zawartość:

HKLM\SYSTEM\CurrentControlSet\Control\SessionManager\MemoryManagement

[Kinslayer]

Kontroler siedzi dobrze - już jakiś plus ;)

podaj na jakich slotach siedzą karty sieciowe (bus, slot)

...oraz na czym siedzi grafika (jeśli to nie integra)

 

Stripe + block: tragedia - pewnie jedna z głównych przyczyn spadku wydajności - niestety nic z tym nie zrobisz bez przerwania pracy serwera. Przy R5/6 i takim zastosowaniu widzę takie opcje: <block/stripe> 4k/8k 4k/16k 8k/16k, 8k/32k - najlepszą opcję dobiera się w oparciu o dokładne pomiary.

 

Fragmentacja - słuszna uwaga - contig.exe + PowerDefragmenterGUI - śmiało możesz puścić 'online'

Fragmentacja DB?

 

poproszę jeszcze o zawartość:

HKLM\SYSTEM\CurrentControlSet\Control\SessionManager\MemoryManagement

Karta 100mbit: Gniazdo PCI 3 (Magistrala PCI 4, urządzenie 4, funkcja 0)

Karta 1000mbit: Magistrala PCI 4, urządzenie 3, funkcja 0

Grafika: Rage XL PCI na : Magistrala PCI 4, urządzenie 2, funkcja 0

O to chodzilo ?

 

Co do stripe/block jak mozna to zmienic co by nie popsuc nic ?

 

contig.exe z jakimis parametrami odpalic ? PowerDefragmenterGUI tez ? czy starczy sam contig ?

 

DB, moj blad baza jest na C, a dysk C ma fragmentacje 11%. Musze wylaczyc SQLa aby defragmentator widzial baze, i teraz czy on jej nie uszkodzi przy defragmentacji ?

 

SessionManager:

http://img374.imageshack.us/my.php?image=sessionmanager.jpg

 

Burst w HDtachu jest 87,7, czas dostepu 14,8 ms, sredni odczyt 64,0 mb/s.

Edytowane 31 Lipca 2009 przez Kinslayer

[Gość <account_deleted>]

Karta 100mbit: Gniazdo PCI 3 (Magistrala PCI 4, urządzenie 4, funkcja 0)

Karta 1000mbit: Magistrala PCI 4, urządzenie 3, funkcja 0

Grafika: Rage XL PCI na : Magistrala PCI 4, urządzenie 2, funkcja 0

oki, to teraz doczytaj w manualu od mobo czy np. w "features" producent chwali się niezależną magistralą PCI 32bit - jak nie to PCI1-4 to tylko numery slotów - i mamy kolejny problem.

 

stripe/block : poważnie rozważyłbym przesiadkę na raid10 - koszt nawet 4 nowych dysków nie jest duży, a w ostateczności wystarczy 1. Poza tym HW Raid 5 nawet najlepiej skonfigurowany i tak cierpi z powodu cykli Read-Moify-Write szczegónie w miarę postępującej fragmentacji (choć jest o niebo lepiej niż przy soft R5) Jeśli chcesz pozostać przy R5 - są generalnie 2 opcje:

- robisz obraz całego R5, stawiasz macierz od nowa, przywracasz obraz i bootsector.

- być może kontroler pozwala na migrację R5->R5 ze zmianą geometrii w locie - ale tego nie wiem -> sam musisz sprawdzić u producenta / w dokumentacji - to jednak i tak nie zwalnia cię z obowiązku zrobienia kopii.

 

contig: odpalasz GUI i wybierasz pliki/katalogi do defragmentacji - nie ma sensu defragmentować całej partycji (choć może to być konieczne jeśli nie ma już wolnego miejsca zbyt wiele. Nie słyszałem jeszcze żeby contig coś spieprzył - to raczej sprawdzona aplikacja.

Defrag DB - 100% gwarancji daje backup.

 

session manager: ten serwer jest skonfigurowany do CRYSISA a nie do SQLa ;) Temat cache jest dłuuuugi - poszukaj na necie co ludzie wyprawiają z tymi ustawieniami - na początek chociaż LargeSystemCache=1 polecam.

 

Burst jest niezależny od systemu plików, bloków, stripe - jeśli HD_tach pokazał coś zbliżonego do rzeczywistości - to masz problem z PCI ^jw - looknij do manuala od mb.

 

co z tym dskcache - dostałeś już maila od ms?

[Kinslayer]

Jutro zerkne do manuala bo zabralem go do domu i napisze maila do M$ po ten pliczek.

 

Jak zdobede info edytuje tego posta.

 

Dzieki jeszcze raz za pomoc :)

 

Ok jestem juz w pracy. Zrobilem defragmentacje w piatek, ale contig nie wiem czy on tak mial dzialac czy co, ale po jego wlaczeniu i zaakceptowaniu on po prostu znika :). Zamierzalem wlasnie napisac do ms maila po ten plik, ino musze znalezc nasze licencje na win 2003 server i dowiedziec sie czy mamy konto na ms czy musze zalozyc nowe. Zalogowalem sie na swoje prywatne i prosi mnie o indentyfikator dostepu i haslo (identyfikator umowy). I zerkne na google co da sie zrobic z Memory management.

 

Edit:

W manualu od plyty glownej jedyne info o PCI jest to:

trzy/cztery niezalezne magistrale PCI:

x4 PCI-Express

x16 PCI Express(opcja dodatkowa),

32bit, 33MHz PCI 5V

64bit, 66MHz, PCI-X 3,3V

Edytowane 3 Sierpnia 2009 przez Kinslayer

[Gość <account_deleted>]

dskcache: klikasz, następnie klikasz: "View and request hotfix downloads", zgadzasz się na warunki (bo nie masz wyjścia), potem czekasz na maila ;)

 

contig: powinno odpalić się okno konsoli... uprawnienia? spróbuj odpalić GUI z konsoli -> być może będzie widać błędy. Ostatecznie zawsze możesz bezpośrednio contig.exe uruchomić -> tyle że to wymaga przeczytania manuala ;)

Aha, GUI i contig.exe muszą być w tym samym katalogu.

 

PCI: na jakim <fizycznie> gnieździe siedzą sieciówki? <grafika pewnie na PCI32bit ?>

Niby 1Gbit jest na tej samej magistrali co grafika - na czym siedzi karta 100Mbit?

 

<edit>jakie numery przerwań mają te karty?

Edytowane 3 Sierpnia 2009 przez tomazzi

[Kinslayer]

dskcache: klikasz, następnie klikasz: "View and request hotfix downloads", zgadzasz się na warunki (bo nie masz wyjścia), potem czekasz na maila ;)

 

contig: powinno odpalić się okno konsoli... uprawnienia? spróbuj odpalić GUI z konsoli -> być może będzie widać błędy. Ostatecznie zawsze możesz bezpośrednio contig.exe uruchomić -> tyle że to wymaga przeczytania manuala ;)

Aha, GUI i contig.exe muszą być w tym samym katalogu.

 

PCI: na jakim <fizycznie> gnieździe siedzą sieciówki? <grafika pewnie na PCI32bit ?>

Niby 1Gbit jest na tej samej magistrali co grafika - na czym siedzi karta 100Mbit?

Sorry ze tak odpisuje z opoznieniem, ale mam mase roboty (wprowadzam system informacji kierownictwa do firmy). Dzis postaram sie zajec do serwera i dam znaka co i jak. Co do dskcheck to dostalem maila z linkiem, ino w moim requescie o ten plik jako system pokazalo win 2000 z sp5. Ja mam 2003 servera.

 

Zauwazylem tez, ze co jakis czas pokazuje sie ostrzezenie:

 

System nie może zarejestrować rekordów zasobu (RR) hosta (A)  dla karty sieciowejo ustawieniach:   Nazwa karty: {ABEA7AC4-EBB0-4A13-8B55-FC398CDC8EA3}   Nazwa hosta: server1   Sufiks domeny podstawowej: rwik   Lista serwerów DNS: Event ID: 11165 - 	 	192.168.1.254, 192.168.1.252   Aktualizacja wysłana do serwera: <?>   Adresy IP:	 192.168.1.251 (oraz drugi IP w drugim zdazeniu 1.159 czyli drugie IP tego servera)

[Gość <account_deleted>]

Sorry ze tak odpisuje z opoznieniem, ale mam mase roboty (wprowadzam system informacji kierownictwa do firmy). Dzis postaram sie zajec do serwera i dam znaka co i jak. Co do dskcheck to dostalem maila z linkiem, ino w moim requescie o ten plik jako system pokazalo win 2000 z sp5. Ja mam 2003 servera.

afain to działa również na 2k3

 

Zauwazylem tez, ze co jakis czas pokazuje sie ostrzezenie: <...>

technet

Od siebie dodam, że warto zwrócić uwagę na zdanie: "Because this error can be caused by timeouts, wait to see whether this error resolves itself." - 'timeouts' może mieć wiele przyczyn - od sprzętowych po konfiguracyjne, więc ciężko powiedzieć - trzeba wiele rzeczy sprawdzić - na początek: która to karta ;)

[Kinslayer]

Na chwile obecna obserwuje liczniki z windowsa i przykladowo:

 

1. Średni czas dysku w s/odczyt - srednia z ostatnich 2 minut to prawie 0,3, wg specyfikacji znalezionych na necie PhysicalDIsk Avg. DIsc sec/Read : Mniej niz 10ms - bardzo dobrze, miedzy 10 a 20 ms - ok, miedzy 20 a 50 ms, wolno, ponad 50 ms - tragedia :). Czyli te 0,3 to 300ms ? :)

 

2. Średni czas dysku/transfer - mamy srednio mniej wiecej te same wartosci, czasem wiesze niz te wyzej. Wg specyfikacji nie powinno to przekraczac 18ms

 

3. Średnia liczba bajtów dysku/odczyt - zalezy od obciazenia, ale w szczycie to i 55000,000-60000,000 jest. Sprawdzajac u siebie w domu doszedlem do wniosku ze jest to miedzy 55 a 60 mb/s odczyt. (sredni odczyt wg hdtacha to 65mb/s )

[Gość <account_deleted>]

Coś słyszłaem że i tak serwer idzie na złom? ;)

 

Długie czasy dostępu to efekt operacji Read-Modify-Write + zły rozmiar stripe: np. odczyt 2 bloków z różnych stripe skutkuje koniecznąścię dczytania 2x(3x64KB) = 384kb, natomiast zapis: najpierw odczyt 384kb, potem zapis -> 768KB. Co oznacza że jeśli baza operuje na niewielkich rekordach to przy byle operacji ruch na dyskach idzie w MB i kładzie wydajność na glebę.

Do tego wasze dyski demonami prędkości to raczej nie są...

Max odczyt uzyskuje się gdy akurat system trafi w tylko jeden stripe lub w cache kontrolera.

[Kinslayer]

Coś słyszłaem że i tak serwer idzie na złom? ;)

 

Długie czasy dostępu to efekt operacji Read-Modify-Write + zły rozmiar stripe: np. odczyt 2 bloków z różnych stripe skutkuje koniecznąścię dczytania 2x(3x64KB) = 384kb, natomiast zapis: najpierw odczyt 384kb, potem zapis -> 768KB. Co oznacza że jeśli baza operuje na niewielkich rekordach to przy byle operacji ruch na dyskach idzie w MB i kładzie wydajność na glebę.

Do tego wasze dyski demonami prędkości to raczej nie są...

Max odczyt uzyskuje się gdy akurat system trafi w tylko jeden stripe lub w cache kontrolera.

Ano idzie idzie :)

 

Jutro przyjezdza ekipa z nowymi serwerami, ale i tak najlepsza z tego wszystkiego bedzie macierz dyskowa 8x300GB 15k rpm, wg specyfikacji to powinno miec sredni odczyt 1500mb/s. Miejmy nadzieje, ze przez nastepne kilka ladnych lat nie bedzie takich problemow jak teraz :).

 

Jeden z obecnych serwerow bedzie jako replika AD takze jeszcze cos sie z niego wycisnie ;)