Take the 2-minute tour ×
Server Fault is a question and answer site for professional system and network administrators. It's 100% free, no registration required.

I am looking to an iscsi installation comprised of the raid arrays managed by an HP P400 controller. 2 pairs of drives each mirrored plus 4 drives in a raid 10 configuration, all 7200rpm sas drives.

The drives hold vmfs3 volumes exported through iscsi to several vmware esxi hosts.

The following is a sample of iostat -xm 1 running on the storage machine:Device:

    rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     8,34    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    1,00     0,00     0,00     8,00     8,54 1760,00 1000,00 100,00
cciss/c0d2        0,00     0,00    6,00   45,00     0,14     0,64    31,57    89,71 1747,45  19,61 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,45    0,00    0,00   99,55

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00    10,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     9,95    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    0,00    4,00     0,00     0,04    22,00    91,00 2325,00 250,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,25    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00    10,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00    10,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    1,00    9,00     0,00     0,04     8,90    90,90 2776,00 100,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,25    0,00    0,00    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    4,00     0,00     0,01     6,25     8,80 3890,00 250,00 100,00
cciss/c0d1        0,00     0,00    2,00    5,00     0,01     0,04    13,71     9,68 3982,86 142,86 100,00
cciss/c0d2        0,00     1,00    0,00   27,00     0,00     1,14    86,81    91,82 4147,04  37,04 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,25    0,00    0,50    0,00    0,00   99,26

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    5,00     0,00     0,07    30,60     2,92 3946,00 200,00 100,00
cciss/c0d1        0,00     0,00    1,00    1,00     0,00     0,00     8,00     6,29 3995,00 500,00 100,00
cciss/c0d2        0,00     1,00    0,00   15,00     0,00     0,52    70,93   106,73 4271,33  66,67 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,25    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    1,00     0,00     0,01    16,00     1,80 4940,00 1000,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     6,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    4,00   11,00     0,02     0,34    49,07   106,21 5011,33  66,67 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,24    0,00    0,00    0,00    0,00   99,76

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     2,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     6,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    1,00    4,00     0,01     0,02     9,60   103,27 5876,00 200,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,51    0,00    0,00    0,00    0,00   99,49

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     2,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     6,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    1,00   16,00     0,01     0,64    78,18   105,78 6313,53  58,82 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,24    0,00    0,00   99,76

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    1,00     0,00     0,00     1,00     1,78 5180,00 1000,00 100,00
cciss/c0d1        0,00     0,00    0,00    4,00     0,00     0,01     6,50     8,72 5430,00 250,00 100,00
cciss/c0d2        0,00     0,00    0,00   28,00     0,00     0,47    34,07   106,16 5791,79  35,71 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    2,72    0,00    0,00   97,28

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00   23,00     0,00     0,30    26,87     1,79  218,26  39,57  91,00
cciss/c0d1        0,00     0,00    9,00   59,00     0,04     0,41    13,47     9,78  361,47  14,26  97,00
cciss/c0d2        0,00    11,00   31,00  714,00     0,33    18,96    53,03    94,85  526,35   1,34 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,25    0,00    4,90    1,23    0,00   93,63

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    6,00     0,00     0,16    54,00     0,45  101,67  38,33  23,00
cciss/c0d1        0,00     0,00  151,00    4,00     0,59     0,07     8,73     1,16    7,35   4,77  74,00
cciss/c0d2        0,00    19,00   79,00  917,00     1,51    30,18    65,16    45,22   31,22   1,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,49    0,00    0,00   99,51

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,76    0,00   0,00  76,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     4,00    0,00   0,00 100,00
cciss/c0d2        0,00     1,00    2,00   45,00     0,07     1,73    78,30    95,52  624,47  21,28 100,00




avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    6,80    0,00    0,00   93,20

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    4,00     0,00     0,08    38,50     2,35  797,50 245,00  98,00
cciss/c0d1        0,00     0,00    5,00   26,00     0,02     0,15    11,45    18,82 2227,74  31,94  99,00
cciss/c0d2        0,00     6,00    2,00   21,00     0,01     0,61    55,39     7,27 2031,74  43,04  99,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,52    0,00    0,00   99,48

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00   0,00   0,00
cciss/c0d1        0,00     0,00    1,00    0,00     0,00     0,00     8,00     1,70   60,00 1000,00 100,00
cciss/c0d2        0,00     4,00    1,00   42,00     0,01     2,30   109,95    78,00  326,51  23,26 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    2,13    0,00    0,00   97,87

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    2,00     0,00     0,02    16,50     0,00    0,00   0,00   0,00
cciss/c0d1        0,00     0,00  188,00    2,00     0,73     0,00     7,96     2,51   14,84   4,68  89,00
cciss/c0d2        0,00    19,00   23,00  263,00     0,12     9,81    71,12    61,14  358,22   2,94  84,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,25    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,59    0,00   0,00  59,00
cciss/c0d1        0,00     0,00    1,00    2,00     0,00     0,02    13,33     5,89  500,00 333,33 100,00
cciss/c0d2        0,00     5,00    1,00   32,00     0,00     1,81   112,73   104,74  646,06  30,30 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,50    0,00    0,50    0,00    0,00   99,00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     1,96    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    2,00     0,00     0,01     8,00     7,06 2015,00 500,00 100,00
cciss/c0d2        0,00     0,00    1,00   16,00     0,00     0,88   105,88   107,45 1802,35  58,82 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,24    0,00    0,00   99,76

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     2,75    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     8,37    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    0,00   12,00     0,00     0,54    92,67   104,39 2697,50  83,33 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    1,47    0,00    0,00   98,53

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00   19,00     0,00     0,15    16,47    10,76  814,74  52,63 100,00
cciss/c0d1        0,00     0,00    1,00   11,00     0,00     0,07    12,42     8,66 2084,17  83,33 100,00
cciss/c0d2        0,00    13,00    3,00  178,00     0,03     9,86   111,92   108,70 1913,43   5,52 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,24    0,00    1,90    0,00    0,00   97,86

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00   36,00     0,00     0,20    11,58     1,53   58,61  14,72  53,00
cciss/c0d1        0,00     0,00    6,00   11,00     0,02     0,06    10,41     2,08  167,65  58,24  99,00
cciss/c0d2        0,00    11,00   34,00  673,00     0,30    15,90    46,95    89,14  149,72   1,41 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,50    0,00    2,73    0,00    0,00   96,77

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    1,00     0,00     0,00     1,00     0,08   80,00  80,00   8,00
cciss/c0d1        0,00     0,00  189,00    3,00     0,74     0,01     7,96     0,75    3,96   3,54  68,00
cciss/c0d2        1,00    28,00  198,00  904,00     5,24    28,98    63,60    32,31   28,12   0,91 100,00

cciss/c0d0 is four 1TB drives in raid10, cciss/c0d1 a 500GB mirror, cciss/c0d2 a 2TB mirror.

100%util with next to no transactions, await and svctm extremely high in similar conditions, etc On top of that the hpacucli controller management tool may take up to 40s to give back a simple status output about the controller.

The output of vmstat regarding memory utilization and other parameters looks perfectly fine as well.

I am quite stumped at the moment. Any suggestions?

share|improve this question
    
Uhmm. Removing a troublesome drive appears to have taken care of the problem. –  Fulvio Scapin Apr 7 '11 at 9:58
    
You might want to say that in an answer, and mark it answered so that others can benefit. –  malcolmpdx Apr 8 '11 at 4:17

1 Answer 1

up vote 1 down vote accepted

Uhmm. Removing a troublesome drive appears to have taken care of the problem. Thanks all the same.

share|improve this answer

Your Answer

 
discard

By posting your answer, you agree to the privacy policy and terms of service.

Not the answer you're looking for? Browse other questions tagged or ask your own question.