0

I am looking to an iscsi installation comprised of the raid arrays managed by an HP P400 controller. 2 pairs of drives each mirrored plus 4 drives in a raid 10 configuration, all 7200rpm sas drives.

The drives hold vmfs3 volumes exported through iscsi to several vmware esxi hosts.

The following is a sample of iostat -xm 1 running on the storage machine:Device:

    rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     8,34    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    1,00     0,00     0,00     8,00     8,54 1760,00 1000,00 100,00
cciss/c0d2        0,00     0,00    6,00   45,00     0,14     0,64    31,57    89,71 1747,45  19,61 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,45    0,00    0,00   99,55

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00    10,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     9,95    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    0,00    4,00     0,00     0,04    22,00    91,00 2325,00 250,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,25    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00    10,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00    10,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    1,00    9,00     0,00     0,04     8,90    90,90 2776,00 100,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,25    0,00    0,00    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    4,00     0,00     0,01     6,25     8,80 3890,00 250,00 100,00
cciss/c0d1        0,00     0,00    2,00    5,00     0,01     0,04    13,71     9,68 3982,86 142,86 100,00
cciss/c0d2        0,00     1,00    0,00   27,00     0,00     1,14    86,81    91,82 4147,04  37,04 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,25    0,00    0,50    0,00    0,00   99,26

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    5,00     0,00     0,07    30,60     2,92 3946,00 200,00 100,00
cciss/c0d1        0,00     0,00    1,00    1,00     0,00     0,00     8,00     6,29 3995,00 500,00 100,00
cciss/c0d2        0,00     1,00    0,00   15,00     0,00     0,52    70,93   106,73 4271,33  66,67 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,25    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    1,00     0,00     0,01    16,00     1,80 4940,00 1000,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     6,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    4,00   11,00     0,02     0,34    49,07   106,21 5011,33  66,67 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,24    0,00    0,00    0,00    0,00   99,76

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     2,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     6,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    1,00    4,00     0,01     0,02     9,60   103,27 5876,00 200,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,51    0,00    0,00    0,00    0,00   99,49

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     2,00    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     6,00    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    1,00   16,00     0,01     0,64    78,18   105,78 6313,53  58,82 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,24    0,00    0,00   99,76

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    1,00     0,00     0,00     1,00     1,78 5180,00 1000,00 100,00
cciss/c0d1        0,00     0,00    0,00    4,00     0,00     0,01     6,50     8,72 5430,00 250,00 100,00
cciss/c0d2        0,00     0,00    0,00   28,00     0,00     0,47    34,07   106,16 5791,79  35,71 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    2,72    0,00    0,00   97,28

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00   23,00     0,00     0,30    26,87     1,79  218,26  39,57  91,00
cciss/c0d1        0,00     0,00    9,00   59,00     0,04     0,41    13,47     9,78  361,47  14,26  97,00
cciss/c0d2        0,00    11,00   31,00  714,00     0,33    18,96    53,03    94,85  526,35   1,34 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,25    0,00    4,90    1,23    0,00   93,63

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    6,00     0,00     0,16    54,00     0,45  101,67  38,33  23,00
cciss/c0d1        0,00     0,00  151,00    4,00     0,59     0,07     8,73     1,16    7,35   4,77  74,00
cciss/c0d2        0,00    19,00   79,00  917,00     1,51    30,18    65,16    45,22   31,22   1,00 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,49    0,00    0,00   99,51

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,76    0,00   0,00  76,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     4,00    0,00   0,00 100,00
cciss/c0d2        0,00     1,00    2,00   45,00     0,07     1,73    78,30    95,52  624,47  21,28 100,00




avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    6,80    0,00    0,00   93,20

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    4,00     0,00     0,08    38,50     2,35  797,50 245,00  98,00
cciss/c0d1        0,00     0,00    5,00   26,00     0,02     0,15    11,45    18,82 2227,74  31,94  99,00
cciss/c0d2        0,00     6,00    2,00   21,00     0,01     0,61    55,39     7,27 2031,74  43,04  99,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,52    0,00    0,00   99,48

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00   0,00   0,00
cciss/c0d1        0,00     0,00    1,00    0,00     0,00     0,00     8,00     1,70   60,00 1000,00 100,00
cciss/c0d2        0,00     4,00    1,00   42,00     0,01     2,30   109,95    78,00  326,51  23,26 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    2,13    0,00    0,00   97,87

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    2,00     0,00     0,02    16,50     0,00    0,00   0,00   0,00
cciss/c0d1        0,00     0,00  188,00    2,00     0,73     0,00     7,96     2,51   14,84   4,68  89,00
cciss/c0d2        0,00    19,00   23,00  263,00     0,12     9,81    71,12    61,14  358,22   2,94  84,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,25    0,00    0,00   99,75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,59    0,00   0,00  59,00
cciss/c0d1        0,00     0,00    1,00    2,00     0,00     0,02    13,33     5,89  500,00 333,33 100,00
cciss/c0d2        0,00     5,00    1,00   32,00     0,00     1,81   112,73   104,74  646,06  30,30 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,50    0,00    0,50    0,00    0,00   99,00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     1,96    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    2,00     0,00     0,01     8,00     7,06 2015,00 500,00 100,00
cciss/c0d2        0,00     0,00    1,00   16,00     0,00     0,88   105,88   107,45 1802,35  58,82 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    0,24    0,00    0,00   99,76

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    0,00     0,00     0,00     0,00     2,75    0,00   0,00 100,00
cciss/c0d1        0,00     0,00    0,00    0,00     0,00     0,00     0,00     8,37    0,00   0,00 100,00
cciss/c0d2        0,00     0,00    0,00   12,00     0,00     0,54    92,67   104,39 2697,50  83,33 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,00    0,00    1,47    0,00    0,00   98,53

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00   19,00     0,00     0,15    16,47    10,76  814,74  52,63 100,00
cciss/c0d1        0,00     0,00    1,00   11,00     0,00     0,07    12,42     8,66 2084,17  83,33 100,00
cciss/c0d2        0,00    13,00    3,00  178,00     0,03     9,86   111,92   108,70 1913,43   5,52 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,24    0,00    1,90    0,00    0,00   97,86

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00   36,00     0,00     0,20    11,58     1,53   58,61  14,72  53,00
cciss/c0d1        0,00     0,00    6,00   11,00     0,02     0,06    10,41     2,08  167,65  58,24  99,00
cciss/c0d2        0,00    11,00   34,00  673,00     0,30    15,90    46,95    89,14  149,72   1,41 100,00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,50    0,00    2,73    0,00    0,00   96,77

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0        0,00     0,00    0,00    1,00     0,00     0,00     1,00     0,08   80,00  80,00   8,00
cciss/c0d1        0,00     0,00  189,00    3,00     0,74     0,01     7,96     0,75    3,96   3,54  68,00
cciss/c0d2        1,00    28,00  198,00  904,00     5,24    28,98    63,60    32,31   28,12   0,91 100,00

cciss/c0d0 is four 1TB drives in raid10, cciss/c0d1 a 500GB mirror, cciss/c0d2 a 2TB mirror.

100%util with next to no transactions, await and svctm extremely high in similar conditions, etc On top of that the hpacucli controller management tool may take up to 40s to give back a simple status output about the controller.

The output of vmstat regarding memory utilization and other parameters looks perfectly fine as well.

I am quite stumped at the moment. Any suggestions?

  • Uhmm. Removing a troublesome drive appears to have taken care of the problem. – Fulvio Scapin Apr 7 '11 at 9:58
  • You might want to say that in an answer, and mark it answered so that others can benefit. – malcolmpdx Apr 8 '11 at 4:17
1

Uhmm. Removing a troublesome drive appears to have taken care of the problem. Thanks all the same.

Your Answer

By clicking “Post Your Answer”, you agree to our terms of service, privacy policy and cookie policy

Not the answer you're looking for? Browse other questions tagged or ask your own question.