I am looking to an iscsi installation comprised of the raid arrays managed by an HP P400 controller. 2 pairs of drives each mirrored plus 4 drives in a raid 10 configuration, all 7200rpm sas drives.
The drives hold vmfs3 volumes exported through iscsi to several vmware esxi hosts.
The following is a sample of iostat -xm 1 running on the storage machine:Device:
rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 8,34 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 1,00 0,00 0,00 8,00 8,54 1760,00 1000,00 100,00
cciss/c0d2 0,00 0,00 6,00 45,00 0,14 0,64 31,57 89,71 1747,45 19,61 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,45 0,00 0,00 99,55
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 10,00 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 9,95 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 0,00 4,00 0,00 0,04 22,00 91,00 2325,00 250,00 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,25 0,00 0,00 99,75
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 10,00 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 10,00 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 1,00 9,00 0,00 0,04 8,90 90,90 2776,00 100,00 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,25 0,00 0,00 0,00 0,00 99,75
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 4,00 0,00 0,01 6,25 8,80 3890,00 250,00 100,00
cciss/c0d1 0,00 0,00 2,00 5,00 0,01 0,04 13,71 9,68 3982,86 142,86 100,00
cciss/c0d2 0,00 1,00 0,00 27,00 0,00 1,14 86,81 91,82 4147,04 37,04 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,25 0,00 0,50 0,00 0,00 99,26
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 5,00 0,00 0,07 30,60 2,92 3946,00 200,00 100,00
cciss/c0d1 0,00 0,00 1,00 1,00 0,00 0,00 8,00 6,29 3995,00 500,00 100,00
cciss/c0d2 0,00 1,00 0,00 15,00 0,00 0,52 70,93 106,73 4271,33 66,67 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,25 0,00 0,00 99,75
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 1,00 0,00 0,01 16,00 1,80 4940,00 1000,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 6,00 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 4,00 11,00 0,02 0,34 49,07 106,21 5011,33 66,67 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,24 0,00 0,00 0,00 0,00 99,76
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 2,00 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 6,00 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 1,00 4,00 0,01 0,02 9,60 103,27 5876,00 200,00 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,51 0,00 0,00 0,00 0,00 99,49
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 2,00 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 6,00 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 1,00 16,00 0,01 0,64 78,18 105,78 6313,53 58,82 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,24 0,00 0,00 99,76
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 1,00 0,00 0,00 1,00 1,78 5180,00 1000,00 100,00
cciss/c0d1 0,00 0,00 0,00 4,00 0,00 0,01 6,50 8,72 5430,00 250,00 100,00
cciss/c0d2 0,00 0,00 0,00 28,00 0,00 0,47 34,07 106,16 5791,79 35,71 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 2,72 0,00 0,00 97,28
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 23,00 0,00 0,30 26,87 1,79 218,26 39,57 91,00
cciss/c0d1 0,00 0,00 9,00 59,00 0,04 0,41 13,47 9,78 361,47 14,26 97,00
cciss/c0d2 0,00 11,00 31,00 714,00 0,33 18,96 53,03 94,85 526,35 1,34 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,25 0,00 4,90 1,23 0,00 93,63
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 6,00 0,00 0,16 54,00 0,45 101,67 38,33 23,00
cciss/c0d1 0,00 0,00 151,00 4,00 0,59 0,07 8,73 1,16 7,35 4,77 74,00
cciss/c0d2 0,00 19,00 79,00 917,00 1,51 30,18 65,16 45,22 31,22 1,00 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,49 0,00 0,00 99,51
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,76 0,00 0,00 76,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 4,00 0,00 0,00 100,00
cciss/c0d2 0,00 1,00 2,00 45,00 0,07 1,73 78,30 95,52 624,47 21,28 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 6,80 0,00 0,00 93,20
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 4,00 0,00 0,08 38,50 2,35 797,50 245,00 98,00
cciss/c0d1 0,00 0,00 5,00 26,00 0,02 0,15 11,45 18,82 2227,74 31,94 99,00
cciss/c0d2 0,00 6,00 2,00 21,00 0,01 0,61 55,39 7,27 2031,74 43,04 99,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,52 0,00 0,00 99,48
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
cciss/c0d1 0,00 0,00 1,00 0,00 0,00 0,00 8,00 1,70 60,00 1000,00 100,00
cciss/c0d2 0,00 4,00 1,00 42,00 0,01 2,30 109,95 78,00 326,51 23,26 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 2,13 0,00 0,00 97,87
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 2,00 0,00 0,02 16,50 0,00 0,00 0,00 0,00
cciss/c0d1 0,00 0,00 188,00 2,00 0,73 0,00 7,96 2,51 14,84 4,68 89,00
cciss/c0d2 0,00 19,00 23,00 263,00 0,12 9,81 71,12 61,14 358,22 2,94 84,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,25 0,00 0,00 99,75
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,59 0,00 0,00 59,00
cciss/c0d1 0,00 0,00 1,00 2,00 0,00 0,02 13,33 5,89 500,00 333,33 100,00
cciss/c0d2 0,00 5,00 1,00 32,00 0,00 1,81 112,73 104,74 646,06 30,30 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,50 0,00 0,50 0,00 0,00 99,00
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 1,96 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 2,00 0,00 0,01 8,00 7,06 2015,00 500,00 100,00
cciss/c0d2 0,00 0,00 1,00 16,00 0,00 0,88 105,88 107,45 1802,35 58,82 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 0,24 0,00 0,00 99,76
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 2,75 0,00 0,00 100,00
cciss/c0d1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 8,37 0,00 0,00 100,00
cciss/c0d2 0,00 0,00 0,00 12,00 0,00 0,54 92,67 104,39 2697,50 83,33 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,00 0,00 1,47 0,00 0,00 98,53
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 19,00 0,00 0,15 16,47 10,76 814,74 52,63 100,00
cciss/c0d1 0,00 0,00 1,00 11,00 0,00 0,07 12,42 8,66 2084,17 83,33 100,00
cciss/c0d2 0,00 13,00 3,00 178,00 0,03 9,86 111,92 108,70 1913,43 5,52 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,24 0,00 1,90 0,00 0,00 97,86
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 36,00 0,00 0,20 11,58 1,53 58,61 14,72 53,00
cciss/c0d1 0,00 0,00 6,00 11,00 0,02 0,06 10,41 2,08 167,65 58,24 99,00
cciss/c0d2 0,00 11,00 34,00 673,00 0,30 15,90 46,95 89,14 149,72 1,41 100,00
avg-cpu: %user %nice %system %iowait %steal %idle
0,50 0,00 2,73 0,00 0,00 96,77
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0,00 0,00 0,00 1,00 0,00 0,00 1,00 0,08 80,00 80,00 8,00
cciss/c0d1 0,00 0,00 189,00 3,00 0,74 0,01 7,96 0,75 3,96 3,54 68,00
cciss/c0d2 1,00 28,00 198,00 904,00 5,24 28,98 63,60 32,31 28,12 0,91 100,00
cciss/c0d0 is four 1TB drives in raid10, cciss/c0d1 a 500GB mirror, cciss/c0d2 a 2TB mirror.
100%util with next to no transactions, await and svctm extremely high in similar conditions, etc On top of that the hpacucli controller management tool may take up to 40s to give back a simple status output about the controller.
The output of vmstat regarding memory utilization and other parameters looks perfectly fine as well.
I am quite stumped at the moment. Any suggestions?
