Bug#519586: linux-image-2.6.26-1-xen-amd64: Huge "Slab Unreclaimable" and continually growing
Package: linux-image-2.6.26-1-xen-amd64
Severity: critical
Justification: breaks unrelated software
After ~4 days running a high-load Samba server in a domU with 1G memory,
SUnreclaim grows to over 700MB, dropping samba performance from ~60MB/s
transfers to 2MB/s transfers. Appears to also be a problem with stock
linux-image-2.6.26-1-amd kernel as well, as tested from a physical
machine w/ 4G memory and 4 Opterons, though it takes longer to fill the
memory and degrade performance. 'xm mem-set'-ing the domU to 2G memory
recovers some performance (not all), and slab unreclaimable continues to
grow.
I've tested with Lenny and Samba versions 3.2.5 (lenny), 3.3.0
(experimental), and 3.0.23c (compiled from upstream) in a domU, and
3.3.0 (experimental) on the physical machine. I have one other
pre-production Lenny domU running apache that is not showing the
cancerous slab growth; but it is pre-production and not taking nearly
the same load as the samba servers.
slabtop shows most of the slabs consumed by size-128 (~1.4M objects
using ~160MB) and size-256 (~1.4M objects using ~360M)
/boot/config-2.6.26-1-xen-amd64 show SLAB as the allocator in the xen
and non-xen kernels. I'm currently compiling with SLUB on a xen kernel
to see if it resolves the issue. Both machine's meminfo and procinfo
are attached.
-- System Information:
Debian Release: 5.0
APT prefers stable
APT policy: (500, 'stable')
Architecture: amd64 (x86_64)
Kernel: Linux 2.6.26-1-xen-amd64 (SMP w/2 CPU cores)
Locale: LANG=en_US.UTF-8, LC_CTYPE=en_US.UTF-8 (charmap=UTF-8)
Shell: /bin/sh linked to /bin/bash
*** /proc/meminfo
MemTotal: 1048576 kB
MemFree: 234620 kB
Buffers: 34248 kB
Cached: 121492 kB
SwapCached: 0 kB
Active: 74620 kB
Inactive: 100064 kB
SwapTotal: 1048568 kB
SwapFree: 1048552 kB
Dirty: 32 kB
Writeback: 0 kB
AnonPages: 18948 kB
Mapped: 8452 kB
Slab: 582628 kB
SReclaimable: 8484 kB
SUnreclaim: 574144 kB
PageTables: 0 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 1572856 kB
Committed_AS: 49676 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 656 kB
VmallocChunk: 34359737711 kB
*** /proc/slabinfo
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab>
<pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata
<active_slabs> <num_slabs> <sharedavail>
nfs_direct_cache 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
nfs_write_data 36 44 704 11 2 : tunables 54 27
8 : slabdata 4 4 0
nfs_read_data 32 33 704 11 2 : tunables 54 27
8 : slabdata 3 3 0
nfs_inode_cache 0 0 984 4 1 : tunables 54 27
8 : slabdata 0 0 0
nfs_page 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
rpc_buffers 8 8 2048 2 1 : tunables 24 12
8 : slabdata 4 4 0
rpc_tasks 8 12 320 12 1 : tunables 54 27
8 : slabdata 1 1 0
rpc_inode_cache 0 0 832 4 1 : tunables 54 27
8 : slabdata 0 0 0
fib6_nodes 5 59 64 59 1 : tunables 120 60
8 : slabdata 1 1 0
ip6_dst_cache 4 12 320 12 1 : tunables 54 27
8 : slabdata 1 1 0
ndisc_cache 1 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
ip6_mrt_cache 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
RAWv6 5 8 960 4 1 : tunables 54 27
8 : slabdata 2 2 0
UDPLITEv6 0 0 960 4 1 : tunables 54 27
8 : slabdata 0 0 0
UDPv6 3 4 960 4 1 : tunables 54 27
8 : slabdata 1 1 0
tw_sock_TCPv6 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
request_sock_TCPv6 0 0 192 20 1 : tunables 120
60 8 : slabdata 0 0 0
TCPv6 3 6 1792 2 1 : tunables 24 12
8 : slabdata 3 3 0
ext3_inode_cache 3649 3660 760 5 1 : tunables 54 27
8 : slabdata 732 732 0
ext3_xattr 0 0 88 44 1 : tunables 120 60
8 : slabdata 0 0 0
journal_handle 4 144 24 144 1 : tunables 120 60
8 : slabdata 1 1 0
journal_head 16 40 96 40 1 : tunables 120 60
8 : slabdata 1 1 0
revoke_table 2 202 16 202 1 : tunables 120 60
8 : slabdata 1 1 0
revoke_record 0 0 32 112 1 : tunables 120 60
8 : slabdata 0 0 0
dm_snap_pending_exception 128 136 112 34 1 : tunables
120 60 8 : slabdata 4 4 0
dm_snap_exception 0 0 32 112 1 : tunables 120 60
8 : slabdata 0 0 0
kcopyd_job 0 0 360 11 1 : tunables 54 27
8 : slabdata 0 0 0
dm_uevent 0 0 2608 3 2 : tunables 24 12
8 : slabdata 0 0 0
dm_target_io 0 0 24 144 1 : tunables 120 60
8 : slabdata 0 0 0
dm_io 0 0 40 92 1 : tunables 120 60
8 : slabdata 0 0 0
flow_cache 0 0 96 40 1 : tunables 120 60
8 : slabdata 0 0 0
blkif_cache 0 0 192 20 1 : tunables 120 60
8 : slabdata 0 0 0
cfq_io_context 0 0 168 23 1 : tunables 120 60
8 : slabdata 0 0 0
cfq_queue 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
bsg_cmd 0 0 312 12 1 : tunables 54 27
8 : slabdata 0 0 0
mqueue_inode_cache 1 4 896 4 1 : tunables 54
27 8 : slabdata 1 1 0
dnotify_cache 0 0 40 92 1 : tunables 120 60
8 : slabdata 0 0 0
dquot 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
inotify_event_cache 0 0 40 92 1 : tunables 120
60 8 : slabdata 0 0 0
inotify_watch_cache 2 53 72 53 1 : tunables 120
60 8 : slabdata 1 1 0
kioctx 0 0 384 10 1 : tunables 54 27
8 : slabdata 0 0 0
kiocb 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
fasync_cache 0 0 24 144 1 : tunables 120 60
8 : slabdata 0 0 0
shmem_inode_cache 490 495 768 5 1 : tunables 54 27
8 : slabdata 99 99 0
pid_namespace 0 0 2104 3 2 : tunables 24 12
8 : slabdata 0 0 0
nsproxy 0 0 56 67 1 : tunables 120 60
8 : slabdata 0 0 0
posix_timers_cache 0 0 192 20 1 : tunables 120
60 8 : slabdata 0 0 0
uid_cache 3 30 128 30 1 : tunables 120 60
8 : slabdata 1 1 0
UNIX 10 33 704 11 2 : tunables 54 27
8 : slabdata 3 3 0
ip_mrt_cache 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
UDP-Lite 0 0 832 9 2 : tunables 54 27
8 : slabdata 0 0 0
tcp_bind_bucket 10 118 64 59 1 : tunables 120 60
8 : slabdata 2 2 0
inet_peer_cache 1 59 64 59 1 : tunables 120 60
8 : slabdata 1 1 0
secpath_cache 0 0 64 59 1 : tunables 120 60
8 : slabdata 0 0 0
xfrm_dst_cache 0 0 384 10 1 : tunables 54 27
8 : slabdata 0 0 0
ip_fib_alias 0 0 32 112 1 : tunables 120 60
8 : slabdata 0 0 0
ip_fib_hash 9 53 72 53 1 : tunables 120 60
8 : slabdata 1 1 0
ip_dst_cache 49 84 320 12 1 : tunables 54 27
8 : slabdata 7 7 0
arp_cache 4 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
RAW 3 5 768 5 1 : tunables 54 27
8 : slabdata 1 1 0
UDP 12 27 832 9 2 : tunables 54 27
8 : slabdata 3 3 0
tw_sock_TCP 1 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
request_sock_TCP 4 30 128 30 1 : tunables 120 60
8 : slabdata 1 1 0
TCP 9 16 1664 4 2 : tunables 24 12
8 : slabdata 4 4 0
eventpoll_pwq 1 53 72 53 1 : tunables 120 60
8 : slabdata 1 1 0
eventpoll_epi 1 30 128 30 1 : tunables 120 60
8 : slabdata 1 1 0
blkdev_queue 18 18 1824 2 1 : tunables 24 12
8 : slabdata 9 9 0
blkdev_requests 10 13 304 13 1 : tunables 54 27
8 : slabdata 1 1 0
blkdev_ioc 1 53 72 53 1 : tunables 120 60
8 : slabdata 1 1 0
biovec-256 2 2 4096 1 1 : tunables 24 12
8 : slabdata 2 2 0
biovec-128 2 2 2048 2 1 : tunables 24 12
8 : slabdata 1 1 0
biovec-64 2 4 1024 4 1 : tunables 54 27
8 : slabdata 1 1 0
biovec-16 2 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
biovec-4 2 59 64 59 1 : tunables 120 60
8 : slabdata 1 1 0
biovec-1 39 202 16 202 1 : tunables 120 60
8 : slabdata 1 1 0
bio 6 30 128 30 1 : tunables 120 60
8 : slabdata 1 1 0
sock_inode_cache 52 96 640 6 1 : tunables 54 27
8 : slabdata 16 16 0
skbuff_fclone_cache 3 7 512 7 1 : tunables 54
27 8 : slabdata 1 1 0
skbuff_head_cache 137 315 256 15 1 : tunables 120 60
8 : slabdata 21 21 0
file_lock_cache 22 189 184 21 1 : tunables 120 60
8 : slabdata 9 9 0
task_delay_info 66 236 64 59 1 : tunables 120 60
8 : slabdata 4 4 0
taskstats 0 0 312 12 1 : tunables 54 27
8 : slabdata 0 0 0
proc_inode_cache 246 246 592 6 1 : tunables 54 27
8 : slabdata 41 41 0
sigqueue 109 144 160 24 1 : tunables 120 60
8 : slabdata 6 6 0
radix_tree_node 2197 2247 552 7 1 : tunables 54 27
8 : slabdata 321 321 0
bdev_cache 19 20 768 5 1 : tunables 54 27
8 : slabdata 4 4 0
sysfs_dir_cache 1980 2016 80 48 1 : tunables 120 60
8 : slabdata 42 42 0
mnt_cache 21 45 256 15 1 : tunables 120 60
8 : slabdata 3 3 0
inode_cache 67 112 560 7 1 : tunables 54 27
8 : slabdata 16 16 0
dentry 8046 8075 208 19 1 : tunables 120 60
8 : slabdata 425 425 0
filp 531 1980 192 20 1 : tunables 120 60
8 : slabdata 99 99 0
names_cache 2 2 4096 1 1 : tunables 24 12
8 : slabdata 2 2 0
key_jar 0 0 192 20 1 : tunables 120 60
8 : slabdata 0 0 0
buffer_head 20554 20831 104 37 1 : tunables 120 60
8 : slabdata 563 563 0
mm_struct 25 90 832 9 2 : tunables 54 27
8 : slabdata 10 10 0
vm_area_struct 1402 3266 168 23 1 : tunables 120 60
8 : slabdata 142 142 15
fs_cache 26 236 64 59 1 : tunables 120 60
8 : slabdata 4 4 0
files_cache 25 60 768 5 1 : tunables 54 27
8 : slabdata 12 12 0
signal_cache 55 92 896 4 1 : tunables 54 27
8 : slabdata 23 23 0
sighand_cache 55 72 2112 3 2 : tunables 24 12
8 : slabdata 24 24 0
task_xstate 12 40 512 8 1 : tunables 54 27
8 : slabdata 5 5 0
task_struct 63 96 1664 4 2 : tunables 24 12
8 : slabdata 24 24 0
anon_vma 472 576 24 144 1 : tunables 120 60
8 : slabdata 4 4 0
pid 65 180 128 30 1 : tunables 120 60
8 : slabdata 6 6 0
idr_layer_cache 102 112 528 7 1 : tunables 54 27
8 : slabdata 16 16 0
size-4194304(DMA) 0 0 4194304 1 1024 : tunables 1
1 0 : slabdata 0 0 0
size-4194304 0 0 4194304 1 1024 : tunables 1
1 0 : slabdata 0 0 0
size-2097152(DMA) 0 0 2097152 1 512 : tunables 1
1 0 : slabdata 0 0 0
size-2097152 0 0 2097152 1 512 : tunables 1
1 0 : slabdata 0 0 0
size-1048576(DMA) 0 0 1048576 1 256 : tunables 1
1 0 : slabdata 0 0 0
size-1048576 0 0 1048576 1 256 : tunables 1
1 0 : slabdata 0 0 0
size-524288(DMA) 0 0 524288 1 128 : tunables 1 1
0 : slabdata 0 0 0
size-524288 0 0 524288 1 128 : tunables 1 1
0 : slabdata 0 0 0
size-262144(DMA) 0 0 262144 1 64 : tunables 1 1
0 : slabdata 0 0 0
size-262144 0 0 262144 1 64 : tunables 1 1
0 : slabdata 0 0 0
size-131072(DMA) 0 0 131072 1 32 : tunables 8 4
0 : slabdata 0 0 0
size-131072 0 0 131072 1 32 : tunables 8 4
0 : slabdata 0 0 0
size-65536(DMA) 0 0 65536 1 16 : tunables 8 4
0 : slabdata 0 0 0
size-65536 0 0 65536 1 16 : tunables 8 4
0 : slabdata 0 0 0
size-32768(DMA) 0 0 32768 1 8 : tunables 8 4
0 : slabdata 0 0 0
size-32768 2 2 32768 1 8 : tunables 8 4
0 : slabdata 2 2 0
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4
0 : slabdata 0 0 0
size-16384 2 2 16384 1 4 : tunables 8 4
0 : slabdata 2 2 0
size-8192(DMA) 0 0 8192 1 2 : tunables 8 4
0 : slabdata 0 0 0
size-8192 3 3 8192 1 2 : tunables 8 4
0 : slabdata 3 3 0
size-4096(DMA) 0 0 4096 1 1 : tunables 24 12
8 : slabdata 0 0 0
size-4096 103 103 4096 1 1 : tunables 24 12
8 : slabdata 103 103 0
size-2048(DMA) 0 0 2048 2 1 : tunables 24 12
8 : slabdata 0 0 0
size-2048 85 88 2048 2 1 : tunables 24 12
8 : slabdata 44 44 0
size-1024(DMA) 0 0 1024 4 1 : tunables 54 27
8 : slabdata 0 0 0
size-1024 480 612 1024 4 1 : tunables 54 27
8 : slabdata 153 153 0
size-512(DMA) 0 0 512 8 1 : tunables 54 27
8 : slabdata 0 0 0
size-512 152 176 512 8 1 : tunables 54 27
8 : slabdata 22 22 0
size-256(DMA) 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
size-256 1422102 1424595 256 15 1 : tunables 120
60 8 : slabdata 94973 94973 0
size-128(DMA) 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
size-64(DMA) 0 0 64 59 1 : tunables 120 60
8 : slabdata 0 0 0
size-64 2320 2537 64 59 1 : tunables 120 60
8 : slabdata 43 43 0
size-32(DMA) 0 0 32 112 1 : tunables 120 60
8 : slabdata 0 0 0
size-128 1420834 1423080 128 30 1 : tunables 120
60 8 : slabdata 47436 47436 0
size-32 1567 1680 32 112 1 : tunables 120 60
8 : slabdata 15 15 0
kmem_cache 141 150 384 10 1 : tunables 54 27
8 : slabdata 15 15 0
*** /root/physical-machine-meminfo
MemTotal: 3959856 kB
MemFree: 223008 kB
Buffers: 75252 kB
Cached: 2548660 kB
SwapCached: 0 kB
Active: 1283388 kB
Inactive: 1573052 kB
SwapTotal: 2658716 kB
SwapFree: 2658644 kB
Dirty: 352 kB
Writeback: 28 kB
AnonPages: 232528 kB
Mapped: 19148 kB
Slab: 847252 kB
SReclaimable: 237996 kB
SUnreclaim: 609256 kB
PageTables: 4780 kB
NFS_Unstable: 744 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 4638644 kB
Committed_AS: 306844 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 18128 kB
VmallocChunk: 34359720035 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
*** /root/physical-machine-slabinfo
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab>
<pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata
<active_slabs> <num_slabs> <sharedavail>
nfs_direct_cache 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
nfs_write_data 77 110 704 11 2 : tunables 54 27
8 : slabdata 9 10 15
nfs_read_data 33 44 704 11 2 : tunables 54 27
8 : slabdata 3 4 1
nfs_inode_cache 175365 180384 984 4 1 : tunables 54 27
8 : slabdata 45096 45096 4
nfs_page 288 480 128 30 1 : tunables 120 60
8 : slabdata 16 16 41
rpc_buffers 40 42 2048 2 1 : tunables 24 12
8 : slabdata 20 21 0
rpc_tasks 38 48 320 12 1 : tunables 54 27
8 : slabdata 4 4 0
rpc_inode_cache 66 72 832 4 1 : tunables 54 27
8 : slabdata 18 18 0
fib6_nodes 7 59 64 59 1 : tunables 120 60
8 : slabdata 1 1 0
ip6_dst_cache 7 12 320 12 1 : tunables 54 27
8 : slabdata 1 1 0
ndisc_cache 1 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
ip6_mrt_cache 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
RAWv6 7 8 960 4 1 : tunables 54 27
8 : slabdata 2 2 0
UDPLITEv6 0 0 960 4 1 : tunables 54 27
8 : slabdata 0 0 0
UDPv6 6 8 960 4 1 : tunables 54 27
8 : slabdata 2 2 0
tw_sock_TCPv6 1 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
request_sock_TCPv6 0 0 192 20 1 : tunables 120
60 8 : slabdata 0 0 0
TCPv6 64 68 1792 2 1 : tunables 24 12
8 : slabdata 34 34 0
dm_snap_pending_exception 128 136 112 34 1 : tunables
120 60 8 : slabdata 4 4 0
dm_snap_exception 0 0 32 112 1 : tunables 120 60
8 : slabdata 0 0 0
kcopyd_job 0 0 360 11 1 : tunables 54 27
8 : slabdata 0 0 0
dm_uevent 0 0 2608 3 2 : tunables 24 12
8 : slabdata 0 0 0
dm_target_io 0 0 24 144 1 : tunables 120 60
8 : slabdata 0 0 0
dm_io 0 0 40 92 1 : tunables 120 60
8 : slabdata 0 0 0
ext3_inode_cache 4824 5015 760 5 1 : tunables 54 27
8 : slabdata 1003 1003 0
ext3_xattr 0 0 88 44 1 : tunables 120 60
8 : slabdata 0 0 0
journal_handle 32 288 24 144 1 : tunables 120 60
8 : slabdata 2 2 0
journal_head 78 200 96 40 1 : tunables 120 60
8 : slabdata 5 5 44
revoke_table 2 202 16 202 1 : tunables 120 60
8 : slabdata 1 1 0
revoke_record 0 0 32 112 1 : tunables 120 60
8 : slabdata 0 0 0
sgpool-128 2 2 4096 1 1 : tunables 24 12
8 : slabdata 2 2 0
sgpool-64 2 2 2048 2 1 : tunables 24 12
8 : slabdata 1 1 0
sgpool-32 2 4 1024 4 1 : tunables 54 27
8 : slabdata 1 1 0
sgpool-16 2 8 512 8 1 : tunables 54 27
8 : slabdata 1 1 0
sgpool-8 2 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
scsi_bidi_sdb 0 0 24 144 1 : tunables 120 60
8 : slabdata 0 0 0
Reply to: