Linux中出现“No space left on device”错误的排查与解决方法

发布时间:2024-02-20 点击:156
服务器
前言
最近这两天登陆服务器,发现用 wget 下载文件的时候提示“no space left on device”,而且连使用 tab 键进行补全时也会提示该错误。
之前遇到过一次这种问题,是由于磁盘空间被占满了,导致无法创建新文件。正常情况下,删除一些文件来释放空间,即可解决该问题。
当我使用 df 命令查看分区情况时,结果如下:
# df -hfilesystem size used avail use% mounted on/dev/vda1 29g 29g 0 100% /udev 10m 0 10m 0% /devtmpfs 101m 232k 100m 1% /runtmpfs 5.0m 0 5.0m 0% /run/locktmpfs 405m 0 405m 0% /run/shm看到这里,我以为磁盘真的被 100% %u5360用了,于是就查看了各目录的占用情况:
# du -sh /*8.8m /bin30m /boot0 /dev5.3m /etc24k /home0 /initrd.img205m /lib4.0k /lib6416k /lost found8.0k /media4.0k /mnt4.0k /opt0 /proc2.5g /root232k /run5.2m /sbin8.0k /srv0 /sys4.0k /tmp2.6g /usr1.8g /var0 /vmlinuz很明显,总共的磁盘占用完全不到 10g,磁盘理论上并未被占满。
这种情况下,很可能是小文件过多,导致 inode 急剧增加,消耗完 inode 区域的空间。
如果真是如此,那么即使磁盘空间有剩余,但由于无法创建新的 inode 来存储文件的元信息,也就无法创建新文件。
因此,我用 df 命令进行验证:
# df -ihfilesystem inodes iused ifree iuse% mounted on/dev/vda1 1.9m 299k 1.6m 17% /udev 123k 299 123k 1% /devtmpfs 126k 249 125k 1% /runtmpfs 126k 4 126k 1% /run/locktmpfs 126k 2 126k 1% /run/shm可以看到,inode 区域只被占用了一小部分,还有大量的空间未使用,所以也不是 inode 区域被占满的问题。
到了这里,我的内心是非常郁闷的。这个问题直接导致了apache、mysql以及其它的一些服务均无法启动,服务器已经基本没法使用了,然而原因却扑朔迷离。
最后,服务器提供商告诉我另一种可能的情况,就是有些文件删除时还被其它进程占用,此时文件并未真正删除,只是标记为 deleted,只有进程结束后才会将文件真正从磁盘中清除。
于是我通过 lsop 命令查看了被进程占用中的文件:
# lsof | grep deletedmysqld 1952 2982 mysql 5u reg 254,1 0 127 /tmp/ibzmee4z (deleted)mysqld 1952 2982 mysql 6u reg 254,1 0 146 /tmp/ibq6zfge (deleted)mysqld 1952 2982 mysql 10u reg 254,1 0 150 /tmp/ibynhh8y (deleted)apache2 2869 root 9u reg 254,1 0 168 /tmp/.zendsem.2w14iv (deleted)apache2 2869 root 10w reg 0,16 0 11077 /run/lock/apache2/rewrite-map.2869 (deleted)...python 3102 root 1w reg 254,1 22412342132 264070 /var/log/nohup.out (deleted)终于找到了罪魁祸首,原来是在后台运行的 python 脚本,源源不断地将输出保存到 /var/log/nohup.out 文件中,文件大小居然达到了20g !
前阶段在后台运行脚本之后,就没再管过它。估计是我在 python 运行过程中删掉了 nothup.out 文件,由于该文件被占用,所以只能先标记为 deleted,而未真正删除,最后导致磁盘爆满。
这次的教训提醒了我,不能将任务简单放到后台就放任不管,特别是使用 nohup 命令时,所有的输出都会被不断地添加到同一个文件中,如果该进程不会自己终止,就可能导致输出文件占满整个磁盘。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对西部数码的支持。

润滑油商标注册类别
云服务器和云解析都买好了
工信部通知-域名及账户问题
买阿里云服务器怎么返现
电脑中无法开启360游戏保险箱如何解决
【涨知识】UGC在内容上运营推广的差距
浅析电脑内存条的故障和解决方法
马莎百货寻求出售港澳门店经营权