銅線和鋁線的區(qū)別 電纜銅線和鋁線的區(qū)別
2024-09-02
更新時(shí)間:2024-09-02 18:02:25作者:佚名
背景
有時(shí)會(huì)出現(xiàn)這樣的情況,磁盤空間顯示已經(jīng)被占滿,但是在查看磁盤的具體文件占用情況時(shí),發(fā)現(xiàn)磁盤仍然有很大的空余空間。
1. 執(zhí)行df命令查看磁盤使用情況,發(fā)現(xiàn)磁盤已經(jīng)滿了。
-bash-4.2$ df -Th
Filesystem Type Size Used Avail Use% Mounted on
/dev/vda1 ext4 30G 30G 0 100% /
devtmpfs devtmpfs 489M 0 489M 0% /dev
tmpfs tmpfs 497M 0 497M 0% /dev/shm
tmpfs tmpfs 497M 50M 447M 11% /run
tmpfs tmpfs 497M 0 497M 0% /sys/fs/cgroup
2. 執(zhí)行du命令查看各個(gè)目錄的磁盤占用情況,把各個(gè)目錄文件的大小相加,發(fā)現(xiàn)并沒有占滿磁盤,有10多G空間莫名失蹤。
-bash-4.2$ du -h –max-depth=1 /home
16M /home/logs
11G /home/serverdog
11G /home
3. 為何會(huì)出現(xiàn)這樣的情況呢?
因?yàn)殡m然文件已被刪除,但是一些進(jìn)程仍然打開這些文件,因此其占用的磁盤空間并沒有被釋放。執(zhí)行l(wèi)sof命令顯示打開已刪除的文件。將有問題的進(jìn)程重啟(或,清空),磁盤空間就會(huì)得到釋放。
-bash-4.2# lsof | grep delete
mysqld 2470 mysql 4u REG 253,1 0 523577 /var/tmp/ibfTeQFn (deleted)
mysqld 2470 mysql 5u REG 253,1 0 523579 /var/tmp/ibaHcIdW (deleted)
mysqld 2470 mysql 6u REG 253,1 0 523581 /var/tmp/ibLjiALu (deleted)
mysqld 2470 mysql 7u REG 253,1 0 523585 /var/tmp/ibCFnzTB (deleted)
mysqld 2470 mysql 11u REG 253,1 0 523587 /var/tmp/ibCjuqva (deleted)
那么,Linux的文件系統(tǒng),到底為什么這么設(shè)計(jì)呢?要了解這些,就要先弄清楚并不容易,下面將從一些基本概念入手,一步步將這些梳理清楚:
虛擬文件系統(tǒng)
(virtaul filesystem)
下圖顯示了Linux操作系統(tǒng)中負(fù)責(zé)文件管理的基本組件。上半?yún)^(qū)域?yàn)橛脩裟J剑掳雲(yún)^(qū)域?yàn)閮?nèi)核模式。應(yīng)用程序使用標(biāo)準(zhǔn)庫(kù)libc來訪問文件,庫(kù)將請(qǐng)求映射到系統(tǒng)調(diào)用,以便進(jìn)入內(nèi)核模式。
所有與文件相關(guān)的操作的入口都是虛擬文件系統(tǒng)(VFS),而非特定的額文件系統(tǒng)(如Ext3、ReiserFS和NFS)。VFS 提供了系統(tǒng)庫(kù)和特定文件系統(tǒng)之間的接口。因此,VFS 不僅充當(dāng)抽象層,而且實(shí)際上它提供了一個(gè)文件系統(tǒng)的基本實(shí)現(xiàn),可以由不同的實(shí)現(xiàn)來使用和擴(kuò)展。因此,要了解文件系統(tǒng)是如何工作的,就要先了解VFS 。
通用文件模型
VFS 的主要思想在于引入了一個(gè)通用文件模型(common file model)。通用文件模型由以下對(duì)象類型組成:
超級(jí)塊對(duì)象(superblock object)索引節(jié)點(diǎn)對(duì)象(inode object)內(nèi)存:文件系統(tǒng)安裝時(shí)創(chuàng)建,存放文件系統(tǒng)的有關(guān)信息
磁盤:對(duì)應(yīng)于存放在磁盤上的文件系統(tǒng)控制塊(filesystem control block)
文件對(duì)象(file object)內(nèi)存:訪問時(shí)創(chuàng)建,存放關(guān)于具體文件的一般信息(inode 結(jié)構(gòu))
磁盤:對(duì)應(yīng)于存放在磁盤上的文件控制塊(file control block)
每個(gè)索引節(jié)點(diǎn)對(duì)象都有一個(gè)索引節(jié)點(diǎn)號(hào),唯一地標(biāo)識(shí)文件系統(tǒng)的文件
目錄項(xiàng)對(duì)象(dentry object)內(nèi)存:打開文件時(shí)創(chuàng)建,存放打開文件與進(jìn)程之間進(jìn)行交互的有關(guān)信息(file 結(jié)構(gòu))
打開文件信息,僅當(dāng)進(jìn)程訪問文件期間存在于內(nèi)核內(nèi)存中。
內(nèi)存:目錄項(xiàng)一旦被讀入內(nèi)存,VFS就會(huì)將其轉(zhuǎn)換成dentry 結(jié)構(gòu)的目錄項(xiàng)對(duì)象
磁盤:特定文件系統(tǒng)以特定的方式存儲(chǔ)在磁盤上
存放目錄項(xiàng)(即,文件名稱)與對(duì)應(yīng)文件進(jìn)行鏈接的有關(guān)信息
目錄樹
綜合來說,Linux 的 根文件系統(tǒng)(system’s root filessystem) 是內(nèi)核啟動(dòng)mount的第一個(gè)文件系統(tǒng)。內(nèi)核代碼映像文件保存在根文件系統(tǒng)中,而系統(tǒng)引導(dǎo)啟動(dòng)程序會(huì)在根文件系統(tǒng)掛載之后,從中把一些基本的初始化腳本和服務(wù)等加載到內(nèi)存中去運(yùn)行(文件系統(tǒng)和內(nèi)核是完全獨(dú)立的兩個(gè)部分)。其他文件系統(tǒng),則后續(xù)通過腳本或命令作為子文件系統(tǒng)安裝在已安裝文件系統(tǒng)的目錄上,最終形成整個(gè)目錄樹。
start_kernel
vfs_caches_init
mnt_init
init_rootfs // 注冊(cè)rootfs文件系統(tǒng)
init_mount_tree // 掛載rootfs文件系統(tǒng)
…
rest_init
kernel_thread(kernel_init, NULL, CLONE_FS);
就單個(gè)文件系統(tǒng)而言,在文件系統(tǒng)安裝時(shí),創(chuàng)建超級(jí)塊對(duì)象;沿樹查找文件時(shí),總是首先從初識(shí)目錄的中查找匹配的目錄項(xiàng),以便獲取相應(yīng)的索引節(jié)點(diǎn),然后讀取索引節(jié)點(diǎn)的目錄文件,轉(zhuǎn)化為dentry對(duì)象,再檢查匹配的目錄項(xiàng),反復(fù)執(zhí)行以上過程,直至找到對(duì)應(yīng)的文件的索引節(jié)點(diǎn),并創(chuàng)建索引節(jié)點(diǎn)對(duì)象。
軟鏈接 vs 硬鏈接
軟鏈接是一個(gè)普通的文件,其中存放的是另外一個(gè)文件的路徑名。硬鏈接則指向同一個(gè)索引節(jié)點(diǎn),硬鏈接數(shù)記錄在索引節(jié)點(diǎn)對(duì)象的i_nlink字段。當(dāng)i_nlink字段為零時(shí),說明沒有硬鏈接指向該文件。
文件 & 進(jìn)程管理
下圖是一個(gè)簡(jiǎn)單示例,說明進(jìn)程是怎樣與文件進(jìn)行交互。三個(gè)不同進(jìn)程打開同一個(gè)文件,每個(gè)進(jìn)程都有自己的文件對(duì)象,其中兩個(gè)進(jìn)程使用同一個(gè)硬鏈接(每個(gè)硬鏈接對(duì)應(yīng)一個(gè)目錄對(duì)象),兩個(gè)目錄項(xiàng)對(duì)象都指向同一個(gè) 索引節(jié)點(diǎn)對(duì)象。
索引節(jié)點(diǎn)的數(shù)據(jù)又由兩部分組成:內(nèi)存數(shù)據(jù)和磁盤數(shù)據(jù)。Linux 使用Write back作為索引節(jié)點(diǎn)的數(shù)據(jù)一致性策略。對(duì)于索引節(jié)點(diǎn)的數(shù)據(jù),當(dāng)文件被打開時(shí),才會(huì)加載索引節(jié)點(diǎn)到內(nèi)存;當(dāng)不再被進(jìn)程使用,則從內(nèi)存踢出;如果中間有更新,則需要把數(shù)據(jù)寫回磁盤。
* “in_use” – valid inode, i_count > 0, i_nlink > 0
* “dirty” – as “in_use” but also dirty
* “unused” – valid inode, i_count = 0
索引節(jié)點(diǎn)是否仍在使用,是通過open()和close()操作建立和銷毀文件對(duì)象,文件對(duì)象通過索引節(jié)點(diǎn)提供的iget和iput更新索引節(jié)點(diǎn)的i_count字段,以完成使用計(jì)數(shù)。open 操作使得 i_count 加一, close 操作使得 i_count 減一。在 close 操作時(shí)判斷索引節(jié)點(diǎn)是否釋放,如果 i_count = 0,則意味著不再有進(jìn)程引用,將會(huì)從內(nèi)存釋放。
文件 & 磁盤管理
文件與磁盤管理聯(lián)系最緊密的操作,莫過于touch和rm操作,而尤以后者最為關(guān)鍵。通過strace(或 dtruss),查看rm的實(shí)際的系統(tǒng)調(diào)用。
# dtruss rm tmp
…
geteuid(0x0, 0x0, 0x0) = 0 0
ioctl(0x0, 0x4004667A, 0x7FFEE06F09C4) = 0 0
lstat64(“tmp”, 0x7FFEE06F0968, 0x0) = 0 0
access(“tmp”, 0x2, 0x0) = 0 0
unlink(“tmp”, 0x0, 0x0) = 0 0
可以發(fā)現(xiàn)rm實(shí)際是通過unlink完成的。unlink代表刪除目錄項(xiàng),以及減少其索引節(jié)點(diǎn)的計(jì)數(shù)。由通用文件模型可知,父目錄本身同樣是一個(gè)文件,也就意味著目錄項(xiàng)是其文件數(shù)據(jù)的一部分。刪除目錄項(xiàng)等價(jià)于從父目錄的文件中刪除數(shù)據(jù),也就意味著首先要打開父目錄的文件。那么,刪除操作即可理解為:
1、刪除命令(一個(gè)進(jìn)程)使用open操作獲得父目錄文件對(duì)象
2、通過iget增加 目錄文件的索引節(jié)點(diǎn)對(duì)象計(jì)數(shù)
3、讀取目錄文件數(shù)據(jù)
4、刪除目錄的目錄項(xiàng)
5、減少文件索引節(jié)點(diǎn)對(duì)象的硬鏈接計(jì)數(shù)i_nlink
6、通過iput結(jié)束對(duì)文件索引節(jié)點(diǎn)對(duì)象的操作,使用計(jì)數(shù)i_count減一
7、通過iput結(jié)束對(duì)目錄索引節(jié)點(diǎn)對(duì)象的操作。
總結(jié)
回頭來看遇到的問題,其實(shí)可以從兩個(gè)角度來理解:
索引與數(shù)據(jù)
文件系統(tǒng)與文件、磁盤管理與文件、進(jìn)程管理與文件,最核心的都是文件的索引,而不是文件的數(shù)據(jù)。把數(shù)據(jù)和索引分開是理解文件系統(tǒng)的關(guān)鍵。
一個(gè)數(shù)據(jù)構(gòu)建了各式各樣的索引,只有索引全部失效,此時(shí)數(shù)據(jù)才失去意義,此時(shí)才能釋放
緩存策略
由于操作系統(tǒng)使用 Write back 的策略,意味著只有先釋放內(nèi)存,才有可能釋放磁盤。
Why lsof ?
從上面的模型可以很清楚的理解,因?yàn)槟夸浺呀?jīng)沒有索引到文件了,但是打開文件還有索引到文件,所以不能立刻釋放磁盤空間。
為什么 lsof 可以找到已刪除未釋放的文件呢?
lsof,顧名思義:list open files,該命令的原理就是查找打開文件的列表,因此可以找到已刪除未釋放的文件。