【C-33】C语言文件IO（Linux）

当烟从眼前飘过心依然忧伤

本章函数的用法必须结合Linux内核的工作原理来理解, 因为系统函数正是内核提供给应用程序的接口, 而要理解内核的工作原理, 必须熟练掌握C语言, 因为内核也是用C语言写的, 我们在描述内核工作原理时必然要用“指针”、“结构体”、“链表”这些名词来组织语言, 就像只有掌握了英语才能看懂英文书一样, 只有学好了C语言才能看懂我描述的内核工作原理。
1、C库IO函数的工作流程





c语言操作文件相关问题:
使用fopen函数打开一个文件, 返回一个FILE* fp, 这个指针指向的结构体有三个重要的成员.

• 文件描述符: 通过文件描述可以找到文件的inode, 通过inode可以找到对应的数据块
  
• 文件指针: 读和写共享一个文件指针, 读或者写都会引起文件指针的变化
  
• 文件缓冲区: 读或者写会先通过文件缓冲区, 主要目的是为了减少对磁盘的读写次数, 提高读写磁盘的效率。
  

• 头文件stdio.h :  typedef struct _IO_FILE FILE;
  
• 头文件libio.h :  struct _IO_FILE, 这个接头体定义中有一个_fileno成员, 这个就是文件描述符
  

2、C库函数与系统函数的关系

库函数与系统函数的关系:库函数和系统函数的关系是: 调用和被调用的关系;库函数是对系统函数的进一步封装。(Application Programming Interface, API), 是应用程序同系统之间数据交互的桥梁.


3、虚拟地址空间

• 进程的虚拟地址空间分为用户区和内核区, 其中内核区是受保护的, 用户是不能够对其进行读写操作的
  
• 内核区中很重要的一个就是进程管理, 进程管理中有一个区域就是PCB(本质是一个结构体)
  
• PCB中有文件描述符表, 文件描述符表中存放着打开的文件描述符, 涉及到文件的IO操作都会用到这个文件描述符
  

4、pcb和文件描述符表



备注:
pcb：结构体:task_stuct, 该结构体在:  /usr/src/linux-headers-4.4.0-97/include/linux/sched.h:1390。一个进程有一个文件描述符表：1024

• 前三个被占用, 分别是STDIN_FILENO, STDOUT_FILENO, STDERR_FILENO
  
• 文件描述符作用：通过文件描述符找到inode, 通过inode找到磁盘数据块
  

具体执行顺序：
虚拟地址空间  ->  内核区  ->  PCB  ->  文件描述表  ->  文件描述符  ->  文件IO操作使用文件描述符
5、open/close

一个进程启动之后，默认打开三个文件描述符：
#define  STDIN_FILENO                 0
#define  STDOUT_FILENO         1
#define  STDERR_FILENO         2新打开文件返回文件描述符表中未使用的最小文件描述符, 调用open函数可以打开或创建一个文件, 得到一个文件描述符.
1 open函数

• 函数描述: 打开或者新建一个文件
  
• 函数原型:
  
  
  
  • int open(const char *pathname, int flags);
    
  • int open(const char *pathname, int flags, mode_t mode);
    
  
  
• 函数参数：
  
  
  
  • pathname参数是要打开或创建的文件名,和fopen一样, pathname既可以是相对路径也可以是绝对路径。
    
  • flags参数有一系列常数值可供选择, 可以同时选择多个常数用按位或运算符连接起来, 所以这些常数的宏定义都以O_开头,表示or。
    
    
    
    • 必选项:以下三个常数中必须指定一个, 且仅允许指定一个。
      
      
      
      
      
      • O_RDONLY 只读打开
        
      • O_WRONLY 只写打开
        
      • O_RDWR 可读可写打开
        
      
      
      
      
    • 以下可选项可以同时指定0个或多个, 和必选项按位或起来作为flags参数。可选项有很多, 这里只介绍几个常用选项：
      
      
      
      
      
      • O_APPEND 表示追加。如果文件已有内容, 这次打开文件所写的数据附加到文件的末尾而不覆盖原来的内容。
        
      • O_CREAT 若此文件不存在则创建它。使用此选项时需要提供第三个参数mode, 表示该文件的访问权限。
        
      
      
      
      
    
    
  • 文件最终权限：mode & ~umask
    
    
    
    
    
    • O_EXCL 如果同时指定了O_CREAT,并且文件已存在,则出错返回。
      
    • O_TRUNC 如果文件已存在, 将其长度截断为为0字节。
      
    • O_NONBLOCK 对于设备文件, 以O_NONBLOCK方式打开可以做非阻塞I/O(NonblockI/O),非阻塞I/O。
      
    
    
    
    
  
  
• 函数返回值:
  
  
  
  • 成功: 返回一个最小且未被占用的文件描述符
    
  • 失败: 返回-1, 并设置errno值.
    
  
  

2 close函数

• 函数描述: 关闭文件
  
• 函数原型:  int close(int fd)
  
• 函数参数:  fd文件描述符
  
• 函数返回值:成功返回0；失败返回-1, 并设置errno值
  

需要说明的是,当一个进程终止时, 内核对该进程所有尚未关闭的文件描述符调用close关闭,所以即使用户程序不调用close, 在终止时内核也会自动关闭它打开的所有文件。但是对于一个长年累月运行的程序(比如网络服务器), 打开的文件描述符一定要记得关闭, 否则随着打开的文件越来越多, 会占用大量文件描述符和系统资源。
6、read/write

1 read函数

• 函数描述: 从打开的设备或文件中读取数据
  
• 函数原型: ssize_t read(int fd, void *buf, size_t count);
  
• 函数参数:
  
  
  
  • fd: 文件描述符
    
  • buf: 读上来的数据保存在缓冲区buf中
    
  • count: buf缓冲区存放的最大字节数
    
  
  
• 函数返回值:
  
  
  
  • >0：读取到的字节数
    
  • =0：文件读取完毕
    
  • -1： 出错，并设置errno
    
  
  

2 write

• 函数描述: 向打开的设备或文件中写数据
  
• 函数原型: ssize_t write(int fd, const void *buf, size_t count);
  
• 函数参数：
  
  
  
  • fd：文件描述符
    
  • buf：缓冲区，要写入文件或设备的数据
    
  • count：buf中数据的长度
    
  
  
• 函数返回值:
  
  
  
  • 成功：返回写入的字节数
    
  • 错误：返回-1并设置errno
    
  
  

7、lseek

所有打开的文件都有一个当前文件偏移量(current file offset，以下简称为cfo)。 cfo通常是一个非负整数，用于表明文件开始处到文件当前位置的字节数。读写操作通常开始于cfo, 并且使 cfo 增大，增量为读写的字节数。文件被打开时，cfo 会被初始化为 0， 除非使用了 O_APPEND。
使用lseek 函数可以改变文件的 cfo
#include <sys/types.h>
#include <unistd.h>
off_t lseek(int fd, off_t offset, int whence);

• 函数描述: 移动文件指针
  
• 函数原型: off_t lseek(int fd, off_t offset, int whence);
  
• 函数参数：
  
  
  
  • fd：文件描述符
    
  • 参数offset 的含义取决于参数 whence：
    
    
    
    • 如果whence 是 SEEK_SET，文件偏移量将设置为 offset。
      
    • 如果whence 是 SEEK_CUR，文件偏移量将被设置为 cfo 加上 offset，offset 可以为正也可以为负。
      
    • 如果whence 是 SEEK_END，文件偏移量将被设置为文件长度加上 offset，offset 可以为正也可以为负。
      
    
    
  
  
• 函数返回值: 若lseek成功执行, 则返回新的偏移量。
  
• lseek函数常用操作
  
  
  
  • 文件指针移动到头部  lseek(fd, 0, SEEK_SET);
    
  • 获取文件指针当前位置  int len = lseek(fd, 0, SEEK_CUR);
    
  • 获取文件长度    int len = lseek(fd, 0, SEEK_END);
    
  • lseek实现文件拓展
    
    
    
    • off_t currpos;        // 从文件尾部开始向后拓展1000个字节
      
    • currpos = lseek(fd, 1000, SEEK_END);      // 额外执行一次写操作，否则文件无法完成拓展
      
    • write(fd, “a”, 1);        // 数据随便写
      
    
    
  
  

8、perror和errno

errno是一个全局变量，当系统调用后若出错会将errno进行设置，perror可以将errno对应的描述信息打印出来。
如:perror("open"); 如果报错的话打印: open:(空格)错误信息
9、实验

1 编写简单的IO函数读写文件的代码

open.c
//IO函数测试--->open close read write lseek
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/stat.h>
#include <fcntl.h>

int main(int argc, char *argv[])
{
        //打开文件
        int fd = open(argv[1], O_RDWR | O_CREAT, 0777);  //注意这里0777，保存的文件名根据参数传递而来；
        if(fd<0)
        {
                perror("open error");
                return -1;
        }
        //写文件
        //ssize_t write(int fd, const void *buf, size_t count);
        write(fd, "hello world", strlen("hello world"));

        //移动文件指针到文件开始处，否则后面读写会有问题；
        //off_t lseek(int fd, off_t offset, int whence);
        lseek(fd, 0, SEEK_SET);

        //读文件
        //ssize_t read(int fd, void *buf, size_t count);
        char buf[1024];
        memset(buf, 0x00, sizeof(buf));
        int n = read(fd, buf, sizeof(buf));
        printf("n==[%d], buf==[%s]\n", n, buf);

        //关闭文件
        close(fd);
        return 0;
}结果如下：
[root@ae832bd6d3df IO_C]# gcc open.c -o open
[root@ae832bd6d3df IO_C]# ls
open  open.c
[root@ae832bd6d3df IO_C]# ./open test_open
n == [11], buf==[hello world]
[root@ae832bd6d3df IO_C]# ls
open  open.c  test_open
[root@ae832bd6d3df IO_C]# head test_open
hello world对应的权限，可以看看   open函数  的定义。


记不住函数的用法，可以使用man来查看，比如open函数的使用，可以  man 2 open 得到如下：


说明：

• 为何使用man 2 （这个不确定，一般使用2） ,可见线面的下面的说明，
  
  
  • Standard commands （标准命令）
    
  • ystem calls （系统调用）
    
  • Library functions （库函数）
    
  • Special devices （设备说明）
    
  • File formats （文件格式）
    
  • Games and toys （游戏和娱乐）
    
  • Miscellaneous （杂项）
    
  • Administrative Commands （管理员命令）
    
  • 其他（Linux特定的）， 用来存放内核例行程序的文档。
    
  
  
• 使用的头文件，也可以从这个上面找到：比如代码中的  <sys/types.h>等等；
  
• 写完后注意回调指针位置。
  

2 使用lseek函数获取文件大小

lseek01.c
//lseek函数获取文件大小
//头文件同上

int main(int argc, char *argv[])
{
        //打开文件
        int fd = open(argv[1], O_RDWR);
        if(fd<0)
        {
                perror("open error");
                return -1;
        }
        //调用lseek函数获取文件大小
        int len = lseek(fd, 0, SEEK_END);
        printf("file size:[%d]\n", len);
        //关闭文件
        close(fd);
        return 0;
}结果
-rwxr-xr-x 1 root root   11 Nov 13 11:23 test_open
[root@ae832bd6d3df IO_C]# ./lseek01 test_open
file size:[11]3 使用lseek函数实现文件拓展

lseek02.c
//lseek函数实现文件拓展
//头文件同上

int main(int argc, char *argv[])
{
        //打开文件
        int fd = open(argv[1], O_RDWR);
        if(fd<0)
        {
                perror("open error");
                return -1;
        }
        //移动文件指针到第100个字节处
        lseek(fd, 100, SEEK_SET);
        //进行一次写入操作
        write(fd, "H", 1);
        //关闭文件
        close(fd);
        return 0;
}结果
-rwxr-xr-x 1 root root  101 Nov 13 12:40 test_open


注意：

• 最后需要write，没有这个，前面的不生效；
  
• 用途：比如下载东西时候，先一次性测试大小是否满足；
  

4 文件是否阻塞测试

思考: 阻塞和非阻塞是文件的属性还是read函数的属性?
unblock_read.c
//验证read函数读普通文件是否阻塞
//头文件同上
int main(int argc, char *argv[])
{
        //打开文件
        int fd = open(argv[1], O_RDWR);
        if(fd<0)
        {
                perror("open error");
                return -1;
        }

        //读文件
        char buf[1024];
        memset(buf, 0x00, sizeof(buf));
        int n = read(fd, buf, sizeof(buf));
        printf("FIRST: n==[%d], buf==[%s]\n", n, buf);

        //再次读文件, 验证read函数是否阻塞
        memset(buf, 0x00, sizeof(buf));
        n = read(fd, buf, sizeof(buf));
        printf("SECOND: n==[%d], buf==[%s]\n", n, buf);

        //关闭文件
        close(fd);
        return 0;
}结果
[root@ae832bd6d3df IO_C]# ./unblock_read test.log
FIRST: n==[12], buf==[hello yifan
]
SECOND: n==[0], buf==[]通过读普通文件测试得知: read函数在读完文件内容之后, 若再次read，则read函数会立刻返回,，表明read函数读普通文件是非阻塞的.
block_read01.c
int main(int argc, char *argv[])
{

        int fd = open("/dev/tty", O_RDWR);
        if(fd<0)
        {
                perror("open error");
                return -1;
        }

        char buf[1024];
        memset(buf, 0x00, sizeof(buf));
        int n = read(fd, buf, sizeof(buf));
        printf("FIRST: n==[%d], buf==[%s]\n", n, buf);

        close(fd);
        return 0;
}结果：
[root@ae832bd6d3df IO_C]# gcc block_read01.c -o block_read01
[root@ae832bd6d3df IO_C]# ./block_read01
hello yifan
FIRST: n==[12], buf==[hello yifan
]block_read02.c
int main(int argc, char *argv[])
{
        char buf[1024];
        memset(buf, 0x00, sizeof(buf));
        int n = read(STDIN_FILENO, buf, sizeof(buf));
        printf("read, n==[%d], buf==[%s]\n", n, buf);
        return 0;
}结果：和上面一样。
设备文件: /dev/tty   标准输入STDIN_FILENO。通过读/dev/tty终端设备文件, 表明read函数读设备文件是阻塞的。
结论: 阻塞和非阻塞不是read函数的属性, 而是文件本身的属性。socket pipe这两种文件都是阻塞的。

• 普通文件：hello.c     默认是非阻塞的
  
• 终端设备：如/dev/tty   默认阻塞
  
• 管道和套接字：默认阻塞