linux操作系统原理

linux操作系统原理

一.核算机阅历的四个年代
1.第一代：
真空管核算机，输入和输出：穿孔卡片，对核算机操作起来十分不便，做一件事或许需求十几个人去共同去完结，年份大概是：1945-1955。并且耗电量特别大，假如那个时分你家里有台核算机的话，或许你一开核算机你家的电灯泡亮度就会变暗，哈哈~
2.第二代：
晶体管核算机，批处理（串行形式运转）体系呈现。比较第一台省电多了。典型代表是Mainframe。年份大概是：1955-1965。在那个年代：Fortran言语也就诞生啦~一门十分古老的核算机言语。
3.第三代：
集成电路呈现，多道处理程序（并行形式运转）设计，比较典型的代表便是：分时体系（把CPU的运算分成了时刻片）。年份大概是：1965-1980年左右。
4.第四代：
PC机呈现，大概是从：1980年左右。相信这个年代典型人物代表：比尔盖茨，乔布斯。
二.核算机的作业体系
尽管说核算机通过了四个年代的演变，可是到今天为止，核算机的作业体系仍是比较简略的。一般而言，咱们的核算机有五大基本部件。
1.MMU（内存操控单元，完结内存分页【memorypage】）
运算机制被独立在CPU（核算操控单元）上，在CPU傍边有一个共同的芯片叫MMU。他是用来核算进程的线线地址和物理地址的对应联系的。它还用于拜访维护的，即一个进程先要拜访到不是它的内存地址，是会被拒绝的！
2.存储器（memory）
3.显示设备（VGA接口，显示器等等）【归于IO设备】
4.输入设备（keyboard，键盘设备）【归于IO设备】
5.硬盘设备（Harddishcontrol，硬盘操控器或适配器）【归于IO设备】
扩巨细常识：
这些硬件设备在一条总线上链接，他们通过这条线进行数据交互，里边的带头大哥便是CPU，具有最高指挥权。那么它是怎么作业的呢？
A.取指单元（从内存中取得指令）；
B.解码单元（完结解码[讲内存中取到的数据转化成CPU实在能运转的指令]）；
C.履行单元（开始履行指令，根据指令的需求去调用不同的硬件去干活。）；
咱们通过上面知道了MMU是CPU的一部分，可是CPU有还要其他的部件吗？当然是有的啦，比方指令寄存器芯片，指令计数器芯片，仓库指针。
指令寄存器芯片：便是CPU用于将内存中的数据取出来寄存的当地；
指令计数器芯片：便是CPU为了记载上一次在内存中取数据的方位，便利下一次取值；
仓库指针：CPU每次取完指令后，就会把仓库指针指向下一个指令在内存中的方位。
他们的作业周期和CPU是相同快的速度，跟CPU的作业频率是在同一个时钟周期下，因而他的功用是十分好的，在CPU内部总线上完结数据通讯。指令寄存器芯片，指令计数器芯片，仓库指针。这些设备一般都被叫做CPU的寄存器。
寄存器其实便是用于保存现场的。尤其是在时刻多路复用尤为显着。比方说CPU要被多个程序同享运用的时分，CPU经常会终止或挂起一个进程，操作体系有必要要把它其时的运转状况给保存起来（便利CPU一会回来处理它的时分可以持续接着前次的状况干活。）然后持续运转其他进程（这叫核算机的上下文切换）。
三.核算机的存储体系。
1.对称多处理器SMP
CPU里边除了有MMU和寄存器（挨近cpu的作业周期）等等，还有cpu中心，正是专门处理数据的，一颗CPU有多个中心，可以用于并行跑你的代码。工业上许多公司选用多颗CPU，这种结构咱们称之为对称多处理器。
2.程序局部性原理
空间局部性：
程序是由指令和数据组成的。空间局部性指的是一个数据被拜访到之后，那么离这个数据很近的其他数据随后也或许会被拜访到。
时刻局部性：
一般而言当一个程序履行结束后，或许很快会被拜访到。数据也是相同的原理，一个数据的被拜访到，很或许会再次拜访到。
正是由于程序局部性的存在，所以使得无论是在空间局部性或许时刻的局部性的视点来考虑，一般而言咱们都需求对数据做缓存。
扩巨细常识：
由于CPU内部的寄存器存储的空间有限，于是就用了内存来存储数据，可是由于CPU和速度和内存的速度彻底不在一个层次上，因而在处理的数据的时分回到大都都在等（CPU要在内存中取一个数据，cpu转一圈的时刻就可以处理完，内存或许是需求转20圈）。为了处理使得功率愈加进步，就呈现了缓存这个概念。
既然咱们知道了程序的局部性原理，有知道了CPU为了获得更多的空间其实便是用时刻去换空间，可是缓存便是可以直接让cpu拿到数据，节省了时刻，所以说缓存便是用空间去换时刻
3.就算进存储体系
作业时刻就的朋友或许见过磁带机，现在基本上都被OUT了，企业许多都用机硬盘来代替磁带机了，所以咱们这儿就从咱们最熟悉的家用电脑的结构来说，存下到上一次存储数据是不相同。咱们可以简略举个例子，他们的周存储周期是有很大距离的。尤为显着的是机械硬盘和内存，他们两个存取熟读距离是相当大的。
扩巨细常识：
比较自己家用的台式机或是笔记本或许自己拆开过，讲过机械式硬盘，固态硬盘或是内存等等。可是或许你没有见过缓存物理设备，其实他是在CPU上的。因而咱们对它的了解或许会有些盲区。
先说说一级缓存和耳机缓存吧，他们的CPU在这儿边取数据的时分时刻周期基本上查不了多少，因一级缓存和二级缓存都在CPU中心内部资源。（在其他硬件条件相同的情况下。一级缓存128k或许市场价格会买到300元左右，、一级缓存256k或许会买到600元左右，一级缓存512k或许市场价格就得过四位数这个详细价格可以参阅京东啊。这足以说明缓存的造价是十分高的！）这个时分你或许会问那三级缓存呢？其实三级缓存便是便是多颗CPU同享的空间。当然多颗cpu也是同享内存的。
4.非一致性内存拜访（NUMA）
咱们知道当多颗cpu同享三级缓存或是内存的时分，他们就会呈现了一个问题，即资源征用。咱们知道变量或是字符串在内存中被保存是有内存地址的。他们是怎么去领用内存地址呢？咱们可以参阅下图：
没错，这些玩硬件的大牛们将三级缓存切割，分别让不同的CPU占用不同的内存地址，这样咱们可以理解他们都有自己的三级缓存区域，不会存在资源争夺的问题，可是要留意的是他们仍是同一块三级缓存。就好像北京市有朝阳区，丰台区，大兴区，海淀区等等，可是他们都是北京的所属地。咱们可以这儿理解。这便是NUMA，他的特性便是：非一致性内存拜访，都有自己的内存空间。
扩展小常识：
那么问题来了，根据从头负载的成果，假如cpu1运转的进程被挂起，其地址在他自己的它的缓存地址是有记载的，可是当cpu2再次运转这个程序的时分被CPU2拿到的它是怎么处理的呢？
这就没法了，只能从CPU1的三级换粗区域中复制一份地址过来一份或是移动过来一份让CPU2来处理，这个时分是需求一定时刻的。所以说从头负载均衡会导致CPU功用降低。这个时分咱们就可以用进程绑定来完结，让再次处理该进程的时分仍是用之前处理的CPU来处理。即进程的CPU的亲缘性。
5.缓存中的通写和回写机制。
CPU在处理数据的当地便是在寄存器中修改，当寄存器没有要找的数据是，就会去一级缓存找，假如一级缓存中没有数据就会去二级缓存中找，依次查找知道从磁盘中找到，然后在加载到寄存器中。当三级缓存从内存中取数据发现三级缓存不足时，就会主动整理三级缓存的空间。
咱们知道数据终究寄存的方位是硬盘，这个存取进程是由操作体系来完结的。而咱们CPU在处理数据是通过两种写入方法将数据写到不同的当地，那便是通写（写到内存中）和回写（写到一级缓存中）。很显然回写的功用好，可是假如断电的话就尴尬了，数据会丢掉，由于他直接写到一级缓存中就完事了，可是一级缓存其他CPU是拜访不到的，因而从可靠性的视点上来说通写方法会更靠谱。详细选用哪种方法得你自己按需而定啦。
四.IO设备
1.IO设备由设备操控器和设备本身组成。
设备操控器：集成在主板的一块芯片活一组芯片。担任从操作体系接纳指令，并完结指令的履行。比方担任从操作体系中读取数据。
设备本身：其有自己的接口，可是设备本身的接口并不可用，它仅仅一个物理接口。如IDE接口。
扩展小常识：
每个操控器都有少量的用于通讯的寄存器（几个到几十个不等）。这个寄存器是直接集成到设备操控器内部的。比方说，一个最小化的磁盘操控器，它也会用于指定磁盘地址，扇区计数，读写方向等相关操作恳求的寄存器。所以任何时分想要激活操控器，设备驱动程序从操作体系中接纳操作指令，然后将它转化成对应设备的基本操作，并把操作恳求放置在寄存器中才能完结操作的。每个寄存器表现为一个IO端口。全部的寄存器组合称为设备的I/O地址空间，也叫I/O端口空间，
2.驱动程序
实在的硬件操作是由驱动程序操作完结的。驱动程序一般应该由设备生产上完结,一般驱动程序坐落内核中，尽管驱动程序可以在内核外运转，可是很少有人这么玩，由于它太低功率啦！
3.完结输入和输出
设备的I/O端口没法事前分配，由于各个主板的型号不一致，所以咱们需求做到动态指定。电脑在开机的时分，每个IO设备都要想总线的I/o端口空间注册运用I/O端口。这个动态端口是由全部的寄存器组合成为设备的I/O地址空间，有2^16次方个端口，即65535个端口。
如上图所示，咱们的CPU有要想跟指定设备打交道，就需求把指令传给驱动，然后驱动讲CPU的指令转化成设备能理解的信号放在寄存器中（也可以叫套接字，socket）.所以说寄存器（I/O端口）是CPU通过总线和设备打交道的地址（I/O端口）。
扩展小常识：
三种方法完结I/O设备的输入和输出：
A..轮询：
一般指的是用户程序建议一个体系调用，内核将其翻译成一个内核对应驱动的进程调用，然后设备驱动程序启动I/O,并在一个接连循环不断中检查该设备，并看该设备是否完结了作业。这有点类似于忙等候（便是cpu会用固定周期不断通过遍历的方法去查看每一个I/O设备去查看是否有数据，显然这种功率并不理想。）,
B..中止：
中止CPU正在处理的程序，中止CPU正在履行的操作，然后告知内核来获取中止恳求。在咱们的主板一般有一个共同的设备，叫做可编程中止操控器。这个中止操控器可以通过某个针脚和CPU直接进行通讯，可以出发CPU发生某个方位偏转，然后让CPU知道某个信号抵达。中止操控器上会有一个中止向量（咱们每一个I/O设备在启动时，要想中止操控器注册一个中止号，这个号一般是仅有的。一般中止向量的每一个针脚都是可以辨认多个中止号的），也可以叫中止号。
因而当这个设备实在发生中止时，这个设备不会把数据直接放到总线上，这个设备会当即向中止操控器发出中止恳求，中止操控器通过中止向量辨认这个恳求是哪个设备发来的，然后通过某种方法告知给CPU，让CPU知道详细哪个设备中止求情抵达了。这个时分CPU可以根据设备注册运用I/O端口号，然后就能获取到设备的数据了。（留意，CPU是不能直接取数据的哟，由于他仅仅接纳到了中止信号，它只能告知内核，让内核自己运转在CPU上，由内核来获取中止恳求。）举个例子，一个网卡接纳到外来IP的恳求，网卡也有自己的缓存区，CPU讲网卡中的缓存拿到内存中进行去读，先判别是不是自己的IP，假如是就开始拆报文，最后会获取到一个端口号，然后CPIU在自己的中止操控器去找这个端口，并做相应的处理。
内核中止处理分为两步：中止上半部分（当即处理）和中止下半部分（不一定）。仍是从网卡接纳数据为例，当用户恳求抵达网卡时，CPU会指令讲网卡缓存区的数据直接拿到内存中来，也便是接纳到数据后会当即处理（此处的处理便是将网卡的数据读到内存中而已，不做下一步处理，以便利今后处理的。），这个咱们称之为中止的上半部分，而后来实在来处理这个恳求的叫做下半部份
C.DMA：
直接内存拜访，咱们都知道数据的传输都是在总线上完结的，CPU是操控总线的运用者，在某一时刻到底是有哪个I/O设备运用总线是由CPU的操控器来决议的。总线有三个功用分别是：地址总线（完结对设备的寻址功用），操控总线（操控各个设备地址运用总线的功用）以及数据总线（完结数据传输）。
一般是I/O设备自带的一个具有智能型的操控芯片（咱们称之为直接内存拜访操控器），当需求处理中止上半部分时，CPU会奉告DMA设备，接下来总线归DMA设备运用，并且奉告其可以运用的内存空间，用于将I/O设备的数据读取到内存空间中去。当DMA的I/O设备将数据读取完结后，会发送消息告知CPU以及完结了读取操作，这个时分CPU再回告知内核数据已经加载结束，详细中止下半部分的处理就来交个内核处理了。现在大大都设备都是用DMA操控器的，比方：网卡，硬盘等等。
五.操作体系概念
通过上面的学习，咱们知道了的核算机有五大基本部件。操作体系首要便是把这五个部件给它笼统为比较直观的接口，由上层程序员或许用户直接运用的。那事实上在操作体系中被笼统出来的东西又该是什么呢？
1.CPU（timeslice）
在操作体系中，CPU被笼统成了时刻片，而后将程序笼统成进程，通过分配时刻片让程序运转起来。CPU有寻址单元用于来辨认变量在内存的中所保存的团体内存地址。
而咱们主机内部的总线是取决于CPU的位宽（也叫字长），比方32bit的地址总线，它能表示2的32次方个内存地址，转化成10进制便是4G内存空间，这个时分你应该就明白为什么32位的操作体系中只能辨认4G内存了吧？即便你的物理内存是16G，可是可用的仍是4G，所以，你假如发现你的操作体系能辨认4G以上的内存地址，那么你的操作体系一定就不是32位的啦！
2.内存（memory）
在操作体系中，内存的完结是通过虚拟地址空间来完结的。
3.I/O设备
在操作体系中，最中心的I/O设备便是磁盘，咱们都知道磁盘是供给存储空间的，在内核中把它笼统成了文件。
4.进程
说白了，核算机存在的首要目的不便是运转程序吗？程序跑起来，咱们统一叫进程（咱们暂时不用理睬线程）。那假如多个进程一起运转就意味着把这些有限的笼统资源（cpu,memory等等）分配给多个进程。咱们把这些笼统资源统称为资源集。
资源集包含：
1>.cpu时刻；
2>.内存地址：笼统成虚拟地址空间(如32位操作体系，支持4G空间，内核占用1G空间，进程也会默许自己有3G可用，事实上未必有3G空间，由于你的电脑或许会是小于4G的内存。)
3>.I/O:全部皆文件翻开的多个文件，通过fd（文件描述符，filedescriptor）翻开指定的文件。咱们把文件分为三类：正常文件、设备文件、管道文件。
每一个进行都有自己作业地址结构，即：taskstruct。其便是内核为每个进程维护的一个数据结构（一个数据结构便是用来保存数据的，说白了便是内存空间，记载着该进程所具有的资源集，当然还有它的父进程，保存现场【用于进程切换】，内存映射等候）。taskstruct模拟出来了线性地址，让进程去运用这些线性地址，可是它会记载着线性地址和物理内存地址的映射联系的。
5.内存映射-页框
只需不是内核运用的物理内存空间咱们称之为用户空间。内核会吧用户空间的物理内存切割成固定巨细的页框（即pageframe），相聚话说，便是且更成一个固定巨细的存储单位，比默许的单个存储单元（默许是一个字节，即8bit）要大.一般每4k一个存储单位。每一个页框作为一个独立的单元向外进行分配，且每一个页框也都其编号。【举个例子：假定有4G空间可用，每一个页框是4K，一共有1M个页框。】这些页框要分配给不同的进程运用。
咱们假定你有4G内存，操作体系占用了1个G，剩下的3G物理内存分配给用户空间运用。每一进程启动之后，都会以为自己有3G空间可用，可是实际上它压根就用不完3G。进程进行写入内存是被离散存储的。哪有空余内存就往哪存取。详细的存取算法不要问我，我也没有研究过。
进程空间结构：
1>.预留空间
2>.栈（变量寄存处）
3>.同享库
4>.堆（翻开一个文件，文件中的数据流寄存处）
5>.数据段（大局的静态变量寄存处）
6>.代码段
进程和内存的存储联系如下：
每个进程空间都有预留空间，当某个进程发现自己翻开的数据已经不够用，它需求翻开一个新文件（翻开一个新文件就需求在进程的地址空间寄存数据），很显然咱们上图的进程地址空间是线性的并不是实在意义上的。当一个进程实在去申请运用一个内存时，需求向内核建议体系调用，由内核在物理内存上找一个物理空间，并告知该进程可以运用的内存地址。比方说进程要在堆上翻开一个文件，它需求向操作体系（内核）申请运用内存空间，且在物理内存答应的范围内（即恳求的内存需求小于闲暇物理内存），内核会分配给该进程内存地址。
每一进程都有自己想线性地址，这个地址是操作体系虚拟出来的，并不实在存在，它需求把这个虚拟地址和实在的物理内存做一个映射联系，如图“进程和内存的存储联系”，终究的进程数据的寄存处方位仍是映射到内存中了。这就意味着，当一个进行跑到CPU上履行时，它告知CPU的是自己的线性地址，这时分CPU不会直接去找这个线性地址（由于线性地址是虚拟出来的，不实在存在，实在寄存地址进程的是物理内存地址。），它会先去找这歌进程的“taskstruct”，并装载页表（pagetable）[记载着线性地址到物理内存的映射联系，每一个对应联系叫做一个页表项。]，以读取到进程的所具有的线性地址所对应的实在的物理内存地址。
扩展小常识：
CPU拜访进程的地址时，首先获取到的是进程的线性地址，它将这个线性地址交给自己的芯片MMU进行核算，得到实在的物理内存地址，然后到达拜访进程内存地址的目的。换句话说，只需他想要拜访一个进程的内存地址，就有必要通过MMU运算，这样导致功率很低，因而他们有引进了一个缓存，用于寄存频繁拜访的数据，这样就可以进步功率，不用MMU进行核算，直接拿到数据去处理就OK了，这个缓存器咱们称之为：TLB：转化后援缓冲器(缓存页表的查询成果)
留意：在32bit的操作体系是线线地址到物理内存的映射。而在64bit操作体系是恰恰相反的！
6.用户态和内核态
操作体系运转时为了呢可以完结和谐多任务，操作体系被切割成了2段，其间挨近于硬件一段具有特权权限的叫做内核空间，而进程运转在用户空间傍边。所以说，应用程序需求运用特权指令或是要拜访硬件资源时需求体系调用。
只需是被开发成应用程序的，不是作为操作体系本身的一部分而存在的，咱们称之为用户空间的程序。他们运转状况称之为用户态。
需求在内核（咱们可以以为是操作体系）空间运转的程序，咱们称之他们运转在内核空间，他们运转的状况为用户态，也叫中心态。留意：内核不担任完结详细作业。在内核空间可用履行任何特权操作。
每一个程序要想实在运转起来，它终究是向内核建议体系调用来完结的，或许有一部分的程序不需求内核的参加，有咱们的应用程序就能完结。咱们打个比方，你要核算2的32次方的成果，是否需求运转在内核态呢？答案是否定的，咱们知道内核是不担任完结详细作业的，咱们仅仅想要核算一个运算成果，也不需求调用任何的特权形式，因而，假如你写了一些关于核算数值的代码，只需求把这个代码交给CPU运转就可以了。
假如一个应用程序需求调用内核的功用而不是用户程序的功用的话，应用程序会发现自己需求做一个特权操作，而应用程序本身没有这个能力，应用程序会向内核发申请，让内核帮忙完结特权操作。内核发现应用程序是有权限运用特权指令的，内核会运转这些特权指令并把履行成果返回给应用程序，然后这个应用程序拿到特权指令的履行成果后，持续后续的代码。这便是形式转化。
因而一个程序员想要让你的程序具有生产力，就应该尽量让你的代码运转在用户空间，假如你的代码大大都都运转在内核空间的话，估计你的应用程序并不会给你打来太大的生产力哟。由于咱们知道内核空间不担任发生生产力。
扩巨细常识：
咱们知道核算机的运转便是运转指定的。指令还分特权指令等级和非特权指令等级。了解过核算机的朋友或许知道X86的CPU架构大概分成了四个层次，由内之外共有四个环，被称为环0，环1，环2，环3。咱们知道环0的都是特权指令，环3的都是用户指令。一般来讲，特权指令等级是指操作硬件，操控总线等等。
一个程序的履行，需求在内核的和谐下，有或许在用户态和内核态互相切换，所以说一个程序的履行，一定是内核调度它到CPU上去履行的。有些应用程序是操作体系运转进程傍边，为了完结基本功用而运转的，咱们就让他在后台主动运转，这叫看护进程。可是有的程序是用户需求的时分才运转的，那怎么告知内核讲咱们需求的应用程序运转起来呢？这个时分你就需求一个解说器，它能和操作体系打交道，可以建议指令的履行。说白了便是可以把用户需求的运转恳求提交给内核，然后内核给它开放其运转所需求的有赖于的基本条件。然后程序就履行起来了。