【python-Web服务器】1.1 HTTP协议简介

本文主要结合浏览器开发者工具理解HTTP协议，分析浏览器与服务器之间的请求和响应。

0x01 使用谷歌/火狐浏览器分析

• 在Web应用中，服务器把网页传给浏览器，实际上就是把网页的HTML代码发送给浏览器，让浏览器显示出来。而浏览器和服务器之间的传输协议是HTTP,所以：

  • HTML是一种用来定义网页的文本
  • HTTP是在网络上传输HTML的协议，用于浏览器和服务器的通信

• Chrome浏览器提供了完整的调试工具，非常适合Web开发。在Chrome浏览器（更多工具–>开发者工具）或者Windows下F12
  
  说明

  • Elements显示网页的结构
  • Network显示浏览器和服务器的通信

点击Network，确保第一个小红灯亮着，Chrome就会记录所有浏览器和服务器之间的通信：

0x02 HTTP协议分析

当在地址栏输入www.baidu.com时,浏览器显示百度首页。在这个过 程中，浏览器都干了哪些事情呢？通过Network的记录，我们就可以知道。 在Network中，找到www.baidu.com那条记录，点击，右侧将显示Request Headers，点击右侧的view-source，我们就可以看到浏览器发给百度服务器的请求：

2.1 浏览器请求

• 说明：（最主要的头两⾏分析如下）
  • 第⼀⾏GET / HTTP/1.1：GET表示⼀个读取请求，将从服务器获得⽹⻚数据，/表示URL的路径，URL 总是以/开头，/就表示⾸⻚，最后的HTTP/1.1指示采⽤的HTTP协议版本是 1.1。⽬前HTTP协议的版本就是1.1，但是⼤部分服务器也⽀持1.0版本，主 要区别在于1.1版本允许多个HTTP请求复⽤⼀个TCP连接，以加快传输速 度。
  • 从第⼆⾏开始，每⼀⾏都类似于Xxx: abcdefg：
    Host: www.baidu.com，表示请求的域名是www.baidu.com。如果⼀台服务器有多个⽹站，服务器就需 要通过Host来区分浏览器请求的是哪个⽹站。

2.2 服务器响应

继续找到Response Headers，点击view-source，显示服务器返回的原始响应数据：

• HTTP响应分为Header和Body两部分（Body是可选项），我们在Network中 看到的Header最重要的⼏⾏如下：
  • HTTP/1.1 200 OK：200表示⼀个成功的响应，后⾯的OK是说明。
• 如果返回的不是200，那么往往有其他的功能，例如
  • 失败的响应有404 Not Found：网⻚不存在
  • 500 Internal Server Error：服务器内部出错
  • 等等…
• Content-Type:text/html：Content-Type指示响应的内容，这⾥是text/html表示HTML⽹⻚。

  请注意，浏览器就是依靠Content-Type来判断响应的内容是网页还是图⽚，是视频还是⾳乐。浏览器并不靠URL来判断响应的内容，所以，即使URL是 http://www.baidu.com/meimei.jpg，它也不⼀定就是图⽚。

• HTTP响应的Body就是HTML源码，右键查看网页源码，就是查看响应的body
  

浏览器解析过程

当浏览器读取到百度⾸⻚的HTML源码后，它会解析HTML，显示⻚⾯，然后，根据HTML⾥⾯的各种链接，再发送HTTP请求给百度服务器，拿到相应的图⽚、视频、Flash、JavaScript脚本、CSS等各种资源，最终显示出⼀个完整的⻚⾯。所以我们在Network下⾯能看到很多额外的HTTP请求

0x03 总结

3.1 HTTP请求

步骤1：浏览器⾸先向服务器发送HTTP请求，请求包括：

• ⽅法：GET还是POST，GET仅请求资源，POST会附带⽤户数据；
• 路径：/full/url/path；
• 域名：由Host头指定；
• 以及其他相关的Header；

如果是POST，那么请求还包括⼀个Body，包含⽤户数据

步骤2：服务器向浏览器返回HTTP响应，响应包括：

• 响应代码：200表示成功，3xx表示重定向，4xx表示客户端发送的请求 有错误，5xx表示服务器端处理时发⽣了错误；
• 响应类型：由Content-Type指定；
• 以及其他相关的Header；

通常服务器的HTTP响应会携带内容，也就是有⼀个Body，包含响应的 内容，⽹⻚的HTML源码就在Body中。

步骤3：如果浏览器还需要继续向服务器请求其他资源， ⽐如图⽚，就再次发出HTTP请求，重复步骤1、2

Web采⽤的HTTP协议采⽤了⾮常简单的请求-响应模式，从⽽⼤⼤简化 了开发。当我们编写⼀个⻚⾯时，我们只需要在HTTP请求中把HTML 发送出去，不需要考虑如何附带图⽚、视频等，浏览器如果需要请求图 ⽚和视频，它会发送另⼀个HTTP请求，因此，⼀个HTTP请求只处理 ⼀个资源(此时就可以理解为TCP协议中的短连接，每个链接只获取⼀ 个资源，如需要多个就需要建⽴多个链接)

3.2 HTTP格式

每个HTTP请求和响应都遵循相同的格式，⼀个HTTP包含Header和Body两 部分，其中Body是可选的。
HTTP协议是⼀种⽂本协议，所以，它的格式也⾮常简单

HTTP GET请求的格式：

1
2
3
4

GET	/path	HTTP/1.1	
Header1:	Value1			
Header2:	Value2			
Header3:	Value3

每个Header⼀⾏⼀个，换⾏符是\r\n

HTTP POST请求的格式：

1
2
3
4
5
6

POST	/path	HTTP/1.1
Header1:	Value1
Header2:	Value2
Header3:	Value3

body	data	goes	here...

当遇到连续两个\r\n时，Header部分结束，后⾯的数据全部是Body

HTTP响应的格式：

1
2
3
4
5
6

200	OK				
Header1:	Value1				
Header2:	Value2				
Header3:	Value3
				
body	data	goes	here...

HTTP响应如果包含body，也是通过\r\n\r\n来分隔的

请再次注意，Body的数据类型由Content-Type头来确定，如果是⽹⻚，Body就是⽂本，如果是图⽚，Body就是图⽚的⼆进制数据。

当存在Content-Encoding时，Body数据是被压缩的，最常⻅的压缩⽅式是gzip，所以，看到Content-Encoding:gzip时，需要将Body数据先解压缩，才能得到真正的数据。压缩的⽬的在于减少Body的⼤⼩，加快⽹络传输。