前言

上次留了一些问题，现在我们来解决一下。

• 升级MongoDB驱动到官方版本
• 升级Actix-web到2.0

本文完整源码见GITHUB Repo: https://github.com/nintha/demo-myblog
more >>

前言

上次留了一些问题，现在我们来解决一下。

• 对请求时的反序列化异常进行处理
• 带条件参数的查询接口

本文完整源码见GITHUB Repo: https://github.com/nintha/demo-myblog
more >>

前言

本文介绍如何使用Actix-web和MongoDB构建简单博客网站。其中Actix-web 是一个高效的 HTTP Server 框架（Web Framework Benchmarks 上位居榜首），Mongodb是一个流行的数据库软件。

本文完整源码见GITHUB Repo: https://github.com/nintha/demo-myblog
more >>

前言

最近了解到了vertx这个异步框架，但平时用的比较多的还是spring，出于好奇，尝试基于vertx web去实现spring mvc风格注解。

最终效果如下所示

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

@Slf4j
@RestController
public class HelloController {

    @RequestMapping("hello/world")
    public String helloWorld() {
        return "Hello world and nintha veladder";
    }

    @RequestMapping("echo")
    public Map<String, Object> echo(String message, Long token, int code, RoutingContext ctx) {
        log.info("uri={}", ctx.request().absoluteURI());

        log.info("message={}, token={}, code={}", message, token, code);
        HashMap<String, Object> map = new HashMap<>();
        map.put("message", message);
        map.put("token", token);
        map.put("code", code);
        return map;
    }

    @RequestMapping(value = "hello/array")
    public List<Map.Entry<String, String>> helloArray(long[] ids, String[] names, RoutingContext ctx) {
        log.info("ids={}", Arrays.toString(ids));
        log.info("names={}", Arrays.toString(names));
        return ctx.request().params().entries();
    }

    @RequestMapping("query/list")
    public List<Map.Entry<String, String>> queryArray(List<Long> ids, TreeSet<String> names, LinkedList rawList, RoutingContext ctx) {
        log.info("ids={}", ids);
        log.info("names={}", names);
        log.info("rawList={}", rawList);
        return ctx.request().params().entries();
    }

    @RequestMapping("query/bean")
    public BeanReq queryBean(BeanReq req) {
        log.info("req={}", req);
        return req;
    }

    @RequestMapping(value = "post/body", method = HttpMethod.POST)
    public BeanReq postRequestBody(@RequestBody BeanReq req) {
        log.info("req={}", req);
        return req;
    }
}

完整实现见github repo: veladder

前言

很多时候我们获取到了一些实时的二进制图片流（如摄像头），并希望可以在浏览器中实时查看，类似直播那样。

准备

我们需要javacv，它封装了opencv，ffpmeg等一系列工具

build.gradle

1
2
3

dependencies {
    compile group: 'org.bytedeco', name: 'javacv-platform', version: '1.4.3'
}

思路是这样的，我们用javacv把二进制图片流转换成rmtp视频直播流，推送到媒体服务器，然后用客户端从媒体服务器获取直播流。

这里我使用的是livego，因为它使用起来比较简单，上行支持rmtp，下行支持rmtp/flv/hls。

rmtp格式可以使用VLC media player播放器进行播放

flv格式可以配合flv.js在浏览器中进行播放或使用VLC media player播放器进行播放

hls格式可以使用VLC media player播放器进行播放

前言

Webp是Google推出的一种新型图片格式，相比于 传统的PNG/JPG图片有着更小体积的优势，在Web中有着广泛的应用。由于Webp格式推出比较晚， Jdk 内置的图片编解码库对此并不支持。

网上给出的Java环境解决方案往往需要手动在java.library.path中安装对应的动态链接库，windows是dll文件，linux是so文件。这对于开发部署非常不方便。

本文提供一种无需手动安装动态链接库，同时可以方便处理Webp的解决方案

本章会针对前面章节中不完善的地方进行补充说明。

批量写入

之前的章节中，我们使用MongoDB进行存储数据，每当爬取一条记录就往数据库里写，虽然这样做也能实现我们所需要的功能，但在性能上还是会有或多或少的影响。聪明的同学肯定已经想到了，如果一条一条的写入数据库比较费力的话，那就爬取一批数据后再写入就好啦。

原来的代码：

1
2
3
4
5

// ...other code

localdb.test.save(data, (err, res)=>{
	// do something
})

save方法的第一个参数不仅可以接受一个对象，也可以接受一个数组，类似这样：

1
2
3
4
5
6
7
8
9
10

const array = []
for(let i = 0 ; i < MAX_ID; i++){
	// fetch data from website
	const data =  fetchData(i)
    array.push(data)
}

localdb.test.save(array, (err, res)=>{
	// do something
})

其实语法上没有很大的区别，不过批量写入数据操作可以帮你的爬虫程序更加高效。

同步与异步

一般情况下，循环爬虫逻辑可以分为同步写法和异步写法。

同步写法如下所示:

1
2
3
4
5
6
7
8
9
10

const main = async (MAX_ID) => {
    const array = []
    for(let i = 0 ; i < MAX_ID; i++){
        // fetch data from website
        const data = await fetchData(i) //this return a Promise
        array.push(data)
    }
    saveToMongoDB(array);
}
main(1000);

代码使用 async/await进行控制逻辑流，让代码可以同步运行，代码逻辑非常清晰，也很方便debug，缺点是效率偏低，因为如果其中一次循环由于某种原因阻塞了，会影响后面逻辑的执行。

在完成前面章节后，的确可以去爬取很多数据了，但很多网站会对爬虫了流量进行限制，我们该如何去应对这些限制呢？

请求频率

对于某些API对请求频率有一定的限制，我们可以手动控制请求的时间间隔，比如使用setInterval函数可以进行定时执行代码，示例代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

// ...require something

const fetch = (aid) => superagent
		.get('https://api.bilibili.com/x/web-interface/archive/stat')
		.query({ aid:aid })
		.then(res => {
			const data = res.body.data // 取出需要保存的数据
			dao.saveData(data, (err,res)=>{
				console.log('saved data, aid=' + aid)
			})
		})
		.catch(err => console.error(err))
// 每隔2000 ms执行一次fetch函数, 期间aid会自增，达到定时执行的目的
let aid = 26186448
setInterval(() => fetch(aid++), 2000)

setInterval详细语法可以参考这里

如果你对Nodejs比较熟悉的话，也可以尝试去使用ES8里的新语法async/await，下面代码是一个简单的demo

1
2
3
4
5
6
7

const sleep = (ms) => new Promise((suc,fail) => setTimeout(suc, ms));
(async ()=>{
	for(;;){
		await sleep(2000)
		console.log(new Date())
	}
})()

输出如下:

1
2
3
4
5
6

$ node index
2018-07-08T10:09:43.830Z
2018-07-08T10:09:45.833Z
2018-07-08T10:09:47.835Z
2018-07-08T10:09:49.838Z
2018-07-08T10:09:51.839Z

其中async关键字放在函数前面声明这时一个异步函数，await关键字会对Promise进行阻塞，从而达到定时执行的效果; sleep是我们自行封装的休眠函数，用Promise对setTimeout进行封装，方便调用。

UA验证

UA指的是HTTP请求头部的User-Agent字段，是用来给服务器分辨请求来源浏览器型号用到的。很多服务器会对未知UA的请求进行限制，这个时候我们需要对UA进行伪装。

很多情况下，为了方便使用，我们习惯把数据存储在数据库中，本章将在前一章的基础上，加入保存数据到MongoDB的逻辑。

在开始前需要确保已经成功安装了MongoDB（localhost:27017）和完成前面的章节内容

Coding

为了方便Nodejs调用MongoDB，我们使用mongojs这个第三方包，它可以让我们使用近似原生的MongoDB语法来处理数据，详细语法可以查看相关文档。

安装mongojs：

1

npm i mongojs --save

我们再新建一个名为dao.js的文件，里面将存放关于和MongoDB相关的逻辑，并键入以下代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

const mongojs = require('mongojs') // 引入mongojs包
// 连接本地mongodb，关联名为'simple_spider'的库中名为'test'的集合(表)
const localdb = mongojs('simple_spider', ['test'])

//保存数据
const saveData = (data,cb) => {
	localdb.test.save(data, (err, res)=>{
	 	cb && cb(err, res)
	})
}

// 打印所有数据
const printAllData = (cb) => {
	localdb.test.find({},(err, docs)=>{
		console.log(docs)
		cb && cb(err, docs)
	})
}

// 关闭mongodb连接，在程序结束时调用，可以防止内存泄漏
const closeMongo = () => localdb.close()

// 将方法暴露出去
module.exports = {
	saveData,printAllData,closeMongo
}

dao.js提供了三个方法供index.js进行调用，同时我们需要修改index.js的代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

const superagent = require('superagent')
const fs = require('fs')
const dao = require('./dao') 

superagent
	.get('https://api.bilibili.com/x/web-interface/archive/stat')
	.query({ aid:26186448 })
	.then(res => {
		const data = res.body.data // 取出需要保存的数据
		dao.saveData(data, (err,res)=>{
			console.log('saved data')
			//打印数据库里保存的数据，然后关闭数据库连接
			dao.printAllData( () => dao.closeMongo() ) 
		})
	})
	.catch(err => console.error(err))

运行代码，顺利的话可以看到这样的输出：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

$ node index
saved data
[ { _id: 5b41d634f3df89032c834d5b,
    aid: 26186448,
    view: 619751,
    danmaku: 12053,
    reply: 3500,
    favorite: 14961,
    coin: 40699,
    share: 1676,
    like: 20751,
    now_rank: 0,
    his_rank: 1,
    no_reprint: 1,
    copyright: 1 } ]

先检查一下我们需要准备的东西：

• Nodejs >= 8.9
• B站视频统计信息API：https://api.bilibili.com/x/web-interface/archive/stat?aid=26186448

如果你已经准备好了，在这一章我们会实现一个非常简单的爬虫。

思路

爬虫的简化流程是这样的：

发送一个HTTP请求到目标服务器，服务器返回相应的数据

1
2
3
4
5
6
7

+----------+                +-----------+
|          |  HTTP Request  |           |
|          +---------------->           |
|  Nodejs  |                |  Servers  |
|          <----------------+           |
|          |  HTTP Response |           |
+----------+                +-----------+

Coding

首先新建一个名为node-simple-spider的文件夹，“发送一个HTTP请求”这个功能需要superagent第三方库来实现，在文件夹node-simple-spider下打开你的终端窗口，键入以下命令来安装superagent的相关依赖：

1

npm i superagent --save

在文件夹里面创建一个名为index.js的文件，用你最喜欢的编辑器打开它，键入以下内容

1
2
3
4
5
6

const superagent = require('superagent') // 引入superagent包
superagent
	.get('https://api.bilibili.com/x/web-interface/archive/stat') // Get请求url
	.query({ aid:26186448 }) // 请求参数，26186448是一个视频的ID
	.then(res => res && console.log(res.body)) // 请求成功的回调函数
	.catch(err => console.error(err)) // 请求失败的回调函数

然后在刚刚的终端窗口中键入以下命令运行这个程序:

1

node index.js

成功的话可以在终端看到以下输出

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

$ node index.js
{ code: 0,
  message: '0',
  ttl: 1,
  data:
   { aid: 26186448,
     view: 605255,
     danmaku: 11831,
     reply: 3476,
     favorite: 14744,
     coin: 40242,
     share: 1645,
     like: 20596,
     now_rank: 0,
     his_rank: 1,
     no_reprint: 1,
     copyright: 1 } }

这个Json就是我们所爬到的数据，里面包含了对应视频数据的播放数、弹幕数、回复、收藏等很多统计信息。