Hi，大家好，很荣幸有这个机会可以通过写博文的方式，把这些年在后端开发过程中总结沉淀下来的经验和设计思路分享出来

GraphQL是什么？

GraphQL 既是一种用于API的查询语言也是一个满足你数据查询的运行时（来自：官方解释）

理解起来就是，GraphQL有自己查询语法，发起的API请求中通过传递查询语句来告诉服务端需要哪些操作和具体数据字段，GraphQL定义了实现规范，各种的语言分别实现了GraphQL功能框架，通过框架可以对查询语法进行解释执行，然后返回数据输出给客户端

图1-意淫爬虫与反爬虫间的对决

数据的重要性

如今已然是大数据时代，数据正在驱动着业务开发，驱动着运营手段，有了数据的支撑可以对用户进行用户画像，个性化定制，数据可以指明方案设计和决策优化方向，所以互联网产品的开发都是离不开对数据的收集和分析，数据收集的一种是方式是通过上报API进行自身平台用户交互情况的捕获，还有一种手段是通过开发爬虫程序，爬取竞品平台的数据，后面就重点说下爬虫的应用场景和实践中会遇到的问题和反反爬虫的一些套路与技巧。

程序员大军鱼龙混杂，水平的高低无法简单的从一个功能完成情况来评定，同样一个需求，功能都可以完成，但是不同程序员完成质量会不一样，完成质量的好坏需要从多方面评定，可以参考这些条件：易维护，易拓展，高可用，高稳定，高性能，安全性，容错，风控

什么是爬虫？

网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据， 比如：如果响应内容是html，分析dom结构，进行dom解析、或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，然后对数据进行解析。

介绍

RabbitMQ是一个由erlang开发的基于AMQP（Advanced Message Queue）协议的开源实现。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面都非常的优秀。是当前最主流的消息中间件之一。

RabbitMQ的官方

• 概念：
  • Brocker：消息队列服务器实体。
  • Exchange：消息交换机，指定消息按什么规则，路由到哪个队列。
  • Queue：消息队列，每个消息都会被投入到一个或者多个队列里。
  • Binding：绑定，它的作用是把exchange和queue按照路由规则binding起来。
  • Routing Key：路由关键字，exchange根据这个关键字进行消息投递。
  • Vhost：虚拟主机，一个broker里可以开设多个vhost，用作不用用户的权限分离。
  • Producer：消息生产者，就是投递消息的程序。
  • Consumer：消息消费者，就是接受消息的程序。
  • Channel：消息通道，在客户端的每个连接里，可建立多个channel，每个channel代表一个会话任务。
• 消息队列的使用过程大概如下：
  • 消息接收
    • 客户端连接到消息队列服务器，打开一个channel。
    • 客户端声明一个exchange，并设置相关属性。
    • 客户端声明一个queue，并设置相关属性。
    • 客户端使用routing key，在exchange和queue之间建立好绑定关系。
  • 消息发布
    • 客户端投递消息到exchange。
    • exchange接收到消息后，就根据消息的key和已经设置的binding，进行消息路由，将消息投递到一个或多个队列里。
• AMQP 里主要要说两个组件：
  • Exchange 和 Queue
  • 绿色的 X 就是 Exchange ，红色的是 Queue ，这两者都在 Server 端，又称作 Broker
  • 这部分是 RabbitMQ 实现的，而蓝色的则是客户端，通常有 Producer 和 Consumer 两种类型。
• Exchange通常分为四种：
  • fanout：该类型路由规则非常简单，会把所有发送到该Exchange的消息路由到所有与它绑定的Queue中，相当于广播功能
  • direct：该类型路由规则会将消息路由到binding key与routing key完全匹配的Queue中
  • topic：与direct类型相似，只是规则没有那么严格，可以模糊匹配和多条件匹配
  • headers：该类型不依赖于routing key与binding key的匹配规则来路由消息，而是根据发送的消息内容中的headers属性进行匹配
• 使用场景
  • 官方介绍