控制数据处理及查询分析系统PPT

数据产生系统产生大数据，包括监控，日志，业务等多类数据，然后同步到消息队列中，应用系统从消息队列订阅数据，放到自身消息队列缓存，然后进行拆分处理，写到数据库中，web程序从数据库中读取数据,进行展示。 大数据实时处理写库，每天2000万级别，同时进行分类处理，提供快速查询!我们采用了消息队列、高可用和大数据技术进行保障。 消息是指在两个独立的系统间传递的数据，这两个系统可以是两台计算机，也可以是两个进程。消息可以非常简单，可以是简单的字符串，也可以是保存了数据持久化的各种类型的文档集合。 队列是在消息的传输过程中的通道，是保存消息的容器，根据不同的情形，可以有先进先出，优先级队列等区别。 按照以上约定，用户的响应时间相当于是注册信息写入数据库的时间。注册邮件，发送短信写入消息队列后，直接返回，因此写入消息队列的速度很快，基本可以忽略，因此用户的响应时间可能是写库时间。因此架构改变后，系统的吞吐量提高到比串行提高了3倍,比并行提高了两倍。 服务器端搭建消息队列服务器,各个移动端订阅该消息队列，有一个唯一的主题topic，这样当服务器端发送新的消息的时候,各个订阅该消忠队列的客户端,都会收到该推送的消忘。 搭建消息队列服务器，各个产生日志等数据处理的系统，将产生的数据先写到消总队列中进行排队处理，通过其他数据处理技术（流式处理storm等),对日志信忘进行分类、过滤等处理,提供格式化报表。 ActiveMQ是一种开源的，实现了JMS1.1规范的，面向消息(MOM)的中间件，为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信。ActiveMQ使用Apache提供的授权，任何人都可以对其实现代码进行修改。 ActiveMQ的设计目标是提供标准的，面向消息的，能够跨越多语言和多系统的应用集成消息通信中间件。ActiveMQ实现了JMS标准并提供了很多附加的特性。这些附加的特性包括，JMX管理(javaManagement Extensions，即java管理扩展)，主从管理(master/salve，这是集群模式的一种，主要体现在可靠性方面，当主中介(代理）出现故障，那么从代理会替代主代理的位置，不至于使消息系统瘫痪)、消息组通信(同一组的消息，仅会提交给一个客户进行处理)、有序消息管理(确保消息能够按照发送的次序被接受者接收)。消息优先级(优先级高的消息先被投递和处理)、订阅消息的延迟接收（订阅消息在发布时，如果订阅者没有开启连接，那么当订阅者开启连接时，消息中介将会向其提交之前的，其未处理的消息)、接收者处理过慢(可以使用动态负载平衡，将多数消息提交那处理快的接收者，这主要是对PTP消息所说)、虚拟接收者(降低与中介的连接数目)、成熟的消息持久化技术(部分消息需要持久化到数据库或文件系统中，当中介崩溃时，信息不会丢失)、支持游标操作（可以处理大消息)、支持消息的转换、邂过使用Apache的Camel同以支持EP、使用镜像队列的形式轻松的对消息队列进行监控等。