没有最好的架构，只是在业务的发展中进行架构迭代，使之适合自己的业务。
业务背景
硬件设备(公司自研)，采集数据，定期上报管理后台需要进行存储和搜索数据量级：每月15亿+条，每年数据180亿+条
设备数据采集
自研的硬件，采集的数据会按行写入到txt文件中，然后将txt文件打包成zip数据包数据包通过FTP上传到服务器指定目录
应用架构
架构说明：
1. 服务端和硬件之间通过UDP通信（硬件接入、心跳、参数设置等）
2. 数据包上传到FTP指定目录后，由脚本进行解压，将txt文件解压到Flume采集目录
3. HBase按年份建立表，存储数据全部字段
4. ElasticSearch按月份建立索引，文档id为HBase对应记录的rowKey
5. 从ElasticSearch搜索出数据后，根据rowKey从HBase中查询详细数据
数据入库流程
数据查询流程
本文来自尔容投稿，不代表胡巴网立场，如若转载，请注明出处：https://www.hu85.com/130334.html
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 xxxxx@qq.com 举报，一经查实，本站将立刻删除。