51CTO专家博主,大数据车联网专栏作者
私信
关注
主帖 4
回帖 1
专栏
[toc]1checkpoint配置l选择合适的Checkpoint存储方式lCheckPoint存储方式存在三种官方文档:https:ci.apache.orgprojectsflinkflinkdocsrelease10opsstatestatebackends.htmlMemoryStateBackend、FsStateBackend和RocksDBStateBackend服务器中配置默认状态存储路径:flinkconf.yamljavaThebackendthatwillbeusedtostoreoperatorstatecheckpointsstate.backend:filesystemDirectoryforstoringcheckpoints服务器环境存储多个挂载...
2023-01-12 14:42:52 875浏览 0点赞 0回复 0收藏
[toc]实时ETL业务开发1原始数据实时ETL分析根据kafka集群中的数据进行实时ETL过滤,对数据进行划分,并将划分的数据分别落地到不同的数据库中。2实时ETL开发流程分析原始数据实时ETL,读取kafka中的原始json数据,解析json数据,flink实时逻辑开发,数据落地到hive与hbasel实现步骤:原始数据实时ETL流式任务创建原始数据实时ETL任务设置定义任务Kakfa数据源信息(topic,group,key、value序列化信息等)任务添加Kafka数据源,...
2023-01-12 14:24:05 1163浏览 0点赞 0回复 0收藏
[toc]创建Flink实时计算子工程1在原工程下创建实时分析子模块总工程结构设计创建StreamingAnalysis工程设置打包类型为:jar2导入实时分析子模块pom依赖略l工程包目录3配置实时分析子模块资源文件conf.propertiesbashmysqlconfigurationjdbc.drivercom.mysql.jdbc.Driverjdbc.urljdbc:mysql:node03:3306vehiclenetworkingcharacterEncodingutf8&useSSLfalsejdbc.userrootjdbc.password123456jdbc.dataSource.size10hdfsUrihdfsUr...
2023-01-12 14:23:12 814浏览 0点赞 0回复 0收藏
[toc]写在前面车联网行业背景介绍车联网技术+车联网的概念介绍车联网(InternetofVehicles)指按照一定的通信协议和数据交互标准,在“人车路云“之间进行信息交换的网络。即首先实现汽车智能网联化,再利用各种传感技术,感知车辆状态信息,并借助无线通信网络与大数据分析技术实现交通的智能化管理。整体而言,车联网产业是汽车、电子、信息通信、道路交通运输等行业深度融合的新型产业形态。+车辆数据如何采集车辆上有传感器...
2023-01-12 14:21:17 728浏览 0点赞 0回复 0收藏
获得成就
已积累 1001 人气
获得 0 个点赞
获得 0 次收藏