当前位置:主页 > 新闻资讯 > 公司新闻 >

大数据工程师的事情日常

时间:2023-10-01 01:03

欧亿·体育(中国)官方网站

本文摘要:现在我们经常听到大数据这个词汇,大数据作为IT行业的“新宠”备受接待,许多人想转行大数据,那么,你们相识大数据工程师的日常吗?

欧亿体育

现在我们经常听到大数据这个词汇,大数据作为IT行业的“新宠”备受接待,许多人想转行大数据,那么,你们相识大数据工程师的日常吗?一起来看看叭~1, 写 SQL :一般来说许多入职一两年的大数据工程师主要的事情就是写 SQL ;2 ,为集群搭大数据情况(一般公司招大数据工程师情况都已经搭好了,公司内部会有现成的大数据平台);3 ,维护大数据平台(这个应该是每个大数据工程师都做过的事情,或多或少会负担“运维”的事情);4, 数据迁移(有部门公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中,这个是比力繁琐的事情);5 ,应用迁移(有部门公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储历程法式或者SQL剧本迁移到大数据平台上,这个历程也是很是繁琐的事情,高度重复且庞大)6 ,数据收罗(收罗日志数据、文件数据、接口数

欧亿体育

据,这个涉及到种种花样的转换,一般用得比力多的是 Flume 和 Logstash)7, 数据处置惩罚7.1 ,离线数据处置惩罚(这个一般就是写写 SQL 然后扔到 Hive 中跑,其实和第一点有点重复了)7.2 ,实时数据处置惩罚(这个涉及到消息行列,Kafka,Spark,Flink 这些,组件,一般就是 Flume 收罗到数据发给 Kafka 然后 Spark 消费 Kafka 的数据举行处置惩罚)8 ,数据可视化(这个我司是用 Spring Boot 毗连后台数据与前端,前端用自己魔改的 echarts)9 ,大数据平台开发(偏Java偏向的,或许就是把开源的组件整合起来整成一个可用的大数据平台这样,常见的是种种难用的 PaaS 平台)10 ,数据中台开发(中台需要支持接入种种数据源,把种种数据源清洗转换为可用的数据,然后再基于原始数据搭建起宽表层,

欧亿体育

一般为了节约开发成本和服务器资源,都是基于宽表层查询出业务数据)11 ,搭建数据堆栈(这里的数据堆栈的搭建不是指 Hive ,Hive 是搭建数仓的工具,数仓搭建一般会分为三层 ODS、DW、DM 层,其中DW是最重要的,它又可以分为DWD,DWM,DWS,这个层级只是逻辑上的观点,类似于把表名根据层级区离开来的操作,分层的目的是防止开发数据应用的时候直接会见底层数据,可以淘汰资源,注意,淘汰资源开销是淘汰 内存 和 CPU 的开销,分层后磁盘占用会大大增加,磁盘不值钱所以没什么关系,分层可以使数据表的逻辑越发清晰,利便进一步的开发操作,如果分层没有做好会导致逻辑杂乱,新来的员工难以接手业务,提高公司的运营成本,另有这个建数仓也分为建离线和实时的)综上,就是大数据工程师平常的事情内容了,经由我们比力发现最离不开的就是基础,所以不管学习什么都要注重基础,打好基
本文关键词:大,数据,工程师,欧亿体育app下载,的,事情,日常,现在,我们,经常

本文来源:欧亿体育-www.taociabc.com