• ×
    支持199IT发展可加入知识交流群(4000+用户),最有价值数据分享和讨论!
    点击即可加入!
    关闭

    大数据领域的六年巨变

    在过去的 6 年里,本文的作者一直在关注 Data Eng Weekly(前身是 Hadoop Weekly),它是与大数据和数据工程相关内容的重要来源,涵盖了非常广泛的技术文章、产品公告和行业新闻。

    今年,作者打算将分析 Data Eng 的归?#30340;?#23481;(这些归档可追溯到 2013 年 1 月)作为其个人项目,来析过去 6 年中的大数据的趋势和变化。

    为此,作者抓取并清理了 290 多期内容(使用了 Python 爬虫),保留了与技术、新闻和发布公告相关的文章片段。接下来,他对文章片段进行了一些基本的自然语?#28304;?#29702;并应用了一些基本的过滤,最后生成关键字和下下列表。

    过去七年的主要趋势

    作者绘制了特定关键?#26102;?#25552;及次数的月滚动平均值,并将它们绘制在同一个图表上。?#26053;?#30340;图表说明了这些技术大约在什么时间点变得越来越流行。

    Hadoop 与 Spark

    从 2013 年 Spark 开始接管 Hadoop 的那一刻起,Hadoop 就开始稳步下滑。

    Hadoop 与 Kafka

    Kafka 成为所有大数据技术栈的主要构建块。

    Hadoop 与 Kubernetes

    Kubernestes 的崛起,尽管 Data Eng Weekly 并不十分关注 DevOps,但却?#24067;?#35777;了从 2017 年开始围绕 Kubernetes 在各个领域的全面炒作。

    年度热门关键词

    我只是简单地画出在给定年份中被提及次数最多的 10 个关键词。

    ?2013 年:Hadoop 的黄金时期!

    所有原始的 Hadoop 项目都在这里:HDFS、YARN、MR、PIG……以及两大主流发行版 CDH 和 HDP,除此之外别无其他!

    ?2014 年:Spark 的崛起!

    Hadoop 总体上?#26377;?#20102;它的?#25345;?#22320;位,但 Spark 在这一年推出的第一个版本成为 2014 年最热门的话题!

    ?2015 年:Kafka 来了!

    Spark 取代 Hadoop 的一名位的置,Kafka 进入前三。大多数?#19978;?#30446;(HDFS、YARN、MR、PIG……)?#27982;?#26377;进入前十。

    ?2016 年:流式处理火热!

    2016 年是流式处理年,Kafka 取代了 Hadoop 第二名的位置,Spark(流式处理)继续占据主导地位。

    ?2017:一切向流式处理看齐!

    与 2016 年的阵容相同,只是加入了 Flink。

    ?2018 年:回?#20132;?#30784;!

    Kubernetes 首次亮相,我们回到了基础,试图?#39029;?#22914;何管理(K8S)、调度(airflow)和运行(Spark、Kafka、存储……)我们的流。

    ?2019 年:…

    现在对 2019 年给出任何结论还为时过早,但看起来 K8s 将在 2019 年成为主流!

    ?英文原文:https://blog.marouni.fr/bidata-trends-analysis/
    作者 | Abbass Marouni
    译者 | 无明
    来自:?InfoQ

    ?#34892;?#25903;持199IT
    我们致力为中国互联网研究和咨询及IT行业数据专业人员和决策者提供一个数据共享平台。

    要继续访问我们的网站,只需关闭您的广告拦截器并刷新页面。
    滚动到顶部
    宁夏十一选五平台