2018年四季度以来,宏观经济的不景气终于传导到了个人身上。互联网行业不断传出停止社招、 “缩招”的消息。“裁员”消息也是一波接着一波。上下游没钱了,信贷机构没钱了,风险投资人也没钱了,烧钱最猛的各互联网大厂员工,率先沦为泡沫破灭时的“代价”,
据不完全统计,已经公布裁员的互联网公司有近30家,各个行业,各种规模都有,例如爱奇艺,百度,哔哩哔哩,贝壳找房,锤子,滴滴,斗鱼,京东,科大讯飞,美图,美团,摩拜,美味不用等,OFO,平安好房,趣店,人人车,苏宁,天天果园,唯品会,网易,小米,新浪,星巴克,有赞,知乎,36氪等等,很多IT人才年底被裁,哀鸿遍野,度过了最难过的一个春节。
而对于真正有技术、有经验的人来说,“互联网寒冬”的影响似乎并没有那么明显。而正处于风口的热门岗位,其就业前景依然乐观,比如大数据工程师,拥有大数据分析和处理能力的大数据工程师严重短缺,非常紧俏。
2016年中国大数据市场规模为3600亿元,对比2015年增速达到45%;2017年大数据产业规模达到4700亿元,同比增长30%。根据数据显示,目前全国的大数据人才只有46万,未来3-5年内大数据人才的缺口将高达150万多,大数据行业将面临全国性的人才荒。根据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万,而在BAT企业招聘的职位里,60%以上都在招大数据人才。
据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示,研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大,而数据分析人才最为稀缺。领英报告表明,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺。数据分析人才跳槽速度也最快,平均跳槽速度为19.8个月,与此同时,行业薪资溢价严重,职场新人年薪高出互联网普通技术人员134%,有5-8年工作经验的人才,则比互联网行业普通技术人员高出78.04%。由此可见,大数据人才即使在寒冬中,也完全不用担心,依旧是各个企业争相延揽的目标,不仅职位好找,薪酬还高。
说起大数据技术,就不得不提到Apache Hadoop。Apache是大数据行业最具影响力的开源团体。Apache软件基金会(也就是Apache Software Foundation,简称为ASF)是专门为运作一个开源软件项目Apache的团体提供支持的非盈利团体,成立于1999年,成立的原因是一群技术员认为尖端技术不应该只停留在几家大的IT巨头,而应该开源共享,所以项目里的软件都是开发后免费共享使用的。经过20年发展,目前ASF已经发展了超过300个项目,大部分世界级数据企业都在使用这些软件。
Hadoop是ASF众多管理项目之一,是一个专门负责处理大数据储存和分析的开源软件,也是目前市场上最为广泛应用的大数据开发工具。Hadoop是雅虎员工 Doug Cutting 根据谷歌2003年发布的学术论文研究而来。自2009年开发以来,Hadoop使用比率一直上升,随着大数据的发展趋势,以低廉的存储和快速的处理能力,迅速在企业中蔓延开去。直到2013年10月发布的Hadoop 2.0,该软件已成为大数据和人工智能方案的核心组件,调查发现,接近四成的受访企业倾向选择 Hadoop 作为大数据平台的技术架构。
现在Hadoop的用户包括全球科技巨头包括社交网站脸书(Facebook),领英(LinkedIn),推特(Twitter),阿里巴巴与腾讯等,这些公司每天需要处理海量的数据;比如推特平均每一秒钟便有约 6000条转发,证明Hadoop在商业应用上的价值。按照目前的创新速度和较低的要求来看,未来五年会有更多的中小型企拥有自己的 Hadoop 架构。Hadoop有望在未来于企业各个角落得到广泛的应用。据福布斯(Forbes)预测,到2022年,全球Hadoop市场将达990亿美元,每年复式增长率为42%,当中超过三分之一增长来自亚太地区。
经过记者调查,原来国际顶级开源软件组织ASF的Hadoop项目的第一位中国人创始贡献者陈自力先生(Tony Chan), 从2009年开始参与 Apache Hadoop 的研发,对整个 Apache Hadoop 生态系统具有深厚的经验,他亦是把 Apache Hadoop 引入中国香港的第一人。
陈自力先生 (Tony Chan) 是EmblocSoft的创始人,拥有25年丰富咨询科技经验的大数据专家。他专注于大数据,人工智能和世界领先的开源软件和硬件,而且提供实战大数据与人工智能培训。
作为大数据资深专家,陈自力先生 (Tony Chan) 提醒职场上的大家一个未来的趋势,就是企业各个部门的员工都需要学习大数据的基本原理与应用,也就是在国际上近年在热烈讨论的一个名称:公民数据师(Citizen Data Scientist):“由前线营销至市务、财务、人力资源等后勤支持的专才,同时也可成为公民数据师。陈自力续解释,公民数据师熟悉其行业或企业的营运,能结合技术和业务所需,可发挥大数据的价值。”
陈自力先生 (Tony Chan) 致力于推动大数据人才标准体系,他续称:“除了鼓励大家认识与学习大数据,一个对人才的技术资格的认证体系对于推动整个大数据人才的生态系统里相当重要”。他的公司EmblocSoft作为提供Certified Professionals For Apache projects (CPFA) 资格认证唯一的亚洲机构,他更筹备了一个面向Apache Projects的国际资格认证平台OpenCertHub,为“职能为本”的大数据人才提供专业客观的大数据考试平台,并为考生提供Apache的专业技术资格认证证, 旨在促进更多亚洲开源技术人才的发展。
Apache Software Foundation (ASF):一个专门为支持开源软件项目而办的非牟利团体,规模全球最大。成立于1999年,Apache目前有三百多个 世界顶级项目,由多个项目管理委员会负责管理,以自愿无偿方式分别参与研发不同的开源软件项目,其技术为大型科企如Facebook、Twitter、阿里巴巴、腾讯、百度等应用。
Citizen Data Scientist 公民数据师:根据Gartner 研究分析师 Alexander Linden的说法,公民数据师是指那些在企业负责业务领域,但具有一定数据技能的人,他们可能拥有数学甚至是社会科学学位,并将他们这些综合技能用于探索和分析数据。
OpenCertHub:一家为大数据人才与开源行业提供专业资格认证、行业与人脉信息的机构,致力推动数据全民化、鼓励学习,推动发展智慧城市。
