2021腾讯犀牛鸟开源人才培养计划 开源项目介绍 滑至文末报名参与开源人才培养计划 提交项目Proposal Apache Ozone项目介绍 标签：大数据存储 技术栈：Java 标签：大数据存储 技术栈：Java Apache Ozone-分布式大数据通用存储，Ozone是一个大数据场景分布式存储，支持百亿到千亿级对象和文件。Ozone提供兼容S3的对象功能，和兼容Hadoop File System(HCFS)的文件功能，同时通过CSI驱动接入Kubernets生态。Ozone定位于混合云场景存储支持，是面向数据湖的下一代大数据存储系统。 Apache Ozone导师介绍 陈怡、费辉、耿斌、赵明超 陈怡：Apache Ozone PMC Chair、Apache Hadoop PMC 费辉：Apache Ozone Committer， Apache Hadoop Committer 耿斌：Apache Ozone Committer 赵明超：Apache Ozone Committer 导师寄语： “大数据存储是整个大数据系统的基石，Ozone是Hadoop生态推出的新一代大数据场景分布式存储，支持百亿到千亿级对象和文件。希望同学们通过暑期实践，对于大数据生态的存储能有一个深入的了解和掌握。”——陈怡 Apache Ozone拓展资料 ????Apache Ozone官网： ????Apache Ozone最新发布1.1.0文档： ????TOzone：Native Object Store for Hadoop： Apache Ozone实战任务 （最终具体任务以实战阶段导师布置为准） 编程任务 项目：兼容S3协议的数据Lifecycle管理 任务： 1. 数据Lifecycle管理的设计 2. 在S3网关实现Lifecycle策略的设置和修改 3. 在Ozone命令行支持 LifeCycle的CRUD 4. 在Ozone元数据OM节点，实现Lifecycle的具体功能 5. 完成代码编写和测试，完成功能使用文档 6. Demo 演示 参考资料： （复制链接粘贴至浏览器即可查看） 扫码填写问卷报名，提交项目proposal 加入开发实战 与导师一起成长这一夏 Apache Ozone开源项目交流群 欢迎对本项目感兴趣的同学一起交流 更多开源项目信息， 尽在“腾讯犀牛鸟开源人才社区” 扫码加入，解锁所有学习资料 关于腾讯犀牛鸟开源人才培养计划：为响应国家十四五规划的开源战略，腾讯于2021年5月发布“首届腾讯犀牛鸟开源人才培养计划”，希望企业界和教育界形成合力，打造面向高校学生的开源课程和开源实践培养方案，培育开源人才，普及开源文化，助力开源人才生态的发展。 首届项目由教育部计算机教学指导委员会、教育部软件工程教学指导委员会、中国信息通信研究院作为联合指导单位，包括开源基础培训、开源进阶研学、开源项目实战三个环节，项目涉及云原生、微服务、容器、AI、大数据、前端、物联网/边缘计算等多项技术热点。 各位同学报名即可参加线上开源系列课程，学习开源知识，对话学界及产业界大咖。其中入选开源项目实战的学生将在导师的一对一指导下，利用暑假开展编程实战，并有机会获得腾讯开源贡献者证书（目前全球只发出了10+张）。 ????学生指南QA： ????官方QQ群：859260607 （加群请备注学校+专业） 【其他项目介绍】 Apache Ozone跑步者基本图像这是在Docker容器中运行Apache Hadoop Ozone的基础映像。这仅用于测试/开发，不适用于生产。该容器不包含任何特定于Ozone的jar文件或发布工件，而只是一个空环境，其中包括在容器内运行和测试Apache Ozone的所有特定工具。该图像以。构建由Docker Hub管理。发展要生成图像，请使用： docker build -t apache/ozone-runner:dev . 要测试它，构建 ： mvn clean verify -DskipTests -Dskip.npx -DskipShade -Ddocker.ozone-runner.version=dev 并启动撰写集群： cd hadoop-ozone/dist/target/ozone-*/compose/ozone docker-compo 前言在HDFS的世界中，所有涉及元数据相关的操作都是在NameNode内完成的，真实进行文件读写和删除操作是在DataNode节点上完成的，完成好之后，再通过心跳的方式将结果汇报给NameNode。这种处理方式要比完全同步的方式好很多，尤其高吞吐数据量规模的情况下时，走同步的方式会很快遇到瓶颈的。当然了，HDFS NameNode这套机制相关文章已经写了很多了，本文笔者来介绍一个比较新的服务设计：H