大数据多租户的技术研究和技术方案
大数据多租户的技术研究和技术方案
1 、引言
随着大数据的普及，越来越多的组织机构将自己的海量数据的存储与运算放在 Hadoop 集群
上。然而由于同公司不同项目或者部门之间对计算和存储的需求不同，原有提供一套底层
Hadoop 集群给用户使用已经不能满足用户的需求，主要存在以下几个问题：
(1）多个用户之间公用一套底层存储资源，彼此之间数据没有进行隔离，会导致存储的数据泄
露；
(2）不同用户编写的不同计算任务公用底层全量计算资源，会导致计算资源要求高的任务无法
获得足够资源等；
(3）对 IO,CPU，内存等的要求不同的任务无法分配到具备相应特长的节点上运行。
正是上述问题，在没有对 Hadoop 集群资源进行精细化管理时，很容易出现数据与集群资源混
乱无序的状态。
2 、相关概念
在介绍多租户相关研究与设计前，首先需要对下述概念进行介绍：
(1）存储资源：分布式存储文件系统（Hadoop Distributed File System,HDFS）中的一个或者多
个目录；
(2）计算资源：资源调度协调系统（Yet Another Resource Negotiator,YARN）中队列；
(3）队列：计算任务进行资源分配的最小单位。
3 、 多租户技术研究
目前，多租户的实现有多种方案，下面对相关技术方案进行分析。
基于容器的多租户大数据平台构建方案，通过容器化技术封装大数据组件成描述性文件，再通
过云计算，云安全提供多租户安全的隔离与共享。该方案主要利用了云计算的租户隔离手段，
来实现对所运行组件的隔离，但是由于其每个大数据组件所具有的数据是彼此隔离的，容易产
生数据孤岛，在需要对各个租户数据进行全量计算时，难以适用。
基于 Hadoop 的多租户大数据平台方案主要是基于 Hadoop 生态的 HDFS、YARN 等的功能来对
资源进行隔离。HDFS 可以通过目录的访问权限，来对各个租户相关的用户访问权限进行隔离
限制。YARN 中的计算队列也可以通过相关配置来对其进行更细粒度的访问控制以达到不同租
户的访问隔离。
4 、 多租户技术方案
由于可能需要对各租户数据进行更高层次的计算，本论文主要采用基于 Hadoop 生态的多租户
实现方案。
但是由于不同版本的 Hadoop 在租户相关的功能上是有区别的。Hadoop2.7 虽然也支持多租户能
力，但是其对 YARN 中队列动态控制能力还有些欠缺。其无法做到对动态资源的删除，每次要
彻底删除动态资源都需要对组件进行重启。其次由于系统需要对国产飞腾服务器（ARM 架
构）支持。所以选择了 Hadoop3.3.0 版本。
摘要：
展开>>
收起<<
大数据多租户的技术研究和技术方案 1 、引言随着大数据的普及，越来越多的组织机构将自己的海量数据的存储与运算放在Hadoop集群上。然而由于同公司不同项目或者部门之间对计算和存储的需求不同，原有提供一套底层Hadoop集群给用户使用已经不能满足用户的需求，主要存在以下几个问题：(1）多个用户之间公用一套底层存储资源，彼此之间数据没有进行隔离，会导致存储的数据泄露；(2）不同用户编写的不同计算任务公用底层全量计算资源，会导致计算资源要求高的任务无法获得足够资源等；(3）对IO,CPU，内存等的要求不同的任务无法分配到具备相应特长的节点上运行。正是上述问题，在没有对Hadoop集群资源进行精细化管...
相关推荐
-
2024年党建工作要点工作计划5篇供参考
2023-12-16 999+ -
2025年专题生活会对照带头严守政治纪律和政治规矩，维护党的团结统一等“四个带头方面”个人对照检查发言材料4110字文稿
2024-12-21 999+ -
2025年医保局局长、科技局领导干部专题“四个带头”方面对照检查材料2篇例文（附：反面典型案例剖析情况）
2025-02-09 453 -
2025年国有企业党委书记、市总工会党组书记民主生活会“四个带头”方面对照个人检查发言材料2篇文(附：典型案例、上年度整改+个人情况)
2025-02-09 504 -
2025年市委组织部部长、教育局党委书记生活会“四个带头”个人对照检查发言材料2篇文(典型案例+个人事项)
2025-02-09 622 -
2025年市财政局党组书记、局长、市检察院党组领导班子对照“四个带头”方面生活会个人对照检视发言材料2篇文（含以案为鉴反思、以案促改促治方面）
2025-02-09 505 -
市检察院党组、市财政局领导班子2025年生活会对照“四个带头”方面检视发言材料2份文【含以违纪行为为典型案例剖析】
2025-02-09 460 -
2025年市财政局领导对照“四个带头”生活会检视发言材料2篇例文【含以违纪行为为典型案例剖析】
2025-02-09 580 -
单位领导班子2025年聚焦“四个带头”生活会对照检查材料2篇文(含：典型案例剖析反思、落实意识形态责任制)
2025-02-09 753 -
2025年镇党委副书记、市科学技术局领导班子生活会对照“四个带头”检视材料2篇文【含违纪行为典型案例分析】
2025-02-09 254
作者：闻远设计
分类：其它行业资料
价格：免费
属性：2 页
大小：35.74KB
格式：DOCX
时间：2024-03-17
