标签：hadoop

在Linux系统中，卸载Hadoop通常涉及删除相关的软件包和配置文件，清理HDFS（Hadoop Distributed File System）数据以及取消环境变量设置等步骤，以下是详细的卸载过程：,1、停止Hadoop服务,,在开始卸载之前，需要确保所有的Hadoop服务都已经停止，这包括停止运行的NameNode、DataNode、ResourceManager、NodeManager等进程，可以使用以下命令来停止它们：,“`,$ stop-dfs.sh,$ stop-yarn.sh,“`,2、卸载Hadoop软件包,如果你是通过包管理器（如apt或yum）安装的Hadoop，可以使用相应的卸载命令来移除软件包，,“`,$ sudo apt-get remove hadoop,“`,或者,“`,$ sudo yum remove hadoop,“`,如果你从源代码编译安装了Hadoop，那么你需要手动删除安装目录，,“`,$ rm -rf /usr/local/hadoop,“`,,3、删除配置文件,Hadoop的配置文件通常位于 /etc/hadoop目录下，你可以使用以下命令来删除这些文件：,“`,$ sudo rm -rf /etc/hadoop/*,“`,4、清理HDFS数据,如果HDFS中有重要的数据，请先进行备份，你可以通过以下命令来删除HDFS中的所有数据：,“`,$ hdfs dfs -rm -r /,“`,5、清理环境变量,需要从系统的环境变量中移除与Hadoop相关的设置，这通常涉及到编辑 ~/.bashrc、 ~/.bash_profile或 /etc/environment文件，删除或注释掉所有包含 HADOOP_HOME、 HADOOP_CONF_DIR、 YARN_CONF_DIR等变量的行。,“`,$ nano ~/.bashrc,“`,找到并修改或删除以下内容：,“`,export HADOOP_HOME=/usr/local/hadoop,,export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin,“`,保存并退出编辑器后，执行以下命令使更改生效：,“`,$ source ~/.bashrc,“`,6、验证卸载,完成以上步骤后，可以通过以下命令来验证Hadoop是否已经被完全卸载：,“`,$ hadoop version,“`,如果系统提示“command not found”，则说明Hadoop已经被成功卸载。,相关问题与解答：,Q1: 卸载Hadoop后，是否可以在同一台机器上重新安装不同版本的Hadoop？,A1: 是的，可以在同一台机器上重新安装不同版本的Hadoop，只需确保在安装新版本之前彻底清理旧版本的相关文件和配置，避免版本冲突。,Q2: 如果我想保留HDFS中的数据，应该如何操作？,A2: 在卸载Hadoop之前，你可以将HDFS中的数据备份到其他存储系统中，例如本地文件系统或云存储，使用 hdfs dfs -cp命令可以将数据从HDFS复制到本地文件系统，卸载完成后，你可以使用相同的命令将数据恢复到新的Hadoop集群中。

Hadoop是一个分布式计算框架，它允许用户在大规模计算机集群上进行数据处理，在使用Hadoop集群进行计算任务时，有时需要退出集群以释放资源，本文将介绍如何在Hadoop集群中退出。,1、停止YARN(Yet Another Resource Negotiator)服务,,YARN是Hadoop的资源管理器，负责管理和调度集群中的计算资源，要退出Hadoop集群，首先需要停止YARN服务，可以通过以下命令来停止YARN服务：,2、移除节点上的Hadoop进程,在YARN服务停止后，还需要从节点上移除Hadoop进程，可以使用以下命令来实现：,3、关闭HDFS(Hadoop Distributed FileSystem)服务,,HDFS是Hadoop的分布式文件系统，负责存储和管理集群中的数据，在退出Hadoop集群之前，还需要关闭HDFS服务，可以通过以下命令来关闭HDFS服务：,4、重启节点上的操作系统和服务,在关闭HDFS服务后，还需要重启节点上的操作系统和服务，具体操作方法取决于所使用的操作系统，在Linux系统中，可以使用以下命令来重启系统和服务：,1、如何查看Hadoop集群的状态？,,答：可以使用Hadoop提供的Web界面来查看集群的状态，通常，Web界面的地址为： http://<NameNode_IP>:50070,其中 <NameNode_IP>为NameNode的IP地址，在Web界面中，可以查看到集群的状态信息，如节点数量、存储容量等。,2、如何查看Hadoop集群的配置信息？,答：可以使用 hdfs dfsadmin -report命令来查看Hadoop集群的配置信息，该命令会显示集群的概要信息，如节点数量、存储容量、已使用空间等，还可以使用 hdfs dfsadmin -getServiceState <service_name>命令来查看特定服务的运行状态，如HDFS、YARN等。

虚拟机安装Hadoop的步骤,在当今大数据时代，Hadoop作为一个开源的分布式计算平台，以其高效、可靠、可伸缩的特点被广泛使用，为了进行学习和测试，很多用户选择在 虚拟机上安装Hadoop，以下是在虚拟机上安装Hadoop的详细步骤：, ,1、准备虚拟机环境,下载并安装虚拟机软件（如VMware或VirtualBox）。,下载适合的Linux发行版镜像文件（例如Ubuntu或CentOS）。,2、创建虚拟机,打开虚拟机软件，新建虚拟机并指定操作系统类型和版本。,分配足够的内存大小（建议至少2GB）和硬盘空间（建议至少20GB）。,3、安装操作系统,启动虚拟机并按照提示完成操作系统的安装过程。,设置网络连接，确保虚拟机可以访问互联网。,4、配置SSH免密登录,在虚拟机中安装OpenSSH服务器。,生成SSH密钥对，并将公钥添加到authorized_keys文件中，实现免密码登录。,5、安装Java环境, ,下载并安装Java Development Kit（JDK），因为Hadoop需要Java运行环境。,配置JAVA_HOME环境变量，并验证Java是否安装成功。,6、下载安装Hadoop,从Apache Hadoop官网下载合适的Hadoop版本。,解压下载的Hadoop压缩包到指定目录。,7、配置Hadoop环境,编辑Hadoop配置文件，如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，设置必要的参数。,配置slaves文件，添加所有参与Hadoop集群的机器名或IP地址。,8、格式化HDFS文件系统,首次运行Hadoop之前，需要格式化Hadoop文件系统（HDFS）。,使用命令 hadoop namenode -format进行格式化。,9、启动Hadoop服务,使用 start-all.sh脚本启动Hadoop的所有服务。, ,使用 jps命令检查Hadoop守护进程是否正常启动。,10、验证Hadoop安装,运行一个简单的MapReduce程序或者通过Web界面查看HDFS的状态来验证Hadoop是否正确安装和配置。,相关问题与解答,Q1: 为什么需要在虚拟机中安装Hadoop？,A1: 在虚拟机中安装Hadoop可以提供一个隔离的环境进行学习和测试，不会影响到主机系统的资源和稳定性，并且方便进行环境的快速部署和清理。,Q2: 如何选择合适的Linux发行版？,A2: 根据个人喜好和需求选择，Ubuntu和CentOS是较为常用的选择，它们都有良好的社区支持和丰富的文档资源。,Q3: 为什么要配置SSH免密登录？,A3: Hadoop集群中的节点需要无密码互相访问，以便于数据和任务的传输，配置SSH免密登录可以简化这一过程。,Q4: 如果遇到Hadoop服务无法正常启动怎么办？,A4: 检查Hadoop的日志文件，通常位于$HADOOP_HOME/logs目录下，查找错误信息并针对性地解决问题，确保所有配置项正确无误，网络通畅，以及资源分配合理。,

Hadoop的 分布式存储实现主要依赖于其核心组件之一——Hadoop Distributed File System (HDFS)，HDFS是一个高度容错性的系统，设计用来部署在低成本的硬件上，提供高吞吐量的数据访问，非常适合大规模数据集上的应用。,HDFS架构, ,HDFS采用主从架构（Master-Slave），主要包括两个角色：NameNode（主节点）和DataNode（数据节点）。,1、 NameNode: 管理文件系统的命名空间，维护文件系统树及整个系统的元数据，这些信息被持久化在磁盘上，对于客户端的读写请求，NameNode会指明具体应该与哪些DataNode进行交互。,2、 DataNode: 负责处理文件系统客户端的读写请求，并且完成数据的存储，DataNodes在启动时会向NameNode注册，并周期性地向NameNode发送心跳信号以及块报告，告知NameNode它们所存储的数据块列表。,数据分块,HDFS将大文件拆分为固定大小的数据块（默认大小通常为128MB或64MB），这些数据块被分散存储在不同的DataNode中，这种设计允许并行处理大量数据，提高了系统的整体吞吐量。,副本机制,为了确保数据的可靠性和高可用性，HDFS采用了副本机制，每个数据块在创建时会复制多份（默认为3份），并分布到不同机架的DataNode上，这样即使某个DataNode发生故障，也不会导致数据丢失，因为同一数据块的其他副本仍然可用。,数据读写流程, ,1、 读取数据：当客户端要读取一个文件时，它首先与NameNode通信，获取文件对应的数据块位置信息，客户端直接与存储有该文件数据块的DataNodes建立连接，并读取数据。,2、 写入数据：客户端写入文件时，同样先向NameNode请求数据块的位置信息，NameNode会响应是否可以写入，如果可以，客户端就将数据分成多个包，并行地写入到多个DataNode中。,容错与恢复,由于硬件故障是常态而非例外，HDFS设计了多种机制来处理这类问题，如果DataNode失效，那么它所负责的数据块将由其他正常DataNode上的副本继续提供服务，HDFS还可以通过副本复制策略，自动创建新的副本以替换失效节点上的数据。,平衡与负载,HDFS还具备数据块的平衡机制，能够根据配置的策略，自动或手动地对数据块进行重新分布，以均衡各个DataNode的存储压力，通过机架感知策略，HDFS尽量将同一数据块的不同副本放置在不同的机架上，这样即使整个机架失效，数据也不会丢失。,相关问题与解答, Q1: Hadoop的HDFS如何保证数据的一致性？, ,A1: HDFS通过一种称为“一次写入，多次读取”的策略保证数据一致性，一旦数据被写入并关闭后，就不可更改，这种模式下，不需要复杂的同步机制就可以保证数据的一致性。, Q2: 如果NameNode出现故障怎么办？,A2: Hadoop提供了Secondary NameNode作为NameNode的备份，在某些版本的Hadoop中，还有HA(High Availability)机制，通过双NameNode的配置来实现无缝故障转移。, Q3: Hadoop如何处理小文件？,A3: 小文件在HDFS中通常会带来较高的管理开销，为了优化这一点，Hadoop可以通过Hadoop Archive (HAR)或Hadoop SequenceFile将小文件归档或合并进序列文件中，从而减少NameNode的管理负担。, Q4: DataNode在向NameNode发送心跳信息时，是否会传输数据块的信息？,A4: 是的，DataNode在发送心跳信息给NameNode时，会包含其所存储的数据块列表信息，以便NameNode维护全局的数据块位置信息和状态。,

在卸载Hadoop之前，我们需要确保已经完成了以下几个步骤：,1、停止Hadoop服务：在卸载Hadoop之前，需要先停止正在运行的Hadoop服务，可以使用以下命令来停止Hadoop:, ,2、删除Hadoop相关文件：在卸载Hadoop之前，需要删除所有与Hadoop相关的文件和目录，可以使用以下命令来删除Hadoop相关文件：,3、删除Hadoop配置文件：在卸载Hadoop之前，需要删除所有与Hadoop相关的配置文件，可以使用以下命令来删除Hadoop配置文件：,4、删除Hadoop用户和组：在卸载Hadoop之前，需要删除所有与Hadoop相关的用户和组，可以使用以下命令来删除Hadoop用户和组：,1、卸载Java环境：首先需要卸载Java环境，因为Hadoop依赖于Java运行，可以使用以下命令来卸载Java环境：,2、卸载Hadoop软件包：使用以下命令来卸载Hadoop软件包：, ,3、清理无用的依赖包：使用以下命令来清理无用的依赖包：,1、Hadoop是否可以重新安装？,答：可以，如果需要重新安装Hadoop,只需按照上述步骤进行操作即可，但是需要注意的是，重新安装后可能会导致数据丢失，因此建议在重新安装前备份好数据。,2、如何检查Hadoop是否已经卸载成功？,答：可以通过查看系统中是否存在Hadoop相关的文件和目录来判断Hadoop是否已经卸载成功，可以使用以下命令来查看：, ,3、如何解决卸载Hadoop后出现的依赖问题？,答：如果在卸载Hadoop后出现了依赖问题，可以尝试使用以下命令来修复依赖关系：,您可以使用以下命令来卸载Hadoop: ，，“ sudo apt-get purge hadoop -2.4.*“ ，，这将从您的系统中删除与 hadoop相关的所有包和配置。

Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器或Windows机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。,1、硬件环境：至少3台服务器，每台服务器至少2核CPU、4G内存、100G硬盘空间。, ,2、软件环境：JDK 1.8+、Docker 17.0+、SSH工具、Docker Compose。,1、准备基础镜像,我们需要从Docker Hub拉取Hadoop的基础镜像，这里我们选择官方提供的Hadoop镜像，在命令行中输入以下命令：,2、编写Dockerfile,在每个服务器上创建一个名为 Dockerfile的文件，内容如下：,3、构建镜像并推送到Docker Hub, ,在每台服务器上运行以下命令，构建镜像并将其推送到Docker Hub:,4、配置Docker Swarm集群,在主节点服务器上运行以下命令，初始化Docker Swarm集群：,5、将其他节点加入集群,在其他节点服务器上运行以下命令，加入Docker Swarm集群：,6、启动Hadoop集群服务, ,在主节点服务器上运行以下命令，启动Hadoop集群服务：,1、如何查看Docker容器运行状态？可以使用 docker ps命令查看正在运行的容器，如果需要查看所有容器(包括已停止的),可以使用 docker ps -a命令。,2、如何进入正在运行的Docker容器？可以使用 docker exec -it <容器ID> /bin/bash命令进入容器，如果容器内没有 /bin/bash,可以尝试使用 /bin/sh或其他shell。,3、如何退出Docker容器？在容器内执行 exit命令即可，如果需要强制退出容器，可以使用 docker kill <容器ID>命令。,

Hadoop是一个开源的分布式计算框架，它可以处理大量数据的存储和计算，Hadoop的核心组件包括HDFS(Hadoop Distributed FileSystem)和MapReduce，HDFS是一个高度容错的分布式文件系统，可以在廉价硬件上存储大量数据，MapReduce是一种编程模型，用于处理和生成大型数据集，通过将计算任务分发到集群中的多个节点上，Hadoop可以实现高效的数据处理。,本文将详细介绍如何搭建一个Hadoop集群，包括环境配置、安装软件、启动服务、验证安装等步骤。, ,1、硬件环境,搭建Hadoop集群需要一定的硬件资源，主要包括CPU、内存、磁盘和网络，建议使用多台服务器进行搭建，以提高集群的稳定性和扩展性，每台服务器的配置如下：,CPU:至少2核,内存：至少4GB,磁盘：至少100GB,网络：千兆网卡,2、操作系统环境,推荐使用Linux操作系统，如Ubuntu、CentOS等，在安装Hadoop之前，需要确保操作系统已经安装了以下软件包：,Java(JDK)1.8或更高版本, ,SSH服务(如OpenSSH),Hadoop客户端工具(如hadoop-cli、 hadoop-streaming等),Maven(可选，用于管理Java项目依赖),1、下载Hadoop安装包,从Hadoop官网下载最新版本的Hadoop安装包，解压到指定目录。,2、配置Hadoop环境变量,编辑~/.bashrc文件，添加以下内容：,保存文件后，执行以下命令使配置生效：,1、格式化HDFS文件系统, ,在启动Hadoop集群之前，需要先格式化HDFS文件系统，执行以下命令：,2、启动HDFS服务,执行以下命令启动HDFS NameNode服务：,启动HDFS DataNode服务：,1、查看Hadoop进程列表,执行以下命令查看Hadoop进程列表，确认NameNode和DataNode服务已经启动成功：,2、访问HDFS Web界面,在浏览器中输入NameNode的IP地址和端口号(默认为50070),可以查看到HDFS的状态信息，http://localhost:50070/web hdfs/v1/?op=LISTSTATUS&user.name=root&user.group=hadoop，如果能看到文件系统的目录结构，说明Hadoop集群已经搭建成功。,

在Hadoop生态系统中，HDFS（Hadoop Distributed File System）作为其基础的分布式文件系统，管理着集群中的存储资源，了解如何查看Hadoop集群的剩余空间对于管理和调度作业至关重要，本文将介绍几种常用的方法来查看Hadoop集群的剩余空间。,使用命令行工具,,Hadoop自带了一些命令行工具，可以方便地查询HDFS的状态，包括剩余空间。,hdfs dfsadmin, hdfs dfsadmin 命令提供了多种子命令来获取HDFS的信息，要查看集群的剩余空间，可以使用 -report 参数：,这条命令会生成一个详细的报告，包含了每个数据节点的使用情况，从而可以计算出整个集群的剩余空间。,hdfs dfs, hdfs dfs 是与HDFS进行交互的命令行工具，若要查看剩余空间，可以使用 -du 或 -dus 参数列出指定目录的大小：,第一个命令会显示目录及其所有子目录的大小，而第二个命令则仅显示总计。,使用Web界面,,大多数Hadoop发行版都提供了一个Web界面，允许用户通过浏览器查看集群的状态，默认情况下，NameNode的Web界面通常位于 http://<namenode_host>:50070/。,在这个页面上，你可以找到链接到各个数据节点的详细信息，包括它们的存储使用情况，这可以帮助你快速了解集群的整体剩余空间。,使用API,Hadoop同样提供了API供开发者使用，以便程序化地获取HDFS的信息，可以使用Java编写的程序调用 org.apache.hadoop.fs.FileSystem 类的 getCapacityStatus() 方法来获取集群的存储信息。,编程方式,如果你熟悉Hadoop生态系统中的其他组件，如Apache Hive或Apache Pig，也可以通过编写SQL查询或脚本来获取HDFS的空间使用情况。,相关问题与解答, Q1: Hadoop集群中如何定期监控磁盘空间？,,A1: 可以通过设置Hadoop的Web界面自动刷新，或者使用第三方监控工具如Nagios、Ganglia等来定期收集HDFS的空间使用数据。, Q2: 如果HDFS的空间不足，有哪些清理策略？,A2: 清理策略可能包括删除不再需要的临时文件、合并小文件以减少存储开销、或者增加新的数据节点来扩展集群容量。, Q3: 是否可以限制用户或应用程序在HDFS上的存储使用量？,A3: 是的，Hadoop支持基于用户的配额管理，可以在NameNode上配置相关参数来启用和设置配额。, Q4: Hadoop集群中的数据节点宕机会影响剩余空间的查看吗？,A4: 当数据节点宕机时，它上面的空间不会被计入集群的总剩余空间，查看剩余空间时应确保所有数据节点都是活跃的。,

FileInputFormat切片机制是Hadoop中的一个重要概念，它主要用于将大文件切分成多个小文件，以便在分布式环境中进行处理，这种机制可以提高处理效率，减少内存消耗，同时也方便了数据的管理和存储。,1. FileInputFormat 切片机制的基本原理, ,FileInputFormat切片机制的基本原理是将一个大文件切分成多个小文件，每个小文件被称为一个切片，这些切片可以并行处理，以提高处理效率，切片的大小可以根据实际需求进行设置，如果需要处理的数据量很大，可以将切片设置得较大；反之，如果数据量较小，可以将切片设置得较小。,2. FileInputFormat切片机制的实现方式,FileInputFormat切片机制的实现方式主要有两种：行切片和块切片。,行切片：行切片是指将文件按照行进行切分，每个切片包含文件中的一部分行，这种方式适用于处理文本文件，因为文本文件中的每一行都可以被视为一个独立的数据单元。,块切片：块切片是指将文件按照一定的数据块进行切分，每个切片包含文件中的一部分数据块，这种方式适用于处理二进制文件，因为 二进制文件中的数据块通常具有固定的大小。,3. FileInputFormat切片机制的优点,FileInputFormat切片机制的优点主要有以下几点：,提高处理效率：通过将大文件切分成多个小文件，可以并行处理这些小文件，从而提高处理效率。, ,减少内存消耗：由于每个切片的大小较小，因此处理每个切片所需的内存也较小，这可以减少内存消耗。,方便数据管理和存储：通过切片机制，可以将大文件切分成多个小文件，这方便了数据的管理和存储。,4. FileInputFormat切片机制的使用场景,FileInputFormat切片机制主要用于大数据处理，特别是在Hadoop等分布式计算环境中，在这些环境中，数据通常以大文件的形式存在，通过使用切片机制，可以将大文件切分成多个小文件，然后并行处理这些小文件，从而提高处理效率。,相关问题与解答,问题1：FileInputFormat切片机制是否适用于所有类型的文件？,答：不是的，FileInputFormat切片机制主要适用于文本文件和二进制文件，对于文本文件，由于每一行都可以被视为一个独立的数据单元，因此可以通过行切片的方式进行处理；对于二进制文件，由于其数据块通常具有固定的大小，因此可以通过块切片的方式进行处理，对于其他类型的文件，例如图像文件或音频文件，可能需要使用其他的方式进行处理。,问题2：如何设置FileInputFormat切片的大小？, ,答：FileInputFormat切片的大小可以通过设置参数进行设置，如果使用Hadoop的TextInputFormat类进行文本文件的处理，可以通过设置split.size参数来设置切片的大小；如果使用Hadoop的SequenceFileInputFormat类进行二进制文件的处理，可以通过设置mapred.min.split.size参数来设置切片的大小。,问题3：如何处理切分后的小文件？,答：切分后的小文件可以并行处理，在Hadoop等分布式计算环境中，可以使用MapReduce模型来并行处理这些小文件，具体来说，MapReduce模型中的Mapper任务可以并行处理每个小文件，然后将处理结果传递给Reducer任务进行汇总。,问题4：FileInputFormat切片机制是否会对数据的顺序产生影响？,答：不会的，FileInputFormat切片机制只是将大文件切分成多个小文件，而不会改变数据的顺序，在处理这些小文件时，仍然可以保证数据的原始顺序。,

当运行Hadoop案例时，可能会遇到各种各样的错误，在这里，我将为您详细解析一个常见的Hadoop运行案例报错，并提供相应的解决方法。,错误描述：,在运行Hadoop MapReduce程序时，出现以下错误：,错误分析：,这个错误是由于Hadoop在尝试创建一个目录时没有足够的权限导致的，在这个例子中，Hadoop试图在 /app/hadoop/tmp/mapred/local/目录下创建一个名为 xxx的子目录，但是因为权限不足而失败。,可能的原因有以下几点：,1、Hadoop集群没有以正确的用户权限运行。,2、HDFS上的目标目录权限设置不正确。,3、操作系统级别的文件系统权限问题。,解决方案：,1、确保Hadoop集群以正确的用户权限运行。,需要检查Hadoop集群的配置文件 hadoopenv.sh，确认以下参数设置是否正确：,如果使用的是Hadoop 2.x版本，还需要检查以下参数：,将这些参数设置为具有足够权限的用户（如root），可以确保Hadoop集群在运行时具有创建目录的权限。,2、修改HDFS上的目标目录权限。,使用以下命令修改HDFS上的目标目录权限：,这将设置目录权限为所有人可读、可写和可执行，在实际生产环境中，为了安全起见，不建议使用如此宽松的权限设置，您可以根据实际情况设置合适的权限。,3、修改操作系统级别的文件系统权限。,检查报错目录的操作系统权限：,如果权限不足，可以使用以下命令修改目录权限：,将目录权限设置为Hadoop用户和组，并设置适当的权限。,注意：在实际操作中，请根据您集群的实际情况修改用户和组名。,4、重启Hadoop集群。,修改完配置文件和权限后，需要重启Hadoop集群，使配置生效：,执行完上述步骤后，重新运行您的Hadoop案例，应该可以解决报错问题。,解决Hadoop运行案例报错的关键在于分析错误信息，找出导致问题的根本原因，在本例中，我们通过修改Hadoop集群的用户权限、HDFS目录权限和操作系统级别的文件系统权限，成功解决了因权限不足导致的运行错误，在处理类似问题时，请务必根据实际情况调整解决方案，确保集群的安全和稳定性。, ,Error: java.io.IOException: Mkdirs failed to create /app/hadoop/tmp/mapred/local/xxx (Permission denied),export HADOOP_SECURE_DN_USER=root export HADOOP_UID=root,export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root,hdfs dfs chmod 777 /app/hadoop/tmp/mapred/local/,ls ld /app/hadoop/tmp/mapred/local/