首页 > 安装部署Spark 1.x Standalone模式集群

安装部署Spark 1.x Standalone模式集群

Configuration

    spark-env.sh

        HADOOP_CONF_DIR=/opt/data02/hadoop-2.6.0-cdh5.4.0/etc/hadoop

        JAVA_HOME=/opt/modules/jdk1.7.0_67

        SCALA_HOME=/opt/modules/scala-2.10.4

        #######################################################

      #主节点

        SPARK_MASTER_IP=hadoop-spark.dragon.org

       #端口号默认7077

        SPARK_MASTER_PORT=7077

       #web端口号

        SPARK_MASTER_WEBUI_PORT=8080

       #内核管理

        SPARK_WORKER_CORES=1

        #woker管理内存

        SPARK_WORKER_MEMORY=1000m

        #端口号

        SPARK_WORKER_PORT=7078

       #web端口号

        SPARK_WORKER_WEBUI_PORT=8081

         #节点可以起几个进程，默认一个

        SPARK_WORKER_INSTANCES=1

 

修改hadoop工作地址的slaves配置

  hadoop-spark.dragon.org

知道worker工作地址的slaves配置

        hadoop-spark.dragon.org

配置参数供程序使用

spark-defaults.conf

        spark.master                     spark://hadoop-spark.dragon.org:7077

 

启动

sbin/start-master.sh

sbin/start-slaves.sh

 

转载于:https://www.cnblogs.com/gyadmin/p/8268111.html

更多相关：

  • SparkSQL 与 Spark Core的关系

        　　不多说，直接上干货！     SparkSQL 与 Spark Core的关系 　　Spark SQL构建在Spark Core之上，专门用来处理结构化数据(不仅仅是SQL)。 　　Spark SQL在Spark Core的基础上针对结构化数据处理进行很多优化和改进， 　　简单来讲： 　　　　Spark SQL 支持很多种...

  • 关于 线程模型中经常使用的 __sync_fetch_and_add 原子操作的性能

    最近从 kvell 这篇论文中看到一些单机存储引擎的优秀设计，底层存储硬件性能在不远的未来可能不再是主要的性能瓶颈，反而高并发下的CPU可能是软件性能的主要限制。像BPS/AEP/Optane-SSD 等Intel 推出的硬件存储栈已经能够在延时上接近DRAM的量级，吞吐在较低的队列深度下更是能够超越当前主流NVMe-ssd 数倍甚至...

  • python多线程端口扫描程序

    下面的程序给出了对给定的ip主机进行多线程扫描的python代码 #!/usr/bin/env python #encoding: utf-8import socket, sys, thread, timeopenPortNum = 0 socket.setdefaulttimeout(3)def usage():print '...

  • 服务器远程免密登录

    1. 生成本地密钥 ssh-keygen 2. 将密钥上传到服务器 ssh-copy-id -p port [email protected] 3. 创建登录脚本 ssh -p port [email protected] 转载于:https://www.cnblogs.com/yeran/p/1...

  • portscaner 多线程、多协程并发端口扫描

    import socket,time,re,sys,os,threading import gevent from gevent import monkey monkey.patch_all()socket.setdefaulttimeout(2)#该方法用来处理用户数据的port范围，并计算范围内的port，将其添加到列表中，将列...

  • python -socket -client

    socket client 发起连接。 流程为： 创建接口 发起连接   创建接口参数同socket server相同 发起连接的函数为socket.connect(ip,port) 这个地方的ip与port为socket server端的ip和监听port。 代码示例： # -*- coding: utf-8 -*- ''' Th...

©2024 11GX.COM