Superset安装、配置及使用

可视化这一块,公司要么自己开发,需要会前端,开发出对应的效果,要么就用第三方的企业会开发出商业版本,一些BI工具(帆软,smartbi)这些都是需要收费的。我们可以学免费的第三方免费可视化工具

Apache Superset是一个开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用

由于Superset能够对接常用的大数据分析工具,如Hive、Kylin、Druid等,且支持自定义仪表盘,故可作为数仓的可视化工具

Superset官网地址:http://superset.apache.org/

安装Python环境

Superset是由Python语言编写的Web应用,要求Python3.6的环境

1、安装Miniconda

conda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同Python版本的软件包及其依赖,并能够在不同的Python环境之间切换,Anaconda包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等,Miniconda包括Conda、Python

此处,我们不需要如此多的工具包,故选择MiniConda

1.1 下载Miniconda(Python3版本)

下载地址:https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

1.2 安装Miniconda
  1. 执行以下命令进行安装,并按照提示操作,直到安装完成

    [hadoop@bigdata03 lib]$ bash Miniconda3-latest-Linux-x86_64.sh

  2. 在安装过程中,出现以下提示时,可以指定安装路径

    在这里插入图片描述

  3. 出现以下字样,即为安装完成

    在这里插入图片描述

1.3 配置环境变量

修改/etc/profile.d/env.sh文件,内容如下

export CONDA_HOME=/opt/module/miniconda3
export PATH=$PATH:$CONDA_HOME/bin

修改保存之后:source /etc/profile
或者重启一下虚拟机

1.4 取消激活base环境

Miniconda安装完成后,每次打开终端都会激活其默认的base环境,我们可通过以下命令,禁止激活默认base环境

如果不关闭,就会自动激活base环境

conda config --set auto_activate_base false

2、创建Python3.6环境

2.1 配置conda国内镜像
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free

conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

conda config --set show_channel_urls yes

查看下.condarc文件,是否是如下配置

[hadoop@bigdata03 ~]$ cat ~/.condarc 
auto_activate_base: false
ssl_verify: true
show_channel_urls: true
channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
2.2 创建Python3.6环境
conda create -n superset python=3.6

说明:conda环境管理常用命令,上述的name是环境名称

创建环境:conda create -n env_name

查看所有环境:conda info --envs

删除一个环境:conda remove -n env_name --all

2.3 激活superset环境(在用户目录,不能是root用户)

激活conda activate superset

激活后效果如下图所示

在这里插入图片描述

退出当前环境conda deactivate

2.4 执行python命令查看python版本

在这里插入图片描述

Superset部署

1、安装依赖

安装Superset之前,需安装以下所需依赖

sudo yum install -y python-setuptools

sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel

2、安装Superset

2.1 安装(更新)setuptools和pip

pip install --upgrade setuptools pip -i https://pypi.douban.com/simple/

说明:pip是python的包管理工具,可以和centos中的yum类比

2.2 安装Superset

pip install apache-superset -i https://pypi.douban.com/simple/

说明:-i的作用是指定镜像,这里选择国内镜像

最后会打印如下日志,就表示安装成功

在这里插入图片描述

2.3 初始化Superset数据库

superset db upgrade

采用的数据库是sqllite数据库,是一个轻量级的数据量

2.4 创建管理员用户

给superset创建管理员用户

export FLASK_APP=superset

在里面可以设置用户名与密码,其他的可以不用设置,直接enter就行

(superset) [hadoop@bigdata03 ~]$ flask fab create-admin
Username [admin]: hadoop
User first name [admin]: 
User last name [user]: 
Email [admin@fab.org]: 
Password: 
Repeat for confirmation: 
logging was configured successfully

说明:flask是一个python web框架,Superset使用的就是flask

2.5 初始化

superset init

3、启动Superset

3.1 安装gunicorn

pip install gunicorn -i https://pypi.douban.com/simple/

说明:gunicorn是一个Python Web Server,可以和java中的Tomcat类比

3.2 启动Superset
  1. 确保当前conda环境为superset,如下图所示

    在这里插入图片描述

    如果没有,需要执行:conda activate superset

  2. 启动

    gunicorn --workers 5 --timeout 120 --bind bigdata03:8787 superset:app --daemon

    可能启动会访问不到,执行:gunicorn -w 5 -t 120 -b bigdata03:8787 "superset.app:create_app()"

    说明

    –workers:指定进程个数

    –timeout:worker进程超时时间,超时会自动重启

    –bind:绑定本机地址,即为Superset访问地址

    –daemon:后台运行

  3. 登录Supersetbig

    访问http://bigdata03:8787,并使用2.4创建的管理员账号进行登录

    在这里插入图片描述

  4. 停止superset

    停掉gunicorn进程:ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9

    退出superset环境:conda deactivate

Superset的使用

1、对接MySQL数据源

1.1 安装依赖

conda install mysqlclient

说明:对接不同的数据源,需安装不同的依赖,以下地址为官网说明

http://superset.apache.org/installation.html#database-dependencies

1.2 重启superset

停掉gunicorn进程:ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9

启动:gunicorn -w 5 -t 120 -b bigdata03:8787 "superset.app:create_app()"

2、数据源配置

2.1 Database配置
  1. 点击Sources/Databases

    在这里插入图片描述

  2. 点击 ➕

    在这里插入图片描述

  3. 点击填写Database及SQL Alchemy URI

    注:SQL Alchemy URI编写规范:mysql://账号:密码@IP/数据库名称

    mysql://root:000000@bigdata02/gmall

    在这里插入图片描述

  4. 点击Test Connection,出现“Seems Ok!”提示即表示连接成功

    在这里插入图片描述

  5. 保存配置

    在这里插入图片描述

2.2 Table配置
  1. 点击Sources/Table

    在这里插入图片描述

  2. 点击 ➕

    在这里插入图片描述

  3. 配置Table

    在这里插入图片描述

3、制作仪表盘

3.1 创建空白仪表盘
  1. 点击Dashboards,点击 ➕

    在这里插入图片描述

  2. 配置仪表盘

    在这里插入图片描述

  3. 保存仪表盘

    在这里插入图片描述

3.2 创建图表
  1. 点击Charts,点击 ➕

    在这里插入图片描述

  2. 选择数据源及图表类型

    在这里插入图片描述

  3. 选择合适的图表类型

    在这里插入图片描述

  4. 创建图表

    在这里插入图片描述

  5. 可修改语言为中文,方便配置

    在这里插入图片描述

  6. 按照说明配置图表

    在这里插入图片描述

  7. 点击“RUN”

    在这里插入图片描述

  8. 保存图表,并将其添加到仪表盘

    在这里插入图片描述

3.3 编辑仪表盘
  1. 点击“Edit dashboard”

    在这里插入图片描述

  2. 调整图表大小以及图表盘布局

    在这里插入图片描述

  3. 点击下图中箭头,可调整仪表盘自动刷新时间

    在这里插入图片描述

  • 7
    点赞
  • 36
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
在现有省、市港口信息化系统进行有效整合基础上,借鉴新 一代的感知-传输-应用技术体系,实现对码头、船舶、货物、重 大危险源、危险货物装卸过程、航管航运等管理要素的全面感知、 有效传输和按需定制服务,为行政管理人员和相关单位及人员提 供高效的管理辅助,并为公众提供便捷、实时的水运信息服务。 立信息整合、交换和共享机制,立健全信息化管理支撑 体系,以及相关标准规范和安全保障体系;按照“绿色循环低碳” 交通的要求,搭高效、弹性、高可扩展性的基于虚拟技术的信 息基础设施,支撑信息平台低成本运行,实现电子政务设和服务模式的转变。 实现以感知港口、感知船舶、感知货物为手段,以港航智能 分析、科学决策、高效服务为目的和核心理念,构“智慧港口”的发展体系。 结合“智慧港口”相关业务工作特点及信息化现状的实际情况,本项目具体设目标为: 一张图(即GIS 地理信息服务平台) 在设岸线、港口、港区、码头、泊位等港口主要基础资源图层上,设GIS 地理信息服务平台,在此基础上依次接入和叠加规划设、经营、安全、航管等相关业务应用专题数据,并叠 加动态数据,如 AIS/GPS/移动平台数据,逐步成航运管理处 "一张图"。系统支持扩展框架,方便未来更多应用资源的逐步整合。 现场执法监管系统 基于港口(航管)执法基地设规划,依托统一的执法区域 管理和数字化监控平台,通过加强对辖区内的监控,结合移动平 台,形成完整的多维路径和信息追踪,真正做到问题能发现、事态能控制、突发问题能解决。 运行监测和辅助决策系统 对区域港口与航运业务日常所需填报及监测的数据经过科 学归纳及分析,采用统一平台,消除重复的填报数据,进行企业 输入和自动录入,并进行系统智能判断,避免填入错误的数据, 输入的数据经过智能组合,自动生成各业务部门所需的数据报 表,包括字段、格式,都可以根据需要进行定制,同时满足扩展 性需要,当有新的业务监测数据表需要产生时,系统将分析新的 需求,将所需字段融合进入日常监测和决策辅助平台的统一平台中,并生成新的所需业务数据监测及决策表。 综合指挥调度系统 设以港航应急指挥中心为枢纽,以各级管理部门和经营港 口企业为节点,快速调度、信息共享的通信网络,满足应急处置中所需要的信息采集、指挥调度和过程监控等通信保障任务。 设计思路 根据项目的设目标和“智慧港口”信息化平台的总体框架、 设计思路、设内容及保障措施,围绕业务协同、信息共享,充 分考虑各航运(港政)管理处内部管理的需求,平台采用“全面 整合、重点补充、突出共享、逐步完善”策略,加强重点区域或 运输通道交通基础设施、运载装备、运行环境的监测监控,完善 运行协调、应急处置通信手段,促进跨区域、跨部门信息共享和业务协同。 以“统筹协调、综合监管”为目标,以提供综合、动态、实 时、准确、实用的安全畅通和应急数据共享为核心,围绕“保畅通、抓安全、促应急"等实际需求来设智慧港口信息化平台。 系统充分整合和利用航运管理处现有相关信息资源,以地理 信息技术、网络视频技术、互联网技术、移动通信技术、云计算 技术为支撑,结合航运管理处专网与行业数据交换平台,构航 运管理处与各部门之间智慧、畅通、安全、高效、绿色低碳的智 慧港口信息化平台。 系统充分考虑航运管理处安全法规及安全职责今后的变化 与发展趋势,应用目前主流的、成熟的应用技术,内联外引,优势互补,使系统设具备良好的开放性、扩展性、可维护性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值