首页 > 软件下载 > Windows操作系统

PiFlow(大数据流水线系统) v0.15

2024-03-31

资源介绍

PiFlow是一个扩展性强,性能优越,简单易用的大数据流水线系统,提供了100+的数据处理组件,包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等,欢迎下载使用!

软件特色

可视化配置流水线

监控流水线

查看流水线日志

检查点功能

支持自定义开发数据处理组件

基于分布式计算引擎Spark开发

集成了微生物领域的相关算法

使用方法

解压piflow-server-v0.9.tar.gz:

tar -zxvf piflow-server-v0.9.tar.gz

编辑配置文件config.properties

运行、停止、重启PiFlow Server

start.sh、stop.sh、 restart.sh、 status.sh

测试 PiFlow Server

设置环境变量 PIFLOW_HOME

vim /etc/profile

export PIFLOW_HOME=/yourPiflowPath/bin

export PATH=PATH:PIFLOW_HOME/bin

运行如下命令

piflow flow start example/mockDataFlow.json

piflow flow stop appID

piflow flow info appID

piflow flow log appID

piflow flowGroup start example/mockDataGroup.json

piflow flowGroup stop groupId

piflow flowGroup info groupId

如何配置

config.properties

#spark and yarn config

spark.master=yarn

spark.deploy.mode=cluster

#hdfs default file system

fs.defaultFS=hdfs://10.0.86.191:9000

#yarn resourcemanager.hostname

yarn.resourcemanager.hostname=10.0.86.191

#if you want to use hive, set hive metastore uris

#hive.metastore.uris=thrift://10.0.88.71:9083

#show data in log, set 0 if you do not want to show data in logs

data.show=10

#server port

server.port=8002

#h2db port

h2.port=50002

软件截图

查看安装过程

image.png

展开全部

版权声明

1 本站所有资源(含游戏)均是软件作者、开发商投稿,任何涉及商业盈利目的均不得使用,否则产生的一切后果将由您自己承担!

2 本站资源下载后不得用于商业用途,所有资源请在下载后24小时内删除。

3 若有关在线投稿、无法下载等问题,请与本站客服人员联系。

4 如侵犯了您的版权、商标等,请立刻联系我们并具体说明情况后,本站将尽快处理删除,联系QQ:2499894784

最近更新

热门排行

最需网客户端 软件问题一手掌握

去 App Store 免费下载 iOS 客户端