Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
E
etl-ruoshui-bigdata-server
项目
项目
详情
活动
周期分析
仓库
仓库
文件
提交
分支
标签
贡献者
图表
比较
统计图
议题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程
统计图
Wiki
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
etl-ruoshui
etl-ruoshui-bigdata-server
Commits
34b59a53
提交
34b59a53
authored
12月 03, 2025
作者:
吕本才
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
feat(core): upgrade python version and adjust logging
上级
5ccb8ad6
全部展开
隐藏空白字符变更
内嵌
并排
正在显示
9 个修改的文件
包含
23 行增加
和
10 行删除
+23
-10
README.md
README.md
+0
-0
pom.xml
pom.xml
+4
-3
pom.xml
ruoshui-admin/pom.xml
+3
-3
GlueTypeEnum.java
...c/main/java/com/ruoshui/core/enums/glue/GlueTypeEnum.java
+2
-1
ScriptUtil.java
...src/main/java/com/ruoshui/core/enums/util/ScriptUtil.java
+3
-1
GlueTypeEnum.java
...ore/src/main/java/com/ruoshui/core/glue/GlueTypeEnum.java
+2
-1
ProcessUtil.java
...core/src/main/java/com/ruoshui/core/util/ProcessUtil.java
+3
-1
ScriptUtil.java
...-core/src/main/java/com/ruoshui/core/util/ScriptUtil.java
+4
-0
ExecutorJobHandler.java
.../java/executor/service/jobhandler/ExecutorJobHandler.java
+2
-0
没有找到文件。
README.md
浏览文件 @
34b59a53
差异被折叠。
点击展开。
pom.xml
浏览文件 @
34b59a53
...
...
@@ -16,7 +16,8 @@
<ruoshui.version>
3.8.2
</ruoshui.version>
<project.build.sourceEncoding>
UTF-8
</project.build.sourceEncoding>
<project.reporting.outputEncoding>
UTF-8
</project.reporting.outputEncoding>
<java.version>
1.8
</java.version>
<!--<java.version>1.8</java.version>-->
<java.version>
11
</java.version>
<maven-jar-plugin.version>
3.1.1
</maven-jar-plugin.version>
<druid.version>
1.2.8
</druid.version>
<bitwalker.version>
1.21
</bitwalker.version>
...
...
@@ -70,8 +71,8 @@
<project.build.sourceEncoding>
UTF-8
</project.build.sourceEncoding>
<maven.test.skip>
false
</maven.test.skip>
<downloadSources>
true
</downloadSources>
<java_source_version>
1.8
</java_source_version
>
<java_target_version>
1.8
</java_target_version
>
<!-- <java_source_version>1.8</java_source_version>--
>
<!-- <java_target_version>1.8</java_target_version>--
>
<file_encoding>
UTF-8
</file_encoding>
<flink_streaming_version>
1.4.0.RELEASE
</flink_streaming_version>
<flink.version>
1.16.2
</flink.version>
...
...
ruoshui-admin/pom.xml
浏览文件 @
34b59a53
...
...
@@ -10,9 +10,9 @@
<modelVersion>
4.0.0
</modelVersion>
<packaging>
jar
</packaging>
<artifactId>
ruoshui-admin
</artifactId>
<properties
>
<java.version>
1.8
</java.version
>
</properties
>
<!-- <properties>--
>
<!-- <java.version>1.8</java.version>--
>
<!-- </properties>--
>
<description>
web服务入口
</description>
...
...
ruoshui-core/src/main/java/com/ruoshui/core/enums/glue/GlueTypeEnum.java
浏览文件 @
34b59a53
...
...
@@ -10,7 +10,8 @@ public enum GlueTypeEnum {
BEAN
(
"BEAN"
,
false
,
null
,
null
),
GLUE_GROOVY
(
"GLUE(Java)"
,
false
,
null
,
null
),
GLUE_SHELL
(
"GLUE(Shell)"
,
true
,
"bash"
,
".sh"
),
GLUE_PYTHON
(
"GLUE(Python)"
,
true
,
"python"
,
".py"
),
// GLUE_PYTHON("GLUE(Python)", true, "python", ".py"),
GLUE_PYTHON
(
"GLUE(Python)"
,
true
,
"python3"
,
".py"
),
GLUE_PHP
(
"GLUE(PHP)"
,
true
,
"php"
,
".php"
),
GLUE_NODEJS
(
"GLUE(Nodejs)"
,
true
,
"node"
,
".js"
),
GLUE_POWERSHELL
(
"GLUE(PowerShell)"
,
true
,
"powershell"
,
".ps1"
);
...
...
ruoshui-core/src/main/java/com/ruoshui/core/enums/util/ScriptUtil.java
浏览文件 @
34b59a53
...
...
@@ -5,6 +5,7 @@ import com.ruoshui.core.enums.biz.model.HandleProcessCallbackParam;
import
com.ruoshui.core.enums.log.JobLogger
;
import
com.ruoshui.core.enums.thread.ProcessCallbackThread
;
import
com.ruoshui.core.util.ProcessUtil
;
import
lombok.extern.slf4j.Slf4j
;
import
java.io.FileOutputStream
;
import
java.io.IOException
;
...
...
@@ -21,6 +22,7 @@ import java.util.List;
* <p>
* Created by xuxueli on 17/2/25.
*/
@Slf4j
public
class
ScriptUtil
{
/**
...
...
@@ -71,13 +73,13 @@ public class ScriptUtil {
if
(
params
!=
null
&&
params
.
length
>
0
)
{
for
(
String
param
:
params
)
{
cmdarray
.
add
(
param
);
log
.
info
(
"1param:"
+
param
);
}
}
String
[]
cmdarrayFinal
=
cmdarray
.
toArray
(
new
String
[
cmdarray
.
size
()]);
// process-exec
final
Process
process
=
Runtime
.
getRuntime
().
exec
(
cmdarrayFinal
);
String
prcsId
=
ProcessUtil
.
getProcessId
(
process
);
JobLogger
.
log
(
"------------------Process id: "
+
prcsId
);
//update task process id
...
...
ruoshui-core/src/main/java/com/ruoshui/core/glue/GlueTypeEnum.java
浏览文件 @
34b59a53
...
...
@@ -12,7 +12,8 @@ public enum GlueTypeEnum {
BEAN
(
"BEAN"
,
false
,
null
,
null
),
GLUE_GROOVY
(
"GLUE(Java)"
,
false
,
null
,
null
),
GLUE_SHELL
(
"GLUE(Shell)"
,
true
,
"bash"
,
".sh"
),
GLUE_PYTHON
(
"GLUE(Python)"
,
true
,
"python"
,
".py"
),
// GLUE_PYTHON("GLUE(Python)", true, "python", ".py"),
GLUE_PYTHON
(
"GLUE(Python)"
,
true
,
"python3"
,
".py"
),
GLUE_PHP
(
"GLUE(PHP)"
,
true
,
"php"
,
".php"
),
GLUE_NODEJS
(
"GLUE(Nodejs)"
,
true
,
"node"
,
".js"
),
GLUE_POWERSHELL
(
"GLUE(PowerShell)"
,
true
,
"powershell"
,
".ps1"
);
...
...
ruoshui-core/src/main/java/com/ruoshui/core/util/ProcessUtil.java
浏览文件 @
34b59a53
...
...
@@ -45,7 +45,9 @@ public class ProcessUtil {
// field.setAccessible(true);
// pid = (Integer) field.get(process);
// 服务器上的jdk版本大于8 ,不兼容当前的模式
if
(
process
.
getClass
().
getName
().
equals
(
"java.lang.UNIXProcess"
))
{
String
processName
=
process
.
getClass
().
getName
();
logger
.
info
(
"processName: {}"
,
processName
);
if
(
processName
.
equals
(
"java.lang.UNIXProcess"
))
{
try
{
// 仅Java 8兼容:保留原逻辑(可选)
Field
pidField
=
process
.
getClass
().
getDeclaredField
(
"pid"
);
...
...
ruoshui-core/src/main/java/com/ruoshui/core/util/ScriptUtil.java
浏览文件 @
34b59a53
...
...
@@ -4,6 +4,7 @@ package com.ruoshui.core.util;
import
com.ruoshui.core.biz.model.HandleProcessCallbackParam
;
import
com.ruoshui.core.log.JobLogger
;
import
com.ruoshui.core.thread.ProcessCallbackThread
;
import
lombok.extern.slf4j.Slf4j
;
import
java.io.FileOutputStream
;
import
java.io.IOException
;
...
...
@@ -20,6 +21,7 @@ import java.util.List;
* <p>
* Created by xuxueli on 17/2/25.
*/
@Slf4j
public
class
ScriptUtil
{
/**
...
...
@@ -70,10 +72,12 @@ public class ScriptUtil {
if
(
params
!=
null
&&
params
.
length
>
0
)
{
for
(
String
param
:
params
)
{
cmdarray
.
add
(
param
);
log
.
info
(
"2param:"
+
param
);
}
}
String
[]
cmdarrayFinal
=
cmdarray
.
toArray
(
new
String
[
cmdarray
.
size
()]);
// process-exec
final
Process
process
=
Runtime
.
getRuntime
().
exec
(
cmdarrayFinal
);
...
...
ruoshui-datax-executor/src/main/java/executor/service/jobhandler/ExecutorJobHandler.java
浏览文件 @
34b59a53
...
...
@@ -50,6 +50,8 @@ public class ExecutorJobHandler extends IJobHandler {
try
{
String
[]
cmdarrayFinal
=
BuildCommand
.
buildDataXExecutorCmd
(
trigger
,
tmpFilePath
,
dataXPyPath
);
JobLogger
.
log
(
"------------------DataX command: "
+
StringUtils
.
join
(
cmdarrayFinal
,
" "
));
final
Process
process
=
Runtime
.
getRuntime
().
exec
(
cmdarrayFinal
);
String
prcsId
=
ProcessUtil
.
getProcessId
(
process
);
JobLogger
.
log
(
"------------------DataX process id: "
+
prcsId
);
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论