🚚
AWS GlueをLambdaから実行する際のメモ
Slack Bot -> API Gateway -> Lambda -> Glue Workflow(Glue jobs)を実行したいユースケースがあったので、LambdaからGlueをいじり方を調べたのでメモする。
import boto3
client = boto3.client("glue", region_name="ap-northeast-1")
# 個別のETL Jobを実行する場合
client.start_job_run(
JobName="job_name",
Arguments={
"--exec_date": "2024-08-01",
},
)
# 個別のETL Jobの実行ログを出力する場合
for job_run in client.get_job_runs(JobName="job_name").get('JobRuns'):
print(job_run)
print(job_run.get("JobRunState"))
print(job_run.get("CompletedOn"))
# Workflowsを実行する場合
client.start_workflow_run(
Name="workflow_name"
)
for workflow_run in client.get_workflow_runs(Name="workflow_name").get('Runs'):
print(workflow_run)
print(workflow_run.get("Status"))
print(workflow_run.get("CompletedOn"))
©︎ 2024 - Yard