CloudFormationでGlueジョブの継続的なログ記録を設定してみた

はじめに

こんにちは、omkです。
先日GlueジョブをCloudFormationで設定した際に、継続的なログ記録を有効にしたかったのですが「AWS::Glue::Job」のユーザーガイドを参照してもそれらしきものが見つからず最初は少し困惑しましたので備忘も兼ねて記録しておきます。

ここを参照

https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-glue-arguments.html

CFnのプロパティで設定のない項目に関してはこちらを確認して必要なパラメーターが記載されていることを確認します。
今回設定したかった継続的なログ記録も記載があります。

--enable-continuous-cloudwatch-log — Enables real-time continuous logging for AWS Glue jobs. You can view real-time Apache Spark job logs in CloudWatch.

--enable-continuous-log-filter — Specifies a standard filter (true) or no filter (false) when you create or edit a job enabled for continuous logging. Choosing the standard filter prunes

継続的なログ記録と標準フィルターの設定を見つけましたので、こちらを「AWS::Glue::Job」の「DefaultArguments」に設定します。

テンプレート

出来たテンプレートがこちらになります(Resourceのみ記載)。

Resources:

  JobID:
    Type: AWS::Glue::Job
    Properties: 
      Command: 
        Name: glueetl
        ScriptLocation: !Ref S3ScriptPath
      DefaultArguments: 
        --ENVIRONMENT: omk-env
        --TempDir: !Ref S3TempPath
        --enable-continuous-cloudwatch-log: true
        --enable-continuous-log-filter: true
      GlueVersion: 3.0
      Name: omk-env-cfn-job
      WorkerType: G.1X
      NumberOfWorkers: 10
      Timeout: 2880
      Role: !Ref GlueRoleArn

こういう書き方になるんですね……

おわりに

CloudFormationでGlueジョブを設定してみました。
ブックマークなどのよく使う機能の設定もここになるのでちょっと分かりづらさもありますが困っている方の一助になれば幸いです。
それでは、最後までお付き合いありがとうございました。