BigQueryで個人情報などの秘匿データを適切に管理するためには、ポリシータグを活用してデータマスキングを実施する方法が推奨されています。

本記事では、Google CloudのポリシータグとデータマスキングポリシーをTerraformで設定し、それをdbtを通じてBigQueryのテーブルに付与する方法について解説します。

ポリシータグとデータマスキングポリシーの定義（Terraform）

まず、Terraformでポリシータグおよびマスキングポリシーを設定します。

resource "google_data_catalog_taxonomy" "personal_taxonomy" {
  project                = "my-project"
  region                 = "asia-northeast1"
  display_name           = "Personal Table Masking Policy"
  description            = "個人情報のマスキング用ポリシータグ"
  activated_policy_types = ["FINE_GRAINED_ACCESS_CONTROL"]
}

ポリシータグの作成（例: 企業名）

resource "google_data_catalog_policy_tag" "corpname" {
  taxonomy     = google_data_catalog_taxonomy.personal_taxonomy.id
  display_name = "CorpName"
  description  = "企業名をマスクするためのポリシータグ"
}

ポリシータグへの閲覧権限を特定のグループに付与します。

resource "google_data_catalog_policy_tag_iam_binding" "corpname_tag_viewer" {
  policy_tag = google_data_catalog_policy_tag.corpname.id
  role       = "roles/datacatalog.categoryFineGrainedReader"
  members = [
    "group:admin@sample.com",
  ]
}

データマスキングポリシーの作成

作成したポリシータグに対してデータマスキングポリシーを設定します。

resource "google_bigquery_datapolicy_data_policy" "masking_corpname_policy" {
  project          = "my-project"
  location         = "asia-northeast1"
  data_policy_id   = "masking_corpname_policy"
  policy_tag       = google_data_catalog_policy_tag.corpname.id
  data_policy_type = "DATA_MASKING_POLICY"

  data_masking_policy {
    predefined_expression = "ALWAYS_NULL"
  }
}

マスキングポリシーへのアクセス権限設定

マスキングされたデータを閲覧できるユーザーをIAMで制御します。

resource "google_bigquery_datapolicy_data_policy_iam_binding" "corpname_masked_reader" {
  project        = "my-project"
  location       = "asia-northeast1"
  data_policy_id = google_bigquery_datapolicy_data_policy.masking_corpname_policy.data_policy_id
  role           = "roles/bigquerydatapolicy.maskedReader"
  members = [
    "group:viewer@sample.com"
  ]
}

dbtを使ったポリシータグの付与方法

Terraformで作成したポリシータグのIDを

= 略 =
vars:
  policy_tags:
    corpname_policy_tag: "projects/my-project/locations/asia-northeast1/taxonomies/{taxonomy_id}/policyTags/{policy_tag_id}"
= 略 =

dbtモデルへのポリシータグ設定

）にポリシータグを付与します。

version: 2

models:
  - name: user
    columns:
      - name: id
      - name: name
      - name: corpname
        policy_tags:
          - '{ { var("policy_tags")["corpname_policy_tag"] }}'

以下のようにモデルを定義します。

{{ config(
  alias='test',
  materialized='table',
) }}
select
    1 id,
    'toita' name,
    'yard' corpname

モデルを実行するとポリシータグ付きのテーブルが作成されます。

本記事ではTerraformとdbtを連携してBigQueryにポリシータグを設定し、データマスキングを行う方法を解説しました。

適切な管理により、安全で堅牢なデータ基盤の構築を目指しましょう。

BigQuery × dbt × Terraform でポリシータグ設定と個人情報マスキング

toitech

2025年2月27日、ForkwellとprimeNumberの共催による「Data Engineering Study #28」がオンラインで開催されました。

データ分析基盤に深く携わるエンジニアたちを招き、"データ基盤のCI/CD" をテーマに多角的な視点から学びを深める場となった本イベント。

発表や質疑応答を通じて、データ基盤特有の課題と、それを解消するための手法や実装例が数多く語られました。

以下では、本編の内容を振り返りつつ、全体を通じて見えてきた重要なポイントをまとめます。

https://forkwell.connpass.com/event/339761/

今回のイベントは、インフラやデータ基盤の勉強会を継続的に企画するForkwellが、データ活用基盤の総合支援サービス「TROCCO®️」を展開するprimeNumberとタッグを組んで実現したものです。

データ分析領域には、一般的なソフトウェア開発とは異なる固有の難しさがあり、特にCI/CDの設計では「単にコードをビルド＆デプロイする」以上の工夫が求められがち。

そこで、データ基盤の構築や運用にまつわる先進的な取り組みを知りたい──そんな声に応えるべく、多様な実践者が登壇し、具体的なノウハウを共有してくれました。

本稿では、登壇者による講演とQ&Aの様子をレポートし、データ基盤におけるCI/CDがどのように構築され、どんな課題を解決しているのかをひも解いていきます。

講演① データ基盤のための Terraform Workflow を tfaction で構築しよう

: フリー株式会社 SRE 鈴木 俊輔（seli07 / せりな / 

Terraform×CIの難しさとtfaction誕生の背景

まず、データ基盤では多種多様なクラウドリソースを管理・設定する必要があります。Terraform自体はこれらリソースをIaC（Infrastructure as Code）で扱う際の強力なツールですが、大規模・複数チームで使いこなすとなると、単に

こうした高度な要件を満たすための一般的ソリューションがまだ少なく、各社が独自に作り込むことになりがちでした。そこで鈴木氏が開発・公開しているのが、

というOSS。GitHub Actions上でTerraformの高度なワークフローを簡単に構築できるフレームワークです。

tfactionは以下のような多彩な機能を備え、「全社的にTerraform管理を浸透させたい」「変更が増え続けてCIを充実させたい」といった場面で威力を発揮します。

「Terraformのワークフロー構築」は一見地味ですが、大規模・複数チームの開発現場では避けて通れない課題であり、このtfactionを取り入れれば「安全・ガバナンス向上」と「スピーディなデリバリー」が両立できる可能性があります。

講演② 進化を加速させるデータ基盤CI/CDの実践

: CARTA MARKETING FIRM VP of Data 近森 淳平（

なぜデータ基盤こそCI/CDが必要なのか

近森氏はまず「データ活用はとにかく失敗が多い」と強調。成功確率はどうしても低くなるので、結局「失敗をどれだけ効率良く繰り返せるか」が鍵になるといいます。

試行回数を増やすためには、コード変更→デプロイ→結果検証のサイクルを高速化しなくてはならず、CI/CDが必然的に重要となるわけです。

コード×データ×コンピュートの三位一体

「コード」「データ」「コンピュート」

の3要素が複雑に絡み合い、ソフトウェア開発のように単純にCI/CDを組めばOKではありません。

これら3つの要素が相互に影響を与えるため、従来のソフトウェア開発におけるCI/CDナレッジだけでは対応しきれない難しさが生まれるのです。

具体的な取り組み：DBTスリムCI

CARTAマーケティングファームでは、DBTを使ったデータ変換でCI/CDを実装。膨大なデータをすべてテストするのは現実的でないため、

という割り切りを導入しています。

こうしたアプローチで、「データオーナーがアイデアをすばやく実装→CIで最低限の安全を担保→本番で失敗しても早期に戻せる」というサイクルを実現。結果、ビジネスサイドの試行回数を増やし、スピーディなデータ活用を可能にしています。

Q.「中央集権的なデータチームから脱却して分散運用するのはいつがいい？」

Q.「データ基盤エンジニアの仕事は、分散運用したら無くなる？」

Q.「難しそうだけど、まずどう着手すればいい？」

全体を踏まえた感想──「データ基盤の失敗力」とCICDの未来

ソフトウェア開発では当たり前になったCI/CD。しかし「データ基盤 × CICD」は、単なるコードの自動テストやデプロイを超えて、

に対応する高度な仕掛けが必要になると感じさせられました。

データ活用でビジネス価値を生み出す

」こと。失敗を効率化し、試行回数を増やすためにCI/CDを整える──という観点が特に印象的です。

鈴木氏が開発するtfactionのようなOSSフレームワークがTerraformワークフローの高度化を促し、近森氏が示したDBTスリムCIなどの手法が大規模データならではの問題を巧みに解決している事例は、いずれも

「事故を防ぎつつ、スピードを出す」

という本質的な課題に応えるものでしょう。

データ基盤の時代は今後さらに進み、多種多様なチーム・ロールが触れる機会も増えるはずです。そんな中、「コード×データ×コンピュート」の三位一体を意識しながらCI/CDを組んでいくことは、もはや避けて通れない道となりそうです。

エンジニア個々が「どこまで責任を負うか」「どの部分をOSSや既存ツールに任せるか」を取り決め、最小限のコストで最大限の失敗を許容できる土壌を作り上げる。これこそがデータ基盤の未来を切り開くカギかもしれません。

本イベントを通じて、多くの参加者が「データ基盤のCICDはソフトウェア開発より一段難度が高いが、技術と仕組みづくり次第で十分実現可能」という確信を得られたのではないでしょうか。

ここから各社がどんなイノベーションを起こし、データ活用を加速させていくか、ますます注目が集まります。

Data Engineering Study #28「データ基盤のCI/CD」レポート

「私の個人開発自慢LT Night」イベントレポート

」と題したオンラインイベントが開催されました。

世の中には色とりどりの個人開発が存在し、それを「どうやって思いついたか」「なぜ今つくるのか」「技術選定やバズを狙う戦略はあるのか」という視点で語り合うLT（ライトニングトーク）会です。

自分の得意分野や興味に沿ったアプリ／サービス開発

を、どうモチベーションに変え、社会に発信していくか」。

アプリ開発や技術への熱い思いを抱えた7名のエンジニア・クリエイターが、思わず自慢したくなる個人開発の舞台裏を語りました。

https://docs.google.com/presentation/d/14dtZdMgDh1u5zBkDY93SkTBzN7pm_1Cff8S405-hJhk/edit#slide=id.g32fa085d0c5_0_52

発表1: 「今からできる簡単アイディア出し」

とぴさんは1年間で18個もの個人開発プロダクトをリリースしてきた“量産型”エンジニア。そんな彼が語るポイントは「

何でもいいから深堀りしてアプリのアイデアを具体化する

失敗を恐れず、ピンときたテーマに飛びついて作り、こだわりを注入して独自色を出す

これこそが大量の個人開発を進める原動力だと感じさせる発表でした。

発表2: 「安くて速いWebサイトを作る」

https://speakerdeck.com/nishiharatsubasa/su-kutean-iwebsaitowozuo-ru

次はWebフロントエンドエンジニアとして活躍するにしはらさんが「

」は、Webサイト上のアニメーションや動きの実装サンプルを多数集めたギャラリー。これを

などさまざまな工夫で、トップクラスの高速表示を実現。さらにコスト削減のために無償プランを活用しまくって、実質

個人開発は自由度が高い分、デザイン面で高速化に向いた設計を取りやすい

」との言葉には説得力がありました。

発表3: 「なぜ私は自分が使わないサービスを作るのか？」

https://speakerdeck.com/aiandrox/why-would-i-create-a-service-that-i-would-not-use

自分は使わないのに開発している

」という逆説的な話を展開。「世間では『自分が欲しい物を作ろう』が定石だが、あえて私はそれをしていない」と語ります。

」。自分が使わない＝需要を理解できない不安はあるものの、思いついてやりたくなったら作ってみる――その“押し付け”感も含めて面白い。それこそが個人開発らしさだというメッセージがユニークでした。

発表4: 「LTVを伸ばすためにやったこと〜家事共有アプリ『CAJICO』の収益化施策と実践〜」

4人目は、家事分担をポイント化するアプリ「

」を開発し、多数のユーザーに利用されているかつをさん。「

月数万ユーザーがいる中で、どうLTV（1ユーザーあたりの売上）を上げるか

」というテーマで施策事例を紹介。

。ユーザー満足を上げなければ長期的な成功は難しい」との総括が深みを感じさせました。

発表5: 「ポケモンの対戦動画を解析するアプリを作ってみた」

https://speakerdeck.com/fufufukakaka/huaindeilt-pokemondui-zhan-noding-liang-de-fen-xi

ポケモン対戦を機械学習で分析する――ゲーマー兼MLエンジニアのfukkaa1225さんが、

Pokémon対戦動画をOCRや映像解析で自動取得し、データをDBにため込み、勝率など統計を可視化する個人開発

で映像解析し、手元DBに保存。さらにOCRで画面の敵ポケモン名や技などを取得し、戦術分析に活かす。対戦ログをダッシュボードで可視化して「自分の草（対戦頻度）をモチベにしている」とのこと。

趣味にMLを掛け合わせると、継続的にデータを集められ、モデル精度向上を楽しめる

」というサイエンス×エンタメの好例でした。

発表6: 「運用しているアプリケーションのDBリプレイスをやってみた」

https://speakerdeck.com/miura55/yun-yong-siteiruapurikesiyonnodbnoripureisuwoyatutemita

「技術寄りの話をしたい」と切り出した三浦さん。個人開発のサンプルアプリを“本格的なインフラ運用”へ移行した体験を共有。

（AWSのVPS的サービス）でMySQLを持っていたが、DBコストや構成の簡素化などを理由に

でき、さらに無料枠やブラウザのSQLエディタなどユニークな機能が多く、非常に満足度が高いとのこと。

DBコストは安くなったが、他のサービスに投資して総額はあまり変わらなかった

個人開発ならではのインフラ移行体験

発表7: 「個人開発者がレビューを増やしつつ高評価維持するテクニック」

https://speakerdeck.com/tsuzuki817/rebiyuwozeng-yasitutu-gao-ping-jia-wei-chi-surutekunituku

ラストは鈴木さん。長年個人開発し、レビュー数を短期間で10→180件に増やし、平均評価も4.5から4.7に上げた手法を紹介。

個人開発ではマーケコストがない分、ストア評価で検索順位を上げるしかない

」という背景があるだけに、レビュー誘導の設計は大きなインパクトを生むと感じさせられるプレゼンでした。

全体を踏まえた感想「私の“わがまま”が世界とつながる」

今回のLTイベントは、7人7様の個人開発ストーリーがギュッと詰まった時間となりました。各登壇者の共通点として、「

技術の実験と、自分や周囲の“ちょっとした悩み”に寄り添う

」という姿勢が挙げられます。

個人開発は、エゴかもしれないけどそれでいい

今回の発表者たちを見ていると、そこにこそ醍醐味があると改めて感じます。自分が心底盛り上がれるアイデアや技術的挑戦を打ち出し、いざ出してみると

思いもよらないフィードバック

私の“わがまま”が誰かに刺さり、世界の片隅で役立ってくれる

そう気づかせてくれる個人開発の楽しさを、7人のエンジニアが全力で証明してくれたイベントでした。

【イベントレポート】私の個人開発自慢LT Night

2024年11月12日に開催された「データマネジメントの勘所」シリーズ第6弾のオンラインイベント。

今回は日本経済新聞社とアソビューを迎え、「データ可視化」をテーマにした濃密なセッションが行われました。

本レポートでは、各セッションのポイントや、登壇者同士のクロストークの様子、そこから見えてきた“データ可視化”推進のリアルをまとめてみました。

「データマネジメントの勘所」シリーズは、データエンジニアやデータサイエンティスト/アナリストといった“データ”を扱う実践者が、日頃の泥臭い取り組みや試行錯誤の中で得た知見を共有する勉強会です。第6弾となる今回は「データ可視化」にフォーカスし、

などにスポットライトを当て、オンラインで開催されました。

司会進行は、株式会社primeNumberのハトさん。プライムナンバー社の提供するデータ基盤支援サービス「TROCCO」のプロダクトマネジメントを手掛ける立場から、イベント全体をファシリテートしていました。

「意思決定のスループットを向上！日経が挑戦する『逆算のデータ可視化』」

日本経済新聞社（以下、日経）のデータ活用は、膨大なアクセスログや多岐にわたるコンテンツデータを扱う“メディア”ならではのスケール感が特長。

1000万人規模の会員データ、1日に1億6000万行を超えるログなどを一元化するデータ基盤「Atlas（アトラス）」を中心に、社内外のさまざまな部署・サービスがデータを利活用しているそうです。

エンジニアとデータ人材の育成

ツールや基盤の充実だけではなく、実際にデータを扱える人材の育成にも力を入れている点が印象的でした。

2年間で2名ほど専門人材を育成する長期プログラムや、6カ月で20名が参加する研修プログラムなどを実施し、徐々に社内全体のデータリテラシーを底上げしているとのこと。

「リアルタイムなニュース編集」「マーケ」「広告営業」など多岐にわたる部署がデータ基盤を使いこなし、そこからさらに新たな要望が出てくる――そのサイクルを回すべく「何がゴールか」を逆算し続けている姿勢が、“大規模メディア”を支える総合力の秘密だと感じました。

「価値を出すデータ可視化のために。ビジネス側とエンジニア側の垣根のないデータドリブン文化作り」

「生きるに、遊びを。」というミッションを掲げ、遊び予約サイトを中心に様々な事業を展開するアソビュー社。コロナ禍で大きな影響を受けながらも、逆にデータ基盤をしっかり構築して“データを武器に”経営を強くしていこうという方針を取ってきたそうです。

タブロを軸にした「可視化コミュニティ」

アソビュー社ではBIツールに「Tableau Cloud」を導入。

直感的なビジュアル作成が可能で、SQLを深く書けなくても分析を進めやすい点が評価されているとのこと。

さらに「Tableauデータセイバー」という外部コミュニティを活用し、社内でもタブロ使いが続々増えてきたそうです。ビジネスサイドだけでなく、プロダクトエンジニアが積極的にタブロの学習・資格取得に取り組み、ダッシュボード作成や分析を自走できる状態を作り上げているのが興味深いところ。

「エンジニアだからこそ見えるプロダクトの指標」を自ら分析できるメリットは大きく、社内の“データ文化”形成にも良い影響を与えているとのことでした。

《主催社LT》TROCCOを利用したデータ可視化の実現方法

続いてのLTは、本イベントの主催であるprimeNumberの鈴木さんから、同社プロダクト「TROCCO」を活用したデータ可視化事例についての紹介です。

LTの後には具体的なUIスクリーンショットも示され、ワークフロー型で見やすいパイプライン管理や、トランスフォーメーション（データ加工）の仕組みがわかりやすく紹介されました。「現場が欲しいデータを、迅速かつ安定して供給する」ためのツールセットとして、まさに可視化の裏方を支えるソリューションといえるでしょう。

最後は全登壇者によるクロストーク。以下のテーマでディスカッションが行われました。

1) 「使われる」「使われない」ダッシュボードの違い

日経の佐野さん・萩原さん、アソビューの霧生さんいずれも、「

作り手・利用者のコミュニケーション度合い

最初から「どの部署が、どんな意思決定に、いつ利用するか」をヒアリングしないままゴテゴテに指標を盛り込み過ぎると、使われなくなるという声が複数上がりました。

2) ダッシュボード利用状況の把握

両社とも「担当者が“プロダクトのように”ダッシュボードを育てる」アプローチをとっており、日経ではアナリストとエンジニアが週次のミーティングで要件整理、アソビューでも「ダッシュボード要件定義をしっかり可視化して、使われなくなったものは再構築するなどプロダクト開発的な考え方で運用したい」とのこと。

ダッシュボード運用は「一度作ったら終わり」ではなく、ユーザーの声を反映しながら継続的に磨き込む体制が鍵を握るようです。

【全体を踏まえた所感】継続的に“育てる”可視化がデータを強くする

データ可視化とひと言でいっても、その目的や利用者、タイミングは本当に様々です。ニュースメディアなら分刻みの編集判断が必要だったり、ECや体験予約サービスなら広告投資やキャンペーン効果の把握が重要だったり。

さらに、データ量やユーザー規模の拡大とともに「内製か外部ツールか」「どのBIを使うか」「誰が育てるか」の議論は、組織内で幾度も巻き起こります。

今回のセッションを通じて特に印象に残ったのは、

「ダッシュボードは作ってゴールではなく、プロダクト同様に改善を重ねて育てる存在」

日経のように目的ごとにツールを選び、全社視点でデータを集約していくアプローチ。

ソビューのようにチーム単位で“ビジネス理解 × エンジニアリング”を融合し、データを武器に組織を変えていく動き。どちらも、“作ったら終わり”ではなく「利用者の声を吸い上げ→改善し→再度リリース→実際どれだけ利用されているかを把握」していく流れを回しているのが印象的です。

さらに、可視化ツールの多機能化や、管理・設計のノウハウ蓄積などによって、「ダッシュボードの棚卸し」「使われていないビューの整理」「複数ツールの使い分け」などのステージに入る企業も増えているように思えます。

組織全体のデータリテラシーを底上げしていく姿勢

」であり、それこそがデータドリブン文化を根付かせる最大のカギなのでしょう。

「データマネジメントの勘所」シリーズは、今後もさまざまなテーマで継続的に開催予定とのこと。データ可視化に悩む人、あるいはさらなる高度化を目指す人は、ぜひ参加してみてはいかがでしょうか。

登壇者の方々が口をそろえて言っていた「小さく始めてスピーディに作り、利用者と対話しながら育てる」ノウハウが、よりいっそう深堀りされるはずです。

ビジネスを前に進めるために、意思決定のスピードを加速させる“データ可視化”。今回のイベントは、その「泥臭くともコツコツ改善し、組織全体をデータリテラシーで巻き込む」重要性を改めて思い出させる、学びの多い機会となりました。

今後も多くの企業が試行錯誤を重ねながら、さらに洗練された可視化の実践を積み上げていくのではないでしょうか。

本イベントにご登壇いただいた皆様、日本経済新聞社・アソビュー・primeNumberの熱意と実例は、データ利活用を加速させたい全ての人にとってヒントの宝庫だったように思います。

まだまだ学ぶべき知見は尽きませんが、まずは「小さく始めて大きく育てる」そんな意識を共有するところから、一歩を踏み出してみてはいかがでしょう。

【イベントレポート】効率的かつ最適な意思決定を後押しする「データ可視化」の実践ノウハウ データマネジメントの勘所【日本経済新聞社×アソビュー】

2025年2月14日、「つぎの一歩が見つかる、気づきと学びの場」をコンセプトに開催されている Forkwell Library シリーズの第81回目がオンラインで開催されました。

今回のテーマは、近年ますます注目を集めている

データ基盤やデータエンジニアリング、そしてビジネス活用を本気で推進したいエンジニアやアナリストが集い、実践的な知見を共有する場となりました。

https://forkwell.connpass.com/event/343084/

アジャイルデータモデリングとは？

本イベントで取り上げられた書籍 

アジャイルデータモデリング 組織にデータ分析を広めるためのテーブル設計ガイド

は、エンタープライズ規模のデータ分析におけるモデリング手法や、ステークホルダーとの対話を通じたデータ要件収集のあり方などを具体的に解説した一冊です。以下のポイントが注目を集めました。

講演「30分でわかる『アジャイルデータモデリング』」(打出 紘基 氏)

https://speakerdeck.com/hanon52_/30fen-dewakaru-aziyairudetamoderingu

最初のセッションでは、ピクシブ株式会社でデータ基盤の構築をリードする打出 紘基 氏が登壇。

書籍の全体像と要点を、30分というコンパクトな時間で見事にまとめました。

後半のメインとなるQ&Aパネルでは、打出 氏に加え、翻訳に携わった佐々木 江亜 氏・ゆずたそ 氏が登場。事前投稿やリアルタイムで寄せられた質問をもとに、アジャイルデータモデリングの実践ノウハウが掘り下げられました。

「アジャイルデータモデリング」

という新たな視点から、データ分析基盤の作り方を学ぶことができました。

ディメンショナルモデリングの基礎技術から、BEAMによる要件定義のフレームワーク、そしてステークホルダーとの共同作業の大切さまで、実務に即した事例を交えての解説は参加者の高い評価を得ていました。

特に、ビジネス現場と連携しながら小さくデリバリーしていくアジャイルな考え方は、

「全社横断のデータ活用を促進したい」

と悩む多くの企業にとって、大きなヒントになったはずです。

今後もForkwellでは、データ基盤やキャリア関連のオンラインイベントを積極的に開催予定とのこと。