【学内限定】IGIセミナー「事前学習済み言語モデルBERTの注意機構に着目したジェンダーバイアスの要因分析」（2026年5月20日）

IGIセミナー「事前学習済み言語モデルBERTの注意機構に着目したジェンダーバイアスの要因分析」（2026年度第1回）

インターネット上のコーパスで学習された大規模言語モデル（LLM）には社会的バイアスが含まれている可能性がある。本研究では、LLM構築の基盤技術となった事前学習済みBERTに対して、職業に基づくジェンダーバイアスを対象に、その言語モデルを構築した際のアーキテクチュアとなったTransformerの注意機構を分析した。性別語のみが異なる文を比較し、自己注意の重みと文脈の男女らしさとの関係を可視化した結果、モデルの後半層における注意機構で職業語から性別語への注意（Attention）差とバイアスの相関が確認された。さらに単語間の注意の偏向を矯正する教師パターン行列で注意を誘導しバイアス軽減を試みたところ、既存評価指標の改善は限定的だったが、性別単語である“He”および“She”の出力確率の偏りは緩和された。

ポスターのPDFファイルはこちら

開催概要

日時	2026年5月20日(水曜日) 09時30分～10時30分
開催方法	Zoomミーティング
対象	お茶の水女子大学の学部生、大学院生、教職員など学内の方（お茶大のメールアドレスをお持ちの方）
講師	小林一郎（理学部情報科学科教授）
申込	参加費無料・要事前申込（5月19日(火曜日)12時締切）お申込みはこちら https://forms.gle/eyquoMZNERKXa8877
主催	ジェンダード・イノベーション研究所（IGI）
問合先	E-mail：ocha-igi@cc.ocha.ac.jp

講師紹介

小林一郎

お茶の水女子大学基幹研究院自然科学系教授
2011年お茶の水女子大学大学院人間文化創成科学研究科理学専攻教授
2015年より同大学基幹研究院自然科学系教授（改組のため）現在に至る
2017年より産業技術総合研究所人工知能研究センター招聘研究員現在に至る
2023年より情報通信研究機構脳情報通信融合研究センター特別研究員現在に至る
2016年から2018年まで人工知能学会理事
2002年から2015年まで日本機能言語学会理事

言語知能の計算機的実現を目指し、自然言語処理、人工知能、機能言語学などを融合させた研究に従事．編著書に「コンピュータが考えるー人工知能とはなにか」（単著、サイエンス社）、「人工知能の基礎」(単著、サイエンス社)、「ことばは生きている—選択体系機能言語学序説」(共著）くろしお出版社)など．