分布シフトへの適応
密度比の明示的な推定を必要としない、一段階の適応手法TILTを研究しています。相対密度比による重み付けとの等価性を理論的に示し、共変量シフト下での安定性向上を実現しました。
MIT EECS · LIDS · IDSS
山本かけい
Kakei Yamamoto
MIT EECS博士課程でComputer Scienceを専攻し、Martin J. Wainwright教授のもとで研究しています。頑健な学習と推論を研究し、事後学習、分布シフト、LLMの汎化に関心があります。
Research Assistant, Laboratory for Information & Decision Systems
Profile
略歴
MIT EECSのComputer Science博士課程学生で、LIDSにてMartin J. Wainwright教授のもとで研究しています。IDSSにも所属しています。
頑健な学習・推論手法の開発を軸に、特に分布シフト下での事後学習と適応を研究しています。また、学習データでカバーされていない状況へと、大規模言語モデルの汎化能力を広げることにも関心があります。
MIT以前は、理化学研究所AIPで深層学習理論に取り組み、東京大学工学部計数工学科で鈴木大慈教授のもと応用数学・情報科学を学びました。
関心分野
- Inference
- Fine-tuning
- Generative models
- Machine learning theory
- Optimization
学歴
- PhD in Computer Science マサチューセッツ工科大学 · 2023年9月–2028年5月（修了予定）
- MS in Computer Science マサチューセッツ工科大学 · 2023年9月–2026年2月
- BEng in Applied Mathematics and Computer Science 東京大学工学部計数工学科数理情報学コース · 2019年4月–2023年3月
奨学金・受賞
- 竹中海外奨学生 竹中育英会 · 2023–2028年（学費・生活費の支援）
- Kiyo Sakaguchi奨学金 プルデンシャル生命保険株式会社 · 2023年選出。竹中海外奨学金との併給となるため金銭的支援は辞退。
研究
現在の研究テーマと、これまでの取り組み。
モデル蒸留
関数空間での勾配降下法に基づく学生・教師推定を研究しています。Residual-as-Teacherでは残差から学習し、高次元の共変量シフト下で教師のバイアスが学生へ伝わる問題を軽減します。
LLMによる評価
Sakana AI · 2026年7–8月インターン
PRISMでは、反実仮想プローブを使ってブラックボックスの評価モデルを較正します。AIエージェントのバイアス補正と頑健な推論にも取り組んでいます。
平均場最適化
特徴学習を伴うactor-critic法の収束性と大域的最適性を理論的に保証し、確率分布上のミニマックス最適化に対するLangevin動力学を解析してきました。
スパイキングニューラルネットワーク
複数回発火するニューロンや再帰型ネットワークに対する、発火時刻ベースの誤差逆伝播を研究してきました。発火を抑える正則化と効率的な神経計算にも取り組みました。
論文・発表
2026
PRISM: Calibrating Black-Box Judges with Counterfactual Probes
arXiv, 2026
反実仮想プローブへの応答と人間の評価を用いて、ブラックボックスLLM評価モデルのスコアを較正します。
2026
TILT: Target-induced loss tilting under covariate shift
NeurIPS, 2026
共変量シフト下の適応手法 Target-Induced Loss Tilting を提案しています。ソース側の予測器を、実際に使う予測器とターゲット上で抑制される補助成分に分解することで、密度比を推定せずに相対importance weightingを暗黙的に実現します。
2026
Residual-as-Teacher: Mitigating Bias Propagation in Student-Teacher Estimation
arXiv, 2026 · Annals of Statistics 査読中
関数空間での勾配降下法に基づくモデル蒸留の枠組みを提案しています。高次元の共変量シフト下で、残差から学習することで教師のバイアスの伝播を抑え、標準的な疑似ラベル学習を上回ることを示しました。
To appear
Tilted gradient descent
2024
Mean Field Langevin Actor-Critic: Faster Convergence and Global Optimality beyond Lazy Learning
ICML, 2024
特徴学習を伴う政策最適化のためのmean-field Langevin actor-critic法を解析しています。
2024
Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems
ICLR Spotlight (top 6%), 2024
確率分布上のminimax最適化に対してmean-field Langevin dynamicsを拡張しています。
2024
Can Timing-Based Backpropagation Overcome Single-Spike Restrictions in Spiking Neural Networks?
IJCNN, 2024
スパイキングニューラルネットワークにおける単一スパイク制約を超える発火時刻ベースの逆伝播を研究しています。
2023
Sparse-firing regularization methods for spiking neural networks with time-to-first-spike coding
Scientific Reports, 2023
TTFS codingを用いるスパイキングニューラルネットワークの発火頻度を下げる正則化手法を提案しています。
2022
Proposal of a Numerical Method for Calculating the Gamma Function by the Double Exponential Formula
JSIAM Annual Meeting, 2022
ガンマ関数計算のための二重指数関数型数値積分公式の改良について発表しました。
作品
主な作品
カレンダーアプリ · 2023–
Longitude°
2023年に個人用iPhoneベータとして開発。ワンタップで全予定のタイムゾーンを切り替え、Dual Timeでは同じ一日を2つの現地時刻で比較できます。iPhoneで配信中、Androidクローズドテスター募集中です。
Released web game · 2026
BiteType! and BiteType! Classroom
バーガースタンドを舞台にしたブラウザタイピングゲームと、ログイン不要の学校向け練習・クラス結果・教師用リンクを備えたClassroom版を制作・リリースしました。
Community leadership · 2026
Japanese Association of MIT
JAM Presidentとして、Hanami Festivalの代表主幹、新規のBeneath the Great Waveの企画代表、JAM公式サイトの設計・実装を担当しました。
活動
活動・運営
MIT日本人会 (JAM)
President · 2025-
Hanami Festival の代表主幹、Beneath the Great Waveの企画、団体サイトと運営インフラの刷新構築を行いました。
BiteType!
Creator and developer · 2026
ゲームプレイ、音声、分析、教師用コントロール、Cloudflare deploymentを含むタイピングゲームとClassroom版を設計・実装・公開。
丁友会
Executive board member, General Affairs Director · 2022-2023
東京大学工学部の学生・同窓コミュニティ組織で幹部・総務理事を務めました。
東京大学フィルハーモニー管弦楽団
President · 2020-2021
トランペット奏者として参加しながら学生オーケストラの団長を務めました。