Inference and Fine-tuning
現代的な機械学習システムにおける適応と推論時の振る舞いを研究しています。
MIT EECS · LIDS · IDSS
山本かけい
Kakei Yamamoto
MIT EECS博士課程でComputer Scienceを専攻し、Martin J. Wainwright教授のもとで研究しています。推論、ファインチューニング、生成モデル、機械学習理論、最適化に関心があります。
Research Assistant, Laboratory for Information & Decision Systems
Profile
略歴
MIT EECSのComputer Science博士課程学生で、LIDSのResearch AssistantとしてMartin J. Wainwright教授のもとで研究しています。IDSSにも所属しています。
現在は、分布シフトやモデル蒸留を含む設定での推論、ファインチューニング、生成モデル、機械学習理論、最適化を研究しています。
MIT以前は、理化学研究所AIPで深層学習理論に取り組み、東京大学工学部計数工学科で鈴木大慈教授のもと応用数学・情報科学を学びました。
関心分野
- Inference
- Distillation
- Fine-tuning
- Generative models
- Machine learning theory
- Optimization
学歴
- PhD in Computer Science Massachusetts Institute of Technology · 2028 expected
- MS in Computer Science Massachusetts Institute of Technology · 2026
- BEng in Applied Mathematics and Computer Science The University of Tokyo · 2023
奨学金・受賞
- Takenaka Oversea Scholarship Takenaka Scholarship Foundation, 2023-2028
- Kiyo Sakaguchi Scholarship Prudential Life Insurance Co., 2023-2027
研究
いま取り組んでいる問い。
Distribution Shift
偏りやミススペックされた教師信号のもとで、学習システムがどのように回復できるかを調べています。
Mean-Field Methods
特徴学習が効く領域でのLangevin dynamics、policy gradients、distributional minimax optimizationを解析しています。
Generative Modeling
条件付き拡散モデル、classifier-free guidance、生成サンプリングの数理構造を研究しています。
Neural Computation
スパイキングニューラルネットワークにおける発火時刻ベースの学習と効率的推論を研究してきました。
論文
2026
TILT: Implicit Importance Weighting for Unsupervised Domain Adaptation
Submitted to NeurIPS, 2026
密度比を別途推定せずに、相対密度比による再重み付けを暗黙的に実現する、一段階の教師なしドメイン適応手法です。
2026
Residual-as-Teacher: Mitigating Bias Propagation in Student-Teacher Estimation
arXiv, 2026
残差を教師として学習することで、高次元共変量シフト下のteacher bias propagationを抑える推定法を提案しています。
2024
Mean Field Langevin Actor-Critic: Faster Convergence and Global Optimality beyond Lazy Learning
ICML, 2024
特徴学習を伴う政策最適化のためのmean-field Langevin actor-critic法を解析しています。
2024
Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems
ICLR, 2024
確率分布上のminimax最適化に対してmean-field Langevin dynamicsを拡張しています。
2024
Can Timing-Based Backpropagation Overcome Single-Spike Restrictions in Spiking Neural Networks?
IJCNN, 2024
スパイキングニューラルネットワークにおける単一スパイク制約を超える発火時刻ベースの逆伝播を研究しています。
2023
Sparse-firing regularization methods for spiking neural networks with time-to-first-spike coding
Scientific Reports, 2023
TTFS codingを用いるスパイキングニューラルネットワークの発火頻度を下げる正則化手法を提案しています。
作品
主な作品
活動
活動・運営
Japanese Association of MIT (JAM)
President · 2025-
Hanami Festival の代表主幹、Beneath the Great Waveの企画、団体サイトと運営インフラの刷新構築を行いました。
BiteType!
Creator and developer · 2026
ゲームプレイ、音声、分析、教師用コントロール、Cloudflare deploymentを含むタイピングゲームとClassroom版を設計・実装・公開。
丁友会
Executive board member, General Affairs Director · 2022-2023
東京大学工学部の学生・同窓コミュニティ組織で幹部・総務理事を務めました。
東京大学フィルハーモニー管弦楽団
President · 2020-2021
トランペット奏者として参加しながら学生オーケストラの団長を務めました。