Publications
International Conference (Refereed)
1.
Suppressing Final Layer Hidden State Jumps in Transformer Pretraining
Keigo Shibata, Kazuki Yano, Ryosuke Takahashi, Jaesung Lee, Wataru Ikeda, Jun Suzuki
In Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2026)
March 2026
March 2026
2.
Can Language Models Handle a Non-Gregorian Calendar?
Mutsumi Sasaki, Go Kamoda, Ryosuke Takahashi, Kosuke Sato, Kentaro Inui, Keisuke Sakaguchi, Benjamin Heinzerling
In Proceedings of the International Joint Conference on Natural Language Processing & Asia-Pacific Chapter of the Association for Computational Linguistics, 2025 (IJCNLP-AACL 2025)
December 2025
December 2025
3.
Understanding the Side Effects of Rank-One Knowledge Editing
Ryosuke Takahashi, Go Kamoda, Benjamin Heinzerling, Keisuke Sakaguchi, Kentaro Inui
In Proceedings of the 8th BlackboxNLP Workshop: Analyzing and Interpreting Neural Networks for NLP @ EMNLP 2025
November 2025
November 2025
4.
Layerwise Importance Analysis of Feed-Forward Networks in Transformer-based Language Models
Wataru Ikeda, Kazuki Yano, Ryosuke Takahashi, Jaesung Lee, Keigo Shibata, Jun Suzuki
In Proceedings of the Second Conference on Language Modeling (COLM 2025)
October 2025
October 2025
5.
Document-level Translation with LLM Reranking: Team-J at WMT 2024 General Translation Task
Keito Kudo*, Hiroyuki Deguchi*, Makoto Morishita*, Ryo Fujii*, Takumi Ito*, Shintaro Ozaki*, Koki Natsumi*, Kai Sato, Kazuki Yano, Ryosuke Takahashi, Subaru Kimura, Tomomasa Hara, Yusuke Sakai, Jun Suzuki
In Proceedings of the Ninth Conference on Machine Translation (WMT 2024)
November 2024
November 2024
6.
The Curse of Popularity: Popular Entities have Catastrophic Side Effects when Deleting Knowledge from Language Models
Ryosuke Takahashi, Go Kamoda, Benjamin Heinzerling, Keisuke Sakaguchi, Kentaro Inui
Non-archival submission for the 17th Annual Conference of the North American Chapter of the Association for Computational Linguistics Student Research Workshop (NAACL SRW 2024)
June 2024
June 2024
Preprint
1.
Relaxing Positional Alignment in Masked Diffusion Language Models
Mengyu Ye, Ryosuke Takahashi, Keito Kudo, Jun Suzuki
arXiv Preprint [cs.CL]
January 2026
January 2026
Domestic Conference (Non-refereed)
1.
注意機構における Attention Sink のバイアス項的解釈
大橋 諭貴, 木谷 頼斗, 佐藤 宏亮, 高橋 良允, 鴨田 豪, 山本 悠士, 塩野 大輝, 坂口 慶祐, 小林 悟郎
言語処理学会第32回年次大会 (NLP2026)
March 2026
March 2026
2.
Attention Sink および Massive Activation の発生機序の分解
木谷 頼斗, 大橋 諭貴, 佐藤 宏亮, 鴨田 豪, 高橋 良允, 山本 悠士, 塩野 大輝, 坂口 慶祐, 小林 悟郎
言語処理学会第32回年次大会 (NLP2026)
March 2026
March 2026
3.
Transformer 事前学習における最終層隠れ状態ジャンプの抑制
柴田 圭悟, 矢野 一樹, 高橋 良允, 李 宰成, 池田 航, 鈴木 潤
言語処理学会第32回年次大会 (NLP2026)
March 2026
March 2026
4.
言語モデルにおける既知性判断のメカニズム
佐藤 魁, 高橋 良允, Benjamin Heinzerling, 井之上 直也, 乾 健太郎, 鈴木 潤
言語処理学会第32回年次大会 (NLP2026)
March 2026
March 2026
5.
TopK Language Models
高橋 良允, 稲葉 達郎, 乾 健太郎, Benjamin Heinzerling
言語処理学会第32回年次大会 (NLP2026)
March 2026
March 2026
6.
言語モデルにおける知識の既知性判断の内部表象
佐藤 魁, 高橋 良允, Benjamin Heinzerling, 田中 健史朗, 趙 羽風, 坂井 吉弘, 井之上 直也, 乾 健太郎
第39回人工知能学会全国大会 (JSAI2025)
May 2025
May 2025
7.
既知性を示す言語表現を伴う知識に関する内部表象の分析
田中 健史朗, 趙 羽風, 坂井 吉弘, 井之上 直也, 佐藤 魁, 高橋 良允, Benjamin Heinzerling, 乾 健太郎
第39回人工知能学会全国大会 (JSAI2025)
May 2025
May 2025
8.
LMは日本の時系列構造をどうエンコードするか
佐々木 睦史, 鴨田 豪, 高橋 良允, Benjamin Heinzerling, 坂口 慶祐
言語処理学会第31回年次大会 (NLP2025)
March 2025
🏆 日本経済新聞社 CDIO室賞
March 2025
🏆 日本経済新聞社 CDIO室賞
9.
LLM 事前学習の効率化と性質改善： 埋め込み層および出力層のパラメータ固定による再利用
李 宰成, 矢野 一樹, 高橋 良允, 柴田 圭悟, 池田 航, 鈴木 潤
言語処理学会第31回年次大会 (NLP2025)
March 2025
March 2025
10.
Transformer LLMの内部挙動改善：隠れ状態ベクトルの数値的収束性の向上
柴田 圭悟, 高橋 良允, 矢野 一樹, 李 宰成, 池田 航, 鈴木 潤
言語処理学会第31回年次大会 (NLP2025)
March 2025
March 2025
11.
Transformer LLM における層単位の FFN 層の重要度検証
池田 航, 矢野 一樹, 高橋 良允, 李 宰成, 柴田 圭悟, 鈴木 潤
言語処理学会第31回年次大会 (NLP2025)
March 2025
🏆 若手奨励賞
March 2025
🏆 若手奨励賞
12.
LLMにおける内部表現を用いた日本語スタイル制御メカニズムの分析
高橋 良允, 矢野 一樹, 成瀬 健太, 武井 美緒, 梶 佑輔, 鈴木 潤
言語処理学会第31回年次大会 (NLP2025)
March 2025
March 2025
13.
言語モデルからの知識削除：頻出実体の知識は副作用が破滅的
高橋 良允, 鴨田 豪, Benjamin Heinzerling, 坂口 慶祐, 乾 健太郎
言語処理学会第30回年次大会 (NLP 2024)
March 2024
🏆 若手奨励賞
March 2024
🏆 若手奨励賞
14.