Masato Mita

e-mail twitter

Lead Research Scientist @ NLP Team, CyberAgent AI Lab

Ph.D student @ Oseki Lab, The Universit of Tokyo

Project Assistant Professor @ Tokyo Metropolitan University

Visiting Scientist @ NLU Team, RIKEN AIP

News
  • 東京大学 大学院総合文化研究科 言語情報科学専攻 （言語計算認知科学 大関研究室）の博士後期課程に入学しました。
  • 言語処理学会第30回年次大会（NLP2024）で共著論文「文法誤り訂正の包括的メタ評価: 既存自動評価の限界と大規模言語モデルの可能性」が優秀賞を受賞しました。
  • Our paper “Revisiting Meta-evaluation for Grammatical Error Correction” has been accepted in TACL.
  • 第258回 自然言語処理研究会（NL研）で共著論文「文法誤り訂正におけるメタ評価の再考」が優秀研究賞を受賞しました。
  • 第18回 NLP若手の会（YANS）で研究発表「日本語LLMベンチマーク構築に向けて」が奨励賞を受賞しました。

Research Interest

  • Educational NLP
  • Human-centured NLP
  • Cognitive modeling

Publication

  1. Masamune Kobayashi, Masato Mita, Mamoru Komachi. Large Language Models Are State-of-the-Art Evaluator for Grammatical Error Correction. Proceedings of the BEA 2024.

  2. Masato Mita, Keisuke Sakaguchi, Masato Hagiwara, Tomoya Mizumoto, Jun Suzuki, Kentaro Inui. Towards Automated Document Revision: Grammatical Error Correction, Fluency Edits, and Beyond. Proceedings of the BEA 2024.

  3. Masamune Kobayashi, Masato Mita, Mamoru Komachi. Revisiting Meta-evaluation for Grammatical Error Correction. Transactions of the Association for Computational Linguistics (TACL).

  4. Go Inoue, Akihiko Kato, Masato Mita, Ukyo Honda and Peinan Zhang. CAMERA3: An Evaluation Dataset for Controllable Ad Text Generation in Japanese. Proceedings of the LREC-COLING 2024.

  5. Naoya Ueda, Masato Mita, Teruaki Oka and Mamoru Komachi. Token-length Bias in Minimal-pair Paradigm Datasets. Proceedings of the LREC-COLING 2024.

  6. Zizheng Zhang, Masato Mita, Mamoru Komachi. “Cloze Quality Estimation for Language Assessment.” Journal of Natural Language Processing (in Japanese) Vol.31, No.2.

  7. Zizheng Zhang, Masato Mita, Mamoru Komachi. “ClozEx: A Task toward Generation of English Cloze Explanation.” Findingss of the EMNLP 2023.

  8. Ryo Nagata, Masato Hagiwara, Kazuaki Hanawa, Masato Mita. “A Report on FCG GenChal 2022: Shared Task on Feedback Comment Generation for Language Learners.” Proceedings of the INLG 2023.

  9. Yusuke Ide, Masato Mita, Adam Nohejl, Hiroki Ouchi, and Taro Watanabe. “Japanese Lexical Complexity for Non-Native Readers: a New Dataset.” Proceedings of the BEA 2023.

  10. Zizheng Zhang, Masato Mita, Mamoru Komachi. “Cloze Quality Estimation for Language Assessment.” Findings of EACL 2023.

  11. Aomi Koyama, Tomoshige Kiyuna, Kenji Kobayashi, Mio Arai, Masato Mita, Teruaki Oka and Mamoru Komachi. “Construction of an Error-Tagged Evaluation Corpus for Japanese Grammatical Error Correction.” Journal of Natural Language Processing (in Japanese) Vol.30, No.2.

  12. Hongfei Wang, Michiki Kurosawa, Satoru Katsumata, Masato Mita, Mamoru Komachi. “Chinese Grammatical Error Correction Using Pre-trained Models and Pseudo Data.” Transactions on Asian and Low-Resource Language Information Processing (TALIP).

  13. Ikumi Yamashita, Masahiro Kaneko, Masato Mita, Satoru Katsumata, Aizhan Imankulova, Mamoru Komachi. “Grammatical Error Correction with Pre-trained Model and Multilingual Learner Corpus for Cross-lingual Transfer Learning.” Journal of Natural Language Processing (in Japanese) Vol.29, No.2.

  14. Yujin Takahashi, Masahiro Kaneko, Masato Mita, Mamoru Komachi. “ProQE: Proficiency-wise Quality Estimation dataset for Grammatical Error Correction” Proceedings of the LREC 2022.

  15. Daisuke Suzuki, Yujin Takahashi, Ikumi Yamashita, Taichi Aida, Tosho Hirasawa, Michitaka Nakatsuji, Masato Mita, Mamoru Komachi. “Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction.” Proceedings of the LREC 2022.

  16. Ikumi Yamashita, Masahiro Kaneko, Masato Mita, Satoru Katsumata, Aizhan Imankulova, Mamoru Komachi. “Grammatical Error Correction with Pre-trained Model and Multilingual Learner Corpus for Cross-lingual Transfer Learning.” Journal of Natural Language Processing (in Japanese) Vol.29, No.2.

  17. Ryo Nagata, Masato Hagiwara, Kazuaki Hanawa, Masato Mita, Artem Chernodub, Olena Nahorna. “Shared Task on Feedback Comment Generation for Language Learners.” Proceedings of the INLG 2021.

  18. Ryo Fujii, Masato Mita, Kaori Abe, Kazuaki Hanawa, Makoto Morishita, Jun Suzuki, Kentaro Inui. “Phenomenon-wise Evaluation Dataset Towards Analyzing Robustness of Machine Translation Models.” Journal of Natural Language Processing (in Japanese) Vol.28, No.2.

  19. Masato Mita, Tomoya Mizumoto, Masahiro Kaneko, Ryo Nagata, Kentaro Inui. “Cross-Sectional Evaluation of Grammatical Error Correction Models.” Journal of Natural Language Processing (in Japanese) Vol.28, No.1.

  20. Masato Mita, Hitomi Yanaka. “Do Grammatical Error Correction Models Realize Grammatical Generalization?.” Findings of the ACL-IJCNLP 2021.

  21. Takumi Gotou, Ryo Nagata, Masato Mita, Kazuaki Hanawa. “Taking the Correction Difficulty into Account in Grammatical Error Correction Evaluation.” Proceedings of the COLING 2020.

  22. Ryo Fujii, Masato Mita, Kaori Abe, Kazuaki Hanawa, Makoto Morishita, Jun Suzuki, Kentaro Inui. “PheMT: A Phenomenon-wise Dataset for Machine Translation Robustness on User-Generated Contents.” Proceedings of the COLING 2020.

  23. Masato Mita, Shun Kiyono, Masahiro Kaneko, Jun Suzuki, Kentaro Inui. “A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction.” Findings of the EMNLP 2020.

  24. Hiroaki Funayama, Shota Sasaki, Yuichiro Matsubayashi, Tomoya Mizumoto, Jun Suzuki, Masato Mita, Kentaro Inui. “Preventing Critical Scoring Errors in Short Answer Scoring with Confidence Estimation.” Proceedings of the ACL SRW 2020.

  25. Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, Kentaro Inui. “Can Encoder-decoder Models Benefit from Pre-trained Language Representation in Grammatical Error Correction?.” Proceedings of the ACL 2020.

  26. Masato Hagiwara, Masato Mita. “GitHub Typo Corpus: A Large-Scale Multilingual Dataset of Misspellings and Grammatical Errors.” Proceedings of the LREC 2020.

  27. Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, Kentaro Inui. “An Empirical Study of Incorporating Pseudo Data to Grammatical Error Correction.” Proceedings of EMNLP-IJCNLP 2019.

  28. Hiroki Asano, Masato Mita, Tomoya Mizumoto, Jun Suzuki. “The AIP-Tohoku System at the BEA-2019 Shared Task.” Proceedings of the BEA 2019. 🏆 2nd place at the unrestricted track

  29. Masato Mita, Tomoya Mizumoto, Masahiro Kaneko, Ryo Nagata, Kentaro Inui. “Cross-Corpora Evaluation and Analysis of Grammatical Error Correction Models — Is Single-Corpus Evaluation Enough?.” Proceedings of the NAACL-HLT 2019.

  30. Tomoya Mizumoto, Masato Mita, Yuji Matsumoto. “Grammatical Error Correction Considering Multi-word Expressions.” Proceedings of the TEA 2015.

  1. 栗原健太郎, 三田雅人, 張培楠, 佐々木翔太, 石上亮介, 岡崎直観. “LCTG Bench: 日本語 LLM の制御性ベンチマークの構築.” 言語処理学会第30回年次大会 (NLP2024).

  2. 上田直生也, 三田雅人, 小町守. “Minimul-pair Paradigmデータセットにおけるトークン長バイアスの分析と改善.” 言語処理学会第30回年次大会 (NLP2024).

  3. 小林 正宗, 三田雅人, 小町守. “文法誤り訂正の包括的メタ評価: 既存自動評価の限界と大規模言語モデルの可能性.” 言語処理学会第30回年次大会 (NLP2024). 🏆 優秀賞

  4. Zizheng Zhang, Masato Mita, Mamoru Komachi. “A Task of Cloze Explanation Generation for ESL Learning.” 言語処理学会第30回年次大会 (NLP2024).

  5. 小林 正宗, 三田 雅人, 小町 守. “文法誤り訂正におけるメタ評価の再考.” 第258回自然言語処理研究会 🏆 優秀研究賞

  6. 栗原 健太郎, 佐々木 翔大, 張 培楠, 石上 亮介, 三田 雅人, 加藤 明彦. “日本語LLMベンチマーク構築に向けて.” NLP若手の会第18回シンポジウム (YANS2023). 🏆 奨励賞

  7. 三田 雅人, 本多 右京, 張 培楠. “英語広告文生成のためのペルソナ型評価基盤の構築に向けて.” NLP若手の会第18回シンポジウム (YANS2023).

  8. 上田 直生也, 三田 雅人, 小町 守. “文法性評価ベンチマークBLiMPにおけるバイアス除去.” NLP若手の会第18回シンポジウム (YANS2023).

  9. 三田 雅人, 村上 聡一朗, 張 培楠. “広告文生成タスクの規定とベンチマーク構築.” 言語処理学会第29回年次大会 (NLP2023). 🏆 委員特別賞

  10. 加藤 明彦, 大田 和寛, 村上 聡一朗, 三田 雅人, 本多 右京, 張 培楠. “広告データセットに内在する幻覚の分析.” 言語処理学会第29回年次大会 (NLP2023).

  11. 張 培楠, 坂井 優介, 三田 雅人, 大内 啓樹, 渡辺 太郎. “AdGLUE: 広告言語理解ベンチマーク.” 言語処理学会第29回年次大会 (NLP2023).

  12. 小山 碧海, 喜友名 朝視顕, 三田 雅人, 岡 照晃, 小町 守. “日本語文法誤り訂正評価コーパスへの誤用タグ付け.” 第253回自然言語処理研究会.

  13. 五藤 巧, 永田 亮, 三田 雅人. “文法誤り訂正における訂正難易度の判別可能性.” 第252回自然言語処理研究会. 🏆 若手奨励賞（筆頭著者のみ受賞）

  14. 松本 悠太, 林崎 由, 北山 晃太郎, 舟山 弘晃, 三田 雅人, 乾健太郎. “日本語学習者支援のための敬語変換タスクの提案.” 第36回人工知能学会全国大会.

  15. 三田 雅人, 坂口 慶祐, 萩原 正人, 水本 智也, 鈴木 潤, 乾 健太郎. “論述リビジョンのためのメタ評価基盤.” 言語処理学会第28回年次大会 (NLP2022). 🏆 優秀賞

  16. 木山 朔, 上坂 奏人, 佐藤 郁子, 佐藤 京也, 米田 悠人, 小山 碧海, 三田 雅人, 岡 照晃, 小町 守. “日本語文法誤り訂正の流暢性評価に向けたデータ作成.” 言語処理学会第28回年次大会 (NLP2022). 🏆 若手奨励賞（筆頭著者のみ受賞）

  17. 小林 正宗, 高橋 悠進, 三田 雅人, 小町 守. “ニューラル文法誤り訂正システムにおけるリランキングの改善に向けたオラクル分析.” 言語処理学会第28回年次大会 (NLP2022).

  18. 北山 晃太郎, 松本 悠太, 舟山 弘晃, 松林 優一郎, 三田 雅人, 乾 健太郎. “日本語学習者支援のための敬語誤り訂正タスクの提案.” NLP若手の会第16回シンポジウム (YANS2021).

  19. 五藤 巧, 永田 亮, 三田 雅人. “文法誤りの訂正難易度の判別における人とシステムの一致調査.” NLP若手の会第16回シンポジウム (YANS2021).

  20. 三田 雅人, 萩原 正人, 坂口 慶祐, 水本 智也, 鈴木 潤, 乾 健太郎. “論述リライトタスクの提案と自動評価の実現に向けて.”” 言語処理学会第27回年次大会 (NLP2021) ワークショップ「文章の評価と品質推定」.

  21. 三田 雅人, 谷中 瞳. “文法誤り訂正モデルは訂正に必要な文法を学習しているか.” 言語処理学会第27回年次大会 (NLP2021).

  22. 三田 雅人, 谷中 瞳. “文法誤り訂正モデルは文法知識を汎化しているか.” NLP若手の会第15回シンポジウム (YANS2020).

  23. 松本 悠太, 藤井 諒, 阿部 香央莉, 舟山 弘晃, 三田 雅人. “漢字の意味構造を考慮した複数のニューラル漢字創作システムの比較検討.” NLP若手の会第15回シンポジウム (YANS2020).

  24. 藤井 諒, 三田 雅人, 阿部 香央莉, 塙 一晃, 森下 睦, 鈴木 潤, 乾 健太郎. “ユーザ生成コンテンツの高品質な自動翻訳に向けた言語現象の体系的分析.” 第34回人工知能学会全国大会.

  25. 舟山 弘晃, 佐々木 翔太, 水本 智也, 三田 雅人, 鈴木潤, 松林優一郎, 乾健太郎. “記述式答案自動採点のための確信度推定手法の検討.” 言語処理学会第26回年次大会 (NLP2020).

  26. 五藤 巧, 永田 亮, 三田 雅人, 塙 一晃. “訂正難易度を考慮した文法誤り訂正のための性能評価尺度.” 言語処理学会第26回年次大会 (NLP2020).

  27. 清野 舜, 鈴木 潤, 三田 雅人, 水本 智也, 乾 健太郎. “大規模疑似データを用いた高性能文法誤り訂正モデルの構築.” 言語処理学会第26回年次大会 (NLP2020). 🏆 優秀賞

  28. 三田 雅人, 清野 舜, 金子 正弘, 鈴木 潤, 乾 健太郎. “文法誤り訂正のための自己改良戦略に基づくノイズ除去.” 言語処理学会第26回年次大会 (NLP2020). 🏆 若手奨励賞（筆頭著者のみ受賞）

  29. Masato Mita, Masato Hagiwara, Keisuke Sakaguchi, Tomoya Mizumoto, Jun Suzuki, Kentaro Inui. “Automated Essay Rewriting (AER): Grammatical Error Correction, Fluency Edits, and Beyond.” 第241回自然言語処理研究会.

  30. 舟山弘晃, 佐々木翔太, 水本智也, 三田雅人, 鈴木潤, 乾健太郎. “自動採点における確信度推定手法.” NLP若手の会 第14回シンポジウム (YANS2019).

  31. 五藤 巧, 永田 亮, 三田 雅人, 塙 一晃, 水本 智也. “文法誤り訂正における問題の難しさを考慮した性能評価尺度の提案.” NLP若手の会第14回シンポジウム (YANS2019). 🏆 萌芽研究賞

  32. 藤井 諒, 舟山 弘晃, 北山 晃太郎, 阿部 香央莉, Ana brassard, 三田 雅人, 大内 啓樹. “seq2seqによる部首を考慮したニューラル漢字生成システム.” NLP若手の会 第14回シンポジウム (YANS2019).

  33. 金子 正弘, 三田 雅人, 鈴木 潤, 乾 健太郎. “コロケーション・イディオム誤りを考慮した文法誤り訂正のための擬似データ生成.” NLP若手の会第14回シンポジウム (YANS2019).

  34. 藤井 諒, 阿部 香央莉, 塙 一晃, 三田 雅人, 鈴木 潤, 乾 健太郎. “文法誤りに頑健な機械翻訳システムの実現に向けた敵対性ノイズの検討.” NLP若手の会第14回シンポジウム (YANS2019).

  35. 三田 雅人, 萩原 正人, 坂口 慶祐, 水本 智也, 鈴木 潤, 乾 健太郎. “文法誤り訂正を拡張した新タスクの提案.” NLP若手の会 第14回シンポジウム (YANS2019). 🏆 奨励賞

  36. 三田 雅人, 水本 智也, 金子 正弘, 永田 亮, 乾 健太郎. “文法誤り訂正のコーパス横断評価: 単一コーパス評価で十分か?.” 言語処理学会第25回年次大会 (NLP2019).

  37. 三田 雅人, 水本 智也, 大内 啓樹, 永田 亮, 乾健太郎. “文法誤り訂正のための教師なし解釈性機構.” NLP若手の会第13回シンポジウム (YANS2018).

  38. 三田 雅人, 水本 智也, 松本 裕治. “文脈を考慮した前置詞誤り訂正に向けた前置詞とその潜在意味関係の同時解析.” 言語処理学会第22回年次大会 (NLP2016).

  39. 三田 雅人, 村上 浩司. “模倣学習を用いた階層的商品分類.” 言語処理学会第22回年次大会 (NLP2016).

  40. 水本 智也, 三田 雅人. “Project Next 英文校正タスク: 前置詞誤りを対象とした誤り分析.” 言語処理学会第21回年次大会 (NLP2015).

  41. 三田 雅人, 水本 智也. “Project Next 英文校正タスクの前置詞誤りエラー分析に向けて.” NLP若手の会 第9回シンポジウム (YANS2014).

  1. Masato Mita, Soichiro Murakami, Akihiko Kato, Peinan Zhang. “CAMERA: A Multimodal Dataset and Benchmark for Ad Text Generation.” arXiv:2309.12030.

  1. 優秀賞, 言語処理学会第30回年次大会 (2024年3月)

  2. 優秀研究賞, 情報処理学会第258回自然言語処理研究会 (2023年12月)

  3. 奨励賞, NLP若手の会 第18回シンポジウム (2023年8月)

  4. 委員特別賞, 言語処理学会第29回年次大会 (2023年3月)

  5. 優秀賞, 言語処理学会第28回年次大会 (2022年3月)

  6. 若手奨励賞, 言語処理学会第26回年次大会 (2020年3月)

  7. 優秀賞, 言語処理学会第26回年次大会 (2020年3月)

  8. 奨励賞, NLP若手の会 第14回シンポジウム (2019年8月)

  9. 萌芽研究賞, NLP若手の会 第14回シンポジウム (2019年8月)

  10. 奨励賞 (ハッカソン オープン部門), NLP若手の会 第9回シンポジウム (2014年9月)

  1. “NLP2023 テーマセッション「ことばの評価と品質推定」.” 自然言語処理 30巻2号. (2023.6)

  2. “NLP2023参加報告.” NLP2023 参加報告会 presented by Money Forward Lab

  3. “日本経済新聞「やっぱり変だよ、日本の教育4」”（2022年11月4日）

  4. “企業にいながらアカデミアのように働く.” CyberAgent Blog.（2022.7）

  5. “ライティング支援のための文法誤り訂正.” 株式会社NTTドコモ 招待講演.（2022.2）

  6. “Do Grammatical Error Correction Models Realize Grammatical Generalization?.” 自然言語処理 28巻4号. (2021.12)

  7. 文法誤り訂正モデルの文法性評価と論述リライトタスクの提案. 第19回 NLP東京Dの会. （2021.3）

  8. “ライティング学習支援のための文法誤り訂正技術の現状と今後の展望.” 教育アセスメント×言語処理シンポジウム : 自動採点、英文添削、論述評価の可能性.（2020.12）

  9. 文法誤り訂正の評価に対する問題提起. 第17回 NLP東京Dの会.（2019.6.）

See also Google Scholar and ACL Anthology.

Activities/organizer

  1. 情報処理学会 自然言語処理研究会, 運営委員
  2. 言語処理学会, 編集委員
  3. 言語処理学会, YANSシンポジウム運営委員
  4. ACL Rolling Review (ARR), Senior Action Editor
  5. SIG EDU, Program Committee
  6. Reviewer: CL, ACL, EMNLP, NAACL, ARR, LREC, COLING, JNLP, BEA …etc.

Research Grants

  1. 科研費 基盤B「深層学習による言語生成の評価データセットの構築と品質推定」, 共同研究者（代表者: 小町守）

Work Experience

Education