Main Page (JA)

From Ritewiki

概要

RITE は自然言語処理や情報アクセス研究に広く共通する課題である、テキスト間の含意（推論）・換言（同じ意味）・矛盾の認識を目的とした、評価型ワークショップです。共通の大規模なテストコレクションを用い、日本語、中国語（簡体字・繁体字）の各言語に対し参加者のシステムの評価を行うことで、知見の獲得や、データ・ツールの開発促進、研究コミュニティの発展を目的としています。

RITE システムへの入力は、例えば次のようなテキストペアになります。

t₁: 川端康成は「雪国」などの作品でノーベル文学賞を受賞した。

t₂: 川端康成は「雪国」の著者である。

期待する出力は "YES"、 "NO" の選択肢のうち "YES" となり、システムが正しく回答出来た場合にスコアが得られます。その他の例はデータページをご覧ください。

NTCIR-9 RITE は次の４つのサブタスクからなります。

• バイナリクラス(BC)サブタスク - テキスト対(t₁,t₂)を入力としてt₁から仮説t₂が真だと推論し得るか、そうでないかを判別する2値分類問題。
• マルチクラス(MC)サブタスク - 含意の方向、矛盾の検出も加えた、次の5種類が出力となる問題。含意関係あり(forward / reverse / bidirection)、含意関係なし(contradiction / independence)。
• 大学入試サブタスク (日本語のみ) - 大学入試センター試験の設問を用い、問題の選択肢と、それに関連する Wikipedia のテキストをペアにした課題を出題。人間が試験問題を解くプロセス（の一部）をRITEのタスクとしてシミュレートする。知能システムの評価に本物の入試データを使う試みは新しい。
• RITE4QAサブタスク - 入出力はBinary-class サブタスクと同じだが、質問応答システムに組み込んだというシナリオで評価。質問応答(QA)の回答フィルタリングという実践的なシナリオに組み込んで評価したときの、RITEの貢献度合いを知ることができる。

全てに共通しているのは、入力が2つのテキスト、出力が2~5種類のクラスのうち1つということです。

サブタスクの一部では、すでに数百テキストペアのラベル付き訓練データを公開しております。

大学入試サブタスク、RITE4QAサブタスクはBC・MCサブタスク後の１０月中旬に開催予定ですので、開発の都合上こちらにのみ参加希望という場合も、奮ってご参加ください。

参加メリット

RITEは情報検索、質問応答、テキスト要約、評判分析など、幅広い研究分野に共通する基礎的問題に焦点を当てたタスクです。これら応用分野の他にも、自然言語処理、機械学習などの研究者の方々の参加も大歓迎です。RITEにおける評価は「フレンドリーコンペティション」ですので、必ずしもいい結果が期待できそうになくても、遠慮すること無くお気軽にご参加ください。萌芽的な研究に基づくシステムでの参加や、専門科目履修を始めたばかりの大学生による参加なども大歓迎です。また、参加は考え中だが、タスク設計の議論やデータ作成に携わってみたい、というような方もお気軽にご登録ください。多様な参加者が集まることにより、研究コミュニティが発展していくことが期待されます。また、RITEのような分野に馴染みがなくても、参加しやすくなる仕組みも用意しております。参加者間で言語資源や自然言語処理ツールなどを共有し、評価システムに組み込んでもらえるような「リソースプール」ページを用意いたしました。

コンテンツ

• タスクガイドライン - 参加者は必ずご覧ください。
• データ - サンプルデータ、開発・訓練データが公開されています。
• リソースプール - 参加システムの実装に役に立ちそうな言語資源がまとめてあります。
• 詳細スケジュール - 細かい日程情報です。
• RITE SDK - 簡単にRITE参加システムを開発できるよう、Javaフレームワークを公開しました。

現在の状況

• フォーマルランは4つ全てが無事終了し、歴代NTCIRタスクでも最大規模の24チームの提出を頂きました。成果報告ワークショップも無事終了しました。 プロシーディングスはこちらからご覧いただけます。

スケジュール Date Event 2011年01~05月 データ作成 2011年05月- ドライラン 2011年09月19-25日 フォーマルラン(BC, MC) 2011年09月27日 評価結果の返却 2011年10月1日 システムペーパー・ドラフト提出 2011年10月4日 開発データ公開(大学入試) 2011年10月12-19日 フォーマルラン(大学入試, RITE4QA) 2011年11月4日 システムペーパー最終提出 2011年12月 NTCIR-9 ワークショップ(東京) 詳細スケジュールはこちら メーリングリスト 最新情報はメーリングリスト上でも適宜アナウンスいたします。RITE の活動に興味がある方は、どなたでもお気軽にご登録ください。登録方法は、件名／本文が空の電子メールを以下までお送りください（自動処理）。 ntc9-rite-list-subscribe [at] cs.cmu.edu

オーガナイザー 言語 オーガナイザー 日本語 嶋 英樹 (米国・カーネギーメロン大学) 三田村 照子 (米国・カーネギーメロン大学) 金山 博 (IBM東京基礎研究所) 武田 浩一 (IBM東京基礎研究所) 宮尾 祐介 (国立情報学研究所) 中国語 (簡体字) Shuming Shi (中国・マイクロソフトアジア研究所) 中国語 (繁体字) Chuan-Jie Lin (台湾・国立台湾海洋大学) Cheng-Wei Lee (台湾・国立中央研究院) タスクに関するお問い合わせは、 ntc9-rite-organizers [at] cs.cmu.edu までご連絡ください。 リンク NTCIR-9 website NTCIR-9 RITE Online Proceedings ACL Portal (PASCAL/TAC RTEへのリンクあり) EVALITA iRTE CLEF Answer Validation Excercize