Task Guideline JA

From Ritewiki

Jump to: navigation, search

最終更新日: 2011/9/30.

Contents

イントロダクション

NTCIR-9 RITE タスク

RITE は BC, MC, 大学入試、RITE4QA の4つのサブタスクからなります。

BC サブタスクは基本的に参加必須です(RITE独自のMCサブタスクと応用タスク志向のその他サブタスクへの参加は任意ですが、ぜひともご参加ください)。評価は RITE SDKに含まれる評価ツールを用いて行います。

BC サブタスク

テキスト対(t1,t2)を入力としてt1から仮説t2が真だと推論し得るか、そうでないかを判別する2値分類問題。

MC サブタスク

含意の方向、矛盾の検出も加えた、次の5種類が出力となる問題。含意関係あり(forward / reverse / bidirection)、含意関係なし(contradiction / independence)。

大学入試サブタスク

大学入試センター試験の設問を用い、問題の選択肢と、それに関連する Wikipedia のテキストをペアにした課題を出題。人間が試験問題を解くプロセス(の一部)をRITEのタスクとしてシミュレートする。知能システムの評価に本物の入試データを使う試みは新しい。

こちらのタスクに参加をご希望の場合、新規参加者はもちろんRITE用の覚書を提出された方も、新たに 大学入試サブタスク参加者用覚書を提出してください。両面印刷で2部作成の上、以下の住所にご郵送ください。

〒101-8430
東京都千代田区一ツ橋2-1-2
国立情報学研究所 
NTCIR事務局 (1309号室) 宛

RITE4QA サブタスク

入出力はBinary-class サブタスクと同じだが、質問応答(QA)システムに組み込んだという設定で評価。質問応答の回答フィルタリングという実践的なシナリオに組み込んで評価したときの、RITEシステムの貢献度合いを知ることができる。

RITE4QAデータ作成手順

元データ: 過去の NTCIR からの日本語・中国語繁体字のQAデータセット(質問および正解)、および精度の高いQAシステムによる回答セット(各質問につき5個まで回答候補+ソース文書ID)

中国語簡体字データは繁体字データからの翻訳により生成。


注意点:


データフォーマット

訓練データおよびテスト(フォーマルラン)データは、次のXMLフォーマットにてこちらのウェブサイトから配布されます。

注:テストデータには label フィールドはございません。

<dataset>
  <pair id="1" label="Y">
    <t1>アテネの市域の中心にアクロポリスの丘、北東部にリュカベットス山がそびえ、パルテノン神殿、聖イヨルイヨス礼拝堂などがある。</t1>
    <t2>パルテノン神殿の建つ丘は,アクロポリスと呼ばれている。</t2>
  </pair>
  <pair id="2" label="N">
    <t1>パルテノン神殿は、ドーリア式神殿の最高傑作と言える作品である。</t1>
    <t2>パルテノン神殿は,ヘレニズム文化の影響下で建設された。</t2>
  </pair>
: : : 
</dataset>


提出フォーマット

出力ファイルの各行がテキストペアに対する出力結果を表します。

(Text Pair ID)[SPACE](Label)[SPACE](Confidence)[CR]

例:

1 Y 0.852
2 Y 0.943
3 Y 0.993
4 Y 1.000

3番目の列の確信度(confidence)は0から1の実数です。BC、MCサブタスクでは確信度カラムは今回は評価に用いないため任意ですが、将来的な研究目的のため、もしシステムで計算していれば提出を推奨いたします。大学入試、RITE4QA サブタスクでは確信度は同一トピックに対するYラベルのタイブレイクに用いる予定ですので必須となります。

フォーマルラン

フォーマルランのデータにアクセスする前に、システムの開発は停止してください(ファイル入出力のフォーマット形式などの軽微なバグのみ修正可)。

ラン提出数

各言語の各サブタスクにおいて、3つまでランを提出していただけます。

提出方法

ラン結果を前述のフォーマットにて保存後、まずフォーマットが正しいかご確認ください。その後、ファイル名を以下のRun IDのようにつけてください。

RITE1-(Team Name)-(Lang)-(Subtask Name)-(Run Number)

例 (拡張子.txtは任意です):

RITE1-LTI-JA-BC-01.txt

ラン結果に加え、システムの簡単な説明(使用したソフトウェア、資源と1パラグラフほどのアルゴリズム解説)を英語で記述したテキストファイルもご提出ください。

例:

RITE1-LTI-JA-BC-01
Tools: MeCab morphological analyzer, in-house statistical dependency parser.
Resources: Japanese wordnet, Goitaikei
Method: Extracted a set of morphemes from t1 and t2, and decide on the label 
based on the percentage of overlap between the sets of morphemes.

RITE1-LTI-JA-BC-02
Tools: Same as RITE1-LTI-JA-BC-01
Resources: Same as RITE1-LTI-JA-BC-01
Method: Same as RITE1-LTI-JA-BC-01 except that the threshold parameter is 
automatically tuned from parameter sweep on training data.

フォーマルラン終了期日までに、すべての提出ファイルをzip圧縮後、 ntc9-rite-organizers [at] cs.cmu.edu までメールでご提出ください。

結果受領の旨折り返しメールいたしますが、もし提出後24時間以内に連絡がない場合はお手数ですがご連絡ください。

NTCIR-9 プロシーディングス掲載の参加者論文について

RITE参加システムの実装とともに、NTCIR-9 プロシーディングスに掲載予定の参加者論文(Participant paper)もACMフォーマット(NTCIR-8と同様)にてご用意ください。言語は英語、ページ上限は8ページです。

タスクオーバービュー論文のドラフトがフォーマルラン前後に配布される予定ですので、参加者論文からこちらを参照ください(タスク、データ、評価手法などの説明を重複させないため)。ドラフト版参加者論文は EasyChair にて10月1日までに提出をお願いします。目的は査読ではなく、あくまでも論文の質を向上させることです。このドラフト版では評価結果や大学入試・RITE4QAサブタスクの記述などが間に合わないかもしれませんが、ドラフトなので部分的に欠けていても可です。フォーマルラン直後のため、このドラフト締切間に合わなそうであればご連絡ください。

オーガナイザーからのチェックコメントを反映させた後、カメラレディ(最終稿)を11月4日までに提出してください。こちらの最終締切は厳守でお願いします。参加者論文はすべてNTCIR-9 プロシーディングスに掲載されます。

参加者論文についての詳細(フォーマット、提出先など)は、次のURLをご参照ください。

http://research.nii.ac.jp/ntcir/ntcir-9/papers.html

論文に期待される内容

参加者論文の書き方には、過去のNTCIRにおける参加者論文が参考になります。


NTCIR-9 ワークショップへの参加

Personal tools
Namespaces
Variants
Actions
Menu (English)
メニュー (日本語)
目次 (繁體中文)
Navigation
Toolbox