JP7135653B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

用紙にコメントを書き込む場合、用紙上の余白部分にコメントを書き込むことは一般的に行われている。用紙上に書き込みをする余白がない場合、用紙（原稿）の裏面や別の用紙を用意して書き込んだりする。

ところで、視線からウェブページの見ている領域を判断し、現在見ている領域を強調表示する技術が提案されている（例えば、特許文献１）。

特開２０１７－１９４８６４号公報

用紙に形成されている複数のコンテンツのうち、少なくとも一つ以上のコンテンツに対してコメントを付加するユーザと、付加されたコメントを閲覧するユーザとがいる場合に、コメントを閲覧するユーザにとっては、そのコメントがどのコンテンツに対するコメントであるのかを把握することができなかった。

本発明に係る情報処理装置は、用紙がコメントの付加対象となる用紙の場合、当該用紙に形成されている複数のコンテンツの位置情報を取得するコンテンツ位置取得手段と、前記用紙を見るユーザの視線を検出する視線検出手段と、当該ユーザがコメントを書いた場合、前記複数のコンテンツのうち、前記コメントを書く前にユーザの視線があったコンテンツをコメント対象コンテンツとして特定する特定手段と、前記コメント対象コンテンツと前記コメントを関連付ける関連付け手段と、前記ユーザとは異なるユーザであり、前記コメントを閲覧するユーザである閲覧ユーザによって前記コメントが閲覧される場合に、前記コメントに関連づけられたコンテンツが、前記コメント対象コンテンツであることが認識できる表示をするよう制御する表示制御手段と、を有することを特徴とする。

また、前記特定手段は、前記コメントを書いたユーザが視線を動かすことで見た前記用紙上の１又は複数のコンテンツをコメント対象候補コンテンツとして抽出すると共に、抽出したコメント対象候補コンテンツの中から前記コメントを書く前にユーザの視線があったコメント対象候補コンテンツを前記コメント対象コンテンツと特定することを特徴とする。

また、前記特定手段は、ユーザがコメントを書き込んだ後に前記用紙上のコメント対象候補コンテンツを見てからコメントを再度書き込んだ場合、当該コメント対象候補コンテンツをコメント対象コンテンツとして扱うことを特徴とする。

また、前記特定手段は、ユーザがコメントを書き込んだ後に見たコメント対象候補コンテンツで既存のコメント対象コンテンツを差し替えることを特徴とする。

また、前記特定手段は、ユーザがコメントを書き込んだ後に見たコメント対象候補コンテンツをコメント対象コンテンツとして追加することを特徴とする。

また、前記表示制御手段は、前記コメント対象候補コンテンツをユーザに選択可能に表示させ、前記特定手段は、ユーザにより選択された１又は複数のコメント対象候補コンテンツを前記コメント対象コンテンツと特定することを特徴とする。

また、コメント書込用紙に書き込まれたコメントを受け付ける受付手段を有することを特徴とする。

また、前記受付手段は、前記用紙と前記コメント書込用紙が同じ用紙の場合、前記用紙の前記コンテンツが形成されている面の余白に書き込まれたコメントを受け付けることを特徴とする。

また、前記受付手段は、前記用紙と前記コメント書込用紙が同じ用紙の場合、前記用紙の前記コンテンツが形成されている面の裏面に書き込まれたコメントを受け付けることを特徴とする。

また、前記受付手段は、前記用紙と前記コメント書込用紙が異なる用紙の場合、前記コメント書込用紙に書き込まれたコメントを受け付けることを特徴とする。

また、前記表示制御手段は、前記コメント対象コンテンツの画像が前記関連付け手段により関連付けられたコメントの書込位置近傍で視認されるよう表示制御することを特徴とする。

また、前記表示制御手段は、前記用紙上における前記コメント対象コンテンツと異なる表示形態にて当該コメント対象コンテンツの画像を表示させることを特徴とする。

また、前記表示制御手段は、前記コメント対象コンテンツを表示する用紙上のスペースに応じて前記コメント対象コンテンツの画像を拡縮して表示させることを特徴とする。

また、前記表示制御手段は、前記コメント対象コンテンツに前記関連付け手段により関連付けられたコメントが既に存在する場合、当該コメントの画像を前記ユーザが現在書き込んでいるコメントの位置近傍に表示させることを特徴とする。

本発明に係る情報処理装置は、コメントの付加対象となる用紙を見るユーザの視線を検出する視線検出手段と、前記用紙の識別情報に、当該用紙上のコンテンツであってコメントの付加対象とされたコンテンツの識別情報、当該コンテンツの当該用紙上における位置を特定する位置情報、当該コンテンツに対するコメントが書き込まれたコメント書込用紙の識別情報、当該コメントの識別情報及び当該コメントを対応付け生成された関連付け情報を取得する取得手段と、ユーザが前記用紙上のコンテンツを見たときに、前記関連付け情報を参照することによって当該コンテンツ及び当該コンテンツに付加されたコメントが視野内に入るよう表示を制御する表示制御手段と、を有することを特徴とする。

また、前記表示制御手段は、ユーザが見ている前記用紙上のコンテンツに付加されたコメントの画像を、前記用紙上の当該コンテンツの位置近傍に表示させることを特徴とする。

また、前記表示制御手段は、前記用紙の余白部分に表示させることを特徴とする。

また、前記表示制御手段は、前記用紙上の当該コンテンツ以外のコンテンツの位置に表示させることを特徴とする。

また、前記表示制御手段は、前記コメント書込用紙に書き込まれたコメントと紐付くコンテンツの画像を前記コメント書込用紙の面に表示させることを特徴とする。

また、前記表示制御手段は、前記コンテンツの画像を前記コメント書込用紙上のコメントが書き込まれていない領域の大きさに応じて拡縮して表示させることを特徴とする。

本発明に係るプログラムは、コンピュータを、用紙がコメントの付加対象となる用紙の場合、当該用紙に形成されている複数のコンテンツの位置情報を取得するコンテンツ位置取得手段、前記用紙を見るユーザの視線を検出する視線検出手段、当該ユーザがコメントを書いた場合、前記複数のコンテンツのうち、前記コメントを書く前にユーザの視線があったコンテンツをコメント対象コンテンツとして特定する特定手段、前記コメント対象コンテンツと前記コメントを関連付ける関連付け手段、前記ユーザとは異なるユーザであり、前記コメントを閲覧するユーザである閲覧ユーザによって前記コメントが閲覧される場合に、前記コメントに関連づけられたコンテンツが、前記コメント対象コンテンツであることが認識できる表示をするよう制御する表示制御手段、として機能させる。

本発明に係るプログラムは、コンピュータを、コメントの付加対象となる用紙を見るユーザの視線を検出する視線検出手段、前記用紙の識別情報に、当該用紙上のコンテンツであってコメントの付加対象とされたコンテンツの識別情報、当該コンテンツの当該用紙上における位置を特定する位置情報、当該コンテンツに対するコメントが書き込まれたコメント書込用紙の識別情報、当該コメントの識別情報及び当該コメントを対応付け生成された関連付け情報を取得する取得手段、ユーザが前記用紙上のコンテンツを見たときに、前記関連付け情報を参照することによって当該コンテンツ及び当該コンテンツに付加されたコメントが視野内に入るよう表示を制御する表示制御手段、として機能させる。

請求項１に記載の発明によれば、用紙に形成されている複数のコンテンツのうち、少なくとも一つ以上のコンテンツに対してコメントを付加するユーザと、付加されたコメントを閲覧するユーザとがいる場合において、コメントを閲覧するユーザに、そのコメントがどのコンテンツに対するコメントであるのかを把握させることができる。

請求項２に記載の発明によれば、視線の動きからコメント対象候補コンテンツ及びコメント対象コンテンツを特定することができる。

請求項３に記載の発明によれば、コメント対象候補コンテンツをコメント対象コンテンツとして取り扱うことが可能となる。

請求項４に記載の発明によれば、コメントに紐付けるコンテンツを変更することが可能となる。

請求項５に記載の発明によれば、コメントに紐付けるコンテンツを追加することが可能となる。

請求項６に記載の発明によれば、コメント対象コンテンツをユーザに指定させることができる。

請求項７に記載の発明によれば、ユーザが書き込んだコメントを受け付けることができる。

請求項８に記載の発明によれば、コメント対象コンテンツと用紙の余白に書き込まれたコメントとを紐付けすることができる。

請求項９に記載の発明によれば、コメント対象コンテンツと用紙の裏面に書き込まれたコメントとを紐付けすることができる。

請求項１０に記載の発明によれば、コメント対象コンテンツと、コメント対象コンテンツが形成されている用紙とは異なる用紙に書き込まれたコメントとを紐付けすることができる。

請求項１１に記載の発明によれば、用紙上におけるコメント対象コンテンツとコメントの書込位置が離れている場合でもコメント対象コンテンツを視認しながらコメントを書き込むことができる。

請求項１２に記載の発明によれば、ユーザが見やすい状態でコメント対象コンテンツの画像を表示させることができる。

請求項１３に記載の発明によれば、ユーザが見やすい大きさでコメント対象コンテンツの画像を表示させることができる。

請求項１４に記載の発明によれば、現在のコメントの書込位置から離れた位置にコメント対象コンテンツに対するコメントが既に書き込まれている場合でも、視線をそれほど動かすことなく既に書き込まれているコメントを視認しながらコメントを書き込むことができる。

請求項１５に記載の発明によれば、コンテンツ及び当該コンテンツに付加されているコメントを、視線をそれほど動かすことなく閲覧させることができる。

請求項１６に記載の発明によれば、ユーザが見ている用紙上にコメントを表示させることができる。

請求項１７に記載の発明によれば、用紙の余白部分にコメントを表示させることができる。

請求項１８に記載の発明によれば、用紙上に表示に必要なスペースの余白がない場合でもコメントを表示させることができる。

請求項１９に記載の発明によれば、コメントが書き込まれているコメント書込用紙上にコンテンツを表示させることができる。

請求項２０に記載の発明によれば、ユーザが見やすい大きさでコンテンツの画像を表示させることができる。

請求項２１に記載の発明によれば、用紙に形成されている複数のコンテンツのうち、少なくとも一つ以上のコンテンツに対してコメントを付加するユーザと、付加されたコメントを閲覧するユーザとがいる場合において、コメントを閲覧するユーザに、そのコメントがどのコンテンツに対するコメントであるのかを把握させることができる。

請求項２２に記載の発明によれば、コンテンツ及び当該コンテンツに付加されているコメントを、視線をそれほど動かすことなく閲覧させることができる。

本実施の形態において原稿をレビューする者が利用する情報処理装置のブロック構成図である。 本実施の形態における情報処理装置のハードウェア構成図である。 本実施の形態においてレビューの対象とされる原稿の一例を示す図である。 図３Ａに示す原稿に含まれるコンテンツを示す図である。 本実施の形態における原稿情報記憶部に記憶される原稿情報のデータ構成の一例を示す図である。 本実施の形態におけるコンテンツとコメントとを関連付ける処理を示すフローチャートである。 本実施の形態においてレビュワーがメガネを通して見えている原稿及び別紙の一例を示す図である。 本実施の形態においてレビュワーがメガネを通して見えている原稿及び別紙の他の例を示す図である。 本実施の形態においてレビュワーがメガネを通して見えている原稿及び別紙の他の例を示す図である。 本実施の形態においてレビュワーがメガネを通して見えている原稿及び別紙の他の例を示す図である。 本実施の形態においてレビュワーがメガネを通して見えている原稿及び別紙の他の例を示す図である。 本実施の形態において抽出した注目箇所と関連候補の各コンテンツの構成の例を示す図である。 本実施の形態において変更された注目箇所と関連候補の各コンテンツの構成の例を示す図である。 本実施の形態におけるコメント情報記憶部に記憶されるコメント情報のデータ構成の一例を示す図である。 本実施の形態において別紙に記入されたコメントの構成を示す図である。 本実施の形態における関連付け情報記憶部に記憶される関連付け情報のデータ構成の一例を示す図である。 本実施の形態においてコメント対象候補コンテンツが選択可能に別紙上に表示されたときの一例を示す図である。 本実施の形態においてコメント対象候補コンテンツが別紙上に表示されたときの一例を示す図である。 本実施の形態においてコンテンツが別紙に関連付けて表示された状態の一例を示す図である。 本実施の形態においてコンテンツが別紙に関連付けて表示された状態の他の例を示す図である。 本実施の形態において原稿へのレビューを読む者が利用する情報処理装置のブロック構成図である。 本実施の形態におけるコメントの表示処理を示すフローチャートである。

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

《レビュワーによるコメントの書き込み》
図１は、本発明に係る情報処理装置の一実施の形態を示すブロック構成図である。図１に示す情報処理装置１０は、原稿をレビューするユーザ（以下、「レビュワー」）により利用される装置である。

図２は、本実施の形態における情報処理装置１０を形成するコンピュータのハードウェア構成図である。本実施の形態における情報処理装置１０は、パーソナルコンピュータ（ＰＣ）等の従前から存在する汎用的なハードウェア構成に、メガネ４０を接続した構成を有している。すなわち、情報処理装置１０は、図２に示すＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、ハードディスクドライブ（ＨＤＤ）３４、入力手段として設けられたマウス３５とキーボード３６、及び表示手段として設けられたディスプレイ３７をそれぞれ接続する入出力コントローラ３８、通信手段として設けられたネットワークコントローラ３９、メガネ４０に対する入出力制御を行うメガネコントローラ４１を内部バス４２に接続して構成される。

メガネ４０は、メガネコントローラ４１と連携して、装着したユーザの視線、すなわちどの位置を見ているのかを常時検出することでユーザの視線の動きを検出する機能を有している。また。メガネ４０のレンズ部分には、透過性のある表示画面が搭載されている。メガネコントローラ４１は、画像を表示画面に表示させることによって、ユーザがメガネ４０のレンズ部分を通して見る先、例えば用紙上に画像が表示されているかのように、画像をユーザに見せることができる。

図３Ａは、本実施の形態においてレビューの対象とされる原稿の一例を示す図である。原稿には、図示してないが、原稿を識別する用紙の識別情報（以下、「原稿ＩＤ」）を特定可能な原稿ＩＤコード及びタグが付けられている。原稿ＩＤコードは、例えばＱＲコード（登録商標）やバーコードのようなデータコードを用いてよい。タグは、視野内にある原稿の位置を検出するために、例えば原稿の４角に付けられている。

図３Ｂは、図３Ａに示す原稿に含まれるコンテンツを示す図である。図３Ｂでは、コンテンツを破線で囲んで示している。「コンテンツ」とは、原稿に記載されている文書や画像等であり、本実施の形態の場合、コメントの付加対象となる。「コメント」とは、原稿に対する意見や見解であるが、本実施の形態では、原稿に含まれるコンテンツに対してコメントを付けることにしている。すなわち、コメントは、いずれかのコンテンツに対応付けられることになり、コンテンツに紐付けられて管理される。コメントは、文書にて記載してもよいし、図面等他の方法にて表現してもよい。

原稿上の文書が記載されている部分については、例えば段落毎にコンテンツを形成する。また、例えば、フォント、文字サイズ、太文字等文字の形態が変化するところやラベル（見出し）と考えられるところで一連の文書を分割して、分割単位毎にコンテンツを形成してもよい。図面においても同様に、図面の種類、グラフの種類毎に分割してコンテンツを形成してもよい。コンテンツの形成自体は、従前からある技術を利用してもよい。

図１に戻り、本実施の形態における情報処理装置１０は、用紙検出部１１、用紙解析部１２、視線検出部１３、視線解析部１４、書込検出部１５、コメント情報生成部１６、関連付け処理部１７、表示制御部１８、修正処理部１９、原稿情報記憶部２１、視線保持部２２、コメント情報記憶部２３及び関連付け情報記憶部２４を有している。なお、本実施の形態の説明に用いない構成要素については図から省略している。用紙検出部１１は、メガネ４０を通してユーザが見ている用紙を検出する。用紙解析部１２は、用紙検出部１１が検出した用紙が過去にレビュー対象となっていない原稿の場合、原稿を解析することによって当該原稿に対する原稿情報を生成する。視線検出部１３は、メガネ４０を通して用紙を見るユーザの視線及び視線の動きを検出する。検出されるユーザの見る位置を特定する情報は視線保持部２２に保持されるが、視線解析部１４は、視線保持部２２に保持されているユーザの視線の動きを解析することによってユーザが見ているコンテンツを検出する。書込検出部１５は、レビュワーがコメントを書いていることを検出する。コメント情報生成部１６は、記入されたコメントに対するコメント情報を生成する。関連付け処理部１７は、コンテンツと当該コンテンツに対してレビュワーが書いたコメントとを関連付ける。表示制御部１８は、レビュワーが書いたコメントを閲覧するユーザ（以下、「レビュイー」）によってコメントが閲覧される場合に、当該コメントに関連づけられたコンテンツが、関連付け処理部１７により当該コメントに関連付けられているコンテンツであることが認識できる表示をするようメガネ４０の表示画面への表示制御を行う。関連付け処理部１７は、コンテンツとコメントとを紐付けることによって関連付け情報を生成するが、修正処理部１９は、関連付け処理部１７が生成した関連付け情報を修正する機能を有している。

なお、各記憶手段２１～２４のデータ構成は、動作の説明と合わせて必要により説明する。

情報処理装置１０における各構成要素１１～１９は、情報処理装置１０を形成するコンピュータと、コンピュータに搭載されたＣＰＵ３１で動作するプログラムとの協調動作により実現される。また、各記憶手段２１～２４は、情報処理装置１０に搭載されたＨＤＤ３４にて実現される。あるいは、ＲＡＭ３３又は外部にある記憶手段をネットワーク経由で利用してもよい。

また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭやＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵ３１がプログラムを順次実行することで各種処理が実現される。

次に、本実施の形態における動作について説明する。まず、レビュイーが作成した原稿及びコメントを書き込む用紙（以下、「別紙」）を検出する処理から説明する。

レビュワーは、レビューを開始する際にメガネ４０をかける。レビュワーは、後述する関連付け情報の生成が終了するまでメガネ４０をかけ続けることになる。また、生成した関連付け情報を修正する際にもメガネ４０をかける必要がある。つまり、レビュワーは、レビューを行う際にはメガネ４０を装着する必要がある。

視線検出部１３は、レビュワーがメガネ４０をかけている間、特に断らない限りレビュワーの見る先、すなわち視線を検出して視線保持部２２に保持する。視線保持部２２に保持するデータの構成や形式は、特に限定する必要はない。図６では、原稿上における視線の動きを破線で示しているが、視線解析部１４は、視野内における原稿の位置及び視線保持部２２に保持されている情報を解析することによって図６に示す視線の動きを検出する。

レビュワーは、まずレビュー対象の原稿を視野内に収める。これにより、用紙検出部１１は、メガネ４０を通して見える原稿の原稿ＩＤコード及びタグを検出することで原稿を検出する。用紙検出部１１は、タグの位置を検出することによって視野内における原稿の位置を常時特定する。

原稿が検出されると、用紙解析部１２は、原稿ＩＤコードを解読することによって取得した原稿ＩＤに対応する原稿情報が原稿情報記憶部２１に登録されていない場合、当該原稿に対する原稿情報を生成する。原稿情報が原稿情報記憶部２１に登録されていない場合というのは、過去にレビュー対象となっていない原稿である。なお、レビュワーがいったん原稿を視野から外してから元に戻したときには、原稿情報が既に生成されている。

図４は、本実施の形態における原稿情報記憶部２１に記憶される原稿情報のデータ構成の一例を示す図である。原稿情報は、原稿毎に、当該原稿の原稿ＩＤにコンテンツ情報が対応付けされて生成される。コンテンツ情報は、原稿に含まれる各コンテンツに関する情報であり、コンテンツＩＤ、位置情報及びコンテンツを含む。コンテンツＩＤは、当該コンテンツを識別する識別情報である。位置情報は、当該コンテンツの原稿上における位置を示す情報である。例えば、原稿上のある１点を基準として座標情報で表してもよい。コンテンツは、コンテンツ自体であるが、本実施の形態では、コンテンツの種類（テキスト、図等）に関係なく画像情報で保持することにする。

用紙解析部１２は、原稿の画像を解析することによって原稿に含まれるコンテンツを抽出し、各コンテンツにコンテンツＩＤを割り振り、原稿上における当該コンテンツの領域を特定する位置情報を検出する。また、原稿の画像から各コンテンツの画像情報を抽出する。用紙解析部１２は、このようにして抽出した情報から原稿情報を生成して原稿情報記憶部２１に保存する。

本実施の形態では、用紙解析部１２が原稿の画像を解析して原稿情報を生成するようにしたが、例えば、原稿が生成されると原稿情報を事前に生成しておき、用紙解析部１２は、その生成済みの原稿情報を取得して原稿情報記憶部２１に保存するようにしてもよい。原稿には、図面とその図面を説明する文書とが掲載されている場合があるが、例えばレビュイーが原稿情報を事前に生成するようにすれば、例えば図面と文書の意味内容から特定できる図面と文書との関係を示す関係情報を原稿情報に含めることが可能となる。このように、原稿情報を事前に生成するようにしておけば、用紙解析部１２が原稿の画像を解析することでは得られない上記関係情報等を原稿情報に含めることが可能となる。

また、コンテンツに関する情報だけでなく、余白についての情報も取得して原稿情報記憶部２１に保存するようにしてもよい。レビュワーは、原稿に余白がある場合、その余白に書き込みをする可能性がある。従って、用紙解析部１２は、コンテンツの場合と同様に、空白部分（原稿上のコンテンツ以外の部分）の中から所定の閾値以上の大きさの領域となる空白部分を余白として抽出し、その抽出した余白に対してコンテンツの場合と同様に、識別情報（以下、「余白ＩＤ」）を割り振り、また原稿上における当該余白の領域を特定する位置情報を検出して原稿情報に保存する。もちろん、保存する情報には、コンテンツではなく余白と判別できる情報、例えばフラグ情報でもよいし、余白ＩＤにコンテンツＩＤと異なる設定規則を適用するなどしてコンテンツと判別可能にしておく必要がある。

レビュワーが原稿情報記憶部２１に原稿ＩＤが登録されている原稿を見た場合、原稿情報を生成する処理を省略してよい。もちろん、レビュイーがレビューの結果に従ってレイアウト変更した原稿を再度レビューする場合を考慮して、用紙解析部１２は、原稿の画像をその都度解析して原稿情報を生成するようにしてもよい。この場合は、当該原稿の原稿情報を上書きすることで更新する。

また、レビュワーは、原稿に対して何らかのコメントを記載するために原稿とは別の用紙（以下、「別紙」）を事前に用意して原稿を共に視野内に収めるようにしておく。説明の便宜上、別紙には、原稿の場合と同様に、別紙を識別する用紙の識別情報（以下、「別紙ＩＤ」）を特定可能な別紙ＩＤコード及びタグが付けられているものとする。なお、ここでは白紙の用紙を別紙として用いる。

用紙検出部１１は、メガネ４０を通して見える別紙の別紙ＩＤコード及びタグを検出することで別紙を検出する。用紙検出部１１は、タグの位置を検出することによって視野内における別紙の位置を常時特定する。

用紙解析部１２は、別紙ＩＤコードを解読することによって取得した別紙ＩＤから用紙が別紙と判断する。例えば、別紙と判別させるための設定規則に従って生成した別紙ＩＤを割り振る。あるいは、原稿ＩＤの設定規則とは異なることで別紙と判断してもよいし、別紙の画像を解析することによって別紙と判断してもよい。

図５は、本実施の形態においてレビュワーがコンテンツと当該コンテンツに対して記載したコメントとを関連付ける処理を示すフローチャートである。また、図６Ａ～図６Ｅは、レビュワーがメガネ４０を通して見えている原稿及び別紙を示す図である。以下、こららの図を用いてコンテンツとコメントとの関連付け処理について説明する。

なお、レビュワーは、前述したように予め用意した別紙以外にも原稿の表面（コンテンツが記載されている面）の余白部分、あるいは原稿の裏面にコメントを記載する場合もあるが、ここでは、別紙にコメントを記載する場合を例にして説明する。また、原稿は１枚であり（表面だけにコンテンツのある１ページの原稿であり）、用意する別紙も１枚とする。

レビュワーは、レビューのために原稿を見る。視線検出部１３は、用紙検出部１１が検出している原稿の位置と検出した視線の位置からレビュワーは原稿を見ていると認識すると、視線の動きの視線保持部２２への記録を開始する（ステップ１０１）。図６Ａ～６Ｅでは、原稿上における視線の動きを破線で示しているが、このうち、図６Ａの例では、視線を原稿の最初（左上）の部分から現在矢印の所まで動かしていることを示している。視線検出部１３は、レビュワーの視線が原稿から外れない間（ステップ１０２でＮ）、視線保持部２２への記録を継続する。そして、レビュワーは、原稿上の矢印の位置まで視線を動かした後、コメントを付けるために別紙に視線を動かしたとする。視線検出部１３は、レビュワーの視線が原稿から外れたことを検出すると（ステップ１０２でＹ）、視線保持部２２への記録を停止する（ステップ１０３）。

視線保持部２２への記録が停止すると、視線解析部１４は、視線保持部２２に記録されている視線の動きを解析してレビュワーが見たコンテンツをコメント対象候補コンテンツとして抽出する。図６Ａの例によると、コンテンツ５１，５２，５３がコメント対象候補コンテンツに該当する。そして、コメント対象候補コンテンツの中から原稿上のコンテンツから視線が外れる直前に見ていたコメント対象候補コンテンツ、具体的にはコンテンツ５３をコメント対象コンテンツ（注目箇所）として特定し、それ以外のコンテンツ５１，５２を関連候補として特定する（ステップ１０４）。

図７には、この処理により抽出したコンテンツが示されている。注目箇所には、レビュワーがコメントの対象として注目したと推測されるコンテンツ、すなわちコメント対象コンテンツであり、具体的にはコンテンツ５２が分類される。関連候補には、レビュワーがコメントの対象として注目したと推定されないもののレビュワーが一連の視線の動きにおいて見ていた（視線が通過した）コンテンツであることからコメント対象コンテンツになり得るコンテンツ、すなわちコメント対象コンテンツとして抽出されなかったコメント対象候補コンテンツであり、具体的にはコンテンツ５１，５３が分類される。

レビュワーは、コメントを付けるために別紙に視線を動かし、そしてコメントを記入する。このときの様子を図６Ｂに示す。

書込検出部１５は、レビュワーが別紙にコメントを書いていることを検出する。書込の有無や書込位置は、既知の技術を利用してよい。例えば、筆圧を検知するペンを使用したり、別紙とペン先との距離を測定したり、いかなる方法を利用してもよい。

レビュワーが別紙にコメントを書いている途中で視線を原稿にいったん戻したとする。このときの様子を図６Ｃに示す。視線検出部１３がレビュワーの視線が別紙から外れない間は（ステップ１０５でＮ）、レビュワーが別紙にコメント書込中と判断する。そして、レビュワーが別紙から視線を外し（ステップ１０５でＹ）、この視線の戻した先が図６Ｃに例示したように注目箇所（コンテンツ５２）ではなく関連候補（コンテンツ５３）だとすると、レビュワーがコメントを付けたかったのはコンテンツ５３であったと推測して、コンテンツ５３を注目箇所に変更する。注目箇所であったコンテンツ５２は、そのまま注目箇所として残してもよい。この場合、コンテンツ５３が注目箇所に追加されることになる。ただ、ここでは、コメントが１つのコンテンツに対応するようにコンテンツ５２を関連候補に変更する。このように注目箇所と関連候補とを入れ換えた後の例を図８に示す。なお、視線の戻した先が注目箇所（コンテンツ５２）の場合、コメント対象コンテンツはコンテンツ５２のまま維持する。

また、別紙からは視線がいったん外されるので、外される前までに記入されたコメントを１つのコメント（コンテンツ）として取り扱うようにする。そのために、コメント情報生成部１６は、視線が別紙から外されたことを検出すると別紙に記入されたコメントに対するコメント情報を生成して（ステップ１０６）、コメント情報記憶部２３に登録する。

図９は、本実施の形態におけるコメント情報記憶部２３に記憶されるコメント情報のデータ構成の一例を示す図である。コメント情報は、コメント毎に生成される、コメント情報は、原稿ＩＤ、注目箇所、関連候補及びコメント詳細情報を含む。原稿ＩＤは、コメントの付加対象となるコンテンツを含む原稿の原稿ＩＤである。注目箇所には、コメント対象コンテンツ（この例では、差し替え後のコンテンツ５３）のコンテンツＩＤが設定される。関連候補には、注目箇所以外のコメント対象候補コンテンツ（この例では、コンテンツ５１，５２）のコンテンツＩＤが設定される。コメント詳細情報は、当該コメントに関する詳細情報であり、用紙ＩＤ、コメントＩＤ、位置情報及びコメントを含む。用紙ＩＤには、当該コメントが記入される用紙（この例では別紙）の用紙ＩＤ（別紙ＩＤ）が設定される。コメントＩＤは、コメント情報生成部１６が当該コメントに割り振るコメントを識別するための識別情報である。位置情報は、当該コメントの別紙上における位置を示す情報である。例えば、別紙上のある１点を基準として座標情報で表してもよい。コメントは、記入されたコメント自体であるが、本実施の形態では、コメントの種類（テキスト、図等）に関係なく画像情報で保持することにする。

コメント情報生成部１６は、上記のように視線が別紙から外されたことを検出すると記入されたコメントに対する上記データ構成のコメント情報を生成する。

レビュワーが視線を原稿に戻すと、視線検出部１３は、視線の動きの視線保持部２２への記録を開始する（ステップ１０７）。視線検出部１３は、レビュワーの視線が原稿から外れない間（ステップ１０８でＮ）、視線保持部２２への記録を継続する。そして、レビュワーは、図６Ｃに示すように原稿上の矢印の位置まで視線を動かした後、コメントを各ために別紙に視線を動かしたとする。視線検出部１３は、レビュワーの視線が原稿から外れたことを検出すると（ステップ１０８でＹ）、視線保持部２２への記録を停止する（ステップ１０９）。

視線保持部２２への記録が停止すると、視線解析部１４は、視線保持部２２に記録されている視線の動きを解析してレビュワーが見たコンテンツを抽出する。ここで、抽出するコンテンツは、図６Ｃに例示したようにコンテンツ５２，５３であり、直前に原稿を見ていたときのコンテンツ５１，５２，５３と重複する。本実施の形態では、コンテンツへの注目比率によってコメント対象コンテンツへのコメントの記入の終了かどうかを判断する。「注目比率」というのは、前述したように直前に原稿上で見たコンテンツと今回、原稿上で見たコンテンツとの比率で、今回と直前に見たコンテンツの構成、あるいはコンテンツを見ている時間等の比率で表す。コンテンツの構成に着目すると、今回見たコンテンツ５２，５３は、直前に原稿上で見たコンテンツ５１，５２，５３に１００％含まれているので、注目箇所（コメント対象コンテンツ）へのコメントが続けて記入されると推測する。

つまり、レビュワーは、コメントの記載中にコンテンツの内容を確認するために視線を別紙から原稿に動かしたと推測できる。この場合（ステップ１１０でＮ）、ステップ１０５に戻る。そして、レビュワーは、別紙に新たなコメントを記入する。この様子を図６Ｄに示す。

その後、視線が別紙から外されると、コメント情報生成部１６は、新たに記入されたコメントに対してコメント情報を生成する（ステップ１０６）。図１０において破線で分けたように、コメント５５，５６は、別紙から視線が外れる度に１つのコメントとして生成される。注目箇所（コンテンツ５３）の変更がなければ、複数のコメントが１つのコンテンツ５３に対応付けられることになる。

レビュワーは、原稿に視線を戻した後、図６Ｅに示すように視線を動かしたとする。この例によると、レビュワーは、前回のコメント対象候補コンテンツ５２，５３を見た後、異なるコンテンツ５４に視線を動かし、その後、時間をかけてコンテンツ５４を見ていることがわかる。これは、コメントに対応するコンテンツ５３を確認した後に、次のコンテンツ５４にレビュー対象を進めたと推測できる。前述した注目比率を考慮すると、コンテンツは、前回と重複しているコンテンツ５２，５３を見ているものの、異なるコンテンツ５４を見ている時間の比率が長い。従って、レビュワーが注目先（レビュー対象）をコンテンツ５４に移したと推測する。なお、レビュワーがコンテンツ５１～５３に視線を向けずに異なるコンテンツ５４にいきなり視線を向けた場合には、問題なくレビュー対象をコンテンツ５４に移したと判断できる。

このように、レビュワーが異なるコンテンツに注目したことを推測できると（ステップ１１０でＹ）、関連付け処理部１７は、コンテンツとコメントとを紐付けるための関連情報を生成する（ステップ１１１）。

図１１は、本実施の形態における関連付け情報記憶部２４に記憶される関連付け情報のデータ構成の一例を示す図である。関連付け情報は、原稿ＩＤに、コメントが付けられるコンテンツに関するコンテンツ情報と当該コンテンツに付けるコメントに関するコメント情報とを対応付けして含む。コンテンツ情報において、コンテンツＩＤには、コメントが付けられたコンテンツ、すなわち上記注目箇所に該当するコンテンツのコンテンツＩＤが設定される。位置情報は当該コンテンツの位置情報であり、コンテンツは当該コンテンツの画像情報である。これらは、原稿情報記憶部２１に記憶されている当該原稿の原稿情報から読み出して設定すればよい。コメント情報において、用紙ＩＤには、当該コメントが記入された別紙の別紙ＩＤが設定される。コメントＩＤ、位置情報及びコメントは、コメント情報記憶部２３に記憶されている当該コメントのコメント詳細情報から読み出して設定すればよい。

上記例の場合、１つの原稿（原稿ＩＤ）に対して１又は複数のコンテンツに対応するコンテンツ情報が設定される。また、１つのコンテンツ情報に対して１又は複数のコメントに対応するコメント情報が設定される。

本実施の形態によれば、レビュワーの視線の動きを検出することで、コメント対象のコンテンツと当該コンテンツに付けたコメントとを紐付けることができる。以上の処理では、１のコンテンツに対して１又は複数のコメントが紐付けされることになる。ただ、前述したようにレビュワーの視線の動きに応じて注目箇所であるコンテンツ５２に代えて関連候補のコンテンツ５３を注目箇所とするのではなく、コンテンツ５３を注目箇所に追加することによって複数のコンテンツ５２，５３を注目箇所としてもよい。すなわち、この場合は、１のコメントに複数のコンテンツ５２，５３を紐付けることになる。このように、コンテンツとコメントが１対多ではなく、多対１の関係としてもよい。

上記説明では、説明の便宜上、レビュー対象の原稿と、原稿に対するコメント書込用紙として１枚の別紙を事前に用意した場合で説明した。ただ、コメントの量が多くなり、複数枚の別紙が必要となる場合も考えられる。この場合でも、本実施の形態では、各別紙に用紙ＩＤが割り当てられていることにより上記構成にて対応することが可能である。

また、別紙を用意せずに原稿の裏面にコメントを記入する場合も考えられる。この場合、原稿の裏面がコメント書込用紙として利用されることになるが、コンテンツが記載されている原稿の表面とは異なる用紙ＩＤを原稿の裏面に割り振っておくことで、前述した別紙と同様に処理することができる。

また、原稿の表面に、コメントを記入するだけの余白がある場合、別紙ＩＤの代わりに原稿の表面の用紙ＩＤを用いるだけで、別紙を用意したときと同じように処理することができる。この場合、原稿の表面がコメント書込用紙として利用されることになる。ただ、上記説明では原稿から視線を外した場合に記録を停止するようにしたが、余白を利用する場合、原稿から視線が外れないので、原稿上のコンテンツの記載領域から外れた場合に記録を停止するように処理する必要がある。

コメントがいずれに記入されるにしても、書込検出部１５は、レビュワーがコメントを書いていることを検出し、その検出したコメントを受け付ける。

なお、１枚の別紙を複数の原稿に共通して使用する場合も考えられるが、この場合も上記と同様に処理することで対応できる。ただ、どの原稿に対するコメントかを対応付けるためにコメント情報には、図１１に示すようにコメントＩＤに対応させて原稿ＩＤを設定登録しておく必要がある。

ところで、上記説明では、視線の動きによってコンテンツとコメントとを紐付けるが、常に正しい紐付けができるとは限らない。そこで、本実施の形態においては、修正処理部１９を設けて、生成した関連付け情報を修正できるようにした。この修正処理について、図１２を用いて説明する。

図１２は、コメント対象候補コンテンツが別紙上に表示された場合の例を示す図である。関連情報が生成された後にレビュワーが例えばペンでコンテンツを指し示したり、コンテンツの周囲に丸を付けたりする（囲む）など所定の操作をすると、修正処理部１９は、コメント情報記憶部２３の注目箇所及び関連候補からコメント対象候補コンテンツ５１～５３のコンテンツＩＤを取り出し、そのコンテンツＩＤに対応するコンテンツの画像情報を原稿情報記憶部２１から読み出す。なお、紐付けの修正対象とするコメントを別紙上で指定させるようにし、その指定されたコメントに紐付いている注目箇所及び関連候補を取り出すようにしてもよい。

表示制御部１８は、修正処理部１９からの指示に応じて読み出されたコンテンツの画像情報をメガネ４０に表示させる。メガネ４０に表示されることで、レビュワーは、見ている別紙等の用紙の上にコンテンツ５１～５３が表示されているかのように見える。そして、レビュワーは、ペンで指し示すなどの所定の選択操作をすることで、表示されているコンテンツ５１～５３の中から紐付け対象とする１又は複数のコンテンツを選択する。修正処理部１９は、選択されたコンテンツを受け付けると、そのコンテンツのコンテンツＩＤで、関連情報のコンテンツＩＤを更新する。また、この更新に応じて関連情報のコンテンツ情報に含まれる位置情報及びコンテンツも合わせて更新する。

なお、説明の簡略化のために、本実施の形態に用いる用紙には、それぞれ用紙ＩＤと用紙の大きさ（領域）を規定するためのタグが取り付けられているものとして説明した。取り付けられていると言っても、物理的な物を取り付ける必要はなく、タグを印刷してもよい。また、必ずしもタグを利用する手法に限る必要はない。例えば、テーブルとは異なる色の用紙を用いて、色を判別することによって用紙を識別できるようにしてもよい。また、視野内にある用紙が原稿か別紙かをレビュワーに指定させるようにしてもよい。

次に、本実施の形態が提供する、レビュワーによるレビューを支援する機能について説明する。なお、前述したように、表示制御部１８は、メガネ４０に設けられている透過性のある表示画面にコンテンツの画像を表示させることによって、レビュワーは、あたかもメガネ４０を通した先の、例えば別紙上にコンテンツが表示されているかのように見える。このように、画像はメガネ４０の表示画面に表示されるが、以降の説明では、説明の便宜上、表示制御部１８は、画像を別紙上に表示させるなどのように、メガネ４０への表示制御を省略して記載することにする。

上記説明では、コメントを別紙に書き込む場合を例にして説明した。別紙の場合、原稿と並べて置けば、原稿上のコンテンツを見ながらコメントを別紙に書き込むことができる。ただ、コメントを原稿の裏面に記入する場合もある。この場合、レビュワーは、コメントを裏面に記入しているときにコンテンツを見るためには、コメントの記入を中断して原稿をひっくり返す必要がある。そして、コンテンツを確認している間は、コメントを記入することができない。

そこで、本実施の形態における表示制御部１８は、コメント対象候補コンテンツの画像を原稿情報記憶部２１から読み出し、コメントが書き込まれていない裏面上のスペースにコンテンツが表示されるようにメガネ４０への表示を制御する。この表示の状態を図１３に示す。図１３には、原稿の裏面にコメント対象候補コンテンツ５１～５３の画像が表示されている例が示されている。これにより、レビュワーは、原稿を裏返して原稿の表面を見ることなくコメント対象候補コンテンツ５１～５３を確認しながらコメントを記入することができる。なお、ここでは、コメント対象候補コンテンツを表示対象としたが、表示スペース等の関係からコメント対象コンテンツ（注目箇所）のみを表示対象としてもよい。以上説明したように、表示制御部１８は、コメント対象候補コンテンツの画像を、紐付けられているコメントの書込位置近傍で視認されるよう表示制御する。

なお、上記説明では、原稿の裏面にコメントを記入する場合を例にして説明したが、別紙においても同様にコンテンツが別紙上に表示されるように表示制御してもよい。コンテンツが別紙上に表示されるようにすれば、レビュワーは、コンテンツを確認するために視線を原稿に戻す必要がなくなる。

また、コンテンツは、必ずしも用紙上に表示させる必要はない。原稿より別紙に近い位置に表示するようにしてもよい。

原稿の裏面や別紙上にコンテンツを表示させる場合、用紙の空きスペース（コメントが記入されていない領域）上、コメント対象候補コンテンツを原稿と同様の形態にて表示できるとは限らない。そこで、本実施の形態では、コンテンツの画像の表示形態を原稿（オリジナル）と異なる表示形態にて表示できるようにした。

図１４は、コンテンツの画像の表示の一例を示す図である。図１４に示すように、別紙には、既にコメントが記入されており、原稿上のコンテンツをそのままの形態では表示できない場合、図１４に示すように、コンテンツを立体的に表示してもよい。このように、別紙の空きスペースに応じてコンテンツの表示形態を制御してもよい。なお、ここでは、立体的に表示する場合を例にしたが、これの限る必要はない。例えば、別紙の空きスペースに応じてコンテンツを拡縮して表示させてもよい。縮小表示すれば、コンテンツの表示スペースが確保しやすくなる。一方、表示スペースが確保できるのであれば、拡大表示してもよい。拡大表示することでコンテンツが見やすくなる。

図１５は、原稿と別紙の表示の一例を示す図である。前述したように、原稿のコンテンツ５７に対応させて原稿の余白にもコメント５８を記入することができる。ただ、余白にコメントを記入したものの、原稿上にコメントを更に記入するスペースが無くなり、コメントの続きを別紙に記入することになる場合がある。この場合、余白に記入したコメント５８をコンテンツ５７と共に別紙上に表示されるのが都合よい。このようにすれば、記入済みのコメント５８を参考にして続きのコメントを別紙に記入することができる。なお、表示制御部１８は、コメント対象のコンテンツ５７に関する情報は原稿情報から、余白に記入したコメント５８に関する情報かコメント情報から取得することによって別紙に表示させることは可能である。

なお、ここでは、余白に記入したコメントを例にして説明したが、原稿の裏面に記入したコメントを別紙に表示させるようにしてもよい。その逆に、原稿の裏面にコメントを記入する際、余白や別紙に記入したコメントを原稿の裏面に表示させるようにしてもよい。このように、コメント対象コンテンツに紐付けられたコメントが既に存在する場合、表示制御部１８は、当該コメントの画像をユーザによるコメントの書込位置近傍に表示されるように表示制御する。

前述したように、１つのコメントを複数のコンテンツに紐付けることが可能である。例えば、図１２を用いて説明したように、レビュワーが複数のコンテンツを指定すればよい。ただ、レビュワーが任意に複数のコンテンツを指定するのではなく、コンテンツの関係性に応じて複数のコンテンツを自動的に選出してコメントを紐付けるようにしてもよい。

例えば、文書のコンテンツの中に図番が記載されている場合、当該文書のコンテンツは、当該図番に対応する図面の説明文と考えられる。つまり、当該文書のコンテンツと当該図面のコンテンツとは、何らかの関係があると考えられる。当該文書のコンテンツがコメント対象コンテンツとなる場合、コメント情報生成部１６は、当該文書のコンテンツと関係性のある図面のコンテンツも合わせてコメント対象コンテンツとして抽出する。あるいは、原稿情報が事前に用意されていて、その中にコンテンツの関連情報が含まれている場合、その情報を参照してもよい。

《レビュイーによるコメントの閲覧》
レビュワーによる原稿のレビューについては、以上の通りである。続いて、レビュイーによるコメントを閲覧する場合の処理について説明する。

図１６は、本発明に係る情報処理装置の一実施の形態を示すブロック構成図である。なお、情報処理装置６０のハードウェア構成は、図２と同様でよい。レビュイーにより利用される情報処理装置６０は、用紙検出部６１、関連付け情報特定部６２、視線検出部６３、視線解析部６４、表示制御部６５、視線保持部６６及び関連付け情報記憶部６７を有している。なお、本実施の形態の説明に用いない構成要素については図から省略している。用紙検出部６１は、前述した用紙検出部１１と同じ処理機能を有しており、メガネ４０を通してユーザが見ている用紙を検出する。関連付け情報特定部６２は、用紙検出部６１が検出した原稿を解析することで当該原稿に対応する関連付け情報を特定する。視線検出部６３は、前述した視線検出部１３と同じ処理機能を有しており、メガネ４０を通して用紙を見るユーザの視線及び視線の動きを検出する。検出されるユーザの見る位置を特定する情報は視線保持部６６に保持される。視線解析部６４は、前述した視線解析部１４と同じ処理機能を有しており、視線保持部６６に保持されているユーザの視線の動きを解析することによってユーザが見ているコンテンツを検出する。表示制御部６５は、前述した表示制御部１８と同様にメガネ４０の表示画面への表示制御を行う。

視線保持部６６及び関連付け情報記憶部６７は、前述した視線保持部２２及び関連付け情報記憶部２４と同じでよい。関連付け情報記憶部６７は、情報処理装置１０で生成された関連付け情報を取得し保存することで生成される。

情報処理装置６０における各構成要素６１～６５は、情報処理装置６０を形成するコンピュータと、コンピュータに搭載されたＣＰＵ３１で動作するプログラムとの協調動作により実現される。また、各記憶手段６６，６７は、情報処理装置６０に搭載されたＨＤＤ３４にて実現される。あるいは、ＲＡＭ３３又は外部にある記憶手段をネットワーク経由で利用してもよい。

次に、本実施の形態におけるコメントの表示処理について図１７に示すフローチャートを用いて説明する。

レビュワーは、レビューを終了すると原稿をレビュイーに返却する。レビュイーは、原稿を受け取るとコメントを確認する際にメガネ４０をかける。レビュイーは、コメントを確認する間はメガネ４０をかけ続けることになる。視線検出部６３は、レビュイーがメガネ４０をかけている間、特に断らない限りレビュイーの見る先、すなわち視線及びその動きを検出して視線保持部６６に保持する。視線保持部６６に保持するデータの構成や形式は、特に限定する必要はない。

レビュイーは、返却された原稿を視野内に収める。これにより、用紙検出部６１は、メガネ４０を通して見える原稿の原稿ＩＤコード及びタグを検出することで原稿を検出する（ステップ１２１）。用紙検出部６１は、タグの位置を検出することによって視野内における原稿の位置を常時特定する。

原稿が検出されると、関連付け情報特定部６２は、原稿上の原稿ＩＤコードを解読することによって原稿ＩＤを取得し、その取得した原稿ＩＤで関連付け情報記憶部６７を検索することによって関連付け情報を特定する（ステップ１２２）。そして、視線解析部６４は、視線保持部２２に記録されている視線の動きを解析することによってレビュイーが見ている原稿上のコンテンツを特定する（ステップ１２３）。コンテンツが特定されると、表示制御部６５は、関連付け情報特定部６２が特定した関連付け情報を取得し、その関連付け情報において当該コンテンツに対応するコメント情報を取得する（ステップ１２４）。そして、次のようにコメントの画像をメガネ４０の表示画面に表示させる（ステップ１２５）。メガネ４０の表示画面に表示させることで、レビュイーは、コメントの画像を原稿上の以下に説明する位置に見ることができる。

まず、表示制御部６５は、レビュイーが見ていたコンテンツに付加されたコメントの画像を、原稿上の当該コンテンツの位置近傍に表示させる。これにより、レビュイーは、コンテンツから視線をそれほど動かすことなくコメントを見ることができる。すなわち、ここでいう「近傍」というのは、レビュイーがコンテンツから視線をそれほど動かすことなくコメントを見ることができる位置である。ただ、一概にコンテンツとコメントの位置関係を物理的な距離によって具体的に示すことができない。原稿とレビュイーの目との距離にも依存するからである。従って、コンテンツに対する視線とコメントに対する視線との間の角度と所定の閾値との大小関係によって近傍かどうかを判断してもよい。図３Ａに例示した２段組で記載された原稿の場合、紙面左側のコンテンツの近傍は、左側半分と考えられる。ただ、紙面左側のコンテンツでも右側寄りのコンテンツであれば、そのコンテンツの近傍には、右側半分を含めてもよい。

まず、表示制御部６５は、コンテンツの位置の近傍にコメントを表示するための余白が原稿上にあれば、その余白にコメントを表示させる。余白がない場合、コメント表示対象のコンテンツに近い位置にある他のコンテンツ上にコメントを重畳させて表示させる。ただ、単に重畳させると文字等が重なって読みづらくなる場合があるので、他のコンテンツを例えば白塗りしたりしてからコメントを表示させるのが好ましい。

以上説明したように、本実施の形態によれば、原稿上にレビュワーにより書き込まれたコメントの画像を表示させることによって、コンテンツと当該コンテンツに紐付けられたコメントの双方を原稿上でレビュイーに読ませることができる。

レビュイーは、コメントが表示されると、コンテンツとコメントを見ることになるが、視線検出部６３は、その間もレビュイーの視線の動きを検出し、また、視線解析部６４は、視線保持部２２に記録されている視線の動きを解析することによってレビュイーがどのコンテンツを見ているのかを特定する。レビュイーが同じコンテンツを見ている場合（ステップ１２５でＮ）、原稿が視野の中に検出されている間は（ステップ１２７でＮ）、レビュイーはまだコメントを見ていると判断してステップ１２６に戻る。

一方、視線解析部６４が、レビュイーが現在見ているコンテンツから視線を外して他のコンテンツに視線を移したことを検出した場合（ステップ１２６でＹ）、レビュイーが見ている他のコンテンツを特定する（ステップ１２３）。そして、前述したように、表示制御部６５は、新たに見たコンテンツに対応するコメントの画像を表示させる（ステップ１２５）。そして、原稿が視野の中に検出されなくなると（ステップ１２７でＹ）、レビュイーによるコメントのチェックは終了したものと判断して処理を終了する。

ところで、上記説明では、コメントが書き込みされた別紙を用意しない場合を説明したが、レビュイーは、別紙を見るようにしてもよい。

すなわち、用紙検出部６１によって視野の中に別紙が検出されると、用紙解析部１２は、別紙ＩＤコードを解読することによって別紙ＩＤを取得し、その取得した別紙ＩＤで関連付け情報記憶部６７を検索することによって関連付け情報を特定する。そして、視線解析部６４は、視線保持部２２に記録されている視線の動きを解析することによってレビュイーが見ている原稿上のコメントを特定する。コメントが特定されると、表示制御部６５は、当該コメントに対応するコンテンツ情報を取得して、次のようにコンテンツの画像をメガネ４０の表示画面に表示させる。メガネ４０の表示画面に表示させることで、レビュイーは、コンテンツの画像を別紙上の以下に説明する位置に見ることができる。

原稿が視野の中にある場合でも、ない場合でも、コメントの近傍にコンテンツの画像を表示させることによってコンテンツと当該コンテンツに紐付けられたコメントの双方を別紙上でレビュイーに読ませることができる。表示制御部６５は、レビュイーが見ていたコメントに対応するコンテンツの画像を、別紙上の当該コメントの位置近傍に表示させることにより、レビュイーは、コメントから視線をそれほど動かすことなくコンテンツを見るとができる。

なお、以上の説明から明らかなように、別紙上にコンテンツを表示させる処理は、前述した原稿上にコメントを表示させる処理と同様に処理すればよい。ここでは、別紙を例にして説明したが、原稿の裏面にコメントが書き込まれている場合でも、同様に処理すればよい。

また、別紙にコンテンツを表示させる場合、表示制御部６５は、コンテンツの画像を別紙上のコメントが書き込まれていない領域の大きさに応じて拡縮して表示させてもよい。縮小表示すれば、コンテンツの表示スペースが確保しやすくなる。一方、表示スペースが確保できるのであれば、拡大表示してもよい。拡大表示することでコンテンツが見やすくなる。あるいは、図１４のようにコンテンツを立体的に表示してもよい。

上記説明では、コメントが書き込まれた別紙が視野内になくても原稿上にコメントの画像を、あるいは原稿が視野内になくても別紙上にコンテンツの画像をそれぞれ表示させることで、レビュイーは、視線をそれほど動かさなくてもすむ。もちろん、視野内に原稿と別紙の双方が検出されていてもよい。この場合、レビュイーが原稿上のコンテンツを見ると、表示制御部６５は、当該コンテンツに紐付くコメントを、他のコメントと異なる表示形態にて表示させるようにして、別紙上のコメントの中から当該コンテンツに紐付くコメントを見つけやすくしてもよい。例えば、当該コンテンツに紐付くコメントを強調表示したり、色を変化させたり、あるいはコメントを囲む枠を表示させたりしてもよい。あるいは、当該コンテンツに紐付くコメント以外のコメントを、薄い色で表示したりして目立たないようにしてもよい。

この逆に、レビュイーが別紙上のコメントを見ると、表示制御部６５は、当該コメントに紐付くコンテンツを、他のコンテンツと異なる表示形態にて表示させるようにして、原稿上のコンテンツの中から当該コメントに紐付くコンテンツを見つけやすくしてもよい。

なお、本実施の形態では、視線を検出するメガネ４０のレンズ部分に設けられている表示画面に画像を表示させることによって、コメント又はコンテンツの近傍にコンテンツ又はコメントの画像を表示されているかのように表示の制御をした。ただ、画像の表示は、これに限る必要ない。例えば、画像の投影手段を設け、視線の先に画像を投影するようにして画像を表示させるようにしてもよい。

１０，６０ 情報処理装置、１１，６１ 用紙検出部、１２ 用紙解析部、１３，６３ 視線検出部、１４，６４ 視線解析部、１５ 書込検出部、１６ コメント情報生成部、１７ 関連付け処理部、１８，６５ 表示制御部、１９ 修正処理部、２１ 原稿情報記憶部、２２，６６ 視線保持部、２３ コメント情報記憶部、２４，６７ 関連付け情報記憶部、３１ ＣＰＵ、３２ ＲＯＭ、３３ ＲＡＭ、３４ ハードディスクドライブ（ＨＤＤ）、３５ マウス、３６ キーボード、３７ ディスプレイ、３８ 入出力コントローラ、３９ ネットワークコントローラ、４０ メガネ、４１ メガネコントローラ、４２ 内部バス、６２ 関連付け情報特定部。

Claims (22)

1. 用紙がコメントの付加対象となる用紙の場合、当該用紙に形成されている複数のコンテンツの位置情報を取得するコンテンツ位置取得手段と、
   前記用紙を見るユーザの視線を検出する視線検出手段と、
   当該ユーザがコメントを書いた場合、前記複数のコンテンツのうち、前記コメントを書く前にユーザの視線があったコンテンツをコメント対象コンテンツとして特定する特定手段と、
   前記コメント対象コンテンツと前記コメントを関連付ける関連付け手段と、
   前記ユーザとは異なるユーザであり、前記コメントを閲覧するユーザである閲覧ユーザによって前記コメントが閲覧される場合に、前記コメントに関連づけられたコンテンツが、前記コメント対象コンテンツであることが認識できる表示をするよう制御する表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記特定手段は、前記コメントを書いたユーザが視線を動かすことで見た前記用紙上の１又は複数のコンテンツをコメント対象候補コンテンツとして抽出すると共に、抽出したコメント対象候補コンテンツの中から前記コメントを書く前にユーザの視線があったコメント対象候補コンテンツを前記コメント対象コンテンツと特定することを特徴とする請求項１に記載の情報処理装置。
3. 前記特定手段は、ユーザがコメントを書き込んだ後に前記用紙上のコメント対象候補コンテンツを見てからコメントを再度書き込んだ場合、当該コメント対象候補コンテンツをコメント対象コンテンツとして扱うことを特徴とする請求項２に記載の情報処理装置。
4. 前記特定手段は、ユーザがコメントを書き込んだ後に見たコメント対象候補コンテンツで既存のコメント対象コンテンツを差し替えることを特徴とする請求項３に記載の情報処理装置。
5. 前記特定手段は、ユーザがコメントを書き込んだ後に見たコメント対象候補コンテンツをコメント対象コンテンツとして追加することを特徴とする請求項３に記載の情報処理装置。
6. 前記表示制御手段は、前記コメント対象候補コンテンツをユーザに選択可能に表示させ、
   前記特定手段は、ユーザにより選択された１又は複数のコメント対象候補コンテンツを前記コメント対象コンテンツと特定することを特徴とする請求項２に記載の情報処理装置。
7. コメント書込用紙に書き込まれたコメントを受け付ける受付手段を有することを特徴とする請求項１に記載の情報処理装置。
8. 前記受付手段は、前記用紙と前記コメント書込用紙が同じ用紙の場合、前記用紙の前記コンテンツが形成されている面の余白に書き込まれたコメントを受け付けることを特徴とする請求項７に記載の情報処理装置。
9. 前記受付手段は、前記用紙と前記コメント書込用紙が同じ用紙の場合、前記用紙の前記コンテンツが形成されている面の裏面に書き込まれたコメントを受け付けることを特徴とする請求項７に記載の情報処理装置。
10. 前記受付手段は、前記用紙と前記コメント書込用紙が異なる用紙の場合、前記コメント書込用紙に書き込まれたコメントを受け付けることを特徴とする請求項７に記載の情報処理装置。
11. 前記表示制御手段は、前記コメント対象コンテンツの画像が前記関連付け手段により関連付けられたコメントの書込位置近傍で視認されるよう表示制御することを特徴とする請求項１に記載の情報処理装置。
12. 前記表示制御手段は、前記用紙上における前記コメント対象コンテンツと異なる表示形態にて当該コメント対象コンテンツの画像を表示させることを特徴とする請求項１１に記載の情報処理装置。
13. 前記表示制御手段は、前記コメント対象コンテンツを表示する用紙上のスペースに応じて前記コメント対象コンテンツの画像を拡縮して表示させることを特徴とする請求項１２に記載の情報処理装置。
14. 前記表示制御手段は、前記コメント対象コンテンツに前記関連付け手段により関連付けられたコメントが既に存在する場合、当該コメントの画像を前記ユーザが現在書き込んでいるコメントの位置近傍に表示させることを特徴とする請求項１１に記載の情報処理装置。
15. コメントの付加対象となる用紙を見るユーザの視線を検出する視線検出手段と、
    前記用紙の識別情報に、当該用紙上のコンテンツであってコメントの付加対象とされたコンテンツの識別情報、当該コンテンツの当該用紙上における位置を特定する位置情報、当該コンテンツに対するコメントが書き込まれたコメント書込用紙の識別情報、当該コメントの識別情報及び当該コメントを対応付け生成された関連付け情報を取得する取得手段と、
    ユーザが前記用紙上のコンテンツを見たときに、前記関連付け情報を参照することによって当該コンテンツ及び当該コンテンツに付加されたコメントが視野内に入るよう表示を制御する表示制御手段と、
    を有することを特徴とする情報処理装置。
16. 前記表示制御手段は、ユーザが見ている前記用紙上のコンテンツに付加されたコメントの画像を、前記用紙上の当該コンテンツの位置近傍に表示させることを特徴とする請求項１５に記載の情報処理装置。
17. 前記表示制御手段は、前記用紙の余白部分に表示させることを特徴とする請求項１６に記載の情報処理装置。
18. 前記表示制御手段は、前記用紙上の当該コンテンツ以外のコンテンツの位置に表示させることを特徴とする請求項１６に記載の情報処理装置。
19. 前記表示制御手段は、前記コメント書込用紙に書き込まれたコメントと紐付くコンテンツの画像を前記コメント書込用紙の面に表示させることを特徴とする請求項１５に記載の情報処理装置。
20. 前記表示制御手段は、前記コンテンツの画像を前記コメント書込用紙上のコメントが書き込まれていない領域の大きさに応じて拡縮して表示させることを特徴とする請求項１９に記載の情報処理装置。
21. コンピュータを、
    用紙がコメントの付加対象となる用紙の場合、当該用紙に形成されている複数のコンテンツの位置情報を取得するコンテンツ位置取得手段、
    前記用紙を見るユーザの視線を検出する視線検出手段、
    当該ユーザがコメントを書いた場合、前記複数のコンテンツのうち、前記コメントを書く前にユーザの視線があったコンテンツをコメント対象コンテンツとして特定する特定手段、
    前記コメント対象コンテンツと前記コメントを関連付ける関連付け手段、
    前記ユーザとは異なるユーザであり、前記コメントを閲覧するユーザである閲覧ユーザによって前記コメントが閲覧される場合に、前記コメントに関連づけられたコンテンツが、前記コメント対象コンテンツであることが認識できる表示をするよう制御する表示制御手段、
    として機能させるためのプログラム。
22. コンピュータを、
    コメントの付加対象となる用紙を見るユーザの視線を検出する視線検出手段、
    前記用紙の識別情報に、当該用紙上のコンテンツであってコメントの付加対象とされたコンテンツの識別情報、当該コンテンツの当該用紙上における位置を特定する位置情報、当該コンテンツに対するコメントが書き込まれたコメント書込用紙の識別情報、当該コメントの識別情報及び当該コメントを対応付け生成された関連付け情報を取得する取得手段、
    ユーザが前記用紙上のコンテンツを見たときに、前記関連付け情報を参照することによって当該コンテンツ及び当該コンテンツに付加されたコメントが視野内に入るよう表示を制御する表示制御手段、
    として機能させるためのプログラム。
    

Images