JP6070795B2 - 情報処理装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、アノテーションを投影することが可能な情報処理装置、その制御方法、及びプログラムに関する。

紙の省資源化などの必要性から、例えば、金融機関のカウンタなどにおいて、プロジェクタによる資料の投影が行われる。具体的にはテーブルなどの水平な面に対して鉛直方向からプロジェクタで資料を投影し、投影される画面に対するユーザからのタッチ操作に応じて、投影された資料を切り替えながら、金融商品の説明などが行われている。

金融商品の説明では、資料に記載されている情報だけではなく、説明員（以後、テラー）による注意事項などのコメントを資料と共に記録しておきたいことがある。

ところが、このような仕組みで行われるプロジェクタにより投影される資料は電子データであるため、附箋のようなメモを投影されている資料に記録するためには、電子データである注釈（以降、アノテーション）を付与する機能を用いなければならない。

この機能は、テキストの入力を行うことが可能なアノテーションを生成し、資料に重畳表示をすることでユーザは紙文書と同様に、あたかも附箋を貼っているかのような認識をすることが可能になるものである。

下記の特許文献１では、現実物体である対象物に対して投影される注釈画像（本発明でいうアノテーション）の表示の向きを対象物の移動する方向に応じて回転させる仕組みが開示されている。

特開２０１０−１０９７７４号公報

ところで、一般的に金融機関のカウンタでは顧客とテラーはテーブルを挟んで相対する位置に座り、二者の間のテーブル上に投影される資料によりテラーは金融商品の説明を進めていく。

商品の説明を行う中で、上述したアノテーションの機能を用いてテラーがテラー自身のためにアノテーションを作成し、メモとして使用することがある。そのため、アノテーションを作成した場合には、アノテーションの表示の向きはテラーの向きで作成される。

一方で、テラーが顧客のためにアノテーションを作成することもある。アノテーションは前述したようにテラー向きに作成される。したがって上記のアノテーション機能では顧客のために作成したアノテーションであっても表示の向きはテラーの向きになっているため、顧客からはアノテーションが見にくくなってしまう。

そこで本発明の目的は、投影面上のアノテーションの表示される向きを適切な向きとすることの可能な仕組みを提供することである。

上記の目的を達成するために、本発明の情報処理装置は、投影面上に文書データとアノテーションとを表示するように制御する表示制御手段と、前記投影面上のアノテーションの移動指示を受け付ける移動指示受付手段と、前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置である場合には、前記表示制御手段で表示される前記文書データの向きと同じになるように、前記表示制御手段で表示される前記アノテーションの向きを調整し、前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置でない場合には、前記表示制御手段で表示される前記アノテーションの向きを調整しない表示向き調整手段とを備えることを特徴とする。

本発明によれば、投影面上のアノテーションの表示される向きを適切な向きとすることができる。

本発明の実施形態における情報処理システムのシステム構成の一例を示す構成図である。 投影撮像装置１０２の外観構造及び内部構造の概要の一例を示す図である。 投影撮像装置１０２を用いて投影した投影画像を用いて、商品説明を行う場合の一例を示す図である。 情報処理装置１０１及び投影撮像装置１０２のハードウェア構成の一例を示す図である。 情報処理装置１０１の機能構成の一例を示す図である。 メニュー画面７００において操作を受け付ける処理のフローチャートの一例を示す図である。 メニュー画面７００の画面構成の一例を示す図である。 商品説明処理のフローチャートの一例を示す図である。 商品説明画面９００の画面構成の一例を示す図である。 文書データ管理テーブル１１００のテーブル構成の一例を示す図である。 図８に示すアノテーション移動処理の詳細を説明するフローチャートの一例を示す図である。 図１１に示すアノテーション移動の際のアノテーションの回転を模式的に表した模式図の一例を示す図である。 アノテーションを表示する位置や表示されるテキスト内容などを格納するためのデータテーブルの一例を示す構成図である。 商品説明画面９００上の領域であって、アノテーションの表示する向きを切り替える領域を格納するためのテーブルであるアノテーション回転領域テーブル１４００の一例を示す構成図である。 第２の実施例における商品説明処理の一連の処理の流れの一例を示す図である。 第２の実施例におけるアノテーション移動処理の一連の流れの一例を示す図である。 図１５に示すテラーＩＤと顧客ＩＤの入力を受け付けることの可能な画面であるＩＤ入力受付画面１７００の一例を示す構成図である。 情報処理装置１０１に記憶された顧客情報テーブル１８００の構成の一例を示す構成図である。 情報処理装置１０１に記憶されたアノテーションテーマテーブル１９００の構成の一例を示す構成図である。 第２の実施例のアノテーション移動の際のアノテーションの回転と種類の変更を表した模式図の一例を示す図である。 アノテーションを生成する際にデフォルトで表示する位置や方向を格納するデータテーブルの一例を示す構成図である。 本発明の第３の実施例における商品説明処理の詳細な処理を説明するフローチャートである。 本発明の第３の実施例におけるアノテーション移動処理の詳細な処理を説明するフローチャートである。 本発明の第３の実施例における文書データ管理テーブル２４００の一例を示すデータテーブルである。 本発明の第３の実施例におけるアノテーションてテーブル２５００の一例を示すデータテーブルである。 本発明の第３の実施例における文書表示・操作処理の詳細な処理を説明するフローチャートである。 本発明の第３の実施例におけるアノテーション表示画面２７００の一例を示す図である。

以下、図面を参照しながら、本発明の第１の実施例について説明する。

図１は、本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。情報処理システムは、情報処理装置１０１と投影撮像装置１０２（表示部）を含む。情報処理装置１０１は、投影撮像装置１０２と通信可能に接続されており、更にディスプレイ４１０と入力デバイス４０９とも通信可能に接続されている。図１では、これらの装置は有線で接続されているが、無線であってもよい。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は、オペレーティングシステムを搭載する汎用的な装置である。情報処理装置１０１は、情報処理装置１０１に接続された各種デバイスに対して各種動作を実行するよう指示を行う。

投影撮像装置１０２は、デジタルカメラと赤外線センサとプロジェクタとを備える装置である。情報処理装置１０１からの指示に応じてプロジェクタで投影をし、投影された机上等の投影面をデジタルカメラで撮像し、また投影面上でユーザの手の動きや物体の位置を認識する。

投影撮像装置１０２の外部構造及び内部構造の概要の一例について、図２を用いて説明する。

図２は、投影撮像装置１０２の正面図と右側面図である。内部構造の隠れ線は破線で表現している。投影撮像装置１０２は、デジタルカメラ４２１と赤外線センサ４２２とプロジェクタ４２３とを格納する収納部２０３を備え、収納部２０３は底面２０１と左側面２０２ａと右側面２０２ｂとで左右から挟みこんで固定している。

また、上面２０４が左側面２０２ａと右側面２０２ｂとの上部に設置され、上面２０４の下側にはプロジェクタ４２３から照射される光を反射するための反射鏡２０７を備える。すなわち、プロジェクタ４２３は第１の開口部２０５を通してこの反射鏡２０７に向けて投影できるよう、設置されている。デジタルカメラ４２１も同様に、反射鏡２０７で反射した投影面を撮像するため、デジタルカメラ４２１は第２の開口部２０６を通して反射鏡２０７に向けて設置されている。

また赤外線センサ４２２は、例えば赤外線を用いた深度センサである。これはプロジェクタ４２３が投影した投影面上におけるユーザの手や紙文書等の位置や動きを特定するために、赤外線センサ４２２からこれらの物体までの距離を算出する。赤外線センサ４２２は、近赤外線のドットパターンを現実空間に投影し、このドットの形や間隔を取得することで物体までの距離を算出する。または、赤外線光を投影し、赤外線センサ４２２が備えるカメラによって反射した赤外線光を読み取り、赤外線光が往復した時間を算出することで距離を算出する方式であってもよい。現実空間における物体の位置や動きを取得することができれば、赤外線センサ４２２の距離の算出方式はどのような方式であってもよいし、赤外線センサ４２２以外のセンサを用いてもよい。また、赤外線センサ４２２もデジタルカメラ４２１と同様に、第２の開口部２０６を通して反射鏡２０７に向けて設置されている。この反射鏡２０７に向けて赤外線を照射する。

投影撮像装置１０２は以上のように大きく３つの装置を内包しており、これらがそれぞれ情報処理装置１０１と通信可能に接続されている。本実施形態においては、情報処理装置１０１と投影撮像装置１０２とが異なる筐体であるが、同一の筐体であってもよい。すなわち、投影撮像装置１０２に更に情報処理装置１０１を内包してもよい。

次に図３を用いて、本実施形態における投影撮像装置１０２とユーザとの位置関係について説明する。投影撮像装置１０２は、机上３０３に設置される。本実施形態では机を挟んで二人のユーザがいる。銀行窓口で商品説明を行うテラー３０１と、商品説明を受ける顧客３０２である。

テラー３０１は、入力デバイス４０９を操作して情報処理装置１０１に画面の表示指示を行うと、情報処理装置１０１からプロジェクタ４２３に対して当該画面の投影指示が送信される。プロジェクタ４２３はこれを受けると反射鏡２０７に向かって左右を反転させた画面を投影する。これは、反射鏡２０７で反射することにより、投影面３０４に投影される像が左右反転してしまうからである。こうすると、投影面３０４に指示した画面が投影される。画面を左右に反転させる処理は、情報処理装置１０１が行ってもよいし、プロジェクタ４２３が行ってもよい。また投影面３０４は、投影される光が見やすいよう模様のない白い面であることが望ましい。

プロジェクタ４２３から照射された光が反射鏡２０７で図３の破線の矢印で示すような方向に反射されると、その光が投影面３０４に投影される。この光によって表現される画面を見て、テラー３０１が顧客３０２に商品説明を行う。本実施形態では、このようにテラー３０１と顧客３０２とが机を挟んで位置しており、それぞれが投影された画面を見ながら操作していく形態を前提として説明を行う。

図４は、情報処理装置１０１及び投影撮像装置１０２のハードウェア構成の一例を示す図である。

ＣＰＵ４０１は、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ４０２あるいは外部メモリ４１１には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳという。）や、情報処理装置１０１の実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＡＭ４０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、汎用入出力コントローラ４０５は、キーボードやマウス等の入力デバイス４０９、更には投影撮像装置１０２のデジタルカメラ４２１や赤外線センサ４２２との入出力を制御する。これらは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のバス規格により接続される。

ビデオコントローラ４０６は、ディスプレイ４１０や投影撮像装置１０２のプロジェクタ４２３等の表示装置や投影装置への表示を制御する。ディスプレイ４１０は例えばＣＲＴや液晶ディスプレイである。更にビデオコントローラ４０６は、ディスプレイ４１０と投影撮像装置１０２のプロジェクタ４２３とそれぞれに対して同じ画面または異なる画面を表示及び投影指示する。これらは、いわゆるミラーリングやマルチモニタが可能である。

メモリコントローラ４０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ４１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ４０８は、ネットワークを介して、外部機器と接続及び通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

尚、ＣＰＵ４０１は、例えばＲＡＭ４０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ４１０上での表示や投影撮像装置１０２のプロジェクタ４２３での投影を可能としている。また、ＣＰＵ４０１は、ディスプレイ４１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。更にＣＰＵ４０１は、投影面３０４に投影された画面をユーザの手でタッチすることによっても、ユーザ指示を可能とする。すなわち、赤外線センサ４２２で検知した現実空間におけるユーザの手の座標位置に応じて、画面のボタン等が押下されたのか否かを検知し、ＣＰＵ４０１に動作を実行させる。

本発明の情報処理装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ４１１（記憶手段の一例である）に記録されており、必要に応じてＲＡＭ４０３にロードされることによりＣＰＵ４０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ４１１に格納されている。

次に、情報処理装置１０１の機能構成の一例について図５を用いて説明する。尚、図５の情報処理装置１０１及び携帯端末１０３の機能構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は機能部として、記憶部５０１と、表示制御部５０２と、投影制御部５０３と、撮像制御部５０４と、センサ制御部５０５と、座標変換部５０６と、操作検知部５０７と、通信制御部５０８と、アノテーション付与部５０９と、アノテーション回転判定部５１０と、アノテーション表示方向制御部５１１とを備える。

記憶部５０１は、後述する各種テーブルの情報や各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。

表示制御部５０２は、情報処理装置１０１と通信可能に接続されたディスプレイ４１０の表示を制御するための機能部である。表示制御部５０２から画面等の表示指示がなされると、ビデオコントローラ４０６を介してディスプレイ４１０に表示指示が送信される。そして、ディスプレイ４１０はこの指示を受信すると、指示に従って画面等を表示する。

投影制御部５０３は、情報処理装置１０１と通信可能に接続されたプロジェクタ４２３の投影を制御するための機能部である（投影手段の一例である）。投影制御部５０３から画面等の投影指示がなされると、表示制御部５０２と同様にビデオコントローラ４０６を介してプロジェクタ４２３に投影指示が送信される。そして、プロジェクタ４２３はこの指示を受信すると、指示に従って画面等を現実空間に投影する。

撮像制御部５０４は、情報処理装置１０１と通信可能に接続されたデジタルカメラ４２１の撮像を制御するための機能部である。撮像制御部５０４から投影面３０４の撮像指示が出されると、汎用入出力コントローラ４０５を介してデジタルカメラ４２１に撮像指示がなされる。デジタルカメラ４２１はこの指示を受信すると、撮像を行い、撮像により生成された画像データを情報処理装置１０１に送信する。撮像制御部５０４は、これを受け取り、画像データを左右反転させた上で記憶部５０１が外部メモリ４１１等に記憶する。前述した通り、デジタルカメラ４２１は反射鏡２０７に写った像を撮像するため左右が反転している。これを補正するために、記憶部５０１で画像データを記憶する前に、撮像制御部５０４がこの画像データを左右反転する。

センサ制御部５０５は、情報処理装置１０１と通信可能に接続された赤外線センサ４２２から送信される、投影面３０４における現実空間の情報（物体の有無や位置等）を受信するための機能部である。赤外線センサ４２２が検出した現実空間の情報は、赤外線センサ４２２から情報処理装置１０１に対して逐一送信される。センサ制御部５０５はこれを受信し、後述する座標変換部５０６に渡す。

座標変換部５０６は、センサ制御部５０５が受信した現実空間の情報に含まれる、投影面３０４にある物体の位置を示す座標値を変換するための機能部である。座標変換部５０６は、この座標値を投影面３０４に投影された画面における座標値に変換する。すなわち、赤外線センサ４２２で検知した座標値が、情報処理装置１０１が管理する画面のどの座標値に該当するのかを、この座標変換部５０６を用いて特定する。尚、座標変換の方法は従来技術を用いるため詳細な説明は省略する。

操作検知部５０７は、ユーザからの操作を検知するための機能部である。情報処理装置１０１に接続された入力デバイス４０９を通じて送信されるユーザからの指示を検知したり、投影面３０４に投影された画面でユーザが行った指示を検知したりする。後者の指示の検知は、投影面３０４において検知した物体の座標値を座標変換部５０６で変換することにより画面上のどのボタンが押下されたのかを検知したり、書類が置かれることにより書類の取込が指示されたのかを検知したりする。

通信制御部５０８は、情報処理装置１０１と携帯端末１０３との通信を制御するための機能部である。通信制御部５０８は、情報処理装置１０１と携帯端末１０３との情報の送受信を制御する。また、通信制御部５０８は、情報処理装置１０１が属するネットワークに接続された携帯端末１０３のＩＰアドレス等（以下、接続先情報という。）を取得することが可能である。

アノテーション付与部５０９は、アノテーション９０７を新規に生成し、投影面３０４に付与する機能部である。アノテーション９０７にユーザから入力を受け付けたテキストを流し込むことで任意のアノテーションを生成することが可能である。

アノテーション回転判定部５１０は、ドラッグ動作などで移動を受け付けたアノテーションの表示する向きを決定するための機能部である。画面上の顧客領域か否かを判定し、顧客領域と判定した場合には向きを回転させると判定する。

アノテーション表示方向制御部５１１は、アノテーション９０７の表示方向を変更するよう制御する機能部である。なお、アノテーション９０７の表示方向の変更は、アノテーション９０７そのものの表示方向を変更するものとするが、アノテーション９０７に含まれるテキストの表示方向だけを変更する方法でも本発明を実施可能である。
以上で図５に示す機能構成図の説明を終了する。

次に、メニュー画面７００において操作を受け付ける処理の流れについて、図６に示すフローチャートを用いて説明する。

まず、ステップＳ６０１では、情報処理装置１０１のＣＰＵ４０１は、テラー３０１からの指示に応じて外部メモリ４１１等に記憶された投影アプリケーションを起動する。投影アプリケーションは、後述するステップＳ６０２乃至ステップＳ６０６の各処理を実行するためのアプリケーションである。投影アプリケーションを動作させることにより、投影面３０４に商品説明のための各種画面をプロジェクタ４２３により投影できるようになる。

ステップＳ６０２では、情報処理装置１０１のＣＰＵ４０１は、図７に示すようなメニュー画面７００をディスプレイ４１０に表示する。メニュー画面７００は、商品説明ボタン７０１と終了ボタン７０２とを備えている。商品説明ボタン７０１は、顧客３０２に対する商品説明を開始するためのボタンである。終了ボタン７０２は、投影アプリケーションを終了するためのボタンである。

ステップＳ６０３では、情報処理装置１０１のＣＰＵ４０１は、商品説明ボタン７０１の押下を検知したか否かを判定する。すなわち、入力デバイス４０９を介してディスプレイ４１０上で商品説明ボタン７０１の押下を受け付けたか否かを判定する。商品説明ボタン７０１の押下を検知したと判定した場合には、ステップＳ６０４に処理を進める。商品説明ボタン７０１の押下を検知していない、または商品説明ボタン７０１以外のボタンの押下を検知したと判定した場合には、ステップＳ６０５に処理を進める。

ステップＳ６０４では、情報処理装置１０１のＣＰＵ４０１は、商品説明処理を実行する。商品説明処理の詳細は、後述する図８に示す。商品説明処理が終了したら、ステップＳ６０３に処理を戻す。

ステップＳ６０５では、情報処理装置１０１のＣＰＵ４０１は、終了ボタン７０２の押下を検知したか否かを判定する。すなわち、入力デバイス４０９を介してディスプレイ４１０上で終了ボタン７０２の押下を受け付けたか否かを判定する。終了ボタン７０２の押下を検知したと判定した場合には、ステップＳ６０６に処理を進める。終了ボタン７０２の押下を検知していないと判定した場合には、ステップＳ６０３に処理を戻す。

ステップＳ６０６では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ６０１で起動した投影アプリケーションを終了する。

次に、第１の実施例における商品説明処理の流れについて、図８に示すフローチャートを用いて説明する。

ステップＳ８０１では、情報処理装置１０１のＣＰＵ４０１は、図９に示すような商品説明画面９００をプロジェクタ４２３で投影させて、投影面３０４に表示する。このとき、ミラーリング機能を用いて、ディスプレイ４１０にも同じ画面が表示されてもよいし、マルチモニタ機能を用いて、ディスプレイ４１０には画面を操作するためのマニュアルや説明すべきポイントを表示させてもよい。以下、プロジェクタ４２３から投影面３０４に画面を投影する場合についても同様である。

商品説明画面９００は、テラー領域９０１と顧客領域９０２とを備える。テラー領域９０１は、テラー３０１が情報の閲覧や操作を行う領域であり、顧客領域９０２は顧客３０２が情報の閲覧や操作を行う領域である。それぞれ領域に表示する情報は、当該領域に対応するユーザの方向に向けて配置されている。テラー領域９０１には、サムネイル画像領域９０３と、アノテーションボタン９０４と、メニューボタン９０５とが配置されている。サムネイル画像領域９０３は、顧客領域９０２に表示する文書データのサムネイル画像を表示する領域である。情報処理装置１０１は、図１０に示す文書データ管理テーブル１０００のサムネイル画像保存場所１００３が示す保存場所からサムネイル画像を取得し、表示位置１００４が示す位置にこれを表示する。サムネイル画像領域９０３でサムネイル画像の選択を検知すると、選択されたサムネイル画像に対応する文書データを取得し、これを顧客領域９０２の文書データ領域９０６に表示する。アノテーションボタン９０４は、アノテーション９０７を生成するためのボタンであり、アノテーションボタン９０４の押下を受け付けると、アノテーション９０７をテラー向きに表示させる。メニューボタン９０５は、商品説明画面９００の投影を終了し、ディスプレイ４１０にメニュー画面７００を表示させるためのボタンである。

図１０の文書データ管理テーブル１０００は、投影面３０４に表示する文書データを管理するためのデータテーブルである。文書データ管理テーブル１０００は、文書ＩＤ１００１と、文書データ保存場所１００２と、サムネイル画像保存場所１００３と、表示位置１００４とを備える。文書ＩＤ１００１は、文書データごとに割り振られる一意な識別情報を示す。文書データ保存場所１００２は、文書データの保存場所を示す。サムネイル画像保存場所１００３は、文書データに対応するサムネイル画像の保存場所を示す。表示位置１００４は、サムネイル画像を表示する座標を示す。

ステップＳ８０２では、情報処理装置１０１のＣＰＵ４０１は、サムネイル画像領域９０３に表示されたサムネイル画像に対する選択を、センサ制御部５０５の機能により検知したか否かを判定する。すなわち、投影面３０４に投影された商品説明画面９００において、サムネイル画像に対するタッチ操作を検知したか否かを判定する。サムネイル画像に対する選択を検知したと判定した場合には、ステップＳ８０３に処理を進める。サムネイル画像に対する選択を検知していないと判定した場合には、ステップＳ８０５に処理を進める。

ステップＳ８０３では、情報処理装置１０１のＣＰＵ４０１は、選択されたサムネイル画像に対応する文書データを、文書データ管理テーブル１０００を用いて取得する。より具体的には、情報処理装置１０１は選択されたサムネイル画像に対応するレコードを文書データ管理テーブル１０００で特定し、当該レコードの文書データ保存場所１００２が示す保存場所に保存されている文書データを取得する。

ステップＳ８０４では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ８０３で取得した文書データを顧客領域９０２の文書データ領域９０６に表示し、これが表示された商品説明画面９００を投影面３０４に投影する。これにより、顧客３０２は文書データを閲覧することができるようになる。ステップＳ８０４の処理が終わったら、ステップＳ８０２に処理を戻す。

ステップＳ８０５では、情報処理装置１０１のＣＰＵ４０１は、商品説明画面９００が備えるアノテーションボタン９０４の押下を、センサ制御部５０５の機能により検知したか否かを判定する。すなわち、投影面３０４に投影された商品説明画面９００において、アノテーションボタン９０４に対するタッチ操作を検知したか否かを判定する。アノテーションボタン９０４に対する押下を検知したと判定した場合には、ステップＳ８０６に処理を進める。アノテーションボタン９０４に対する押下を検知していないと判定した場合には、ステップＳ８０８に処理を進める。

ステップＳ８０６では、情報処理装置１０１のＣＰＵ４０１は、アノテーション９０７をテラー領域９０１に表示する（アノテーション付与手段の一例を示すステップである）。表示されるアノテーション９０７は、デフォルトアノテーションテーブル２１００を基に表示する。図２１に示すデフォルトアノテーションテーブル２１００は、デフォルト表示位置２１０１と方向フラグ２１０２を格納している。デフォルト表示位置２１０１は、アノテーションを表示する位置を２点の座標で示しており、この２点からなる矩形を表示する。方向フラグ２１０２は、アノテーション９０７の表示する方向を示している。「０」はテラーの向きであり、「１」が顧客の向きを示している。

ステップＳ８０６で表示するアノテーション９０７は方向フラグ２１０２に基づいてテラー向きでデフォルト表示位置２１０１が示す位置に表示する。アノテーション９０７はテキストを入力デバイス（キーボード）４０９などにより入力可能なアノテーションであり、ユーザのドラッグ動作などの指示に応じて商品説明画面９００上を移動することが可能である。生成されたアノテーション９０７に関する情報は、図１３に示すアノテーションテーブル１３００に格納されている。

アノテーションテーブル１３００には、アノテーションＩＤ１３０１、表示位置１３０２、テキスト内容１３０３、方向フラグ１３０４が格納されている。アノテーションＩＤ１３０１は、アノテーション９０７を一意に識別するためのＩＤである。表示位置１３０２は、アノテーション９０７を表示する位置を示す情報である。２点の座標からなる矩形をアノテーション９０７の表示領域とする。テキスト内容１３０３は、ユーザからの入力を受け付けたアノテーション９０７として表示されるテキストを格納する。方向フラグ１３０４はアノテーションの表示方向を示すフラグである。方向フラグ１３０４が、「０」であれば、テラーの方向であり、「１」であれば顧客の方向として規定されている。

ステップＳ８０７では、情報処理装置１０１のＣＰＵ４０１は、アノテーション９０７に対するテキストの入力を受け付ける。テキストの入力は、入力デバイス４０９によって受け付ける。なお、テキストの入力は投影によるソフトウェアキーボードによる入力やマイクを通した音声入力であっても構わない。入力を受け付けたテキストデータは、テキスト内容１３０３に格納する。

ステップＳ８０８では、情報処理装置１０１のＣＰＵ４０１は、アノテーション９０７に対してドラッグ動作を受け付けたか否かを判定する。アノテーション９０７の領域に対するドラッグ動作をセンサ制御部５０５の機能により検知したか否かを判定する。ドラッグ動作を受け付けたと判定した場合は処理をステップＳ８０９に進め、ドラッグ動作を受け付けないと判定した場合は、処理をステップＳ８１０に進める。

ステップＳ８０９では、情報処理装置１０１のＣＰＵ４０１は、アノテーション９０７を移動する操作であるアノテーション移動処理（移動受付手段の一例を示すステップである）を行う。アノテーション移動処理は図１１のフローチャートを用いて詳細に説明する。

ステップＳ８１０では、情報処理装置１０１のＣＰＵ４０１は、商品説明画面９００が備えるメニューボタン９０５の押下を、センサ制御部５０５の機能により検知したか否かを判定する。すなわち、投影面３０４に投影された商品説明画面９００において、メニューボタン９０５に対するタッチ操作を検知したか否かを判定する。メニューボタン９０５に対する押下を検知したと判定した場合には、ステップＳ８０６に処理を進める。メニューボタン９０５に対する押下を検知していないと判定した場合には、ステップＳ８０２に処理を戻す。

ステップＳ８１１では、情報処理装置１０１のＣＰＵ４０１は、投影している商品説明画面９００の投影を終了するようプロジェクタ４２３に指示し、ディスプレイ４１０にメニュー画面７００を表示する。そして、商品説明処理を終了する。

以上で、図８に示す商品説明処理の説明を終了する。

次に、第１の実施例における図８に示すアノテーション移動処理について、図１１のフローチャートを用いて説明を行う。

ステップＳ１１０１では、情報処理装置１０１のＣＰＵ４０１は、外部メモリ４１１に記憶されたアノテーションテーブル１３００を参照する。

ステップＳ１１０２では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１１０１で参照したアノテーションテーブル１３００の表示位置１３０２とユーザからの移動指示（ドラッグ動作）を受け付けた位置の座標とに基づいて、移動指示を受け付けたアノテーション９０７のアノテーションＩＤ１３０１を特定する。

ステップＳ１１０３からステップＳ１１０５までは、ステップＳ１１０２でアノテーションＩＤ１３０１を特定したアノテーション９０７のドラッグ動作が終了する（すなわち、ドロップ動作が行われる）までループする。なお、ドラッグ動作中はアノテーション９０７の動きとタッチ操作をする指の動きとが同期する。具体的には、ステップＳ１１０２でアノテーションＩＤ１３０１が特定されたアノテーション９０７の表示位置１３０２が示す座標と、ドラッグ動作により投影面３０４上でタッチされている位置の座標との位置関係を保つようにアノテーション９０７の表示位置１３０２を変化させて移動することで同期を行う。

ステップＳ１１０３では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１１０２で特定したアノテーションＩＤ１３０１に対応する表示位置１３０２が示す矩形の中心点が、図１４に示すアノテーション回転領域テーブル１４００のアノテーション回転領域１４０１が示す領域にあるか否かを判定する（判定手段の一例を示すステップである）。なお、本実施例では、アノテーション９０７がアノテーション回転領域１４０１の示す領域にあるか否かの判定を表示位置１３０２が示す矩形の中心点としたが、表示位置１３０２が示す矩形の外枠の一部がアノテーション回転領域１４０１の示す領域にあるか否かを判定するようにしてもよい。ステップＳ１１０２で特定したアノテーションＩＤ１３０１に対応する表示位置１３０２が示す矩形の中心点が、図１４に示すアノテーション回転領域テーブル１４００のアノテーション回転領域１４０１が示す領域にあると判定した場合は処理をステップＳ１１０４に進め、ステップＳ１１０２で特定したアノテーションＩＤ１３０１に対応する表示位置１３０２が示す矩形の中心点が、図１４に示すアノテーション回転領域テーブル１４００のアノテーション回転領域１４０１が示す領域にないと判定した場合は処理をステップＳ１１０５に進める。

アノテーション回転領域テーブル１４００にはアノテーション回転領域１４０１が格納されている。アノテーション回転領域１４０１（変更エリア）は、アノテーション９０７を回転させる領域の矩形を示す２点の座標をそれぞれ格納している。アノテーション９０７がアノテーション回転領域１４０１にある場合には、アノテーション９０７を顧客方向に回転すべく、アノテーションの中心点を基準に反転（１８０度回転）して、表示方向を切り替える。つまり本実施例では、アノテーション回転領域１４０１内にあるアノテーションは顧客向きで表示をし、それ以外のテラー領域９０１やアノテーション回転領域１４０１ではない顧客領域９０２にあるアノテーションはテラー向きで表示をする。

ステップＳ１１０４では、情報処理装置１０１のＣＰＵ４０１は、アノテーション９０７がアノテーション回転領域１４０１にあると判定したので、アノテーションを顧客向きになるようにアノテーションの中心点を基準に反転（１８０度回転）して、回転させることで表示の向きを変更する（表示向き変更手段の一例を示すステップである）。具体的には、アノテーションテーブル１３００の方向フラグ１３０４を「１」とし、アノテーションの中心点を基準に反転（１８０度回転）して、アノテーションの向きを顧客側に変更する。

具体的に、図１２を用いて説明する。図１２はアノテーション表示画面１２００の一例を示す模式図である。テラーが、テラー領域９０１にあるアノテーション９０７を顧客領域９０２の文書データ領域９０６（本実施例ではアノテーション回転領域１４０１の領域を文書データ領域９０６と領域を同じくする）までドラッグ動作を行うと、アノテーション回転領域１４０１の文書データ領域９０６を境目にしてアノテーション９０７の顧客方向への回転（回転動作１２０１）がなされる。回転したアノテーション９０７は、顧客向きアノテーション１２０２となる。

これにより、テラーはアノテーション９０７に対して回転処理を行うことなくアノテーション回転領域１４０１に顧客向きアノテーション１２０２を表示させることが可能になる。尚、回転ではなく、顧客方向に向いているアノテーションを別途用意し、これと差し替えてもよい。

ステップＳ１１０５では、情報処理装置１０１のＣＰＵ４０１は、アノテーション９０７がアノテーション回転領域１４０１の示す領域にないと判定されたので、アノテーション９０７をテラー向きになるようにアノテーションの中心点を基準に回転させる（表示向き変更手段の一例を示すステップである）。具体的には、アノテーションテーブル１３００の方向フラグ１３０４を「０」とし、アノテーションの中心点を基準に反転（１８０度回転）して、アノテーションの向きをテラー側に変更する。これにより、例えば顧客方向に表示されている顧客向きアノテーション１２０２を再度テラーが編集したい場合にも適切にテラー方向にアノテーションの表示の向きを変更することが可能になる。すなわち、アノテーション回転領域内からアノテーション回転領域外にアノテーションを移動させた場合には、アノテーションの表示方向をテラー向きに変更する。アノテーションをアノテーション回転領域内からアノテーション回転領域内に移動させる場合はアノテーションの表示する向きを変更することはしない。また、アノテーション回転領域外からアノテーション回転領域外に移動させる場合にも、アノテーションの表示する向きを変更する必要はない。

ステップＳ１１０３からステップＳ１１０５の間にドロップ動作を受け付けた場合には、処理をステップＳ１１０６に進める。

ステップＳ１１０６では、情報処理装置１０１のＣＰＵ４０１は、ドラッグ動作中のアノテーション９０７の動きとタッチ操作をする指の動きと同期を解除し、ドロップ動作を受け付けた座標に対応するよう、表示位置１３０２に更新する。

以上、説明したようにアノテーションの移動を行う間に、顧客領域にアノテーションがあるか否かを判定することによりアノテーションを回転させることで、テラーの手間を軽減する仕組みを提供するという効果がある。

次に第２の実施例について、図１５、１６に示すフローチャートを用いて説明を行う。

第１の実施例では、アノテーションのドラッグ動作中にリアルタイムでアノテーション回転領域にアノテーションがあるか否かを判定していた。第２の実施例ではリアルタイムにアノテーションの位置を判定せずに、アノテーションを移動したドロップ動作を受け付けた位置に応じてアノテーションを回転させる。また、アノテーションの着地の位置と顧客の情報（例えば性別の情報などのユーザ情報）に応じて表示するアノテーションの種類を切り替える。

第２の実施例では、システム構成、ハードウェア構成、機能構成、画面例、テーブルは第１の実施例と同じであり、図８が図１５、図１１が図１６にそれぞれ対応するものである。

第１の実施例の図８に対応する図１５のフローチャートを用いて、第２の実施例における商品説明処理の説明を行う。

ステップＳ１５０１では、情報処理装置１０１のＣＰＵ４０１は、図１７に示すＩＤ入力受付画面１７００をディスプレイ４１０に表示させ、ＩＤ入力受付画面１７００にそれぞれテラーのＩＤと顧客のＩＤの入力を受け付ける。顧客の情報は例えば、図１８の顧客情報テーブル１８００に格納されている。本実施例の顧客情報テーブル１８００には、顧客ＩＤ１８０１と性別１８０２とが格納されている。顧客ＩＤ１８０１は顧客を一意に識別するＩＤである。性別１８０２は、顧客の性別を示すフラグであり、「０」は男性、「１」は女性を示している。顧客情報テーブル１８００は、管理者による入力などにより既に作成されているものとする。顧客ＩＤの入力を受け付けることで、顧客を特定することができ、顧客に適したアノテーションの種類を表示することができる。

ステップＳ１５０２からステップＳ１５１２までは、図８のステップＳ８０１からステップＳ８１１までと対応するものである。そのため、ステップＳ１５０２からステップＳ１５１２までの説明は省略する。

第１の実施例の図１１に対応する図１６のフローチャートを用いて、第２の実施例におけるアノテーション移動処理の説明を行う。

ステップＳ１６０１では、情報処理装置１０１のＣＰＵ４０１は、外部メモリ４１１に記憶されたアノテーションテーブル１３００を参照する。

ステップＳ１６０２では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１６０１で参照したアノテーションテーブル１３００の表示位置１３０２とユーザからの移動指示（ドラッグ動作）を受け付けた位置の座標とに基づいて、移動指示を受け付けたアノテーション９０７のアノテーションＩＤ１３０１を特定する。

ステップＳ１６０３では、情報処理装置１０１のＣＰＵ４０１は、ユーザのアノテーションへのドラッグ動作中はアノテーション９０７の動きとタッチ操作をする指の動きとが同期するよう制御する。具体的には、ステップＳ１６０２でアノテーションＩＤ１３０１が特定されたアノテーション９０７の表示位置１３０２が示す座標と、ドラッグ動作により投影面３０４上でタッチされている位置の座標との位置関係を保つようにアノテーション９０７の表示位置１３０２を変化させて移動することで同期を行う。座標の同期は、中止の指示がなされるまで同期する。

ステップＳ１６０４では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１５０９で受け付けたドラッグ動作を行う指（本実施例ではユーザの指とするが、指示することが可能であれば何でも構わない）がアノテーション９０７から離れたか否かを判定する。指がアノテーションから離れたと判定した場合には処理をステップＳ１６０５に進め、指がアノテーションから離れなかったと判定した場合には処理をステップＳ１６０４に戻す。

ステップＳ１６０５では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１６０４でアノテーション９０７から指が離れたと判定したので、指の位置とアノテーション９０７の表示位置１３０２の同期を中止する。これにより、指がアノテーション９０７から離れた位置でアノテーション９０７の動きを止めることができる。

ステップＳ１６０６では、情報処理装置１０１のＣＰＵ４０１は、情報処理装置１０１のＣＰＵ４０１は、アノテーション９０７がアノテーション回転領域１４０１にあるか否かを判定する。具体的には、アノテーション９０７の表示位置１３０２がアノテーション回転領域テーブル１４００のアノテーション回転領域１４０１が示す領域にあるか否かを判定する。アノテーション９０７がアノテーション回転領域１４０１にあると判定した場合には処理をステップＳ１６０７に進める。アノテーション９０７がアノテーション回転領域１４０１にないと判定した場合には処理をステップＳ１６１１に進める。

ステップＳ１６０７では、情報処理装置１０１のＣＰＵ４０１は、顧客情報テーブル１８００を取得し、ステップＳ１５０１で入力を受け付けた顧客ＩＤ１８０１を基に、顧客の性別１８０２を特定する（ユーザ情報取得手段の一例を示すステップである）。特定をしたのち、処理をステップＳ１６０８に進める。

ステップＳ１６０８では、情報処理装置１０１のＣＰＵ４０１は、外部メモリ４１１に記憶されたアノテーションテーマテーブル１９００を参照する。図１９に示すアノテーションテーマテーブル１９００は性別フラグ１９０１とテーマ保存場所１９０２とを格納している。性別フラグ１９０１は、性別の情報を示しており、「０」が男性、「１」が女性を示している。テーマ保存場所１９０２は、それぞれの性別に対応するアノテーションのテーマを示すテーマデータ（アノテーションテーマ）の保存場所が格納されている。

ステップＳ１６０９では、情報処理装置１０１のＣＰＵ４０１は、アノテーションテーマテーブル１９００からステップＳ１６０７で特定した性別１８０２を基に、対応する性別フラグ１９０１のテーマ保存場所１９０２を特定する。例えば、性別１８０２が「０」である場合には、対応する性別フラグ１９０１が「０」のテーマ保存場所１９０２、「．／ｊｐｇ／００１．ｊｐｇ」を特定する。このようにしてユーザの性別に対応するテーマ保存場所１９０２に保存されているテーマデータを取得する。なお、本実施例では顧客の性別によってアノテーションの種類を切り替えているが、顧客の年齢など他の顧客の情報に基づいてもよい。顧客の年齢などの場合も、同様に顧客情報テーブル１８００に項目が設けられ、この情報に基づいてアノテーションの種類を切り替える。

ステップＳ１６１０では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１６０９で取得したテーマデータにアノテーションの種類を切り替える（アノテーションテーマ切替手段の一例を示すステップである）。具体的には、テーマデータにテキスト内容１３０３を重畳させることで、アノテーションの種類を切り替えるよう表示する。例えば図２０に示す模式図のようにアノテーションの回転と種類の変更を行う。アノテーション９０７をアノテーション回転領域１４０１に移動させた場合に、アノテーションをテラーの方向に回転させ、アノテーションの種類を変更したものが、アノテーション２００１である。

ステップＳ１６１１では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１６１１で種類を切り替えたアノテーションの表示の向きを顧客向きに回転させる。具体的には、アノテーションテーブル１３００の方向フラグ１３０４を「１」とし、アノテーションの中心点を基準に反転（１８０度回転）して、アノテーションの向きを顧客側に変更する。表示の向きを変更したのち、アノテーション移動処理を終了する。

ステップＳ１６１２では、情報処理装置１０１のＣＰＵ４０１は、アノテーション９０７のテーマをデフォルトに変更する。顧客にアノテーションを見せるためのアノテーション回転領域ではない場所にアノテーション９０７がある場合には、アノテーションのテーマを切り替える必要がないためである。

ステップＳ１６１３では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１６１２でデフォルトに切り替えたアノテーション９０７をテラー向きに回転させる。具体的には、アノテーションテーブル１３００の方向フラグ１３０４を「０」とし、アノテーションの中心点を基準に反転（１８０度回転）して、アノテーションの向きをテラー側に変更する。アノテーション９０７をテラー向きに回転させたのち、アノテーション移動処理を終了する。これにより、一度アノテーションが顧客領域に置かれた場合であっても、アノテーションの種類をデフォルトに戻し、更にテラーの向きに方向を切り替えることを可能にする。

以上、第２の実施例では、アノテーションの位置に応じて、アノテーションの顧客への表示方向を変更するだけでなく、顧客の情報に基づいてアノテーションの種類を変更することで、より適切なアノテーションを表示させることを可能にする。また、リアルタイムではなく、アノテーションの最終的な移動先の位置によってアノテーションを顧客向きに表示するか否かを判定することにより、逐一アノテーションを回転させずに適切な向きでアノテーションを表示することが可能な仕組みを提供することができる。

次に、本発明の第３の実施例について説明する。第３の実施例では、アノテーションを表示させる際に、付与された文書データに応じて適切な向き及び倍率でアノテーションを表示させることが可能となるものである。第３の実施例では、システム構成、ハードウェア構成、機能構成、画面例、テーブルは第１の実施例と同じであり、図８が図２２に、図１０が図２４に、図１１が図２３に、図１３が図２５にそれぞれ変更し、図２６と図２７が追加されたものである。

変更がない部分については説明を省略し、上記変更点・追加点について説明を行う。

図２２は第２の実施例における商品説明処理の詳細な流れを説明するフローチャートである。

ステップＳ２２０１からステップＳ２２０３までは、図８のステップＳ８０１からステップＳ８０３までの処理と同様のため説明を省略する。

ステップＳ２２０４は、情報処理装置１０１のＣＰＵ４０１が、ステップＳ２２０３で選択を受け付けた文書についての文書表示・操作処理を行う処理であり、詳細な処理の流れは図２６に示すフローチャートで説明を行う。

図２６は、文書表示・操作処理の詳細な処理の流れを説明するフローチャートである。

ステップＳ２６０１では、情報処理装置１０１のＣＰＵ４０１が、ステップＳ２２０３で取得した文書データを顧客領域９０２の文書データ領域９０６に表示し、これが表示された商品説明画面９００を投影面３０４に投影する。これにより、顧客３０２は文書データを閲覧することができるようになる。

ステップＳ２６０２では、情報処理装置１０１のＣＰＵ４０１が、文書データ管理テーブル２４００の回転角度２４０５を「０°」にし、表示倍率２４０６を「１００％」にする。

図２４に示す文書データ管理テーブル２４００について説明する。文書データ管理テーブル２４００は、文書ＩＤ２４０１と、文書データ保存場所２４０２と、サムネイル画像保存場所２４０３と、表示位置２４０４と、回転角度２４０５、表示倍率２４０６、アノテーション色２４０７とを備える。文書ＩＤ２４０１、文書データ保存場所２４０２、サムネイル画像保存場所２４０３、表示位置２４０４は、図１０の文書データ管理テーブル１０００は、文書ＩＤ１００１と、文書データ保存場所１００２と、サムネイル画像保存場所１００３と、表示位置１００４と同様であるため説明を省略する。回転角度２４０５は文書データの表示される角度を示しており顧客に向けて初期表示した状態の文書を０°とした文書データの表示角度を示す。表示倍率２４０６は、顧客に向けて初期表示した状態の文書を１００％とした文書データの表示倍率を示す。アノテーション色２４０７（色情報に相当する）は、複数文書データを表示した場合のアノテーションの色を示す。

ステップＳ２６０３では、情報処理装置１０１のＣＰＵ４０１が、ステップＳ２６０１で表示された文書データに対して、ユーザによるタッチ操作による選択を受け付けたか否かを判定する。選択を受け付けた場合は処理をステップＳ２６０４に進め、そうでない場合は処理を終了する。

ステップＳ２６０４では、情報処理装置１０１のＣＰＵ４０１が、選択された文書データをタッチされた位置によって特定する。（タッチされた位置が含まれる表示位置２４０４に対応する文書ＩＤ２４０１を特定する）

ステップＳ２６０５では、情報処理装置１０１のＣＰＵ４０１が、入力デバイス（キーボード等）４０９の所定のキー押下による回転ボタンの押下を受け付けたか否かを判断する。回転ボタンの押下を受け付けたと判定した場合には、処理をステップＳ２６０６に進め、そうでない場合は処理をステップＳ２６０７に進める。

ステップＳ２６０６では、情報処理装置１０１のＣＰＵ４０１が、ステップＳ２６０４で特定した文書ＩＤに対応する回転角度２４０５を更新する。回転ボタンの押下を一度受け付けると、回転角度２４０５を４５°時計回りに回転させる設定がなされており、ステップＳ２６０５で回転ボタンの押下を検知したと判断された場合には、回転角度２４０５に４５を加算する。回転角度が３６０°を超える場合には０°に戻す。なお、回転ボタンに対して設定される角度は例であって、これ以外の角度に設定されていてもよい。

ステップＳ２６０７では、情報処理装置１０１のＣＰＵ４０１が、入力デバイス（キーボード等）４０９の所定のキー押下による拡大縮小ボタンの押下を受け付けたか否かを判断する。拡大縮小ボタンの押下を受け付けたと判断した場合は処理をステップＳ２６０８に進め、そうでない場合は処理をステップＳ２６０３に戻す。

ステップＳ２６０８では、情報処理装置１０１のＣＰＵ４０１が、ステップＳ２６０７で押下されたボタンにより、表示倍率２４０６を更新する。例えば、拡大ボタンを押下した場合には表示倍率２４０６が１０％増加し、縮小ボタンを押下した場合には表示倍率２４０６が１０％減少されるよう設定されている。ステップＳ２６０７で押下されたボタンによって、それぞれ表示倍率２４０６が更新される。なお、拡大ボタンや縮小ボタンに対して設定された値は例であってこれに限定されない。

以上で、図２６に示す文書表示・操作処理の詳細な処理の説明を終了する。
図２２の説明に戻る。

ステップＳ２２０５からステップＳ２２０８までの処理は図８に示すステップＳ８０５からステップＳ８０８の処理と同様であるため説明を省略する。

ステップＳ２２０９では、情報処理装置１０１のＣＰＵ４０１が、アノテーション９０７を移動させる処理であるアノテーション移動処理を行う。第３の実施例におけるアノテーション移動処理の詳細な処理の説明を図２３に示すフローチャートで説明する。

図２３は、第１の実施例の図１１に対応するもので、第３の実施例におけるアノテーション移動処理の詳細な処理を説明するフローチャートである。なお、ステップＳ２３０３で用いるアノテーション回転領域が、本実施例では、図２７に示す顧客領域９０２（文書データ表示領域に相当する）がアノテーション回転領域として設定されているものとする。そのため、本実施例では、顧客領域９０２にアノテーションがある場合にはアノテーションを顧客に相対する向きに回転させ、更に文書データ上にアノテーションがある場合には文書データと同じ向きとなるようにアノテーションの表示する向きを変更する。

ステップＳ２３０１からステップＳ２３０５までの処理は図１１のステップＳ１１０１からステップＳ１１０５までの処理と同様であるため説明を省略する。

ステップＳ２３０７は、情報処理装置１０１のＣＰＵ４０１が、図２４に示す文書データ管理テーブル２４００を参照する。

ステップＳ２３０８は、情報処理装置１０１のＣＰＵ４０１が、ステップＳ２３０２で特定したアノテーションＩＤ１３０１に対応する表示位置１３０２が示す矩形が、図２４に示す文書データ管理テーブル２４００の表示位置２４０４が示す領域にあるか否かを判定する。なお、本実施例ではアノテーション９０７が表示位置２４０４が示す領域に表示位置１３０２が示す矩形があるか否かによって、判定を行ったが、例えば表示位置１３０２が示す矩形の中心点が表示位置２４０４が示す領域にあるか否かによって判定しても構わない。つまり、アノテーション９０７が文書データ上に重畳表示されているか否かを判定できれば他の方法でも構わない。表示位置１３０２が示す矩形が、図２４に示す文書データ管理テーブル２４００の表示位置２４０４が示す領域にあると判定された場合は処理をステップＳ２３０９に進め、そうでないと判定された場合に処理をステップＳ２３０３に戻す。

ステップＳ２３０９は、情報処理装置１０１のＣＰＵ４０１が、ステップＳ２３０８で表示位置１３０２が示す矩形があると判定された、表示位置２４０４に対応する、回転角度２４０５と表示倍率２４０６とを特定する。

ステップＳ２３１０は、情報処理装置１０１のＣＰＵ４０１が、ステップＳ２３０９で特定した回転角度２４０５と表示倍率２４０６とを、アノテーションテーブル２５００の回転角度２５０４と表示倍率２５０５にそれぞれ上書きすることにより更新する。（表示大きさ変更手段に相当する）

ステップＳ２３１１は、情報処理装置１０１のＣＰＵ４０１が、文書データ管理テーブル２４００のレコードを参照することにより、複数の文書データが表示されているか否かを判定する。複数の文書データが表示されていると判定した場合は処理をステップＳ２３１２に進め、そうでない場合には処理をステップＳ２３０６に進める。

ステップＳ２３１２は、情報処理装置１０１のＣＰＵ４０１が、ステップＳ２３０８で表示位置１３０２が示す矩形があると判定された表示位置２４０４に対応するアノテーション色２４０７を取得する。

ステップＳ２３１３は、情報処理装置１０１のＣＰＵ４０１が、ステップＳ２３１２で取得したアノテーション色２４０７が示す色でアノテーション９０７の色を変更する。

ステップＳ２３０６の処理は、図１１のステップＳ１１０６の処理と同様であるため、説明を省略する。

以上で図２２に示す第３の実施例における商品説明処理の詳細な処理の説明を終了する。

図２２に示す第３の実施例によれば、例えば図２７に示すアノテーション表示画面２７００のように、顧客領域に入るとアノテーションが回転するわけではなく、アノテーションが付与された文書データの向きに合わせてアノテーションの表示する向きを変更することができる。このようにすることで、仮に文書データの表示向きを変えたとしても、ユーザがアノテーションの表示向きを変更する手間を掛けることなく自動的にアノテーションの向きも変更されるようになる。更に、複数の文書データを表示する場合であっても、重畳された文書データによってアノテーションの色を変えることができ、文書データに対して統一感のある色でアノテーションを表示することができる。なお、アノテーションの色に限定されることなく、アノテーションの形状（円形、四角系など）を文書データに合わせて変更してもよい。

なお、アノテーションの表示する向きについて、回転させずとも表示の向きを切り替えてもよい。本発明の実施例では一方の回転方向を例に説明したが、反対の方向に回転させてもよい。さらに、文書データを複数の領域に区分けしておき、一方の領域上にドロップされた際の回転と、他方の領域にドロップされた際の回転を逆にしてもよい。さらに、この領域を文書データの右半分と左半分で区分けし、文書データを顧客から見て右半分（右側）に入った場合にはアノテーションを右回転で回転させ、文書データを顧客から見て左半分（左側）に入った場合にはアノテーションを左回転で回転させる。これにより、顧客にとって違和感が無いように文書データ上にアノテーションを重畳表示させることを可能とする効果がある。

なお、文書データを表示する大きさを規定する情報として、表示倍率としたが、これに限定されず、文書データの表示する大きさをピクセルで指定するなど、他の方法でも構わない。

以上、本発明によれば、画面上のアノテーションの表示される向きを適切に変更することの可能な仕組みを提供すること提供することが可能となる効果がある。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 情報処理装置
１０２ 投影撮像装置
４０１ ＣＰＵ
４０２ ＲＡＭ
４０３ ＲＯＭ
４０４ システムバス
４０５ 汎用入出力コントローラ
４０６ ビデオコントローラ
４０７ メモリコントローラ
４０８ 通信Ｉ／Ｆコントローラ
４０９ 入力デバイス
４１０ ディスプレイ
４１１ 外部メモリ
４２１ デジタルカメラ
４２２ ジェスチャセンサ
４２３ プロジェクタ

Claims (14)

1. 投影面上に文書データとアノテーションとを表示するように制御する表示制御手段と、
   前記投影面上のアノテーションの移動指示を受け付ける移動指示受付手段と、
   前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置である場合には、前記表示制御手段で表示される前記文書データの向きと同じになるように、前記表示制御手段で表示される前記アノテーションの向きを調整し、前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置でない場合には、前記表示制御手段で表示される前記アノテーションの向きを調整しない表示向き調整手段と
   を備えることを特徴とする情報処理装置。
2. 前記移動指示受付手段で移動指示を受け付けた後のアノテーションの位置が前記文書データに重なる位置である場合に、前記アノテーションを表示する大きさを前記投影面上の文書データの大きさに応じて調整する表示大きさ調整手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
3. アノテーションの形状を示す画像データであるアノテーションテーマを、ユーザ情報に対応して記憶する記憶手段と、
   ユーザ情報を取得するユーザ情報取得手段と、
   前記ユーザ情報取得手段で取得されたユーザ情報に対応するアノテーションテーマを、前記記憶手段から特定する特定手段と、を更に有し、
   前記表示制御手段は、前記アノテーションの位置が前記文書データに重なる位置である場合に、前記特定手段で特定されたアノテーションテーマの画像データを用いて前記アノテーションを表示するように制御することを特徴とする請求項１または２に記載の情報処理装置。
4. 文書データに対応する色の情報である色情報を記憶する記憶手段を更に備え、
   前記表示制御手段は、前記アノテーションの位置が前記文書データに重なる位置である場合に、当該文書データに対応する色情報が示す色で前記アノテーションを表示するように制御することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記移動指示受付手段は、ユーザによる前記投影面上のジェスチャーを認識することによって、前記アノテーションの移動指示を受け付けることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記表示向き調整手段は、前記アノテーションを回転させることにより、アノテーションの向きを調整することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記表示向き調整手段は、前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置に応じて、前記アノテーションを回転させる向きを決定し、当該決定された向きとなるように前記アノテーションを回転させることを特徴とする請求項６に記載の情報処理装置。
8. 前記表示向き調整手段は、前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が前記文書データの左側にある場合には左回転でアノテーションを回転させ、前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が前記文書データの右側にある場合には右回転でアノテーションを回転させることを特徴とする請求項６または７に記載の情報処理装置。
9. 前記表示制御手段は、ユーザごとに対応する文書データを表示可能な表示領域に、前記文書データを表示するように制御するものであり、
   前記表示向き調整手段は、
   前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が第１ユーザの前記表示領域内かつ、いずれの文章データが表示されていない領域である場合には、前記第１ユーザに対応する方向にアノテーションの向きを調整し、
   前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置である場合には、前記文書データの向きと同じになるように、前記アノテーションの向きを調整することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 情報処理装置が、
    投影面上に文書データとアノテーションとを表示するように制御する表示制御ステップと、
    前記投影面上のアノテーションの移動指示を受け付ける移動指示受付ステップと、
    前記移動指示受付ステップで移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置である場合には、前記表示制御ステップで表示される前記文書データの向きと同じになるように、前記表示制御ステップで表示される前記アノテーションの向きを調整し、前記移動指示受付ステップで移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置でない場合には、前記表示制御ステップで表示される前記アノテーションの向きを調整しない表示向き調整ステップと
    を備えることを特徴とする情報処理装置の制御方法。
11. 情報処理装置を、
    投影面上に文書データとアノテーションとを表示するように制御する表示制御手段と、
    前記投影面上のアノテーションの移動指示を受け付ける移動指示受付手段と、
    前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置である場合には、前記表示制御手段で表示される前記文書データの向きと同じになるように、前記表示制御手段で表示される前記アノテーションの向きを調整し、前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置でない場合には、前記表示制御手段で表示される前記アノテーションの向きを調整しない表示向き調整手段
    として機能させることを特徴とする情報処理装置で実行可能なプログラム。
12. 投影面上に文書データとアノテーションとを表示するように制御する表示制御手段と、
    前記投影面上のアノテーションの移動指示を受け付ける移動指示受付手段と、
    前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置である場合には、前記表示制御手段で表示される前記文書データの向きと同じになるように、前記表示制御手段で表示される前記アノテーションの向きを調整する調整手段と
    を備え、
    前記表示制御手段は、ユーザごとに対応する文書データを表示可能な表示領域に、前記文書データを表示するように制御するものであり、
    前記表示向き調整手段は、
    前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が第１ユーザの前記表示領域内かつ、いずれの文章データも表示されていない領域である場合には、前記第１ユーザに対応する方向に前記アノテーションの向きを調整し、
    前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が文書データに重なる位置である場合には、前記文書データの向きと同じになるように、前記アノテーションの向きを調整すること
    を特徴とする情報処理装置。
13. 情報処理装置が、
    投影面上に文書データとアノテーションとを表示するように制御する表示制御ステップと、
    前記投影面上のアノテーションの移動指示を受け付ける移動指示受付ステップと、
    前記移動指示受付ステップで移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置である場合には、前記表示制御ステップで表示される前記文書データの向きと同じになるように、前記表示制御ステップで表示される前記アノテーションの向きを調整する調整ステップと
    を備え、
    前記表示制御ステップは、ユーザごとに対応する文書データを表示可能な表示領域に、前記文書データを表示するように制御するものであり、
    前記表示向き調整ステップは、
    前記移動指示受付ステップで移動指示を受け付けて移動したアノテーションの位置が第１ユーザの前記表示領域内かつ、いずれの文章データも表示されていない領域である場合には、前記第１ユーザに対応する方向に前記アノテーションの向きを調整し、
    前記移動指示受付ステップで移動指示を受け付けて移動したアノテーションの位置が文書データに重なる位置である場合には、前記文書データの向きと同じになるように、前記アノテーションの向きを調整すること
    を特徴とする情報処理装置の制御方法。
14. 情報処理装置を、
    投影面上に文書データとアノテーションとを表示するように制御する表示制御手段と、
    前記投影面上のアノテーションの移動指示を受け付ける移動指示受付手段と、
    前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が前記文書データに重なる位置である場合には、前記表示制御手段で表示される前記文書データの向きと同じになるように、前記表示制御手段で表示される前記アノテーションの向きを調整する調整手段
    として機能させ、
    前記表示制御手段は、ユーザごとに対応する文書データを表示可能な表示領域に、前記文書データを表示するように制御するものであり、
    前記表示向き調整手段は、
    前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が第１ユーザの前記表示領域内かつ、いずれの文章データも表示されていない領域である場合には、前記第１ユーザに対応する方向に前記アノテーションの向きを調整し、
    前記移動指示受付手段で移動指示を受け付けて移動したアノテーションの位置が文書データに重なる位置である場合には、前記文書データの向きと同じになるように、前記アノテーションの向きを調整すること
    を特徴とするプログラム。

Images