JP5939278B2 - 情報処理装置、その制御方法、及びプログラム、並びに、投影システム、その制御方法、及びプログラム - Google Patents

Description

本発明は、投影された画像データに対する操作を行ったユーザを特定可能な証跡を残すことの可能な情報処理装置、その制御方法、及びプログラム、並びに、投影システム、その制御方法、及びプログラムに関する。

従来、金融商品などの販売や説明行うとき、金融商品の説明を行う者（以後、テラー）は顧客に対し金融商品のカタログなどの紙媒体で説明を行っていた。紙媒体のカタログでは、テラーが顧客ごとの説明記録を残すことはあっても、いつ、どの部分を説明したという客観的な証跡記録を残すことはできなかった。

そのため、紙媒体で、仮にテラーが説明すべきところを説明し忘れてしまった部分があった場合、その部分については顧客は認識することができない。たとえ、顧客が署名捺印をしたとしても、説明義務のある場所すべての説明を受けたということではなく、テラーから一通りの説明を受けたということを担保することしかできず、実質形骸化していた。

このような状況の中、紙媒体では客観的な履歴を残すことができないため、顧客が金融商品の説明をされていないと主張した場合に「説明した、説明していない」といった水掛け論に陥ってしまう。これを避けるため、法律に定められる説明責任を金融機関側が担保できる方法が求められていた。

そこで、テラーが説明を行ったことを証明する方法として、下記の特許文献１で、テラーが説明をする際に使う窓口端末装置でのログを記録することで顧客に対し説明を行った証跡とする仕組みが開示されている。

特開２００９−１２２７９６号公報

また、テラーが説明を行ったことを証明する方法として、説明をしている様子をカメラなどで動画として保存をしたり、要所で静止画として保存をしたりすることで証跡を残すということが行われている。また、顧客が説明を受けたサインや承認ボタンを押すといった同意行為の証跡を残すということも行われている。

しかし、証跡を取るために生じる撮像音は顧客にとって精神的にあまり気持ちの良いものではなく、明らかに証跡を取られているという感覚を与えるものである。こうした感覚は、テラーとの間の信頼関係に悪影響を与えるものであった。

そこで、撮像装置の撮像音を消す、または撮像音を小さくする仕組みが考えられるが、図４に示すような投影システム１００では、カメラ１０２（撮像装置）が前述した証跡を残す役割を果たすと共に、投影面１０６に置かれた紙文書を撮像装置が撮像し、画像データとして情報処理装置１０１に取り込む役割もある。そのため、撮像装置で紙文書を取り込む際、撮像音が聞こえないと、紙文書が撮影されたのか否かがわからないという問題が発生する。つまり、単に、撮像装置の撮像音を消す、または撮像音を小さくしておくことができない。

また、撮像音の種類が一つの場合、撮像のシーンによって撮像音が切り替わることが無い為、テラーや顧客などのユーザにとって撮像の意味を理解することができない。撮像のたびに撮像の意味を自分の行為及び相手の行為から推測することにより顧客はテラーの説明に集中を欠くこととなってしまうのである。

例えば、証跡にはテラーが顧客に対して説明を行ったことを担保する説明証跡と、同意を行ったことを担保する同意証跡があり、それぞれの証跡保存のための撮像音が一つである場合、ユーザは撮像音が生じた理由を理解することができないという課題がある。

更に、証跡保存だけでなく、撮像装置の撮像により紙文書の取り込みも行う場合にも撮像音が変化しないとなると、ユーザは撮像音だけで撮像の意味を理解できず、逐一意味を考えなければならない。

そこで、本発明の目的は、証跡を取る際に撮像装置の撮像に応じて出力される撮像音を制御することを目的とする。

上記の目的を達成するために、本発明の情報処理装置は、投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理装置であって、前記投影面上にあるオブジェクトの種類を特定するオブジェクト特定手段と、前記オブジェクトの種類と、撮像音を制御するための情報である制御情報とを対応付けて記憶する記憶手段と、前記オブジェクト特定手段で特定されたオブジェクトの種類に対応する前記制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御手段とを備え、前記記憶手段は、証跡を残すオブジェクトの種類である第１の種類と、証跡を残さないオブジェクトの種類である第２の種類とを更に記憶しており、前記撮像音制御手段は、前記オブジェクト特定手段が前記第１の種類のオブジェクトであると特定した場合に出力される撮像音を、前記第２の種類のオブジェクトであると特定した場合に出力される撮像音の音量より小さくするよう制御することを備えることを特徴とする。

更に上記の目的を達成するために、本発明の情報処理装置は、投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理装置であって、ユーザの操作によって決定される撮像モードであって前記投影面を撮像するモードである撮像モードと、前記撮像装置の撮像音の出力の制御を示す情報である制御情報とを対応付けて記憶する記憶手段と、ユーザから操作を受け付ける操作受付手段と、前記操作受付手段で操作を受け付けた前記操作に対応する撮像モードを特定する特定手段と、前記特定手段で特定した前記撮像モードに対応付けられて前記記憶手段に記憶される制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御手段とを備え、前記撮像モードは、証跡を取るモードである第１のモードと、証跡を取らないモードである第２のモードとがあり、前記撮像音制御手段で、前記特定手段で前記第１のモードであると特定された場合に出力される撮像音は、前記特定手段で前記第２のモードであると特定された場合に出力される撮像音より音量が小さいことを備えることを特徴とする。

本発明によれば、証跡を取る際に撮像装置の撮像に応じて出力される撮像音を制御することが可能となる効果を奏する。

投影システム１００の一例を示す構成図である。 投影システム１００のハードウェア構成の一例を示す構成図である。 情報処理装置１０１のモジュール構成の一例を示す構成図である。 投影システム１００の一例を示す構成図である。 本発明の実施形態における一連の処理の流れの一例を示す構成図である。 証跡記録アプリケーションを起動した後に表示されるＩＤ入力を受け付ける画面の一例を示す画面例である。 情報処理装置１０１に記憶されたテラーＩＤテーブル７００の構成の一例を示す構成図である。 情報処理装置１０１に記憶された顧客ＩＤテーブル８００の構成の一例を示す構成図である。 図５に示す投影処理の詳細を示すフローチャートである。 図９で投影処理を行った場合の一例を示す模式図である。 図５に示すタッチ判定処理の詳細を示すフローチャートである。 情報処理装置１０１に記憶された撮像領域情報テーブル１２００の構成の一例を示す構成図である。 テラー１００１が投影画像を顧客１００２向きで概要説明部分１００４をタッチしている場合の一例を示す模式図である。 顧客１００２が投影画像を顧客１００２向きで概要説明部分１００４をタッチしている場合の一例を示す模式図である。 テラー１００１が投影画像をテラー１００１向きで概要説明部分１００４をタッチしている場合の一例を示す模式図である。 顧客１００２が投影画像を顧客１００２向きで署名記入欄１００７に署名を行っている場合の一例を示す模式図である。 テラー１００１が投影画像をテラー１００１向きで署名記入欄１００７に署名を行っている場合の一例を示す模式図である。 テラー１００１が投影画像を顧客１００２向きで署名記入欄１００７に署名を行っている場合の一例を示す模式図である。 情報処理装置１０１に記憶された証跡保存テーブル１９００の構成の一例を示す構成図である。 図５に示す紙文書取り込み処理の詳細を示すフローチャートである。 顧客の住民票２１０２を撮像し画像データとして取り込む場合の一例を示す模式図である。 カメラ１０２に対して撮像指示を行う条件を示す条件テーブル２２００の構成の一例を示す構成図である。 投影中の投影文書と当該投影文書の回転フラグを格納する投影テーブル２３００の構成の一例を示す構成図である。 第２の実施例における投影処理の一連の処理の流れの一例を示す構成図である。 第２の実施例におけるタッチ判定処理の一連の流れの一例を示す構成図である。 第３の実施例における投影システム１００のハードウェア構成の一例を示す構成図である。 第３の実施例におけるタッチ判定処理の一連の流れの一例を示す構成図である。 第３の実施例における紙文書取り込み処理の一連の流れの一例を示す構成図である。 第３の実施例における撮像のシーンによって撮像音を切り替えるためのシーンごとに撮像音を格納している撮像音データテーブル２９００である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の投影システム１００のシステム構成の一例を示す図である。本発明の投影システム１００は、情報処理装置１０１、カメラ１０２、赤外線センサ１０３、プロジェクタ１０４、プリンタ１０７が設置されており、情報処理装置１０１、カメラ１０２、赤外線センサ１０３、プロジェクタ１０４、プリンタ１０７はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＶＧＡ端子等を介して相互にデータ通信可能に接続されている。図１に示す投影システム１００を立体的に示したものが、図４である。このように、カメラ１０２、赤外線センサ１０３、プロジェクタ１０４を含むものを机上に設置する。なお、本実施形態では有線接続を前提として説明を行うが、無線接続でもよい。図１の各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

投影システム１００は、投影面１０６に投影された映像に対してユーザが所定の指示を行うことの可能なシステムである。例えば、投影面１０６に投影されたボタンをユーザがタッチすることで、所定の処理を実行したり、紙文書を投影面１０６に置くことで当該紙文書の画像データを生成し、生成した画像データを投影面１０６に投影したりできる。このようなシステムを用いることで、複数のユーザが投影面１０６に投影された１つの映像を見ることになるので、スムーズな情報共有を行うことができ、かつ当該投影された映像に対して複数のユーザが直接操作を行うことができる。タッチパネルを備えるタブレット端末でも同様の効果を得ることができるが、ディスプレイが小さいため複数のユーザで同時に閲覧しにくい問題がある。そこで、机のような投影面１０６に対して映像を投影し、この投影した映像を直接操作できるようにすることで、この問題点を解決している。以下、このシステムを構成する機器の説明を行う。

情報処理装置１０１は、パーソナルコンピュータやサーバのような装置である。情報処理装置１０１は、前述した通り、カメラ１０２、赤外線センサ１０３、プロジェクタ１０４と接続されており、これらの機器と情報のやり取りを行うことができる。情報処理装置１０１は、投影システム１００を制御する装置であるので、情報処理装置１０１に記憶されている各種データの投影をプロジェクタ１０４に対して指示したり、カメラ１０２に対して撮影を指示することで画像データを得たり、赤外線センサ１０３から得た情報を解析したりすることができる。例えば、情報処理装置１０１は、赤外線センサ１０３から得た情報を基にカメラ１０２へ撮像指示を出し、カメラ１０２から得た画像データを情報処理装置１０１のＲＡＭ２０３に保存し、ＲＡＭ２０３に保存された画像データをプロジェクタ１０４へ送信する。また、情報処理装置１０１は、赤外線センサ１０３から得たユーザの手や紙文書等といった現実の物体（以下、オブジェクト）の情報やオブジェクトの動作の情報などを基に、情報処理装置１０１は、プロジェクタ１０４から投影面１０６に投影する画像を拡大、縮小したり非表示にしたりなどの処理を行う。これらの処理を、情報処理装置１０１にインストールされた証跡記録アプリケーションによって動作させる。証跡記録アプリケーションは、前述した各種装置との情報の送受信や、ユーザからの指示受付等を行うためのアプリケーションである。この証跡記録アプリケーションを動作させることにより、本実施形態の一連の処理を実現する。

カメラ１０２（撮像装置）は、動画像や静止画像を撮像可能なデジタルカメラであり、情報処理装置１０１から撮像指示を受け、カメラ１０２の撮像範囲を撮像する。撮像で得られた画像データは、情報処理装置１０１へ送信される。

赤外線センサ１０３は、たとえば赤外光領域を撮影可能な赤外線センサであり、投影面１０６から赤外線が反射される情報を取得し、赤外線の電気信号（以下、赤外線情報）を情報処理装置１０１に送信する。情報処理装置１０１では、受信した情報に基づいて、オブジェクトの形や動き、位置などを特定する。本実施形態においては、赤外線センサを用いるものとするが、オブジェクトの形や動き、位置などを特定できるのであれば、センサの種類は特に問わない。

プロジェクタ１０４（投影装置）は、情報処理装置１０１から送られる各種データを投影する装置である。プロジェクタ１０４は、反射鏡１０５に向けて設置されており、情報処理装置１０１から投影の指示を受け付けると、反射鏡１０５に向けて投影し、反射鏡１０５の反射を経て、投影面１０６へ投影する。

プリンタ１０７は、情報処理装置１０１から送られる印刷ジョブに基づいて、印刷をする装置である。

図２は、本発明の実施形態における各種端末のハードウェア構成を示す図である。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、入力コントローラ（入力Ｃ）２０５は、キーボードや不図示のマウス等のポインティングデバイス等の入力デバイス２０９からの入力を制御する。また、カメラ１０２や赤外線センサ１０３とも接続されており、これらの装置から送信される画像データや赤外線情報の入力も制御する。

ビデオコントローラ（ＶＣ）２０６は、ディスプレイ２１０等の表示器への表示を制御する。表示器の種類はＣＲＴや、液晶ディスプレイを想定するが、これに限らない。また、プロジェクタ１０４とも接続されており、プロジェクタ１０４に対する投影も制御する。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。通信Ｉ／ＦＣ２０８は、インターネット通信等により、プリンタ１０７とも接続されている。通信Ｉ／ＦＣ２０８を経由して、ＣＰＵ２０１からプリンタ１０７に対して印刷指示がなされる。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明の情報処理装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。

次に、情報処理装置１０１のモジュール構成を示す機能構成図について、図３を用いて説明する。なお、図３の装置のモジュール構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は、前述した通り、証跡記録アプリケーションを備える。証跡記録アプリケーションは、入力受付部３０１、表示指示部３０２、画像保存部３０３、オブジェクト検知部３０４、撮影指示部３０５、ＯＣＲ処理部３０６、操作判定部３０７、表示制御部３０８を備える。

入力受付部３０１は、赤外線センサ１０３から送信される赤外線情報を受け付ける。受け付けた赤外線情報はオブジェクト検知部３０４に送られる。また、カメラ１０２から送信される動画像や静止画像を画像データとして受け付ける。受け付けた画像データは画像保存部３０３に送られる。

表示指示部３０２は、情報処理装置１０１のＲＡＭ２０３や外部メモリ２１１に保存されたＰＤＦデータや画像データなどを表示制御部３０８が制御した結果を、プロジェクタ１０４へ送信する。

画像保存部３０３は、入力受付部３０１から送られた画像データを、オブジェクト検知部３０４で検知された情報に基づいて、紙文書等のオブジェクトに相当する領域を切り取り、切り取った画像データをＲＡＭ２０３や外部メモリ２１１に保存する。また、画像保存部３０３は、保存した画像データを表示指示部３０２へ送信する。

オブジェクト検知部３０４は、入力受付部３０１で受け付けた赤外線情報などを基に投影面１０６の上にあるオブジェクトの種類を検知する。たとえば、投影面１０６の上にあるオブジェクトがユーザの指（指示物）なのか、紙文書なのかを検知する。また、オブジェクトの進入方向も検知できる。

撮影指示部３０５は、操作判定部３０７でユーザの撮影指示がなされたと判定された場合に、カメラ１０２に対して撮影指示を行う。また、ユーザの証跡を残す操作がなされたと操作判定部３０７で判定された場合にもカメラ１０２に対して撮影指示を行う。

ＯＣＲ処理部３０６は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）などの技術を用いて、情報処理装置１０１のＲＡＭ２０３や外部メモリ２１１に保存された画像データの文字領域を検出し、画像データの中のそれぞれの文字が何の文字なのかを特定する。

操作判定部３０７は、オブジェクト検知部３０４で検知されたオブジェクトの現実空間上の位置やジェスチャを判定する。また、現実空間上の位置やジェスチャに対応づけられた処理を判定する。たとえば、投影されている画像データに対する制御内容の判定や、投影面１０６に置かれたオブジェクトの撮影指示の判定等を行う。

表示制御部３０８は、操作判定部で判定された結果に応じて、投影面１０６に投影されている画像データの拡大／縮小、表示／非表示、移動などを実行する。たとえば、拡大／縮小したい画像データの上でのピンチイン／ピンチアウトのジェスチャを操作判定部３０７が判定した場合に、表示制御部３０８は画像データの拡大／縮小処理を行う。

画像変換部３０９は、撮影指示部３０５で撮影指示をし取得した画像データをＴＩＦＦ形式に変換することができる。画像の変換形式はＴＩＦＦ形式だけではなく、さまざまな形式に変換することができる。

次に、本発明の実施形態における情報処理装置１０１によって行われる一連の処理について、図５に示すフローチャートを用いて説明する。

ステップＳ５０１では、情報処理装置１０１のＣＰＵ２０１は、顧客に対して金融商品などの説明を行う人（以後、テラーと呼ぶ）からの指示に応じて、外部メモリ２１１に記憶された証跡記録アプリケーションを起動する。なお、証跡記録アプリケーションは、銀行の窓口などで行われる金融商品などの説明を想定し、それら一連の流れの証跡を記録するアプリケーションである。

ステップＳ５０２では、情報処理装置１０１のＣＰＵ２０１は、ディスプレイ２１０の画面上にテラーＩＤと顧客ＩＤを入力させるＩＤ入力受付画面を表示させる。たとえば図６に示すＩＤ入力受付画面６０１のような画面である。ＩＤ入力受付画面６０１のテラーＩＤ入力欄６０２はテラーのＩＤが入力される欄である。顧客ＩＤ入力欄６０３は顧客のＩＤが入力される欄である。テラーＩＤは図７のテラーＩＤ管理テーブル７００で管理しており、テラーＩＤとテラーの氏名などの情報が紐づけられている。テラーＩＤ管理テーブル７００にはテラーＩＤ７０１とテラー氏名７０２があり、テラーＩＤ７０１はテラーを一意的に決めるためのＩＤであり、テラー氏名７０２は、テラーの氏名を表すものである。顧客ＩＤは図８の顧客ＩＤテーブル８００で管理しており、顧客ＩＤと顧客の氏名などの情報が紐づけられている。顧客ＩＤテーブル８００には顧客ＩＤ８０１と顧客氏名８０２があり、顧客ＩＤ８０１は顧客を一意的に決めるためのＩＤであり、顧客氏名８０２は顧客の氏名を表すものである。
ステップＳ５０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０２において表示されたＩＤ入力受付画面６０１において、テラーと顧客のＩＤの入力を受け付ける。ＯＫボタン６０４が押下されると次のステップＳ５０４へ移行する。キャンセルボタン６０５が押下されると証跡記録アプリケーションの起動を終了し、本一連の処理を終了する

ステップＳ５０４では、情報処理装置１０１のＣＰＵ２０１は、文書データや画像データをプロジェクタ１０４から投影面１０６に投影するために、テラーからの投影指示を受け付ける。具体的には、テラーから、投影する文書データや画像データの選択を受け付ける。たとえば金融商品を説明するためのＰＤＦデータである。文書のファイル形式はＰＤＦ形式以外でも構わない。

ステップＳ５０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４で受け付けたテラーからの投影指示に応じて、プロジェクタ１０４に対してテラーから選択されたＰＤＦデータを投影させる投影指示を行う。投影指示処理の詳細は、図９で後述する。

ステップＳ５０６では、情報処理装置１０１のＣＰＵ２０１は、赤外線センサ１０３から投影面１０６に対して照射され跳ね返ってくる赤外線の情報（以降、赤外線情報とする）を赤外線センサ１０３から受信する。投影面１０６から赤外線のはね返りがない部分を物体があると認識する。

ステップＳ５０７では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０６で受信した赤外線情報を基にオブジェクトを検知したか否かを判定する（動作検知手段）。ここでいうオブジェクトは例えばユーザの指や紙文書などを指す。オブジェクトを検知した場合にはステップＳ５０８に処理を進める。オブジェクトを検知しなかった場合にはステップＳ５１２へ処理を進める。

ステップＳ５０８では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０７で検知したオブジェクトが指なのか、紙文書なのかを特定する（オブジェクト特定手段）。より具体的には赤外線センサ１０３で受信した赤外線情報からオブジェクトの種類を特定する。たとえば、オブジェクトの形が球状のものから棒状のものが突き出ている形であることを認識した場合に突き出た部分を指であると特定する。また赤外線センサ１０３で受信した赤外線情報で判定したオブジェクトの形が、矩形であると認識した場合にはオブジェクトは紙文書であると特定する。

ステップＳ５０９では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０８で判定したオブジェクトの種類によって、検知したオブジェクトが証跡を残すものであるかを判定する（オブジェクト判定手段）。たとえば、オブジェクトが指であると判定した場合は、証跡を残すものであると判定し、ステップＳ５１０のタッチ判定処理へ移行する。オブジェクトが紙文書であると判定した場合は、証跡を残さないものであると判定しステップＳ５１１の紙文書取り込み処理へ移行する。投影システム１００を利用するユーザ（テラーまたは顧客）が投影面１０６に対してどのような操作を行ったのかを証跡として記録したいので、このような判定を行っている。

ステップＳ５１０では、情報処理装置１０１のＣＰＵ２０１は、投影された文書データまたは画像データ（以下、投影画像）に指がタッチしているかを判定し、タッチされていると判定された場合には、投影画像の上で指をタッチしている画像データを撮像することで証跡を残す。タッチ判定処理の詳細は後の図１９で詳しく説明する。

ステップＳ５１１では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６上に置かれた紙文書を撮像し、画像データとして取り込みを行う。より具体的には、顧客が持ってきた住民票や戸籍謄本など、金融商品の契約などで必要となる書類を撮像する。紙文書取り込み処理の詳細は後の図２０で詳しく説明する。

ステップＳ５１２では、情報処理装置１０１のＣＰＵ２０１は、ユーザから投影の終了指示があったか否かを判定する。投影の終了指示をユーザから受け付けた場合には、投影を終了させる。投影の終了を受け付けたと判定されなかった場合には、ステップＳ５０６へ処理を戻す。

ステップＳ５１３では、情報処理装置１０１のＣＰＵ２０１は、ユーザからの指示に応じてアプリケーションの終了処理を行う。

次に、前述したステップＳ５０５における投影処理について、図９を用いて説明する。

ステップＳ９０１では、情報処理装置１０１のＣＰＵ２０１は、前述したステップＳ５０４においてテラーから投影の指示があったかどうかを判定し、指示がなければ投影処理を終了する。投影の指示を受け付けた場合は、ステップＳ９０２へ処理を進める。

ステップＳ９０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４でテラーから投影の指示のあった文書データまたは画像データ（ここでは、例えばＰＤＦデータ）を取得し、ＲＡＭ２０３に記憶する。ＰＤＦデータ（電子データ）を取得したあと、ステップＳ９０３へと処理を進める。

ステップＳ９０３では、情報処理装置１０１のＣＰＵ２０１は、ＲＡＭ２０３に取得したＰＤＦデータの投影指示をプロジェクタ１０４に対して行う。

ステップＳ９０４では、プロジェクタ１０４は、情報処理装置１０１から投影指示を受け取る。

ステップＳ９０５では、プロジェクタ１０４は、ステップＳ９０４で受け取った指示により、投影を指示されたＰＤＦデータ（電子データ）を投影面１０６に投影する。ステップＳ９０５で投影された結果の投影面１０６の例が、図１０である。テラー１００１は、たとえば顧客に対して金融商品などの説明をする人物であり、証跡記録アプリケーションの起動や、顧客１００２に対する商品説明などを行う。投影面１０６上の申込書１００３には、概要説明部分１００４と詳細説明部分１００５と個人情報説明部分１００６と署名欄１００７がある。テラー１００１は、顧客１００２に対して申込書１００３に関する商品説明を行う際に、概要説明部分１００４と詳細説明部分１００５と個人情報説明部分１００６に対する説明を、指などを用いて行っていく。顧客１００２は、テラー１００１からの説明を受けたのち、署名欄１００７に署名を記入する。回転ボタン１００８は、テラーの指などが回転ボタン１００８にタッチされた場合に投影されている文書データや画像データを１８０度回転させるときに使うものである。図１０において回転ボタン１００８が押下されると、投影面１０６上の申込書１００３が１８０度回転することになる。つまり、顧客１００２の方を向いている申込書１００３が、テラー１００１の方を向くことになる。回転ボタン１００８は、物理的なボタンであっても、投影されたボタン画像であってもよい。以上で投影処理の説明を終わる。

次に、ステップＳ５１０におけるタッチ判定処理について、図１１を用いて説明する。

ステップＳ１１０１では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６に投影されている投影画像の基となる投影元文書の特定を行う。投影元文書は、前述したステップＳ５０４で選択された文書データまたは画像データであるので、これに基づいて特定する。ここでは、投影画像のファイル名や保存場所、更には投影している投影元文書のページ番号を特定する。特定を行ったら、ステップＳ１１０２へと処理を移行する。

ステップＳ１１０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１１０１で特定された投影画像に対応する撮像領域情報を取得する。撮像領域情報とは、投影画像に含まれる所定の領域ごとに存在する情報であり、図１２に示す撮像領域情報テーブル１２００に記憶された各レコードを指す。より具体的には、領域ＩＤ１２０１、名称１２０２、保存場所１２０３、ｐａｇｅ１２０４、撮像位置領域１２０５、属性１２０６のことを指す。

撮像領域情報テーブル１２００は、情報処理装置１０１の外部メモリ２１１に記憶されたテーブルである。撮像領域情報テーブル１２００は、領域ＩＤ１２０１、名称１２０２、保存場所１２０３、ｐａｇｅ１２０４、撮像位置領域１２０５、属性１２０６から構成される。領域ＩＤ１２０１ではそれぞれ証跡を保存する領域に番号などの領域ＩＤ番号を記載している。名称１２０２では、証跡を保存する領域の具体的な名称を記載している。保存場所１２０３は、投影するＰＤＦデータを保存している場所を記載してある。ｐａｇｅ１２０４では、投影する書類のページ数を記載してある。撮像位置領域１２０５では、投影するＰＤＦデータ上の証跡を保存する位置情報を記載してある。カンマで区切られた左側のＸＹ座標は矩形の左上を示している。カンマで区切られた右側のＸＹ座標は矩形の右下を示している。この２点からなる矩形を撮像する領域としている。なお、撮像する領域は本実施例では矩形としているが、円状であっても帯状であっても構わない。属性１２０６では、証跡を保存する領域の属性を記載してある。本実施例では説明、同意という属性があるが、それ以外であってもよい。

たとえば、図１０の申込書１００３の撮像領域情報を取得する場合には、ステップＳ１１０１で申込書１００３のファイル名や保存場所や投影しているページ番号が特定される。特定されたこれらの情報と、保存場所１２０３とに基づいて、必要なレコードを特定し、これを取得する。申込書１００３のファイル名が「Ａ．ｐｄｆ」、保存場所が「Ｄ：￥ｄｏｃｕｍｅｎｔ￥ｄａｔａ￥」、投影しているページ番号が「２」である場合には、図１２に示す領域ＩＤ１２０１が「１」〜「４」に該当する。よって、この４つのレコードを撮像領域情報として取得する。

ステップＳ１１０３では、情報処理装置１０１のＣＰＵ２０１は、赤外線センサ１０３から送られてくる赤外線情報を受信する。

ステップＳ１１０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１１０３で受信した赤外線情報に基づいて、投影面１０６上におけるユーザの手の位置を解析する。

ユーザの手の位置の解析の方法は従来の技術を用いるものとし、赤外線センサ１０３が赤外線のはね返りを検知することができなかった形状を解析する。形状の解析により、ユーザの指がどの部分を指しているかを特定することが可能になる。

ステップＳ１１０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１１０４で解析したユーザの手の位置などを基に、解析した手が誰の手なのかを特定する（ユーザ特定手段）。より具体的には、手の入射方向や手の向きなどから特定する。たとえば図１０では、回転ボタン１００８がある方向から手が入ってきた場合はテラーの手であると特定し、そうでない場合は顧客の手であると特定する。誰の手なのかを特定する方法はこれに限らない。ユーザの手にユーザを識別できる情報を付与しておき、これをカメラ１０２で撮像し、撮像された画像データを解析して特定してもよい。

ステップＳ１１０６では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１１０２で取得した撮像領域情報に含まれる撮像位置領域１２０５を示す領域にユーザの手がタッチされたかどうかを判定する。ユーザの手が撮像位置領域１２０５にタッチされたと判定されれば、ステップＳ１１０７へ処理を移行する。ユーザの手が撮像位置領域１２０５にタッチされたと判定されなければ、タッチ判定処理を終了する。図１３は、テラーが撮像位置領域１２０５である概要説明部分１００４にタッチしている例の図である。テラーの手１３０１が概要説明部分１００４の上をタッチしていれば、テラーが概要説明部分１００４の説明を行っているということである。つまり、顧客に対して概要説明部分１００４の説明を行ったということの証明のために、証跡を取る必要がある。そのため、ステップＳ１１０６では、このように撮像位置領域１２０５を示す領域がタッチされていれば、ステップＳ１１０７に処理を進める。

ステップＳ１１０７では、情報処理装置１０１のＣＰＵ２０１は、タッチされた撮像位置領域１２０５を示す領域の属性が、テラーから顧客に対する説明義務のある領域（以下、説明証跡領域）であるのか、顧客が契約等に同意の意思を示すための領域（以下、同意証跡領域）であるのかを判定する。タッチされた撮像位置領域１２０５に対応する、ステップＳ１１０２で取得した撮像領域情報の中の属性１２０６によって、タッチされた撮像位置領域１２０５の証跡の属性を特定し、特定した属性に応じて判定すればよい。撮像位置領域１２０５を示す領域が説明証跡領域であると判定した場合には、ステップＳ１１０８に処理を進める。撮像位置領域１２０５を示す領域が同意証跡領域であると判定した場合には、ステップＳ１１１０に処理を進める。このようにタッチされた部分の領域の属性を判定することにより、タッチされた領域が示す属性に応じて撮像の条件を変更することが可能となる。

たとえば図１３の概要説明部分１００４の領域ＩＤ１２０１「１」に対応する属性１２０６は「説明」となっているので、概要説明部分１００４が説明証跡領域であると特定する。よって、ステップＳ１１０８へ処理を進める。

一方、たとえば図１６は、顧客１００２が署名欄１００７に顧客の手１６０２でサインを行っている図である。投影システム１００では、署名欄１００７のような所定の領域を指でタッチしたまま移動させると、その軌跡を描画することができるようになっている。赤外線センサ１０３から送信された赤外線情報に基づいて、情報処理装置１０１のＣＰＵ２０１が、ユーザの指が署名欄１００７のような所定の領域をタッチしていると判定すると、当該タッチが継続されている間、そのタッチの軌跡を線要素で表現する。このような仕組みを用いることで、投影面１０６に対してタッチすることにより、サインを行うことができるようになる。

このように、サインを行うべく、署名欄１００７にタッチがなされると、顧客の手であるか、テラーの手であるかを判定するステップＳ１１０８と、投影画像の向きを判定するステップＳ１１０９は行わずに、即時、ステップＳ１１１０へ移行する。同意証跡領域の場合、テラーが顧客の代わりに同意のサインを行ってしまう場合がある。すなわち、顧客は同意の意思を示していないにも関わらず、テラーが代わりにサインしてしまう場合である。このような場合も証跡を保存するようにしておけば、テラーの不正な行為を抑止することができると共に、たとえ争いになったとしても、顧客を守ることができる。たとえば図１７ではテラーが同意証跡領域である署名欄１００７にサインをしていて、投影画像の向きはテラー向きである。また、図１８の場合、同じくテラーがサインをしており、投影画像の向きは顧客向きである。このような場合であっても署名欄１００７に手がタッチされているのであれば、署名欄１００７は同意証跡領域であるので、ステップＳ１１１０へ移行する。

ステップＳ１１０８では、情報処理装置１０１のＣＰＵ２０１は、タッチされた手がテラーの手であるかどうかを判定する。ステップＳ１１０５で特定された手の人物がテラーであればステップＳ１１０９へ処理を進める。ステップＳ１１０５で特定された手の人物がテラーでなければタッチ判定処理を終了させる。たとえば、図１４は、テラー１００１が説明する説明証跡領域である概要説明部分１００４を顧客１００２がタッチしている図である。この場合には、テラー１００１によるタッチではないので証跡の保存は行わずにタッチ判定処理を終了させる。説明証跡領域は、テラーが顧客に説明したということが担保できればよい。顧客が説明証跡領域をタッチした場合も証跡を保存するようにしてしまうと、外部メモリ２１１などの容量を圧迫してしまう。そのため、テラーからタッチされた場合のみ、証跡を取るようにしている。

ステップＳ１１０９では、情報処理装置１０１のＣＰＵ２０１は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、テラーから選択された文書データまたは画像データが、顧客の方を向いて投影される場合、回転ボタン１００８が押下されていれば、投影画像がテラーの方を向いていることがわかる。一方、回転ボタン１００８が押下されていなければ、投影画像が顧客の方を向いていることがわかる。投影画像が顧客の方を向いていると判定された場合、ステップＳ１１１０へ処理を進める。投影画像が顧客の方を向いていると判定されなかった場合は、タッチ判定処理を終了させる。たとえば図１５は、投影画像が顧客ではなく、テラーの方を向いている。この状態でテラーが説明を行ったとしても、顧客は投影画像を読むことができないため、正常に説明したとは言えない。そのため、この場合は証跡の保存は行わずに、タッチ判定処理を終了させる。このように、説明証跡領域の場合には、テラーが説明証跡領域をタッチしており、かつ投影画像が顧客の方に向いている場合に、証跡が保存される。テラーが正しい方法で説明していないと、証跡が残らないので、説明したか否かを示す証拠となりうる。

ステップＳ１１１０では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２にデジタルな撮像音の無い撮像指示を行う（撮像指示送信手段・撮像音制御手段）。本実施例では撮像音を無くすということは、撮像音の出力を無くすこととしているが、聞こえないような音量の撮像音であっても構わない。また、カメラに対して撮像音のない撮像を指示しているが、カメラが撮像音を出す（撮像音出力手段）必要はなく情報処理装置１０１につながるスピーカのようなものが撮像音を出していてもよい。

ステップＳ１１１１では、カメラ１０２は、情報処理装置１０１から送信された撮像音の無い撮像指示を受信する。

ステップＳ１１１２では、カメラ１０２は、受信した撮像指示に従って、撮像音を出さない撮像を行う。ここでいう撮像音はデジタルな撮像音である。撮像音を出さないというのは、撮像音を出す撮像と撮像音を出さない撮像を切り替える場合や、撮像音自体の音量を少なくする場合がある。撮像音を出さない方法は上記に限定されない。デジタルな撮像音を出さないことで、顧客がいかにも証跡を取られているということを認識することを避けることができる。

ステップＳ１１１３では、カメラ１０２は、情報処理装置に対し、撮像した画像データを送信する。

ステップＳ１１１４では、情報処理装置１０１のＣＰＵ２０１は、カメラから送信された画像データを受信する。

ステップＳ１１１５では、情報処理装置１０１のＣＰＵ２０１は、受信した画像データを、証跡ＩＤ、撮像された年月日（日時）、顧客ＩＤやテラーＩＤ、領域ＩＤ、画像データをひとまとめにして証跡として顧客ごとに保存する。証跡として保存する例として図１９の証跡保存テーブル１９００がある。証跡ＩＤ欄１９０１では、証跡を一意に決めるためのＩＤ番号を格納する。年月日欄１９０２では、証跡を保存するために撮像がなされた年月日と時間を格納する。撮像されたユーザ欄１９０３では、ステップＳ１１０５で特定された、撮像されたユーザがテラーなのか顧客なのかという情報を格納する。撮像された顧客／テラーＩＤ欄１９０４では、ステップＳ５０３で入力されたテラーや顧客のＩＤを格納する。画像データ欄１９０５では、撮像した画像データを保存したフォルダの場所を示す情報を格納する。また、画像の保存形式については本実施例ではＴＩＦＦ形式を採っているが、ほかの形式でも構わない。このようにテーブル形式で顧客ごとに管理することで証跡の検索もしやすく、顧客と紛争になった際の有用なリソースとなりうるものとなる。投影文書に指を指している画像データが残るため、証跡として担保することが可能なデータを蓄積することが可能になる。

次に、紙文書取り込み処理について図２０を用いて説明を行う。

ステップＳ２００１では、情報処理装置１０１のＣＰＵ２０１は、赤外線センサ１０３から送られる赤外線情報を受信する。

ステップＳ２００２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２００１で受信した赤外線情報を解析し、紙文書の動きを解析する。

ステップＳ２００３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２００２で解析した紙文書が撮像可能になったかを判定する。たとえばある一定の時間紙文書が動いていないと判定されたときに、撮像可能と判定する。撮像可能と判定された場合、ステップＳ２００４の処理へと移行する。なお、撮像可能の判定は、ユーザからの撮像の指示を受け付けてもよい。

ステップＳ２００４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２００３で紙文書が置かれて動きがある一定の時間なくなったと判定された時の、投影面１０６上に投影されている投影画像の位置や、状態を保存しておく処理を行う。たとえば図２１で表示されている表示メニュー２００３などがあり、これらの状態を保存しておく。保存処理が終わったらステップＳ２００５へと処理を移す。

ステップＳ２００５では、情報処理装置１０１のＣＰＵ２０１は、プロジェクタ１０４に対して投影しているものを消すよう、指示を行う。現在、投影面１０６上に投影しているものを投影しないように制御できればよい。これは、後述する処理で紙文書を取り込む際に、投影したものが写り込まないようにするためである。よって、置かれた紙文書の上に投影がされなければよく、それ以外の領域は何かしらの情報が投影されていてもよい。たとえば図２１の表示メニュー２００３の上に紙文書が置かれた場合、すべての投影を消してもよいし、紙文書と表示メニュー２００３が重なる部分の投影だけ消してもよい。

ステップＳ２００６では、プロジェクタ１０４は、情報処理装置１０１から指示された投影非表示指示を受信する。

ステップＳ２００７では、プロジェクタ１０４は、受信した投影非表示指示に従って、現在投影されているものを消す。

ステップＳ２００８では、情報処理装置１０１のＣＰＵ２０１は、デジタルな撮像音を伴う撮像の指示をカメラ１０２に対して行う（撮像音出力手段）。デジタルな撮像音を伴う撮像の指示は、元々音を出さないカメラに撮像音を出力させる指示でもよい。

ステップＳ２００９ではカメラ１０２は、情報処理装置１０１から送信された撮像音を伴う撮像の指示を受信する。

ステップＳ２０１０では、カメラ１０２は、受信した指示によりデジタルな撮像音を伴う撮像を行う。撮像音を伴う撮像を行うことで、顧客の住民票や戸籍謄本などの書類を画像データとして取り込んでいることを明確に認識させることができる。

ステップＳ２０１１では、カメラ１０２は、撮像によって得られた画像データを情報処理装置１０１へ送信する。

ステップＳ２０１２では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２から送信された画像データを受信する。

ステップＳ２０１３では、情報処理装置１０１のＣＰＵ２０１は、受信した画像データを、紙文書の取り込みデータとして保存する。

ステップＳ２０１４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２００４で保存した状態を読み出し、投影を終了する前の状態に戻すため、読み出した投影状態をプロジェクタ１０４に投影させ、投影を再開させる。

ステップＳ２０１５では、プロジェクタ１０４は、情報処理装置１０１からの投影表示指示を受信する。

ステップＳ２０１６では、プロジェクタ１０４に、受信した投影表示指示に基づいて、ステップＳ２００４で保存した状態を投影する。

以上説明したように、本実施形態によれば、証跡を取る際に撮像装置の撮像音を制御することが可能となる効果を奏する。

次に本願発明の第２の実施例を説明する。第１の実施例では、タッチされた領域の属性が同意証跡であった場合には、タッチされた手が顧客かテラーかの判定と、投影文書の向きの判定をせずに撮像指示を行っていた。第２の実施例では、同意証跡の場合でも上記の判定をすることにより、顧客が同意証跡の領域に確かにサインをしたという証跡を残すことを可能にする。これにより、例えばテラーが顧客に対してサインの説明を行う際などの無駄な証跡を残さずに適切な証跡のみを残すことを可能にする。

第２の実施例では、システム構成、ハードウェア構成、機能構成、画面例、テーブルは第１の実施例と同じであり、図９が図２４、図１１が図２５にそれぞれ変形したものである。

第２の実施例の投影処理を図２４のフローチャートで説明する。

ステップＳ２４０１では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４でテラーから投影の指示のあった文書データまたは画像データ（投影文書）（ここでは、例えばＰＤＦデータ）を取得し、ＲＡＭ２０３に記憶する。投影テーブル２３００の投影文書２３０１にステップＳ５０４で選択を受け付けた投影文書のファイル名を格納する。図２３に示す投影テーブル２３００には投影文書２３０１と回転フラグ２３０２とが格納されている。投影文書２３０１はステップＳ５０４で選択を受け付けた投影文書のファイル名を格納する。回転フラグ２３０２は、投影文書の向きを示すフラグであり、回転フラグ２３０２が「０」の時は投影文書は顧客向きとし、「１」の時（フラグが立っている時）はテラー向きとして投影文書を投影するという指示を示している。ステップＳ２４０１でＰＤＦデータを取得したあと、ステップＳ２４０２へと処理を進める。

ステップＳ２４０２では、情報処理装置１０１のＣＰＵ２０１は、投影テーブル２３００の回転フラグ２３０２が「１」か否か（立っているか否か）を判定する。回転フラグ２３０２が「１」と判定された場合は投影文書を回転させるべく処理をステップＳ２３０３に進める。回転フラグ２３０２が「１」でないと判定された場合は処理をステップＳ２３０４に進める。

ステップＳ２４０３では、情報処理装置１０１のＣＰＵ２０１は、ＲＡＭ２０３に記憶した投影文書２３０１の向きを１８０度回転させる処理を行う。これにより、テラーの向きだった投影文書が顧客の向きになり、顧客の向きだった投影文書がテラーの向きになる。

ステップＳ２４０４では、情報処理装置１０１のＣＰＵ２０１は、ＲＡＭ２０３に記憶したＰＤＦデータ（電子データ）の投影指示をプロジェクタ１０４に対して行う。

ステップＳ２４０５では、プロジェクタ１０４は、情報処理装置１０１から投影指示を受け取る。

ステップＳ２４０６では、プロジェクタ１０４は、ステップＳ２４０３で受け取った指示により、投影を指示されたＰＤＦデータを投影面１０６に投影する。本処理の一連の流れにより投影された結果の投影面１０６の例が、図１０である。図１０の詳細な説明については、前述した通りである。以上で投影処理の説明を終わる。

次に、ステップＳ５１０におけるタッチ判定処理について、本願発明の第２の実施例を図２６により説明する。

ステップＳ２５０１では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６に投影されている投影画像の基となる投影文書の特定を行う。投影文書は、前述したステップＳ５０４で選択された文書データまたは画像データであるので、これに基づいて特定する。ここでは、投影画像のファイル名や保存場所、更には投影している投影元文書のページ番号を特定する。特定を行ったら、ステップＳ２５０２へと処理を移行する。

ステップＳ２５０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２５０１で特定された投影画像に対応する撮像領域情報を取得する。撮像領域情報とは、投影画像に含まれる所定の領域ごとに存在する情報であり、図１２に示す撮像領域情報テーブル１２００に記憶された各レコードを指す。より具体的には、領域ＩＤ１２０１、名称１２０２、保存場所１２０３、ｐａｇｅ１２０４、撮像位置領域１２０５、属性１２０６のことを指す。

撮像領域情報テーブル１２００の詳細な説明については、前述した通りである。

たとえば、図１０の申込書１００３の撮像領域情報を取得する場合には、ステップＳ２５０１で申込書１００３のファイル名や保存場所や投影しているページ番号を特定する。特定されたこれらの情報と、保存場所１２０３とに基づいて、必要なレコードを特定し、これを取得する。申込書１００３のファイル名が「Ａ．ｐｄｆ」、保存場所が「Ｄ：￥ｄｏｃｕｍｅｎｔ￥ｄａｔａ￥」、投影しているページ番号が「２」である場合には、図１２に示す領域ＩＤ１２０１が「１」〜「４」に該当する。よって、この４つのレコードを撮像領域情報として取得する。

ステップＳ２５０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０６で受信した赤外線情報に基づいて、投影面１０６上におけるユーザの手の位置を解析する。ユーザの手の位置の解析の方法は従来の技術を用いるものとし、赤外線センサ１０３が赤外線のはね返りを検知することができなかった形状を解析する。形状の解析により、ユーザの指がどの部分を指しているかを特定することが可能になる。

ステップＳ２５０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２５０３で解析したユーザの手の位置などを基に、解析した手が誰の手なのかを特定する（ユーザ特定手段）。より具体的には、手の進入方向や手の向きなどから特定する。たとえば図１０では、回転ボタン１００８がある方向から手が入ってきた場合はテラーの手であると特定し、そうでない場合は顧客の手であると特定する。誰の手なのかを特定する方法はこれに限らない。ユーザの手にユーザを識別できる情報を付与しておき、これをカメラ１０２で撮像し、撮像された画像データを解析して特定してもよい。

ステップＳ２５０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２５０２で取得した撮像領域情報に含まれる撮像位置領域１２０５が示す領域にユーザの手がタッチされたかどうかを判定する（第１の判定手段）。ユーザの手が撮像位置領域１２０５にタッチされたと判定されれば、ステップＳ２５０６へ処理を移行する。ユーザの手が撮像位置領域１２０５にタッチされたと判定されなければ、ステップＳ２５１５に処理を進める。図１３は、テラーが撮像位置領域１２０５である概要説明部分１００４にタッチしている例の図である。テラーの手１３０１が概要説明部分１００４の上をタッチしていれば、テラーが概要説明部分１００４の説明を行っているということである。つまり、顧客に対して概要説明部分１００４の説明を行ったということの証明のために、証跡を取る必要がある。そのため、ステップＳ２５０５では、このように撮像位置領域１２０５を示す領域がタッチされていれば、ステップＳ２５０６に処理を進める。撮像位置領域１２０５を示す領域がタッチされていないと判定されれば、回転ボタンの押下を判定すべくステップＳ２５１５に処理を進める。

ステップＳ２５０６では、情報処理装置１０１のＣＰＵ２０１は、タッチされた撮像位置領域１２０５を示す領域の属性が、テラーから顧客に対する説明義務のある領域（以下、説明証跡領域）であるのか、顧客が契約等に同意の意思を示すための領域（以下、同意証跡領域）であるのかを判定する（第２の判定手段）。タッチされた撮像位置領域１２０５に対応する、ステップＳ２５０２で取得した撮像領域情報の中の属性１２０６によって、タッチされた撮像位置領域１２０５の証跡の属性を特定し、特定した属性に応じて判定すればよい。撮像位置領域１２０５を示す領域が説明証跡領域であると判定した場合には、ステップＳ２５０７に処理を進める。撮像位置領域１２０５を示す領域が同意証跡領域であると判定した場合には、ステップＳ２５１７に処理を進める。このようにタッチされた部分の領域の属性を判定することにより、タッチされた領域が示す属性に応じて撮像の条件を変更することが可能となる。

たとえば図１３の概要説明部分１００４の領域ＩＤ１２０１「１」に対応する属性１２０６は「説明」となっているので、概要説明部分１００４が説明証跡領域であると特定する。よって、ステップＳ２５０７へ処理を進める。

一方、たとえば図１６は、顧客１００２が署名欄１００７に顧客の手１６０２でサインを行っている図である。投影システム１００では、署名欄１００７のような所定の領域を指でタッチしたまま移動させると、その軌跡を描画することができるようになっている。赤外線センサ１０３から送信された赤外線情報に基づいて、情報処理装置１０１のＣＰＵ２０１が、ユーザの指が署名欄１００７のような所定の領域をタッチしていると判定すると、当該タッチが継続されている間、そのタッチの軌跡を線要素で表現する。このような仕組みを用いることで、投影面１０６に対してタッチすることにより、サインを行うことができるようになる。

第１の実施例では、署名欄１００７にタッチがなされると、顧客の手であるか、テラーの手であるかを判定するステップと、投影画像の向きを判定するステップは行わずに、即時、ステップＳ１１０９へ移行する。図２６に示す第２の実施例では、即時ステップＳ２５０９に移行せず、投影文書の向きと顧客の手であるか否かを判定する。これにより、顧客だけの証跡を残すことが可能になるので外部メモリ２１１などの記憶容量の節約になる。また、テラーが顧客に対してサインの方法を説明する際などに無駄な証跡を残すことがなくなるという効果もある。

ステップＳ２５０７〜２６０８、ステップＳ２５１７〜２６１８の判定は、図２２に示す条件テーブル２２００に基づいて判定を行う。条件テーブル２２００には領域の属性２２０１、回転フラグ２２０２、特定した手２２０３、処理内容２２０４が格納されている。領域の属性２２０１はステップＳ２５０６で判定された領域の属性を示している。回転フラグ２２０２は、投影テーブル２３００の回転フラグ２３０２のフラグを示している。特定した手２２０３はステップＳ２５０４で特定したテラーの手か顧客の手かを模式的に示している。処理内容２２０４は撮像をするか否かの処理の内容が記載されている。例えば、領域の属性２２０１が説明証跡領域であって、回転フラグ２２０２が０であって、特定した手２２０３がテラーであれば、処理内容２２０４は撮像する。

ステップＳ２５０７では、情報処理装置１０１のＣＰＵ２０１は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン１００８が押下され、ステップＳ２５１６で投影テーブル２３００の回転フラグ２３０２にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ２２０２にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ２２０２にフラグが立っていると判定された場合、ステップＳ２５０８へ処理を進める。回転フラグ２２０２にフラグが立っていないと判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。たとえば図１５は、投影画像が顧客ではなく、テラーの方を向いている。この状態でテラーが説明を行ったとしても、顧客は投影画像を読むことができないため、正常に説明したとは言えない。そのため、この場合は証跡の保存は行わずに、タッチ判定処理を終了させる。

ステップＳ２５０８では、情報処理装置１０１のＣＰＵ２０１は、タッチされた手がテラーの手であるかどうかを判定する。ステップＳ２５０４で特定された手の人物がテラーであればステップＳ２５０９へ処理を進める。ステップＳ２５０４で特定された手の人物がテラーでなければタッチ判定処理を終了させる。たとえば、図１４は、テラー１００１が説明する説明証跡領域である概要説明部分１００４を顧客１００２がタッチしている図である。この場合には、テラー１００１によるタッチではないので証跡の保存は行わずにタッチ判定処理を終了させる。説明証跡領域は、テラーが顧客に説明したということが担保できればよい。顧客が説明証跡領域をタッチした場合も証跡を保存するようにしてしまうと、外部メモリ２１１などの容量を圧迫してしまう。そのため、テラーからタッチされた場合のみ、証跡を取るようにしている。このように、説明証跡領域の場合には、テラーが説明証跡領域をタッチしており、かつ投影画像が顧客の方に向いている場合に、証跡が保存される。テラーが正しい方法で説明していないと、証跡が残らないので、説明したか否かを示す証拠となる。

ステップＳ２５０９では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２にデジタルな撮像音の無い撮像指示を行う（撮像指示手段・撮像音出力手段）。本実施例では撮像音を無くすとしているが、聞こえないような音量の撮像音であっても構わない。また、カメラに対して撮像音のない撮像を指示しているが、カメラが撮像音を出す必要はなく情報処理装置１０１につながるスピーカのようなものが撮像音を出してもよい。

ステップＳ２５１０では、カメラ１０２は、情報処理装置１０１から送信された撮像音の無い撮像指示を受信する。

ステップＳ２５１１では、カメラ１０２は、受信した撮像指示に従って、撮像音を出さない撮像を行う。ここでいう撮像音はデジタルな撮像音である。撮像音を出さないというのは、撮像音を出す撮像と撮像音を出さない撮像を切り替える場合や、撮像音自体の音量を少なくする場合がある。撮像音を出さない方法は上記に限定されない。デジタルな撮像音を出さないことで、顧客がいかにも証跡を取られているということを認識することを避けることができる。

ステップＳ２５１２では、カメラ１０２は、情報処理装置に対し、撮像した画像データを送信する。

ステップＳ２５１３では、情報処理装置１０１のＣＰＵ２０１は、カメラから送信された画像データを受信する。

ステップＳ２５１４では、情報処理装置１０１のＣＰＵ２０１は、受信した画像データを、証跡ＩＤ、撮像された年月日、顧客ＩＤやテラーＩＤ、領域ＩＤ、画像データをひとまとめにして証跡として顧客ごとに保存する（画像データ保存手段）。証跡として保存する例として図１９の証跡保存テーブル１９００がある。証跡保存テーブル１９００の詳細な説明については、前述した通りである。このようにテーブル形式で顧客ごとに管理することで証跡の検索もしやすく、顧客と紛争になった際の有用なリソースとなりうるものとなる。実際に投影文書に指を指している画像データが残るため、証跡として担保することが可能なデータを蓄積することが可能になる。

ステップＳ２５１５では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６上に配置された回転ボタン１００８がタッチされたか否かを判定する。回転ボタン１００８のタッチを受け付けることにより、ユーザからの投影文書の回転指示があったことと判断することができる。回転ボタン１００８がタッチされたと判定した場合処理をステップＳ２５１６に進め、回転ボタン１００８がタッチされないと判定した場合、処理を終了させる。

ステップＳ２５１６では、情報処理装置１０１のＣＰＵ２０１は、投影テーブル２３００の回転フラグ２３０２を反転させる。例えば「０」から「１」、「１」から「０」という具合である。フラグを反転させたのち、処理をステップＳ２４０２に進める。

ステップＳ２５１７では、情報処理装置１０１のＣＰＵ２０１は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン１００８が押下され、ステップＳ２５１６で投影テーブル２３００の回転フラグ２３０２にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ２２０２にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ２２０２にフラグが立っていると判定された場合、ステップＳ２５０９へ処理を進める。回転フラグ２２０２にフラグが立っていないと判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。

ステップＳ２５１８では、情報処理装置１０１のＣＰＵ２０１は、タッチされた手が顧客の手であるかどうかを判定する。ステップＳ２５０４で特定された手の人物が顧客であればステップＳ２５０９へ処理を進める。ステップＳ２５０４で特定された手の人物が顧客でなければタッチ判定処理を終了させる。ステップＳ２５１７、２５１８の判定を行うことによって、テラーが顧客に対してサインの説明を行う際などの無駄な証跡を残さずに適切な証跡のみを残すことを可能にする。

以上により同意証跡の場合でも上記の判定をすることにより、顧客が同意証跡の領域に確かにサインをしたという証跡を残すことを可能にする。例えばテラーが顧客に対してサインの説明を行う際などの無駄な証跡を残さずに適切な証跡のみを残すことを可能にする。

次に本願発明の第３の実施例を説明する。第１の実施例では、証跡を保存する際の撮像指示と紙文書の取り込みの際の撮像指示とで、撮像音の出力を制御する仕組みを説明した。第３の実施例では、証跡を保存する際の撮像指示と紙文書の取り込みの際の撮像指示とでそれぞれ撮像音の種類を切り替える。これにより、ユーザに対して撮像の意図を通知することが可能になるという効果がある。

第３の実施例では、システム構成、機能構成、画面例、テーブルは第１の実施例と同じであり、図９が図２４、図１１が図２７、図２０が図２８にそれぞれ変形したものである。

第３の実施例のハードウェア構成について図２６を用いて説明する。

図２６は図２の構成に新たにサウンドコントローラ２１２とスピーカ２１３とが追加されたものであり、共通する項目の説明は省略する。

サウンドコントローラ２１２は、音声信号を処理するコントローラであり、スピーカ２１３による音声出力を制御する。

スピーカ２１３は、情報処理装置１０１とスピーカケーブルで接続され、サウンドコントローラ２１２から出力される信号を音声として出力する。

次に図２７を用いて第３の実施例のタッチ判定処理を説明する。

ステップＳ２７０１では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６に投影されている投影画像の基となる投影文書の特定を行う。投影文書は、前述したステップＳ５０４で選択された文書データまたは画像データであるので、これに基づいて特定する。ここでは、投影画像のファイル名や保存場所、更には投影している投影元文書のページ番号を特定する。特定を行ったら、ステップＳ２７０２へと処理を移行する。

ステップＳ２７０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２７０１で特定された投影画像に対応する撮像領域情報を取得する。撮像領域情報とは、投影画像に含まれる所定の領域ごとに存在する情報であり、図１２に示す撮像領域情報テーブル１２００に記憶された各レコードを指す。より具体的には、領域ＩＤ１２０１、名称１２０２、保存場所１２０３、ｐａｇｅ１２０４、撮像位置領域１２０５、属性１２０６のことを指す。

撮像領域情報テーブル１２００は、情報処理装置１０１の外部メモリ２１１に記憶されたテーブルである。撮像領域情報テーブル１２００の詳細な説明については、前述した通りである。

たとえば、図１０の申込書１００３の撮像領域情報を取得する場合には、ステップＳ２７０１で申込書１００３のファイル名や保存場所や投影しているページ番号を特定する。特定されたこれらの情報と、保存場所１２０３とに基づいて、必要なレコードを特定し、これを取得する。申込書１００３のファイル名が「Ａ．ｐｄｆ」、保存場所が「Ｄ：￥ｄｏｃｕｍｅｎｔ￥ｄａｔａ￥」、投影しているページ番号が「２」である場合には、図１２に示す領域ＩＤ１２０１が「１」〜「４」に該当する。よって、この４つのレコードを撮像領域情報として取得する。

ステップＳ２７０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０６で受信した赤外線情報に基づいて、投影面１０６上におけるユーザの手の位置を解析する。ユーザの手の位置の解析の方法は従来の技術を用いるものとし、赤外線センサ１０３が赤外線のはね返りを検知することができなかった形状を解析する。形状の解析により、ユーザの指がどの部分を指しているかを特定することが可能になる。

ステップＳ２７０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２７０３で解析したユーザの手の位置などを基に、解析した手が誰の手なのかを特定する（ユーザ特定手段）。より具体的には、手の進入方向や手の向きなどから特定する。たとえば図１０では、回転ボタン１００８がある方向から手が入ってきた場合はテラーの手であると特定し、そうでない場合は顧客の手であると特定する。誰の手なのかを特定する方法はこれに限らない。ユーザの手にユーザを識別できる情報を付与しておき、これをカメラ１０２で撮像し、撮像された画像データを解析して特定してもよい。

ステップＳ２７０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２７０２で取得した撮像領域情報に含まれる撮像位置領域１２０５が示す領域にユーザの手がタッチされたかどうかを判定する（第１の判定手段）。ユーザの手が撮像位置領域１２０５にタッチされたと判定されれば、ステップＳ２７０６へ処理を移行する。ユーザの手が撮像位置領域１２０５にタッチされたと判定されなければ、ステップＳ２７２０に処理を進める。図１３は、テラーが撮像位置領域１２０５である概要説明部分１００４にタッチしている例の図である。テラーの手１３０１が概要説明部分１００４の上をタッチしていれば、テラーが概要説明部分１００４の説明を行っているということである。つまり、顧客に対して概要説明部分１００４の説明を行ったということの証明のために、証跡を取る必要がある。そのため、ステップＳ２７０５では、このように撮像位置領域１２０５を示す領域がタッチされていれば、ステップＳ２７０６に処理を進める。撮像位置領域１２０５を示す領域がタッチされていないと判定されれば、回転ボタンの押下を判定すべくステップＳ２７２０に処理を進める。

ステップＳ２７０６では、情報処理装置１０１のＣＰＵ２０１は、タッチされた撮像位置領域１２０５を示す領域の属性が、テラーから顧客に対する説明義務のある領域（以下、説明証跡領域）であるのか、顧客が契約等に同意の意思を示すための領域（以下、同意証跡領域）であるのかを判定する（第２の判定手段）。タッチされた撮像位置領域１２０５に対応する、ステップＳ２７０２で取得した撮像領域情報の中の属性１２０６によって、タッチされた撮像位置領域１２０５の証跡の属性を特定し、特定した属性に応じて判定すればよい。撮像位置領域１２０５を示す領域が説明証跡領域であると判定した（説明動作）場合には、ステップＳ２７０７に処理を進める。撮像位置領域１２０５を示す領域が同意証跡領域であると判定した（同意動作）場合には、ステップＳ２７１１に処理を進める。このようにタッチされた部分の領域の属性を判定することにより、タッチされた領域が示す属性に応じて撮像の条件を変更することが可能となる。

たとえば図１３の概要説明部分１００４の領域ＩＤ１２０１「１」に対応する属性１２０６は「説明」となっているので、概要説明部分１００４が説明証跡領域であると特定する。よって、ステップＳ２７０７へ処理を進める。

一方、たとえば図１６は、顧客１００２が署名欄１００７に顧客の手１６０２でサインを行っている図である。投影システム１００では、署名欄１００７のような所定の領域を指でタッチしたまま移動させると、その軌跡を描画することができるようになっている。赤外線センサ１０３から送信された赤外線情報に基づいて、情報処理装置１０１のＣＰＵ２０１が、ユーザの指が署名欄１００７のような所定の領域をタッチしていると判定すると、当該タッチが継続されている間、そのタッチの軌跡を線要素で表現する。このような仕組みを用いることで、投影面１０６に対してタッチすることにより、サインを行うことができるようになる。

ステップＳ２７０７〜２６０８、ステップＳ２７１１〜２６１２の判定は、図２２に示す条件テーブル２２００に基づいて判定を行う。条件テーブル２２００には領域の属性２２０１、回転フラグ２２０２、特定した手２２０３、処理内容２２０４が格納されている。領域の属性２２０１はステップＳ２７０６で判定された領域の属性を示している。回転フラグ２２０２は、投影テーブル２３００の回転フラグ２３０２のフラグを示している。特定した手２２０３はステップＳ２７０４で特定したテラーの手か顧客の手かを模式的に示している。処理内容２２０４は撮像をするか否かの処理の内容が記載されている。例えば、領域の属性２２０１が説明証跡領域であって、回転フラグ２２０２が０であって、特定した手２２０３がテラーであれば、処理内容２２０４は撮像する。

ステップＳ２７０７では、情報処理装置１０１のＣＰＵ２０１は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン１００８が押下され、ステップＳ２７１６で投影テーブル２３００の回転フラグ２３０２にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ２２０２にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ２２０２にフラグが立っていると判定された場合、ステップＳ２７０８へ処理を進める。回転フラグ２２０２にフラグが立っていないと判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。たとえば図１５は、投影画像が顧客ではなく、テラーの方を向いている。この状態でテラーが説明を行ったとしても、顧客は投影画像を読むことができないため、正常に説明したとは言えない。そのため、この場合は証跡の保存は行わずに、タッチ判定処理を終了させる。

ステップＳ２７０８では、情報処理装置１０１のＣＰＵ２０１は、タッチされた手がテラーの手であるかどうかを判定する。ステップＳ２７０４で特定された手の人物がテラーであればステップＳ２７０９へ処理を進める。ステップＳ２７０４で特定された手の人物がテラーでなければタッチ判定処理を終了させる。たとえば、図１４は、テラー１００１が説明する説明証跡領域である概要説明部分１００４を顧客１００２がタッチしている図である。この場合には、テラー１００１によるタッチではないので証跡の保存は行わずにタッチ判定処理を終了させる。説明証跡領域は、テラーが顧客に説明したということが担保できればよい。顧客が説明証跡領域をタッチした場合も証跡を保存するようにしてしまうと、外部メモリ２１１などの容量を圧迫してしまう。そのため、テラーからタッチされた場合のみ、証跡を取るようにしている。このように、説明証跡領域の場合には、テラーが説明証跡領域をタッチしており、かつ投影画像が顧客の方に向いている場合に、証跡が保存される。テラーが正しい方法で説明していないと、証跡が残らないので、説明したか否かを示す証拠となる。

ステップＳ２７０９では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２に撮像指示を行う（撮像指示手段）。

ステップＳ２７１０では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２７０６で説明証跡の領域であると判定されたので、説明領域の証跡を保存することを通知すべく説明領域の撮像音をスピーカ２１３から出力する（撮像音出力手段）。撮像音は図２９にしめす撮像音データテーブル２９００から判断する。撮像音データテーブル２９００には撮像シーン２９０１、撮像音２９０２とが格納されており、撮像シーン２９０１は本実施例で撮像するシーンである、「紙文書取り込み（取り込みシーン）」「説明証跡領域（説明シーン）」「同意証跡領域（同意シーン）」とがある。それぞれに対して撮像音２９０２が割り当てられており、それぞれのシーンに応じて撮像音２９０２に保存されている音声データを出力する。例えば、ステップＳ２７０６で説明証跡のシーン（説明シーン）であると判定し当該シーンを特定しているのでこれに該当する「説明証跡領域」に対応する撮像音２９０２を「Ｄ：￥ｓｏｕｎｄ￥００２．ｗａｖ」と特定し、当該撮像音２９０２をスピーカ２１３から出力するよう制御する。

撮像音をスピーカ２１３から出力する際には、後述するステップＳ２７１６における撮像とタイミングが合うように出力されることが望ましい。そのため、ステップＳ２７０９で撮像指示をしてから後述するステップＳ２７１６で撮像がなされるまでの遅延時間をあらかじめ記憶、または従来技術で算出し、当該遅延時間の間、待機してから撮像音を出力するようにすればよい。

ステップＳ２７１１では、情報処理装置１０１のＣＰＵ２０１は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン１００８が押下され、ステップＳ２７１６で投影テーブル２３００の回転フラグ２３０２にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ２２０２にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ２２０２にフラグが立っていないと判定された場合、ステップＳ２７１２へ処理を進める。回転フラグ２２０２にフラグが立っていると判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。

ステップＳ２７１２では、情報処理装置１０１のＣＰＵ２０１は、タッチされた手が顧客の手であるかどうかを判定する。ステップＳ２７０４で特定された手の人物が顧客であればステップＳ２７１３へ処理を進める。ステップＳ２７０４で特定された手の人物が顧客でなければタッチ判定処理を終了させる。

ステップＳ２７１３では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２に撮像指示を行う。

ステップＳ２７１４では、情報処理装置１０１のＣＰＵ２０１は、同意領域の証跡を保存することを通知すべく説明領域の撮像音を特定し、当該撮像音をスピーカ２１３から出力する（撮像音出力手段）。ステップＳ２７１０と同様に撮像音は図２９にしめす撮像音データテーブル２９００から判断する。撮像音をスピーカ２１３から出力する際には、後述するステップＳ２７１６における撮像とタイミングが合うように出力されることが望ましい。そのため、ステップＳ２７１３で撮像指示をしてから後述するステップＳ２７１６で撮像がなされるまでの遅延時間をあらかじめ記憶、または従来技術で算出し、当該遅延時間の間、待機してから撮像音を出力するようにすればよい。

ステップＳ２７１５では、カメラ１０２は、情報処理装置１０１から送信された撮像指示を受信する。

ステップＳ２７１６では、カメラ１０２は、受信した撮像指示に従って、撮像を行う。第３の実施例ではカメラ１０２は撮像音を出力しない。

ステップＳ２７１７では、カメラ１０２は、情報処理装置に対し、撮像した画像データを送信する。

ステップＳ２７１８では、情報処理装置１０１のＣＰＵ２０１は、カメラから送信された画像データを受信する。

ステップＳ２７１９では、情報処理装置１０１のＣＰＵ２０１は、受信した画像データを、証跡ＩＤ、撮像された年月日、顧客ＩＤやテラーＩＤ、領域ＩＤ、画像データをひとまとめにして証跡として顧客ごとに保存する。証跡として保存する例として図１９の証跡保存テーブル１９００がある。証跡保存テーブル１９００の詳細な説明については前述したとおりである。このようにテーブル形式で顧客ごとに管理することで証跡の検索もしやすく、顧客と紛争になった際の有用なリソースとなるものとなる。実際に投影文書に指を指している画像データが残るため、証跡として担保することが可能なデータを蓄積することが可能になる。

ステップＳ２７２０では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６上に配置された回転ボタン１００８がタッチされたか否かを判定する。回転ボタン１００８のタッチを受け付けることにより、ユーザからの投影文書の回転指示があったことと判断することができる。回転ボタン１００８がタッチされたと判定した場合処理をステップＳ２７２１に進め、回転ボタン１００８がタッチされないと判定した場合、処理を終了させる。

ステップＳ２７１６では、情報処理装置１０１のＣＰＵ２０１は、投影テーブル２３００の回転フラグ２３０２を反転させる。例えば「０」から「１」、「１」から「０」という具合である。フラグを反転させたのち、処理をステップＳ２４０２に進める。

次に、第３の実施例における紙文書取り込み処理について図２８を用いて説明を行う。

ステップＳ２８０１では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０６で受信した赤外線情報を解析し、紙文書の動きを解析する。

ステップＳ２８０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２８０１で解析した紙文書が撮像可能になったかを判定する。たとえばある一定の時間紙文書が動いていないと判定されたときに、撮像可能と判定する。撮像可能と判定された場合、ステップＳ２８０３の処理へと移行する。なお、撮像可能の判定は、ユーザからの撮像の指示を受け付けてもよい。例えば、スキャンボタンなどが投影面上に配置されており、当該スキャンボタンの押下を受け付けることで撮像可能と判定してもよい。

ステップＳ２８０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２８０２で紙文書が置かれ、動きがある一定の時間なくなったと判定された時の、投影面１０６上に投影されている投影画像の位置や、状態を保存しておく処理を行う。たとえば図２１で表示されている表示メニュー２００３などがあり、これらの状態を保存しておく。保存処理が終わったらステップＳ２８０４へと処理を移す。

ステップＳ２８０４では、情報処理装置１０１のＣＰＵ２０１は、プロジェクタ１０４に対して投影しているものを消すよう、指示を行う。現在、投影面１０６上に投影しているものを投影しないように制御できればよい。これは、後述する処理で紙文書を取り込む際に、投影したものが写り込まないようにするためである。よって、置かれた紙文書の上に投影がされなければよく、それ以外の領域は何かしらの情報が投影されていてもよい。たとえば図２１の表示メニュー２００３の上に紙文書が置かれた場合、すべての投影を消してもよいし、紙文書と表示メニュー２００３が重なる部分の投影だけ消してもよい。

ステップＳ２８０５では、プロジェクタ１０４は、情報処理装置１０１から指示された投影非表示指示を受信する。

ステップＳ２８０６では、プロジェクタ１０４は、受信した投影非表示指示に従って、現在投影されている投影を消す。

ステップＳ２８０７では、情報処理装置１０１のＣＰＵ２０１は、撮像の指示をカメラ１０２に対して行う。

ステップＳ２８０８では、情報処理装置１０１のＣＰＵ２０１は、紙文書取り込みの撮像音を特定し、当該撮像音をスピーカ２１３により出力する（撮像音出力手段）。撮像音は図２９にしめす撮像音データテーブル２９００から特定する。ステップＳ５０９で紙文書取り込みと特定されているので図２９に示す撮像音２９０２は、撮像シーン２９０１が「紙文書取り込み」の「Ｄ：￥ｓｏｕｎｄ￥００１．ｗａｖ」となる。また、前述したステップＳ２７１４と同様に、後述するステップＳ２８１０における撮像とタイミングを合わせて出力することが望ましい。そのため、ステップＳ２７１４で前述した通り、撮像が行われるタイミングまで待機し、待機後に撮像音を出力する。

ステップＳ２８０９ではカメラ１０２は、情報処理装置１０１から送信された撮像の指示を受信する。

ステップＳ２８１０では、カメラ１０２は、受信した指示によりデジタルな撮像音を伴う撮像を行う。撮像音を伴う撮像を行うことで、顧客の住民票や戸籍謄本などの書類を画像データとして取り込んでいることを明確に認識させることができる。

ステップＳ２８１１では、カメラ１０２は、撮像によって得られた画像データを情報処理装置１０１へ送信する。

ステップＳ２８１２では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２から送信された画像データを受信する。

ステップＳ２８１３では、情報処理装置１０１のＣＰＵ２０１は、受信した画像データを、紙文書の取り込みデータとして保存する。

ステップＳ２８１４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２８０３で保存した状態を読み出し、投影を終了する前の状態に戻すため、読み出した投影状態をプロジェクタ１０４に投影させ、投影を再開させる。

ステップＳ２８１５では、プロジェクタ１０４は、情報処理装置１０１からの投影表示指示を受信する。

ステップＳ２８１６では、プロジェクタ１０４に、受信した投影表示指示に基づいて、ステップＳ２８０３で保存した状態を投影する。

以上、第３の実施例では、証跡を保存する際の撮像指示と紙文書の取り込みの際の撮像指示とでそれぞれ撮像音の種類を切り替えることでユーザに対して撮像の意図を通知することが可能になるという効果がある。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 投影システム
１０１ 情報処理装置
１０２ カメラ
１０３ センサ
１０４ プロジェクタ
１０５ 反射板
１０６ 投影面
１０７ プリンタ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆ（インターフェース）コントローラ
２０９ 入力デバイス
２１０ ディスプレイ
２１１ 外部メモリ

Claims (18)

1. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理装置であって、
   前記投影面上にあるオブジェクトの種類を特定するオブジェクト特定手段と、
   前記オブジェクトの種類と、撮像音を制御するための情報である制御情報とを対応付けて記憶する記憶手段と、
   前記オブジェクト特定手段で特定されたオブジェクトの種類に対応する前記制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御手段と
   を備え、
   前記記憶手段は、証跡を残すオブジェクトの種類である第１の種類と、証跡を残さないオブジェクトの種類である第２の種類とを更に記憶しており、
   前記撮像音制御手段は、前記オブジェクト特定手段が前記第１の種類のオブジェクトであると特定した場合に出力される撮像音を、前記第２の種類のオブジェクトであると特定した場合に出力される撮像音の音量より小さくするよう制御することを特徴とする情報処理装置。
2. 前記第２の種類のオブジェクトは、書類として取り込むオブジェクトであることを特徴とする請求項１に記載の情報処理装置。
3. 前記撮像音制御手段は、前記オブジェクト特定手段が前記第１の種類のオブジェクトであると特定した場合には、撮像音を出力しないことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記撮像音制御手段は、前記オブジェクト特定手段が前記第２の種類のオブジェクトであると特定した場合には、撮像音を出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理装置であり、オブジェクトの種類と、撮像音を制御するための情報である制御情報とを対応付けて記憶する記憶手段を備える情報処理装置の制御方法であって、
   前記情報処理装置が、
   前記投影面上にあるオブジェクトの種類を特定するオブジェクト特定ステップと、
   前記オブジェクト特定ステップで特定されたオブジェクトの種類に対応する前記制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御ステップと
   を備え、
   前記記憶手段は、証跡を残すオブジェクトの種類である第１の種類と、証跡を残さないオブジェクトの種類である第２の種類とを更に記憶しており、
   前記撮像音制御ステップは、前記オブジェクト特定ステップが前記第１の種類のオブジェクトであると特定した場合に出力される撮像音を、前記第２の種類のオブジェクトであると特定した場合に出力される撮像音の音量より小さくするよう制御することを特徴とする情報処理装置の制御方法。
6. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理装置であり、オブジェクトの種類と、撮像音を制御するための情報である制御情報とを対応付けて記憶する記憶手段を備える情報処理装置で実行可能なプログラムであって、
   前記情報処理装置を、
   前記投影面上にあるオブジェクトの種類を特定するオブジェクト特定手段と、
   前記オブジェクト特定手段で特定されたオブジェクトの種類に対応する前記制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御手段として機能させ、
   前記記憶手段は、証跡を残すオブジェクトの種類である第１の種類と、証跡を残さないオブジェクトの種類である第２の種類とを更に記憶しており、
   前記撮像音制御手段は、前記オブジェクト特定手段が前記第１の種類のオブジェクトであると特定した場合に出力される撮像音を、前記第２の種類のオブジェクトであると特定した場合に出力される撮像音の音量より小さくするよう制御することを特徴とするプログラム。
7. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理システムであって、
   前記投影面上にあるオブジェクトの種類を特定するオブジェクト特定手段と、
   前記オブジェクトの種類と、撮像音を制御するための情報である制御情報とを対応付けて記憶する記憶手段と、
   前記オブジェクト特定手段で特定されたオブジェクトの種類に対応する前記制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御手段と
   を備え、
   前記記憶手段は、証跡を残すオブジェクトの種類である第１の種類と、証跡を残さないオブジェクトの種類である第２の種類とを更に記憶しており、
   前記撮像音制御手段は、前記オブジェクト特定手段が前記第１の種類のオブジェクトであると特定した場合に出力される撮像音を、前記第２の種類のオブジェクトであると特定した場合に出力される撮像音の音量より小さくするよう制御することを特徴とする情報処理システム。
8. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理システムであり、オブジェクトの種類と、撮像音を制御するための情報である制御情報とを対応付けて記憶する記憶手段を備える情報処理システムの制御方法であって、
   情報処理システムが、
   前記投影面上にあるオブジェクトの種類を特定するオブジェクト特定ステップと、
   前記オブジェクト特定ステップで特定されたオブジェクトの種類に対応する前記制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御ステップと
   を備え、
   前記記憶手段は、証跡を残すオブジェクトの種類である第１の種類と、証跡を残さないオブジェクトの種類である第２の種類とを更に記憶しており、
   前記撮像音制御ステップは、前記オブジェクト特定ステップが前記第１の種類のオブジェクトであると特定した場合に出力される撮像音を、前記第２の種類のオブジェクトであると特定した場合に出力される撮像音の音量より小さくするよう制御することを特徴とする情報処理システムの制御方法。
9. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理システムであり、オブジェクトの種類と、撮像音を制御するための情報である制御情報とを対応付けて記憶する記憶手段を備える情報処理システムで実行可能なプログラムであって、
   前記情報処理システムを、
   前記投影面上にあるオブジェクトの種類を特定するオブジェクト特定手段と、
   前記オブジェクト特定手段で特定されたオブジェクトの種類に対応する前記制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御手段として機能させ、
   前記記憶手段は、証跡を残すオブジェクトの種類である第１の種類と、証跡を残さないオブジェクトの種類である第２の種類とを更に記憶しており、
   前記撮像音制御手段は、前記オブジェクト特定手段が前記第１の種類のオブジェクトであると特定した場合に出力される撮像音を、前記第２の種類のオブジェクトであると特定した場合に出力される撮像音の音量より小さくするよう制御することを特徴とするプログラム。
10. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理装置であって、
    ユーザの操作によって決定される撮像モードであって前記投影面を撮像するモードである撮像モードと、前記撮像装置の撮像音の出力の制御を示す情報である制御情報とを対応付けて記憶する記憶手段と、
    ユーザから操作を受け付ける操作受付手段と、
    前記操作受付手段で操作を受け付けた前記操作に対応する撮像モードを特定する特定手段と、
    前記特定手段で特定した前記撮像モードに対応付けられて前記記憶手段に記憶される制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御手段と
    を備え、
    前記撮像モードは、証跡を取るモードである第１のモードと、証跡を取らないモードである第２のモードとがあり、
    前記撮像音制御手段で、前記特定手段で前記第１のモードであると特定された場合に出力される撮像音は、前記特定手段で前記第２のモードであると特定された場合に出力される撮像音より音量が小さいことを特徴とする情報処理装置。
11. 前記第２のモードは、書類の取り込みを行うモードであることを特徴とする請求項１０に記載の情報処理装置。
12. 前記撮像音制御手段で、前記特定手段で前記第１のモードであると特定された場合に撮像音を出力しないよう制御することを特徴とする請求項１０または１１に記載の情報処理装置。
13. 前記撮像音制御手段で、前記特定手段で前記第２のモードであると特定された場合に撮像音を出力するよう制御することを特徴とする請求項１０乃至１２のいずれか１項に記載の情報処理装置。
14. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理装置であり、ユーザの操作によって決定される撮像モードであって前記投影面を撮像するモードである撮像モードと、前記撮像装置の撮像音の出力の制御を示す情報である制御情報とを対応付けて記憶する記憶手段を備える情報処理装置の制御方法であって、
    前記情報処理装置が、
    ユーザから操作を受け付ける操作受付ステップと、
    前記操作受付ステップで操作を受け付けた前記操作に対応する撮像モードを特定する特定ステップと、
    前記特定ステップで特定した前記撮像モードに対応付けられて前記記憶手段に記憶される制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御ステップと
    を備え、
    前記撮像モードは、証跡を取るモードである第１のモードと、証跡を取らないモードである第２のモードとがあり、
    前記撮像音制御ステップで、前記特定ステップで前記第１のモードであると特定された場合に出力される撮像音は、前記特定ステップで前記第２のモードであると特定された場合に出力される撮像音より音量が小さいことを特徴とする情報処理装置の制御方法。
15. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理装置であり、ユーザの操作によって決定される撮像モードであって前記投影面を撮像するモードである撮像モードと、前記撮像装置の撮像音の出力の制御を示す情報である制御情報とを対応付けて記憶する記憶手段を備える情報処理装置で実行可能なプログラムであって、
    前記情報処理装置を、
    ユーザから操作を受け付ける操作受付手段と、
    前記操作受付手段で操作を受け付けた前記操作に対応する撮像モードを特定する特定手段と、
    前記特定手段で特定した前記撮像モードに対応付けられて前記記憶手段に記憶される制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御手段として機能させ、
    前記撮像モードは、証跡を取るモードである第１のモードと、証跡を取らないモードである第２のモードとがあり、
    前記撮像音制御手段で、前記特定手段で前記第１のモードであると特定された場合に出力される撮像音は、前記特定手段で前記第２のモードであると特定された場合に出力される撮像音より音量が小さいことを特徴とするプログラム。
16. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理システムであって、
    ユーザの操作によって決定される撮像モードであって前記投影面を撮像するモードである撮像モードと、前記撮像装置の撮像音の出力の制御を示す情報である制御情報とを対応付けて記憶する記憶手段と、
    ユーザから操作を受け付ける操作受付手段と、
    前記操作受付手段で操作を受け付けた前記操作に対応する撮像モードを特定する特定手段と、
    前記特定手段で特定した前記撮像モードに対応付けられて前記記憶手段に記憶される制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御手段と
    を備え、
    前記撮像モードは、証跡を取るモードである第１のモードと、証跡を取らないモードである第２のモードとがあり、
    前記撮像音制御手段で、前記特定手段で前記第１のモードであると特定された場合に出力される撮像音は、前記特定手段で前記第２のモードであると特定された場合に出力される撮像音より音量が小さいことを特徴とする情報処理システム。
17. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理システムであり、ユーザの操作によって決定される撮像モードであって前記投影面を撮像するモードである撮像モードと、前記撮像装置の撮像音の出力の制御を示す情報である制御情報とを対応付けて記憶する記憶手段を備える情報処理システムの制御方法であって、
    前記情報処理システムが、
    ユーザから操作を受け付ける操作受付手段と、
    前記操作受付手段で操作を受け付けた前記操作に対応する撮像モードを特定する特定手段と、
    前記特定手段で特定した前記撮像モードに対応付けられて前記記憶手段に記憶される制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御手段と
    を備え、
    前記撮像モードは、証跡を取るモードである第１のモードと、証跡を取らないモードである第２のモードとがあり、
    前記撮像音制御手段で、前記特定手段で前記第１のモードであると特定された場合に出力される撮像音は、前記特定手段で前記第２のモードであると特定された場合に出力される撮像音より音量が小さいことを特徴とする情報処理システムの制御方法。
18. 投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理システムであり、ユーザの操作によって決定される撮像モードであって前記投影面を撮像するモードである撮像モードと、前記撮像装置の撮像音の出力の制御を示す情報である制御情報とを対応付けて記憶する記憶手段を備える情報処理システムであって、
    前記情報処理システムを、
    ユーザから操作を受け付ける操作受付手段と、
    前記操作受付手段で操作を受け付けた前記操作に対応する撮像モードを特定する特定手段と、
    前記特定手段で特定した前記撮像モードに対応付けられて前記記憶手段に記憶される制御情報に基づいて、前記撮像装置の撮像に応じて出力される撮像音を制御する撮像音制御手段として機能させ、
    前記撮像モードは、証跡を取るモードである第１のモードと、証跡を取らないモードである第２のモードとがあり、
    前記撮像音制御手段で、前記特定手段で前記第１のモードであると特定された場合に出力される撮像音は、前記特定手段で前記第２のモードであると特定された場合に出力される撮像音より音量が小さいことを特徴とするプログラム。