JP6634820B2 - 情報処理装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、その制御方法、及びプログラムに関する。

従来、情報処理装置のディスプレイに画面を表示するのではなく、机等の面に対して投影装置で画面を投影する仕組みが存在する。こうした仕組みは、銀行のカウンタ業務など、複数のユーザが１つの画面を見ながら作業を進めていくようなケースで利用されている。

また、こうした仕組みにおいては撮像装置を用いて書類を撮像することが行われている。本人確認書類や契約書といった書類を電子化するためである。この撮像を行う際には、投影装置で投影される面に書類を配置し、この面を撮像装置で撮像することになるので、一時的に投影を止めて、投影された画面等が撮像の際に写り込まないように制御している。

特許文献１では、投影装置で投影された面に書類を配置し、この配置された書類を撮像装置で撮像するにあたり、投影装置での投影を一時的に取り止める仕組みが開示されている。

特開２０１５−９７０７３号公報

しかしながら、投影された画面での操作は複数のユーザによって行われるため、あるユーザが撮像作業を行うことにより、他のユーザの作業が中断されてしまうのは望ましくない。例えば、銀行のカウンタ業務を想定すると、テラーは顧客の本人確認書類や契約書を電子化するべく撮像作業を進め、顧客はその待ち時間に投影されたチラシのデータを閲覧する場合がある。

こうした場合に、テラーの撮像操作に応じて投影されたデータが非表示になってしまうと、顧客がチラシのデータを閲覧できなくなってしまう問題がある。

本発明は、第１の領域と第２の領域に対する出力データの出力をそれぞれ制御することにより、一方の領域の出力データを閲覧させつつ、他方の領域の面に配置された被写体は適切に撮像することの可能な仕組みを提供することを目的とする。

上記の目的を達成するために本発明の情報処理装置は、データが出力されている面を撮像する撮像装置と通信可能に接続される情報処理装置であって、それぞれの領域にオブジェクトを含む第１の領域と第２の領域とを備えた出力データが出力される面のうち、前記撮像装置により撮像される被写体が配置される前記第１の領域の面もしくは前記第２の領域の面の撮像指示を受け付ける撮像指示受付手段と、前記撮像指示受付手段で撮像指示を受け付けた前記面の前記第１の領域を前記撮像装置が撮像する間は、前記第１の領域についてはオブジェクトの出力を制限した出力データを出力すると共に、前記第２の領域については出力を制限しないオブジェクトを含む出力データを出力するように制御し、また、前記撮像指示受付手段で前記第２の領域の面の撮像指示を受け付けた場合には、前記撮像指示受付手段で撮像指示を受け付けた前記面の前記第２の領域を前記撮像装置が撮像する間は、前記第２の領域についてはオブジェクトの出力を制限した出力データを出力すると共に、前記第１の領域については出力を制限しないオブジェクトを含む出力データを出力するように制御する制御手段と、を備えることを特徴とする。

本発明によれば、第１の領域と第２の領域に対する出力データの出力をそれぞれ制御することにより、一方の領域の出力データを閲覧させつつ、他方の領域の面に配置された被写体は適切に撮像することが可能となる。

本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。 投影撮像装置１０２の外観構造及び内部構造の概要の一例を示す図である。 投影撮像装置１０２を用いて投影した投影データを用いて、商品説明を行う場合の一例を示す図である。 情報処理装置１０１及び投影撮像装置１０２のハードウェア構成の一例を示す図である。 情報処理装置１０１の機能構成の一例を示す図である。 本発明の実施形態における一連の処理の流れを示すフローチャートである。 書類取込画面７００の画面構成の一例を示す図である。 書類データ管理テーブル８００及び領域管理テーブル８１０のテーブル構成の一例を示す図である。 書類データ表示処理の詳細な処理の流れを示すフローチャートである。 テラー領域で書類データを表示した場合の一例を示す図である。 顧客領域で書類データを表示した場合の一例を示す図である。 書類取込処理の詳細な処理の流れを示すフローチャートである。 テラー領域で書類取込ボタン７０３−１が押下されている様子を示す図である。 テラー領域のオブジェクトと顧客領域の書類取込ボタン７０３−２とが非表示になった様子を示す図である。 非表示になったオブジェクトが再表示された様子を示す図である。 顧客領域で書類取込ボタン７０３−２が押下されている様子を示す図である。 顧客領域のオブジェクトとテラー領域の書類取込ボタン７０３−１とが非表示になった様子を示す図である。 非表示になったオブジェクトが再表示された様子を示す図である。

以下、図面を参照しながら、本発明の実施形態について説明する。

図１は、本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。情報処理システムは、情報処理装置１０１と投影撮像装置１０２とを含む。情報処理装置１０１は、投影撮像装置１０２と通信可能に接続されており、更にディスプレイ４１０と入力デバイス４０９とも通信可能に接続されている。図１では、これらの装置は有線で接続されているが、無線であってもよい。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は、オペレーティングシステムを搭載する汎用的な装置である。情報処理装置１０１は、情報処理装置１０１に接続された各種デバイスに対して各種動作を実行するよう指示を行う。

投影撮像装置１０２は、デジタルカメラと赤外線センサとプロジェクタとを備える装置である。情報処理装置１０１からの指示に応じてプロジェクタで投影をし、投影された机上等の投影面をデジタルカメラで撮像し、また投影面上でユーザの手の動きや物体の位置を認識する。

投影撮像装置１０２の外部構造及び内部構造の概要の一例について、図２を用いて説明する。

図２は、投影撮像装置１０２の正面図と右側面図である。内部構造の隠れ線は破線で表現している。投影撮像装置１０２は、デジタルカメラ４２１（撮像装置）と赤外線センサ４２２（センサ装置）とプロジェクタ４２３（投影装置）とを格納する収納部２０３を備えている。収納部２０３は底面２０１と左側面２０２ａと右側面２０２ｂとで左右から挟みこんで固定している。

また、上面２０４が左側面２０２ａと右側面２０２ｂとの上部に設置され、上面２０４の下側にはプロジェクタ４２３から照射される光を反射するための反射鏡２０７を備える。すなわち、プロジェクタ４２３は第１の開口部２０５を通してこの反射鏡２０７に向けて投影できるよう、設置されている。デジタルカメラ４２１も同様に、反射鏡２０７で反射した投影面を撮像するため、デジタルカメラ４２１は第２の開口部２０６を通して反射鏡２０７に向けて設置されている。

また赤外線センサ４２２は、例えば赤外線を用いた深度センサである。これはプロジェクタ４２３が投影した投影面上におけるユーザの手や紙文書（以下、書類という。）等の位置や動きを特定するために、赤外線センサ４２２からこれらの物体までの距離を算出する。赤外線センサ４２２は、近赤外線のドットパターンを現実空間に投影し、このドットの形や間隔を取得することで物体までの距離を算出する。または、赤外線光を投影し、赤外線センサ４２２が備えるカメラによって反射した赤外線光を読み取り、赤外線光が往復した時間を算出することで距離を算出する方式であってもよい。現実空間における物体の位置や動きを取得することができれば、赤外線センサ４２２の距離の算出方式はどのような方式であってもよいし、赤外線センサ４２２以外のセンサを用いてもよい。また、赤外線センサ４２２もデジタルカメラ４２１と同様に、第２の開口部２０６を通して反射鏡２０７に向けて設置されている。この反射鏡２０７に向けて赤外線を照射する。

投影撮像装置１０２は以上のように大きく３つの装置を内包しており、これらがそれぞれ情報処理装置１０１と通信可能に接続されている。本実施形態においては、情報処理装置１０１と投影撮像装置１０２とが異なる筐体であるが、同一の筐体であってもよい。すなわち、投影撮像装置１０２に更に情報処理装置１０１を内包してもよいし、情報処理装置１０１がプロジェクタ、デジタルカメラ、赤外線センサを備えてもよい。

次に図３を用いて、本実施形態における投影撮像装置１０２とユーザとの位置関係について説明する。投影撮像装置１０２は、机上３０３に設置される。本実施形態では机を挟んで二人のユーザがいる。銀行窓口で商品説明を行うテラー３０１と、商品説明を受ける顧客３０２である。

テラー３０１は、入力デバイス４０９を操作して情報処理装置１０１に画面の表示指示を行うと、情報処理装置１０１からプロジェクタ４２３に対して当該画面の投影指示が送信される。プロジェクタ４２３はこれを受けると反射鏡２０７に向かって左右を反転させた画面を投影する。これは、反射鏡２０７で反射することにより、投影面３０４に投影される像が左右反転してしまうからである。こうすると、投影面３０４に指示した画面が投影される。画面を左右に反転させる処理は、情報処理装置１０１が行ってもよいし、プロジェクタ４２３が行ってもよい。また投影面３０４は、投影される光が見やすいよう模様のない白い面であることが望ましい。

プロジェクタ４２３から照射された光が反射鏡２０７で図３の破線の矢印で示すような方向に反射されると、その光が投影面３０４に投影される。この光によって表現される画面を見て、テラー３０１が顧客３０２に商品説明を行う。本実施形態では、このようにテラー３０１と顧客３０２とが机を挟んで位置しており、それぞれが投影された画面を見ながら操作していく形態を前提として説明を行う。

図４は、情報処理装置１０１及び投影撮像装置１０２のハードウェア構成の一例を示す図である。

ＣＰＵ４０１は、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ４０２あるいは外部メモリ４１１（記憶手段）には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳという。）が記憶されている。更には、情報処理装置１０１の実行する機能を実現するために必要な各種プログラム等も記憶されている。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＡＭ４０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、汎用入出力コントローラ４０５は、キーボードやマウス等の入力デバイス４０９、更には投影撮像装置１０２のデジタルカメラ４２１や赤外線センサ４２２との入出力を制御する。これらは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のバス規格により接続される。

ビデオコントローラ４０６は、ディスプレイ４１０や投影撮像装置１０２のプロジェクタ４２３等の表示装置や投影装置への表示を制御する。ディスプレイ４１０は例えばＣＲＴや液晶ディスプレイである。更にビデオコントローラ４０６は、ディスプレイ４１０と投影撮像装置１０２のプロジェクタ４２３とそれぞれに対して同じ画面または異なる画面を表示及び投影指示する。これらは、いわゆるミラーリングやマルチモニタが可能である。

メモリコントローラ４０７は、ブートプログラム、ブラウザソフトウエア、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク等の外部メモリ４１１へのアクセスを制御する。或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ４１１へのアクセスも制御する。

通信Ｉ／Ｆコントローラ４０８は、ネットワークを介して、外部機器と接続及び通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

尚、ＣＰＵ４０１は、例えばＲＡＭ４０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ４１０上での表示や投影撮像装置１０２のプロジェクタ４２３での投影を可能としている。また、ＣＰＵ４０１は、ディスプレイ４１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。更にＣＰＵ４０１は、投影面３０４に投影された画面をユーザの手でタッチすることによっても、ユーザ指示を可能とする。すなわち、赤外線センサ４２２で検知した現実空間におけるユーザの手の座標位置に応じて、画面のボタン等が押下されたのか否かを検知し、ＣＰＵ４０１に動作を実行させる。尚、本実施形態における投影面３０４でのタッチ操作とは、投影面３０４である机上に触れているか否かは特に問わない。赤外線センサ４２２が検知したユーザの手や指の高さによって、タッチ操作を受け付けたか否かを判断する。

本発明の情報処理装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ４１１に記録されており、必要に応じてＲＡＭ４０３にロードされることによりＣＰＵ４０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ４１１に格納されている。

次に、情報処理装置１０１の機能構成の一例について図５を用いて説明する。尚、図５の情報処理装置１０１の機能構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は機能部として、記憶部５０１と、表示制御部５０２と、投影制御部５０３と、撮像制御部５０４と、センサ制御部５０５と、座標変換部５０６と、操作検知部５０７とを備える。

記憶部５０１は、後述する各種テーブルの情報や各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。

表示制御部５０２は、情報処理装置１０１と通信可能に接続されたディスプレイ４１０の表示を制御するための機能部である。表示制御部５０２から画面等の表示指示がなされると、ビデオコントローラ４０６を介してディスプレイ４１０に表示指示が送信される。そして、ディスプレイ４１０はこの指示を受信すると、指示に従って画面等を表示する。

投影制御部５０３は、情報処理装置１０１と通信可能に接続されたプロジェクタ４２３の投影を制御するための機能部である。投影制御部５０３から画面等の投影指示がなされると、表示制御部５０２と同様にビデオコントローラ４０６を介してプロジェクタ４２３に投影指示が送信される。そして、プロジェクタ４２３はこの指示を受信すると、指示に従って画面等の情報（投影データ）を現実空間に投影する。

撮像制御部５０４は、情報処理装置１０１と通信可能に接続されたデジタルカメラ４２１の撮像を制御するための機能部である。撮像制御部５０４から投影面３０４の撮像指示が出されると、汎用入出力コントローラ４０５を介してデジタルカメラ４２１に撮像指示がなされる。デジタルカメラ４２１はこの指示を受信すると、撮像を行い、撮像により生成された画像データを情報処理装置１０１に送信する。撮像制御部５０４は、これを受け取り、画像データを左右反転させた上で記憶部５０１が外部メモリ４１１等に記憶する。前述した通り、デジタルカメラ４２１は反射鏡２０７に写った像を撮像するため左右が反転している。これを補正するために、記憶部５０１で画像データを記憶する前に、撮像制御部５０４がこの画像データを左右反転する。

センサ制御部５０５は、情報処理装置１０１と通信可能に接続された赤外線センサ４２２から送信される、投影面３０４における現実空間の情報（物体の有無や位置等）を受信するための機能部である。赤外線センサ４２２が検出した現実空間の情報は、赤外線センサ４２２から情報処理装置１０１に対して逐一送信される。センサ制御部５０５はこれを受信し、後述する座標変換部５０６に渡す。

座標変換部５０６は、センサ制御部５０５が受信した現実空間の情報に含まれる、投影面３０４にある物体の位置を示す座標値を変換するための機能部である。座標変換部５０６は、この座標値を投影面３０４に投影された画面における座標値に変換する。すなわち、赤外線センサ４２２で検知した座標値が、情報処理装置１０１が管理する画面のどの座標値に該当するのかを、この座標変換部５０６を用いて特定する。尚、座標変換の方法は従来技術を用いるため詳細な説明は省略する。

操作検知部５０７は、ユーザからの操作を検知するための機能部である。情報処理装置１０１に接続された入力デバイス４０９を通じて送信されるユーザからの指示を検知したり、投影面３０４に投影された画面でユーザが行った指示を検知したりする。後者の指示の検知は、投影面３０４において検知した物体の座標値を座標変換部５０６で変換することにより画面上のどのボタンが押下されたのかを検知したり、書類が置かれることにより書類の取込が指示されたのかを検知したりする。

次に、本発明の実施形態における一連の処理の流れについて、図６に示すフローチャートを用いて説明する。以下説明する、Ｓ６０１乃至Ｓ６０６の各ステップは、情報処理装置１０１のＣＰＵ４０１が各機能部を動作することにより実行される処理である。

ステップＳ６０１では、情報処理装置１０１の投影制御部５０３は、図７に示すような書類取込画面７００をプロジェクタ４２３に投影させて、投影面３０４に表示する。このとき、ミラーリング機能を用いて、ディスプレイ４１０にも同じ画面が表示されてもよいし、マルチモニタ機能を用いて、ディスプレイ４１０には画面を操作するためのマニュアルや説明すべきポイントを表示させてもよい。以下、プロジェクタ４２３から投影面３０４に画面を投影する場合についても同様である。

書類取込画面７００は、テラー側の領域であるテラー領域７０１（第２の領域）と、顧客側の領域である顧客領域７０２（第１の領域）から構成される。テラー領域７０１と顧客領域７０２とは、図８に示す領域管理テーブル８１０の領域座標８１３が示す領域である。それぞれテラーが作業する領域と顧客が作業する領域に分かれており、本実施形態ではデジタルカメラ４２１で投影面３０４にある書類の撮像を行ったり、撮像により生成された画像データである書類データを閲覧したりすることができるようになっている。テラー領域７０１と顧客領域７０２のそれぞれに、書類取込ボタン７０３（撮像指示部）が備えられており、このボタンに対する押下を受け付けると、投影面３０４にある書類を撮像することができる。

また、書類データのサムネイル画像が書類データ表示領域７０４に表示されている。テラー領域７０１で撮像された書類データのサムネイル画像は、テラー領域７０１の書類データ表示領域７０４−１に表示され、顧客領域７０２で撮像された書類データのサムネイル画像は、顧客領域７０２の書類データ表示領域７０４−２に表示される。

書類データ表示領域７０４に表示するサムネイル画像は、図８に示す書類データ管理テーブル８００のサムネイル画像保存場所８０５から取得する。具体的に説明すると、書類取込画面７００を表示する際に、顧客ＩＤの入力を受け付けて、この顧客ＩＤを有するレコードを、顧客ＩＤ８０２を検索することにより特定し、特定したレコードのサムネイル画像保存場所８０５からサムネイル画像を取得する。そして、取得したサムネイル画像のレコードの取込ユーザ８０３が“テラー”であれば、テラー領域７０１の書類データ表示領域７０４−１に取得したサムネイル画像を表示する。一方、取得したサムネイル画像のレコードの取込ユーザ８０３が“顧客”であれば、顧客領域７０２の書類データ表示領域７０４−２に取得したサムネイル画像を表示する。このようにして生成された書類取込画面７００をステップＳ６０１で投影する。

書類データ管理テーブル８００は、情報処理装置１０１の外部メモリ４１１に記憶されるデータテーブルであり、書類ＩＤ８０１、顧客ＩＤ８０２、取込ユーザ８０３、書類データ保存場所８０４、サムネイル画像保存場所８０５を備える。書類ＩＤ８０１は、書類データごとに一意に割り振られる識別情報が格納される項目である。顧客ＩＤ８０２は、顧客ごとに一意に割り振られる識別情報が格納される項目である。取込ユーザ８０３は、書類データを取り込んだユーザを示す情報が格納される項目である。書類データ保存場所８０４は、書類データの保存場所を示す情報が格納される項目である。サムネイル画像保存場所８０５は、書類データのサムネイル画像の保存場所を示す情報が格納される項目である。

領域管理テーブル８１０は、情報処理装置１０１の外部メモリ４１１等に記憶されているデータテーブルであり、領域ＩＤ８１１、領域種別８１２、領域座標８１３を備える。領域ＩＤ８１１は、領域ごとに割り振られる一意な識別情報が格納される項目である。領域種別８１２は、領域の種別を示す情報が格納される項目である。本実施形態では、“テラー領域”または“顧客領域”が格納されるが、これに限らない。領域座標８１３は、領域の範囲を示す座標が格納される項目である。矩形領域の左上と右下の座標が格納されている。

図６に説明を戻す。書類取込画面７００が投影面３０４に投影されると、書類取込画面７００に対する操作を受け付ける。ステップＳ６０２では、情報処理装置１０１の操作検知部５０７は、書類データ表示領域７０４に表示されたいずれかのサムネイル画像に対する表示指示を受け付けたか否かを判定する。すなわち、操作検知部５０７が投影面３０４に投影されたサムネイル画像に対するタッチ操作、つまり選択を検知すると、サムネイル画像に対する表示指示を受け付けたと判定する。書類データ表示領域７０４に表示されたいずれかのサムネイル画像に対する表示指示を受け付けたと判定した場合には、ステップＳ６０３に処理を進める。そうでない場合には、ステップＳ６０４に処理をすすめる。

ステップＳ６０３では、情報処理装置１０１のＣＰＵ４０１は、表示指示を受け付けたサムネイル画像に対応する書類データを表示するための処理を実行する。書類データ表示処理の詳細は、後述する図９に示す。これが完了すると、ステップＳ６０２に処理を戻す。

ステップＳ６０４では、情報処理装置１０１の操作検知部５０７では、投影面３０４に配置された現実物体である書類の取込指示を受け付けたか否かを判定する。すなわち、操作検知部５０７が投影面３０４に投影された書類取込ボタン７０３に対するタッチ操作、つまりボタン押下を検知すると、投影面３０４にある書類の取込指示（撮像指示）を受け付けたと判定する（撮像指示受付手段）。書類の取込指示を受け付けたと判定した場合には、ステップＳ６０５に処理を進める。そうでない場合には、ステップＳ６０６に処理を進める。

ステップＳ６０５では、情報処理装置１０１のＣＰＵ４０１は、投影面３０４に配置された書類を取り込む、すなわち撮像して書類データを生成するための処理を実行する。書類取込処理の詳細は、後述する図１２に示す。これが完了すると、ステップＳ６０２に処理を戻す。

ステップＳ６０６では、情報処理装置１０１の操作検知部５０７は、書類取込画面７００の表示を終了する指示を受け付けたか否かを判定する。終了指示を受け付けるようなボタンに対する押下を受け付けたか否かに応じて終了指示を受け付けたと判定してもよいし、それ以外の方法によって終了指示を検知してもよい。終了指示を受け付けたと判定した場合には、本一連の処理を終了する。そうでない場合には、ステップＳ６０２に処理を戻す。

次に、書類データ表示処理の詳細な処理の流れについて、図９に示すフローチャートを用いて説明する。以下説明する、Ｓ９０１乃至Ｓ９０４の各ステップは、情報処理装置１０１のＣＰＵ４０１が各機能部を動作することにより実行される処理である。

ステップＳ９０１では、情報処理装置１０１の記憶部５０１は、表示指示を受け付けたサムネイル画像に対応する書類データを、当該サムネイル画像に対応する書類データ管理テーブル８００のレコードの書類データ保存場所８０４から取得する。

ステップＳ９０２では、情報処理装置１０１の表示制御部５０２は、表示指示を受け付けたサムネイル画像に対応する書類データ管理テーブル８００のレコードを参照し、当該レコードの取込ユーザ８０３が“テラー”か“顧客”かを判定する。取込ユーザ８０３が“テラー”であると判定した場合には、ステップＳ９０３に処理を進める。取込ユーザ８０３が“顧客”であると判定した場合には、ステップＳ９０４に処理を進める。

ステップＳ９０３では、情報処理装置１０１の表示制御部５０２は、ステップＳ９０１で取得した書類データを書類取込画面７００のテラー領域７０１に表示するよう制御する。例えば、図１０に示すように、書類データ表示領域７０４−１に表示されているサムネイル画像に対して選択を受け付けると、当該サムネイル画像に対応する書類データは、テラー領域７０１で取り込まれた書類であることが取込ユーザ８０３から特定できる。そのため、当該サムネイル画像に対応する書類データを図１０に示すように、テラー領域７０１に表示されるよう設定する。書類取込画面７００に取得した書類データの表示設定が完了したら、投影制御部５０３がプロジェクタ４２３に対して書類取込画面７００の表示指示を行う。そして、プロジェクタ４２３が、書類データが表示された書類取込画面７００を投影面３０４に投影する。

一方ステップＳ９０４では、情報処理装置１０１の表示制御部５０２は、ステップＳ９０１で取得した書類データを書類取込画面７００の顧客領域７０２に表示するよう制御する。例えば、図１１に示すように、書類データ表示領域７０４−２に表示されているサムネイル画像に対して選択を受け付けると、当該サムネイル画像に対応する書類データは、顧客領域７０２で取り込まれた書類であることが取込ユーザ８０３から特定できる。そのため、当該サムネイル画像に対応する書類データを図１１に示すように、顧客領域７０２に表示されるよう設定する。書類取込画面７００に取得した書類データの表示設定が完了したら、投影制御部５０３がプロジェクタ４２３に対して書類取込画面７００の表示指示を行う。そして、プロジェクタ４２３が、書類データが表示された書類取込画面７００を投影面３０４に投影する。

以上のようにして、取込済みの書類データをテラー領域７０１と顧客領域７０２のそれぞれに表示することができる。テラーと顧客は、自由にこうした書類データの表示指示を行うことができる。すなわち、テラーと顧客が同時に書類データを表示することもできるし、テラーが後述する書類の取込を行っている最中にも、顧客が書類データを表示することが可能である。その逆も同様である。情報処理装置１０１の並列処理により、こうした処理を実現する。

次に、書類取込処理の詳細な処理の流れについて、図１２に示すフローチャートを用いて説明する。以下説明する、Ｓ１２０１乃至Ｓ１２１７の各ステップは、情報処理装置１０１のＣＰＵ４０１が各機能部を動作することにより実行される処理である。

ステップＳ１２０１では、情報処理装置１０１の操作検知部５０７は、押下を受け付けた書類取込ボタン７０３のうち、テラー領域７０１の書類取込ボタン７０３−１が押下されたのか、顧客領域７０２の書類取込ボタン７０３−２が押下されたのかを判定する。テラー領域７０１の書類取込ボタン７０３−１が押下されたと判定した場合には、ステップＳ１２０２に処理を進める。顧客領域７０２の書類取込ボタン７０３−２が押下されたと判定した場合には、ステップＳ１２１０に処理を進める。

まず、図１３に示すように、テラー領域７０１にある書類取込ボタン７０３−１が押下された場合について説明する。ステップＳ１２０２では、情報処理装置１０１の表示制御部５０２は、テラー領域７０１に存在するボタンやサムネイル画像といった各種オブジェクトが非表示になるよう制御する。具体的には、領域種別８１２に“テラー領域”が格納されているレコードを領域管理テーブル８１０から特定し、特定したレコードの領域座標８１３が示す範囲内のオブジェクトを非表示に設定する。すなわち、図１３に示すように書類取込ボタン７０３−１の押下を受け付けると、図１４に示すように書類取込ボタン７０３−１と書類データ表示領域７０４−１を非表示に設定する。

ステップＳ１２０３では、情報処理装置１０１の表示制御部５０２は、顧客領域７０２に存在する書類取込ボタン７０３−２が非表示になるよう制御し、これに対する押下を受け付けないように制御する。すなわち、領域種別８１２が“顧客領域”のレコードを領域管理テーブル８１０から特定し、特定したレコードの領域座標８１３が示す領域内にある書類取込ボタン７０３−２を非表示に設定する。テラーが撮像している間は、顧客がデジタルカメラ４２１を使用することができないため、テラー領域７０１で撮像指示を受け付けた場合には、顧客領域７０２にある書類取込ボタン７０３−２を非表示にして押下を受け付けないようにしている。

そして、情報処理装置１０１の投影制御部５０３は、ステップＳ１２０２とステップＳ１２０３で各種オブジェクトが非表示になるよう制御した書類取込画面７００を投影するよう、プロジェクタ４２３に対して指示する（投影指示手段）。これに応じてプロジェクタ４２３が投影面３０４に、各種オブジェクトを非表示に設定した書類取込画面７００を投影する。こうして投影された結果が、図１４である。図１４に示すように、テラー領域７０１に表示されていた書類取込ボタン７０３−１と書類データ表示領域７０４−１は非表示になっていることがわかる。また、顧客領域７０２では書類取込ボタン７０３−２が非表示になっているが、書類データ表示領域７０４−２や表示中の書類データは表示されたままであることがわかる。このようにすることで、テラー領域７０１で投影データが撮像されないようにしつつ、顧客領域７０２で書類データの閲覧を継続させることができる。更には、顧客領域７０２では撮像中に撮像指示を行うことのないよう制御することができる。

ステップＳ１２０４では、情報処理装置１０１の撮像制御部５０４は、デジタルカメラ４２１に対して投影面３０４を撮像するよう指示する（撮像指示手段）。デジタルカメラ４２１はこれに応じて投影面３０４を撮像し、画像データを生成する。生成された画像データは、情報処理装置１０１に送信され、ＲＡＭ４０３に一時記憶する。

ステップＳ１２０５では、情報処理装置１０１の撮像制御部５０４は、撮像指示に応じて取得した画像データから、投影面３０４に存在する書類を認識し、この書類の領域をトリミングすることで書類データを生成する（画像データ生成手段）。テンプレートマッチングによって書類の領域を特定してもよいし、書類のエッジを検出することで書類の領域を特定してもよい。

ステップＳ１２０６では、情報処理装置１０１の記憶部５０１は、書類データ管理テーブル８００に新規レコードを作成し、ステップＳ１２０５で生成された画像データと顧客の顧客ＩＤとを対応付けて保存する（画像データ保存手段）。より具体的には、ステップＳ１２０５で生成された画像データのファイル名を所定の命名規則に従って変更し、そしてこの画像データを所定のフォルダに保存する。この保存場所を示す情報（ファイルパス等）と、書類取込画面７００を表示する前またはその後に入力を受け付けた顧客のＩＤとを、書類データ管理テーブル８００の新規レコードに格納する。また、書類データのサムネイル画像を生成し、このサムネイル画像の保存場所を示す情報も、新規レコードに格納する。更に、取込ユーザ８０３には、どちら側の書類取込ボタン７０３が押下されたのかによって格納する情報を変更する。すなわち、領域種別８１２が“テラー領域”である領域座標８１３の範囲内（つまり、テラー領域７０１）で書類取込ボタン７０３−１が押下された場合には、取込ユーザ８０３に“テラー”を格納する。領域種別８１２が“顧客領域”である領域座標８１３の範囲内（つまり、顧客領域７０２）で書類取込ボタン７０３−２が押下された場合には、取込ユーザ８０３に“顧客”を格納する。

ステップＳ１２０７では、情報処理装置１０１の表示制御部５０２は、ステップＳ１２０２で非表示に設定されたテラー領域７０１の各種オブジェクトが表示されるように制御する。領域種別８１２が“テラー領域”の領域座標８１３が示す範囲内に存在する各種オブジェクトの表示状態を非表示から表示に設定変更する。ステップＳ１２０８では、情報処理装置１０１の表示制御部５０２は、ステップＳ１２０３で非表示に設定された顧客領域７０２の書類取込ボタン７０３−２が表示されるように制御する。こちらも同様に、領域種別８１２が“顧客領域”の領域座標８１３が示す範囲内に存在する書類取込ボタン７０３−２の表示状態を非表示から表示に設定変更する。

ステップＳ１２０９では、情報処理装置１０１の表示制御部５０２は、ステップＳ１２０５で生成された書類データに対応するサムネイル画像をサムネイル画像保存場所８０５から取得する。そして、これをテラー領域７０１の書類データ表示領域７０４−１に追加表示するよう制御する。

そして、情報処理装置１０１の投影制御部５０３は、ステップＳ１２０７乃至ステップＳ１２０９で表示設定された各種オブジェクトを含む書類取込画面７００を投影するよう、プロジェクタ４２３に対して指示する。これに応じてプロジェクタ４２３が投影面３０４に書類取込画面７００を投影する。こうして投影された結果が、図１５である。図１５に示すように、テラー領域７０１には、新たに取り込んだ書類（図１５では「契約書」の書類）のサムネイル画像を含む書類データ表示領域７０４−１と書類取込ボタン７０３−１が再表示されていることがわかる。また、顧客領域７０２には、書類取込ボタン７０３−２が再表示されていることがわかる。このように、撮像が完了したら各種オブジェクトを再表示し、再度書類データの閲覧や書類の撮像が可能なようにする。ステップＳ１２０９の処理が完了したら、書類取込処理を終了する。

次に、図１６に示すように、顧客領域７０２にある書類取込ボタン７０３−２が押下された場合について説明する。ステップＳ１２１０では、情報処理装置１０１の表示制御部５０２は、顧客領域７０２に存在するボタンやサムネイル画像といった各種オブジェクトが非表示になるよう制御する。具体的には、領域種別８１２に“顧客領域”が格納されているレコードを領域管理テーブル８１０から特定し、特定したレコードの領域座標８１３が示す範囲内のオブジェクトを非表示に設定する。すなわち、図１６に示すように書類取込ボタン７０３−２の押下を受け付けると、図１７に示すように書類取込ボタン７０３−２と書類データ表示領域７０４−２を非表示に設定する。

ステップＳ１２１１では、情報処理装置１０１の表示制御部５０２は、テラー領域７０１に存在する書類取込ボタン７０３−１が非表示になるよう制御し、これに対する押下を受け付けないように制御する。すなわち、領域種別８１２が“テラー領域”のレコードを領域管理テーブル８１０から特定し、特定したレコードの領域座標８１３が示す領域内にある書類取込ボタン７０３−１を非表示に設定する。テラーが撮像している間は、顧客がデジタルカメラ４２１を使用することができないため、顧客領域７０２で撮像指示を受け付けた場合には、テラー領域７０１にある書類取込ボタン７０３−１を非表示にして押下を受け付けないようにしている。

そして、情報処理装置１０１の投影制御部５０３は、ステップＳ１２１０とステップＳ１２１１で各種オブジェクトが非表示になるよう制御した書類取込画面７００を投影するよう、プロジェクタ４２３に対して指示する。これに応じてプロジェクタ４２３が投影面３０４に、各種オブジェクトを非表示に設定した書類取込画面７００を投影する。こうして投影された結果が、図１７である。図１７に示すように、顧客領域７０２に表示されていた書類取込ボタン７０３−２と書類データ表示領域７０４−２は非表示になっていることがわかる。また、テラー領域７０１では書類取込ボタン７０３−１が非表示になっているが、書類データ表示領域７０４−１や表示中の書類データは表示されたままであることがわかる。このようにすることで、顧客領域７０２で投影データが撮像されないようにしつつ、テラー領域７０１で書類データの閲覧を継続させることができる。更には、テラー領域７０１では撮像中に撮像指示を行うことのないよう制御することができる。

ステップＳ１２１２では、情報処理装置１０１の撮像制御部５０４は、デジタルカメラ４２１に対して投影面３０４を撮像するよう指示する。デジタルカメラ４２１はこれに応じて投影面３０４を撮像し、画像データを生成する。生成された画像データは、情報処理装置１０１に送信され、ＲＡＭ４０３に一時記憶する。

ステップＳ１２１３では、情報処理装置１０１の撮像制御部５０４は、撮像指示に応じて取得した画像データから、投影面３０４に存在する書類を認識し、この書類の領域をトリミングすることで書類データを生成する。テンプレートマッチングによって書類の領域を特定してもよいし、書類のエッジを検出することで書類の領域を特定してもよい。

ステップＳ１２１４では、情報処理装置１０１の記憶部５０１は、書類データ管理テーブル８００に新規レコードを作成し、ステップＳ１２１３で生成された画像データと顧客の顧客ＩＤとを対応付けて保存する。より具体的には、ステップＳ１２１３で生成された画像データのファイル名を所定の命名規則に従って変更し、そしてこの画像データを所定のフォルダに保存する。この保存場所を示す情報（ファイルパス等）と、書類取込画面７００を表示する前またはその後に入力を受け付けた顧客のＩＤとを、書類データ管理テーブル８００の新規レコードに格納する。また、書類データのサムネイル画像を生成し、このサムネイル画像の保存場所を示す情報も、新規レコードに格納する。更に、取込ユーザ８０３には、どちら側の書類取込ボタン７０３が押下されたのかによって格納する情報を変更する。すなわち、領域種別８１２が“顧客領域”である領域座標８１３の範囲内（つまり、顧客領域７０２）で書類取込ボタン７０３−２が押下された場合には、取込ユーザ８０３に“顧客”を格納する。領域種別８１２が“テラー領域”である領域座標８１３の範囲内（つまり、テラー領域７０１）で書類取込ボタン７０３−１が押下された場合には、取込ユーザ８０３に“テラー”を格納する。

ステップＳ１２１５では、情報処理装置１０１の表示制御部５０２は、ステップＳ１２１０で非表示に設定された顧客領域７０２の各種オブジェクトが表示されるように制御する。領域種別８１２が“顧客領域”の領域座標８１３が示す範囲内に存在する各種オブジェクトの表示状態を非表示から表示に設定変更する。ステップＳ１２１６では、情報処理装置１０１の表示制御部５０２は、ステップＳ１２１１で非表示に設定されたテラー領域７０１の書類取込ボタン７０３−１が表示されるように制御する。こちらも同様に、領域種別８１２が“テラー領域”の領域座標８１３が示す範囲内に存在する書類取込ボタン７０３−１の表示状態を非表示から表示に設定変更する。

ステップＳ１２１７では、情報処理装置１０１の表示制御部５０２は、ステップＳ１２１３で生成された書類データに対応するサムネイル画像をサムネイル画像保存場所８０５から取得する。そして、これを顧客領域７０２の書類データ表示領域７０４−２に追加表示するよう制御する。

そして、情報処理装置１０１の投影制御部５０３は、ステップＳ１２１５乃至ステップＳ１２１７で表示設定された各種オブジェクトを含む書類取込画面７００を投影するよう、プロジェクタ４２３に対して指示する。これに応じてプロジェクタ４２３が投影面３０４に書類取込画面７００を投影する。こうして投影された結果が、図１８である。図１８に示すように、顧客領域７０２には、新たに取り込んだ書類（図１８では「住宅ローン」の書類）のサムネイル画像を含む書類データ表示領域７０４−２と書類取込ボタン７０３−２が再表示されていることがわかる。また、テラー領域７０１には、書類取込ボタン７０３−１が再表示されていることがわかる。このように、撮像が完了したら各種オブジェクトを再表示し、再度書類データの閲覧や書類の撮像が可能なようにする。ステップＳ１２１７の処理が完了したら、書類取込処理を終了する。

以上説明したように、本実施形態によれば第１の領域を表示したまま第２の領域を非表示にした投影データを投影することにより、第１の領域の投影データを閲覧させつつ、第２の領域が投影された面に存在する現実物体を適切に撮像することが可能となる。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現する（実行可能とする）ソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現（実行可能と）するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 情報処理装置
１０２ 投影撮像装置
４０１ ＣＰＵ
４０２ ＲＯＭ
４０３ ＲＡＭ
４０４ システムバス
４０５ 汎用入出力コントローラ
４０６ ビデオコントローラ
４０７ メモリコントローラ
４０８ 通信Ｉ／Ｆコントローラ
４０９ 入力デバイス
４１０ ディスプレイ
４１１ 外部メモリ
４２１ デジタルカメラ
４２２ ジェスチャセンサ
４２３ プロジェクタ

Claims (7)

1. データが出力されている面を撮像する撮像装置と通信可能に接続される情報処理装置であって、
   それぞれの領域にオブジェクトを含む第１の領域と第２の領域とを備えた出力データが出力される面のうち、前記撮像装置により撮像される被写体が配置される前記第１の領域の面もしくは前記第２の領域の面の撮像指示を受け付ける撮像指示受付手段と、
   前記撮像指示受付手段で撮像指示を受け付けた前記面の前記第１の領域を前記撮像装置が撮像する間は、前記第１の領域についてはオブジェクトの出力を制限した出力データを出力すると共に、前記第２の領域については出力を制限しないオブジェクトを含む出力データを出力するように制御し、また、前記撮像指示受付手段で前記第２の領域の面の撮像指示を受け付けた場合には、前記撮像指示受付手段で撮像指示を受け付けた前記面の前記第２の領域を前記撮像装置が撮像する間は、前記第２の領域についてはオブジェクトの出力を制限した出力データを出力すると共に、前記第１の領域については出力を制限しないオブジェクトを含む出力データを出力するように制御する制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記情報処理装置は、前記出力データを出力可能な出力装置と通信可能であって、
   前記撮像指示受付手段は、前記出力データに含まれる撮像指示部に対して選択を受け付けることにより、前記被写体の撮像指示を受け付け、
   前記制御手段は、前記撮像指示部の出力を制限した前記出力データを出力するよう前記出力装置に指示することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記撮像装置で撮像した後、出力を制限した領域の制限を解除した出力データを出力するよう前記出力装置に指示することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記撮像指示受付手段により受け付けた撮像指示に応じて撮像され生成された画像データから、前記被写体を含む画像データを生成する画像データ生成手段と、
   をさらに備え、
   前記制御手段は、前記撮像装置で撮像した後、前記画像データ生成手段で生成された画像データを含む前記出力データを出力するよう前記出力装置に指示することを特徴とする請求項２または３に記載の情報処理装置。
5. 前記情報処理装置は、
   前記画像データ生成手段で生成された画像データをユーザごとに保存する画像データ保存手段、
   を更に備えることを特徴とする請求項４に記載の情報処理装置。
6. データが出力されている面を撮像する撮像装置と通信可能に接続される情報処理装置の制御方法であって、
   それぞれの領域にオブジェクトを含む第１の領域と第２の領域とを備えた出力データが出力される面のうち、前記撮像装置により撮像される被写体が配置される前記第１の領域の面もしくは前記第２の領域の面の撮像指示を受け付ける撮像指示受付ステップと、
   前記撮像指示受付ステップで撮像指示を受け付けた前記面の前記第１の領域を前記撮像装置が撮像する間は、前記第１の領域についてはオブジェクトの出力を制限した出力データを出力すると共に、前記第２の領域については出力を制限しないオブジェクトを含む出力データを出力するように制御し、また、前記撮像指示受付ステップで前記第２の領域の面の撮像指示を受け付けた場合には、前記撮像指示受付ステップで撮像指示を受け付けた前記面の前記第２の領域を前記撮像装置が撮像する間は、前記第２の領域についてはオブジェクトの出力を制限した出力データを出力すると共に、前記第１の領域については出力を制限しないオブジェクトを含む出力データを出力するように制御する制御ステップと、
   を含むことを特徴とする情報処理装置の制御方法。
7. コンピュータを、請求項１乃至５の何れか１項に記載の情報処理装置として機能させるためのプログラム。
   

Images