JP6149812B2 - Information processing system, control method and program thereof, and information processing apparatus, control method and program thereof - Google Patents
Information processing system, control method and program thereof, and information processing apparatus, control method and program thereof Download PDFInfo
- Publication number
- JP6149812B2 JP6149812B2 JP2014135088A JP2014135088A JP6149812B2 JP 6149812 B2 JP6149812 B2 JP 6149812B2 JP 2014135088 A JP2014135088 A JP 2014135088A JP 2014135088 A JP2014135088 A JP 2014135088A JP 6149812 B2 JP6149812 B2 JP 6149812B2
- Authority
- JP
- Japan
- Prior art keywords
- projection
- instruction
- image data
- screen
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、投影中断時に投影画面上に存在していた対象物を含む画像を、投影を再開した投影画面とは異なる投影画面においても継続して投影しておくことが可能な情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラムに関する。
The present invention relates to an information processing system capable of continuously projecting an image including an object existing on a projection screen when the projection is interrupted on a projection screen different from the projection screen on which projection is resumed , The present invention relates to a control method, a program, an information processing apparatus, a control method, and a program.
従来、パーソナルコンピュータ等の情報処理装置では、複数の画面をあらかじめ決められた順序で表示していく仕組みが存在する。このような仕組みは、例えば商品説明や承認のためのワークフロー、アンケートサイト等で利用されている。 Conventionally, an information processing apparatus such as a personal computer has a mechanism for displaying a plurality of screens in a predetermined order. Such a mechanism is used in, for example, a product description and approval workflow, a questionnaire site, and the like.
この仕組みは、開始から終了までが一連の流れになっているため、ユーザは一度開始してしまうと終了までの一連の流れを実行しなければいけなかった。すなわち、途中で中断して後で中断した画面から再開することができなかった。 Since this mechanism has a series of flow from the start to the end, the user has to execute a series of flow until the end once the user starts. In other words, it was not possible to resume from the screen that was interrupted and interrupted later.
この課題を解決するために従来技術では、中断が指示された画面を記憶しておき、後で再開が指示されると記憶した画面から再開するための仕組みが存在する。この仕組みの一つとして下記の引用文献１では、一連の操作レッスンを中断終了しても、中断位置から再開することの可能な仕組みが開示されている。この仕組みでは、情報処理装置等を操作するための一連の操作レッスンをあらかじめ決められた順序で実行していく際に、中断指示がなされたレッスン位置を記憶しておき、次回レッスン起動時にこの記憶したレッスン位置から操作可能とする仕組みである。
In order to solve this problem, there is a mechanism in the prior art for storing a screen instructed to be interrupted and restarting from the stored screen when a restart is instructed later. As one of such mechanisms, the following cited
前述した従来技術は、例えば銀行窓口の銀行員（以下、テラー）が金融商品の説明を顧客に対して行う業務で用いられる。この金融商品の説明を行う場合にも、あらかじめ決められた一連の流れが存在するので、従来は前述した仕組みを用いて説明の中断と再開を繰り返しながら金融商品の説明を行っていた。 The above-described conventional technology is used, for example, in a business in which a bank employee (hereinafter referred to as a teller) at a bank counter explains a financial product to a customer. Even when explaining this financial product, there is a predetermined series of flows, so conventionally, the financial product was explained by repeatedly interrupting and resuming the explanation using the above-described mechanism.
しかしながら、前述した仕組みを用いることで前回説明を中断した画面から再開することはできるのだが、顧客が参考情報として持ってきた紙文書は、次回も顧客が持参する必要があった。例えば、他行の金融商品に関するチラシと比較しながら説明を受けたい場合、顧客は毎回当該チラシを持参して、テラーから説明を聞く必要があり、非常に手間となっていた。 However, although it is possible to resume from the screen where the previous explanation was interrupted by using the above-described mechanism, it is necessary for the customer to bring the paper document brought as reference information by the customer next time. For example, in order to receive an explanation while comparing with a leaflet related to financial products of other banks, the customer has to bring the leaflet every time and listen to the explanation from the teller, which is very troublesome.
本発明は、投影中断時に投影画面上に存在していた対象物を含む画像を、投影を再開した投影画面とは異なる投影画面においても継続して投影しておくことが可能な仕組みを提供することを目的とする。
The present invention provides a mechanism capable of continuously projecting an image including an object existing on a projection screen when the projection is interrupted, even on a projection screen different from the projection screen on which projection has been resumed. For the purpose.
上記の目的を達成するために本発明の情報処理システムは、複数存在する投影画面を順次投影することの可能な投影手段を備える情報処理システムであって、前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付手段と、前記中断指示受付手段で受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得手段と、前記中断指示受付手段で受け付けた指示に応じて中断された前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付手段とを備え、前記投影手段は、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得手段で取得した前記画像データとを投影し、前記投影手段は、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影することを特徴とする情報処理システム。
In order to achieve the above object, an information processing system of the present invention is an information processing system including a projection unit capable of sequentially projecting a plurality of projection screens , and includes a first projection screen by the projection unit . An interruption instruction receiving means for receiving an instruction for interrupting the projection, and the target generated by imaging the object on the area projected by the projection means in response to the instruction received by the interruption instruction receiving means Image data acquisition means for acquiring image data including an object, and resumption instruction acceptance means for accepting an instruction to resume projection of the first projection screen suspended according to the instruction accepted by the interruption instruction acceptance means; wherein the projection means in response to an instruction which the accepted resume instruction reception means, the first of the image data acquired by the projection screen as the image data acquisition means Projecting the door, the projection means, even when changing the screen to be projected onto different second projection screen further said first projection screen from the first projection screen, the image data is continued Information processing system characterized by projecting .
本発明によれば、投影中断時に投影画面上に存在していた対象物を含む画像を、投影を再開した投影画面とは異なる投影画面においても継続して投影しておくことが可能となる。
According to the present invention, it is possible to continuously project an image including an object existing on a projection screen when the projection is interrupted, even on a projection screen different from the projection screen on which projection is resumed .
以下、図面を参照しながら、本発明の実施形態の一例について説明する。 Hereinafter, an example of an embodiment of the present invention will be described with reference to the drawings.
図１は、本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。情報処理システムは、情報処理装置１０１と投影撮像装置１０２とを含む。情報処理装置１０１は、投影撮像装置１０２と通信可能に接続されており、またディスプレイ４１０と入力デバイス４０９とも通信可能に接続されている。図１では、これらの装置は有線で接続されているが、無線であってもよい。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。
FIG. 1 is a diagram illustrating an example of a system configuration of an information processing system according to an embodiment of the present invention. The information processing system includes an
情報処理装置１０１は、オペレーティングシステムを搭載する汎用的な装置である。情報処理装置１０１は、当該情報処理装置１０１に接続された各種デバイスに対して各種動作を実行するよう指示を行う。
The
投影撮像装置１０２は、プロジェクタと、デジタルカメラと、ジェスチャセンサとを備える装置である。情報処理装置１０１からの指示に応じてプロジェクタで投影をし、投影をした投影面をデジタルカメラで撮像し、また投影面上でユーザの手の動きや物体の位置を認識する。
The
投影撮像装置１０２の外部構造及び内部構造について、図２を用いて説明する。
The external structure and internal structure of the
図２は、投影撮像装置１０２の正面図と右側面図である。内部構造の隠れ線は破線で表現している。投影撮像装置１０２はプロジェクタ４２３（投影装置）とデジタルカメラ４２１（撮像装置）を格納する箱状の収納部を底面２０１と左側面２０２ａと右側面２０２ｂとで左右から挟みこんで固定している。
FIG. 2 is a front view and a right side view of the
また、上面２０４が左側面２０２ａと右側面２０２ｂとの上部に設置され、上面２０４の下側にプロジェクタ４２３から照射される光を反射するための反射鏡２０７を備える。すなわち、プロジェクタ４２３はプロジェクタ用開口部２０６を通してこの反射鏡２０７に向けて投影できるよう、設置されている。デジタルカメラ４２１も同様に、反射鏡２０７で反射した投影面を撮像するため、デジタルカメラ４２１はデジタルカメラ用開口部２０５を通して反射鏡２０７に向けて設置されている。
In addition, the
更に、投影撮像装置１０２は、ジェスチャセンサ４２２（センサ装置）を備えている。このジェスチャセンサ４２２は、例えば赤外線を用いた深度センサである。これはプロジェクタ４２３が投影した投影面上におけるユーザの手や紙文書（以下、書類）等の位置や動きを特定するために、センサからこれらの物体までの距離を算出する。深度センサは、近赤外線のドットパターンを現実空間に投影し、このドットの形や間隔を取得することで物体までの距離を算出する。または、赤外線光を投影し、深度センサが備えるカメラによって反射した赤外線光を読み取り、赤外線光が往復した時間を算出することで距離を算出する方式であってもよい。現実空間における物体の位置や動きを取得することができれば、深度センサの距離の算出方式はどのような方式であってもよいし、深度センサ以外のセンサを用いてもよい。
Furthermore, the
投影撮像装置１０２は以上のように大きく３つの装置を内包しており、これらがそれぞれ情報処理装置１０１と通信可能に接続されている。本実施形態においては、情報処理装置１０１と投影撮像装置１０２とが異なる筐体であるが、同一の筐体であってもよい。すなわち、投影撮像装置１０２に更に情報処理装置１０１を内包してもよい。
As described above, the
次に図３を用いて、投影撮像装置１０２とユーザとの位置関係について説明する。投影撮像装置１０２は、机上３０３に設置される。本実施形態では机を挟んで二人のユーザがいる。銀行窓口で商品説明を行うテラー３０１と、商品説明を受ける顧客３０２である。
Next, the positional relationship between the
テラー３０１は、入力デバイス４０９を操作して情報処理装置１０１に画面の表示指示を行うと、情報処理装置１０１からプロジェクタ４２３に対して当該画面の投影指示が送信される。プロジェクタ４２３はこれを受けると反射鏡２０７に向かって左右を反転させた画面を投影する。これは、反射鏡２０７で反射することにより、投影面３０４に投影される像が左右反転してしまうからである。こうすると、投影面３０４に指示した画面が投影される。また投影面３０４は、投影される光が見やすいよう模様のない白い面であることが望ましい。
When the
プロジェクタ４２３から照射された光が反射鏡２０７で図３の破線の矢印で示すような方向に反射されると、その光が投影面３０４に投影される。この光によって表現される画面を見て、テラー３０１が顧客３０２に商品説明を行う。本実施形態では、このようにテラー３０１と顧客３０２とが机を挟んで位置しており、それぞれが投影された画面を見ながら操作していく形態を前提として説明を行う。
When the light emitted from the
図４は、本発明の実施形態における情報処理装置１０１のハードウェア構成の一例を示す図である。
FIG. 4 is a diagram illustrating an example of a hardware configuration of the
ＣＰＵ４０１は、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。
The
また、ＲＯＭ４０２あるいは外部メモリ４１１（記憶手段）には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、情報処理装置１０１の実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。
In addition, the
ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＡＭ４０３にロードして、プログラムを実行することで各種動作を実現するものである。
The
また、汎用入出力コントローラ４０５は、キーボードやマウス等の入力デバイス４０９、更には投影撮像装置１０２のデジタルカメラ４２１やジェスチャセンサ４２２との入出力を制御する。これらは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のバス規格により接続される。
The general-purpose input /
ビデオコントローラ４０６は、ディスプレイ４１０や投影撮像装置１０２のプロジェクタ４２３等の表示装置や投影装置への表示を制御する。ディスプレイ４１０は例えばＣＲＴや液晶ディスプレイである。更にビデオコントローラ４０６は、ディスプレイ４１０と投影撮像装置１０２のプロジェクタ４２３とそれぞれに対して同じ画面または異なる画面を表示・投影指示する。いわゆるミラーリングやマルチモニタが可能である。
The
メモリコントローラ４０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ４１１へのアクセスを制御する。
The
通信Ｉ／Ｆコントローラ４０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
The communication I /
尚、ＣＰＵ４０１は、例えばＲＡＭ４０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ４１０上での表示や投影撮像装置１０２のプロジェクタ４２３での投影を可能としている。また、ＣＰＵ４０１は、ディスプレイ４１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。更にＣＰＵ４０１は、投影面３０４に投影された画面をユーザの手でタッチすることによっても、ユーザ指示を可能とする。すなわち、ジェスチャセンサ４２２で検知した現実空間におけるユーザの手の座標位置に応じて、画面のボタン等が押下されたのか否かを検知し、ＣＰＵ４０１に動作を実行させる。
Note that the
本発明の情報処理装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ４１１に記録されており、必要に応じてＲＡＭ４０３にロードされることによりＣＰＵ４０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ４１１に格納されている。
Various programs used by the
次に、情報処理装置１０１の機能構成の一例について図５を用いて説明する。尚、図５の情報処理装置１０１の機能構成は一例であり、用途や目的に応じて様々な構成例がある。
Next, an example of a functional configuration of the
情報処理装置１０１は機能部として、記憶部５０１、表示制御部５０２、投影制御部５０３、撮像制御部５０４、センサ制御部５０５、座標変換部５０６、操作検知部５０７、シミュレーション制御部５０８、画像データ解析部５０９、画像処理部５１０、オーバレイ表示部５１１を備える。
The
記憶部５０１は、後述する各種テーブルの情報や各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。
The
表示制御部５０２は、情報処理装置１０１と通信可能に接続されたディスプレイ４１０の表示を制御するための機能部である。表示制御部５０２から画面等の表示指示がなされると、ビデオコントローラ４０６を介してディスプレイ４１０に表示指示が送信される。そして、ディスプレイ４１０はこの指示を受信すると、指示に従って画面等を表示する。
The
投影制御部５０３は、情報処理装置１０１と通信可能に接続されたプロジェクタ４２３の投影を制御するための機能部である。投影制御部５０３から画面等の投影指示がなされると、表示制御部５０２と同様にビデオコントローラ４０６を介してプロジェクタ４２３に投影指示が送信される。そして、プロジェクタ４２３はこの指示を受信すると、指示に従って画面等を投影する。
The
撮像制御部５０４は、情報処理装置１０１と通信可能に接続されたデジタルカメラ４２１の撮像を制御するための機能部である。撮像制御部５０４から投影面３０４の撮像指示が出されると、汎用入出力コントローラ４０５を介してデジタルカメラ４２１に撮像指示がなされる。デジタルカメラ４２１はこの指示を受信すると、撮像を行い、撮像により生成された画像データを情報処理装置１０１に送信する。撮像制御部５０４は、これを受け取り、画像データを左右反転させた上で記憶部５０１が外部メモリ４１１等に記憶する。前述した通り、デジタルカメラ４２１は反射鏡２０７に写った像を撮像するため左右が反転している。これを補正するために、記憶部５０１で画像データを記憶する前に、撮像制御部５０４がこの画像データを左右反転する。
The
センサ制御部５０５は、情報処理装置１０１と通信可能に接続されたジェスチャセンサ４２２から送信される、投影面３０４における現実空間の情報（物体の有無や位置等）を制御するための機能部である。ジェスチャセンサ４２２が検出した現実空間の情報は、ジェスチャセンサ４２２から情報処理装置１０１に対して逐一送信される。センサ制御部５０５はこれを受信し、後述する座標変換部５０６に渡す。
The
座標変換部５０６は、センサ制御部５０５が受信した現実空間の情報に含まれる、投影面３０４にある物体の位置を示す座標値を変換するための機能部である。座標変換部５０６は、この座標値を投影面３０４に投影された画面における座標値に変換する。基本的に、ジェスチャセンサ４２２が検知する投影面３０４における座標値と、情報処理装置１０１が投影指示する画面の座標値とは、異なる座標値である。これは、ジェスチャセンサ４２２が認識する座標値の粒度と情報処理装置１０１が認識する座標値の粒度が異なるためである。すなわち、座標値の絶対値「１」あたりの長さがジェスチャセンサ４２２と情報処理装置１０１とで異なるということである。そのため、ジェスチャセンサ４２２で検知した座標値は情報処理装置１０１が管理する画面のどの座標値に該当するのかを、この座標変換部５０６を用いて特定する。尚、座標変換の方法は従来技術を用いるため詳細な説明は省略する。
The coordinate
操作検知部５０７は、ユーザからの操作を検知するための機能部である。情報処理装置１０１に接続された入力デバイス４０９を通じて送信されるユーザからの指示を検知したり、投影面３０４に投影された画面でユーザが行った指示を検知したりする。後者の指示の検知は、投影面３０４において検知した物体の座標値を座標変換部５０６で変換することにより画面上のどのボタンが押下されたのかを検知したり、書類が置かれることにより書類の取込が指示されたのかを検知したりする。
The
シミュレーション制御部５０８は、ユーザから指定された入力値を用いてシミュレーションを実行するための機能部である。入力デバイス４０９や投影面３０４においてユーザからのタッチ操作等を受け付けることで、シミュレーションを実行するための入力値を取得し、これを用いて将来の状況をシミュレーションする。特に本実施形態では、銀行窓口で住宅ローンの説明を行う場合を想定しているため、月々の返済額はいくらになるのかをシミュレーションする。シミュレーションする対象はこれに限らない。
The
画像データ解析部５０９は、デジタルカメラ４２１から送信された画像データを解析するための機能部である。デジタルカメラ４２１は、ユーザによって置かれた書類を含む投影面３０４を撮像しているので、この書類だけを抽出するために画像データを解析する。特に、書類のエッジ検出を行い、後述する画像処理部５１０がこの書類を抽出できるようにする。エッジ検出の方法は従来技術を用いるため、詳細な説明は省略する。
The image
画像処理部５１０は、デジタルカメラ４２１から送信された画像データに対して画像処理を施すための機能部である。画像データ解析部５０９で書類のエッジが検出されているので、このエッジに沿って書類をトリミングすることで書類の画像データを生成する。更に、この書類の画像データの傾きを当該書類の縦横が画面の縦横とそれぞれ平行になるよう補正する。その他、画像データを閲覧しやすくするための画像処理を行ってもよい。こうして画像処理が施された書類の画像データを記憶部５０１で記憶する。尚、前述した撮像制御部５０４で画像データを記憶する前に左右反転させていたが、画像処理部５１０がこれを行ってもよい。
The
オーバレイ表示部５１１は、投影制御部５０３でプロジェクタ４２３に投影指示する画面に対して、オーバレイ表示を行うための機能部である。プロジェクタ４２３で投影する画面の上に前述した書類の画像データを重畳させる（オーバレイする）。そして書類の画像データがオーバレイされた画面を投影制御部５０３がプロジェクタ４２３に対して投影指示する。オーバレイ表示の方法は従来技術を用いるため、詳細な説明は省略する。
The
次に、本発明の実施形態における一連の処理の流れについて、図６に示すフローチャートを用いて説明する。 Next, a flow of a series of processes in the embodiment of the present invention will be described using the flowchart shown in FIG.
まず、ステップＳ６０１では、情報処理装置１０１のＣＰＵ４０１は、ユーザであるテラー３０１からの指示に応じて外部メモリ４１１等に記憶された投影アプリケーションを起動する。投影アプリケーションは、後述するステップＳ６０２乃至ステップＳ６１２の各処理を実行するためのアプリケーションである。投影アプリケーションを動作させることにより、投影面３０４に商品説明のための各種画面をプロジェクタ４２３から投影する。
First, in step S601, the
ステップＳ６０２では、情報処理装置１０１のＣＰＵ４０１は、図７に示すようなログイン画面７００をディスプレイ４１０に表示する。ログイン画面７００には、テラー３０１ごとに割り振られたユーザＩＤの入力を受け付けるユーザＩＤ入力欄７０１と、このユーザＩＤと対応するパスワードの入力を受け付けるパスワード入力欄７０２とを備えている。投影アプリケーションをテラー３０１が利用するためには、ユーザ認証を行う必要がある。
In step S602, the
ステップＳ６０３では、情報処理装置１０１のＣＰＵ４０１は、投影アプリケーションの終了指示を検知したか否かを判定する。すなわち、ユーザから投影アプリケーションの終了指示（不図示の終了ボタンの押下指示や画面を閉じる指示等）を受け付けたか否かを判定する。終了指示を検知したと判定した場合には、ステップＳ６１２に処理を進める。終了指示を検知していないと判定した場合には、ステップＳ６０４に処理を進める。
In step S603, the
ステップＳ６０４では、情報処理装置１０１のＣＰＵ４０１は、ログイン画面７００が備えるログインボタン７０３の押下を検知したか否かを判定する。ログインボタン７０３の押下を検知したと判定した場合には、ステップＳ６０５に処理を進める。ログインボタン７０３の押下を検知していないと判定した場合には、ステップＳ６０３に処理を戻す。
In step S <b> 604, the
ステップＳ６０５では、情報処理装置１０１のＣＰＵ４０１は、ユーザＩＤ入力欄７０１とパスワード入力欄７０２とに入力されたユーザＩＤとパスワードの組が、あらかじめ外部メモリ４１１等に記憶されたユーザＩＤとパスワードの組に一致するか否かを判定する。ユーザ認証の仕組みは従来技術であるので詳細な説明は省略する。ユーザＩＤ入力欄７０１とパスワード入力欄７０２とに入力されたユーザＩＤとパスワードの組が、あらかじめ外部メモリ４１１等に記憶されたユーザＩＤとパスワードの組に一致すると判定した場合には、ユーザ認証は成功であるので、投影アプリケーションにログインして、ステップＳ６０６に処理を進める。ユーザＩＤ入力欄７０１とパスワード入力欄７０２とに入力されたユーザＩＤとパスワードの組が、あらかじめ外部メモリ４１１等に記憶されたユーザＩＤとパスワードの組に一致しないと判定した場合には、ユーザ認証は失敗であるので、その旨を通知してステップＳ６０２に処理を戻す。
In step S605, the
ステップＳ６０６では、情報処理装置１０１のＣＰＵ４０１は、図８に示すようなメニュー画面８００をディスプレイ４１０に表示する。メニュー画面８００は、説明開始ボタン８０１、説明再開ボタン８０２、ログアウトボタン８０３の３つのボタンを備えている。説明開始ボタン８０１は、顧客３０２に対する商品説明を最初から開始するためのボタンである。説明再開ボタン８０２は、中断した商品説明を再開するためのボタンである。更にログアウトボタン８０３は、投影アプリケーションからログアウトするためのボタンである。
In step S606, the
ステップＳ６０７では、情報処理装置１０１のＣＰＵ４０１は、説明開始ボタン８０１の押下を検知したか否かを判定する。すなわち、ユーザであるテラー３０１から説明開始ボタン８０１の押下を受け付けたか否かを判定する。説明開始ボタン８０１の押下を検知したと判定した場合には、ステップＳ６０８に処理を進める。説明開始ボタン８０１の押下を検知していない、または説明開始ボタン８０１以外のボタンの押下を検知したと判定した場合には、ステップＳ６０９に処理を進める。
In step S <b> 607, the
ステップＳ６０８では、情報処理装置１０１のＣＰＵ４０１は、説明開始処理を実行する。説明開始処理の詳細は、後述する図９及び図１０に示す。説明開始処理が終了したら、ステップＳ６０６に処理を戻す。
In step S608, the
ステップＳ６０９では、情報処理装置１０１のＣＰＵ４０１は、説明再開ボタン８０２の押下を検知したか否かを判定する。すなわち、ユーザであるテラー３０１から説明再開ボタン８０２の押下を受け付けたか否かを判定する。説明再開ボタン８０２の押下を検知したと判定した場合には、ステップＳ６１０に処理を進める。説明再開ボタン８０２の押下を検知していない、または説明開始ボタン８０１及び説明再開ボタン８０２以外のボタンの押下を検知したと判定した場合には、ステップＳ６１１に処理を進める。
In step S <b> 609, the
ステップＳ６１０では、情報処理装置１０１のＣＰＵ４０１は、説明再開処理を実行する。説明再開処理の詳細は、後述する図２４及び図２５に示す。説明再開処理が終了したら、ステップＳ６０６に処理を戻す。
In step S610, the
ステップＳ６１１では、情報処理装置１０１のＣＰＵ４０１は、ログアウトボタン８０３の押下を検知したか否かを判定する。すなわち、ユーザであるテラー３０１からログアウトボタン８０３の押下を受け付けたか否かを判定する。ログアウトボタン８０３の押下を検知したと判定した場合には、投影アプリケーションからログアウトし、ステップＳ６０２に処理を戻す。ログアウトボタン８０３の押下を検知していないと判定した場合には、ステップＳ６０６に処理を戻す。このとき、すでにメニュー画面８００が表示されているのであれば、ステップＳ６０７に処理を戻す。
In step S611, the
一方、ステップＳ６０３で終了指示を検知した場合には、ステップＳ６１２では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ６０１で起動した投影アプリケーションを終了する。このように、ユーザであるテラー３０１が投影アプリケーションを操作することで、説明の準備を行う。
On the other hand, if an end instruction is detected in step S603, in step S612, the
次に、説明開始処理の流れについて、図９及び図１０に示すフローチャートを用いて説明する。 Next, the flow of the explanation start process will be described using the flowcharts shown in FIGS.
まず、ステップＳ９０１では、情報処理装置１０１のＣＰＵ４０１は、図１１に示すような顧客情報登録画面１１００をプロジェクタ４２３に投影させて、投影面３０４に表示する。このとき、ミラーリング機能を用いて、ディスプレイ４１０には同じ顧客情報登録画面１１００が表示されてもよいし、マルチモニタ機能を用いて、ディスプレイ４１０には顧客情報登録画面１１００を操作するためのマニュアルや説明すべきポイントを表示させてもよい。以下、プロジェクタ４２３から投影面３０４に画面を投影する場合についても同様である。顧客情報登録画面１１００は、顧客３０２に関する情報（以下、顧客情報）を入力するための画面である。テラー３０１側には顧客情報の入力を受け付けるための入力欄が備えられており、顧客３０２側にはテラー３０１が入力を行った顧客情報がリアルタイムに更新されて表示される。情報処理装置１０１は、いずれかの入力欄に対するタッチ操作を検知すると、当該入力欄を入力受付状態にする。そして、入力デバイス４０９のキーボード等を用いて文字入力を受け付けると、この入力欄に文字列が入力される。
First, in step S <b> 901, the
ステップＳ９０２では、情報処理装置１０１のＣＰＵ４０１は、顧客情報登録画面１１００が備える登録ボタン１１０１の押下を検知したか否かを判定する。すなわち、ユーザから登録ボタン１１０１の押下を受け付けたか否かを判定する。登録ボタン１１０１の押下を検知したと判定した場合には、ステップＳ９０３に処理を進める。登録ボタン１１０１の押下を検知していないと判定した場合には、登録ボタン１１０１の押下を検知するまでステップＳ９０２の処理を繰り返す。
In step S902, the
ステップＳ９０３では、情報処理装置１０１のＣＰＵ４０１は、顧客情報登録画面１１００で入力を受け付けた顧客情報を図１２に示す顧客情報テーブル１２００に追加する。より具体的には、顧客情報テーブル１２００に新しくレコードを作成し、作成したレコードの各項目に対して、顧客情報を追加する。
In step S903, the
顧客情報テーブル１２００は、情報処理装置１０１の外部メモリ４１１等に記憶されるテーブルである。顧客情報テーブル１２００は、顧客ＩＤ１２０１、顧客名１２０２、フリガナ１２０３、郵便番号１２０４、住所１２０５、電話番号１２０６、生年月日１２０７、年齢１２０８、性別１２０９から構成される。顧客情報テーブル１２００の項目の構成はあくまで一例であり、これに限らない。
The customer information table 1200 is a table stored in the
顧客ＩＤ１２０１は、顧客３０２ごとに割り振られる一意な識別情報である。ステップＳ９０３で新しくレコードを作成すると、一意な識別情報が割り振られて、顧客ＩＤ１２０１に格納される。顧客名１２０２は、顧客３０２の名前である。フリガナ１２０３は、顧客名１２０２が示す名前のフリガナを示す。郵便番号１２０４は、顧客３０２の住所の郵便番号を示す。住所１２０５は、顧客３０２の住所を示す。電話番号１２０６は、顧客３０２の電話番号を示す。生年月日１２０７は、顧客３０２の生年月日を示す。年齢１２０８は、顧客３０２の満年齢を示す。性別１２０９は、顧客３０２の性別を示す。
The
ステップＳ９０４では、情報処理装置１０１のＣＰＵ４０１は、図１３に示すような商品説明画面１３００をプロジェクタ４２３に投影させて、投影面３０４に表示する。商品説明画面１３００は、本実施形態においては住宅ローンの説明を行うための画面である。テラー３０１側には住宅ローンの説明を行うためのチラシのサムネイル画像が表示されており、このいずれかに対するタッチ操作を検知すると、タッチ操作を検知したサムネイル画像に対応するチラシが顧客３０２側に表示される。例えば、図１３のサムネイル画像１３０３に対するタッチ操作を検知すると、顧客３０２側にチラシ１３０４が表示される。顧客３０２側に表示されるチラシは、チラシの画像データであってもよいし、文書データであってもよい。
In step S <b> 904, the
ステップＳ９０５では、情報処理装置１０１のＣＰＵ４０１は、再開時操作処理を実行する。再開時操作処理の詳細は、後述する図２８に示す。
In step S905, the
ステップＳ９０６では、情報処理装置１０１のＣＰＵ４０１は、商品説明画面１３００が備える中断ボタン１３０１の押下を検知したか否かを判定する。すなわち、ユーザから中断ボタン１３０１の押下を受け付けたか否かを判定する。中断ボタン１３０１の押下を検知したと判定した場合には、ステップＳ９０７に処理を進める。中断ボタン１３０１の押下を検知していない、または中断ボタン１３０１以外のボタンの押下を検知したと判定した場合には、ステップＳ９０９に処理を進める。
In step S <b> 906, the
ステップＳ９０７では、情報処理装置１０１のＣＰＵ４０１は、現在、投影面３０４に投影している画面の画面ＩＤ１２１１を取得し、ＲＡＭ４０３に一時記憶する。画面ＩＤ１２１１は、図１２に示す画面管理テーブル１２１０で管理している。すなわち、現在、投影面３０４に表示されている画面は商品説明画面１３００であるので、この商品説明画面１３００に対応する画面名１２１２は、「商品説明画面」である。これに対応する画面ＩＤ１２１１は「ＵＩ０１」であるので、これを取得する。
In step S <b> 907, the
画面管理テーブル１２１０は、情報処理装置１０１の外部メモリ４１１等に記憶されるテーブルである。画面管理テーブル１２１０は、画面ＩＤ１２１１、画面名１２１２から構成される。画面管理テーブル１２１０の項目の構成はあくまで一例であり、これに限らない。画面ＩＤ１２１１は、画面ごとに一意に割り振られた識別情報を示す。画面名１２１２は、画面の名称を示す。
The screen management table 1210 is a table stored in the
ステップＳ９０８では、情報処理装置１０１のＣＰＵ４０１は、説明中断処理を実行する。説明中断処理の詳細は、後述する図１９に示す。このとき、引数としてＲＡＭ４０３に記憶した画面ＩＤ１２１１を渡す。説明中断処理が終了したら、説明開始処理を終了する。
In step S908, the
ステップＳ９０９では、情報処理装置１０１にＣＰＵ４０１は、商品説明画面１３００が備える次へボタン１３０２の押下を検知したか否かを判定する。すなわち、ユーザから次へボタン１３０２の押下を受け付けたか否かを判定する。次へボタン１３０２の押下を検知したと判定した場合には、ステップＳ９１０に処理を進める。次へボタン１３０２の押下を検知していないと判定した場合には、ステップＳ９０５に処理を戻す。
In step S909, the
ステップＳ９１０では、情報処理装置１０１のＣＰＵ４０１は、図１４に示すようなシミュレーション画面１４００をプロジェクタ４２３に投影させて、投影面３０４に表示する。シミュレーション画面１４００は、住宅ローンの返済シミュレーションを行うための画面である。テラー３０１側には、シミュレーションを実行するためのパラメータ（以下、入力値）の入力を受け付けるための各種入力欄が表示されている。顧客３０２側には、テラー３０１側で入力を受け付けた入力値に応じてシミュレーションが実行された結果が表示される。入力欄に対する入力は、顧客情報登録画面１１００と同様である。
In step S <b> 910, the
ステップＳ９１１では、情報処理装置１０１のＣＰＵ４０１は、再開時操作処理を実行する。再開時操作処理の詳細は、後述する図２８に示す。
In step S911, the
ステップＳ９１２では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００が備えるシミュレーションボタン１４０３の押下を検知したか否かを判定する。すなわち、ユーザからシミュレーションボタン１４０３の押下を受け付けたか否かを判定する。シミュレーションボタン１４０３の押下を検知したと判定した場合には、ステップＳ９１３に処理を進める。シミュレーションボタン１４０３の押下を検知していない、またはシミュレーションボタン１４０３以外のボタンの押下を検知したと判定した場合には、ステップＳ９１４に処理を進める。
In step S912, the
ステップＳ９１３では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００の各入力欄に入力された入力値を用いて、住宅ローンの返済シミュレーションを実行する。シミュレーションの方法は従来技術を用いるため、詳細な説明は省略する。シミュレーションが実行されると、シミュレーション画面１４００の顧客３０２側にシミュレーションの実行結果が表示される。
In step S <b> 913, the
ステップＳ９１４では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００が備える中断ボタン１４０１の押下を検知したか否かを判定する。すなわち、ユーザから中断ボタン１４０１の押下を受け付けたか否かを判定する。中断ボタン１４０１の押下を検知したと判定した場合には、ステップＳ９１５に処理を進める。中断ボタン１４０１の押下を検知していない、またはシミュレーションボタン１４０３、中断ボタン１３０１以外のボタンの押下を検知したと判定した場合には、ステップＳ９１８に処理を進める。
In step S <b> 914, the
ステップＳ９１５では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００の各入力欄に入力された入力値を取得し、ＲＡＭ４０３に一時記憶する。
In step S <b> 915, the
ステップＳ９１６では、情報処理装置１０１のＣＰＵ４０１は、現在、投影面３０４に投影している画面の画面ＩＤ１２１１を取得し、ＲＡＭ４０３に一時記憶する。すなわち、現在、投影面３０４に表示されている画面はシミュレーション画面１４００であるので、このシミュレーション画面１４００に対応する画面名１２１２は、「シミュレーション画面」である。これに対応する画面ＩＤ１２１１は「ＵＩ０２」であるので、これを取得する。
In step S <b> 916, the
ステップＳ９１７では、情報処理装置１０１のＣＰＵ４０１は、説明中断処理を実行する。説明中断処理の詳細は、後述する図１９に示す。このとき、引数としてＲＡＭ４０３に記憶したシミュレーションの入力値と画面ＩＤ１２１１とを渡す。説明中断処理が終了したら、説明開始処理を終了する。
In step S917, the
ステップＳ９１８では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００が備える次へボタン１４０２の押下を検知したか否かを判定する。すなわち、ユーザから次へボタン１４０２の押下を受け付けたか否かを判定する。次へボタン１４０２の押下を検知したと判定した場合には、図１０のステップＳ９１９に処理を進める。次へボタン１４０２の押下を検知していないと判定した場合には、ステップＳ９１１に処理を戻す。
In step S918, the
図１０に説明を移す。ステップＳ９１９では、情報処理装置１０１のＣＰＵ４０１は、図１５に示すような書類読取画面１５００をプロジェクタ４２３に投影させて、投影面３０４に表示する。書類読取画面１５００は、住宅ローンを組むために必要な書類を画像データとして情報処理装置１０１に取り込むための画面である。テラー３０１側と顧客３０２側の双方に提出が必要な書類種別（重要事項説明書、本人確認書類等）の一覧（以下、書類種別欄）が表示されており、このいずれかに対するタッチ操作を検知すると、図１６に示す書類読取指示画面１６００が表示される。書類読取指示画面１６００で書類の読み取り、すなわちデジタルカメラ４２１による撮像が行われ、撮像により生成された画像データを情報処理装置１０１が取得する。無事に読み取りが終了すると、再び書類読取画面１５００に戻り、タッチ操作を検知した書類の枠に読み取った画像データを表示する。例えば、本人確認書類欄１５０３に対するタッチ操作を検知すると、この本人確認書類を読み込むために書類読取指示画面１６００が表示される。そして、顧客３０２が投影面３０４に置いた本人確認書類を読み込む。読み取りが完了すると、書類読取画面１５００に戻り、テラー３０１側と顧客３０２側の双方の本人確認書類欄に読み込んだ画像データが表示される。
The description will be shifted to FIG. In step S <b> 919, the
ステップＳ９２２では、情報処理装置１０１のＣＰＵ４０１は、書類読取画面１５００が備える書類種別欄において、いずれかの書類種別に対する選択を検知したか否かを判定する。すなわち、ユーザからいずれかの書類種別に対する選択を受け付けたか否かを判定する。書類種別に対する選択を検知したと判定した場合には、ステップＳ９２２に処理を進める。書類種別に対する選択を検知していない、また他のボタンに対する選択を検知したと判定した場合には、ステップＳ９２９に処理を進める。
In step S922, the
ステップＳ９２２では、情報処理装置１０１のＣＰＵ４０１は、図１６に示すような書類読取指示画面１６００をプロジェクタ４２３に投影させて、投影面３０４に表示する。
In step S922, the
ステップＳ９２３では、情報処理装置１０１のＣＰＵ４０１は、書類読取指示画面１６００が備える書類読取ボタン１６０１の押下を検知したか否かを判定する。すなわち、ユーザから書類読取ボタン１６０１の押下を受け付けたか否かを判定する。書類読取ボタン１６０１の押下を検知したと判定した場合には、ステップＳ９２４に処理を進める。書類読取ボタン１６０１の押下を検知していない、または書類読取ボタン１６０１以外のボタンの押下を検知したと判定した場合には、ステップＳ９２８に処理を進める。
In step S923, the
ステップＳ９２４では、情報処理装置１０１のＣＰＵ４０１は、デジタルカメラ４２１に対して撮像指示を送信する。これにより、デジタルカメラ４２１が反射鏡２０７に映る投影面３０４を撮像する。
In step S <b> 924, the
ステップＳ９２５では、情報処理装置１０１のＣＰＵ４０１は、撮像により生成された画像データをデジタルカメラから取得し、当該画像データを左右反転させた上で、当該画像データから書類の部分を抽出（トリミング）する。左右反転させるのは、前述した通り、反射鏡２０７に映る像を撮像しているためである。
In step S925, the
ステップＳ９２６では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ９２５でトリミングした画像データに対して傾きの補正や色味の補正を行い、外部メモリ４１１等に保存（記憶）する。
In step S926, the
ステップＳ９２７では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ９２６で記憶した画像データの保存場所を図１７に示す書類管理テーブル１７００に追加する。より具体的には、商品説明中の顧客３０２に対応するレコードがなければ、新しくレコードを作成し、ステップＳ９２１で選択を検知した書類種別の項目にステップＳ９２６で保存した画像データの保存場所を格納する。すでに商品説明中の顧客３０２に対応するレコードが存在するのであれば、当該レコードの項目のうち、ステップＳ９２１で選択を検知した書類種別の項目にステップＳ９２６で保存した画像データの保存場所を格納する。
In step S927, the
書類管理テーブル１７００は、情報処理装置１０１の外部メモリ４１１等に記憶されるテーブルである。書類管理テーブル１７００は、顧客ＩＤ１７０１、重要事項説明書１７０２、本人確認書類１７０３、住民票１７０４、源泉徴収票１７０５、印鑑証明書１７０６、住宅見取り図 １７０７から構成される。書類管理テーブル１７００の項目の構成はあくまで一例であり、これに限らない。
The document management table 1700 is a table stored in the
顧客ＩＤ１７０１は、顧客情報テーブル１２００の顧客ＩＤ１２０１に対応する、顧客３０２を一意に識別するための識別情報を示す。重要事項説明書１７０２は、書類種別で「重要事項説明書」が選択されて読み込まれた画像データの保存場所を示す。本人確認書類１７０３は、書類種別で「本人確認書類」が選択されて読み込まれた画像データの保存場所を示す。住民票１７０４は、書類種別で「住民票」が選択されて読み込まれた画像データの保存場所を示す。源泉徴収票１７０５は、書類種別で「源泉徴収票」が選択されて読み込まれた画像データの保存場所を示す。印鑑証明書１７０６は、書類種別で「印鑑証明書」が選択されて読み込まれた画像データの保存場所を示す。住宅見取り図 １７０７は、書類種別で「住宅見取り図」が選択されて読み込まれた画像データの保存場所を示す。尚、これらの保存場所を示す項目に「ＮＵＬＬ」が格納されている場合には、当該書類種別が読み取られていないことを示す。
The
ステップＳ９２８では、情報処理装置１０１のＣＰＵ４０１は、書類読取指示画面１６００が備えるキャンセルボタン１６０２の押下を検知したか否かを判定する。すなわち、ユーザからキャンセルボタン１６０２の押下を受け付けたか否かを判定する。キャンセルボタン１６０２の押下を検知したと判定した場合には、ステップＳ９１９に処理を戻す。キャンセルボタン１６０２の押下を検知していないと判定した場合には、ステップＳ９２３に処理を戻す。
In step S928, the
一方、ステップＳ９２１で書類種別の選択を検知しなかった場合には、ステップＳ９２９では、情報処理装置１０１のＣＰＵ４０１は、書類読取画面１５００が備える中断ボタン１５０１の押下を検知したか否かを判定する。すなわち、ユーザから中断ボタン１５０１の押下を受け付けたか否かを判定する。中断ボタン１５０１の押下を検知したと判定した場合には、ステップＳ９３０に処理を進める。中断ボタン１５０１の押下を検知していない、または中断ボタン１５０１以外のボタンの押下を検知したと判定した場合には、ステップＳ９３２に処理を進める。
On the other hand, if the selection of the document type is not detected in step S921, the
ステップＳ９３０では、情報処理装置１０１のＣＰＵ４０１は、現在、投影面３０４に投影している画面の画面ＩＤ１２１１を取得し、ＲＡＭ４０３に一時記憶する。すなわち、現在、投影面３０４に表示されている画面は書類読取画面１５００であるので、この書類読取画面１５００に対応する画面名１２１２は、「書類読取画面」である。これに対応する画面ＩＤ１２１１は「ＵＩ０３」であるので、これを取得する。尚、書類読取指示画面１６００は一時的な作業画面であるため、他の画面に存在する中断ボタンは備えていない。特に、本実施形態では、中断する際に投影面３０４に置いてある書類を画像データとして保存しておき、再開時にはこの画像データを表示した状態で再開する。すなわち、再開時にこの画像データが表示されてしまうと、書類読取指示画面１６００で表示した画像データまでデジタルカメラ４２１が撮像してしまうことになる。これでは書類が綺麗に読み取れないので、中断ボタンは備えていない。
In step S <b> 930, the
ステップＳ９３１では、情報処理装置１０１のＣＰＵ４０１は、説明中断処理を実行する。説明中断処理の詳細は、後述する図１９に示す。このとき、引数としてＲＡＭ４０３に記憶した画面ＩＤ１２１１を渡す。説明中断処理が終了したら、説明開始処理を終了する。
In step S931, the
ステップＳ９３２では、情報処理装置１０１のＣＰＵ４０１は、書類読取画面１５００が備える次へボタン１５０２の押下を検知したか否かを判定する。ユーザから次へボタン１５０２の押下を受け付けたか否かを判定する。次へボタン１５０２の押下を検知したと判定した場合には、ステップＳ９３３に処理を進める。次へボタン１５０２の押下を検知していないと判定した場合には、ステップＳ９２０に処理を戻す。
In step S932, the
ステップＳ９３３では、情報処理装置１０１のＣＰＵ４０１は、図１８に示すような案内画面１８００をプロジェクタ４２３に投影させて、投影面３０４に表示する。案内画面１８００は、顧客３０２に今後の流れを説明するための画面である。
In step S <b> 933, the
ステップＳ９２４では、情報処理装置１０１のＣＰＵ４０１は、案内画面１８００が備える終了ボタン１８０１の押下を検知したか否かを判定する。ユーザから終了ボタン１８０１の押下を受け付けたか否かを判定する。終了ボタン１８０１の押下を検知したと判定した場合には、説明開始処理を終了する。終了ボタン１８０１の押下を検知していないと判定した場合には、終了ボタン１８０１が押下されるまでステップＳ９２４の処理を繰り返す。
In step S924, the
案内画面１８００においても中断ボタンを設けていないが、案内画面１８００は一連の画面遷移の中で最後の画面であるので、次回この画面から再開する意味はあまりない。よって、中断ボタンを設けていない。 Although no interruption button is provided on the guidance screen 1800, since the guidance screen 1800 is the last screen in a series of screen transitions, there is not much meaning to resume from this screen next time. Therefore, no interruption button is provided.
次に、説明中断処理の流れについて、図１９に示すフローチャートを用いて説明する。 Next, the flow of the explanation interruption process will be described using the flowchart shown in FIG.
まず、ステップＳ１９０１では、情報処理装置１０１のＣＰＵ４０１は、説明中の顧客３０２の顧客ＩＤ１２０１を顧客情報テーブル１２００から取得する。
First, in step S1901, the
ステップＳ１９０２では、情報処理装置１０１のＣＰＵ４０１は、説明中断処理の呼び出し元から引数として渡された画面ＩＤ１２１１と、ステップＳ１９０１で取得した顧客ＩＤ１２０１とを図２０に示す中断管理テーブル２０００に追加する。より具体的には、ステップＳ１９０１で取得した顧客ＩＤ１２０１に対応する顧客ＩＤ２００１が存在しなければ、中断管理テーブル２０００に新たなレコードを作成し、説明中断処理の呼び出し元から引数として渡された画面ＩＤ１２１１と、ステップＳ１９０１で取得した顧客ＩＤ１２０１とを作成したレコードの顧客ＩＤ２００１と画面ＩＤ２００２に追加する。または、ステップＳ１９０１で取得した顧客ＩＤ１２０１に対応する顧客ＩＤ２００１が存在する場合には、当該顧客ＩＤ２００１を含むレコードの画面ＩＤ２００２に画面ＩＤ１２１１を格納する。
In step S1902, the
中断管理テーブル２０００は、情報処理装置１０１の外部メモリ４１１等に記憶されるテーブルである。中断管理テーブル２０００は、顧客ＩＤ２００１、画面ＩＤ２００２、中断書類２００３、中断書類座標２００４、傾き２００５、お借入額２００６、ボーナス月の返済額２００７、お借入金額２００８、金利方式２００９、お借入金利２０１０から構成される。中断管理テーブル２０００の項目の構成はあくまで一例であり、これに限らない。また、中断管理テーブル２０００に作成された顧客３０２ごとのレコードは、前述したステップＳ９３４で終了ボタン１８０１の押下を検知すると、削除される。
The interruption management table 2000 is a table stored in the
顧客ＩＤ２００１は、顧客情報テーブル１２００の顧客ＩＤ１２０１に対応する、顧客３０２を一意に識別するための識別情報を示す。画面ＩＤ２００２は、中断ボタンの押下を検知した画面の画面ＩＤ１２１１を示す。中断書類２００３は、中断ボタンの押下を検知した際に、投影面３０４に置いてある書類を撮影することにより生成される画像データの保存場所を示す。中断書類座標２００４は、中断書類２００３が示す保存場所に格納された画像データを配置する、画面ＩＤ２００２が示す画面上の座標値を示す。この座標値は、中断書類２００３が示す保存場所に保存される画像データの左上頂点の座標値である。傾き２００５は、中断書類２００３を画面ＩＤ２００２が示す画面上に表示する際に傾ける傾き（角度）を示す。お借入額２００６、ボーナス月の返済額２００７、お借入金額２００８、金利方式２００９、お借入金利２０１０は、シミュレーション画面１４００で中断ボタン１４０１の押下を検知した場合に、シミュレーション画面１４００に入力されている入力値を示す。
The
ステップＳ１９０３では、情報処理装置１０１のＣＰＵ４０１は、ジェスチャセンサ４２２から取得した情報に応じて、投影面３０４において書類（各図で中断書類と称する）を検知したか否かを判定する。ジェスチャセンサ４２２を用いることで、投影面３０４に存在する物体の形状や位置を特定することができる。ここで、投影面３０４に矩形状で一定範囲の厚さの物体が特定されれば、投影面３０４で書類を検知したと判定する。書類（紙文書）の特定方法は従来技術を用いるため詳細な説明は省略するが、前述した方法以外の方法で書類を検知してもよい。投影面３０４において書類を検知したと判定した場合には、ステップＳ１９０４に処理を進める。投影面３０４において書類を検知していないと判定した場合には、ステップＳ１９１３に処理を進める。
In step S1903, the
図２１の投影面例２１００は、商品説明画面１３００が投影面３０４に投影された状態を示す。この投影面例２１００では、中断ボタンの押下を検知したときに書類２１０１が投影面３０４に置かれている。ジェスチャセンサ４２２はこの書類の存在を検知すると、ステップＳ１９０４に処理を進めることになる。
A projection surface example 2100 in FIG. 21 shows a state where the product description screen 1300 is projected onto the
ステップＳ１９０４では、情報処理装置１０１のＣＰＵ４０１は、現在投影している画面の投影を終了し、図２１に示すような中断書類読取画面２１１０をプロジェクタ４２３に投影するよう指示し、投影面３０４に表示する（投影終了指示手段）。中断書類読取画面２１１０は、検知した書類を自動的に読み取るための画面であるので、情報は表示せず、白い画面を投影するだけである。
In step S1904, the
ステップＳ１９０５では、情報処理装置１０１のＣＰＵ４０１は、投影面３０４に置かれている書類の現実空間における座標値を、ジェスチャセンサ４２２から取得する。より具体的には、ジェスチャセンサ４２２が認識する座標系に従って、当該書類の座標値を取得する。取得する座標値は書類の左上頂点の座標値である。中断書類読取画面２１１０を用いて説明すると、検知した書類２１０１の左上頂点は、左上頂点２１１１が示す点である。この点の座標値を取得する。ここでは便宜上、この座標値を（ｘ１、ｙ１）とする。
In step S <b> 1905, the
ステップＳ１９０６では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１９０５で取得した現実空間における書類の座標値を、中断した画面における座標値に変換する。前述した通り、現実空間における座標値、すなわちジェスチャセンサ４２２が認識する座標値と、中断した画面における（データ上の）座標値というのはそれぞれ異なる。よって、ジェスチャセンサ４２２で取得した座標値が、画面のどの座標値に該当するのかを特定しなければならない。よって、ステップＳ１９０６では現実空間の座標値を画面上の座標値に変換している。
In step S1906, the
図２２の画面例２２００では、ステップＳ１９０５で取得した現実空間における書類の座標値を、中断ボタンの押下を検知した商品説明画面１３００における座標値に変換した結果を示す画面である。すなわち、前述した中断書類読取画面２１１０で特定した左上頂点２１１１を商品説明画面１３００の座標値に変換すると、座標２２０１が示す座標値となる。この点が現実空間で投影面３０４に置かれた書類の左上頂点２１１１を示す座標値である。ここでは便宜上、この座標値を（ｘ１’，ｙ１’）とする。
The screen example 2200 of FIG. 22 is a screen showing the result of converting the coordinate value of the document in the real space acquired in step S1905 into the coordinate value on the product description screen 1300 that detects the pressing of the interrupt button. That is, when the upper
ステップＳ１９０７では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１９０６で変換した座標値を中断管理テーブル２０００の中断書類座標２００４に格納する。
In step S1907, the
ステップＳ１９０８では、情報処理装置１０１のＣＰＵ４０１は、デジタルカメラ４２１に対して撮像指示を送信する（第１の撮像指示手段）。これにより、デジタルカメラ４２１が反射鏡２０７に映る投影面３０４を撮像する。
In step S1908, the
ステップＳ１９０９では、情報処理装置１０１のＣＰＵ４０１は、撮像により生成された画像データをデジタルカメラから取得し、当該画像データを左右反転させた上で、当該画像データから書類の部分を抽出（トリミング）する。図２３の画像データ例２３００は、図２１の中断書類読取画面２１１０が表示されている投影面３０４を撮像し、左右反転させた後の例である。この画像データから書類部分だけトリミングをする。
In step S1909, the
ステップＳ１９１０では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１９０９で抽出した書類部分の画像データの傾きを検出する。図２３の画像データ例２３００にも示すように、書類はユーザが置くためある程度傾いていることが多い。よって、この傾きを、従来技術を用いて検出する。
In step S1910, the
ステップＳ１９１１では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１９１０で検出した傾きに応じて、ステップＳ１９０９でトリミングした画像データの傾きを補正し、外部メモリ４１１等に保存する（画像データ保存手段）。図２３の画像データ例２３００から書類部分をトリミングして、傾き補正した例が画像データ例２３１０である。このように、画面の縦横に対して、画像の縦横がそれぞれ平行になるよう傾きを補正する。
In step S1911, the
ステップＳ１９１２では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１９１１で保存した書類部分の画像データの保存場所と、ステップＳ１９１０で検出した傾きとを、中断管理テーブル２０００に格納する。書類部分の画像データの保存場所は、中断管理テーブル２０００の中断書類２００３に格納し、ステップＳ１９１０で検出した傾きは、中断管理テーブル２０００の傾き２００５に格納する。
In step S 1912, the
ステップＳ１９１３では、情報処理装置１０１のＣＰＵ４０１は、シミュレーション画面１４００で中断されたか否かを判定する。すなわち、中断管理テーブル２０００の画面ＩＤ２００２が示す画面が「シミュレーション画面」であるか否かを判定する。シミュレーション画面１４００で中断されたと判定した場合には、ステップＳ１９１４に処理を進める。シミュレーション画面１４００で中断されていない、すなわちシミュレーション画面１４００以外の画面で中断されたと判定した場合には、説明中断処理を終了する。
In step S <b> 1913, the
ステップＳ１９１４では、情報処理装置１０１のＣＰＵ４０１は、説明中断処理の呼び出し元から引数として渡された、シミュレーション画面１４００の入力値を、中断管理テーブル２０００のお借入額２００６、ボーナス月の返済額２００７、お借入金額２００８、金利方式２００９、お借入金利２０１０、それぞれに格納する。こうしておくことで、説明を再開するときに、前回と同じ入力値を用いてすぐにシミュレーションを実行することができるようになる。
In step S <b> 1914, the
次に、説明再開処理の流れについて、図２４及び図２５に示すフローチャートを用いて説明する。 Next, the flow of the explanation restart process will be described using the flowcharts shown in FIGS.
説明再開処理は、前述した説明中断処理によって一旦中断された説明を再開する場合の処理である。この再開する際に、中断時に投影面３０４に置かれていた書類が存在するのであれば、この書類の画像データを再開時の画面と共に表示することで、ユーザが当該書類を持参することなく、説明を再開することができるようになる。
The explanation resumption process is a process for resuming the explanation once suspended by the explanation interruption process described above. When there is a document that was placed on the
まず、ステップＳ２４０１では、情報処理装置１０１のＣＰＵ４０１は、図２６に示すような顧客ＩＤ入力画面２６００をディスプレイ４１０に表示する。顧客ＩＤ入力画面２６００では、説明を再開する顧客の顧客ＩＤ１２０１の入力を受け付けるための顧客ＩＤ入力欄２６０１を備えている。
First, in step S2401, the
ステップＳ２４０２では、情報処理装置１０１のＣＰＵ４０１は、顧客ＩＤ入力画面２６００が備える再開ボタン２６０２の押下を検知したか否かを判定する。すなわち、ユーザから再開ボタン２６０２の押下を受け付けたか否かを判定する。再開ボタン２６０２の押下を検知したと判定した場合には、ステップＳ２４０３に処理を進める。再開ボタン２６０２の押下を検知していないと判定した場合には、再開ボタン２６０２の押下を検知するまで、ステップＳ２４０２を繰り返す。
In step S2402, the
ステップＳ２４０３では、情報処理装置１０１のＣＰＵ４０１は、中断管理テーブル２０００の顧客ＩＤ２００１に、顧客ＩＤ入力欄２６０１で入力を受け付けた顧客ＩＤと一致するレコードが存在するか否かを判定する。つまり、前回説明を中断した顧客であるのか否かを判定する。中断管理テーブル２０００の顧客ＩＤ２００１に、顧客ＩＤ入力欄２６０１で入力を受け付けた顧客ＩＤと一致するレコードが存在すると判定した場合には、ステップＳ２４０４に処理を進める。中断管理テーブル２０００の顧客ＩＤ２００１に、顧客ＩＤ入力欄２６０１で入力を受け付けた顧客ＩＤと一致するレコードが存在しないと判定した場合には、前述したステップＳ９０１から説明開始処理を実行する。
In step S <b> 2403, the
ステップＳ２４０４では、情報処理装置１０１のＣＰＵ４０１は、顧客ＩＤ入力欄２６０１で入力を受け付けた顧客ＩＤと一致する顧客ＩＤ２００１を持つレコードから、画面ＩＤ２００２を取得する。この画面ＩＤ２００２が前回中断した画面の画面ＩＤ１２１１である。
In step S2404, the
ステップＳ２４０５では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０４で取得した画面ＩＤ２００２を用いて、前回、商品説明画面１３００で中断したのか否かを判定する。すなわち、ステップＳ２４０４で取得した画面ＩＤ２００２が商品説明画面１３００を示すのか否かを判定する。画面ＩＤ２００２は、画面ＩＤ１２１１と対応するので、画面管理テーブル１２１０を用いれば、どの画面で中断したのかがわかる。商品説明画面１３００で中断したと判定した場合には、ステップＳ２４０６に処理を進める。商品説明画面１３００で中断していない、すなわち他の画面で中断したと判定した場合には、ステップＳ２４１０に処理を進める。
In step S <b> 2405, the
ステップＳ２４０６では、情報処理装置１０１のＣＰＵ４０１は、前回中断したと判定された商品説明画面１３００をプロジェクタ４２３に投影させて、投影面３０４に表示する。
In step S <b> 2406, the
ステップＳ２４０７では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３に書類の画像データの保存場所が格納されているか否かを判定する。すなわち、中断時に投影面３０４に書類が置かれていたか否かを判定する。中断書類２００３に書類の画像データの保存場所が格納されていると判定した場合には、ステップＳ２４０８に処理を進める。中断書類２００３に書類の画像データの保存場所が格納されていないと判定した場合には、前述したステップＳ９０５に処理を進める。
In step S2407, the
ステップＳ２４０８では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３が示す保存場所から書類の画像データを取得し、更に当該レコードの中断書類座標２００４と傾き２００５とから、書類の画像データの座標値と傾きとを取得する。
In step S2408, the
ステップＳ２４０９では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０８で取得した書類の画像データ、座標値、傾きを用いて、商品説明画面１３００に取得した書類の画像データをオーバレイ表示し、これをプロジェクタ４２３に投影指示する（投影指示手段）。より具体的には、書類の画像データの左上頂点を取得した座標値にあわせる。そして、同じく取得した傾きを用いて画像データの角度を変えて、中断時に書類が置かれていた状況を再現する。
In step S2409, the
図２７のオーバレイ表示例２７００では、書類の画像データ例２３１０を商品説明画面１３００に重畳させている様子がわかる。中断書類座標２００４は座標２２０１である（ｘ１’，ｙ１’）を示すので、この点に取得した画像データ例２３１０の左上頂点を合わせている。そして、ステップＳ１９１０で検出した傾きが示す角度で画像データ例２３１０を回転させることにより、前回中断した際の書類の状況を再現することができる。 In the overlay display example 2700 in FIG. 27, it can be seen that the document image data example 2310 is superimposed on the product explanation screen 1300. Since the interrupted document coordinate 2004 indicates the coordinate 2201 (x1 ′, y1 ′), the upper left vertex of the acquired image data example 2310 is aligned with this point. Then, by rotating the image data example 2310 by the angle indicated by the inclination detected in step S1910, it is possible to reproduce the state of the document when interrupted last time.
尚、図２１の投影面例２１００と図２７のオーバレイ表示例２７００とを比較して分かる通り、書類と商品説明画面１３００の前後関係が変わっている。これは、図２１の投影面例２１００が現実の書類の上に商品説明画面１３００を投影しているのに対し、図２７のオーバレイ表示例２７００は、商品説明画面１３００の上に書類の画像データを重畳させているためである。投影面例２１００と完全に同じ状況を再現するためには、書類の画像データの上に透過した商品説明画面１３００を重畳したり、商品説明画面１３００の上に透過した書類の画像データを重畳したりすることで、擬似的に再現することはできるのだが、どちらも透過処理を行うことになるので、投影面３０４に投影した際にユーザが閲覧しにくくなってしまう。よって、商品説明画面１３００の上に書類の画像データを重畳している。
As can be seen from a comparison between the projection surface example 2100 in FIG. 21 and the overlay display example 2700 in FIG. 27, the front-rear relationship between the document and the product explanation screen 1300 is changed. This is because the projection screen example 2100 in FIG. 21 projects the product description screen 1300 on the actual document, whereas the overlay display example 2700 in FIG. 27 displays the image data of the document on the product description screen 1300. This is because of overlapping. In order to reproduce the same situation as the projection surface example 2100, a transparent product description screen 1300 is superimposed on the document image data, or a transparent document image data is superimposed on the product description screen 1300. Although both can be reproduced in a pseudo manner, both are subjected to a transmission process, which makes it difficult for the user to view when projected onto the
ステップＳ２４０９でオーバレイ表示が完了したら、前述したステップＳ９０５に処理を進める。 When the overlay display is completed in step S2409, the process proceeds to step S905 described above.
ステップＳ２４１０では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０４で取得した画面ＩＤ２００２を用いて、前回、シミュレーション画面１４００で中断したのか否かを判定する。すなわち、ステップＳ２４０４で取得した画面ＩＤ２００２がシミュレーション画面１４００を示すのか否かを判定する。シミュレーション画面１４００で中断したと判定した場合には、ステップＳ２４１１に処理を進める。シミュレーション画面１４００で中断していない、すなわち他の画面で中断したと判定した場合には、図２５のステップＳ２４１８に処理を進める。
In step S2410, the
ステップＳ２４１１では、情報処理装置１０１のＣＰＵ４０１は、前回中断したと判定されたシミュレーション画面１４００をプロジェクタ４２３に投影させて、投影面３０４に表示する。
In step S2411, the
ステップＳ２４１２では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定されたレコードに、シミュレーションの入力値が格納されているか否かを判定する。前述した通り、シミュレーションの入力値は、中断管理テーブル２０００のお借入額２００６、ボーナス月の返済額２００７、お借入金額２００８、金利方式２００９、お借入金利２０１０にそれぞれ格納されている。シミュレーションの入力値が格納されていると判定した場合には、ステップＳ２４１３に処理を進める。シミュレーションの入力値が格納されていないと判定された場合には、ステップＳ２４１５に処理を進める。
In step S2412, the
ステップＳ２４１３では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定されたレコードのお借入額２００６、ボーナス月の返済額２００７、お借入金額２００８、金利方式２００９、お借入金利２０１０からそれぞれ入力値を取得する。
In step S2413, the
ステップＳ２４１４では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４１３で取得したシミュレーションの入力値を用いて、ステップＳ９１３と同様に返済シミュレーションを実行する。そしてその実行結果をステップＳ２４１１で表示したシミュレーション画面１４００の顧客３０２側に表示する。
In step S2414, the
ステップＳ２４１５では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３に書類の画像データの保存場所が格納されているか否かを判定する。すなわち、中断時に投影面３０４に書類が置かれていたか否かを判定する。中断書類２００３に書類の画像データの保存場所が格納されていると判定した場合には、ステップＳ２４１６に処理を進める。中断書類２００３に書類の画像データの保存場所が格納されていないと判定した場合には、前述したステップＳ９１１に処理を進める。
In step S2415, the
ステップＳ２４１６では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３が示す保存場所から書類の画像データを取得し、更に当該レコードの中断書類座標２００４と傾き２００５とから、書類の画像データの座標値と傾きとを取得する。
In step S2416, the
ステップＳ２４１７では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４１６で取得した書類の画像データ、座標値、傾きを用いて、シミュレーション画面１４００に取得した書類の画像データをオーバレイ表示する。オーバレイ表示については、ステップＳ２４０９で前述した通りである。オーバレイ表示が完了したら、前述したステップＳ９１１に処理を進める。
In step S2417, the
図２５に説明を移す。ステップＳ２４１８では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０４で取得した画面ＩＤ２００２を用いて、前回、書類読取画面１５００で中断したのか否かを判定する。すなわち、ステップＳ２４０４で取得した画面ＩＤ２００２が書類読取画面１５００を示すのか否かを判定する。書類読取画面１５００で中断したと判定した場合には、ステップＳ２４１９に処理を進める。書類読取画面１５００で中断していない、すなわち他の画面で中断したと判定した場合には、エラーを判定して説明再開処理を終了する。
The description will be shifted to FIG. In step S2418, the
ステップＳ２４１９では、情報処理装置１０１のＣＰＵ４０１は、前回中断したと判定された書類読取画面１５００をプロジェクタ４２３に投影させて、投影面３０４に表示する。
In step S <b> 2419, the
ステップＳ２４２０では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３に書類の画像データの保存場所が格納されているか否かを判定する。すなわち、中断時に投影面３０４に書類が置かれていたか否かを判定する。中断書類２００３に書類の画像データの保存場所が格納されていると判定した場合には、ステップＳ２４２１に処理を進める。中断書類２００３に書類の画像データの保存場所が格納されていないと判定した場合には、前述したステップＳ９１９に処理を進める。
In step S2420, the
ステップＳ２４２１では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４０３で特定したレコードの中断書類２００３が示す保存場所から書類の画像データを取得し、更に当該レコードの中断書類座標２００４と傾き２００５とから、書類の画像データの座標値と傾きとを取得する。
In step S2421, the
ステップＳ２４２２では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２４２１で取得した書類の画像データ、座標値、傾きを用いて、書類読取画面１５００に取得した書類の画像データをオーバレイ表示する。オーバレイ表示については、ステップＳ２４０９で前述した通りである。オーバレイ表示が完了したら、前述したステップＳ９１９に処理を進める。
In step S2422, the
このようにして、前回中断時に投影面３０４に置かれていた書類の状況を再現して、説明を再開することにより、前回の状況をテラー３０１や顧客３０２に思い出させやすくすることができる。
In this way, by reproducing the situation of the document placed on the
次に、再開時操作処理の流れについて、図２８に示すフローチャートを用いて説明する。再開時操作処理は、前述した説明再開処理によりオーバレイ表示された書類の画像データに対する操作を受け付けるための処理である。 Next, the flow of the restart operation process will be described using the flowchart shown in FIG. The resume operation process is a process for accepting an operation on the image data of the document displayed as an overlay by the above-described resume process.
まず、ステップＳ２８０１では、情報処理装置１０１のＣＰＵ４０１は、説明を受けている顧客の顧客ＩＤ１２０１に対応する顧客ＩＤ２００１を持つレコードが存在し、かつ当該レコードの中断書類２００３に書類の画像データの保存場所が格納されているか否かを判定する。中断書類２００３に書類の画像データの保存場所が格納されていると判定した場合には、ステップＳ２８０２に処理を進める。中断書類２００３に書類の画像データの保存場所が格納されていないと判定した場合には、再開時操作処理を終了する。すなわち、メニュー画面８００で説明開始ボタン８０１の押下を検知し、図９及び図１０の説明開始処理を実行した場合には、まだ一度も中断していないので何も行わずに再開時操作処理を終了する。また、説明再開ボタン８０２の押下を検知し、図２４の説明再開処理から実行した場合であっても、前回説明時に投影面３０４に何も書類がなかった場合には、この中断書類２００３は「ＮＵＬＬ」になっているので、同じく再開時操作処理は行わない。
First, in step S2801, the
ステップＳ２８０２では、情報処理装置１０１のＣＰＵ４０１は、ジェスチャセンサ４２２から取得した情報に応じて、投影面３０４において書類を検知したか否かを判定する。検知方法については、前述したステップＳ１９０３と同様である。投影面３０４において書類を検知したと判定した場合には、ステップＳ２８０３に処理を進める。投影面３０４において書類を検知していないと判定した場合には、ステップＳ２８０８に処理を進める。
In step S2802, the
ステップＳ２８０３では、情報処理装置１０１のＣＰＵ４０１は、デジタルカメラ４２１に対して撮像指示を送信する（第２の撮像指示手段）。これにより、デジタルカメラ４２１が反射鏡２０７に映る投影面３０４を撮像する。
In step S2803, the
ステップＳ２８０４では、情報処理装置１０１のＣＰＵ４０１は、撮像により生成された画像データをデジタルカメラから取得し、当該画像データを左右反転させた上で、当該画像データから書類の部分（被写体）を抽出（トリミング）する（被写体検出手段）。左右反転させるのは、前述した通り、反射鏡２０７に映る像を撮像しているためである。
In step S2804, the
ステップＳ２８０５では、情報処理装置１０１のＣＰＵ４０１は、説明を受けている顧客の顧客ＩＤ１２０１に対応する顧客ＩＤ２００１を持つレコードの中断書類２００３が示す保存場所からオーバレイ表示している画像データを取得し、当該画像データの特徴量とステップＳ２８０４で抽出した書類の画像データの特徴量とを比較する。画像データ同士の比較方法は従来技術を用いるため、詳細な説明は省略する。
In step S2805, the
ステップＳ２８０６では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２８０５で比較した結果、特徴量が所定値の割合以上、一致するか否かを判定する。図２９の投影面例２９００に示すように、オーバレイ表示された画像データ例２３１０と新たに投影面３０４に置かれた書類２９０１とは完全一致しない。なぜなら、新たに投影面３０４に置かれた書類２９０１は、その書類２９０１の上から画面が投影されているためである。よって、ステップＳ２８０６ではある程度特徴量が一致するのであれば、オーバレイ表示された画像データは、投影面３０４に置かれている書類と同じであると判定する。尚、本実施形態では、画面を投影したまま投影面３０４を撮像しているが、前述したステップＳ１９０４のように、投影面３０４に置かれた書類を読み込みしやすいように、白い画面を投影してもよい。この場合に、オーバレイ表示された画像データと投影面３０４に置かれている書類が同じであれば、特徴量の一致率が高くなると考えられるので、一致すると判定するための特徴量の閾値を高めに設定してもよい。ステップＳ２８０５で比較した結果、特徴量が所定値以上一致すると判定した場合には、ステップＳ２８０７に処理を進める。ステップＳ２８０５で比較した結果、特徴量が所定値以上一致しないと判定された場合には、再開時操作処理を終了する。
In step S <b> 2806, the
ステップＳ２８０７では、情報処理装置１０１のＣＰＵ４０１は、前述したステップＳ２４０９、ステップＳ２４１７、ステップＳ２４２２でオーバレイ表示された書類の画像データを非表示にする。すなわち、オーバレイ表示を終了する。オーバレイ表示している書類の画像データと同じ書類が投影面３０４に置かれているということは、顧客３０２が再度書類を持参したということである。そのため、ステップＳ２８０７ではオーバレイ表示を終了する。図２９の投影面例２９１０は、書類２９０１が投影面３０４に置かれたため、これと特徴量が所定値以上一致すると判定された画像データ例２３１０のオーバレイ表示は終了する。不要な情報を非表示とすることで、限られた作業スペースを有効利用することができるようになる。
In step S2807, the
ステップＳ２８０８では、情報処理装置１０１のＣＰＵ４０１は、ジェスチャセンサ４２２が検知した投影面３０４におけるユーザの手の動きにより、オーバレイ表示している画像データに対する操作を検知したか否かを判定する。より具体的には、オーバレイ表示している画像データを指でタッチしたまま、その指を移動させたかどうか（画像データの移動指示）、またはオーバレイ表示している画像データを２本の指でタッチしたまま、当該２本の指の間隔が広がったまたは狭まったかどうか（画像データの拡大・縮小指示）、またはオーバレイ表示している画像データを２本の指でタッチしたまま、当該２本の指を時計回りまたは反時計回りに移動させたかどうか（画像データの回転指示）を判定する。オーバレイ表示している画像データに対する操作を検知したと判定した場合には、ステップＳ２８０９に処理を進める。オーバレイ表示している画像データに対する操作を検知していないと判定した場合には、再開時操作処理を終了する。
In step S <b> 2808, the
ステップＳ２８０９では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２８０８で検知した操作が、オーバレイ表示している画像データの移動であるか否かを判定する。すなわち、オーバレイ表示している画像データを指でタッチしたまま、その指を移動させたか否かを判定する。オーバレイ表示している画像データの移動であると判定した場合には、ステップＳ２８１０に処理を進める。オーバレイ表示している画像データの移動でないと判定した場合には、ステップＳ２８１１に処理を進める。
In step S <b> 2809, the
ステップＳ２８１０では、情報処理装置１０１のＣＰＵ４０１は、オーバレイ表示された画像データをユーザから指示された位置に移動する。図３０の投影面例３０００では、オーバレイ表示された画像データ例２３１０を元の位置３００１からユーザの指の動作に応じた位置に移動させている様子が表現されている。このようにして、任意の位置に画像データを移動させることができる。ステップＳ２８１０の処理が完了したら、再開時操作処理を終了する。
In step S2810, the
ステップＳ２８１１では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２８０８で検知した操作が、オーバレイ表示している画像データの拡大・縮小であるか否かを判定する。すなわち、オーバレイ表示している画像データを２本の指でタッチしたまま、当該２本の指の間隔が広がったまたは狭まったか否かを判定する。オーバレイ表示している画像データの拡大・縮小であると判定した場合には、ステップＳ２８１２に処理を進める。オーバレイ表示している画像データの拡大・縮小でないと判定した場合には、ステップＳ２８１３に処理を進める。
In step S2811, the
ステップＳ２８１２では、情報処理装置１０１のＣＰＵ４０１は、オーバレイ表示された画像データの大きさをユーザからの指示に応じた大きさに拡大・縮小する。図３０の投影面例３０１０では、画像データ例２３１０を元の大きさ３０１１から縮小している様子が表現されている。このようにして、画像データをユーザが見やすい大きさや邪魔にならない大きさに調整することができる。ステップＳ２８１２の処理が完了したら、再開時操作処理を終了する。
In step S2812, the
ステップＳ２８１３では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ２８０８で検知した操作が、オーバレイ表示している画像データの回転であるか否かを判定する。すなわち、オーバレイ表示している画像データを２本の指でタッチしたまま、当該２本の指を時計回りまたは反時計回りに移動させたか否かを判定する。オーバレイ表示している画像データの回転であると判定した場合には、ステップＳ２８１４に処理を進める。オーバレイ表示している画像データの回転でないと判定した場合には、再開時操作処理を終了する。
In step S2813, the
ステップＳ２８１４では、情報処理装置１０１のＣＰＵ４０１は、オーバレイ表示された画像データの角度をユーザから指示された角度に回転する。図３１の投影面例３１００では、画像データ例２３１０を元の角度３１０１から回転している様子が表現されている。このようにして、ユーザが見やすい角度に調整することができる。ステップＳ２８１４の処理が完了したら、再開時操作処理を終了する。
In step S2814, the
このようにしてオーバレイ表示された画像データを操作することができる。再開時操作処理が行われるのは、説明開始処理であるので、各画面に設けられた次へボタンの押下を検知することで画面が遷移する。画面は遷移するものの、オーバレイ表示は継続するので、商品説明画面１３００で説明を再開し、書類の画像データをオーバレイ表示している状態で、次へボタン１３０２の押下を検知してシミュレーション画面１４００に画面が遷移しても、このオーバレイ表示は継続される。図３１の投影面例３１１０がこの一例である。図２７のオーバレイ表示例２７００の商品説明画面１３００からシミュレーション画面１４００に画面遷移した場合である。画像データ例２３１０が継続して商品説明画面１３００と同様の位置に存在することがわかる。このように、ステップＳ２８０７で表示を終了しない限り、オーバレイ表示を継続することで、どの画面でもユーザが以前持参した書類を閲覧することができる。
In this way, the image data displayed as an overlay can be manipulated. Since the resuming operation process is an explanation start process, the screen transitions upon detection of the next button provided on each screen. Although the screen transitions, the overlay display continues, so the description is resumed on the product description screen 1300, and when the image data of the document is displayed in an overlay state, the pressing of the
以上説明したように、本実施形態によれば、ユーザが持参した紙文書を再度持参することなく、説明を再開することのできる効果を奏する。 As described above, according to the present embodiment, there is an effect that the description can be resumed without bringing the paper document brought by the user again.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。 The present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system including a plurality of devices. You may apply to the apparatus which consists of one apparatus.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 Note that the present invention includes a software program that implements the functions of the above-described embodiments directly or remotely from a system or apparatus. The present invention also includes a case where the system or the computer of the apparatus is achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. That is, the present invention also includes a computer program for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。 Examples of the recording medium for supplying the program include a flexible disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. In addition, there are magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let me. It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１０１ 情報処理装置
１０２ 投影撮像装置
４０１ ＣＰＵ
４０２ ＲＡＭ
４０３ ＲＯＭ
４０４ システムバス
４０５ 汎用入出力コントローラ
４０６ ビデオコントローラ
４０７ メモリコントローラ
101
402 RAM
403 ROM
404
４０８ 通信Ｉ／Ｆ（インターフェース）コントローラ
４０９ 入力デバイス
４１０ ディスプレイ
４１１ 外部メモリ
４２１ デジタルカメラ
４２２ ジェスチャセンサ
４２３ プロジェクタ
408 Communication I / F (interface)
Claims (10)
前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付手段と、
前記中断指示受付手段で受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得手段と、
前記中断指示受付手段で受け付けた指示に応じて中断された前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付手段と
を備え、
前記投影手段は、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得手段で取得した前記画像データとを投影し、
前記投影手段は、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影することを特徴とする情報処理システム。 An information processing system comprising projection means capable of sequentially projecting a plurality of projection screens,
Interruption instruction receiving means for receiving an instruction to interrupt the projection of the first projection screen by the projection means;
Image data acquisition means for acquiring image data including the object generated by imaging the object on the area projected by the projection means in response to the instruction received by the interruption instruction reception means;
Resumption instruction accepting means for accepting an instruction for resuming projection of the first projection screen suspended according to the instruction accepted by the interruption instruction accepting means,
The projection unit projects the first projection screen and the image data acquired by the image data acquisition unit according to the instruction received by the restart instruction reception unit,
The projection means continuously projects the image data even when the screen projected from the first projection screen to a second projection screen different from the first projection screen is changed. An information processing system characterized by
前記検知手段で前記対象物を検知した場合には、前記領域上を撮像し、前記検知手段で前記対象物を検知しなかった場合には、前記領域上を撮像しない撮像手段と
を更に備えることを特徴とする請求項１に記載の情報処理システム。 Detecting means for detecting an object on the projected area when receiving an instruction for interruption by the interruption instruction receiving means;
An imaging unit that captures an image of the area when the detection unit detects the object, and that does not image the area when the detection unit does not detect the object; The information processing system according to claim 1.
前記投影手段は、前記再開指示受付手段で受け付けた指示に応じて取得した前記画像データに前記対象物が含まれている場合には、前記中断指示受付手段で受け付けた指示に応じて取得した前記画像データを投影しないことを特徴とする請求項１または２に記載の情報処理システム。 The image data acquisition unit acquires image data generated by imaging an area projected by the projection unit according to the instruction received by the restart instruction reception unit,
The projection unit, when the object is included in the image data acquired in accordance with the instruction received by the restart instruction receiving unit, acquired according to the instruction received by the interruption instruction receiving unit The information processing system according to claim 1, wherein the image data is not projected.
前記画像データ取得手段で取得した前記対象物を含む画像データを、前記投影手段による投影が中断された前記第１の投影画面と対応づけて保存する保存手段
を更に備え、
前記投影手段は、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と、前記保存手段で保存した当該投影画面に対応する画像データであって、前記画像データ取得手段で取得した前記画像データとを投影することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。 The information processing system includes:
A storage unit that stores the image data including the object acquired by the image data acquisition unit in association with the first projection screen in which projection by the projection unit is interrupted;
The projection unit is image data corresponding to the first projection screen and the projection screen stored by the storage unit according to the instruction received by the restart instruction reception unit, and the image data acquisition unit The information processing system according to any one of claims 1 to 3, wherein the acquired image data is projected.
前記情報処理システムの中断指示受付手段が、前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付ステップと、
前記情報処理システムの画像データ取得手段が、前記中断指示受付ステップで受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得ステップと、
前記情報処理システムの再開指示受付手段が、前記中断指示受付ステップで受け付けた指示に応じて中断された、前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付ステップと、
前記情報処理システムの前記投影手段が、前記再開指示受付ステップで受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得ステップで取得した前記画像データとを投影する第１の投影ステップと、
前記情報処理システムの前記投影手段が、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影する第２の投影ステップと、
を備えることを特徴とする情報処理システムの制御方法。 A control method for an information processing system including a projection unit capable of sequentially projecting a plurality of projection screens,
Interruption instruction accepting means of the information processing system, the interrupted instruction accepting step of accepting an instruction to suspend the projection of the first projection screen by the projection means,
Image image data acquisition unit of the information processing system, including in response to said interrupt instruction has been received at the reception step instruction, the object to be produced by imaging an object on the area to be projected by the projection means An image data acquisition step for acquiring data;
Resuming instruction accepting means of the information processing system, the interrupted depending on the interrupt instruction has been received at the reception step instruction, and restart instruction accepting step of accepting an instruction for resuming the projection of the first projection screen,
First projection step of projecting the first projection screen and the image data acquired in the image data acquisition step by the projection unit of the information processing system according to the instruction received in the restart instruction reception step When,
Even when the projection unit of the information processing system further changes a screen projected from the first projection screen to a second projection screen different from the first projection screen, the image data is continued. A second projecting step of projecting
Control method for an information processing system comprising: a.
前記情報処理システムを、
前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付手段と、
前記中断指示受付手段で受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得手段と、
前記中断指示受付手段で受け付けた指示に応じて中断された、前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付手段
として機能させ、
前記投影手段を、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得手段で取得した前記画像データとを投影させ、
前記投影手段を、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データを継続して投影させるよう機能するプログラム。 A program capable of executing a control method of an information processing system including a projection unit capable of sequentially projecting a plurality of projection screens,
The information processing system;
Interruption instruction receiving means for receiving an instruction to interrupt the projection of the first projection screen by the projection means;
Image data acquisition means for acquiring image data including the object generated by imaging the object on the area projected by the projection means in response to the instruction received by the interruption instruction reception means;
Functioning as a resume instruction accepting unit for accepting an instruction for resuming projection of the first projection screen suspended according to the instruction accepted by the suspension instruction accepting unit;
In response to the instruction received by the restart instruction receiving means , the projecting means projects the first projection screen and the image data acquired by the image data acquiring means ,
It said projection means further even if you change the screen to be projected to the different second projection screen with the first said first projection screen from the projection screen, so as to project to continue the image data A functioning program .
前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付手段と、
前記中断指示受付手段で受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得手段と、
前記中断指示受付手段で受け付けた指示に応じて中断された、前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付手段と
を備え、
前記投影手段は、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得手段で取得した前記画像データとを投影し、
前記投影手段は、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影することを特徴とする情報処理装置。 An information processing apparatus including a projection unit capable of sequentially projecting a plurality of projection screens,
Interruption instruction receiving means for receiving an instruction to interrupt the projection of the first projection screen by the projection means;
Image data acquisition means for acquiring image data including the object generated by imaging the object on the area projected by the projection means in response to the instruction received by the interruption instruction reception means;
Resumption instruction accepting means for accepting an instruction for resuming projection of the first projection screen, suspended according to the instruction accepted by the interruption instruction accepting means,
The projection unit projects the first projection screen and the image data acquired by the image data acquisition unit according to the instruction received by the restart instruction reception unit,
The projection means continuously projects the image data even when the screen projected from the first projection screen to a second projection screen different from the first projection screen is changed. An information processing apparatus characterized by the above.
前記情報処理装置の中断指示受付手段が、前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付ステップと、
前記情報処理装置の画像データ取得手段が、前記中断指示受付ステップで受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得ステップと、
前記情報処理装置の再開指示受付手段が、前記中断指示受付ステップで受け付けた指示に応じて中断された、前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付ステップと、
前記情報処理装置の前記投影手段が、前記再開指示受付ステップで受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得ステップで取得した前記画像データとを投影する第１の投影ステップと、
前記情報処理装置の前記投影手段が、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影する第２の投影ステップと、
を備えることを特徴とする情報処理装置の制御方法。 A control method for an information processing apparatus including a projection unit capable of sequentially projecting a plurality of projection screens,
Interruption instruction accepting means of the information processing apparatus, and the interruption instruction accepting step of accepting an instruction to suspend the projection of the first projection screen by the projection means,
Image image data acquisition unit of the information processing apparatus, including in response to said interrupt instruction has been received at the reception step instruction, the object to be produced by imaging an object on the area to be projected by the projection means An image data acquisition step for acquiring data;
Resuming instruction accepting means of the information processing apparatus, said interrupted in response to the interrupt instruction has been received at the reception step instruction, and restart instruction accepting step of accepting an instruction for resuming the projection of the first projection screen,
The projection unit of the information processing apparatus projects the first projection screen and the image data acquired in the image data acquisition step according to the instruction received in the restart instruction reception step. When,
The image data is continued even when the projection unit of the information processing apparatus further changes a screen projected from the first projection screen to a second projection screen different from the first projection screen. A second projecting step of projecting
Control method for an information processing apparatus comprising: a.
前記情報処理装置を、
前記投影手段による第１の投影画面の投影を中断するための指示を受け付ける中断指示受付手段と、
前記中断指示受付手段で受け付けた指示に応じて、前記投影手段で投影される領域上の対象物を撮像することにより生成される当該対象物を含む画像データを取得する画像データ取得手段と、
前記中断指示受付手段で受け付けた指示に応じて中断された、前記第１の投影画面の投影を再開するための指示を受け付ける再開指示受付手段
として機能させ、
前記投影手段を、前記再開指示受付手段で受け付けた指示に応じて、前記第１の投影画面と前記画像データ取得手段で取得した前記画像データとを投影させ、
前記投影手段を、更に前記第１の投影画面から前記第１の投影画面とは異なる第２の投影画面に投影する画面を変更した場合であっても、前記画像データは継続して投影させるよう機能するプログラム。
A program capable of executing a control method of an information processing apparatus including a projection unit capable of sequentially projecting a plurality of projection screens,
The information processing apparatus;
Interruption instruction receiving means for receiving an instruction to interrupt the projection of the first projection screen by the projection means;
Image data acquisition means for acquiring image data including the object generated by imaging the object on the area projected by the projection means in response to the instruction received by the interruption instruction reception means;
Functioning as a resume instruction accepting unit for accepting an instruction for resuming projection of the first projection screen suspended according to the instruction accepted by the suspension instruction accepting unit;
In response to the instruction received by the restart instruction receiving means , the projecting means projects the first projection screen and the image data acquired by the image data acquiring means ,
It said projection means further even if you change the screen to be projected to the different second projection screen and the first projection screen from the first projection screen, the image data is to be projected continuously A functioning program .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014135088A JP6149812B2 (en) | 2014-06-30 | 2014-06-30 | Information processing system, control method and program thereof, and information processing apparatus, control method and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014135088A JP6149812B2 (en) | 2014-06-30 | 2014-06-30 | Information processing system, control method and program thereof, and information processing apparatus, control method and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016012107A JP2016012107A (en) | 2016-01-21 |
| JP6149812B2 true JP6149812B2 (en) | 2017-06-21 |
Family
ID=55228838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014135088A Active JP6149812B2 (en) | 2014-06-30 | 2014-06-30 | Information processing system, control method and program thereof, and information processing apparatus, control method and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6149812B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7448350B2 (en) * | 2019-12-18 | 2024-03-12 | トヨタ自動車株式会社 | Agent device, agent system, and agent program |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000227816A (en) * | 1999-02-08 | 2000-08-15 | Casio Comput Co Ltd | Operation lesson system and program recording medium therefor |
| JP4967232B2 (en) * | 2004-12-15 | 2012-07-04 | 株式会社ニコン | Image reproduction apparatus and image reproduction system |
| JP4701709B2 (en) * | 2004-12-24 | 2011-06-15 | カシオ計算機株式会社 | Projection system and additional information recording method used in the system |
| JP5142491B2 (en) * | 2006-07-31 | 2013-02-13 | 株式会社リコー | Image display device, image display method, and image display program |
| JP2010231369A (en) * | 2009-03-26 | 2010-10-14 | Fuji Xerox Co Ltd | Information processor and program for information processor |
| JP5206621B2 (en) * | 2009-08-07 | 2013-06-12 | コニカミノルタビジネステクノロジーズ株式会社 | Image processing system |
| JP2012220709A (en) * | 2011-04-08 | 2012-11-12 | Sanyo Electric Co Ltd | Projection type image display apparatus and control method for the same |
| JP5950633B2 (en) * | 2012-03-09 | 2016-07-13 | キヤノン株式会社 | Information processing apparatus, computer program, and information processing method |
| JP2014107572A (en) * | 2012-11-22 | 2014-06-09 | Brother Ind Ltd | Image data processing device and image data processing program |
-
2014
- 2014-06-30 JP JP2014135088A patent/JP6149812B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016012107A (en) | 2016-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DK2996015T3 (en) | PROCEDURE TO USE IMPROVED REALITY AS HMI VIEW | |
| US9740838B2 (en) | Method and computer program for providing authentication to control access to a computer system | |
| CN108369486B (en) | Universal inking support | |
| JP6149812B2 (en) | Information processing system, control method and program thereof, and information processing apparatus, control method and program thereof | |
| US11003467B2 (en) | Visual history for content state changes | |
| JP5830055B2 (en) | Image processing apparatus and image processing system | |
| JP5999236B2 (en) | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
| JP2017126225A (en) | Image processing device, method and program | |
| JP6070795B2 (en) | Information processing apparatus, control method thereof, and program | |
| JP7398945B2 (en) | Augmented reality document editing method, program and system | |
| JP6083158B2 (en) | Information processing system, information processing apparatus, and program | |
| JP6187547B2 (en) | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof | |
| JP6256545B2 (en) | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof | |
| JP6634820B2 (en) | Information processing apparatus, control method thereof, and program | |
| KR101891245B1 (en) | System and method for document edit using of preview | |
| JP6705988B2 (en) | Information processing system, control method thereof, and program | |
| JP6904672B2 (en) | Information processing device, its control method, and program | |
| JP6065080B2 (en) | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
| JP2016091215A (en) | Electronic whiteboard system, projector, method for image projection, and program | |
| JP5835411B2 (en) | Information processing apparatus, control method and program thereof, and projection system, control method and program thereof | |
| JP2023034112A (en) | Information processing device, information processing method, and program | |
| JPWO2021084661A5 (en) | Collation support device, collation support method, and program | |
| JP2018109831A (en) | Information processing system, control method thereof, and program, as well as information processing device, control method thereof, and program | |
| JP2012118812A (en) | Information processing apparatus, control method and program | |
| JP2018097439A (en) | Information processing device, its control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160711 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161101 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170508 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6149812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |