JP6065080B2 - INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM - Google Patents
INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP6065080B2 JP6065080B2 JP2015193938A JP2015193938A JP6065080B2 JP 6065080 B2 JP6065080 B2 JP 6065080B2 JP 2015193938 A JP2015193938 A JP 2015193938A JP 2015193938 A JP2015193938 A JP 2015193938A JP 6065080 B2 JP6065080 B2 JP 6065080B2
- Authority
- JP
- Japan
- Prior art keywords
- projection
- image data
- selection
- unit
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 134
- 238000000034 method Methods 0.000 title claims description 91
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 2
- 238000003384 imaging method Methods 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 33
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 63
- 238000004891 communication Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 238000003825 pressing Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 230000008676 import Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Description
撮像する必要がある書類と既に撮像を行った書類とを識別可能に表示させることの可能な情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラムに関する。 The present invention relates to an information processing system capable of distinguishably displaying a document that needs to be imaged and a document that has already been imaged, a control method and program thereof, and an information processing apparatus, and a control method and program thereof.
銀行でローンなどを契約する場合、住民票や源泉徴徴収票といった複数の書類が必要であるが、銀行の説明員（以後、テラー）は、顧客が持参した書類をカウンターに備えられているフラットスキャナーなどでスキャンし電子的に管理するということが行われている。 When contracting a loan, etc. at a bank, multiple documents such as a resident's card and a withholding tax card are required, but the bank's accountant (hereinafter Teller) is a flat with counters provided by the customer. Scanning with a scanner or the like and managing electronically.
このようなスキャンデータを管理する仕組みとして、特許文献１には、スキャンした画像を当該画像情報と紐づけて保存する仕組みが開示されている。
As a mechanism for managing such scan data,
また、このような銀行業務では、ローンの種類や契約しようとする顧客に応じて、銀行が必要とする書類は異なることが多い。そのため、テラーは顧客が契約しようとするローンの種類や、例えば顧客が自営業か否かなどの顧客の属性に応じて受領する必要がある書類が何かを確認した上で、書類を受領する（書類を電子化）しなければならない。 Also, in such banking business, the documents required by the bank often differ depending on the type of loan and the customer to be contracted. Therefore, tellers confirm what documents they need to receive according to the type of loan they want to sign and whether they are self-employed, for example, and then receive the documents (Documents must be digitized).
ところで、本発明者は、銀行業務等で用いることができるペーパーレス化を推進する仕組みとして、顧客に対する説明資料を机等の投影面に投影させた画面で代用することができる仕組み開発している。このような仕組みにおいても、上述と同様に契約の種類に応じた書類を確認した上で、顧客から書類を受領することが求められている。 By the way, the present inventor has developed a mechanism capable of substituting a screen in which explanatory materials for a customer are projected on a projection surface such as a desk as a mechanism for promoting paperless use that can be used in banking operations. Even in such a mechanism, it is required to receive a document from a customer after confirming a document according to the type of contract as described above.
本発明の目的は、画像データを取得すべき対象物の画像データが取得されたか否かをユーザに識別可能とする仕組みを提供することである。 An object of the present invention is to provide a mechanism that allows a user to identify whether image data of an object for which image data is to be acquired has been acquired.
上記の目的を達成するために、本発明の情報処理システムは、投影面に投影データを投影する投影部と、前記投影面を撮像する撮像手段とを備えた情報処理システムであって、画像データを取得すべき対象物を記憶する記憶手段と、前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付手段と、前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御手段と、前記画像データ制御手段で取得された前記画像データを、前記選択受付手段で選択を受け付けた前記対象物に対応付けて管理する管理手段と、前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御手段とを備え、前記投影制御手段は、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、前記選択受付手段は、前記２つの領域のいずれからも選択を受け付け可能であることを特徴とする。 In order to achieve the above object, an information processing system according to the present invention is an information processing system including a projection unit that projects projection data onto a projection plane, and an imaging unit that images the projection plane. Storage means for storing the object to be acquired, selection accepting means for receiving selection of the object by a user operation on the selection screen of the object stored in the storage means projected on the projection plane, Image data control means for controlling to obtain image data of a document placed on the projection plane by imaging the projection plane with the imaging means, and the image acquired by the image data control means Management means for managing data in association with the object received by the selection receiving means, an object for which image data is managed in association with the management means, and image data And a projection control unit that is associated with the object that is not managed to control so that identifiable identification screen is projected by the projection unit, the projection control means, the selection screen by the projection portion Control is performed so that two regions corresponding to one object are projected, and the selection receiving unit can receive selection from either of the two regions .
本発明によれば、画像データを取得すべき対象物の画像データが取得されたか否かをユーザに識別可能とする仕組みを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the structure which enables a user to identify whether the image data of the target object which should acquire image data was acquired can be provided.
以下、図面を参照して、本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。情報処理システムは、情報処理装置１００と投影撮像装置１０２とサーバ装置２００を含む。情報処理装置１００は、投影撮像装置１０２とサーバ装置２００と通信可能に接続されており、更にディスプレイ４１０と入力デバイス４０９とも通信可能に接続されている。図１では、これらの装置は有線で接続されているが、無線であってもよい。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。
FIG. 1 is a diagram illustrating an example of a system configuration of an information processing system according to an embodiment of the present invention. The information processing system includes an
情報処理装置１００は、オペレーティングシステムを搭載する汎用的な装置である。情報処理装置１００は、情報処理装置１００に接続された各種デバイスに対して各種動作を実行するよう指示を行う。
The
投影撮像装置１０２は、デジタルカメラ４２１（撮像手段）とジェスチャセンサ４２２とプロジェクタ４２３（投影部）とを備える装置である。情報処理装置１００からの指示に応じてプロジェクタ４２３で投影をし、投影された机上等の投影面をデジタルカメラ４２１で撮像し、また投影面上でユーザの手の動きや物体の位置を認識する。
The
投影撮像装置１０２の外部構造及び内部構造の概要の一例について、図２を用いて説明する。
An example of the outline of the external structure and internal structure of the
図２は、投影撮像装置１０２の正面図と右側面図である。内部構造の隠れ線は破線で表現している。投影撮像装置１０２は、デジタルカメラ４２１とジェスチャセンサ４２２とプロジェクタ４２３（投影部）とを格納する収納部２０３を備え、収納部２０３は底面２０１と左側面２０２ａと右側面２０２ｂとで左右から挟みこんで固定している。
FIG. 2 is a front view and a right side view of the
また、上面２０４が左側面２０２ａと右側面２０２ｂとの上部に設置され、上面２０４の下側にはプロジェクタ４２３から照射される光を反射するための反射鏡２０７を備える。すなわち、プロジェクタ４２３は第１の開口部２０５を通してこの反射鏡２０７に向けて投影できるよう、設置されている。デジタルカメラ４２１も同様に、反射鏡２０７で反射した投影面を撮像するため、デジタルカメラ４２１は第２の開口部２０６を通して反射鏡２０７に向けて設置されている。
An
またジェスチャセンサ４２２は、例えば赤外線を用いた深度センサである。これはプロジェクタ４２３が投影した投影面上におけるユーザの手や紙文書（以下、書類という。）等の位置や動きを特定するために、ジェスチャセンサ４２２からこれらの物体までの距離を算出する。ジェスチャセンサ４２２は、近赤外線のドットパターンを現実空間に投影し、このドットの形や間隔を取得することで物体までの距離を算出する。または、赤外線光を投影し、ジェスチャセンサ４２２が備えるカメラによって反射した赤外線光を読み取り、赤外線光が往復した時間を算出することで距離を算出する方式であってもよい。現実空間における物体の位置や動きを取得することができれば、ジェスチャセンサ４２２の距離の算出方式はどのような方式であってもよいし、ジェスチャセンサ４２２以外のセンサを用いてもよい。また、ジェスチャセンサ４２２もデジタルカメラ４２１と同様に、第２の開口部２０６を通して反射鏡２０７に向けて設置されている。この反射鏡２０７に向けて赤外線を照射する。
The
投影撮像装置１０２は以上のように大きく３つの装置を内包しており、これらがそれぞれ情報処理装置１００と通信可能に接続されている。本実施形態においては、情報処理装置１００と投影撮像装置１０２とが異なる筐体であるが、同一の筐体であってもよい。すなわち、投影撮像装置１０２に更に情報処理装置１００を内包してもよい。
As described above, the
次に図３を用いて、本実施形態における投影撮像装置１０２とユーザとの位置関係について説明する。投影撮像装置１０２は、机上３０３に設置される。本実施形態では机を挟んで二人のユーザがいる。銀行窓口で商品説明を行うテラー３０１と、商品説明を受ける顧客３０２である。
Next, the positional relationship between the
テラー３０１は、入力デバイス４０９を操作して情報処理装置１００に画面の表示指示を行うと、情報処理装置１００からプロジェクタ４２３に対して当該画面の投影指示が送信される。プロジェクタ４２３はこれを受けると反射鏡２０７に向かって左右を反転させた画面を投影する。これは、反射鏡２０７で反射することにより、投影面３０４に投影される像が左右反転してしまうからである。こうすると、投影面３０４に指示した画面が投影される。画面を左右に反転させる処理は、情報処理装置１００が行ってもよいし、プロジェクタ４２３が行ってもよい。また投影面３０４は、投影される光が見やすいよう模様のない白い面であることが望ましい。
When the
プロジェクタ４２３から照射された光が反射鏡２０７で図３の破線の矢印で示すような方向に反射されると、その光が投影面３０４に投影される。この光によって表現される画面を見て、テラー３０１が顧客３０２に商品説明を行う。本実施形態では、このようにテラー３０１と顧客３０２とが机を挟んで位置しており、それぞれが投影された画面を見ながら操作していく形態を前提として説明を行う。
When the light emitted from the
図４は、情報処理装置１００及び投影撮像装置１０２のハードウェア構成の一例を示す図である。
FIG. 4 is a diagram illustrating an example of the hardware configuration of the
ＣＰＵ４０１は、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。
The
また、ＲＯＭ４０２あるいは外部メモリ４１１（記憶手段に相当する）には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳという。）や、情報処理装置１００の実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。
In addition, the
ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＡＭ４０３にロードして、プログラムを実行することで各種動作を実現するものである。
The
また、汎用入出力コントローラ４０５は、キーボードやマウス等の入力デバイス４０９、更には投影撮像装置１０２のデジタルカメラ４２１やジェスチャセンサ４２２との入出力を制御する。これらは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のバス規格により接続される。
The general-purpose input /
ビデオコントローラ４０６は、ディスプレイ４１０や投影撮像装置１０２のプロジェクタ４２３等の表示装置や投影装置への表示を制御する。ディスプレイ４１０は例えばＣＲＴや液晶ディスプレイである。更にビデオコントローラ４０６は、ディスプレイ４１０と投影撮像装置１０２のプロジェクタ４２３とそれぞれに対して同じ画面または異なる画面を表示及び投影指示する。これらは、いわゆるミラーリングやマルチモニタが可能である。
The
メモリコントローラ４０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ４１１へのアクセスを制御する。
The
通信Ｉ／Ｆコントローラ４０８は、ネットワークを介して、外部機器と接続及び通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
The communication I /
尚、ＣＰＵ４０１は、例えばＲＡＭ４０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ４１０上での表示や投影撮像装置１０２のプロジェクタ４２３での投影を可能としている。また、ＣＰＵ４０１は、ディスプレイ４１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。更にＣＰＵ４０１は、投影面３０４に投影された画面をユーザの手でタッチすることによっても、ユーザ指示を可能とする。すなわち、ジェスチャセンサ４２２で検知した現実空間におけるユーザの手の座標位置に応じて、画面のボタン等が押下されたのか否かを検知し、ＣＰＵ４０１に動作を実行させる。
Note that the
本発明の情報処理装置１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ４１１に記録されており、必要に応じてＲＡＭ４０３にロードされることによりＣＰＵ４０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ４１１に格納されている。例えば、住宅ローンなどの説明で使用する文書ファイルはシートＤＢ２２００に格納されており、これを外部メモリ４１１は格納している。
Various programs and the like used by the
次に図５を用いてサーバ装置２００のハードウェア構成を説明する。尚、図５はサーバ装置２００のハードウェア構成の一例であり、これに限定されない。
Next, the hardware configuration of the
ＣＰＵ５０１は、システムバス５０４に接続される各デバイスやコントローラを統括的に制御する。
The
また、ＲＯＭ５０２あるいは外部メモリ５１１には、ＣＰＵ５０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳという。）や、サーバ装置２００の実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ５０３は、ＣＰＵ５０１の主メモリ、ワークエリア等として機能する。
Further, the
ＣＰＵ５０１は、処理の実行に際して必要なプログラム等をＲＡＭ５０３にロードして、プログラムを実行することで各種動作を実現するものである。
The
また、汎用入出力コントローラ５０５は、キーボードやマウス等の入力デバイス５０９の入出力を制御する。これらは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のバス規格により接続される。
The general-purpose input /
ビデオコントローラ５０６は、ディスプレイ５１０への表示を制御する。ディスプレイ５１０は例えばＣＲＴや液晶ディスプレイである。
The
メモリコントローラ５０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ５１１へのアクセスを制御する。
The
通信Ｉ／Ｆコントローラ５０８は、ネットワークを介して、外部機器と接続及び通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
The communication I /
尚、ＣＰＵ５０１は、例えばＲＡＭ５０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ５１０上での表示を可能としている。また、ＣＰＵ５０１は、ディスプレイ５１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
本発明のサーバ装置２００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ５１１に記録されており、必要に応じてＲＡＭ５０３にロードされることによりＣＰＵ５０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや本発明で使用する商品ごとのテンプレートデータ、各種情報テーブルは外部メモリ５１１に格納されている。
Various programs and the like used by the
次に図６を用いて情報処理装置１００とサーバ装置２００のモジュール構成について説明する。なお、図６の装置のモジュール構成は一例であり、用途や目的に応じて様々な構成例がある。
Next, module configurations of the
情報処理装置１００は機能部として、記憶部６０１と、表示制御部６０２と、投影制御部６０３と、撮像制御部６０４と、センサ制御部６０５と、座標変換部６０６と、操作検知部６０７と、通信制御部６０８とを備える。
The
記憶部６０１は、後述する各種テーブルの情報や各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。
The
表示制御部６０２は、情報処理装置１００と通信可能に接続されたディスプレイ４１０の表示を制御するための機能部である。表示制御部６０２から画面等の表示指示がなされると、ビデオコントローラ４０６を介してディスプレイ４１０に表示指示が送信される。そして、ディスプレイ４１０はこの指示を受信すると、指示に従って画面等を表示する。
The
投影制御部６０３は、情報処理装置１００と通信可能に接続されたプロジェクタ４２３の投影を制御するための機能部である。投影制御部６０３から画面等の投影指示がなされると、表示制御部６０２と同様にビデオコントローラ４０６を介してプロジェクタ４２３に投影指示が送信される。そして、プロジェクタ４２３はこの指示を受信すると、指示に従って画面等を現実空間に投影する。
The
撮像制御部６０４は、情報処理装置１００と通信可能に接続されたデジタルカメラ４２１の撮像を制御するための機能部である。撮像制御部６０４から投影面３０４の撮像指示が出されると、汎用入出力コントローラ４０５を介してデジタルカメラ４２１に撮像指示がなされる。デジタルカメラ４２１はこの指示を受信すると、撮像を行い、撮像により生成された画像データを情報処理装置１００に送信する。撮像制御部６０４は、これを受け取り、画像データを左右反転させた上で記憶部６０１が外部メモリ４１１等に記憶する。前述した通り、デジタルカメラ４２１は反射鏡２０７に写った像を撮像するため左右が反転している。これを補正するために、記憶部６０１で画像データを記憶する前に、撮像制御部６０４がこの画像データを左右反転する。画像データの台形補正なども行う。
The
センサ制御部６０５は、情報処理装置１００と通信可能に接続されたジェスチャセンサ４２２から送信される、投影面３０４における現実空間の情報（物体の有無や位置等）を受信するための機能部である。ジェスチャセンサ４２２が検出した現実空間の情報は、ジェスチャセンサ４２２から情報処理装置１００に対して逐一送信される。センサ制御部６０５はこれを受信し、後述する座標変換部６０６に渡す。
The
座標変換部６０６は、センサ制御部６０５が受信した現実空間の情報に含まれる、投影面３０４にある物体の位置を示す座標値を変換するための機能部である。座標変換部６０６は、この座標値を投影面３０４に投影された画面における座標値に変換する。すなわち、ジェスチャセンサ４２２で検知した座標値が、情報処理装置１００が管理する画面のどの座標値に該当するのかを、この座標変換部６０６を用いて特定する。尚、座標変換の方法は従来技術を用いるため詳細な説明は省略する。
The coordinate
操作検知部６０７は、ユーザからの操作を検知するための機能部である。情報処理装置１００に接続された入力デバイス４０９を通じて送信されるユーザからの指示を検知したり、投影面３０４に投影された画面でユーザが行った指示を検知したりする。後者の指示の検知は、投影面３０４において検知した物体の座標値を座標変換部６０６で変換することにより画面上のどのボタンが押下されたのかを検知したり、書類が置かれることにより書類の取込が指示されたのかを検知したりする。
The
通信制御部６０８は、情報処理装置１００とサーバ装置２００との通信を制御するための機能部である。通信制御部６０８は、情報処理装置１００とサーバ装置２００との情報の送受信を制御する。
The
サーバ装置２００は機能部として、記憶部６１１と、表示制御部６１２と、通信制御部６１３と、テンプレート管理部６１４と、テーブル管理部６１５と、ＰＤＦデータ生成部６１６とを備える。
The
記憶部６１１は、後述する各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。また、記憶部６１１は、後述する通信制御部６１３で受信した情報を記憶する機能も有する。
The
表示制御部６１２は、サーバ装置２００のディスプレイ５１０の表示を制御するための機能部である。表示制御部６１２から画面等の表示指示がなされると、ビデオコントローラ５０６を介してディスプレイ５１０に表示指示が送信される。そして、ディスプレイ５１０はこの指示を受信すると、指示に従って画面等を表示する。
The
通信制御部６１３は、サーバ装置２００と情報処理装置１００との通信を制御するための機能部である。通信制御部６１３は、サーバ装置２００と情報処理装置１００との情報の送受信を制御する。
The
テンプレート管理部６１４は、サーバ装置２００の外部メモリ５１１に記憶された帳票のテンプレートを管理する機能部である。
The
テーブル管理部６１５は、サーバ装置２００に外部メモリ５１１に記憶された各種テーブルを管理する機能部である。
The
ＰＤＦデータ生成部６１６は、情報処理装置１００から受けたＰＤＦデータ生成指示に基づいてテンプレートと該当するテーブルの情報に基づいてＰＤＦデータを生成する機能部である。
The PDF
（第１の実施形態）
次に第１の実施形態について図７のフローチャートを用いて説明する。図７は本発明の実施形態における一連の流れを示すフローチャートである。
(First embodiment)
Next, a first embodiment will be described using the flowchart of FIG. FIG. 7 is a flowchart showing a series of flows in the embodiment of the present invention.
ステップＳ７０１では、情報処理装置１００のＣＰＵ４０１は、テラー３０１からの指示に応じて外部メモリ４１１等に記憶された投影アプリケーションを起動する。投影アプリケーションは、後述するステップＳ７０２乃至ステップＳ７０８の各処理を実行するためのアプリケーションである。投影アプリケーションを動作させることにより、投影面３０４に商品説明のための各種画面をプロジェクタ４２３で投影できるようになる。
In step S <b> 701, the
ステップＳ７０２では、情報処理装置１００のＣＰＵ４０１は、図１０に示すような顧客ＩＤ入力画面１０００をディスプレイ４１０に表示する。顧客ＩＤ入力画面１０００は顧客ＩＤ入力欄１００１と次へボタン１００２とを備えている。顧客ＩＤ入力欄１００１はテラー３０１が対応する顧客３０２を識別するためのＩＤである顧客ＩＤ１７０１（ユーザ情報に相当する）を入力する欄である。次へボタン１００２は押下を受け付けることで次の処理に移すためのボタンである。
In step S702, the
顧客ＩＤ１７０１は図１７に示す顧客ＩＤテーブル１７００に格納されている。顧客ＩＤテーブル１７００には顧客ＩＤ１７０１と顧客名１７０２が対応付けて格納されており、顧客ＩＤ１７０１は顧客を一意に識別するＩＤである。顧客名１７０２は顧客の名前である。
The
ステップＳ７０３では、情報処理装置１００のＣＰＵ４０１は、顧客ＩＤ１７０１の入力を入力デバイス４０９により受け付ける（ユーザ情報受付手段に相当する）。
In step S703, the
ステップＳ７０４では、情報処理装置１００のＣＰＵ４０１は、次へボタン１００２の押下を受け付ける。
In step S <b> 704, the
ステップＳ７０５では、情報処理装置１００のＣＰＵ４０１は、メニュー画面１１００をディスプレイ４１０に表示する。例えば図１１に示すメニュー画面１１００である。メニュー画面１１００には住宅ローンボタン１１０１と個人向け国債ボタン１１０２と終了ボタン１１０３とが配置されている。なお、メニュー画面１１００は実施形態の説明のための一例であって、これに限定されない。住宅ローンボタン１１０１と個人向け国債ボタン１１０２は、商品ＩＤ２２０１（商品情報に相当する）が紐づけられており、ユーザによる押下を受け付けることで金融商品の説明を開始するための商品説明ボタンである。終了ボタン１１０３は投影アプリケーションを終了させるためのボタンである。
In step S <b> 705, the
ステップＳ７０６では、情報処理装置１００のＣＰＵ４０１は、商品説明ボタンが押下されたか否かを判定する。具体的には図１１の商品説明ボタンであるメニュー画面１１００の住宅ローンボタン１１０１と個人向け国債ボタン１１０２が押下されたか否かを判定する。商品説明ボタンが押下されたと判定した場合は処理をステップＳ７０９に進め、商品説明ボタンが押下されないと判定した場合は処理をステップＳ７０７に進める。
In step S706, the
ステップＳ７０７では、情報処理装置１００のＣＰＵ４０１は、終了ボタン１１０３が押下されたか否かを判定する。終了ボタン１１０３が押下されたと判定した場合は処理をステップＳ７０８に進め、終了ボタン１１０３が押下されないと判定した場合は処理をステップＳ７０６に戻す。
In step S707, the
ステップＳ７０８では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０１で起動した投影アプリケーションを終了させる。
In step S708, the
ステップＳ７０９では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０６で押下を検知した商品説明ボタンに対応付けられた商品ＩＤ２２０１を特定する。商品ＩＤ２２０１は外部メモリ４１１に記憶されるシートＤＢ２２００（投影データに相当する）に格納されている。シートＤＢ２２００には、図２２に示すように、住宅ローン、個人向け国債などの金融商品ごとにＧＵＩ構成情報２２０１−ａとＧＵＩシート情報２２０１−ｂが格納されている。ＧＵＩ構成情報２２０１−ａはそれぞれにおける手続きの推移と利用するシート画像を記述したＧＵＩ構成情報が格納されている。本実施形態では、この内、住宅ローン２２０１を例にして説明するので、それに含まれるＧＵＩ構成情報２２０１−ａについて説明する。このＧＵＩ構成情報２２０１−ａは、住宅ローンの借り入れ申請に係る手続きと、その際に利用するシート画像の表示形式を記述するＧＵＩシート情報２２０１−ｂを特定する情報が記述されている。
In step S709, the
テラー３０１と顧客３０２との間の手続きとしては、例えば、（１）商品説明、（２）書類読取、（３）今後の手続きの説明の、３段階がある。そして、図２２のＧＵＩシート情報２２０１−ｂでは、（１）〜（３）の各手続において投影するシート画像（ＧＵＩ）の表示形態を記述するフォーム情報（「顧客登録フォーム」、「商品説明フォーム」、．．．）が管理される。
The procedures between the
ステップＳ７１０では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０９で特定した商品ＩＤ２２０１に基づいて、シートＤＢ２２００の情報を取得し、商品説明画面１２００を投影する。
In step S710, the
商品説明画面１２００は例えば図１２に示す商品説明画面１２００である。商品説明画面１２００は、テラー側から見て正立して見える領域と、顧客から見て正立して見える領域で構成されている。商品説明のためのサブシートを指定する領域であるサブシート１２０３、次の手続きへ移行することを指示する次へボタン１２０２、中断を指示する中断ボタン１２０１が配置されている。図示では、サブシート１２０３が選択状態（デフォルト選択）となっており、その選択した領域のシート１２０４（の本来のサイズ）が顧客領域に表示されていることを示している。
The product description screen 1200 is, for example, the product description screen 1200 shown in FIG. The product explanation screen 1200 includes an area that appears upright when viewed from the teller side and an area that appears upright when viewed from the customer. A
ステップＳ７１１では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７１０で表示した商品説明画面１２００のサブシート１２０３が選択されたか否かを判定する。サブシート１２０３が選択された場合は処理をステップＳ７１２に進める。サブシート１２０３が選択されないと判定した場合は処理をステップＳ７１４に進める。
In step S711, the
ステップＳ７１２では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７１１で選択されたサブシート１２０３に対応する文書データを取得する。より具体的には、ＧＵＩシート情報２２０１―ｂの中に格納される文書データを読み出すことで取得する。
In step S712, the
ステップＳ７１３では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７１２で取得した文書データを顧客領域に表示する。例えば図１２のようなイメージである。このように、サブシートの選択により、表示する文書データを切り替えながらテラー３０１は顧客３０２に商品の説明を行っていく。
In step S713, the
ステップＳ７１４では、情報処理装置１００のＣＰＵ４０１は、書類取り込み１２０５が押下されたか否かを判定する。書類取り込み１２０５が押下されたと判定した場合は処理をステップＳ７１５に進める。書類取り込み１２０５が押下されないと判定した場合は処理をステップＳ７１６に進める。
In step S714, the
ステップＳ７１５では、情報処理装置１００のＣＰＵ４０１は、投影面上に置かれた書類を撮像する撮像処理を行う。撮像処理の詳細な処理は後の図８を用いて説明する。
In step S715, the
ステップＳ７１６では、情報処理装置１００のＣＰＵ４０１は、今後のお手続きメニュー１２０６の押下を受け付けたか否かを判定する。今後のお手続きメニュー１２０６の押下を受け付けたと判定した場合は処理をステップＳ７１７に進める。今後のお手続きメニュー１２０６の押下を受け付けないと判定した場合は処理をステップＳ７１８に進める。
In step S716, the
ステップＳ７１７では、情報処理装置１００のＣＰＵ４０１は、投影面に今後のお手続きについて顧客に対して説明する画面である図１５に示す案内画面１５００を表示する処理を行う。案内画面１５００の表示処理の詳細は後の図９のフローチャートで説明する。
In step S717, the
ステップＳ７１８では、情報処理装置１００のＣＰＵ４０１は、不図示の商品説明を終了するための終了ボタンが押下されたか否かを判定する。終了ボタンが押下されたと判定した場合は処理をステップＳ７０５に戻す。終了ボタンが押下されないと判定した場合は、処理をステップＳ７１１に戻す。
In step S718, the
以上で、図７に示すフローチャートの説明を終了する。 Above, description of the flowchart shown in FIG. 7 is complete | finished.
次に図７に示す撮像処理の詳細を、図８に示すフローチャートを用いて説明する。 Next, details of the imaging process shown in FIG. 7 will be described using the flowchart shown in FIG.
ステップＳ８０１では、情報処理装置１００のＣＰＵ４０１は、図１３に示すような取り込みを行いたい書類対象物の書類一覧画面１３００をプロジェクタ４２３に投影させて、投影面３０４に表示する。書類一覧画面１３００（選択画面に相当する）は、例えば住宅ローンを組むために必要な書類の一覧であり、取り込みを行いたい書類を選択する画面として用いられる。なお、書類一覧画面１３００は、図１３に示す通り、テラー３０１側と顧客３０２側の双方に提出が必要な書類種別（本人確認書類等、対象物に相当する）の領域（以下、書類種別欄）を表示することが好ましい。
In step S <b> 801, the
ステップＳ８０２では、情報処理装置１００のＣＰＵ４０１は、書類一覧画面１３００に表示された書類に対応する領域（以下、書類種別欄とも称する）の選択を受け付けることで、いずれかの書類に対する選択を受け付ける（選択受付手段に相当する）。書類種別には書類ＩＤ１８０１が対応付けられており、選択を受け付けた書類ＩＤ１８０１をＲＡＭ４０３に一時記憶する。すなわち、この書類種別欄のいずれかに対するタッチ操作を検知すると当該書類が取り込みを行いたい書類として選択される。
In step S <b> 802, the
ステップＳ８０３では、情報処理装置１００のＣＰＵ４０１は、図１４に示す書類読取指示画面１４００を投影面３０４に投影する。書類読取指示画面１４００には、書類読取ボタン１４０１とキャンセルボタン１４０２が配置されている。書類読取指示画面１４００に運転免許証１４０３（例であってこれに限定されない）が載置されると、運転免許証１４０３の矩形を特定し、矩形に応じて枠１４０４を投影する。これによりユーザは情報処理装置１００が運転免許証１４０３を認識していることを把握することができる。そして、ユーザより書類読取ボタン１４０１を押下されると投影面３０４を撮像する。
In step S803, the
ステップＳ８０４では、情報処理装置１００のＣＰＵ４０１は、書類読取指示画面１４００上に書類が置かれたか否かを判定する。本実施形態では、矩形の物体が載置されたか否かをジェスチャセンサ４２２によって判定する。書類が置かれたか否かの判定は、一例であって、デジタルカメラ４２１から取得する画像の画像処理によって判定してもよい。情報処理装置１００は、書類が置かれるまで待機し、書類が置かれたと判定した場合、処理をステップＳ８０５に進める。
In step S804, the
ステップＳ８０５では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０４で書類読取指示画面１４００上に置かれたと判定した書類の位置と大きさを特定する。より具体的には、ジェスチャセンサ４２２から送られる情報に基づいて書類の大きさと位置を規定する投影面３０４上の２点の座標を特定する。
In step S805, the
ステップＳ８０６では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０５で特定した２点の座標が示す矩形を囲う枠１４０４を表示させる。この表示を行うことで、ユーザは情報処理装置が書類を認識しているということを把握できる。
In step S806, the
ステップＳ８０７では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０６で表示された書類読取ボタン１４０１が押下されたか否かを判定する。書類読取ボタン１４０１が押下されたと判定した場合は処理をステップＳ８０８に進める。書類読取ボタン１４０１が押下されないと判定した場合は処理をステップＳ８０４に戻す。
In step S807, the
ステップＳ８０８では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０６で表示した枠１４０４を非表示にするよう制御する。ここで枠１４０４を非表示にするのは、デジタルカメラ４２１で撮像する際に画像のホワイトバランスに影響を及ぼさないためである。
In step S808, the
ステップＳ８０９では、情報処理装置１００のＣＰＵ４０１は、投影面３０４をデジタルカメラ４２１で撮像するよう撮像指示を行う（画像データ制御手段に相当する）。
In step S809, the
ステップＳ８１０では、情報処理装置１００のＣＰＵ４０１は、撮像を行っていることがわかるアニメーションを投影面３０４に投影する。アニメーションを投影することで、撮像中であることをユーザに認識させることができる。
In step S <b> 810, the
ステップＳ８１１では、情報処理装置１００のＣＰＵ４０１は、デジタルカメラ４２１で撮像した画像を保存する。ここで保存する画像は投影面３０４全体を写すものであり、のちの処理で書類に相当する部分を切り出して保存する必要がある。
In step S811, the
ステップＳ８１２では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８１１で保存した画像から、ステップＳ８０５で取得した書類の大きさ、位置に基づいて書類に相当する画像を切り出す。より具体的にはステップＳ８０５で取得した２点の座標からなる矩形が示す領域をステップＳ８１１で保存した画像から切り出す。
In step S812, the
ステップＳ８１３では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８１２で切り出した画像を外部メモリ４１１に保存する。
In step S813, the
ステップＳ８１４では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８１３で保存した画像をリサイズした画像であるサムネイル画像を外部メモリ４１１に保存する。
In step S814, the
ステップＳ８１５では、情報処理装置１００のＣＰＵ４０１は、不図示の完了ボタンを書類読取指示画面１４００に表示する。
In step S815, the
ステップＳ８１６では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８１５で表示した完了ボタンを押下されたか、キャンセルボタン１４０２を押下されたかを判定する。完了ボタンが押下されたと判定した場合は処理をステップＳ８１８に進め、キャンセルボタン１４０２を押下されたと判定した場合は処理をステップＳ８１７に進める。
In step S816, the
ステップＳ８１７では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８１３とステップＳ８１４で保存した画像を削除する。これにより、不要となる書類の画像を削除することができる。
In step S817, the
ステップＳ８１８では、情報処理装置１００のＣＰＵ４０１は、サーバ装置２００に対してステップＳ８０２で選択を受け付けた書類に対応する撮像フラグを立てる指示を送信する。サーバ装置２００では、書類を撮像したか否かの情報を管理している。画像は情報処理装置１００の外部メモリ４１１で記憶をする。撮像フラグを立てる指示の中には、ステップＳ８０２で選択を受け付けた書類種別に対応する書類ＩＤ１８０１が含まれている。また、ステップＳ８１３とステップＳ８１４で保存した撮像画像とサムネイル画像とをサーバ装置２００に送信する。ここで、サーバ装置２００に撮像画像とサムネイル画像を送信することで、撮像画像の管理が容易になり、さらにサムネイル画像を用意書類一覧画面１６００で表示することを可能にするためである。上記説明したサムネイル画像の生成及び表示は、必須の構成ではないが、無事に読み取りが終了した場合に、タッチ操作を検知した書類の枠に読み取った画像データのサムネイル画像を表示することにより、取り込みを行いたい複数の書類のうち、いずれが既に取り込まれているのかを容易に確認することができる。図１３はこのような書類一覧画面１３００を例示したものであり、運転免許証種別１３０３に対するタッチ操作を検知すると、運転免許証を読み込むために書類読取指示画面１４００が表示される。そして、顧客３０２が投影面３０４に置いた運転免許証が撮像される。撮像が完了すると、書類一覧画面１３００に戻り、テラー３０１側と顧客３０２側の双方の運転免許証の領域に取り込んだ画像のサムネイル画像が表示される。
In step S818, the
ステップＳ８１９では、情報処理装置１００のＣＰＵ４０１は、入力デバイス４０９より、ディスプレイ４１０に表示する次のワークフローへ移動するボタンの選択を受け付けたか否かを判定する。次のワークフローへ移動するボタンの選択を受け付けないと判定した場合は処理をステップＳ８０１に戻し、次のワークフローへ移動するボタンの選択を受け付けた場合には、本フローを終了させ、撮像処理の次の処理を行う。
In step S819, the
ステップＳ８２０では、サーバ装置２００のＣＰＵ５０１は、情報処理装置１００から送信された撮像フラグを立てる指示を受信する。撮像フラグを立てる指示と併せて送信される撮像画像とサムネイル画像も受信する。
In step S <b> 820, the
ステップＳ８２１では、サーバ装置２００のＣＰＵ５０１は、ステップＳ８２０で受信した撮像画像とサムネイル画像とを外部メモリ５１１に保存する処理を行う（管理手段に相当する）。
In step S821, the
ステップＳ８２２では、サーバ装置２００のＣＰＵ５０１は、ステップＳ８２０の撮像フラグを立てる指示の中に含まれる書類ＩＤ１８０１に対応する書類テーブル１８００の撮像フラグ１８０５を立てる。撮像画像１８０３には、ステップＳ８２１で保存した撮像画像が格納されている外部メモリ５１１のファイルパスを格納する。サムネイル画像１８０４には、ステップＳ８２１で保存したサムネイル画像が格納されている外部メモリ５１１のファイルパスを格納する。図１８に示す書類テーブル１８００は顧客ＩＤ１７０１と商品ＩＤ２２０１に対応づいたデータテーブルであり、書類ＩＤ１８０１、名称１８０２、撮像画像１８０３、撮像フラグ１８０５が格納されている。書類ＩＤ１８０１は、書類種別を一意に識別するためのＩＤである。名称１８０２は書類種別の名前を示すものである。撮像画像１８０３は、サーバ装置２００の外部メモリ５１１に格納されている撮像画像のファイルパスを示すものである。サムネイル画像１８０４は、サーバ装置２００の外部メモリ５１１に格納されているサムネイル画像のファイルパスを示すものである。撮像フラグ１８０５は既に撮像（デジタルカメラ４２１による書類の取り込みを示す）がされているか否かを示すフラグである。
In step S822, the
以上で、図８に示すフローチャートの説明を終了する。 Above, description of the flowchart shown in FIG. 8 is complete | finished.
次に図７に示す今後のお手続き表示処理の詳細な説明を、図９に示すフローチャートを用いて説明を行う。 Next, the detailed procedure display process shown in FIG. 7 will be described with reference to the flowchart shown in FIG.
ステップＳ９０１では、情報処理装置１００のＣＰＵ４０１は、投影面３０４に案内画面１５００を投影することにより表示する。案内画面１５００には今後の申請に係る手続きとそれに要る期間についての記載がある画面であり、終了ボタン１５０１と用意書類一覧ボタン１５０２が設定されている。終了ボタン１５０１の押下を受け付けると、今後のお手続きのメニューを終了する。テラー３０１は、金融商品を申し込むために撮像が必要な顧客３０２の書類の一覧を投影面３０４に表示させたいとき、用意書類一覧ボタン１５０２をタッチする。用意書類一覧ボタン１５０２のタッチ操作を受け付けると、情報処理装置１００はサーバ装置２００に対してＰＤＦデータの作成指示を送信する。サーバ装置２００が作成したＰＤＦデータを情報処理装置１００が受信すると、用意書類一覧画面１６００を投影面３０４に表示する。用意書類一覧画面１６００の説明は後述する。案内画面１５００は一例であってこれに限定されない。
In step S <b> 901, the
ステップＳ９０２では、情報処理装置１００のＣＰＵ４０１は、投影面３０４上の用意書類一覧ボタン１５０２・その他のボタンを押下されたか判断する。用意書類一覧ボタン１５０２をタッチされた場合、ステップＳ９０４に進める。その他のボタンをタッチした場合、ステップＳ９０３に進める。
In step S <b> 902, the
ステップＳ９０３では、情報処理装置１００のＣＰＵ４０１は、押下されたボタンに対応する処理を行う。例えば終了ボタン１５０１が押下された場合には、今後のお手続き処理を終了させる処理を行う。押下されたボタンに対応する処理を行ったあと、処理を終了させる。
In step S903, the
ステップＳ９０４では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０３で入力を受け付けた顧客ＩＤ１７０１とステップＳ７１２で取得した商品ＩＤ２２０１と、ステップＳ８１４で保存したサムネイル画像を取得する。
In step S904, the
ステップＳ９０５では、サーバ装置２００のＣＰＵ５０１は、サーバ装置２００に対してＰＤＦデータの作成指示を行う。ここでいうＰＤＦデータとは上述したように金融商品を申し込むために撮像が必要な顧客３０２の書類の一覧を示すためのＰＤＦデータである。ステップＳ９０４で取得した顧客ＩＤ１７０１と商品ＩＤ２２０１とサムネイル画像とをあわせてサーバ装置２００に対して送信する。
In step S <b> 905, the
ステップＳ９０６では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０５で送信されたＰＤＦデータの作成指示を受信する。
In step S906, the
ステップＳ９０７では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０６で受信したＰＤＦデータの作成指示に含まれる商品ＩＤ２２０１に対応するテンプレートのフォームデータであるテンプレートフォーム１９０１を取得する。テンプレートのフォームは図１９に示すテンプレートテーブル１９００をもとに、テンプレートフォーム１９０１を取得する。テンプレートテーブル１９００にはテンプレートフォーム１９０１と商品ＩＤ２２０１が対応付けて格納されている。
In step S907, the
ステップＳ９０８では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０７で取得したテンプレートフォーム１９０１に対応して外部メモリ５１１に記憶されている書類テーブル１８００と領域テーブル２０００とを読み込む（参照する）。図２０に示す領域テーブル２０００には領域ＩＤ２００１、領域Ａ２００２、領域Ｂ２００３、書類ＩＤ１８０１が対応づいて格納している。領域ＩＤ２００１は、テンプレートフォーム１９０１に設定されている領域を一意に識別するＩＤである。領域Ａ２００２は、該当する書類の撮像フラグ１８０５が立っている場合に黒い四角の文字を貼り付けるための領域である。領域Ｂ２００３は、該当する書類の撮像フラグ１８０５が立っている場合に、該当する書類のサムネイル画像を貼り付けるための領域である。
In step S908, the
ステップＳ９０９では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０９から９１１の処理を行う対象を特定すべく、領域ＩＤ２００１を特定する。具体的には、未処理の領域ＩＤ２００１のうち領域ＩＤ２００１が小さいものを特定する。領域ＩＤ２００１を特定したのち、処理をステップＳ９０９に進める。
In step S909, the
ステップＳ９１０では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０９で特定した領域ＩＤ２００１に対応する書類ＩＤ１８０１を領域テーブル２０００をもとに特定する。
In step S910, the
ステップＳ９１１では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０９で特定した書類ＩＤ１８０１の撮像フラグ１８０５を判定する。撮像フラグ１８０５が立っていると判定した場合、処理をステップＳ９１２に進め、撮像フラグ１８０５が立っていないと判定した場合は処理をステップＳ９１３に進める。
In step S911, the
ステップＳ９１２では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０６で受信した書類ＩＤ１８０１に対応するサムネイル画像を領域Ｂ２００３に貼り付ける。また、書類ＩＤ１８０１に対応する領域Ａ２００２に外部メモリ５１１に記憶されている黒い四角の文字（例えば■）を挿入する。本実施形態では黒い四角の文字を挿入することとしたが、ユーザが識別可能であれば何でもよい。例えば図１６に示すＰＤＦデータ１６０２である。例えば運転免許証が撮像されている場合、図１６に示すように黒い四角の文字１６０３とサムネイル画像１６０４とを領域Ａ２００２と領域Ｂ２００３に貼り付ける。これにより、顧客３０２は、既に撮像が終了している書類と、まだ撮像していない書類とを簡単に把握することができる。さらにサムネイル画像を表示することで、ステップＳ８０２で選択を受け付けた書類種別とは異なる書類を取り込んでしまった場合に、誤りを発見することができる。具体的には、運転免許証のサムネイル画像の領域ではない領域（例えば図１６の同意書のサムネイル画像の領域）に運転免許証のサムネイル画像が貼り付けられている場合、誤りであることが簡単に発見できる。これによりテラー３０１は顧客３０２に用意すべき書類を正確に伝えることができる。
In step S912, the
ステップＳ９１３では、サーバ装置２００のＣＰＵ５０１は、領域テーブル２０００の領域ＩＤ２００１に対する処理がすべて処理終了したか否かを判定する。すべての領域ＩＤ２００１の処理が終了したと判定した場合は、処理をステップＳ９１４に進める。すべての領域ＩＤ２００１の処理が終了しないと判定した場合は処理をステップＳ９０９に戻す。
In step S <b> 913, the
ステップＳ９１４では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０９乃至９１３の処理が終了したテンプレートデータの帳票データを生成する。帳票データを生成し、さらにＰＤＦデータを生成する。ここでＰＤＦデータを生成する理由は、情報処理装置１００で投影させるためである。
In step S914, the
ステップＳ９１５では、サーバ装置２００のＣＰＵ５０１は、情報処理装置１００にステップＳ９１４で生成したＰＤＦデータを送信する。
In step S915, the
ステップＳ９１６では、情報処理装置１００のＣＰＵ４０１は、ステップＳ９１４で生成したＰＤＦデータを外部メモリ５１１に保存する。このようにＰＤＦデータを保存しておくことにより、顧客３０２が必要な書類を携えてテラー３０１のもとへ再度来た場合に、過去に、顧客３０２に見せたＰＤＦデータを再度投影し閲覧させることができ、前回までの状況の確認や必要な書類がそろっているか否かの確認を簡単にすることができる。ＰＤＦデータに関する情報は外部メモリ５１１に記憶されるＰＤＦデータテーブル２１００に格納される。図２１に示すＰＤＦデータテーブル２１００には、ＰＤＦ ＩＤ２１０１、ＰＤＦデータ２１０２、顧客ＩＤ１７０１、商品ＩＤ２２０１が対応付けて記憶される。ＰＤＦ ＩＤ２１０１は、ＰＤＦデータを一意に識別するためのＩＤである。ＰＤＦデータ２１０２は、ＰＤＦデータの格納場所を示す情報である。
In step S916, the
ステップＳ９１７では、情報処理装置１００のＣＰＵ４０１は、ステップＳ９１５で送信されたＰＤＦデータを受信する。
In step S917, the
ステップＳ９１８では、情報処理装置１００のＣＰＵ４０１は、ステップＳ９１７で受信したＰＤＦデータを投影面３０４にプロジェクタ４２３で投影することで表示する（投影制御手段に相当する）。例えば図１６に示す用意書類一覧画面１６００（識別画面に相当する）である。顧客から正立する向きでステップＳ９１７で受信したＰＤＦデータ１６０２を表示させる。
In step S918, the
以上で図９に示すフローチャートの説明を終了する。 This is the end of the description of the flowchart shown in FIG.
このように、本実施形態においては、顧客に対する一連の商品説明のフローの中で、取り込みが必要な書類対象物が一覧表示された書類一覧画面を表示させている。このように、取り込みが終了した書類と取り込みが終了していない書類とがいずれであるかを把握できる用意書類一覧画面を投影表示させながら顧客に商品説明を行うことで、次回顧客が持参すべき書類を認識させることが可能となる。
以上が本発明の第１の実施形態の説明である。
As described above, in the present embodiment, a document list screen on which a list of document objects that need to be imported is displayed is displayed in a series of product description flows for a customer. In this way, the next customer should bring it by explaining the product to the customer while projecting the prepared document list screen that can grasp which document has been imported and which has not been imported. Documents can be recognized.
The above is the description of the first embodiment of the present invention.
（第２の実施形態）
第１の実施形態では、過去に書類の取り込みが行われた場合であっても、再来時には、投影アプリケーションの起動後の顧客ＩＤ入力を受け付けるとメニュー画面が表示されたが、本実施形態では、過去に書類の取り込みが行われている場合には、顧客ＩＤ入力後メニュー画面を表示するのではなく、顧客に対して前回表示させた取り込みが終了した書類と取り込みが終了していない書類とがいずれであるかを把握できる書類一覧画面を表示できる実施形態を説明する。つまり、顧客が日を改めて必要な書類を携えて来店した場合に、前回顧客が説明を受けた時に投影表示された用意書類一覧画面を表示する。このようにすることで、前回の来店時に撮像をすることができなかった書類を撮像する撮像モードに効率的に移行できるという効果がある。
(Second Embodiment)
In the first embodiment, even when a document has been captured in the past, a menu screen is displayed upon receipt of a customer ID input after the start of the projection application, but in this embodiment, If the document has been imported in the past, the menu screen is not displayed after the customer ID is entered, but the document that was previously displayed for the customer and the document that has not been imported are displayed. An embodiment capable of displaying a document list screen that can be grasped is described. That is, when the customer visits the store with necessary documents at another time, the prepared document list screen projected when the customer received an explanation last time is displayed. By doing so, there is an effect that it is possible to efficiently shift to an imaging mode for imaging a document that could not be imaged at the previous visit.
第２の実施形態では、システム構成、ハードウェア構成、機能構成、画面例、データテーブルは、以下の変更点を除き第１の実施形態と同じである。図７が図２３、図９が図２６、図１８が図２７にそれぞれ対応するものであり、新たに図２４と図２５が追加されたものである。 In the second embodiment, the system configuration, hardware configuration, functional configuration, screen example, and data table are the same as those in the first embodiment except for the following changes. FIG. 7 corresponds to FIG. 23, FIG. 9 corresponds to FIG. 26, FIG. 18 corresponds to FIG. 27, and FIG. 24 and FIG. 25 are newly added.
第１の実施形態と同様の処理については説明を省略するものとし、第１の実施形態とは異なる処理について中心に説明を行う。 Description of the same processing as that of the first embodiment will be omitted, and processing different from that of the first embodiment will be mainly described.
図２３は、本発明の第２の実施形態を説明するためのフローチャートである。 FIG. 23 is a flowchart for explaining the second embodiment of the present invention.
ステップＳ２３０１からステップＳ２３０３までは、図７のステップＳ７０１からステップＳ７０３までと対応するものである。そのため、ステップＳ２３０１からステップＳ２３０３までの説明は省略する。 Steps S2301 to S2303 correspond to steps S701 to S703 in FIG. Therefore, the description from step S2301 to step S2303 is omitted.
ステップＳ２３０４では、情報処理装置１００のＣＰＵ４０１は、ステップＳ２３０３で入力を受け付けた顧客ＩＤ１７０１に対応する用意書類一覧画面２５００で表示するためのＰＤＦデータがサーバ装置２００に記憶されているか否かを確認する処理であるＰＤＦデータ確認処理を行う。ＰＤＦデータ確認処理の詳細な処理の説明は、図２４に示すフローチャートを用いて説明を行う。
In step S2304, the
図２４は、ＰＤＦデータ確認処理の詳細な処理を示したフローチャートである。 FIG. 24 is a flowchart showing detailed processing of the PDF data confirmation processing.
ステップＳ２４０１では、情報処理装置１００のＣＰＵ４０１は、顧客ＩＤに対応するＰＤＦデータの取得指示をサーバ装置２００に対して送信する。ＰＤＦデータの取得指示の中には、ステップＳ２３０３で入力を受け付けた顧客ＩＤ１７０１が含まれている。
In step S <b> 2401, the
ステップＳ２４０２では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２４０１で情報処理装置１００から送信されたＰＤＦデータの取得指示を受信する。
In step S2402, the
ステップＳ２４０３では、サーバ装置２００のＣＰＵ５０１は、外部メモリ５１１に記憶されるＰＤＦデータテーブル２１００を取得する。
In step S2403, the
ステップＳ２４０４では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２４０２で受信したＰＤＦデータの取得指示に含まれる顧客ＩＤ１７０１に該当するデータがあるか否かを、ステップＳ２４０３で取得したＰＤＦデータテーブル２１００に対して検索する処理を行う。
In step S2404, the
ステップＳ２４０５では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２４０４で検索を実行した結果、該当するデータがあると判定された場合には処理をステップＳ２４０６に進め、該当するデータがないと判定された場合には、処理をステップＳ２４０７に進める。
In step S2405, the
ステップＳ２４０６では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２４０５で該当すると判定されたデータを特定し、特定したデータに対応するＰＤＦデータ２１０２を取得する。
In step S2406, the
ステップＳ２４０７では、サーバ装置２００のＣＰＵ５０１は、該当するデータが無かったと判定されたため、顧客ＩＤ１７０１に対応するＰＤＦデータが存在せず、取得することができなかった旨を示す情報を生成する。
In step S <b> 2407, the
ステップＳ２４０８では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２４０６でＰＤＦデータを取得することができていれば、取得できたＰＤＦデータと当該ＰＤＦデータのＰＤＦ ＩＤ２１０１、商品ＩＤ２２０１とを情報処理装置１００に対して送信する。一方で、ステップＳ２４０７でＰＤＦデータが存在せず、取得することができなかった旨を示す情報が生成されているのであれば、この生成された情報を情報処理装置１００に対して送信する。
In step S2408, if the
ステップＳ２４０９では、情報処理装置１００のＣＰＵ４０１は、ステップＳ２４０８で送信されたＰＤＦデータ（当該ＰＤＦデータのＰＤＦ ＩＤ２１０１、商品ＩＤ２２０１も含む）または生成された情報を受信する。
In step S2409, the
以上で、図２４に示すＰＤＦデータ確認処理の詳細な処理の流れの説明を終了する。
図２３の説明に戻る。
This is the end of the detailed process flow of the PDF data confirmation process shown in FIG.
Returning to the description of FIG.
ステップＳ２３０５では、情報処理装置１００のＣＰＵ４０１は、ステップＳ２４０９でＰＤＦデータを受信したか否かを判定する。ＰＤＦデータを受信したと判定した場合には処理をステップＳ２３０８に進め、そうでない場合には、処理をステップＳ２３０９に進める。
In step S2305, the
ステップＳ２３０６では、情報処理装置１００のＣＰＵ４０１は、ステップＳ２４０９で受信したＰＤＦデータを投影面３０４に投影する。投影面３０４に投影される表示例が、図２５に示す用意書類一覧画面２５００である。用意書類一覧画面２５００にはＰＤＦデータ１６０２が表示される。また、書類取り込みボタン２５０１が設けられており、後述するように書類取り込みボタン２５０１の押下を投影面３０４上で受け付けることにより、顧客の書類を撮像することの可能な画面（書類読取指示画面１４００）に遷移可能な書類一覧画面１３００を表示することができる。このように用意書類一覧画面２５００に書類取り込みボタン２５０１を設けることで、顧客ＩＤ１７０１の入力をするだけで、前回撮像できなかった顧客の書類を撮像するための画面（過去の撮像履歴が反映された書類一覧画面１３００）を表示させることが可能となり、テラーの手間を軽減することが可能となる。
In step S2306, the
ステップＳ２３０７では、情報処理装置１００のＣＰＵ４０１は、用意書類一覧画面２５００に設けられた書類取り込みボタン２５０１の押下を受け付けたか否かを判定する。書類取り込みボタン２５０１の押下を受け付けたと判定した場合には処理をステップＳ２３０８に進め、そうでない場合には処理をステップＳ２３０９に進める。
In step S2307, the
ステップＳ２３０８では、情報処理装置１００のＣＰＵ４０１は、ステップＳ２４０９で受信した商品ＩＤ２２０１に対応する書類一覧画面１３００を取得する。書類一覧画面１３００は前述したように、過去の撮像履歴が反映されたものである。過去の書類の撮像履歴が反映された書類一覧画面１３００の生成方法について説明する。
In step S2308, the
書類一覧画面１３００のフォームについてはシートＤＢ２２００に記憶されている。情報処理装置１００が、サーバ装置２００の書類テーブル２７００に基づいて、（ステップＳ２３０３で入力を受け付けた）顧客ＩＤ１７０１と（ステップＳ２４０９で取得した）商品ＩＤ２２０１に対応するサムネイル画像をサーバ装置２００から取得する。さらに情報処理装置１００が（シートＤＢ２２００の）書類一覧画面１３００のフォームに設けられた領域にサーバ装置２００から取得したサムネイル画像を重畳させることによって、過去の書類の撮像履歴が反映された書類一覧画面１３００を生成することができる。なお、過去の撮像履歴が反映された書類一覧画面１３００の生成方法は一例であってこれに限定されない。
The form of the document list screen 1300 is stored in the
ステップＳ２３０９からステップＳ２３２２までは、図７のステップＳ７０５からステップＳ７１８までと対応するものである。そのため、ステップＳ２３０９からステップＳ２３２２までの説明は省略する。 Steps S2309 to S2322 correspond to steps S705 to S718 in FIG. Therefore, the description from step S2309 to step S2322 is omitted.
また、第１の実施形態においては書類テーブル１８００では書類ＩＤ１８０１と、顧客ＩＤ１７０１と商品ＩＤ２２０１とが対応付いていることが明示的になっていなかったが、例えば図２７に示すように、書類ＩＤ１８０１とステップＳ２３０３で入力を受け付けた顧客ＩＤ１７０１とステップＳ２３１３で取得した商品ＩＤ２２０１とがそれぞれ対応付けて管理するような構成としても構わないものである。
In the first embodiment, in the document table 1800, the
次に第１の実施形態の図９に対応する図２６のフローチャートの説明を行う。 Next, the flowchart of FIG. 26 corresponding to FIG. 9 of the first embodiment will be described.
ステップＳ２６０１からステップＳ２６１３までの処理は図９のステップＳ９０１からステップＳ９１３までの処理と同様であるため説明を省略する。 The processing from step S2601 to step S2613 is the same as the processing from step S901 to step S913 in FIG.
ステップＳ２６１４では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２６０６で受信したＰＤＦデータの作成指示に含まれる顧客ＩＤ１７０１と商品ＩＤ２２０１に対応する（過去に作成された）ＰＤＦデータが、ＰＤＦデータテーブル２１００に記憶されている場合には、当該ＰＤＦデータを削除する。
In step S2614, the
ステップＳ２６１５では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２６０６で受信したＰＤＦデータの作成指示に含まれる顧客ＩＤ１７０１と商品ＩＤ２２０１の撮像すべき書類の撮像フラグ１８０５がすべて立っているか否かを、書類テーブル２７００に基づいて判定する。撮像フラグ１８０５がすべて立っていると判定された場合には処理を終了させ、そうでないと判定された場合には処理をステップＳ２６１６に進め、ＰＤＦデータを生成する。
In step S2615, the
ステップＳ２６１６からステップＳ２６２０までの処理については、図９のステップＳ９１４からステップＳ９１８までの処理と同様であるため、説明を省略する。 The processing from step S2616 to step S2620 is the same as the processing from step S914 to step S918 in FIG.
このように、取り込みが終了した書類と取り込みが終了していない書類とを識別可能なＰＤＦデータを最新の状態で記憶しておくことで、毎回顧客が再来店した際に、直前に顧客が説明を受けた際に投影表示された用意書類一覧画面が表示されることになる。更に、撮像フラグがすべて立っている（必要な書類をすべて取り込んでいる）場合には、このような撮像が済んでいる書類と未だ住んでいない書類とを識別可能としたＰＤＦデータは不要となるため、ＰＤＦデータを削除することでＰＤＦデータの管理に係るテラーの作業負荷を軽減することができる。 In this way, by storing the latest PDF data that can be used to distinguish between documents that have been imported and documents that have not been imported, each time a customer visits the store, the customer will immediately explain. The received document list screen projected and displayed when receiving is displayed. Further, when all the imaging flags are set (all necessary documents are taken in), PDF data that makes it possible to discriminate such a document that has been imaged from a document that has not yet lived becomes unnecessary. Therefore, by deleting the PDF data, it is possible to reduce the workload of the teller related to the management of the PDF data.
以上で、本発明の第２の実施形態の説明を終了する。 Above, description of the 2nd Embodiment of this invention is complete | finished.
以上により、本発明によれば画像データを取得すべき対象物の画像データが取得されているか否かをユーザに識別可能にする仕組みを提供することが可能な効果を奏する。 As described above, according to the present invention, there is an effect that it is possible to provide a mechanism that allows the user to identify whether or not the image data of the object for which image data is to be acquired has been acquired.
なお、本発明の実施形態においては、識別画面に相当する画面を用意書類一覧画面としているが、書類一覧画面１３００にサムネイル画像を表示させた画面であっても書類の取り込みが済んでいるか否かを識別可能にすることができ、当該書類一覧画面１３００を識別画面として採用してもよい。 In the embodiment of the present invention, the screen corresponding to the identification screen is the prepared document list screen. However, whether or not the document has been captured even if the thumbnail image is displayed on the document list screen 1300. Can be identified, and the document list screen 1300 may be adopted as the identification screen.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。 The present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system including a plurality of devices. You may apply to the apparatus which consists of one apparatus.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 Note that the present invention includes a software program that implements the functions of the above-described embodiments directly or remotely from a system or apparatus. The present invention also includes a case where the system or the computer of the apparatus is achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. That is, the present invention also includes a computer program for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。 Examples of the recording medium for supplying the program include a flexible disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. In addition, there are magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１００ 情報処理装置
１０２ 投影撮像装置
２００ 帳票サーバ
４０１ ＣＰＵ
４０２ ＲＡＭ
４０３ ＲＯＭ
４０４ システムバス
４０５ 汎用入出力コントローラ
４０６ ビデオコントローラ
４０７ メモリコントローラ
４０８ 通信Ｉ／Ｆコントローラ
４０９ 入力デバイス
４１０ ディスプレイ
４１１ 外部メモリ
４２１ デジタルカメラ
４２２ ジェスチャセンサ
４２３ プロジェクタ
５０１ ＣＰＵ
５０２ ＲＡＭ
５０３ ＲＯＭ
５０４ システムバス
５０５ 汎用入出力コントローラ
５０６ ビデオコントローラ
５０７ メモリコントローラ
５０８ 通信Ｉ／Ｆコントローラ
５０９ 入力デバイス
５１０ ディスプレイ
５１１ 外部メモリ
DESCRIPTION OF
402 RAM
403 ROM
404
502 RAM
503 ROM
504
Claims (15)
画像データを取得すべき対象物を記憶する記憶手段と、
前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付手段と、
前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御手段と、
前記画像データ制御手段で取得された前記画像データを、前記選択受付手段で選択を受け付けた前記対象物に対応付けて管理する管理手段と、
前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御手段とを備え、
前記投影制御手段は、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
前記選択受付手段は、前記２つの領域のいずれからも選択を受け付け可能であること
を特徴とする情報処理システム。 An information processing system comprising: a projection unit that projects projection data onto a projection plane; and an imaging unit that images the projection plane,
Storage means for storing an object for which image data is to be acquired;
Selection accepting means for accepting selection of the object by a user operation on an object selection screen stored in the storage means projected onto the projection surface;
Image data control means for controlling to acquire image data of a document placed on the projection plane by imaging the projection plane with the imaging means;
Management means for managing the image data acquired by the image data control means in association with the object received by the selection receiving means;
Projection that controls the projection unit to project an identification screen that can identify an object that is managed in association with image data and an object that is not managed in association with image data. Control means ,
The projection control means controls the projection unit to project two regions corresponding to one object on the selection screen,
The information processing system according to claim 1, wherein the selection receiving unit is capable of receiving a selection from either of the two areas .
前記投影制御手段は、前記ユーザ情報受付手段で前記ユーザ情報の入力を受け付けた際に、過去に前記識別画面が投影されるように制御されていた場合には、前記ユーザ情報の前記識別画面が投影されるように制御することを特徴とする請求項３に記載の情報処理システム。 A user information receiving means for receiving input of user information for identifying the user;
When the projection control unit has been controlled to project the identification screen in the past when the user information reception unit has received the input of the user information, the identification screen of the user information is displayed. The information processing system according to claim 3 , wherein the information processing is controlled so as to be projected.
前記管理手段は、前記対象物が含まれる画像データを、前記商品を示す商品情報にも対応付けて管理していることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。 The information processing system is used to explain the content of a product to a user by projection on the projection plane,
The information processing according to any one of claims 1 to 6 , wherein the management unit manages image data including the object in association with product information indicating the product. system.
前記投影制御手段は、前記選択画面において、前記管理手段で管理されている画像データを、前記対象物に対応する前記領域に投影させるか否かで、前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能にすることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。 The selection accepting unit accepts selection of the object by accepting a selection of an area corresponding to the object, which is an area provided on the selection screen,
The projection control means manages the image data managed by the management means in association with whether the image data managed by the management means is projected onto the area corresponding to the object on the selection screen. The information processing system according to any one of claims 1 to 7, wherein a target object and an object whose image data are not managed in association with each other can be identified.
前記情報処理システムが、
前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付ステップと、
前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御ステップと、
前記画像データ制御ステップで取得された前記画像データを、前記選択受付ステップで選択を受け付けた前記対象物に対応付けて管理する管理ステップと、
前記管理ステップで画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御ステップとを備え、
前記投影制御ステップは、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
前記選択受付ステップは、前記２つの領域のいずれからも選択を受け付け可能であること
を特徴とする情報処理システムの制御方法。 A control method for an information processing system comprising: a projection unit that projects projection data onto a projection plane; an imaging unit that images the projection plane; and a storage unit that stores an object from which image data is to be acquired.
The information processing system is
A selection receiving step of receiving selection of the object by a user's operation on a selection screen of the object stored in the storage unit projected on the projection plane;
An image data control step for controlling to acquire image data of a document placed on the projection plane by imaging the projection plane with the imaging means;
A management step for managing the image data acquired in the image data control step in association with the object for which selection has been received in the selection reception step;
Projection for controlling the projection unit to project an identification screen that can identify the object managed in association with the image data in the management step and the object not managed in association with the image data A control step ,
The projection control step controls the projection unit to project two regions corresponding to one object on the selection screen,
The method for controlling an information processing system, wherein the selection receiving step is capable of receiving selection from any of the two areas .
前記情報処理システムを、
前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付手段と、
前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御手段と、
前記画像データ制御手段で取得された前記画像データを、前記選択受付手段で選択を受け付けた前記対象物に対応付けて管理する管理手段と、
前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御手段として機能させ、
前記投影制御手段は、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
前記選択受付手段は、前記２つの領域のいずれからも選択を受け付け可能であること
を特徴とするプログラム。 A program that can be executed by an information processing system that includes a projection unit that projects projection data onto a projection plane, an imaging unit that images the projection plane, and a storage unit that stores an object from which image data is to be acquired.
The information processing system;
Selection accepting means for accepting selection of the object by a user operation on an object selection screen stored in the storage means projected onto the projection surface;
Image data control means for controlling to acquire image data of a document placed on the projection plane by imaging the projection plane with the imaging means;
Management means for managing the image data acquired by the image data control means in association with the object received by the selection receiving means;
Projection that controls the projection unit to project an identification screen that can identify an object that is managed in association with image data and an object that is not managed in association with image data. Function as a control means ,
The projection control means controls the projection unit to project two regions corresponding to one object on the selection screen,
The program according to claim 1, wherein the selection receiving means is capable of receiving a selection from any of the two areas .
画像データを取得すべき対象物を記憶する記憶手段と、
前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付手段と、
前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御手段と、
前記選択受付手段で選択を受け付けた対象物と、前記画像データ制御手段で取得された画像データを前記サーバ装置に送信する送信手段と、
前記サーバ装置の前記画面生成手段で生成された識別画面であって、前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御手段とを備え、
前記投影制御手段は、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
前記選択受付手段は、前記２つの領域のいずれからも選択を受け付け可能であること
を特徴とする情報処理装置。 A management unit that manages image data of a document in association with a target, a target that is managed in association with image data by the management unit, and a target that is not managed in association with image data can be identified An information processing apparatus capable of communicating with a server apparatus including a screen generation unit that generates a simple identification screen, and includes a projection unit that projects projection data onto a projection plane, and an imaging unit that images the projection plane A device,
Storage means for storing an object for which image data is to be acquired;
Selection accepting means for accepting selection of the object by a user operation on an object selection screen stored in the storage means projected onto the projection surface;
Image data control means for controlling to acquire image data of a document placed on the projection plane by imaging the projection plane with the imaging means;
An object whose selection is received by the selection receiving means, and a transmission means for transmitting the image data acquired by the image data control means to the server device;
An identification screen generated by the screen generation unit of the server device, the target being managed in association with the image data by the management unit, and the target not managed in association with the image data A projection control means for controlling so that an identifiable identification screen is projected by the projection unit ,
The projection control means controls the projection unit to project two regions corresponding to one object on the selection screen,
The information processing apparatus according to claim 1, wherein the selection receiving unit is capable of receiving a selection from any of the two areas .
前記情報処理装置が、
前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付ステップと、
前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御ステップと、
前記選択受付ステップで選択を受け付けた対象物と、前記画像データ制御ステップで取得された画像データを前記サーバ装置に送信する送信ステップと、
前記サーバ装置の前記画面生成手段で生成された識別画面であって、前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御ステップとを備え、
前記投影制御ステップは、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
前記選択受付ステップは、前記２つの領域のいずれからも選択を受け付け可能であること
を特徴とする情報処理装置の制御方法。 A management unit that manages image data of a document in association with a target, a target that is managed in association with image data by the management unit, and a target that is not managed in association with image data can be identified An information processing apparatus capable of communicating with a server device including a screen generation unit that generates a simple identification screen, a projection unit that projects projection data onto a projection plane, an imaging unit that images the projection plane, and image data An information processing apparatus control method comprising a storage means for storing a target object,
The information processing apparatus is
A selection receiving step of receiving selection of the object by a user's operation on a selection screen of the object stored in the storage unit projected on the projection plane;
An image data control step for controlling to acquire image data of a document placed on the projection plane by imaging the projection plane with the imaging means;
An object for which selection has been received in the selection reception step, and a transmission step for transmitting the image data acquired in the image data control step to the server device;
An identification screen generated by the screen generation unit of the server device, the target being managed in association with the image data by the management unit, and the target not managed in association with the image data A projection control step of controlling the identifiable identification screen to be projected by the projection unit ,
The projection control step controls the projection unit to project two regions corresponding to one object on the selection screen,
The method for controlling an information processing apparatus, wherein the selection receiving step can receive a selection from any of the two areas .
前記情報処理装置を、
前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付手段と、
前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御手段と、
前記選択受付手段で選択を受け付けた対象物と、前記画像データ制御手段で取得された画像データを前記サーバ装置に送信する送信手段と、
前記サーバ装置の前記画面生成手段で生成された識別画面であって、前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御手段として機能させ、
前記投影制御手段は、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
前記選択受付手段は、前記２つの領域のいずれからも選択を受け付け可能であること
を特徴とするプログラム。 A management unit that manages image data of a document in association with a target, a target that is managed in association with image data by the management unit, and a target that is not managed in association with image data can be identified An information processing apparatus capable of communicating with a server device including a screen generation unit that generates a simple identification screen, a projection unit that projects projection data onto a projection plane, an imaging unit that images the projection plane, and image data A program that can be executed by an information processing apparatus including a storage unit that stores a target object,
The information processing apparatus;
Selection accepting means for accepting selection of the object by a user operation on an object selection screen stored in the storage means projected onto the projection surface;
Image data control means for controlling to acquire image data of a document placed on the projection plane by imaging the projection plane with the imaging means;
An object whose selection is received by the selection receiving means, and a transmission means for transmitting the image data acquired by the image data control means to the server device;
An identification screen generated by the screen generation unit of the server device, the target being managed in association with the image data by the management unit, and the target not managed in association with the image data Function as projection control means for controlling the identifiable identification screen to be projected by the projection unit ,
The projection control means controls the projection unit to project two regions corresponding to one object on the selection screen,
The program according to claim 1, wherein the selection receiving means is capable of receiving a selection from any of the two areas .
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014259247 | 2014-12-22 | ||
| JP2014259247 | 2014-12-22 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016245039A Division JP2017062849A (en) | 2014-12-22 | 2016-12-19 | Information processing system, control method of the same, and program, and information processing apparatus, control method of the same, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016119060A JP2016119060A (en) | 2016-06-30 |
| JP6065080B2 true JP6065080B2 (en) | 2017-01-25 |
Family
ID=56243108
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015193938A Active JP6065080B2 (en) | 2014-12-22 | 2015-09-30 | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM |
| JP2016245039A Pending JP2017062849A (en) | 2014-12-22 | 2016-12-19 | Information processing system, control method of the same, and program, and information processing apparatus, control method of the same, and program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016245039A Pending JP2017062849A (en) | 2014-12-22 | 2016-12-19 | Information processing system, control method of the same, and program, and information processing apparatus, control method of the same, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6065080B2 (en) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0622722B1 (en) * | 1993-04-30 | 2002-07-17 | Xerox Corporation | Interactive copying system |
| JP2005267034A (en) * | 2004-03-17 | 2005-09-29 | Brother Ind Ltd | Image input device |
| JP2009259151A (en) * | 2008-04-21 | 2009-11-05 | Hitachi Kokusai Electric Inc | Money handling state report preparation system |
| JP2010154039A (en) * | 2008-12-24 | 2010-07-08 | Canon Inc | Image processing apparatus, method of controlling the same, and program |
| JP5347673B2 (en) * | 2009-04-14 | 2013-11-20 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| JP4988003B2 (en) * | 2010-03-29 | 2012-08-01 | シャープ株式会社 | MFP, MFP control system, program and recording medium |
| JP5517705B2 (en) * | 2010-04-01 | 2014-06-11 | キヤノン株式会社 | Projection device |
| JP2013110534A (en) * | 2011-11-18 | 2013-06-06 | Oki Data Corp | Multifunction machine and image reading device |
| US20130188212A1 (en) * | 2012-01-23 | 2013-07-25 | Salil Pardhan | Data Server, Network System, and Upload Method |
| JP5894506B2 (en) * | 2012-06-08 | 2016-03-30 | 株式会社Pfu | Image processing apparatus, image reading apparatus, image processing method, and image processing program |
| JP5800248B2 (en) * | 2013-03-08 | 2015-10-28 | 富士ゼロックス株式会社 | Image processing apparatus and item processing apparatus |
-
2015
- 2015-09-30 JP JP2015193938A patent/JP6065080B2/en active Active
-
2016
- 2016-12-19 JP JP2016245039A patent/JP2017062849A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016119060A (en) | 2016-06-30 |
| JP2017062849A (en) | 2017-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7434001B2 (en) | Information processing device, program, information processing method | |
| US11119706B2 (en) | Information processing device and non-transitory computer readable medium for notification of linkage function | |
| EP2667584A2 (en) | Image forming system, image forming apparatus, and recording medium | |
| JP2008009572A (en) | Document processing system, document processing method, and program | |
| JP6529229B2 (en) | INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND COMPUTER PROGRAM | |
| KR20210040260A (en) | Method for controlling display of screen for setting metadata, non-transitory storage medium, and apparatus | |
| JP5999236B2 (en) | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
| JP6065080B2 (en) | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
| JP6115615B2 (en) | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof | |
| JP6187547B2 (en) | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof | |
| JP6070795B2 (en) | Information processing apparatus, control method thereof, and program | |
| JP6083158B2 (en) | Information processing system, information processing apparatus, and program | |
| JP6705988B2 (en) | Information processing system, control method thereof, and program | |
| JP5939278B2 (en) | Information processing apparatus, control method and program thereof, and projection system, control method and program thereof | |
| JP6331654B2 (en) | Image forming apparatus, image forming system, control method thereof, and program | |
| JP2005327151A (en) | Document management device and document management program | |
| JP6634820B2 (en) | Information processing apparatus, control method thereof, and program | |
| JP2016012107A (en) | Information processing system, control method therefor, program therefor, information processing device, control method therefor, and program therefor | |
| JP2012123457A (en) | Portable storage device, control method, and program | |
| JP2017073124A (en) | Information processing apparatus, control method thereof, and program | |
| US20140285840A1 (en) | Communication system, information processing apparatus, image processing apparatus, and non-transitory computer readable medium | |
| JP2017216593A (en) | Information processor, control method, and program | |
| JP2018109831A (en) | Information processing system, control method thereof, and program, as well as information processing device, control method thereof, and program | |
| JP2016091215A (en) | Electronic whiteboard system, projector, method for image projection, and program | |
| JP2023068989A (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160927 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161101 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6065080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |