JP6115615B2 - Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof - Google Patents
Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof Download PDFInfo
- Publication number
- JP6115615B2 JP6115615B2 JP2015217359A JP2015217359A JP6115615B2 JP 6115615 B2 JP6115615 B2 JP 6115615B2 JP 2015217359 A JP2015217359 A JP 2015217359A JP 2015217359 A JP2015217359 A JP 2015217359A JP 6115615 B2 JP6115615 B2 JP 6115615B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- projection
- information processing
- image data
- projection plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Position Input By Displaying (AREA)
Description
本発明は、投影された画像データに対する操作を行ったユーザを特定可能な証跡を残すことの可能な情報処理装置、その制御方法、及びプログラム、並びに、投影システム、その制御方法、及びプログラムに関する。 The present invention relates to an information processing apparatus capable of leaving a trail that can identify a user who has performed an operation on projected image data, a control method and program thereof, and a projection system, and a control method and program thereof.
従来、金融商品などの販売や説明を行うとき、金融商品の説明を行う者(以後、テラー)は顧客に対し金融商品のカタログなどの紙媒体で説明を行っていた。紙媒体のカタログでは、テラーが顧客ごとの説明記録を残すことはあっても、いつ、どの部分を説明したという客観的な証跡記録を残すことはできなかった。 Conventionally, when a financial product or the like is sold or explained, a person who explains the financial product (hereinafter referred to as a teller) has explained the customer with a paper medium such as a catalog of the financial product. In the paper catalog, Teller could leave an explanatory record for each customer, but could not leave an objective trail record explaining what part and when.
そのため、紙媒体で、仮にテラーが説明すべきところを説明し忘れてしまった部分があった場合、その部分について顧客は認識することができない。たとえ、顧客が署名捺印をしたとしても、説明義務のある場所すべての説明を受けたということではなく、テラーから一通りの説明を受けたということを担保することしかできず、実質形骸化していた。 Therefore, if there is a portion of the paper medium that Teller forgets to explain, the customer cannot recognize that portion. Even if a customer signs and seals, it does not mean that they have received explanations for all places where accountability is required, but can only assure that they have received a single explanation from the teller, and the substance has become a substantial body. It was.
このような状況の中、紙媒体では客観的な履歴を残すことができないため、顧客が金融商品の説明をされていないと主張した場合に「説明した、説明していない」といった水掛け論に陥ってしまう。これを避けるため、法律に定められる説明責任を金融機関側が担保できる方法が求められていた。 Under such circumstances, since paper media cannot leave an objective history, when customers insist that they are not explaining financial products, they fall into the watering theory of “explained, not explained” End up. In order to avoid this, there was a need for a way for financial institutions to ensure accountability as required by law.
そこで、テラーが説明を行ったことを証明する方法として、下記の特許文献1で、テラーが説明をする際に使う窓口端末装置でのログを記録することで顧客に対し説明を行った証跡とする仕組みが開示されている。
Therefore, as a method for proving that the teller has explained, the following
上記特許文献1の仕組みを用いることによって、テラーが説明したか否かを証跡として記録することができる。しかしながら、証跡として残すべきものは、これだけではない。説明義務のある箇所をすべて説明したか否かに加えて、署名や捺印を顧客が行ったのか否かも証跡として残す必要がある。
By using the mechanism of
一般的に契約においては、当事者の同意が必要である。そのため、同意の意思を示す署名や捺印は、当事者である顧客自身が行わなければならないが、テラーが顧客に代わって、勝手に署名や捺印をしてしまう問題がある。 Contracts generally require the consent of the parties. For this reason, the customer who is the party must sign and sign the agreement, but there is a problem that the teller will sign or seal it on behalf of the customer.
特に、図4に示すような投影システム100は、投影面106に対して、説明資料や契約書といったデータをプロジェクタから投影し、投影された投影画像に対するタッチ操作を赤外線センサで検知することが可能な仕組みである。つまり、テラーと顧客とが投影画像に対して直接操作を行うことができるため、前述したように、テラーが顧客に代わって容易に操作できてしまう問題がある。すなわち、誰が操作をしたのかも証跡として残しておく必要がある。
In particular, the
しかしながら、前述した特許文献1では、PCで金融商品の説明資料を表示し、これらの画面の遷移を記録することで、テラーが説明義務を果たしたか否かを記録しているだけである。つまり、誰が操作を行ったのかまでは記録していない。
However, in the above-described
そこで、本発明は、投影された投影データに対する操作を行ったことを示す証跡を残すことを目的とする。 Therefore, an object of the present invention is to leave a trail indicating that an operation has been performed on projected projection data.
上記の目的を達成するために、本発明の情報処理装置は、投影データを投影する投影装置と、前記投影データが投影される面である投影面を撮像する撮像装置と通信可能に接続される情報処理装置であって、投影面に対するオブジェクトの進入方向と前記撮像装置による撮像を指示する処理内容とを紐づけて記憶する記憶手段と、前記投影面上に進入したオブジェクトの当該投影面に対する進入方向が、前記記憶手段に撮像を指示する処理内容と紐づいている場合に、前記オブジェクトを含む画像データが撮像されるよう前記撮像装置による撮像を制御する撮像制御手段と、前記撮像装置で撮像された画像データを保存する画像データ保存手段とを備えることを特徴とする。 In order to achieve the above object, an information processing apparatus of the present invention is communicably connected to a projection apparatus that projects projection data and an imaging apparatus that captures a projection plane on which the projection data is projected. An information processing apparatus, a storage unit that associates and stores an approach direction of an object with respect to a projection plane and a processing content instructing imaging by the imaging device, and an approach of the object that has entered the projection plane with respect to the projection plane When the direction is associated with the processing content that instructs the storage unit to perform imaging, the imaging control unit that controls imaging by the imaging device so that image data including the object is captured, and imaging by the imaging device Image data storage means for storing the processed image data.
本発明によれば、投影された投影データに対する操作を行ったことを示す証跡を残すことのできる効果を奏する。 According to the present invention, it is possible to leave a trail indicating that an operation has been performed on projected projection data.
以下、図面を参照して、本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の投影システム100のシステム構成の一例を示す図である。本発明の投影システム100は、情報処理装置101、カメラ102、赤外線センサ103、プロジェクタ104、プリンタ107が設置されており、情報処理装置101、カメラ102、赤外線センサ103、プロジェクタ104、プリンタ107はUSB(Universal Serial Bus)やVGA端子等を介して相互にデータ通信可能に接続されている。図1に示す投影システム100を立体的に示したものが、図4である。このように、カメラ102、赤外線センサ103、プロジェクタ104を含むものを机上に設置する。なお、本実施形態では有線接続を前提として説明を行うが、無線接続でもよい。図1の各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。
FIG. 1 is a diagram showing an example of a system configuration of a
投影システム100は、投影面106に投影された映像に対してユーザが所定の指示を行うことの可能なシステムである。例えば、投影面106に投影されたボタンをユーザがタッチすることで、所定の処理を実行したり、紙文書を投影面106に置くことで当該紙文書の画像データを生成し、生成した画像データを投影面106に投影したりできる。このようなシステムを用いることで、複数のユーザが投影面106に投影された1つの映像を見ることになるので、スムーズな情報共有を行うことができ、かつ当該投影された映像に対して複数のユーザが直接操作を行うことができる。タッチパネルを備えるタブレット端末でも同様の効果を得ることができるが、ディスプレイが小さいため複数のユーザで同時に閲覧しにくい問題がある。そこで、机のような投影面106に対して映像を投影し、この投影した映像を直接操作できるようにすることで、この問題点を解決している。以下、このシステムを構成する機器の説明を行う。
The
情報処理装置101は、パーソナルコンピュータやサーバのような装置である。情報処理装置101は、前述した通り、カメラ102、赤外線センサ103、プロジェクタ104と接続されており、これらの機器と情報のやり取りを行うことができる。情報処理装置101は、投影システム100を制御する装置であるので、情報処理装置101に記憶されている各種データの投影をプロジェクタ104に対して指示したり、カメラ102に対して撮影を指示することで画像データを得たり、赤外線センサ103から得た情報を解析したりすることができる。例えば、情報処理装置101は、赤外線センサ103から得た情報を基にカメラ102へ撮像指示を出し、カメラ102から得た画像データを情報処理装置101のRAM203に保存し、RAM203に保存された画像データをプロジェクタ104へ送信する。また、情報処理装置101は、赤外線センサ103から得たユーザの手や紙文書等といった現実の物体(以下、オブジェクト)の情報やオブジェクトの動作の情報などを基に、情報処理装置101は、プロジェクタ104から投影面106に投影する画像を拡大、縮小したり非表示にしたりなどの処理を行う。これらの処理を、情報処理装置101にインストールされた証跡記録アプリケーションによって動作させる。証跡記録アプリケーションは、前述した各種装置との情報の送受信や、ユーザからの指示受付等を行うためのアプリケーションである。この証跡記録アプリケーションを動作させることにより、本実施形態の一連の処理を実現する。
The
カメラ102(撮像装置)は、動画像や静止画像を撮像可能なデジタルカメラであり、情報処理装置101から撮像指示を受け、カメラ102の撮像範囲を撮像する。撮像で得られた画像データは、情報処理装置101へ送信される。
The camera 102 (imaging device) is a digital camera that can capture a moving image or a still image, and receives an imaging instruction from the
赤外線センサ103(位置検出装置)は、たとえば赤外光領域を撮影可能な赤外線センサであり、投影面106から赤外線が反射される情報を取得し、赤外線の電気信号(以下、赤外線情報)を情報処理装置101に送信する。情報処理装置101では、受信した情報に基づいて、オブジェクトの形や動き、位置などを特定する。本実施形態においては、赤外線センサを用いるものとするが、オブジェクトの形や動き、位置などを特定できるのであれば、センサの種類は特に問わない。
The infrared sensor 103 (position detection device) is, for example, an infrared sensor capable of photographing an infrared light region, acquires information on which infrared rays are reflected from the
プロジェクタ104(投影装置)は、情報処理装置101から送られる各種データを投影する装置である。プロジェクタ104は、反射鏡105に向けて設置されており、情報処理装置101から投影の指示を受け付けると、反射鏡105に向けて投影し、反射鏡105の反射を経て、投影面106へ投影する。
The projector 104 (projection device) is a device that projects various data sent from the
プリンタ107は、情報処理装置101から送られる印刷ジョブに基づいて、印刷をする装置である。
The
図2は、本発明の実施形態における各種端末のハードウェア構成を示す図である。 FIG. 2 is a diagram illustrating a hardware configuration of various terminals according to the embodiment of the present invention.
CPU201は、システムバス204に接続される各デバイスやコントローラを統括的に制御する。
The
また、ROM202あるいは外部メモリ211(記憶手段)には、CPU201の制御プログラムであるBIOS(Basic Input / OutputSystem)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。RAM203は、CPU201の主メモリ、ワークエリア等として機能する。
Further, the
CPU201は、処理の実行に際して必要なプログラム等をRAM203にロードして、プログラムを実行することで各種動作を実現するものである。
The
また、入力コントローラ(入力C)205は、キーボードや不図示のマウス等のポインティングデバイス等の入力デバイス209からの入力を制御する。また、カメラ102や赤外線センサ103とも接続されており、これらの装置から送信される画像データや赤外線情報の入力も制御する。
An input controller (input C) 205 controls input from an
ビデオコントローラ(VC)206は、ディスプレイ210等の表示器への表示を制御する。表示器の種類はCRTや、液晶ディスプレイを想定するが、これに限らない。また、プロジェクタ104とも接続されており、プロジェクタ104に対する投影も制御する。
A video controller (VC) 206 controls display on a display device such as the
メモリコントローラ(MC)207は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク(HD)やフレキシブルディスク(FD)或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ211へのアクセスを制御する。
The memory controller (MC) 207 is an adapter to a hard disk (HD), flexible disk (FD) or PCMCIA card slot for storing boot programs, browser software, various applications, font data, user files, editing files, various data, and the like. Controls access to an
通信I/Fコントローラ(通信I/FC)208は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。通信I/FC208は、インターネット通信等により、プリンタ107とも接続されている。通信I/FC208を経由して、CPU201からプリンタ107に対して印刷指示がなされる。
A communication I / F controller (communication I / FC) 208 is connected to and communicates with an external device via a network, and executes communication control processing in the network. For example, Internet communication using TCP / IP is possible. The communication I /
尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ210上での表示を可能としている。また、CPU201は、ディスプレイ210上の不図示のマウスカーソル等でのユーザ指示を可能とする。
Note that the
本発明の情報処理装置101が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ211に格納されている。
Various programs used by the
次に、情報処理装置101のモジュール構成を示す機能構成図について、図3を用いて説明する。なお、図3の装置のモジュール構成は一例であり、用途や目的に応じて様々な構成例がある。
Next, a functional configuration diagram showing a module configuration of the
情報処理装置101は、前述した通り、証跡記録アプリケーションを備える。証跡記録アプリケーションは、入力受付部301、表示指示部302、画像保存部303、オブジェクト検知部304、撮影指示部305、OCR処理部306、操作判定部307、表示制御部308を備える。
As described above, the
入力受付部301は、赤外線センサ103から送信される赤外線情報を受け付ける。受け付けた赤外線情報はオブジェクト検知部304に送られる。また、カメラ102から送信される動画像や静止画像を画像データとして受け付ける。受け付けた画像データは画像保存部303に送られる。
The
表示指示部302は、情報処理装置101のRAM203や外部メモリ211に保存されたPDFデータや画像データなどを表示制御部308が制御した結果を、プロジェクタ104へ送信する。
画像保存部303は、入力受付部301から送られた画像データを、オブジェクト検知部304で検知された情報に基づいて、紙文書等のオブジェクトに相当する領域を切り取り、切り取った画像データをRAM203や外部メモリ211に保存する。また、画像保存部303は、保存した画像データを表示指示部302へ送信する。
The
オブジェクト検知部304は、入力受付部301で受け付けた赤外線情報などを基に投影面106の上にあるオブジェクトの種類を検知する。たとえば、投影面106の上にあるオブジェクトがユーザの指なのか、紙文書なのかを検知する。また、オブジェクトの進入方向も検知できる。
The
撮影指示部305は、操作判定部307でユーザの撮影指示がなされたと判定された場合に、カメラ102に対して撮影指示を行う。また、ユーザの証跡を残す操作がなされたと操作判定部307で判定された場合にもカメラ102に対して撮影指示を行う。
The
OCR処理部306は、OCR(Optical Character Recognition)などの技術を用いて、情報処理装置101のRAM203や外部メモリ211に保存された画像データの文字領域を検出し、画像データの中のそれぞれの文字が何の文字なのかを特定する。
The
操作判定部307は、オブジェクト検知部304で検知されたオブジェクトの現実空間上の位置やジェスチャを判定する。また、現実空間上の位置やジェスチャに対応づけられた処理を判定する。たとえば、投影されている画像データに対する制御内容の判定や、投影面106に置かれたオブジェクトの撮影指示の判定等を行う。
The
表示制御部308は、操作判定部で判定された結果に応じて、投影面106に投影されている画像データの拡大/縮小、表示/非表示、移動などを実行する。たとえば、拡大/縮小したい画像データの上でのピンチイン/ピンチアウトのジェスチャを操作判定部307が判定した場合に、表示制御部308は画像データの拡大/縮小処理を行う。
The
画像変換部309は、撮影指示部305で撮影指示をし取得した画像データをTIFF形式に変換することができる。画像の変換形式はTIFF形式だけではなく、さまざまな形式に変換することができる。
The
次に、本発明の実施形態における情報処理装置101によって行われる一連の処理について、図5に示すフローチャートを用いて説明する。
Next, a series of processing performed by the
ステップS501では、情報処理装置101のCPU201は、顧客(説明を受けるユーザ・同意を行うユーザ)に対して金融商品などの説明を行うユーザ(以後、テラーと呼ぶ)からの指示に応じて、外部メモリ211に記憶された証跡記録アプリケーションを起動する。なお、証跡記録アプリケーションは、銀行の窓口などで行われる金融商品などの説明を想定し、それら一連の流れの証跡を記録するアプリケーションである。
In step S <b> 501, the
ステップS502では、情報処理装置101のCPU201は、ディスプレイ210の画面上にテラーIDと顧客IDを入力させるID入力受付画面を表示させる。たとえば図6に示すID入力受付画面601のような画面である。ID入力受付画面601のテラーID入力欄602はテラーのIDが入力される欄である。顧客ID入力欄603は顧客のIDが入力される欄である。テラーIDは図7のテラーID管理テーブル700で管理しており、テラーIDとテラーの氏名などの情報が紐づけられている。テラーID管理テーブル700にはテラーID701とテラー氏名702があり、テラーID701はテラーを一意的に決めるためのIDであり、テラー氏名702は、テラーの氏名を表すものである。顧客IDは図8の顧客IDテーブル800で管理しており、顧客IDと顧客の氏名などの情報が紐づけられている。顧客IDテーブル800には顧客ID801と顧客氏名802があり、顧客ID801は顧客を一意的に決めるためのIDであり、顧客氏名802は顧客の氏名を表すものである。
In step S <b> 502, the
ステップS503では、情報処理装置101のCPU201は、ステップS502において表示されたID入力受付画面601において、テラーと顧客のIDの入力を受け付ける。OKボタン604が押下されると次のステップS504へ移行する。キャンセルボタン605が押下されると証跡記録アプリケーションの起動を終了し、本一連の処理を終了する
In step S503, the
ステップS504では、情報処理装置101のCPU201は、文書データや画像データをプロジェクタ104から投影面106に投影するために、テラーからの投影指示を受け付ける。具体的には、テラーから、投影する文書データや画像データの選択を受け付ける。たとえば金融商品を説明するためのPDFデータである。文書のファイル形式はPDF形式以外でも構わない。
In step S <b> 504, the
ステップS505では、情報処理装置101のCPU201は、ステップS504で受け付けたテラーからの投影指示に応じて、プロジェクタ104に対してテラーから選択されたPDFデータを投影させる投影指示を行う。投影指示処理の詳細は、図9で後述する。
In step S505, the
ステップS506では、情報処理装置101のCPU201は、赤外線センサ103から投影面106に対して照射され跳ね返ってくる赤外線の情報(以降、赤外線情報とする)を赤外線センサ103から受信する。投影面106から赤外線のはね返りがない部分を物体があると認識する。
In step S <b> 506, the
ステップS507では、情報処理装置101のCPU201は、ステップS506で受信した赤外線情報を基にオブジェクトを検知したか否かを判定する。ここでいうオブジェクトは例えばユーザの指や紙文書などを指す。オブジェクトを検知した場合にはステップS508に処理を進める。オブジェクトを検知しなかった場合にはステップS512へ処理を進める。
In step S507, the
ステップS508では、情報処理装置101のCPU201は、ステップS507で検知したオブジェクトが指なのか、紙文書なのかを特定する。より具体的には赤外線センサ103で受信した赤外線情報からオブジェクトの種類を特定する。たとえば、オブジェクトの形が球状のものから棒状のものが突き出ている形であることを認識した場合に突き出た部分を指であると特定する。また赤外線センサ103で受信した赤外線情報で判定したオブジェクトの形が、矩形であると認識した場合にはオブジェクトは紙文書であると特定する。
In step S508, the
ステップS509では、情報処理装置101のCPU201は、ステップS508で判定したオブジェクトの種類によって、検知したオブジェクトが証跡を残すものであるかを判定する。たとえば、オブジェクトが指であると判定した場合は、証跡を残すものであると判定し、ステップS510のタッチ判定処理へ移行する。オブジェクトが紙文書であると判定した場合は、証跡を残さないものであると判定しステップS511の紙文書取り込み処理へ移行する。投影システム100を利用するユーザ(テラーまたは顧客)が投影面106に対してどのような操作を行ったのかを証跡として記録したいので、このような判定を行っている。
In step S509, the
ステップS510では、情報処理装置101のCPU201は、投影された文書データまたは画像データ(以下、投影画像)に指がタッチしているかを判定し、タッチされていると判定された場合には、投影画像の上で指をタッチしている画像データを撮像することで証跡を残す。タッチ判定処理の詳細は後の図19で詳しく説明する。
In step S510, the
ステップS511では、情報処理装置101のCPU201は、投影面106上に置かれた紙文書を撮像し、画像データとして取り込みを行う。より具体的には、顧客が持ってきた住民票や戸籍謄本など、金融商品の契約などで必要となる書類を撮像する。紙文書取り込み処理の詳細は後の図20で詳しく説明する。
In step S511, the
ステップS512では、情報処理装置101のCPU201は、ユーザから投影の終了指示があったか否かを判定する。投影の終了指示をユーザから受け付けた場合には、投影を終了させる。投影の終了を受け付けたと判定されなかった場合には、ステップS506へ処理を戻す。
In step S512, the
ステップS513では、情報処理装置101のCPU201は、ユーザからの指示に応じてアプリケーションの終了処理を行う。
In step S513, the
次に、前述したステップS505における投影処理について、図9を用いて説明する。 Next, the projection processing in step S505 described above will be described with reference to FIG.
ステップS901では、情報処理装置101のCPU201は、前述したステップS504においてテラーから投影の指示があったかどうかを判定し、指示がなければ投影処理を終了する。投影の指示を受け付けた場合は、ステップS902へ処理を進める。
In step S901, the
ステップS902では、情報処理装置101のCPU201は、ステップS504でテラーから投影の指示のあった文書データまたは画像データ(ここでは、例えばPDFデータ)を取得し、RAM203に記憶する。PDFデータを取得したあと、ステップS903へと処理を進める。
In step S <b> 902, the
ステップS903では、情報処理装置101のCPU201は、RAM203に取得したPDFデータの投影指示をプロジェクタ104に対して行う。
In step S <b> 903, the
ステップS904では、プロジェクタ104は、情報処理装置101から投影指示を受け取る。
In step S <b> 904, the
ステップS905では、プロジェクタ104は、ステップS904で受け取った指示により、投影を指示された文書データまたは画像データを投影面106に投影する。ステップS905で投影された結果の投影面106の例が、図10である。テラー1001は、たとえば顧客に対して金融商品などの説明をする人物であり、証跡記録アプリケーションの起動や、顧客1002に対する商品説明などを行う。投影面106上の申込書1003には、概要説明部分1004と詳細説明部分1005と個人情報説明部分1006と署名欄1007がある。テラー1001は、顧客1002に対して申込書1003に関する商品説明を行う際に、概要説明部分1004と詳細説明部分1005と個人情報説明部分1006に対する説明を、指などを用いて行っていく。顧客1002は、テラー1001からの説明を受けたのち、署名欄1007に署名を記入する。回転ボタン1008は、テラーの指などが回転ボタン1008にタッチされた場合に投影されている文書データや画像データを180度回転させるときに使うものである。図10において回転ボタン1008が押下されると、投影面106上の申込書1003が180度回転することになる。つまり、顧客1002の方を向いている申込書1003が、テラー1001の方を向くことになる。回転ボタン1008は、物理的なボタンであっても、投影されたボタン画像であってもよい。以上で投影処理の説明を終わる。
In step S905, the
次に、ステップS510におけるタッチ判定処理について、図11を用いて説明する。 Next, the touch determination process in step S510 will be described with reference to FIG.
ステップS1101では、情報処理装置101のCPU201は、投影面106に投影されている投影画像の基となる投影元文書の特定を行う。投影元文書は、前述したステップS504で選択された文書データまたは画像データであるので、これに基づいて特定する。ここでは、投影画像のファイル名や保存場所、更には投影している投影元文書のページ番号を特定する。特定を行ったら、ステップS1102へと処理を移行する。
In step S <b> 1101, the
ステップS1102では、情報処理装置101のCPU201は、ステップS1101で特定された投影画像に対応する撮像領域情報を取得する。撮像領域情報とは、投影画像に含まれる所定の領域ごとに存在する情報であり、図12に示す撮像領域情報テーブル1200に記憶された各レコードを指す。より具体的には、領域ID1201、名称1202、保存場所1203、page1204、撮像位置領域1205(所定領域)、属性1206のことを指す。
In step S1102, the
撮像領域情報テーブル1200は、情報処理装置101の外部メモリ211に記憶されたテーブルである。撮像領域情報テーブル1200は、領域ID1201、名称1202、保存場所1203、page1204、撮像位置領域1205、属性1206から構成される。領域ID1201ではそれぞれ証跡を保存する領域に番号などの領域ID番号を記載している。名称1202では、証跡を保存する領域の具体的な名称を記載している。保存場所1203は、投影するPDFデータを保存している場所を記載してある。page1204では、投影する書類のページ数を記載してある。撮像位置領域1205では、投影するPDFデータ上の証跡を保存する位置情報を記載してある。カンマで区切られた左側のXY座標は矩形の左上を示している。カンマで区切られた右側のXY座標は矩形の右下を示している。この2点からなる矩形を撮像する領域としている。なお、撮像する領域は本実施例では矩形としているが、円状であっても帯状であっても構わない。属性1206では、証跡を保存する領域の属性(説明属性、同意属性)を記載してある。本実施例では説明、同意という属性があるが、それ以外であってもよい。
The imaging area information table 1200 is a table stored in the
たとえば、図10の申込書1003の撮像領域情報を取得する場合には、ステップS1101で申込書1003のファイル名や保存場所や投影しているページ番号が特定される。特定されたこれらの情報と、保存場所1203とに基づいて、必要なレコードを特定し、これを取得する。申込書1003のファイル名が「A.pdf」、保存場所が「D:¥document¥data¥」、投影しているページ番号が「2」である場合には、図12に示す領域ID1201が「1」〜「4」に該当する。よって、この4つのレコードを撮像領域情報として取得する。
For example, when acquiring the imaging area information of the
ステップS1103では、情報処理装置101のCPU201は、赤外線センサ103から送られてくる赤外線情報を受信する。
In step S <b> 1103, the
ステップS1104では、情報処理装置101のCPU201は、ステップS1103で受信した赤外線情報に基づいて、投影面106上におけるユーザの手の位置を解析する。ユーザの手の位置の解析の方法は従来の技術を用いるものとし、赤外線センサ103が赤外線のはね返りを検知することができなかった形状を解析する。形状の解析により、ユーザの指がどの部分を指しているかを特定することが可能になる。
In step S1104, the
ステップS1105では、情報処理装置101のCPU201は、ステップS1104で解析したユーザの手の位置などを基に、解析した手が誰の手なのかを特定する(ユーザ特定手段)。より具体的には、手の進入方向や手の向きなどから特定する。たとえば図10では、回転ボタン1008がある方向から手が入ってきた場合はテラーの手であると特定し、そうでない場合は顧客の手であると特定する。誰の手なのかを特定する方法はこれに限らない。ユーザの手にユーザを識別できる情報を付与しておき、これをカメラ102で撮像し、撮像された画像データを解析して特定してもよい。
In step S1105, the
ステップS1106では、情報処理装置101のCPU201は、ステップS1102で取得した撮像領域情報に含まれる撮像位置領域1205を示す領域にユーザの手がタッチされたかどうかを判定する(判定手段)。ユーザの手が撮像位置領域1205にタッチされたと判定されれば、ステップS1107へ処理を移行する。ユーザの手が撮像位置領域1205にタッチされたと判定されなければ、タッチ判定処理を終了する。図13は、テラーが撮像位置領域1205である概要説明部分1004にタッチしている例の図である。テラーの手1301が概要説明部分1004の上をタッチしていれば、テラーが概要説明部分1004の説明を行っているということである。つまり、顧客に対して概要説明部分1004の説明を行ったということの証明のために、証跡を取る必要がある。そのため、ステップS1106では、このように撮像位置領域1205を示す領域がタッチされていれば、ステップS1107に処理を進める。
In step S1106, the
ステップS1107では、情報処理装置101のCPU201は、タッチされた撮像位置領域1205を示す領域の属性が、テラーから顧客に対する説明義務のある領域(説明属性を持つ領域。以下、説明証跡領域)であるのか、顧客が契約等に同意の意思を示すための領域(同意属性を持つ領域。以下、同意証跡領域)であるのかを判定する。タッチされた撮像位置領域1205に対応する、ステップS1102で取得した撮像領域情報の中の属性1206によって、タッチされた撮像位置領域1205の証跡の属性を特定し、特定した属性に応じて判定すればよい。撮像位置領域1205を示す領域が説明証跡領域であると判定した場合には、ステップS1108に処理を進める。撮像位置領域1205を示す領域が同意証跡領域であると判定した場合には、ステップS1110に処理を進める。このようにタッチされた部分の領域の属性を判定することにより、タッチされた領域が示す属性に応じて撮像の条件を変更することが可能となる。
In step S <b> 1107, the
たとえば図13の概要説明部分1004の領域ID1201「1」に対応する属性1206は「説明」となっているので、概要説明部分1004が説明証跡領域であると特定する。よって、ステップS1108へ処理を進める。
For example, since the
一方、たとえば図16は、顧客1002が署名欄1007に顧客の手1602でサインを行っている図である。投影システム100では、署名欄1007のような所定の領域を指でタッチしたまま移動させると、その軌跡を描画することができるようになっている。赤外線センサ103から送信された赤外線情報に基づいて、情報処理装置101のCPU201が、ユーザの指が署名欄1007のような所定の領域をタッチしていると判定すると、当該タッチが継続されている間、そのタッチの軌跡を線要素で表現する。このような仕組みを用いることで、投影面106に対してタッチすることにより、サインを行うことができるようになる。
On the other hand, for example, FIG. 16 is a diagram in which the
このように、サインを行うべく、署名欄1007にタッチがなされると、顧客の手であるか、テラーの手であるかを判定するステップS1108と、投影画像の向きを判定するステップS1109は行わずに、即時、ステップS1110へ移行する。同意証跡領域の場合、テラーが顧客の代わりに同意のサインを行ってしまう場合がある。すなわち、顧客は同意の意思を示していないにも関わらず、テラーが代わりにサインしてしまう場合である。このような場合も証跡を保存するようにしておけば、テラーの不正な行為を抑止することができると共に、たとえ争いになったとしても、顧客を守ることができる。たとえば図17ではテラーが同意証跡領域である署名欄1007にサインをしていて、投影画像の向きはテラー向きである。また、図18の場合、同じくテラーがサインをしており、投影画像の向きは顧客向きである。このような場合であっても署名欄1007に手がタッチされているのであれば、署名欄1007は同意証跡領域であるので、ステップS1110へ移行する。
As described above, when the
ステップS1108では、情報処理装置101のCPU201は、タッチされた手がテラーの手であるかどうかを判定する。ステップS1105で特定された手の人物がテラーであればステップS1109へ処理を進める。ステップS1105で特定された手の人物がテラーでなければタッチ判定処理を終了させる。たとえば、図14は、テラー1001が説明する説明証跡領域である概要説明部分1004を顧客1002がタッチしている図である。この場合には、テラー1001によるタッチではないので証跡の保存は行わずにタッチ判定処理を終了させる。説明証跡領域は、テラーが顧客に説明したということが担保できればよい。顧客が説明証跡領域をタッチした場合も証跡を保存するようにしてしまうと、外部メモリ211などの容量を圧迫してしまう。そのため、テラーからタッチされた場合のみ、証跡を取るようにしている。
In step S1108, the
ステップS1109では、情報処理装置101のCPU201は、投影画像が顧客の方を向いている(説明を受けるユーザに相対する向き)のか、テラーの方を向いているのかを判定する。たとえば、テラーから選択された文書データまたは画像データが、顧客の方を向いて投影される場合、回転ボタン1008が押下されていれば、投影画像がテラーの方を向いていることがわかる。一方、回転ボタン1008が押下されていなければ、投影画像が顧客の方を向いていることがわかる。投影画像が顧客の方を向いていると判定された場合、ステップS1110へ処理を進める。投影画像が顧客の方を向いていると判定されなかった場合は、タッチ判定処理を終了させる。たとえば図15は、投影画像が顧客ではなく、テラーの方を向いている。この状態でテラーが説明を行ったとしても、顧客は投影画像を読むことができないため、正常に説明したとは言えない。そのため、この場合は証跡の保存は行わずに、タッチ判定処理を終了させる。このように、説明証跡領域の場合には、テラーが説明証跡領域をタッチしており、かつ投影画像が顧客の方に向いている場合に、証跡が保存される。テラーが正しい方法で説明していないと、証跡が残らないので、説明したか否かを示す証拠となりうる。
In step S1109, the
ステップS1110では、情報処理装置101のCPU201は、カメラ102にデジタルな撮像音の無い撮像指示を行う(撮像制御手段)。本実施例では撮像音を無くすとしているが、聞こえないような音量の撮像音であっても構わない。また、カメラに対して撮像音のない撮像を指示しているが、カメラが撮像音を出す必要はなく情報処理装置101につながるスピーカのようなものが撮像音を出していてもよい。
In step S <b> 1110, the
ステップS1111では、カメラ102は、情報処理装置101から送信された撮像音の無い撮像指示を受信する。
In step S <b> 1111, the
ステップS1112では、カメラ102は、受信した撮像指示に従って、撮像音を出さない撮像を行う。ここでいう撮像音はデジタルな撮像音である。撮像音を出さないというのは、撮像音を出す撮像と撮像音を出さない撮像を切り替える場合や、撮像音自体の音量を少なくする場合がある。撮像音を出さない方法は上記に限定されない。デジタルな撮像音を出さないことで、顧客がいかにも証跡を取られているということを認識することを避けることができる。
In step S <b> 1112, the
ステップS1113では、カメラ102は、情報処理装置に対し、撮像した画像データを送信する。
In step S1113, the
ステップS1114では、情報処理装置101のCPU201は、カメラから送信された画像データを受信する。
In step S1114, the
ステップS1115では、情報処理装置101のCPU201は、受信した画像データを、証跡ID、撮像された年月日(日時)、顧客IDやテラーID、領域ID、画像データをひとまとめにして証跡として顧客ごとに保存する(画像データ保存手段)。証跡として保存する例として図19の証跡保存テーブル1900がある。証跡ID欄1901では、証跡を一意に決めるためのID番号を格納する。年月日欄1902では、証跡を保存するために撮像がなされた年月日と時間を格納する。撮像されたユーザ欄1903では、ステップS1105で特定された、撮像されたユーザがテラーなのか顧客なのかという情報を格納する。撮像された顧客/テラーID欄1904では、ステップS503で入力されたテラーや顧客のIDを格納する。画像データ欄1905では、撮像した画像データを保存したフォルダの場所を示す情報を格納する。また、画像の保存形式については本実施例ではTIFF形式を採っているが、ほかの形式でも構わない。このようにテーブル形式で顧客ごとに管理することで証跡の検索もしやすく、顧客と紛争になった際の有用なリソースとなりうるものとなる。投影文書に指を指している画像データが残るため、証跡として担保することが可能なデータを蓄積することが可能になる。
In step S1115, the
次に、紙文書取り込み処理について図20を用いて説明を行う。 Next, the paper document capturing process will be described with reference to FIG.
ステップS2001では、情報処理装置101のCPU201は、赤外線センサ103から送られる赤外線情報を受信する。
In step S2001, the
ステップS2002では、情報処理装置101のCPU201は、ステップS2001で受信した赤外線情報を解析し、紙文書の動きを解析する。
In step S2002, the
ステップS2003では、情報処理装置101のCPU201は、ステップS2002で解析した紙文書が撮像可能になったかを判定する。たとえばある一定の時間紙文書が動いていないと判定されたときに、撮像可能と判定する。撮像可能と判定された場合、ステップS2004の処理へと移行する。なお、撮像可能の判定は、ユーザからの撮像の指示を受け付けてもよい。
In step S2003, the
ステップS2004では、情報処理装置101のCPU201は、ステップS2003で紙文書が置かれて動きがある一定の時間なくなったと判定された時の、投影面106上に投影されている投影画像の位置や、状態を保存しておく処理を行う。たとえば図21で表示されている表示メニュー2003などがあり、これらの状態を保存しておく。保存処理が終わったらステップS2005へと処理を移す。
In step S2004, the
ステップS2005では、情報処理装置101のCPU201は、プロジェクタ104に対して投影しているものを消すよう、指示を行う。現在、投影面106上に投影しているものを投影しないように制御できればよい。これは、後述する処理で紙文書を取り込む際に、投影したものが写り込まないようにするためである。よって、置かれた紙文書の上に投影がされなければよく、それ以外の領域は何かしらの情報が投影されていてもよい。たとえば図21の表示メニュー2003の上に紙文書が置かれた場合、すべての投影を消してもよいし、紙文書と表示メニュー2003が重なる部分の投影だけ消してもよい。
In step S2005, the
ステップS2006では、プロジェクタ104は、情報処理装置101から指示された投影非表示指示を受信する。
In step S2006, the
ステップS2007では、プロジェクタ104は、受信した投影非表示指示に従って、現在投影されているものを消す。
In step S2007, the
ステップS2008では、情報処理装置101のCPU201は、デジタルな撮像音を伴う撮像の指示をカメラ102に対して行う。
In step S2008, the
ステップS2009ではカメラ102は、情報処理装置101から送信された撮像音を伴う撮像の指示を受信する。
In step S2009, the
ステップS2010では、カメラ102は、受信した指示によりデジタルな撮像音を伴う撮像を行う。撮像音を伴う撮像を行うことで、顧客の住民票や戸籍謄本などの書類を画像データとして取り込んでいることを明確に認識させることができる。
In step S2010, the
ステップS2011では、カメラ102は、撮像によって得られた画像データを情報処理装置101へ送信する。
In step S <b> 2011, the
ステップS2012では、情報処理装置101のCPU201は、カメラ102から送信された画像データを受信する。
In step S2012, the
ステップS2013では、情報処理装置101のCPU201は、受信した画像データを、紙文書の取り込みデータとして保存する。
In step S2013, the
ステップS2014では、情報処理装置101のCPU201は、ステップS2004で保存した状態を読み出し、投影を終了する前の状態に戻すため、読み出した投影状態をプロジェクタ104に投影させ、投影を再開させる。
In step S2014, the
ステップS2015では、プロジェクタ104は、情報処理装置101からの投影表示指示を受信する。
In step S2015, the
ステップS2016では、プロジェクタ104に、受信した投影表示指示に基づいて、ステップS2004で保存した状態を投影する。
In step S2016, the state saved in step S2004 is projected on the
以上説明したように、本実施形態によれば、投影された画像データに対する操作を行ったユーザを特定可能な証跡を残すことのできる効果を奏する。 As described above, according to the present embodiment, there is an effect that it is possible to leave a trail that can identify a user who has performed an operation on the projected image data.
次に本願発明の第2の実施例を説明する。第1の実施例では、タッチされた領域の属性が同意証跡であった場合には、タッチされた手が顧客かテラーかの判定と、投影文書の向きの判定をせずに撮像指示を行っていた。第2の実施例では、同意証跡の場合でも上記の判定をすることにより、顧客が同意証跡の領域に確かにサインをしたという証跡を残すことを可能にする。これにより、例えばテラーが顧客に対してサインの説明を行う際などの無駄な証跡を残さずに適切な証跡のみを残すことを可能にする。 Next, a second embodiment of the present invention will be described. In the first embodiment, when the attribute of the touched area is a consent trail, an imaging instruction is performed without determining whether the touched hand is a customer or a teller and determining the orientation of the projected document. It was. In the second embodiment, even in the case of the consent trail, the above determination is made, so that it is possible to leave a trail that the customer has surely signed in the area of the consent trail. This makes it possible to leave only an appropriate trail without leaving a useless trail such as when a teller explains a sign to a customer.
第2の実施例では、システム構成、ハードウェア構成、機能構成、画面例、テーブルは第1の実施例と同じであり、図9が図24、図11が図25にそれぞれ変形したものである。 In the second embodiment, the system configuration, hardware configuration, functional configuration, screen example, and table are the same as those in the first embodiment, and FIG. 9 is modified to FIG. 24 and FIG. 11 is modified to FIG. .
第2の実施例の投影処理を図24のフローチャートで説明する。 The projection process of the second embodiment will be described with reference to the flowchart of FIG.
ステップS2401では、情報処理装置101のCPU201は、ステップS504でテラーから投影の指示のあった文書データまたは画像データ(投影文書)(ここでは、例えばPDFデータ)を取得し、RAM203に記憶する。投影テーブル2300の投影文書2301にステップS504で選択を受け付けた投影文書の文書のファイル名を格納する。図23に示す投影テーブル2300には投影文書2301と回転フラグ2302とが格納されている。投影文書2301はステップS504で選択を受け付けた投影文書の文書のファイル名を格納する。回転フラグ2302は、投影文書の向きを示すフラグであり、回転フラグ2302が「0」の時は投影文書は顧客向きとし、「1」の時(フラグが立っている時)はテラー向きとして投影文書を投影するという指示を示している。ステップS2401でPDFデータを取得したあと、ステップS2402へと処理を進める。
In step S2401, the
ステップS2402では、情報処理装置101のCPU201は、投影テーブル2300の回転フラグ2302が「1」か否か(立っているか否か)を判定する。回転フラグ2302が「1」と判定された場合は投影文書を回転させるべく処理をステップS2303に進める。回転フラグ2302が「1」でないと判定された場合は処理をステップS2304に進める。
In step S2402, the
ステップS2403では、情報処理装置101のCPU201は、RAM203に記憶した投影文書2301の向きを180度回転させる処理を行う。これにより、テラーの向きだった投影文書が顧客の向きになり、顧客の向きだった投影文書がテラーの向きになる。
In step S2403, the
ステップS2404では、情報処理装置101のCPU201は、RAM203に記憶したPDFデータの投影指示をプロジェクタ104に対して行う。
In step S2404, the
ステップS2405では、プロジェクタ104は、情報処理装置101から投影指示を受け取る。
In step S <b> 2405, the
ステップS2406では、プロジェクタ104は、ステップS2403で受け取った指示により、投影を指示されたPDFデータを投影面106に投影する。本処理の一連の流れにより投影された結果の投影面106の例が、図10である。図10の詳細な説明については、前述した通りである。以上で投影処理の説明を終わる。
In step S2406, the
次に、ステップS510におけるタッチ判定処理について、本願発明の第2の実施例を図26により説明する。 Next, the touch determination process in step S510 will be described with reference to FIG.
ステップS2501では、情報処理装置101のCPU201は、投影面106に投影されている投影画像の基となる投影文書の特定を行う。投影文書は、前述したステップS504で選択された文書データまたは画像データであるので、これに基づいて特定する。ここでは、投影画像のファイル名や保存場所、更には投影している投影元文書のページ番号を特定する。特定を行ったら、ステップS2502へと処理を移行する。
In step S <b> 2501, the
ステップS2502では、情報処理装置101のCPU201は、ステップS2501で特定された投影画像に対応する撮像領域情報を取得する。撮像領域情報とは、投影画像に含まれる所定の領域ごとに存在する情報であり、図12に示す撮像領域情報テーブル1200に記憶された各レコードを指す。より具体的には、領域ID1201、名称1202、保存場所1203、page1204、撮像位置領域1205、属性1206のことを指す。
In step S2502, the
撮像領域情報テーブル1200の詳細な説明については、前述した通りである。 The detailed description of the imaging area information table 1200 is as described above.
たとえば、図10の申込書1003の撮像領域情報を取得する場合には、ステップS2501で申込書1003のファイル名や保存場所や投影しているページ番号を特定する。特定されたこれらの情報と、保存場所1203とに基づいて、必要なレコードを特定し、これを取得する。申込書1003のファイル名が「A.pdf」、保存場所が「D:¥document¥data¥」、投影しているページ番号が「2」である場合には、図12に示す領域ID1201が「1」〜「4」に該当する。よって、この4つのレコードを撮像領域情報として取得する。
For example, when acquiring the imaging area information of the
ステップS2503では、情報処理装置101のCPU201は、ステップS506で受信した赤外線情報に基づいて、投影面106上におけるユーザの手の位置を解析する。ユーザの手の位置の解析の方法は従来の技術を用いるものとし、赤外線センサ103が赤外線のはね返りを検知することができなかった形状を解析する。形状の解析により、ユーザの指がどの部分を指しているかを特定することが可能になる。
In step S2503, the
ステップS2504では、情報処理装置101のCPU201は、ステップS2503で解析したユーザの手の位置などを基に、解析した手が誰の手なのかを特定する(ユーザ特定手段)。より具体的には、手の進入方向や手の向きなどから特定する。たとえば図10では、回転ボタン1008がある方向から手が入ってきた場合はテラーの手であると特定し、そうでない場合は顧客の手であると特定する。誰の手なのかを特定する方法はこれに限らない。ユーザの手にユーザを識別できる情報を付与しておき、これをカメラ102で撮像し、撮像された画像データを解析して特定してもよい。
In step S2504, the
ステップS2505では、情報処理装置101のCPU201は、ステップS2502で取得した撮像領域情報に含まれる撮像位置領域1205が示す領域にユーザの手がタッチされたかどうかを判定する(判定手段)。ユーザの手が撮像位置領域1205にタッチされたと判定されれば、ステップS2506へ処理を移行する。ユーザの手が撮像位置領域1205にタッチされたと判定されなければ、ステップS2515に処理を進める。図13は、テラーが撮像位置領域1205である概要説明部分1004にタッチしている例の図である。テラーの手1301が概要説明部分1004の上をタッチしていれば、テラーが概要説明部分1004の説明を行っているということである。つまり、顧客に対して概要説明部分1004の説明を行ったということの証明のために、証跡を取る必要がある。そのため、ステップS2505では、このように撮像位置領域1205を示す領域がタッチされていれば、ステップS2506に処理を進める。撮像位置領域1205を示す領域がタッチされていないと判定されれば、回転ボタンの押下を判定すべくステップS2515に処理を進める。
In step S2505, the
ステップS2506では、情報処理装置101のCPU201は、タッチされた撮像位置領域1205を示す領域の属性が、テラーから顧客に対する説明義務のある領域(以下、説明証跡領域)であるのか、顧客が契約等に同意の意思を示すための領域(以下、同意証跡領域)であるのかを判定する。タッチされた撮像位置領域1205に対応する、ステップS2502で取得した撮像領域情報の中の属性1206によって、タッチされた撮像位置領域1205の証跡の属性を特定し、特定した属性に応じて判定すればよい。撮像位置領域1205を示す領域が説明証跡領域であると判定した場合には、ステップS2507に処理を進める。撮像位置領域1205を示す領域が同意証跡領域であると判定した場合には、ステップS2517に処理を進める。このようにタッチされた部分の領域の属性を判定することにより、タッチされた領域が示す属性に応じて撮像の条件を変更することが可能となる。
In step S2506, the
たとえば図13の概要説明部分1004の領域ID1201「1」に対応する属性1206は「説明」となっているので、概要説明部分1004が説明証跡領域であると特定する。よって、ステップS2507へ処理を進める。
For example, since the
一方、たとえば図16は、顧客1002が署名欄1007に顧客の手1602でサインを行っている図である。投影システム100では、署名欄1007のような所定の領域を指でタッチしたまま移動させると、その軌跡を描画することができるようになっている。赤外線センサ103から送信された赤外線情報に基づいて、情報処理装置101のCPU201が、ユーザの指が署名欄1007のような所定の領域をタッチしていると判定すると、当該タッチが継続されている間、そのタッチの軌跡を線要素で表現する。このような仕組みを用いることで、投影面106に対してタッチすることにより、サインを行うことができるようになる。
On the other hand, for example, FIG. 16 is a diagram in which the
第1の実施例では、署名欄1007にタッチがなされると、顧客の手であるか、テラーの手であるかを判定するステップと、投影画像の向きを判定するステップは行わずに、即時、ステップS1109へ移行する。図26に示す第2の実施例では、即時ステップS2509に移行せず、投影文書の向きと顧客の手であるか否かを判定する。これにより、顧客だけの証跡を残すことが可能になるので外部メモリ211などの記憶容量の節約になる。また、テラーが顧客に対してサインの方法を説明する際などに無駄な証跡を残すことがなくなるという効果もある。
In the first embodiment, when the
ステップS2507〜2608、ステップS2517〜2618の判定は、図22に示す条件テーブル2200に基づいて判定を行う。条件テーブル2200には領域の属性2201、回転フラグ2202、特定した手2203、処理内容2204が格納されている。領域の属性2201はステップS2506で判定された領域の属性を示している。回転フラグ2202は、投影テーブル2300の回転フラグ2302のフラグを示している。特定した手2203はステップS2504で特定したテラーの手か顧客の手かを模式的に示している。処理内容2204は撮像をするか否かの処理の内容が記載されている。例えば、領域の属性2201が説明証跡領域であって、回転フラグ2202が0であって、特定した手2203がテラーであれば、処理内容2204は撮像する。
The determinations in steps S2507 to 2608 and steps S2517 to 2618 are performed based on the condition table 2200 shown in FIG. The condition table 2200 stores an
ステップS2507では、情報処理装置101のCPU201は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン1008が押下され、ステップS2516で投影テーブル2300の回転フラグ2302にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ2202にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ2202にフラグが立っていると判定された場合、ステップS2508へ処理を進める。回転フラグ2202にフラグが立っていないと判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。たとえば図15は、投影画像が顧客ではなく、テラーの方を向いている。この状態でテラーが説明を行ったとしても、顧客は投影画像を読むことができないため、正常に説明したとは言えない。そのため、この場合は証跡の保存は行わずに、タッチ判定処理を終了させる。
In step S2507, the
ステップS2508では、情報処理装置101のCPU201は、タッチされた手がテラーの手であるかどうかを判定する。ステップS2504で特定された手の人物がテラーであればステップS2509へ処理を進める。ステップS2504で特定された手の人物がテラーでなければタッチ判定処理を終了させる。たとえば、図14は、テラー1001が説明する説明証跡領域である概要説明部分1004を顧客1002がタッチしている図である。この場合には、テラー1001によるタッチではないので証跡の保存は行わずにタッチ判定処理を終了させる。説明証跡領域は、テラーが顧客に説明したということが担保できればよい。顧客が説明証跡領域をタッチした場合も証跡を保存するようにしてしまうと、外部メモリ211などの容量を圧迫してしまう。そのため、テラーからタッチされた場合のみ、証跡を取るようにしている。このように、説明証跡領域の場合には、テラーが説明証跡領域をタッチしており、かつ投影画像が顧客の方に向いている場合に、証跡が保存される。テラーが正しい方法で説明していないと、証跡が残らないので、説明したか否かを示す証拠となる。
In step S2508, the
ステップS2509では、情報処理装置101のCPU201は、カメラ102にデジタルな撮像音の無い撮像指示を行う(撮像制御手段)。本実施例では撮像音を無くすとしているが、聞こえないような音量の撮像音であっても構わない。また、カメラに対して撮像音のない撮像を指示しているが、カメラが撮像音を出す必要はなく情報処理装置101につながるスピーカのようなものが撮像音を出してもよい。
In step S <b> 2509, the
ステップS2510では、カメラ102は、情報処理装置101から送信された撮像音の無い撮像指示を受信する。
In step S <b> 2510, the
ステップS2511では、カメラ102は、受信した撮像指示に従って、撮像音を出さない撮像を行う。ここでいう撮像音はデジタルな撮像音である。撮像音を出さないというのは、撮像音を出す撮像と撮像音を出さない撮像を切り替える場合や、撮像音自体の音量を少なくする場合がある。撮像音を出さない方法は上記に限定されない。デジタルな撮像音を出さないことで、顧客がいかにも証跡を取られているということを認識することを避けることができる。
In step S <b> 2511, the
ステップS2512では、カメラ102は、情報処理装置に対し、撮像した画像データを送信する。
In step S2512, the
ステップS2513では、情報処理装置101のCPU201は、カメラから送信された画像データを受信する。
In step S2513, the
ステップS2514では、情報処理装置101のCPU201は、受信した画像データを、証跡ID、撮像された年月日、顧客IDやテラーID、領域ID、画像データをひとまとめにして証跡として顧客ごとに保存する(画像データ保存手段)。証跡として保存する例として図19の証跡保存テーブル1900がある。証跡保存テーブル1900の詳細な説明については、前述した通りである。このようにテーブル形式で顧客ごとに管理することで証跡の検索もしやすく、顧客と紛争になった際の有用なリソースとなりうるものとなる。実際に投影文書に指を指している画像データが残るため、証跡として担保することが可能なデータを蓄積することが可能になる。
In step S2514, the
ステップS2515では、情報処理装置101のCPU201は、投影面106上に配置された回転ボタン1008がタッチされたか否かを判定する。回転ボタン1008のタッチを受け付けることにより、ユーザからの投影文書の回転指示があったことと判断することができる。回転ボタン1008がタッチされたと判定した場合処理をステップS2516に進め、回転ボタン1008がタッチされないと判定した場合、処理を終了させる。
In step S2515, the
ステップS2516では、情報処理装置101のCPU201は、投影テーブル2300の回転フラグ2302を反転させる。例えば「0」から「1」、「1」から「0」という具合である。フラグを反転させたのち、処理をステップS2402に進める。
In step S2516, the
ステップS2517では、情報処理装置101のCPU201は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン1008が押下され、ステップS2516で投影テーブル2300の回転フラグ2302にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ2202にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ2202にフラグが立っていると判定された場合、ステップS2509へ処理を進める。回転フラグ2202にフラグが立っていないと判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。
In step S2517, the
ステップS2518では、情報処理装置101のCPU201は、タッチされた手が顧客の手であるかどうかを判定する。ステップS2504で特定された手の人物が顧客であればステップS2509へ処理を進める。ステップS2504で特定された手の人物が顧客でなければタッチ判定処理を終了させる。ステップS2517、2518の判定を行うことによって、テラーが顧客に対してサインの説明を行う際などの無駄な証跡を残さずに適切な証跡のみを残すことを可能にする。
In step S2518, the
これにより同意証跡の場合でも上記の判定をすることにより、顧客が同意証跡の領域に確かにサインをしたという証跡を残すことを可能にする。例えばテラーが顧客に対してサインの説明を行う際などの無駄な証跡を残さずに適切な証跡のみを残すことを可能にする。 As a result, even in the case of consent trail, by making the above determination, it is possible to leave a trail that the customer has surely signed in the area of the consent trail. For example, it is possible to leave only an appropriate trail without leaving a useless trail such as when a teller explains a sign to a customer.
次に本願発明の第3の実施例を説明する。第1の実施例では、証跡を保存する際の撮像指示と紙文書の取り込みの際の撮像指示とで、撮像音の出力を制御する仕組みを説明した。第3の実施例では、証跡を保存する際の撮像指示と紙文書の取り込みの際の撮像指示とでそれぞれ撮像音の種類を切り替える。これにより、ユーザに対して撮像の意図を通知することが可能になるという効果がある。 Next, a third embodiment of the present invention will be described. In the first embodiment, the mechanism for controlling the output of the imaging sound by the imaging instruction when saving the trail and the imaging instruction when capturing the paper document has been described. In the third embodiment, the type of imaging sound is switched between an imaging instruction for saving a trail and an imaging instruction for capturing a paper document. As a result, it is possible to notify the user of the intention of imaging.
第3の実施例では、システム構成、機能構成、画面例、テーブルは第1の実施例と同じであり、図9が図24、図11が図27、図20が図28にそれぞれ変形したものである。 In the third embodiment, the system configuration, functional configuration, screen example, and table are the same as in the first embodiment, and FIG. 9 is modified to FIG. 24, FIG. 11 is modified to FIG. 27, and FIG. It is.
第3の実施例のハードウェア構成について図26を用いて説明する。 The hardware configuration of the third embodiment will be described with reference to FIG.
図26は図2の構成に新たにサウンドコントローラ212とスピーカ213とが追加されたものであり、共通する項目の説明は省略する。
26 is a configuration in which a
サウンドコントローラ212は、音声信号を処理するコントローラであり、スピーカ213による音声出力を制御する。
The
スピーカ213は、情報処理装置101とスピーカケーブルで接続され、サウンドコントローラ212から出力される信号を音声として出力する。
The
次に図27を用いて第3の実施例のタッチ判定処理を説明する。 Next, the touch determination process of the third embodiment will be described with reference to FIG.
ステップS2701では、情報処理装置101のCPU201は、投影面106に投影されている投影画像の基となる投影文書の特定を行う。投影文書は、前述したステップS504で選択された文書データまたは画像データであるので、これに基づいて特定する。ここでは、投影画像のファイル名や保存場所、更には投影している投影元文書のページ番号を特定する。特定を行ったら、ステップS2702へと処理を移行する。
In step S2701, the
ステップS2702では、情報処理装置101のCPU201は、ステップS2701で特定された投影画像に対応する撮像領域情報を取得する。撮像領域情報とは、投影画像に含まれる所定の領域ごとに存在する情報であり、図12に示す撮像領域情報テーブル1200に記憶された各レコードを指す。より具体的には、領域ID1201、名称1202、保存場所1203、page1204、撮像位置領域1205、属性1206のことを指す。
In step S2702, the
撮像領域情報テーブル1200は、情報処理装置101の外部メモリ211に記憶されたテーブルである。撮像領域情報テーブル1200の詳細な説明については、前述した通りである。
The imaging area information table 1200 is a table stored in the
たとえば、図10の申込書1003の撮像領域情報を取得する場合には、ステップS2701で申込書1003のファイル名や保存場所や投影しているページ番号を特定する。特定されたこれらの情報と、保存場所1203とに基づいて、必要なレコードを特定し、これを取得する。申込書1003のファイル名が「A.pdf」、保存場所が「D:¥document¥data¥」、投影しているページ番号が「2」である場合には、図12に示す領域ID1201が「1」〜「4」に該当する。よって、この4つのレコードを撮像領域情報として取得する。
For example, when acquiring the imaging area information of the
ステップS2703では、情報処理装置101のCPU201は、ステップS506で受信した赤外線情報に基づいて、投影面106上におけるユーザの手の位置を解析する。ユーザの手の位置の解析の方法は従来の技術を用いるものとし、赤外線センサ103が赤外線のはね返りを検知することができなかった形状を解析する。形状の解析により、ユーザの指がどの部分を指しているかを特定することが可能になる。
In step S2703, the
ステップS2704では、情報処理装置101のCPU201は、ステップS2703で解析したユーザの手の位置などを基に、解析した手が誰の手なのかを特定する(ユーザ特定手段)。より具体的には、手の進入方向や手の向きなどから特定する。たとえば図10では、回転ボタン1008がある方向から手が入ってきた場合はテラーの手であると特定し、そうでない場合は顧客の手であると特定する。誰の手なのかを特定する方法はこれに限らない。ユーザの手にユーザを識別できる情報を付与しておき、これをカメラ102で撮像し、撮像された画像データを解析して特定してもよい。
In step S2704, the
ステップS2705では、情報処理装置101のCPU201は、ステップS2702で取得した撮像領域情報に含まれる撮像位置領域1205が示す領域にユーザの手がタッチされたかどうかを判定する(判定手段)。ユーザの手が撮像位置領域1205にタッチされたと判定されれば、ステップS2706へ処理を移行する。ユーザの手が撮像位置領域1205にタッチされたと判定されなければ、ステップS2720に処理を進める。図13は、テラーが撮像位置領域1205である概要説明部分1004にタッチしている例の図である。テラーの手1301が概要説明部分1004の上をタッチしていれば、テラーが概要説明部分1004の説明を行っているということである。つまり、顧客に対して概要説明部分1004の説明を行ったということの証明のために、証跡を取る必要がある。そのため、ステップS2705では、このように撮像位置領域1205を示す領域がタッチされていれば、ステップS2706に処理を進める。撮像位置領域1205を示す領域がタッチされていないと判定されれば、回転ボタンの押下を判定すべくステップS2720に処理を進める。
In step S2705, the
ステップS2706では、情報処理装置101のCPU201は、タッチされた撮像位置領域1205を示す領域の属性が、テラーから顧客に対する説明義務のある領域(以下、説明証跡領域)であるのか、顧客が契約等に同意の意思を示すための領域(以下、同意証跡領域)であるのかを判定する。タッチされた撮像位置領域1205に対応する、ステップS2702で取得した撮像領域情報の中の属性1206によって、タッチされた撮像位置領域1205の証跡の属性を特定し、特定した属性に応じて判定すればよい。撮像位置領域1205を示す領域が説明証跡領域であると判定した場合には、ステップS2707に処理を進める。撮像位置領域1205を示す領域が同意証跡領域であると判定した場合には、ステップS2711に処理を進める。このようにタッチされた部分の領域の属性を判定することにより、タッチされた領域が示す属性に応じて撮像の条件を変更することが可能となる。
In step S <b> 2706, the
たとえば図13の概要説明部分1004の領域ID1201「1」に対応する属性1206は「説明」となっているので、概要説明部分1004が説明証跡領域であると特定する。よって、ステップS2707へ処理を進める。
For example, since the
一方、たとえば図16は、顧客1002が署名欄1007に顧客の手1602でサインを行っている図である。投影システム100では、署名欄1007のような所定の領域を指でタッチしたまま移動させると、その軌跡を描画することができるようになっている。赤外線センサ103から送信された赤外線情報に基づいて、情報処理装置101のCPU201が、ユーザの指が署名欄1007のような所定の領域をタッチしていると判定すると、当該タッチが継続されている間、そのタッチの軌跡を線要素で表現する。このような仕組みを用いることで、投影面106に対してタッチすることにより、サインを行うことができるようになる。
On the other hand, for example, FIG. 16 is a diagram in which the
ステップS2707〜2608、ステップS2711〜2612の判定は、図22に示す条件テーブル2200に基づいて判定を行う。条件テーブル2200には領域の属性2201、回転フラグ2202、特定した手2203、処理内容2204が格納されている。領域の属性2201はステップS2706で判定された領域の属性を示している。回転フラグ2202は、投影テーブル2300の回転フラグ2302のフラグを示している。特定した手2203はステップS2704で特定したテラーの手か顧客の手かを模式的に示している。処理内容2204は撮像をするか否かの処理の内容が記載されている。例えば、領域の属性2201が説明証跡領域であって、回転フラグ2202が0であって、特定した手2203がテラーであれば、処理内容2204は撮像する。
The determinations in steps S2707 to 2608 and steps S2711 to 2612 are performed based on the condition table 2200 shown in FIG. The condition table 2200 stores an
ステップS2707では、情報処理装置101のCPU201は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン1008が押下され、ステップS2716で投影テーブル2300の回転フラグ2302にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ2202にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ2202にフラグが立っていると判定された場合、ステップS2708へ処理を進める。回転フラグ2202にフラグが立っていないと判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。たとえば図15は、投影画像が顧客ではなく、テラーの方を向いている。この状態でテラーが説明を行ったとしても、顧客は投影画像を読むことができないため、正常に説明したとは言えない。そのため、この場合は証跡の保存は行わずに、タッチ判定処理を終了させる。
In step S <b> 2707, the
ステップS2708では、情報処理装置101のCPU201は、タッチされた手がテラーの手であるかどうかを判定する。ステップS2704で特定された手の人物がテラーであればステップS2709へ処理を進める。ステップS2704で特定された手の人物がテラーでなければタッチ判定処理を終了させる。たとえば、図14は、テラー1001が説明する説明証跡領域である概要説明部分1004を顧客1002がタッチしている図である。この場合には、テラー1001によるタッチではないので証跡の保存は行わずにタッチ判定処理を終了させる。説明証跡領域は、テラーが顧客に説明したということが担保できればよい。顧客が説明証跡領域をタッチした場合も証跡を保存するようにしてしまうと、外部メモリ211などの容量を圧迫してしまう。そのため、テラーからタッチされた場合のみ、証跡を取るようにしている。このように、説明証跡領域の場合には、テラーが説明証跡領域をタッチしており、かつ投影画像が顧客の方に向いている場合に、証跡が保存される。テラーが正しい方法で説明していないと、証跡が残らないので、説明したか否かを示す証拠となる。
In step S2708, the
ステップS2709では、情報処理装置101のCPU201は、カメラ102に撮像指示を行う(撮像制御手段)。
In step S2709, the
ステップS2710では、情報処理装置101のCPU201は、説明領域の証跡を保存することを通知すべく説明領域の撮像音をスピーカ213から出力する。撮像音は図29にしめす撮像音データテーブル2900から判断する。撮像音データテーブル2900には撮像シーン2901、撮像音2902とが格納されており、撮像シーン2901は本実施例で撮像するシーンである、「紙文書取り込み」「説明証跡領域」「同意証跡領域」とがある。それぞれに対して撮像音2902が割り当てられており、シーンに応じて撮像音2902に保存されている音声データを出力する。
In step S2710, the
ステップS2711では、情報処理装置101のCPU201は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン1008が押下され、ステップS2716で投影テーブル2300の回転フラグ2302にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ2202にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ2202にフラグが立っていないと判定された場合、ステップS2712へ処理を進める。回転フラグ2202にフラグが立っていると判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。
In step S2711, the
ステップS2712では、情報処理装置101のCPU201は、タッチされた手が顧客の手であるかどうかを判定する。ステップS2704で特定された手の人物が顧客であればステップS2713へ処理を進める。ステップS2704で特定された手の人物が顧客でなければタッチ判定処理を終了させる。
In step S2712, the
ステップS2713では、情報処理装置101のCPU201は、カメラ102に撮像指示を行う(撮像制御手段)。
In step S2713, the
ステップS2714では、情報処理装置101のCPU201は、同意領域の証跡を保存することを通知すべく説明領域の撮像音をスピーカ213から出力する。ステップS2710と同様に撮像音は図29にしめす撮像音データテーブル2900から判断する。撮像音をスピーカ213から出力する際には、後述するステップS2716における撮像とタイミングが合うように出力されることが望ましい。そのため、ステップS2713で撮像指示をしてから後述するステップS2716で撮像がなされるまでの遅延時間をあらかじめ記憶、または従来技術で算出し、当該遅延時間の間、待機してから撮像音を出力するようにすればよい。
In step S <b> 2714, the
ステップS2715では、カメラ102は、情報処理装置101から送信された撮像指示を受信する。
In step S2715, the
ステップS2716では、カメラ102は、受信した撮像指示に従って、撮像を行う。第3の実施例ではカメラ102は撮像音を出力しない。
In step S2716, the
ステップS2717では、カメラ102は、情報処理装置に対し、撮像した画像データを送信する。
In step S2717, the
ステップS2718では、情報処理装置101のCPU201は、カメラから送信された画像データを受信する。
In step S2718, the
ステップS2719では、情報処理装置101のCPU201は、受信した画像データを、証跡ID、撮像された年月日、顧客IDやテラーID、領域ID、画像データをひとまとめにして証跡として顧客ごとに保存する(画像データ保存手段)。証跡として保存する例として図19の証跡保存テーブル1900がある。証跡保存テーブル1900の詳細な説明については前述したとおりである。このようにテーブル形式で顧客ごとに管理することで証跡の検索もしやすく、顧客と紛争になった際の有用なリソースとなるものとなる。実際に投影文書に指を指している画像データが残るため、証跡として担保することが可能なデータを蓄積することが可能になる。
In step S2719, the
ステップS2720では、情報処理装置101のCPU201は、投影面106上に配置された回転ボタン1008がタッチされたか否かを判定する。回転ボタン1008のタッチを受け付けることにより、ユーザからの投影文書の回転指示があったことと判断することができる。回転ボタン1008がタッチされたと判定した場合処理をステップS2721に進め、回転ボタン1008がタッチされないと判定した場合、処理を終了させる。
In step S2720, the
ステップS2716では、情報処理装置101のCPU201は、投影テーブル2300の回転フラグ2302を反転させる。例えば「0」から「1」、「1」から「0」という具合である。フラグを反転させたのち、処理をステップS2402に進める。
In step S2716, the
次に、第3の実施例における紙文書取り込み処理について図28を用いて説明を行う。 Next, a paper document import process in the third embodiment will be described with reference to FIG.
ステップS2801では、情報処理装置101のCPU201は、ステップS506で受信した赤外線情報を解析し、紙文書の動きを解析する。
In step S2801, the
ステップS2802では、情報処理装置101のCPU201は、ステップS2801で解析した紙文書が撮像可能になったかを判定する。たとえばある一定の時間紙文書が動いていないと判定されたときに、撮像可能と判定する。撮像可能と判定された場合、ステップS2803の処理へと移行する。なお、撮像可能の判定は、ユーザからの撮像の指示を受け付けてもよい。例えば、スキャンボタンなどが投影面上に配置されており、当該スキャンボタンの押下を受け付けることで撮像可能と判定してもよい。
In step S2802, the
ステップS2803では、情報処理装置101のCPU201は、ステップS2802で紙文書が置かれ、動きがある一定の時間なくなったと判定された時の、投影面106上に投影されている投影画像の位置や、状態を保存しておく処理を行う。たとえば図21で表示されている表示メニュー2003などがあり、これらの状態を保存しておく。保存処理が終わったらステップS2804へと処理を移す。
In step S2803, the
ステップS2804では、情報処理装置101のCPU201は、プロジェクタ104に対して投影しているものを消すよう、指示を行う。現在、投影面106上に投影しているものを投影しないように制御できればよい。これは、後述する処理で紙文書を取り込む際に、投影したものが写り込まないようにするためである。よって、置かれた紙文書の上に投影がされなければよく、それ以外の領域は何かしらの情報が投影されていてもよい。たとえば図21の表示メニュー2003の上に紙文書が置かれた場合、すべての投影を消してもよいし、紙文書と表示メニュー2003が重なる部分の投影だけ消してもよい。
In step S2804, the
ステップS2805では、プロジェクタ104は、情報処理装置101から指示された投影非表示指示を受信する。
In step S2805, the
ステップS2806では、プロジェクタ104は、受信した投影非表示指示に従って、現在投影されている投影を消す。
In step S2806,
ステップS2807では、情報処理装置101のCPU201は、撮像の指示をカメラ102に対して行う。
In step S <b> 2807, the
ステップS2808では、情報処理装置101のCPU201は、紙文書取り込みの撮像音をスピーカ213により出力する。撮像音は図29にしめす撮像音データテーブル2900から判断する。今回は紙文書取り込みなので図29に示す撮像音2902は「D:¥sound¥001.wav」となる。また、前述したステップS2714と同様に、後述するステップS2810における撮像とタイミングを合わせて出力することが望ましい。そのため、ステップS2714で前述した通り、撮像が行われるタイミングまで待機し、待機後に撮像音を出力する。
In step S <b> 2808, the
ステップS2809ではカメラ102は、情報処理装置101から送信された撮像の指示を受信する。
In step S <b> 2809, the
ステップS2810では、カメラ102は、受信した指示によりデジタルな撮像音を伴う撮像を行う。撮像音を伴う撮像を行うことで、顧客の住民票や戸籍謄本などの書類を画像データとして取り込んでいることを明確に認識させることができる。
In step S2810, the
ステップS2811では、カメラ102は、撮像によって得られた画像データを情報処理装置101へ送信する。
In step S <b> 2811, the
ステップS2812では、情報処理装置101のCPU201は、カメラ102から送信された画像データを受信する。
In step S2812, the
ステップS2813では、情報処理装置101のCPU201は、受信した画像データを、紙文書の取り込みデータとして保存する。
In step S2813, the
ステップS2814では、情報処理装置101のCPU201は、ステップS2803で保存した状態を読み出し、投影を終了する前の状態に戻すため、読み出した投影状態をプロジェクタ104に投影させ、投影を再開させる。
In step S2814, the
ステップS2815では、プロジェクタ104は、情報処理装置101からの投影表示指示を受信する。
In step S2815,
ステップS2816では、プロジェクタ104に、受信した投影表示指示に基づいて、ステップS2803で保存した状態を投影する。
In step S2816, the state saved in step S2803 is projected onto
以上、第3の実施例では、証跡を保存する際の撮像指示と紙文書の取り込みの際の撮像指示とでそれぞれ撮像音の種類を切り替えることでユーザに対して撮像の意図を通知することが可能になるという効果がある。 As described above, in the third embodiment, the user can be notified of the intention of imaging by switching the type of imaging sound between the imaging instruction when saving the trail and the imaging instruction when capturing the paper document. There is an effect that it becomes possible.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。 The present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system including a plurality of devices. You may apply to the apparatus which consists of one apparatus.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 Note that the present invention includes a software program that implements the functions of the above-described embodiments directly or remotely from a system or apparatus. The present invention also includes a case where the system or the computer of the apparatus is achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. That is, the present invention also includes a computer program for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。 Examples of the recording medium for supplying the program include a flexible disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. In addition, there are magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
100 投影システム
101 情報処理装置
102 カメラ
103 センサ
104 プロジェクタ
105 反射板
106 投影面
107 プリンタ
201 CPU
202 ROM
203 RAM
204 システムバス
205 入力コントローラ
206 ビデオコントローラ
207 メモリコントローラ
208 通信I/F(インターフェース)コントローラ
209 入力デバイス
210 ディスプレイ
211 外部メモリ
DESCRIPTION OF
202 ROM
203 RAM
204
Claims (12)
前記投影面に対するオブジェクトの進入方向と前記撮像装置による撮像を指示する処理内容とを紐づけて記憶する記憶手段と、
前記投影面上に進入したオブジェクトの当該投影面に対する進入方向が、前記記憶手段に撮像を指示する処理内容と紐づいている場合に、前記オブジェクトを含む画像データが撮像されるよう前記撮像装置による撮像を制御する撮像制御手段と、
前記撮像装置で撮像された画像データを保存する画像データ保存手段と
を備えることを特徴とする情報処理装置。 An information processing apparatus communicably connected to a projection apparatus that projects projection data and an imaging apparatus that captures a projection plane on which the projection data is projected,
Storage means for storing the direction of entry of the object with respect to the projection plane and the processing content for instructing imaging by the imaging device;
When the approach direction of the object that has entered the projection plane with respect to the projection plane is associated with the processing content that instructs the storage unit to perform imaging, the imaging device causes the image data including the object to be captured. Imaging control means for controlling imaging;
An information processing apparatus comprising: image data storage means for storing image data captured by the imaging apparatus.
前記撮像制御手段は、前記判定手段で前記オブジェクトが投影面をタッチしたと判定され、当該投影面上に進入したオブジェクトの当該投影面に対する進入方向が、前記記憶手段に撮像を指示する処理内容と紐づいている場合に、前記オブジェクトを含む画像データが撮像されるよう前記撮像装置による撮像を制御することを特徴とする請求項1に記載の情報処理装置。 Determination means for determining whether or not the object on the projection surface touches the projection surface;
The imaging control means determines that the object has touched the projection plane by the determination means, and the approach direction of the object that has entered the projection plane with respect to the projection plane is a processing content that instructs the storage means to perform imaging. 2. The information processing apparatus according to claim 1, wherein imaging is controlled by the imaging apparatus so that image data including the object is captured when linked.
前記記憶手段は、前記撮像装置による撮像を指示する処理内容を、前記投影面に対するオブジェクトの進入方向に加え、前記投影面上の所定領域にも紐づけて記憶しており、
前記撮像制御手段は、前記位置特定手段によって前記オブジェクトの位置が前記投影面上の所定領域にあると特定され、かつ、当該投影面上に進入したオブジェクトの当該投影面に対する進入方向が、前記記憶手段に撮像を指示する処理内容と紐づいている場合に、当該オブジェクトを含む画像データが撮像されるよう前記撮像装置による撮像を制御すること
を特徴とする請求項1または2に記載の情報処理装置。 A position specifying means for specifying the position of the object on the projection plane;
The storage means stores processing contents for instructing imaging by the imaging device in addition to an approach direction of the object with respect to the projection plane and also associated with a predetermined area on the projection plane,
The imaging control means specifies that the position of the object is in a predetermined area on the projection plane by the position specifying means, and the approach direction of the object that has entered the projection plane with respect to the projection plane is the memory. 3. The information processing according to claim 1, wherein, when linked to a processing content that instructs the means to perform imaging, imaging by the imaging device is controlled so that image data including the object is captured. apparatus.
を特徴とする請求項3に記載の情報処理装置。 The image data storage means stores the image data captured by the imaging device in association with the predetermined area by specifying that the position of the object is in the predetermined area on the projection plane. The information processing apparatus according to claim 3.
を更に備え、
前記記憶手段は、前記撮像装置による撮像を指示する処理内容を、前記投影面に対するオブジェクトの進入方向に加え、投影データの投影される向きにも紐づけて記憶しており、
前記撮像制御手段は、前記向き特定手段によって特定された投影データの投影されている向きが、前記記憶手段で撮像を指示する処理内容と紐づいており、かつ、前記投影面上に進入したオブジェクトの当該投影面に対する進入方向が、前記記憶手段に撮像を指示する処理内容と紐づいている場合に、前記オブジェクトを含む画像データが撮像されるよう前記撮像装置による撮像を制御することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。 Direction specifying means for specifying the projected direction of the projection data projected by the projection device;
The storage means stores the processing content instructing imaging by the imaging device in association with the projection direction of the projection data in addition to the object entry direction with respect to the projection plane,
The imaging control means is an object in which the projected direction of the projection data specified by the orientation specifying means is associated with the processing content instructing imaging by the storage means, and has entered the projection plane When the approach direction to the projection plane is associated with the processing content for instructing the storage unit to perform imaging, imaging by the imaging device is controlled so that image data including the object is captured. The information processing apparatus according to any one of claims 1 to 5 .
前記画像データ保存手段は、前記撮像制御手段で撮像を制御されることにより得られた画像データと、当該画像データの撮像された際のオブジェクトの進入方向と対応付けて前記記憶手段で記憶されるユーザ情報とを対応付けて保存すること
を特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。 The storage means further stores user information corresponding to the approach direction of the projection plane,
The image data storage means is stored in the storage means in association with the image data obtained by controlling the imaging by the imaging control means and the entry direction of the object when the image data is captured. The information processing apparatus according to claim 1, wherein the information is stored in association with user information.
前記情報処理装置が、
前記投影面上に進入したオブジェクトの当該投影面に対する進入方向が、前記記憶手段に撮像を指示する処理内容と紐づいている場合に、前記オブジェクトを含む画像データが撮像されるよう前記撮像装置による撮像を制御する撮像制御ステップと、
前記撮像装置で撮像された画像データを保存する画像データ保存ステップと
を備えることを特徴とする情報処理装置の制御方法。 An information processing apparatus that is communicably connected to a projection apparatus that projects projection data and an imaging apparatus that images a projection plane on which the projection data is projected, and an object approach direction with respect to the projection plane and the imaging apparatus A method of controlling an information processing apparatus including a storage unit that stores and associates processing content instructing imaging with
The information processing apparatus is
When the approach direction of the object that has entered the projection plane with respect to the projection plane is associated with the processing content that instructs the storage unit to perform imaging, the imaging device causes the image data including the object to be captured. An imaging control step for controlling imaging;
An information processing apparatus control method comprising: an image data storage step of storing image data captured by the imaging apparatus.
前記情報処理装置を、
前記投影面上に進入したオブジェクトの当該投影面に対する進入方向が、前記記憶手段に撮像を指示する処理内容と紐づいている場合に、前記オブジェクトを含む画像データが撮像されるよう前記撮像装置による撮像を制御する撮像制御手段と、
前記撮像装置で撮像された画像データを保存する画像データ保存手段
として機能させることを特徴とするプログラム。 An information processing apparatus that is communicably connected to a projection apparatus that projects projection data and an imaging apparatus that images a projection plane on which the projection data is projected, and an object approach direction with respect to the projection plane and the imaging apparatus A program that can be executed by an information processing apparatus including a storage unit that stores and associates processing contents instructing imaging with
The information processing apparatus;
When the approach direction of the object that has entered the projection plane with respect to the projection plane is associated with the processing content that instructs the storage unit to perform imaging, the imaging device causes the image data including the object to be captured. Imaging control means for controlling imaging;
A program that functions as an image data storage unit that stores image data captured by the imaging apparatus.
前記投影面上に進入したオブジェクトの当該投影面に対する進入方向が、前記記憶装置に撮像を指示する処理内容と紐づいている場合に、前記オブジェクトを含む画像データが撮像されるよう前記撮像装置による撮像を制御する撮像制御手段と、
前記撮像装置で撮像された画像データを保存する画像データ保存手段と
を備えることを特徴とする情報処理システム。 A projection apparatus that projects projection data; an information processing apparatus that is communicably connected to an imaging apparatus that captures a projection plane on which the projection data is projected; an object entry direction with respect to the projection plane; and the imaging apparatus An information processing system including a storage device that associates and stores processing contents instructing imaging;
When the approach direction of the object that has entered the projection plane with respect to the projection plane is associated with the processing content that instructs the storage device to perform imaging, the imaging device causes the image data including the object to be captured. Imaging control means for controlling imaging;
An information processing system comprising: image data storage means for storing image data captured by the imaging device.
前記情報処理システムが、
前記投影面上に進入したオブジェクトの当該投影面に対する進入方向が、前記記憶装置に撮像を指示する処理内容と紐づいている場合に、前記オブジェクトを含む画像データが撮像されるよう前記撮像装置による撮像を制御する撮像制御ステップと、
前記撮像装置で撮像された画像データを保存する画像データ保存ステップと
を備えることを特徴とする情報処理システムの制御方法。 A projection apparatus that projects projection data; an information processing apparatus that is communicably connected to an imaging apparatus that captures a projection plane on which the projection data is projected; an object entry direction with respect to the projection plane; and the imaging apparatus A control method of an information processing system including a storage device that associates and stores processing contents instructing imaging,
The information processing system is
When the approach direction of the object that has entered the projection plane with respect to the projection plane is associated with the processing content that instructs the storage device to perform imaging, the imaging device causes the image data including the object to be captured. An imaging control step for controlling imaging;
An information processing system control method comprising: an image data storage step of storing image data captured by the imaging device.
前記情報処理システムを、
前記投影面上に進入したオブジェクトの当該投影面に対する進入方向が、前記記憶装置に撮像を指示する処理内容と紐づいている場合に、前記オブジェクトを含む画像データが撮像されるよう前記撮像装置による撮像を制御する撮像制御手段と、
前記撮像装置で撮像された画像データを保存する画像データ保存手段
として機能させることを特徴とするプログラム。 A projection apparatus that projects projection data; an information processing apparatus that is communicably connected to an imaging apparatus that captures a projection plane on which the projection data is projected; an object entry direction with respect to the projection plane; and the imaging apparatus A program that can be executed by an information processing system including a storage device that associates and stores processing contents instructing imaging;
The information processing system;
When the approach direction of the object that has entered the projection plane with respect to the projection plane is associated with the processing content that instructs the storage device to perform imaging, the imaging device causes the image data including the object to be captured. Imaging control means for controlling imaging;
A program that functions as an image data storage unit that stores image data captured by the imaging apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015217359A JP6115615B2 (en) | 2013-10-08 | 2015-11-05 | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013211384 | 2013-10-08 | ||
JP2013211384 | 2013-10-08 | ||
JP2015217359A JP6115615B2 (en) | 2013-10-08 | 2015-11-05 | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014118178A Division JP5835411B2 (en) | 2013-10-08 | 2014-06-06 | Information processing apparatus, control method and program thereof, and projection system, control method and program thereof |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017055220A Division JP2017152000A (en) | 2013-10-08 | 2017-03-22 | Information processing device, control method thereof and program, and projection system, control method thereof and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016027503A JP2016027503A (en) | 2016-02-18 |
JP2016027503A5 JP2016027503A5 (en) | 2016-04-07 |
JP6115615B2 true JP6115615B2 (en) | 2017-04-19 |
Family
ID=53374328
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014118178A Active JP5835411B2 (en) | 2013-10-08 | 2014-06-06 | Information processing apparatus, control method and program thereof, and projection system, control method and program thereof |
JP2015217359A Active JP6115615B2 (en) | 2013-10-08 | 2015-11-05 | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof |
JP2017055220A Pending JP2017152000A (en) | 2013-10-08 | 2017-03-22 | Information processing device, control method thereof and program, and projection system, control method thereof and program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014118178A Active JP5835411B2 (en) | 2013-10-08 | 2014-06-06 | Information processing apparatus, control method and program thereof, and projection system, control method and program thereof |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017055220A Pending JP2017152000A (en) | 2013-10-08 | 2017-03-22 | Information processing device, control method thereof and program, and projection system, control method thereof and program |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP5835411B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4838694B2 (en) * | 2006-11-28 | 2011-12-14 | 富士フイルム株式会社 | Electronic handwriting input device |
JP5560721B2 (en) * | 2010-01-12 | 2014-07-30 | セイコーエプソン株式会社 | Image processing apparatus, image display system, and image processing method |
US8532343B1 (en) * | 2010-04-16 | 2013-09-10 | Steven Jay Freedman | System for non-repudiable registration of an online identity |
-
2014
- 2014-06-06 JP JP2014118178A patent/JP5835411B2/en active Active
-
2015
- 2015-11-05 JP JP2015217359A patent/JP6115615B2/en active Active
-
2017
- 2017-03-22 JP JP2017055220A patent/JP2017152000A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP5835411B2 (en) | 2015-12-24 |
JP2015097073A (en) | 2015-05-21 |
JP2016027503A (en) | 2016-02-18 |
JP2017152000A (en) | 2017-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6504234B2 (en) | INFORMATION PROCESSING APPARATUS, PROCESSING METHOD THEREOF, AND PROGRAM | |
US8169469B2 (en) | Information processing device, information processing method and computer readable medium | |
US11620414B2 (en) | Display apparatus, display method, and image processing system | |
JP2008009572A (en) | Document processing system, document processing method, and program | |
JP2017126225A (en) | Image processing device, method and program | |
JP5939278B2 (en) | Information processing apparatus, control method and program thereof, and projection system, control method and program thereof | |
JP5830055B2 (en) | Image processing apparatus and image processing system | |
JP6115615B2 (en) | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof | |
JP6291989B2 (en) | Content display device and control program for content display device | |
JP7398945B2 (en) | Augmented reality document editing method, program and system | |
JP5999236B2 (en) | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
JP6083158B2 (en) | Information processing system, information processing apparatus, and program | |
JP6070795B2 (en) | Information processing apparatus, control method thereof, and program | |
US20190303664A1 (en) | Method and system for using whiteboard changes as interactive directives for vectorization software | |
JP2010079529A (en) | Information processor, information processing method, program therefor and recording medium | |
JP6705988B2 (en) | Information processing system, control method thereof, and program | |
JP6149812B2 (en) | Information processing system, control method and program thereof, and information processing apparatus, control method and program thereof | |
JP6065080B2 (en) | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
JP6634820B2 (en) | Information processing apparatus, control method thereof, and program | |
JP2017073124A (en) | Information processing apparatus, control method thereof, and program | |
JP7331578B2 (en) | Display device, image display method, program | |
CN109582163A (en) | The intercept method of area image | |
JP7147334B2 (en) | Shared terminal, communication system, display method, and program | |
US9389778B2 (en) | Image capturing method of touch display module and electronic device | |
JP2022056262A (en) | Information processing apparatus, information processing method, program, and information processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160219 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161004 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161101 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6115615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |