JP5773003B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

Description

本発明は、表示制御装置、表示制御方法及びプログラムに関する。

一般顧客を対象とした、商業銀行業務を営む金融機関（商業銀行、証券会社、消費者金融業者など）の営業店における店頭の手続きでは、顧客は、まず店内に設置された記帳台で、契約申込書や払戻申込用紙など所定の記入用紙を選択し、該記入用紙に所定事項を記入する。そして、顧客は、記帳した記入用紙を窓口の受付係に直接提出し、受付係は、提出された記入用紙に従って手続きを行う。しかし、記入事項の内容や、選択した記入用紙自体が誤りだった場合は、顧客は窓口において記入事項の修正や、記入を最初からやり直さなければならず、手続きに時間がかかっていた。

このような顧客の誤りを早期に発見するため、金融機関での契約申込書などの帳票への記入において、オペレータが顧客の記入動作を監視して、帳票の記入を全て終了する前にタイムリーにガイダンスすることができる無人取引システムが提案されている（特許文献１参照）。かかる無人取引システムは、顧客端末装置と通信網とセンタ端末装置から成り、まず顧客端末装置において記入中のペン先の軌跡（ストローク）が検出され、次に検出されたストロークが通信網を介してセンタ端末装置に送信される。そして、センタ端末装置が有するディスプレイに、顧客端末装置から送信されたストロークに対応するイメージと帳票のイメージとが重ねて表示される。これにより、オペレータはセンタ端末装置のディスプレイで顧客の記入動作を監視でき、顧客の記入事項に誤りがあれば直ちにガイダンスを行なうことができる。

特開平１０−６９５６６号公報

しかし、上記無人取引システムでは、顧客の記入動作をオペレータが常に監視していなければならない。また、上記無人取引システムでは、誤りが発見された場合にガイダンスが行なわれるため、誤りを未然に防ぐことは出来ない。

このような顧客の誤りを未然に防ぐために、説明書きや記入例を示す見本が記帳台に掲示されている。しかし、掲示されている見本や説明の位置を顧客が任意に移動させることが出来ないため、見やすい位置に見本等を置くことが出来ない。また、記帳台上の透明カバーに見本が挟まれていると、見本と記入用紙を重ねて記入せざるを得ない場合もあり、顧客は見本を参照しながら記入することが出来ない。また、１台の記帳台で数名の顧客が記入する場合もあるが、見本等が人数分用意されておらず、不便であった。また、紙に印字された見本では、印字内容が古いため見本の記載内容が実際の記入用紙と異なる場合があり顧客には不便であった。

このように、記帳台において顧客が見本や説明を十分に参照することが出来ず、記入用紙の選択や記入事項の誤りが発生するという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、顧客への支援情報を顧客が見やすい位置に表示させ、記帳台（記入用紙が載置される載置台）の利便性を向上させることが可能な、新規かつ改良された表示制御装置、表示制御方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、記入用紙が載置される載置台と、第１のセンサによる検出値に基づき、前記載置台上の前記記入用紙の位置を出力する用紙位置出力部と、第２のセンサによる検出値に基づき、顧客が把持している筆記具の状態を出力する筆記具状態出力部と、前記記入用紙の位置に対する前記筆記具の状態に基づき、前記記入用紙の位置に対して前記筆記具の位置とは反対側の載置台の領域に、前記顧客が前記記入用紙に記入する際の支援情報の表示位置を決定する表示制御部と、を備える、表示制御装置が提供される。

また、前前記表示制御部は、前記記入用紙の位置に対して前記筆記具の位置とは反対側の載置台の領域に、前記支援情報を表示させてもよい。

また、前記筆記具状態出力部は、前記筆記具の状態として、前記筆記具の前記載置台上の位置を出力してもよい。

また、前記筆記具状態出力部は、前記筆記具の状態として、前記筆記具の傾きを出力してもよい。

また、前記第１のセンサとして前記載置台を撮像する撮像部を有し、前記筆記具状態出力部は、前記撮像部により撮像された画像のうち筆記具のペン先側の画像から、前記筆記具の傾きを出力してもよい。

また、前記筆記具状態出力部は、前記筆記具の状態として、前記筆記具の移動軌跡を算出し、前記表示制御部は、前記算出された筆記具の移動軌跡に基づき、支援情報の表示位置を決定してもよい。

また、前記第２のセンサは、前記筆記具から発振される超音波又は赤外線の少なくともいずれかを検知してもよい。

また、前記第１のセンサとして前記載置台を撮像する撮像部を有し、前記用紙位置出力部は、前記撮像部により撮像された画像に基づき、前記載置台上の前記記入用紙の位置を算出してもよい。

また、前記記入用紙のサイズ又は該記入用紙の識別情報に対応付けられた前記記入用紙の種別を示す種別情報と、前記撮像部により撮像された記入用紙の画像と、に基づき前記記入用紙の種別を判断する判断部を更に備え、前記表示制御部は、前記判断された記入用紙の種別に対応する支援情報を表示させてもよい。

また、前記用紙位置出力部は、前記記入用紙の位置を繰り返し算出し、前記表示制御部は、前記算出された記入用紙の位置の変化に応じて前記支援情報の表示位置を変更更してもよい。

また、前記表示制御部は、更新された支援情報を表示させてもよい。

また、前記表示制御部は、縮小、分割又はスクロールの少なくともいずれかの表示方法を用いて前記支援情報を表示させてもよい。

また、前記表示制御部は、前記支援情報を、前記載置台上の前記決定された表示位置に表示しきれないと判断した場合、前記支援情報の一部又は全部を、前記載置台上の他の領域に表示させてもよい。

また、前記表示制御部は、前記支援情報として、前記顧客が前記記入用紙に記入する際の見本情報又はヘルプ情報の少なくともいずれかを表示させてもよい。

また、前記表示制御部は、前記記入用紙内の記入を禁止する欄に、記入を禁止することを示すヘルプ情報を表示させてもよい。

また、前記載置台に設けられたスクリーンに情報を投影するプロジェクタを更に備え、前記表示制御部は、前記プロジェクタを用いて前記スクリーンに前記支援情報を表示させてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、第１のセンサによる検出値に基づき、記入用紙が載置される載置台上の前記記入用紙の位置を出力するステップと、第２のセンサによる検出値に基づき、顧客が把持している筆記具の状態を出力するステップと、前記記入用紙の位置に対する前記筆記具の状態に基づき、前記記入用紙の位置に対して前記筆記具の位置とは反対側の載置台の領域に、前記顧客が前記記入用紙に記入する際の支援情報の表示位置を決定するステップと、を含む、表示制御方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、第１のセンサによる検出値に基づき、記入用紙が載置される載置台上の前記記入用紙の位置を出力する処理と、第２のセンサによる検出値に基づき、顧客が把持している筆記具の状態を出力する処理と、前記出力された記入用紙の位置に対する前記出力された筆記具の状態に基づき、前記記入用紙の位置に対して前記筆記具の位置とは反対側の載置台の領域に、前記顧客が前記記入用紙に記入する際の支援情報の表示位置を決定する処理と、をコンピュータに実行させる、プログラムが提供される。

以上説明したように本発明によれば、顧客への支援情報を顧客が見やすい位置に表示させ、記帳台の利便性を向上させることが可能となる。

本発明の第１の実施形態に係る記帳システムの全体概略を説明するための図である。 本発明の第１の実施形態に係る記帳台装置の主要部品の配置の一例を示す外観図である。 本発明の第１の実施形態に係る記帳台装置の構成を示すブロック図である。 図３に示す制御部１２１の機能構成を示すブロック図である。 本発明の第１の実施形態に係る記帳台装置で行なわれる表示制御処理を示すタイムチャートである。 図２に示すプロジェクタで投影するスタート画像の一例を示す図である。 図２に示す赤外線カメラで撮像した画像の一例を示す図である。 本発明の第１の実施形態に係る種別情報の一例を示す図である。 本発明の第１の実施形態に係る種別情報の一例を示す図である。 本発明の第１の実施形態に係る表示制御の一例を示す図である。 本発明の第１の実施形態に係る表示制御の一例を示す図である。 本発明の第２の実施形態に係る表示制御の一例を示す図である。 本発明の第３の実施形態に係る表示制御の一例を示す図である。 本発明の第３の実施形態に係る表示制御の一例を示す図である。 本発明の第４の実施形態に係る利き手の認識の一例を示す図である。 本発明の第４の実施形態に係る利き手の認識の一例を示す図である。 本発明の第５の実施形態に係る利き手の認識の一例を示す図である。 本発明の第６の実施形態に係る表示制御の一例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

本明細書において、本発明の表示制御装置の一例として記帳台装置を用いる。また、本発明の筆記具の一例としてデジタルペン２００を用いる。また、記入用紙３００の一例として金融機関で扱われる帳票である払戻申込用紙を用いる。また、本発明の第１のセンサとして有する撮像部の一例として赤外線カメラ１０１を用いる。また、本発明の筆記具状態算出部の一例としてペン状態算出部１２１１を用いる。

＜１．第１の実施形態＞
［１−１．記帳システムの概略］
まず、図１を参照して、本発明の第１の実施形態に係る記帳システムの全体概略について説明する。図１に示すように、記帳台装置１００は、載置台１１０、赤外線カメラ１０１、プロジェクタ１０３、超音波受信部１１１、制御パソコン１２０を有する。制御パソコン１２０は、通信回路４００を介して社内情報システム４１０と接続されている。なお、図１に示す各構成の配置は一例である。例えば、赤外線カメラ１０１は、載置台１１０を撮像できるように配置されていればよい。また、プロジェクタ１０３は載置台１１０に情報を投影できるように配置されていればよい。さらに、載置台１１０には、記入用紙３００と、デジタルペン２００とが置かれている。以下、図１に示す各構成について説明する。

載置台１１０は、プロジェクタ１０３により情報が投影される、載置台１１０と一体化された（図示しない）スクリーンを有する。赤外線カメラ１０１は、載置台１１０の下方から載置台１１０を透過して撮像する。プロジェクタ１０３は、載置台１１０が有するスクリーンに情報を投影する（図２参照）。デジタルペン２００は、筆記可能とする筆記部と、超音波を発振する発振部とを備える。超音波受信部１１１は、デジタルペン２００から発振される超音波を受信する。制御パソコン１２０は、載置台１１０に投影する支援情報の表示位置を決定する制御を行なう。制御パソコン１２０は、顧客が記入用紙３００に記入する際の支援情報の表示位置を制御する機器の一例である。社内情報システム４１０は、載置台１１０に表示する支援情報や、後述する識別情報などを格納するホストコンピュータを含むシステムである。

なお、デジタルペン２００の発振部は、超音波に限られず、赤外線を発振してもよい。デジタルペン２００の発振部から超音波及び赤外線が発振される場合は、これに応じて、超音波受信部１１１及び赤外線受光部が必要である。また、デジタルペン２００の筆記部は、例えばボールペンであり、インクを吐出して記入用紙３００への筆記を可能とする。

このような記帳システムにおいて、制御パソコン１２０は、赤外線カメラ１０１で撮像した載置台１１０の画像や、超音波受信部１１１で検出したデジタルペン２００の位置に基づき、載置台１１０上の顧客が見やすい位置に、プロジェクタ１０３で支援情報を投影させる。これにより、顧客は、記帳台装置１００の載置台１１０上で記帳する際に、載置台１１０に投影された支援情報を参照することができる。

なお、赤外線カメラ１０１は、載置台１１０を撮像する撮像部に相当し、載置台上の記入用紙３００の位置を算出するための第１のセンサの一例である。また、超音波受信部１１１は、筆記具から発振される超音波又は赤外線の少なくともいずれかを検知する第２のセンサの一例である。

［１−２．記帳台装置の主要部品の配置の一例］
次に、図２を参照して記帳台装置１００の主要部品の配置の一例を説明する。図２に示すように、記帳台装置１００は箱形状を呈し、上部には超音波受信部１１１を備えた載置台１１０が配設されている。載置台１１０は、光透過性を有する部材から成り、前述したように、情報が投影されるスクリーンを備える。図２では、これらを一体とした光透過体として載置台１１０を示す。

さらに、記帳台装置１００の内部には、載置台１１０を撮像する赤外線カメラ１０１と、載置台１１０に情報を投影するプロジェクタ１０３が配設されている。また、記帳台装置１００の内部の四隅には、赤外線を発光する赤外線発光部１０２が配設されている。

図１に示し、図２に図示していない構成及びその他の構成については、光学系としての赤外線カメラ１０１及びプロジェクタ１０３に影響を及ぼさない箇所に配設されることが好ましい。

載置台１１０の領域５００は、プロジェクタ１０３により支援情報を投影可能な領域であるが、本実施形態はこれに限られない。例えば、プロジェクタ１０３の配置や性能により、載置台１１０上の領域であればどこにでも支援情報を投影可能である。

以上、図２を用いて本実施形態に係る記帳台装置の主要部品の配置について説明したが、図２に示す配置は一例であって、本実施形態はこれに限られない。例えば、超音波受信部１１１は、デジタルペン２００の超音波を受信できる箇所であればどこに配置されてもよい。

［１−３．記帳台装置の構成］
次に、図３を参照して、記帳台装置１００の主要な構成について説明する。図３のブロック図に示すように、記帳台装置１００は、載置台１１０、赤外線カメラ１０１、赤外線発光部１０２、プロジェクタ１０３、超音波受信部１１１、制御部１２１、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１２２、通信部１２３を有する。なお、制御部１２１、ＨＤＤ１２２及び通信部１２３は、記帳台装置１００が備える制御パソコン１２０の構成としてもよい。

図４に示したように、制御部１２１は、用紙位置算出部１２１０、ペン状態算出部１２１１、認識部１２１２、表示制御部１２１３、判断部１２１４の各ブロックにて示した機能構成を有する。用紙位置算出部１２１０は、赤外線カメラ１０１により載置台１１０を透過して撮像した画像に基づき、載置台１１０上の記入用紙３００の位置を算出する。具体的な算出方法の一例としては、用紙位置算出部１２１０は、載置台１１０の左上を（０．０）、右下を（１０２４．７６８）とする座標を基準として、赤外線カメラ１０１により撮像した画像から、載置台１１０上の記入用紙３００の位置座標を算出する。また、記入用紙３００の裏のマーカの種別、大きさ、位置、傾きなどから、記入用紙３００の位置を算出してもよい。

ペン状態算出部１２１１は、デジタルペン２００から発振される超音波を受信した超音波受信部１１１による検出値に基づき、デジタルペン２００の位置や傾きやペン先の移動軌跡等の、顧客が把持しているデジタルペン２００の状態を算出する。なお、ペン状態算出部１２１１は、第２のセンサによる検出値に基づき、顧客が把持している筆記具の状態を算出する筆記具状態算出部の一例である。筆記具状態算出部は、ペンのみならず、筆など一般的な筆記具の状態を算出可能である。

認識部１２１２は、用紙位置算出部１２１０で算出された記入用紙の位置に対する、ペン状態算出部１２１１で算出されたデジタルペン２００の状態に基づき、載置台１１０上の顧客の利き手を認識する。認識部１２１２による顧客の利き手の認識についての詳細は、［１−４．記帳台装置の動作］で述べる。

表示制御部１２１３は、認識部１２１２により認識された利き手に基づき、支援情報の表示位置を決定する。表示制御部１２１３は、決定した表示位置に所定の支援情報を表示させるよう、プロジェクタ１０３を制御する。ここで、支援情報とは、ヘルプ情報や見本など、顧客が記入用紙に所定事項を記入する際に記入を支援するための情報である。所定の支援情報とは、例えば、後述する判断部１２１４で判断された記入用紙の種別が複数ある場合には、種別に対応した支援情報である。

表示制御部１２１３は、ヘルプ情報として、ヘルプボタンのみを表示させ、ヘルプ情報表示の指示を検知した場合にヘルプ内容を表示させてもよい。ヘルプ情報表示の指示の検知とは、例えば、超音波受信部１１１による検出値や赤外線カメラ１０１で撮像した画像に基づいたデジタルペン２００の位置が、ヘルプボタンの表示位置と重複した場合に、ヘルプ情報表示の指示を検知してもよい。

また、表示制御部１２１３は、ヘルプ情報として、記入用紙内の記入を禁止する欄に、記入を禁止することを示す情報を表示してよい。例えば、記入禁止の文字を所定の禁止欄に投影させたり、禁止欄のみ赤く照射（赤い画像を投影）させたりしてもよい。記入用紙内の記入を禁止する欄の判断は、記入用紙の種別に応じた記入禁止欄の情報を社内情報システム４１０から取得し、撮像した記入用紙の撮像データから該当する欄の位置を判断してもよい。なお、表示制御部１２１３による表示制御の詳細は、［１−４．記帳台装置の動作］で述べる。

判断部１２１４は、記入用紙のサイズ又は記入用紙の識別情報に対応付けられた記入用紙の種別を示す種別情報と、赤外線カメラ１０１により撮像された記入用紙の画像と、に基づき、記入用紙の種別を判断する。判断部１２１４による種別判断の詳細は、［１−４．記帳台装置の動作］で述べる。

［１−４．記帳台装置の動作］
次に、図５を参照して、本実施形態に係る記帳台装置１００の動作処理について説明する。図５は、本実施形態に係る記帳台装置１００の動作処理を示すタイムチャートである。

図５において、まず、顧客が特定の記入用紙３００を選び、載置台１１０に記入用紙３００を置く（ステップ１．１）。この際、プロジェクタ１０３は、載置台１１０上に予めスタート画像を表示していてもよい。スタート画像の一例を、図６に示す。図６に示すスタート画像は載置台上に表示され、記入用紙３００の一例である帳票の配置場所を示す矢印及び「帳票」の文字を含んだ表示部分６００と、デジタルペン２００の配置場所を示す矢印及び「ペン」の文字を含んだ表示部分６０１と、顧客に動作を促すための文字を含んだ表示部分６０２を含む。これにより、顧客は、表示部分６０２の指示（「ペンを取り、記入する帳票を置いてください」）に従い、記入用紙３００を載置台１１０に置き、デジタルペンを把持する（ステップ１．２）。

次いで、赤外線カメラ１０１が記入用紙３００の裏面を撮像する（ステップ２．１）。図２に示したように、赤外線カメラ１０１は載置台１１０の下方に配置され、載置台１１０に載置された記入用紙３００の裏面を撮像することができる。赤外線カメラ１０１で撮像された画像は、制御パソコン１２０に送られる（ステップ２．２）。

次いで、制御パソコン１２０の判断部１２１４では、送られた画像に基づき記入用紙の種別を判断する（ステップ２．３）。具体的には、判断部１２１４は、記入用紙のサイズ又は記入用紙の識別情報に対応付けられた記入用紙の種別を示す種別情報と、赤外線カメラ１０１により撮像された記入用紙の画像とに基づき、記入用紙の種別を判断する。

種別情報が記入用紙のサイズに対応付けられて記憶領域に記憶されている場合には、撮像した画像から記入用紙の大きさを判定し、種別情報から、判定された記入用紙の大きさに対応する記入用紙の種別を判断する。図７Ａに示した記入用紙３００の大きさ（サイズ）がＡ４縦の場合、図８から、図７Ａに示す記入用紙の種別は「払戻申込用紙」と判断される。

種別情報が記入用紙の識別情報に対応付けて記憶領域に記憶されている場合の記入用紙３００の種別判断について図７Ａ、図７Ｂ及び図８を参照して説明する。なお、記入用紙の識別情報は、マーカ、バーコードなどの図形や、文字であってもよい。図７Ａは、赤外線カメラ１０１で記入用紙の裏面を撮像した画像の一例である。本実施形態に係る赤外線カメラ１０１は、上述したように、載置台１１０を透過して記入用紙３００の裏面を撮像する。判断部１２１４は、記入用紙３００の裏面のマーカ７１０と、図７Ｂに示す種別情報に基づき、用紙の種別を判断する。図７Ａに示した記入用紙の識別情報（マーカ７１０）の場合、図７Ｂから図７Ａに示す記入用紙の種別は、「払戻申込用紙」と判断される。

種別情報は、ＨＤＤ１２２に格納されていてもよいし、社内システム４００に含まれるホストコンピュータに格納されていてもよい。種別情報がホストコンピュータに格納されている場合は、判断部１２１４は、送られた画像から記入用紙のサイズ情報又は識別情報を取得し、取得した情報を通信部１２３を介してホストコンピュータに送信し、該送信した情報に対応する種別情報をホストコンピュータから受信してもよい。

以上に説明したように、記入用紙の裏面情報から記入用紙の種別を判断した後（図５のステップ２．３）、制御パソコン１２０は、記入用紙の種別に対応する支援情報を社内情報システム４００から取得する（ステップ２．４）。ここで、社内情報システム４００では、支援情報が最新の状態に管理されているため（更新管理）、制御パソコン１２０は、更新された支援情報を社内情報システム４００から取得できる。これにより、記帳台装置１００は、記入用紙への支援情報を最新の状態で表示することができる。

一方、顧客はデジタルペン２００を把持して操作する（ステップ３．１）。顧客が把持するデジタルペン２００からは、超音波が発振される。超音波センサ１１１は、デジタルペン２００から発振される超音波を検出する（ステップ３．２）。

次いで、超音波センサ１１０は、超音波の検出値を制御パソコン１２０に送る（ステップ３．３）。制御パソコン１２０のペン状態算出部１２１１は、超音波センサ１１０から受け取った検出値に基づき、載置台１１０上のデジタルペン２００の位置を算出する。

なお、本実施形態では、デジタルペン２００から発振される超音波の検出値に基づいてデジタルペン２００の位置を算出するが、本実施形態はこれに限られない。例えば、デジタルペン２００から赤外線（光）と超音波（音）が同時に発振され、記帳台装置が備える距離センサ及び２つの超音波センサを用い、デジタルペン２００からの赤外線を距離センサが受取ってから、２つの超音波センサがそれぞれ超音波を受取るまでの時間から、デジタルペン２００の位置を算出してもよい。

次いで、制御パソコン１２０の認識部１２１２は、記入用紙３００の位置に対するデジタルペン２００の位置に基づき、顧客の利き手を認識する（ステップ３．４）。デジタルペン２００の位置は、上述したようにペン状態算出部１２１１により算出される。また、記入用紙３００の位置は、用紙位置算出部１２１０により算出される。

ここで、認識部１２１２による利き手認識について説明する。例えば、認識部１２１２は、顧客が把持するデジタルペン２００の位置が、記入用紙の位置よりも右側にあれば右利き、左側にあれば左利きと認識する。具体的には、載置台１１０の左上を（０．０）、右下を（１０２４．７６８）とする座標を基準として、載置台１１０上の記入用紙３００のｘ座標と、デジタルペン２００のｘ座標とを比較し、顧客の利き手を認識する。ここでｘ軸は、載置台１１０の横方向の軸をいう。

例えば、記入用紙３００の左上を起点とし、かかる起点のｘ座標に記入用紙の横幅を足した数値よりも、デジタルペン２００のｘ座標が大きい場合は、右利きと認識する。また、記入用紙３００の左上を起点とし、かかる起点のｘ座標よりもデジタルペン２００のｘ座標が小さい場合は、左利きと認識する。なお、記入用紙３００の起点は任意に設定できる。起点のｘ座標に足す記入用紙の横幅の数値は、判断部１２１４で判断された記入用紙の種別に基づいてもよく、用紙位置算出部１２１０により、記入用紙３００の左上の座標と右上の座標とから算出してもよい。

次いで、表示制御部１２１３は、認識部１２１２により認識された利き手に基づき、支援情報の表示位置を、顧客が見えやすい位置に決定する（ステップ３．５）。例えば、表示制御部１２１３は、記入用紙３００の位置に対して、認識部１２１２により認識された利き手の位置とは反対側の載置台１１０の領域に、支援情報を表示する。

具体的には、図９に示すように、顧客の利き手が右利きと認識された場合は、記入用紙３００の左側の領域８０１（少なくとも領域８００と記入用紙３００が載置された領域以外の領域）の内部に、支援情報（見本情報６０３、ヘルプ情報６０４）を表示する。また、図１０に示すように、顧客の利き手が左利きと認識された場合は、記入用紙３００の右側の領域８１１（少なくとも領域８１０と記入用紙３００が載置された領域以外の領域）の内部に支援情報を表示する。

次いで、表示制御部１２１３で決定された表示位置に支援情報を表示するよう、プロジェクタ１０３に照射指示が送られる（ステップ４．１）。表示制御部１２１３が命令を受けたプロジェクタ１０３は、載置台１１０が有するスクリーンに、支援情報を投影する（ステップ４．２）。

次いで、顧客は載置台１１０上で支援情報を参照しながら記入用紙３００へ所定事項を記入する（ステップ５）。

以上説明したように、本実施形態によれば、顧客の利き手を考慮して利き手が位置しないと予測される側に、記入用紙の見本等の支援情報を表示する。この結果、支援情報の表示がペンを持つ利き手により遮られない。このため、顧客は支援情報を見ながら記入例に従い、ミスなく迅速に記入用紙に所定事項を記入することができる。また、表示される支援情報は更新されたものであるため、顧客は最新の支援情報を見ながら記入用紙に所定事項を記入することができる。

＜２．第２の実施形態＞
次に、本発明の第２の実施形態に係る記帳台装置の表示制御について図１１を参照して説明する。本実施形態では、記帳台装置の用紙位置算出部１２１０は、記入用紙３００の位置を繰り返し算出する。用紙位置算出部１２１０が繰り返し算出するタイミングは任意の所定の間隔でもよい。

用紙位置算出部１２１０が記入用紙３００の位置を繰り返し算出することにより、表示制御部１２１３は、記入用紙３００の位置の経時的変化を把握する。表示制御部１２１３は、記入用紙３００の位置の変化に応じて支援情報の表示位置を変更する。

例えば図１１の上側に示した記入用紙３００が、下側に示したように右から左へ移動すると、表示制御部１２１３は、その位置の経時的変化に基づき、見本情報６０３の表示位置を右から左に変更する。これによって、記入用紙３００が移動しても、支援情報を見やすい位置に表示することにより、顧客はミスなく記入用紙３００に必要な事項を記入する環境を維持することができる。

＜３．第３の実施形態＞
次に、本発明の第３の実施形態に係る記帳台装置の表示制御について図１２及び図１３を参照して説明する。

本実施形態に係る表示制御部１２１３は、縮小、分割又はスクロールの少なくともいずれかの表示方法を用いて、支援情報を表示させる。例えば、図１２に示すように、見本を画像６０６と画像６０７に分割して表示することができる。

このような表示制御部１２１３による縮小、分割、スクロール表示制御は、利き手と反対側の領域の広さと、表示すべき支援情報の量とに応じて制御される。

また、本実施形態に係る表示制御部１２１３は、利き手と反対側の領域に、表示すべき支援情報が表示しきれない場合は、その支援情報の一部又は全部を、載置台１１０上の他の領域に表示させることができる。例えば、図１３に示すように、顧客の利き手が右利きと判断された場合は、表示制御部１２１３は、記入用紙３００の左側の領域に支援情報を表示させるよう制御するが、ヘルプ情報６０４しか表示出来ない場合は、見本情報６０３のみ、又は、ヘルプ情報６０４と見本情報６０３の両方を記入用紙３００の右側の領域に表示させることができる。このとき、表示制御部１２１３は、赤外線カメラ１１０で撮像した画像に基づき、載置台１１０を透過して撮像された顧客の利き手を判断し、支援情報を、利き手を避けて利き手側の領域に表示させることもできる。

＜４．第４の実施形態＞
次に、本発明の第４の実施形態について図１４及び図１５を参照して説明する。上述した第１の実施形態では、認識部１２１２による顧客の利き手の認識を、記入用紙３００の位置に対するデジタルペン２００の位置で判断しているが、本実施形態では、デジタルペン２００の位置以外の同ペン２００の状態に基づき、顧客の利き手を認識する。

例えば、認識部１２１２は、図１４に示すように、デジタルペン２００の移動軌跡２１２に基づいて顧客の利き手を認識する。つまり、ペン状態算出部１２１１により、デジタルペン２００の移動軌跡２１２を算出し、用紙位置算出部１２１０により算出された記入用紙３００の位置に対するデジタルペン２００の移動軌跡２１２に基づき、顧客の利き手が判断される。具体的には、例えば、図１４のようにｘ軸に対して右側方向から左側方向にデジタルペン２００が移動した場合は、右利きと認識し、ｘ軸に対して左側方向から右側方向にデジタルペン２００が移動した場合は、左利きと認識する。

また、認識部１２１２は、図１５に示すように、記入用紙３００に対するデジタルペン２００の傾きに基づいて顧客の利き手を認識することができる。かかるデジタルペン２００の傾きは、記入用紙３００の任意の所定の軸に対する傾きθである。図１５では、記入用紙３００の長手方向（縦方向）を軸Ｏとしたときのその軸Ｏとペン２００とのなす角を傾きθとしている。

上記デジタルペン２００の傾きは、ペン状態算出部１２１１により算出される。ペン状態算出部１２１１は、顧客が把持するデジタルペン２００から発振される超音波を受信する超音波受信部１１１による検出値に基づき、顧客が把持しているデジタルペン２００の状態を算出してもよい。

また、ペン状態算出部１２１１は、赤外線カメラ１０１が載置台１１０を透過して撮像したデジタルペン２００のペン先側の画像に基づいて、デジタルペン２００の傾きを算出してもよい。この場合、ペン状態算出部１２１１は、赤外線線カメラ１０１が撮像した画像と、予めシステム４００やＨＤＤ１２２に登録されているデジタルペン２００のペン先側の画像とを比較して、撮像した画像からペン先側の画像の傾きを算出してもよい。

認識部１２１２は、このように算出した記入用紙３００の任意の所定の軸に対するデジタルペン２００の傾きθに基づき、顧客の利き手を認識する。例えば、認識部１２１２は、軸Ｏとデジタルペン２００とのなす角（傾きθ）の符号の正負により、右利き又は左利きを判断してもよい。傾きθと対応する利き手についての情報は、ＨＤＤやホストコンピュータから取得してもよいし、算出した傾きθをホストコンピュータに送信し、対応する利き手の情報をホストコンピュータから受信してもよい。

＜５．第５の実施形態＞
次に、本発明の第５の実施形態について図１６を参照して説明する。上述した第１の実施形態では、認識部１２１２による顧客の利き手の認識を、記入用紙３００の位置に対するデジタルペン２００の位置で判断しているが、本実施形態では、記入用紙３００の傾きθに基づいて、顧客の利き手を認識する。具体的には、認識部１２１２は、図１６に示すように、載置台１１０の顧客に対向する載置台１１０の縁部Ｒに対する、記入用紙３００の傾きθ’に基づいて、顧客の利き手を認識する。図１６に示すように記入用紙３００が左に傾いていれば右利きと判断し、右に傾いていれば左利きと判断する。記入用紙３００が左右いずれの方向に傾いているかについては、まず、用紙位置算出部１２１０が、赤外線カメラ１０１で撮像した画像に基づき、記入用紙の位置を算出し、次いで認識部１２１２が、用紙位置算出部１２１０で算出された記入用紙３００の位置と、載置台１１０の縁部のうち顧客に対向する縁部Ｒとから、傾きθ’の符号の正負により、顧客の利き手を認識する。

記入用紙の傾きθ’は、図１６に示すように、記入用紙の長手方向の軸Ｐと、載置台１１０の顧客に対向する縁部Ｒとの角度から求められる。記入用紙のいずれの辺を記入用紙の軸Ｐとするかについては、撮像された記入用紙に印字されている文字の縦・横や、判断部１２１４により判断された記入用紙の種別に基づく記入用紙の各辺の長さと縦・横の関係から判断してもよい。

＜６．第６の実施形態＞
次に、本発明の第６の実施形態について図１７を参照して説明する。上述した第１の実施形態では、認識部１２１２による顧客の利き手の認識を行い、表示制御部１２１３が、認識された顧客の利き手に基づき、支援情報の表示位置を決定した。一方、本実施形態では、表示制御部１２１３が、図１７に示すように、載置台１１０上の記入用紙３００の位置に基づき、記入用紙３００以外の載置台１１０上の領域のうち、記入用紙の右側の領域及び左側の領域いずれか広い領域に、支援情報の表示位置を決定する。

記入用紙の右側の領域及び左側の領域のうちいずれが広い領域であるかの判断は、例えば、記入用紙３００の両端からそれぞれ載置台１１０上の端までの各距離を比較し、いずれが広い領域であるかを判断してもよい。ここで、図１７では、載置台１１０上の端までの距離ａ、ｂを比較している。

比較の結果、図１７では距離ｂが距離ａより長いため、記入用紙３００の左側の領域８２０が右側の領域８２２より広いと判断され、左側の領域８２０に見本情報６０３が表示される。

なお、上記第１の実施形態から第６の実施形態までの各実施形態の組み合わせにより、支援情報の表示位置を決定することが可能である。

例えば、利き手認識が出来ない場合や、記入用紙の位置に対して利き手の位置とは反対側の領域に表示出来ない場合に、第６の実施形態に係る表示制御を実施してもよい。

＜７．まとめ＞
以上説明したように、本発明の各実施形態に係る記帳台装置は、見本やヘルプ情報などの支援情報を顧客の見やすい位置に表示させるため、顧客は見本やヘルプ情報などを見ながら簡単に記入用紙への記入ができる。これにより、顧客の記入用紙の選択や記入事項の誤りを未然に防ぎ、記帳台の利便性を向上させることができる。

また、支援情報を顧客の見やすい位置に表示させるため、記帳台のスペースが狭くても、顧客は支援情報を十分に参照できる。

また、本発明の実施形態によれば、記入用紙３００の位置の変化に応じて支援情報の表示位置を変更することができる。

また、本発明の実施形態によれば、縮小、分割又はスクロールの少なくともいずれかの表示方法を用いて、支援情報を表示させることができる。

また、本発明の実施形態によれば、利き手の位置と反対側の領域に表示しきれない支援情報の一部又は全部を、載置台１１０上の他の領域に表示させることができる。

また、本発明の実施形態によれば、デジタルペン２００の移動軌跡や、傾きに基づいて顧客の利き手を認識することができる。

また、本発明の実施形態によれば、記入用紙３００の傾きに基づいて顧客の利き手を認識することができる。

また、本発明の実施形態によれば、記入用紙３００の位置に基づき、記入用紙３００以外の載置台１１０上の領域のうち、記入用紙の右側の領域及び左側の領域いずれか広い領域に、支援情報の表示位置を決定することができる。

なお上記各実施形態では、本発明の第１のセンサとして有する撮像部の一例として、赤外線カメラ１０１を用いている。これにより以下のような効果がある。

（１）プロジェクタ１０３との併用
本発明の実施形態に係る記帳台装置では、載置台１１０が備えるスクリーンにプロジェクタ１０３から支援情報の投影を行なっている。したがって、プロジェクタ１０３の照射により、記入用紙３００が載置される載置台１１０の輝度は高い。このように輝度が高い環境でも、可視光線より波長が長く、一般光源やプロジェクタ照射の影響を受け難い赤外線を用いる赤外線カメラによれば、撮像した画像から記入用紙の位置や記入用紙裏のマーカなどを確実に読み取ることが出来る。

（２）載置台１１０を透過して撮像
赤外線は可視光に比べて波長が長く、散乱し難い性質がある。例えば、煙や薄い布などを透過して向こう側の物体を撮影するために最適である。本発明の実施形態に係る記帳台装置では、スクリーンの向こう側にある記入用紙（特に記入用紙裏のマーカ）などを確実に撮像するため、赤外線カメラが用いられる。

（３）眩しさの防止
撮像のための載置台１１０への照射が、顧客に眩しくないようにするため、赤外線カメラを用いる。赤外線は目に見えないため、記帳台装置に近赤外線光源を備え、載置台１１０を照射しても顧客は眩しく感じない。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記各実施形態では、金融機関に設置される記帳台装置での帳票記入場面を想定して説明したが、本発明は、病院などの受付場面や、電話会社の契約場面、保険会社の契約場面、交通機関の定期券購入場面にも応用できる。

１００ 記帳台装置
１０１ 赤外線カメラ
１０３ プロジェクタ
１１０ 載置台
１１１ 超音波受信部
１２０ 制御パソコン
１２１ 制御部
１２２ ＨＤＤ
１２３ 通信部
１２１０ 用紙位置算出部
１２１１ ペン状態算出部
１２１２ 認識部
１２１３ 表示制御部
１２１４ 判断部
２００ デジタルペン
３００ 記入用紙
３０１ 記入用紙入れ
４００ 通信回路
４１０ 社内情報システム

Claims (17)

1. 記入用紙が載置される載置台と、
   第１のセンサによる検出値に基づき、前記載置台上の前記記入用紙の位置を出力する用紙位置出力部と、
   第２のセンサによる検出値に基づき、顧客が把持している筆記具の状態を出力する筆記具状態出力部と、
   前記記入用紙の位置に対する前記筆記具の状態に基づき、前記記入用紙の位置に対して前記筆記具の位置とは反対側の載置台の領域に、前記顧客が前記記入用紙に記入する際の支援情報の表示位置を決定する表示制御部と、
   を備える、表示制御装置。
2. 前記筆記具状態出力部は、前記筆記具の状態として、前記筆記具の前記載置台上の位置を出力する、請求項１に記載の表示制御装置。
3. 前記筆記具状態出力部は、前記筆記具の状態として、前記筆記具の傾きを出力する、請求項１または２に記載の表示制御装置。
4. 前記第１のセンサとして前記載置台を撮像する撮像部を有し、
   前記筆記具状態出力部は、前記撮像部により撮像された画像のうち筆記具のペン先側の画像から、前記筆記具の傾きを出力する、請求項３に記載の表示制御装置。
5. 前記筆記具状態出力部は、前記筆記具の状態として、前記筆記具の移動軌跡を算出し、
   前記表示制御部は、前記算出された筆記具の移動軌跡に基づき、支援情報の表示位置を決定する、請求項１〜４のいずれか１項に記載の表示制御装置。
6. 前記第２のセンサは、前記筆記具から発振される超音波又は赤外線の少なくともいずれかを検知する、請求項１〜５のいずれか１項に記載の表示制御装置。
7. 前記第１のセンサとして前記載置台を撮像する撮像部を有し、
   前記用紙位置出力部は、前記撮像部により撮像された画像に基づき、前記載置台上の前記記入用紙の位置を算出する、請求項１〜６のいずれか１項に記載の表示制御装置。
8. 前記記入用紙のサイズ又は該記入用紙の識別情報に対応付けられた前記記入用紙の種別を示す種別情報と、前記撮像部により撮像された記入用紙の画像と、に基づき前記記入用紙の種別を判断する判断部を更に備え、
   前記表示制御部は、前記判断された記入用紙の種別に対応する支援情報を表示させる、請求項７記載の表示制御装置。
9. 前記用紙位置出力部は、前記記入用紙の位置を繰り返し算出し、
   前記表示制御部は、前記算出された記入用紙の位置の変化に応じて前記支援情報の表示位置を変更する、請求項１〜８のいずれか１項に記載の表示制御装置。
10. 前記表示制御部は、更新された支援情報を表示させる、請求項１〜９のいずれか１項記載の表示制御装置。
11. 前記表示制御部は、縮小、分割又はスクロールの少なくともいずれかの表示方法を用いて前記支援情報を表示させる、請求項１〜１０のいずれか１項に記載の表示制御装置。
12. 前記表示制御部は、前記支援情報を、前記載置台上の前記決定された表示位置に表示しきれないと判断した場合、前記支援情報の一部又は全部を、前記載置台上の他の領域に表示させる、請求項１〜１１のいずれか１項に記載の表示制御装置。
13. 前記表示制御部は、前記支援情報として、前記顧客が前記記入用紙に記入する際の見本情報又はヘルプ情報の少なくともいずれかを表示させる、請求項１〜１２のいずれか１項に記載の表示制御装置。
14. 前記表示制御部は、前記記入用紙内の記入を禁止する欄に、記入を禁止することを示すヘルプ情報を表示させる、請求項１３に記載の表示制御装置。
15. 前記載置台に設けられたスクリーンに情報を投影するプロジェクタを更に備え、
    前記表示制御部は、前記プロジェクタを用いて前記スクリーンに前記支援情報を表示させる、請求項１〜１４のいずれか１項に記載の表示制御装置。
16. 第１のセンサによる検出値に基づき、記入用紙が載置される載置台上の前記記入用紙の位置を出力するステップと、
    第２のセンサによる検出値に基づき、顧客が把持している筆記具の状態を出力するステップと、
    前記記入用紙の位置に対する前記筆記具の状態に基づき、前記記入用紙の位置に対して前記筆記具の位置とは反対側の載置台の領域に、前記顧客が前記記入用紙に記入する際の支援情報の表示位置を決定するステップと、
    を含む、表示制御方法。
17. 第１のセンサによる検出値に基づき、記入用紙が載置される載置台上の前記記入用紙の位置を出力する処理と、
    第２のセンサによる検出値に基づき、顧客が把持している筆記具の状態を出力する処理と、
    前記出力された記入用紙の位置に対する前記出力された筆記具の状態に基づき、前記記入用紙の位置に対して前記筆記具の位置とは反対側の載置台の領域に、前記顧客が前記記入用紙に記入する際の支援情報の表示位置を決定する処理と、
    をコンピュータに実行させる、プログラム。

Images