JP6191519B2

JP6191519B2 - 取引システム及び取引装置

Info

Publication number: JP6191519B2
Application number: JP2014058453A
Authority: JP
Inventors: 悠介柴崎
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2014-03-20
Filing date: 2014-03-20
Publication date: 2017-09-06
Anticipated expiration: 2034-03-20
Also published as: JP2015184762A; WO2015141051A1

Description

この発明は、取引システム及び取引装置に関し、例えば、ＡＴＭ（ＡｕｔｏｍａｔｅｄＴｅｌｌｅｒＭａｃｈｉｎｅ）を備える取引システムに関する。

従来からＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ（以下、ＡＲ）を用いた技術は、各産業の様々な技術に活用されてきた。ＡＲとは、現実の風景にデジタル合成等の情報を重ね合わせる技術のことである。

ＡＲ技術を用いたシステムでは、重ね合わせる先となる現実風景の特定方法が２つ存在する。第１の方法はＧＰＳ等を利用した位置情報による特定方法であり、第２の方法はカメラによる画像解析を用いた特定方法である。さらにカメラによる画像解析の中でも、コンピュータが認識可能な「マーカー」と呼ばれる２次元データを目印に情報を付加する方法と、実際の物体や図形等を画像認識して情報を付加する方法が存在する。

そして、従来、ＡＴＭ等の取引装置においてもＡＲを利用した暗証番号のセキュリティ技術も存在する。現実風景の特定方法として位置情報を利用する。位置情報を元に、重ねあわせる先となるＡＴＭを特定する。暗証番号入力画面であっても、ＡＴＭの顧客操作画面上に暗証番号入力ボタンは表示されない。表示の代わりに、ＡＴＭ利用者が取り付けているヘッドマウントディスプレイを通して仮想的なボタンが重ねあわせて表示される。利用者は重ねあわせられた映像を利用してＡＴＭの顧客操作画面にタッチして入力を行う。

特開２０１２−１７４２０８号公報

しかしながら、特許文献１の記載技術では、実際のＡＴＭ画面には何の表示もないため、操作者から見ると正しいキーが押されているかの判断ができないため、操作間違い（押下するキーの間違い）が発生しやすいという問題がある。ＡＴＭでは暗証番号で一定回数誤操作をする取引が停止してしまったり、金額入力を誤操作してしまう等、操作間違いに伴う顧客の影響が大きい。

そのため、拡張現実を表示する端末装置を用いて顧客の取引に係る操作を支援することができる取引システム及び取引装置が望まれている。

第１の本発明は、操作者と取引を行う取引装置と、撮像手段と上記撮像手段により取得した画像を表示する表示部を備えた端末装置とを有する取引システムにおいて、（１）上記取引装置は、上記操作者の操作を受付けるとともに、取引に関する情報を表示する操作画面を提示するものであって、少なくとも上記操作画面上で操作を受付け可能なオブジェクトに、上記端末装置に表示するコンテンツを識別するためのタグデータが符号化された符号化画像を付することが可能な操作画面提示手段を備え、（２）上記端末装置は、（２−１）コンテンツのデータを保持するコンテンツ保持手段と、（２−２）上記撮像手段が撮像した画像を解析して前記符号化画像が検出された場合、当該符号化画像に対応するコンテンツのデータを上記コンテンツ保持手段が保持したデータから取得し、上記撮像手段が撮像した画像に取得したコンテンツの画像を重ね合わせた合成画像を上記表示部に表示させる画像処理手段を備えることを特徴とする。

第２の本発明の取引装置は、操作者の操作を受付けるとともに、取引に関する情報を表示する操作画面を提示するものであって、上記操作画面上で操作を受付け可能なオブジェクトに、上記操作者が所持する端末装置に表示するコンテンツを識別するためのタグデータが符号化された符号化画像を付することが可能な操作画面提示手段を有することを特徴とする。

本発明によれば、拡張現実を表示する端末装置を用いて顧客の取引に係る操作を支援することができる取引システム及び取引装置を提供することができる。

第１の実施形態に係るＷｅｂＡＴＭシステムの全体構成について示したブロック図である。第１の実施形態に係るＷｅｂＡＰサーバの内部構成について示したブロック図である。第１の実施形態に係る顧客情報データベースサーバの内部構成について示したブロック図である。第１の実施形態に係る顧客情報データベースサーバに記憶されるデータ構成の例について示した説明図である。第１の実施形態に係るスマートフォン端末の構成例について示したブロック図である。第１の実施形態に係るスマートフォン端末の外観について示す平面図、及び底面図である。第１の実施形態に係るＡＲコンテンツダウンロードサーバの構成例について示したブロック図である。第１の実施形態に係るＷｅｂＡＴＭシステムの動作について示したシーケンス図である。第１の実施形態のＡＴＭで表示される画面の構成例について示した説明図である。第１の実施形態のスマートフォン端末で表示されるＡＲコンテンツの例について示した説明図である。第１の実施形態のスマートフォン端末で表示される合成画像の例について示した説明図である。第２の実施形態に係るＷｅｂＡＰサーバの構成例について示したブロック図である。第２の実施形態のＡＴＭで表示される画面の構成例について示した説明図である。第２の実施形態のスマートフォン端末で表示される合成画像の例について示した説明図（その１）である。第２の実施形態のスマートフォン端末で表示される合成画像の例について示した説明図（その２）である。第３の実施形態に係るＷｅｂＡＴＭシステムの全体構成について示したブロック図である。第３の実施形態に係るＡＴＭで表示される画面の構成例、及び、スマートフォン端末で表示される合成画像の構成例について示した説明図（その１）である。第３の実施形態に係るＡＴＭで表示される画面の構成例、及び、スマートフォン端末で表示される合成画像の構成例について示した説明図（その２）である。

（Ａ）第１の実施形態
以下、本発明による取引システム及び取引装置の第１の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の取引システム及び取引装置を、ＷｅｂＡＴＭシステム及びＡＴＭに適用した例について説明する。

（Ａ−１）第１の実施形態の構成
図１は、この実施形態のＷｅｂＡＴＭシステム１の全体構成について示した説明図である。

まず、ＷｅｂＡＴＭシステム１の全体概要について説明する。

ＷｅｂＡＴＭシステム１は、ＡＴＭ１０、端末装置としてのスマートフォン端末２０、顧客情報データベースサーバ３０、コンテンツ提供装置としてのＡＲコンテンツダウンロードサーバ４０、勘定系ホスト５０、及び操作画面提供装置としてのＷｅｂＡＰサーバ６０を有している。

ＷｅｂＡＴＭシステム１は、ＷｅｂＡＰサーバ６０を中心とし、ＡＴＭ１０をシンクライアント化したＡＴＭシステムである。ＷｅｂＡＴＭシステム１の根幹は、ＡＴＭ１０とＷｅｂＡＰサーバ６０と勘定系ホスト５０で構成される。

ＷｅｂＡＴＭシステム１において、ＡＴＭ１０で提供される取引用のアプリケーション（取引用の操作画面のコンテンツ）については、ＷｅｂＡＰサーバ６０に格納される。なお、ＷｅｂＡＴＭシステム１に格納されるコンテンツには、ＡＲマーカーが付されたページ（操作画面）が存在する。また、ＷｅｂＡＴＭシステム１において、取引情報は、勘定系ホスト５０からＷｅｂＡＰサーバ６０を介してＡＴＭ１０に提供される。

さらに、ＷｅｂＡＴＭシステム１において、ＡＲコンテンツは、ＡＲコンテンツダウンロードサーバ４０に格納され、通信によりスマートフォン端末２０に提供される。

ＡＲマーカー上に重ね合わせるコンテンツのデータは、ＡＲコンテンツダウンロードサーバ４０に格納される。ＡＲコンテンツダウンロードサーバ４０は、顧客の情報を管理する顧客情報データベースサーバ３０と接続している。

第１の実施形態では、ＡＲマーカー上に重ね合わせる（付する）コンテンツ（以下、「ＡＲコンテンツ」と呼ぶ）はＷｅｂＡＰサーバ６０に格納され、ＡＲコンテンツダウンロードサーバ４０を介してスマートフォン端末２０へダウンロードされる。ＡＲコンテンツをＡＲコンテンツダウンロードサーバ４０へ格納する際、ネツトワーク経由でなくても媒体等を介してオフラインで格納しても良い。そして、スマートフォン端末２０は、ＡＴＭ１０の顧客操作画面上のＡＲマーカーを目印にしてＡＲコンテンツの画像を重ね合わせて表示することができる。

次に、ＷｅｂＡＴＭシステム１を構成する各装置の内部構成の例について説明する。

まず、ＡＴＭ１０の内部構成について説明する。

ＡＴＭ１０は、装置全体を制御する制御部１１、タッチパネルディスプレイを用いて構成された操作画面提示手段としての顧客操作画面１２、挿入された通帳の処理（例えば通帳の記帳等）を行う通帳ユニット１３、挿入されたカードの処理（例えば、データ読み取り等）を行うカードユニット１４、現金の入出金を行う現金処理部１５を有している。また、ＡＴＭ１０の近傍には、コールセンターのオペレータと通話可能な電話機８０も配置されているものとする。

制御部１１は、ＣＰＵやメモリ等を含むコンピュータに、実施形態の取引プログラムをインストールすることにより構築することができる。制御部１１には、少なくとも、装置内の各構成要素を制御するためのメイン制御プログラム１１１と、Ｗｅｂブラウザ１１２を有している。Ｗｅｂブラウザ１１２は、通信によりＷｅｂＡＰサーバ６０にアクセスして、取引の操作画面に係るＷｅｂコンテンツを取得して、その操作画面を顧客操作画面１２に表示して顧客に提供する処理を行う。すなわち、ＡＴＭ１０は、アプリケーションとしてＷｅｂブラウザ１１２のみを備えるシンクライアントとして動作する構成となっている。

次に、ＷｅｂＡＰサーバ６０の内部構成について、図２を用いて説明する。

ＷｅｂＡＰサーバ６０は、ＡＴＭ１０にＷｅｂページ（取引処理に係る操作画面）を提供する操作画面データ提供手段としてのＷｅｂサーバプロセス６１と、勘定系ホスト５０と接続して取引処理に伴う情報処理（トランザクション）を協働して実行するホスト側インタフェース６２、及びＷｅｂコンテンツ（取引処理に係る操作画面）及びＡＲコンテンツのデータを記憶するためのコンテンツ記憶部６３を備えている。

コンテンツ記憶部６３には、ＡＴＭ１０に供給するためのＷｅｂページであるＡＴＭ表示用コンテンツ６４と、ＡＲコンテンツダウンロードサーバ４０を経由してスマートフォン端末２０に供給するためのＡＲコンテンツデータ６５が記憶されている。ＡＲコンテンツデータ６５には、ＡＲマーカー（タグデータを符号化した内容を含む符号化画像）を復号して得られるタグデータごとに対応するＡＲコンテンツ（画像データ、テキストデータ等のコンテンツ）のデータが含まれているものとする。

次に、図３を用いて顧客情報データベースサーバ３０の内部構成について説明する。

顧客情報データベースサーバ３０は、顧客データを管理・記憶するための顧客情報データベース記憶部３２と、データベースクライアントとしてのＡＲコンテンツダウンロードサーバ４０に対して顧客情報データベース記憶部３２のデータを提供するためのデータベースサーバプロセス３１を有している。

顧客情報データベース記憶部３２には、ＡＴＭ１０及びスマートフォン端末２０を利用する顧客の情報を管理するためのデータが記憶されている。この実施形態では、顧客情報データベース記憶部３２に記憶する情報は、図４のような内容であるものとする。

図４に示すように、顧客情報データベース記憶部３２には、顧客ごとに顧客氏名、各顧客のスマートフォン端末２０（アプリケーションのログインに用いる顧客ＩＤ）を特定するための顧客ＩＤを含む情報が記憶されているものとする。

次に、図５を用いて、スマートフォン端末２０の内部構成について説明する。

スマートフォン端末２０は、制御部２１、タッチパネルディスプレイ２２、カメラ２３、及び無線通信を行うネットワークインタフェースとしての通信部２４を有している。

制御部２１は、種々のデータ処理及び各デバイスの制御を行うものである。制御部２１は、ＣＰＵやメモリ等により構成されるコンピュータに種々の制御プログラムをインストールすることにより構成されている。この実施形態には、制御部２１を構成するコンピュータに、少なくともＡＲコンテンツを処理するためのＡＲアプリケーション２１１がインストールされているものとする。

コンテンツ保持手段及び画像処理手段としてのＡＲアプリケーション２１１は、カメラ２３により撮像された画像（以下、「カメラ撮像画像」と呼ぶ）をタッチパネルディスプレイ２２に表示すると共に、撮像した画像を解析してＡＲマーカーの有無を確認する。そして、ＡＲアプリケーション２１１は、ＡＲマーカーを検出した場合、当該ＡＲマーカーに対応するＡＲコンテンツをＡＲコンテンツダウンロードサーバ４０経由で取得し、取得したＡＲコンテンツに基づく画像（以下、「ＡＲコンテンツ画像」と呼ぶ）と、カメラ撮像画像とを重ね合わせる合成を行った画像（以下、「合成画像」と呼ぶ）を、タッチパネルディスプレイ２２に表示させる処理を行う。なお、ＡＲアプリケーション２１１が行うＡＲマーカーの検出処理や、ＡＲコンテンツ（ＡＲコンテンツ画像）の取得処理及び合成処理については種々のＡＲ技術のアプリケーションを適用することができる。

なお、ＡＲアプリケーション２１１は、予め、ＡＲコンテンツダウンロードサーバ４０から必要なＡＲコンテンツのデータをダウンロードしてキャッシュしておくようにしてもよいし、必要の都度（ＡＲマーカーを検出する都度）取得するようにしてもよい。

また、板形状のスマートフォン端末２０の一方の面にはタッチパネルディスプレイ２２が配置され（図６（ａ）参照）、他方の面（背面）には、カメラ２３が配置されている（図６（ｂ）参照）。これにより、顧客は、ＡＲマーカーを含む部分をカメラ２３で撮像しながら（スマートフォン端末２０をかざしながら）、タッチパネルディスプレイ２２の合成画像を見ることができる。

次に、ＡＲコンテンツダウンロードサーバ４０の内部構成について、図７を用いて説明する。

ＡＲコンテンツダウンロードサーバ４０は、クライアントとして動作するスマートフォン端末２０に、ＡＲコンテンツを提供するアプリケーションサーバプロセス４１を有している。ＡＲコンテンツダウンロードサーバ４０（アプリケーションサーバプロセス４１）は、スマートフォン端末２０からのログイン（顧客情報データベースサーバ３０で管理される顧客ＩＤを用いたログイン）を受付けて認証を受付け、接続を受付けるスマートフォン端末２０を管理する。そして、アプリケーションサーバプロセス４１は、ログイン中のスマートフォン端末２０からの要求（タグデータ）に応じたＡＲコンテンツを、ＷｅｂＡＰサーバ６０から取得して提供する処理を行う。ここでは、アプリケーションサーバプロセス４１は、ＡＲマーカーを復号したタグデータを取得し、取得したタグデータに対応するＡＲコンテンツを、ＷｅｂＡＰサーバ６０に要求して取得し、スマートフォン端末２０に返す処理を行う。

なお、ＡＲコンテンツダウンロードサーバ４０は、予め、ＷｅｂＡＰサーバ６０から全てのＡＲコンテンツ（コンテンツ記憶部６３に格納されたＡＲコンテンツデータ６５）をダウンロードしてキャッシュしておくようにしてもよいし、必要の都度（ＡＲコンテンツデータ６５からの要求の都度）ダウンロードするようにしてもよい。また、この実施形態では、ＡＲコンテンツのマスターデータはＷｅｂＡＰサーバ６０に格納する構成としているが、ＡＲコンテンツのマスターデータの格納位置は限定されないものであり、ＡＲコンテンツダウンロードサーバ４０に格納するようにしてもよいし、各スマートフォン端末２０にだけ格納（ＡＲアプリケーション２１１と共に格納）するようにしてもよい。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態のＷｅｂＡＴＭシステム１の動作を説明する。

まず、図８のシーケンス図を用いて、ＷｅｂＡＴＭシステム１においてＡＲコンテンツを用いた取引支援の基本的な動作について説明する。

まず、顧客により、スマートフォン端末２０においてＡＲアプリケーション２１１が立ち上げられ（Ｓ１０１）、ＡＲコンテンツダウンロードサーバ４０にログイン要求を行ったものとする（Ｓ１０２）。

そして、ＡＲコンテンツダウンロードサーバ４０は、スマートフォン端末２０からのログイン要求に基づいて、顧客情報データベースサーバ３０の顧客データと照合する処理等により認証を行い、ここでは認証が成功したものとする（Ｓ１０３）。

なお、ＡＲコンテンツダウンロードサーバ４０における認証方式については限定されないものである。また、ＡＲコンテンツダウンロードサーバ４０において、ログイン受付に際して、セキュリティ上の問題がなければ、認証処理を省略するようにしてもよい。また、ＡＲコンテンツダウンロードサーバ４０は、ログイン処理を行わずに、スマートフォン端末２０からＡＲコンテンツの要求を受付けるようにしてもよい。

そして、当該顧客（スマートフォン端末２０を所有する顧客）の操作に従ってＡＴＭ１０で取引処理が開始したものとする（Ｓ１０４）。なお、スマートフォン端末２０によるログインの処理（ステップＳ１０１〜Ｓ１０３）については、ＡＴＭ１０における取引処理開始後であってもよい。

その後、ＡＴＭ１０では、顧客との取引処理の過程で、顧客操作画面１２に表示する操作画面が遷移し、ＡＲマーカーを含む操作画面が表示されたものとする（Ｓ１０５）。

そして、顧客の操作によりスマートフォン端末２０（カメラ２３）で、顧客操作画面１２が撮像され、スマートフォン端末２０（ＡＲアプリケーション２１１）でＡＲマーカーが検出されたものとする（Ｓ１０６）。

ＡＲマーカーを検出すると、スマートフォン端末２０（ＡＲアプリケーション２１１）は、そのＡＲマーカーを画像解析してタグデータを抽出し、当該タグデータを付してＡＲコンテンツのデータ要求を、ＡＲコンテンツダウンロードサーバ４０に送信する（Ｓ１０７）。

ＡＲコンテンツのデータ要求を受信すると、ＡＲコンテンツダウンロードサーバ４０は、ＷｅｂＡＰサーバ６０から、タグデータに対応するＡＲコンテンツを取得して（Ｓ１０８）、スマートフォン端末２０に送信する（Ｓ１０９）。

ＡＲコンテンツを取得すると、スマートフォン端末２０（ＡＲアプリケーション２１１）は、そのＡＲコンテンツの画像と、カメラ撮像画像を合成した画像を、顧客操作画面１２に表示する処理を開始する（Ｓ１１０）。

次に、顧客に対してＡＴＭ１０を用いた取引（操作）を支援する具体的動作について説明する。

図９は、ＡＴＭ１０で暗証番号の入力を受付ける際に顧客操作画面１２に表示する操作画面について示している。

図１０は、ＡＴＭ１０で暗証番号の入力を受付ける際にスマートフォン端末２０のタッチパネルディスプレイ２２に表示されるＡＲコンテンツの画像について示した説明図である。本来スマートフォン端末２では、ＡＲコンテンツ画像とカメラ撮像画像とを合成した合成画像が表示されるが、図１０では説明を簡易とするためにＡＲコンテンツの画像のみを抽出して図示している。

図１１は、ＡＴＭ１０で暗証番号の入力を受付ける際にスマートフォン端末２０のタッチパネルディスプレイ２２に表示される合成画像について図示している。すなわち、図１１では、図９の操作画面を撮像したカメラ撮像画像と、図１０のＡＲコンテンツ画像を合成した合成画像がスマートフォン端末２０で表示される状態について示している。

ＡＴＭ１０（顧客操作画面１２）で表示される暗証番号入力の操作画面（数字入力画面）には、図９に示すように、０〜９の１０個の数字に対応する１０個のオブジェクト（操作可能なオブジェクト）としてのボタンＢ１００〜Ｂ１０９と、入力した桁数を表示するフィールドＦ１０１〜Ｆ１０４が配置されている。

図９に示すように、ボタンＢ１００〜Ｂ１０９には、それぞれにＡＲマーカーとして機能する画像が表示されている。図９に示すように、ボタンＢ１００〜Ｂ１０９に付されたＡＲマーカーの画像は、顧客の目から見た見掛け上は、７セグメントディスプレイの形式で、Ａ〜Ｊの記号が表示されているように見える構成となっているものとする。

したがって、ＡＴＭ１０（顧客操作画面１２）の操作画面上では、どのボタンがどの数字に対応するのか表示されてないため、顧客は、スマートフォン端末２０（タッチパネルディスプレイ２２）にＡＲコンテンツを表示して、それぞれのボタンに対応する数字を把握する必要がある。

フィールドＦ１０１〜Ｆ１０４には、顧客が暗証番号を１桁入力する毎に（１つのボタンを押下する毎に）、フィールドＦ１０１〜Ｆ１０４の順序で暗証番号を入力したことを示す「＊」の記号を表示するものとする。そして、ここでは、「＊」が表示されたフィールドには、ＡＲマーカーとして機能する画像が表示されるものとする。

本実施例の場合では、まず顧客は暗証番号の１文字目として「１」を入力するため、スマートフォン端末２０のタッチパネルディスプレイ２２に表示されたＡＲコンテンツを参照する。顧客はスマートフォン端末２０のタッチパネルディスプレイ２２に表示された「１」と対応するボタンが、ＡＴＭ１０（顧客操作画面１２）の操作画面上では「Ａ」のボタンであることを認識して、「Ａ」のボタンを押下する。その結果、ＡＴＭ１０では「Ａ」のボタンと対応する数字「１」が入力されたと判断し、Ｆ１０１に「Ａ」のボタンと同様のタグデータを符号化したＡＲマーカーの画像を表示する。このようにして、顧客はスマートフォン端末２０のタッチパネルディスプレイ２２に表示されたＡＲコンテンツを参照しながらＡＴＭ１０の顧客操作画面１２に表示されたＡＲマーカーを含むボタンを押下することで、参照番号を入力していく。

すなわち、顧客は、ＡＴＭ１０（顧客操作画面１２）の操作画面上では、各フィールドに入力された数字は認識できないが、スマートフォン端末２０（タッチパネルディスプレイ２２）にＡＲコンテンツを表示して、それぞれのフィールドに対応する数字を把握することができる。

以上のように、スマートフォン端末２０のカメラ２３で、図９に示すＡＴＭ１０（顧客操作画面１２）に操作画面が撮像されると、タッチパネルディスプレイ２２に表示されるＡＲコンテンツは、例えば図１０のようになる。また、このとき、タッチパネルディスプレイ２２に表示される合成画像は、図１１のようになる。

図１０、図１１に示すように、タッチパネルディスプレイ２２では、ＡＴＭ１０側のボタンＢ１００〜Ｂ１０９に重なる位置に、ＡＲコンテンツの画像Ｇ１００〜Ｇ１０９が表示される。また、図１０、図１１に示すように、タッチパネルディスプレイ２２では、ＡＴＭ１０側のフィールドＦ１０１〜Ｆ１０４に重なる位置に、入力された数字（番号）を表示するためのフィールドＦ２０１〜Ｆ２０４が表示されている。なお、図９では２桁のみ暗証番号が入力された状態を示しているので、図１０、図１１でも２ケタ分の番号のみ番号が表示された状態となっている。

ＡＴＭ１０（顧客操作画面１２）で表示するボタンＢ１００〜Ｂ１０９については、どのボタンがどの数字に対応するかはランダムとしてもよいが、各ボタンに表示する画像は、当該ボタンに対応する数字に対応するＡＲマーカーである必要がある。例えば、図９において７セグメントディスプレイの形式でＡという画像が付されたボタンＢ１０１は、「１」という番号を入力可能なボタンであるため、ボタンＢ１０１に付された画像には「１」に対応するＡＲコンテンツのタグデータをＡＲマーカーとする必要がある。これにより、スマートフォン端末２０（ＡＲアプリケーション２１１）では、撮像したＡＲマーカーに対応するＡＲコンテンツ（各ボタンの画像データ）を取得して、タッチパネルディスプレイ２２に表示することができる。

以上のように、ＷｅｂＡＴＭシステム１では、ＡＴＭ１０側には暗証番号のキーや入力内容を表示せずに、ＡＲコンテンツとしてスマートフォン端末２０側に表示することができる。すなわち、スマートフォン端末２０では、ＡＲマーカーに重ねあわせて、暗証番号の仮想的な画像を表示することで、顧客に、ＡＲマーカー（ＡＲタグ）をボタンとして押下させることができる。

なお、スマートフォン端末２０（ＡＲアプリケーション２１１）は、最初に図１１のように、ＡＲコンテンツを表示した状態となったときに、所定時間又は画面がタッチされるまでの間、表示する合成画像を静止した状態とするようにしてもよい。これにより、顧客は、スマートフォン端末２０をＡＴＭ１０かざしたまま暗証番号を入力するという態勢を続ける必要がなくなるので、顧客の利便性が高くなる。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

（Ａ−３−１）ＡＴＭ１０の顧客操作画面１２では、暗証番号入力（数字入力）を受付ける際に、ＡＴＭ１０側の操作ボタンにはＡＲマーカーのみを付して表示し、各操作ボタンに対応する数字はスマートフォン端末２０側にＡＲコンテンツとして表示する。また、ＡＴＭ１０の顧客操作画面１２では、入力済みの番号（数字）についてＡＲマーカー（「＊」の記号をダミーとして付した画像）のみを表示し、入力された数字についてはスマートフォン端末２０側にＡＲコンテンツとして表示する。これにより、ＡＴＭ１０に入力される暗証番号を、顧客以外の他人に覗き見される可能性が抑制される。

なお、説明の都合上、表示するＡＲマーカーの一例としてアルファベット記号を用いたが、ＡＲマーカーの形状はこれに限らず、例えば不規則な図形や模様とすることで、ＡＲマーカーに対応付けられた数字との関係性をより難解なものにすることができ、顧客以外の第三者に覗き見される可能性を抑制することができる。

特に、ＡＴＭの表示画面は様々な人が操作できるように、低めの位置に設けられるため、後方から覗き見される可能性があるため、ＡＴＭ１０とスマートフォン端末２０を連携させて入力の支援を行うことは、顧客にとって利便性が高い。

（Ａ−３−２）ところで、位置情報を利用した現実風景の特定方法では、顧客操作画面へ正確に仮想的なボタン配置をすることはできない。また、ＡＴＭ端末にＧＰＳを外部センサとして取り付け、ＡＴＭ端末と直接繋げることはセキュリティ上大変危険である。そのため、第１の実施形態のＷｅｂＡＴＭシステム１では、ＡＲコンテンツの表示位置の特定に、位置情報ではなくＡＲマーカー（画像解析）を用いて、上述のような問題を回避している。

（Ｂ）第２の実施形態
以下、本発明による取引システム及び取引装置の第２の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の取引システム及び取引装置を、ＷｅｂＡＴＭシステム及びＡＴＭに適用した例について説明する。

（Ｂ−１）第２の実施形態の構成
第２の実施形態のＷｅｂＡＴＭシステム１Ａの全体構成についても図１を用いて示すことができる。以下では、第２の実施形態のＷｅｂＡＴＭシステム１Ａについて第１の実施形態との差異を説明する。

第１の実施形態のＷｅｂＡＴＭシステム１では、全ての顧客に対して同じＡＲコンテンツを配信する構成となっていたが、第２の実施形態では、ＡＴＭ１０で同じタグデータのＡＲマーカーが表示されていても、顧客（顧客の種別）に応じて複数パターンから選択されたＡＲコンテンツがスマートフォン端末２０に表示される構成となっている。

したがって、第２の実施形態のＷｅｂＡＰサーバ６０Ａでは、複数ＡＲコンテンツデータ６５が記憶されており、ＡＲコンテンツダウンロードサーバ４０は、顧客（顧客の種別）に応じたＡＲコンテンツデータ６５を選択し、選択したＡＲコンテンツデータ６５に含まれるＡＲコンテンツ（取得したタグデータに対応するＡＲコンテンツ）を読込んで、スマートフォン端末２０に配信することになる。

第２の実施形態では、図１２に示すように、ＷｅｂＡＰサーバ６０Ａには、２つのＡＲコンテンツデータ６５−１、６５−２が記憶されている。ここでは、ＡＲコンテンツデータ６５−１は晴眼者（健常者）向けのＡＲコンテンツが含まれており、ＡＲコンテンツデータ６５−２には聴覚障がい者向けのＡＲコンテンツが含まれているものとする。

ＡＲコンテンツダウンロードサーバ４０が顧客の種別を判定する構成については限定されないが、例えば、ＡＲアプリケーション２１１側で顧客の種別を設定可能とした構成としておき、ＡＲコンテンツダウンロードサーバ４０で、スマートフォン端末２０（ＡＲアプリケーション２１１）からのログインを受付ける際に、ＡＲアプリケーション２１１から当該顧客の種別（晴眼者であるか聴覚障がい者であるか）を識別可能なデータを取得するようにしてもよい。これにより、ＡＲコンテンツダウンロードサーバ４０では、顧客の種別に応じて、ＡＲコンテンツを取得する際の取得先（ＡＲコンテンツデータ６５−１又はＡＲコンテンツデータ６５−２）を選択することができる。

また、例えば、顧客情報データベースサーバ３０に、各顧客の種別を管理する情報も記憶しておき、ＡＲコンテンツダウンロードサーバ４０が、スマートフォン端末２０からのログイン受付時に使用したＩＤ（顧客ＩＤ）に基づいて、顧客情報データベースサーバ３０の情報（当該顧客ＩＤの顧客の種別の情報）を取得するようにしてもよい。

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態のＷｅｂＡＴＭシステム１Ａの動作を説明する。

ここでは、ＡＴＭ１０において、ＡＲコンテンツを用いて、表示中の操作画面に対する情報を付加（拡大表示）する例について説明する。

図１３〜図１５は、ＡＴＭ１０で顧客に、取引に係る情報を確認させる際に、ＡＲコンテンツを用いて取引支援（操作支援）を行う例について示した説明図である。図１３では、顧客に対して取引の実行に手数料がかかることを示すメッセージと、顧客からの確認を受付けるための確認ボタンＢ２０１が配置されている。また、図１３に示す操作画面では顧客に確認ボタンを押下させることにより、次の操作画面に遷移することができる。さらに、図１３に示す操作画面では、聴覚障害者向けのガイダンスを表示するためのボタンＢ２０２（「音声を使わないご相談窓口」と表示されたボタン）も配置されている。さらにまた、図１３に示すＡＴＭ１０の操作画面には、当該操作画面に係る情報を付加（拡大表示）するためのＡＲコンテンツのタグデータが符号化されたＡＲマーカーの画像Ｇ２０１が配置されている。

図１４、図１５は、図１３の操作画面（ＡＲマーカーの画像Ｇ２０１が表示された画面）を、スマートフォン端末２０のカメラ２３で撮像した場合にタッチパネルディスプレイ２２に表示される合成画像について示している。

図１４は、顧客の種別が晴眼者（健常者）である場合に、スマートフォン端末２０に表示される合成画像について示している。また、図１５は、顧客の種別が聴覚障がい者である場合に、スマートフォン端末２０に表示される合成画像について示している。

図１４に示すように、顧客の種別が晴眼者(健常者)の場合、スマートフォン端末２０には、ＡＲコンテンツの画像として、「ただいまのお時間の手数料は下記の通りです。当行銀行カード￥２００…」というメッセージが拡大表示された画像Ｇ３０１と、顧客に電話機８０を用いてオペレータと通話することを促す「お困りの場合は向かって左側の受話器をおとりになりご連絡ください。」というメッセージが拡大表示された画像Ｇ３０２が配置されている。

図１５に示すように、顧客の種別が聴覚障がい者の場合、スマートフォン端末２０には、ＡＲコンテンツの画像として、ボタンＢ２０２の押下を促すための「お困りの場合は、上記の音声を使わない相談窓口を押してご連絡ください」というメッセージが拡大表示された画像Ｇ４０１と、「ただいまのお時間の手数料は下記の通りです。当行銀行カード￥２００…」というメッセージが拡大表示された画像Ｇ４０２が配置されている。

以上のように、第２の実施形態のＷｅｂＡＴＭシステム１Ａでは、聴覚障がい者には、音声を用いずに取引支援（操作支援）するためのＡＲコンテンツをスマートフォン端末２０に表示（拡大表示）し、晴眼者（健常者）には、音声も用いた取引支援（操作支援）するためのＡＲコンテンツをスマートフォン端末２０に表示（拡大表示）する構成となっている。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。

（Ｂ−３−１）第２の実施形態のＷｅｂＡＴＭシステム１Ａでは、スマートフォン端末２０に、ＡＴＭ１０の顧客操作画面１２に表示されている操作画面を付加する情報を、ＡＲコンテンツとしてスマートフォン端末２０に表示（拡大表示）している。これにより、第２の実施形態では、ＡＴＭ１０の顧客操作画面１２自体に表示する情報を増やさずに（顧客操作画面１２の表示を煩雑とさせずに）、操作画面の付加情報を表示（拡大表示）させることができる。ＡＴＭは設置スペースが限られているため表示画面の大きさには限界があり、取引に関する情報を複数まとめて表示できない。例えば取引を補助する情報等はヘルプボタンを押して画面を遷移させて表示するようにしている。そこで、第２の実施形態のように、ＡＴＭ１０とスマートフォン端末２０を連携させることで、上述のような課題を解決し、顧客の取引（操作）を支援することができる。

特に、ＡＴＭにおいて画面の顧客操作画面の表示内容は簡潔明瞭である必要がある。なぜなら、表示内容は操作内容の誤認識を削減すると操作時間の短縮を両立する必要があるためである。しかし一方で情報の不足により、突然の仕様変更や複雑な表示内容の確認操作に対しては、情報の不足が発生するパターンが多々発生する。情報の不足によるコールセンターヘの問い合わせは、銀行業務を圧迫する原因となる。そこで、第２の実施形態のＷｅｂＡＴＭシステム１Ａでは、ＡＲコンテンツによる情報付加によって、ＡＴＭ１０（顧客操作画面１２）への影響を最小限にしつつ、顧客に提供する情報の拡大を実現することができる。

（Ｂ−３−２）第２の実施形態では、顧客（顧客の種別）に応じて、異なるＡＲコンテンツをスマートフォン端末２０に表示するようにしている。具体的には、第２の実施形態では、晴眼者(健常者)と聴覚障がい者とで特性に合わせたＡＲコンテンツをスマートフォン端末２０から表示するようにしている。これにより、ＷｅｂＡＴＭシステム１Ａでは、ＡＴＭ１０の顧客操作画面１２で表示する操作画面の内容を変えずに、顧客に合わせた情報の付加（ＡＲコンテンツの表示）を実現している。また、上述のように、ＷｅｂＡＴＭシステム１Ａでは、ＡＴＭ１０（顧客操作画面１２）で表示する操作画面の内容を変更せずに、ＡＲコンテンツのみを差し替えるようにしているため、ＡＴＭ１０の操作画面の構成（ＡＴＭアプリケーション）ヘの影響を少なくすることが可能となる。

（Ｃ）第３の実施形態
以下、本発明による取引システム及び取引装置の第３の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の取引システム及び取引装置を、ＷｅｂＡＴＭシステム及びＡＴＭに適用した例について説明する。

（Ｃ−１）第３の実施形態の構成
図１６は、第３の実施形態のＷｅｂＡＴＭシステム１Ｂの全体構成を示すブロック図である。

第３の実施形態のＷｅｂＡＴＭシステム１Ｂでは、システムの構成要素として、図示しないコールセンターに設置されたコールセンター端末７０が追加されている点である。また、顧客は、ＡＴＭ１０の近傍に設置された電話機８０を用いて、コールセンター端末７０のオペレータと話すことで、取引（操作）の支援を受けることができる。

そして、この実施形態では、オペレータのコールセンター端末７０に対する操作に応じて、現在ＡＴＭ１０で表示中の操作画面におけるＡＲマーカー（タグデータ）の内容を変更することができるものとする。すなわち、オペレータがコールセンター端末７０を操作し、音声・動画・テキストを利用して、顧客に取引（操作）誘導を行う場合、ＡＲコンテンツを利用することで、説明しているオブジェクト（操作画面のボタンやメッセージ等）を指し示す目的で利用することが可能である。

例えば、コールセンター端末７０では、現在ＷｅｂＡＰサーバ６０ＢからＡＴＭ１０に配信している画面と同じ画面を表示可能な構成となっているものとする。そして、ＷｅｂＡＰサーバ６０Ｂは、コールセンター端末７０からの制御命令（例えば、通信電文等を用いた制御命令）に応じて、ＡＴＭ１０に配信する操作画面上のＡＲマーカーを変更することが可能であるものとする。なお、コールセンター端末７０で、ＡＴＭ１０に配信している画面を取得する構成や、ＷｅｂＡＰサーバ６０Ｂでコールセンター端末７０からの制御に応じてＡＴＭ１０に配信する操作画面上のＡＲマーカーを変更する構成については、種々のＷｅｂアプリケーションの構成を適用することができる。

（Ｃ−２）第３の実施形態の動作
次に、以上のような構成を有する第３の実施形態のＷｅｂＡＴＭシステム１Ｂの動作を説明する。

ここでは、ＡＴＭ１０において、ＡＲコンテンツを用いて、表示中の操作画面に対する情報を付加（拡大表示）する例について図１７、図１８を用いて説明する。

図１７（ａ）は、ＡＴＭ１０の顧客操作画面１２で表示される操作画面の例について示している。図１７（ａ）の操作画面では、顧客に取引ついて手数料がかかることを示すメッセージと、顧客からの確認を受付けるための確認ボタンＢ５０１が配置されている。図１７（ａ）に示す操作画面では顧客に確認ボタンＢ５０１を押下させることにより、次の操作画面に遷移することができる。また、図１７（ａ）に示す操作画面では、聴覚障害者向けのガイダンスを表示するためのボタンＢ５０２（「音声を使わないご相談窓口」と表示されたボタン）も配置されている。また、図１７（ａ）に示すＡＴＭ１０の操作画面には、ＡＲマーカーの画像を表示するためのフィールドＦ５０１が配置されている。図１７では、フィールドＦ５０１には、７セグメントディスプレイの形式で「１」の画像が、ＡＲマーカーとして配置されている。

そして、図１７（ｂ）は、図１７（ａ）の操作画面（フィールドＦ５０１のＡＲマーカーが表示された画面）を、スマートフォン端末２０のカメラ２３で撮像した場合にタッチパネルディスプレイ２２に表示される合成画像について示している。

図１７（ｂ）では、スマートフォン端末２０（タッチパネルディスプレイ２２）にフィールドＦ５０１に表示されたＡＲマーカーの画像に対応するＡＲコンテンツの画像として、ＡＴＭ１０側の操作画面内のメッセージを指し示す矢印と、当該矢印に「こちらをご覧ください」というメッセージを付した画像Ｇ６０１が表示されている。そして、図１８（ａ）では、図１７（ａ）の操作画面で、フィールドＦ５０１に表示するＡＲマーカーが差し替えられた例（７セグメントディスプレイの形式で「２」の画像に差し替えられた例）について示している。

そして、図１８（ａ）の操作画面（フィールドＦ５０１のＡＲマーカーが表示された画面）を、スマートフォン端末２０のカメラ２３で撮像した場合にタッチパネルディスプレイ２２には、図１８（ｂ）の合成画像が表示される。

図１８（ｂ）では、スマートフォン端末２０（タッチパネルディスプレイ２２）にフィールドＦ５０１に表示されたＡＲマーカーの画像に対応するＡＲコンテンツの画像として、ＡＴＭ１０側の操作画面内の確認ボタンＢ５０１を指し示す矢印と、当該矢印に「こちらをご覧ください」というメッセージを付した画像Ｇ６０２が表示されている。

すなわち、コールセンター端末７０のオペレータは、フィールドＦ５０１内に表示するＡＲマーカーの画像を差し替えるための操作（ＷｅｂＡＰサーバ６０に対する操作制御）を行うことにより、フィールドＦ５０１に表示されるＡＲマーカーの画像の差し替えが可能となっている。したがって、コールセンター端末７０のオペレータは、図１７、図１８の操作画面で表示されたメッセージの説明をしたい場合には、フィールドＦ５０１に「１」のＡＲマーカーを表示する指示を、ＷｅｂＡＰサーバ６０に送信するようにコールセンター端末７０を操作する必要がある。また、コールセンター端末７０のオペレータは、図１７、図１８の操作画面で表示された確認ボタンＢ５０１を押下する誘導を顧客に行う場合には、フィールドＦ５０１に「２」のＡＲマーカーを表示する指示をＷｅｂＡＰサーバ６０に送信するようにコールセンター端末７０を操作する必要がある。そして、コールセンター端末７０からの指示を受けたＷｅｂＡＰサーバ６０Ｂは、ＡＲマーカー変更後の対象画面を一時的に作成し、変更対象となるＡＴＭ１０に対して、画面データのダウンロード依頼（リロード依頼）を送信する。そして、その指示を受けたＡＴＭ１０は、ＡＲマーカー変更後の対象画面をダウンロードして表示を行う。

コールセンター端末７０において、ＡＴＭ１０側の操作画面に表示されるＡＲマーカーの差し替え指示を受付けるインタフェースについては限定されないものである。たとえば、コールセンター端末７０において、図示しないキーボードに対する所定の操作や、図示しない操作画面上のボタンを押下すること等により受付けるようにしてもよい。

（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、以下のような効果を奏することができる。

ＷｅｂＡＴＭシステム１Ｂでは、コールセンター端末７０の制御に応じて、ＡＴＭ１０の顧客操作画面１２に表示されるＡＲマーカーを差し替えることが可能である。これにより、ＷｅｂＡＴＭシステム１Ｂでは、顧客の操作環境によらず、ＡＲコンテンツを利用してコールセンターのオペレータから説明されるオブジェクトを指し示す表示を行うことが可能である。

この際、ＷｅｂＡＴＭシステム１Ｂでは、ＡＴＭ１０（顧客操作画面１２）の表示内容をタイムリーに変更でき、「ＡＲマーカー」自体を可変的に使用可能であることが有用となる。なぜならば、顧客の操作環境による下記のような要件を緩和することが可能なためである。第１の要件としては、スマートフォン端末２０で表示内容の変更を行う場合、ダウンロードが必要となるため、顧客はスマートフォン端末２０の通信が可能な場所（無線通信が確立した場所）にいる必要があることである。第２の要件としては、スマートフォン端末２０側でＡＲコンテンツをダウンロードして切替える場合、コールセンター側（コールセンター端末７０側）で切り替え完了を受け取るためにはスマートフォン端末２０側からコールセンター（コールセンター端末７０）への通信処理が発生することである。ＷｅｂＡＴＭシステム１Ｂでは、一般の端末（コールセンター端末７０等）からセキュリティリスクの高い端末（ＡＴＭ１０等）への情報通信は避けるべきである。

（Ｄ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｄ−１）上記の各実施形態では、顧客情報データベースサーバ３０を配置及びＡＲコンテンツダウンロードサーバ４０を配置しているが、スマートフォン端末２０側で予めＡＲコンテンツを保持(キャッシュ)している場合には、顧客情報データベースサーバ３０を配置及びＡＲコンテンツダウンロードサーバ４０を省略する構成としてもよい。

（Ｄ−２）上記の第１、及び第２の実施形態では、ＡＴＭ１０はシンクライアントとして機能する構成として説明したが、内部に操作画面のコンテンツを備え、ＷｅｂＡＰサーバ６０を経由せずに勘定系ホスト５０に直接接続する構成としてもよい。

１…ＷｅｂＡＴＭシステム、１０…ＡＴＭ、１１…制御部、１２…顧客操作画面、１３…通帳ユニット、１４…カードユニット、１５…現金処理部、１１２…Ｗｅｂブラウザ、１１１…メイン制御プログラム、２０…スマートフォン端末、２１…制御部、２１１…ＡＲアプリケーション、２２…タッチパネルディスプレイ、２３…カメラ、２４…通信部、３０…顧客情報データベースサーバ、３１…データベースサーバプロセス、３２…顧客情報データベース記憶部、４０…ＡＲコンテンツダウンロードサーバ、４１…アプリケーションサーバプロセス、５０…勘定系ホスト、６０…ＷｅｂＡＰサーバ、６２…ホスト側インタフェース、６１…Ｗｅｂサーバプロセス、６３…コンテンツ記憶部、６４…ＡＴＭ表示用コンテンツ、６５…ＡＲコンテンツデータ。

Claims

操作者と取引を行う取引装置と、撮像手段と上記撮像手段により取得した画像を表示する表示部を備えた端末装置とを有する取引システムにおいて、
上記取引装置は、上記操作者の操作を受付けるとともに、取引に関する情報を表示する操作画面を提示するものであって、少なくとも上記操作画面上で操作を受付け可能なオブジェクトに、上記端末装置に表示するコンテンツを識別するためのタグデータが符号化された符号化画像を付することが可能な操作画面提示手段を備え、
上記端末装置は、
コンテンツのデータを保持するコンテンツ保持手段と、
上記撮像手段が撮像した画像を解析して前記符号化画像が検出された場合、当該符号化画像に対応するコンテンツのデータを上記コンテンツ保持手段が保持したデータから取得し、上記撮像手段が撮像した画像に取得したコンテンツの画像を重ね合わせた合成画像を上記表示部に表示させる画像処理手段を備える
ことを特徴とする取引システム。
上記操作画面提示手段は、それぞれ異なる数字が割り当てられた複数の操作キーを配置し、１又は複数桁の数字入力を受付ける数字入力画面を提示し、
上記数字入力画面を構成するそれぞれの操作キーには、当該操作キーの数字を示すコンテンツのタグデータを符号化した符号化画像が付されている
ことを特徴とする請求項１に記載の取引システム。
上記数字入力画面には、上記操作キーにより入力済の数字を示すコンテンツのタグデータを符号化した符号化画像が表示されていることを特徴とする請求項２に記載の取引システム。
上記操作画面提示手段が提示する操作画面に、提示中の操作画面に係る情報を拡大表示するコンテンツのタグデータを符号化した符号化画像が表示されていることを特徴とする請求項１に記載の取引システム。
上記端末装置にコンテンツのデータを提供するものであって、同じタグデータに対応する複数のコンテンツから、上記端末装置の種別に応じて選択したコンテンツを上記端末装置に提供するコンテンツ提供装置をさらに備えることを特徴とする請求項１に記載の取引システム。
上記取引装置に操作画面のデータを提供する操作画面データ提供手段と、上記操作画面提示手段により提示する操作画面に表示される符号化画像を外部装置の制御に応じて差し替える符号化画像変更受付手段とを備える操作画面提供装置をさらに備えることを特徴とする請求項１に記載の取引システム。
操作者の操作を受付けるとともに、取引に関する情報を表示する操作画面を提示するものであって、上記操作画面上で操作を受付け可能なオブジェクトに、上記操作者が所持する端末装置に表示するコンテンツを識別するためのタグデータが符号化された符号化画像を付することが可能な操作画面提示手段を有することを特徴とする取引装置。