JP7402265B2

JP7402265B2 - 情報処理システム

Info

Publication number: JP7402265B2
Application number: JP2022065942A
Authority: JP
Inventors: 篤士湯浅
Original assignee: Hitachi Channel Solutions Corp
Current assignee: Hitachi Channel Solutions Corp
Priority date: 2021-06-28
Filing date: 2022-04-12
Publication date: 2023-12-20
Anticipated expiration: 2042-04-12
Also published as: JP2023007394A

Description

本発明は、利用者の操作による情報を処理する情報処理システムに関する。

近年、コロナ禍において、不特定多数の利用者が使用するタッチパネルに触れたくないというニーズが高まり、利用者が小売店などで決済などに使用する端末においても直接タッチパネルに触れることなく操作ができることが求められている。

非接触によりジェスチャで操作ができる電子機器が提案されている(特許文献１参照)。この電子機器は、近接センサにより検出されたユーザのジェスチャ操作に基づいて処理が可能な電子機器の構造である。

特開２０１８－５０１７５号公報

従来技術によれば、タッチパネル付ディスプレイに触れることなくジェスチャにより電子機器の操作を行うことは可能であるが、操作ボタンを含む操作画面を空間に表示する場合、近接センサを用いているので、小さく並んだ操作ボタンをユーザが操作することは困難である。しかも、従来技術では、タッチパネル付ディスプレイに表示された操作画面に加えて、非接触による操作画面の画像を操作空間内に空中画像として表示することには配慮されていない。

本発明の目的は、複数の操作ボタンを含む操作画面の画像を操作空間に空中画像として表示し、空中画像に対する非接触の操作に基づく操作情報を識別して処理することにある。

前記目的を達成するために、本発明は、複数の操作ボタンを含む操作画面の画像に関する画像情報を生成するコントローラと、略箱型に構成されて、その上部に開口による操作空間が形成された筐体と、前記筐体内に配置されて前記コントローラから前記画像情報を入力し、入力した前記画像情報に従った画像を画面上に表示すると共に、前記画像による光信号を前記筐体内に出射するディスプレイと、前記筐体の開口に相対向して前記筐体内の底部側に配置されて前記ディスプレイから出射される前記光信号を前記筐体の開口側に反射する底面反射板と、前記筐体の開口と前記底面反射板との間の前記筐体内に、前記ディスプレイの画面に対して傾斜して配置されて前記ディスプレイから前記光信号を入射し、入射した前記光信号を前記底面反射板側に反射する反射材と、前記操作空間内に向けて光を照射し、前記操作空間内に存在する物体で反射した反射光を入射し、入射した前記反射光を基に前記操作空間内に存在する前記物体の位置を検出する光学センサと、を備え、前記反射材は、前記底面反射板で反射した前記光信号を前記操作空間に向けて透過し、透過した前記光信号による画像を空中画像として前記操作空間内に結像させ、前記コントローラは、前記光学センサの検出結果を基に前記複数の操作ボタンのうち操作された操作ボタンを特定する操作情報を生成し、生成した前記操作情報に従って処理を実行することを特徴とする。

本発明によれば、複数の操作ボタンを含む操作画面の画像を操作空間に空中画像として表示し、空中画像に対する非接触の操作に基づく操作情報を識別して処理することができる。

本発明の実施例１に係る情報処理システムの構成例を示すブロック図である。本発明の実施例１に係る情報処理システムの外観を示す斜視図である。本発明の実施例１に係る空中ディスプレイモジュールの断面図であって、（ａ）は右側断面図であり、（ｂ）は前面断面図である。本発明の実施例１に係る空中ディスプレイモジュールの断面図であって、（ａ）は底面反射板凸湾曲時の断面図、（ｂ）は底面反射板凹部湾曲時の断面図、（ｃ）は底面反射板湾曲無しの時の断面図である。本発明の実施例２に係る情報処理システムの構成例を示すブロック図である。本発明の実施例２に係る情報処理システムの外観を示す斜視図である。本発明の実施例３に係る大型操作端末の構成例を示すブロック図である。本発明の実施例３に係る大型操作端末の外観を示す図であって、（ａ）は大型操作端末の外観斜視図、（ｂ）は大型操作端末の操作部の拡大部である。本発明の実施例４に係る大型操作端末の構成例を示すブロック図である。本発明の実施例５に係る大型操作端末と利用者の視覚との関係を説明するための図であって、（ａ）は前後視覚図であり、（ｂ）は左右視覚図である。本発明の実施例５に係る大型操作端末における操作ボタンの位置とセンサ反応位置との関係を説明するための説明図である。本発明の実施例５に係る大型操作端末における空中ディスプレイ部の拡大構成図である。本発明の実施例１～実施例５に適用される空中画像の表示例を示す図である。（ａ）及び（ｂ）は、本発明の他の実施例に係る空中ディスプレイモジュールの底面反射材を説明に供する略線的な断面図である。（ａ）及び（ｂ）は、本発明の他の実施例に係る空中ディスプレイモジュールの底面反射材の説明に供する正面面である。（ａ）～（ｄ）は、本発明の実施例１～６に適用される空中画像の表示例に対して操作ボタンをタッチ操作したときの画面の変化を示す図である。

以下、本発明の好適な実施の形態を、図面を参照しながら詳細に説明する。

（１）実施例１
図１は、本発明の実施例１に係る情報処理システムの構成例を示すブロック図である。図１において、小型操作端末１００とタッチレス装置２００は、例えば、情報処理システム或いは情報処理装置として構成される。小型操作端末１００は、制御部１１０と、ディルプレイ１２０及びタッチパネル１３０を含む操作パネル１４０とを備える。タッチレス装置２００は、小型操作端末１００と情報の送受信を行う装置であって、タッチレス装置制御ボックス（ＢＯＸ）２１０と、空中ディスプレイ部２４０とを備える。タッチレス装置制御ＢＯＸ２１０には、制御基板２３０とタッチレス装置制御部２２０が搭載され、空中ディスプレイ部２４０には、空中用ディスプレイ２５０と、光学式タッチセンサ２６０及びスピーカー２７０を含む空中ディスプレイモジュール４００が搭載される。

制御部１１０には、ＤＶＩ（Ｄｉｇｉｔａｌ・Ｖｉｓｕａｌ・Ｉｎｔｅｒｆａｃｅ）インタフェース１１１を介してディスプレイ１２０が接続されると共に、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ・Ｓｅｒｉａｌ・Ｂｕｓ）インタフェース１１２を介してタッチパネル１３０が接続され、さらに、ＵＳＢインタフェース１１３を介して、タッチレス装置制御ＢＯＸ２１０の中の制御基板２３０に接続される。タッチレス装置制御ＢＯＸ２１０の中の制御基板２３０には、ＵＳＢインタフェース２３１及びＡｕｄｉｏインタフェース２３２を介してタッチレス装置制御部２２０が接続され、音声信号インタフェース２３３を介して、空中ディスプレイ部２４０のスピーカー２７０が接続され、バックライト制御インタフェース２３４を介して、空中ディスプレイ部２４０の空中用ディスプレイ２５０に接続される。タッチレス装置制御部２２０には、ＨＤＭＩ（Ｈｉｇｈ・Ｄｅｆｉｎｉｔｉｏｎ・Ｍｕｌｔｉｍｅｄｉａ・Ｉｎｔｅｒｆａｃｅ）（登録商標）インタフェース２２１を介して、空中ディスプレイ部２４０の空中用ディスプレイ２５０に接続され、ＵＳＢインタフェース２２２を介して、空中ディスプレイ部２４０の光学式タッチセンサ２６０に接続される。

制御部１１０は、例えば、プロセッサ、記憶装置、及び通信装置を備える計算機（図示せず）で構成され、タッチレス装置２００を統括制御するコントローラとして機能する。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）を用いて構成される。記憶装置は、コンピュータプログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Ｒｅａｄ・Ｏｎｌｙ・Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ・Ａｃｃｅｓｓ・Ｍｅｍｏｒｙ）、及び不揮発性半導体メモリ等である。

記憶装置は、例えば、ＳＳＤ（Ｓｏｌｉｄ・Ｓｔａｔｅ・Ｄｒｉｖｅ）、ＩＣカード（Ｉｎｔｅｇｒａｔｅｄ・Ｃｉｒｃｕｉｔ・Ｃａｒｄ）、ＳＤ（Ｓｅｃｕｒｅ・Ｄｉｇｉｔａｌ）メモリカード、等で構成される。

通信装置は、ＬＡＮやインターネット等の通信手段を介した他の装置との間の通信を実現する有線方式又は無線方式の通信インタフェースである。通信装置は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ・Ｉｎｔｅｒｆａｃｅ・Ｃａｒｄ）、無線通信モジュール、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ・Ｓｅｒｉａｌ・Ｂｕｓ）モジュール、又はシリアル通信モジュール等である。

操作パネル１４０は、制御部１１０の生成による画像情報による画像を表面上に表示するディスプレイ１２０と、表示画面に対するタッチ操作に応じたタッチ操作情報をコントローラに転送するタッチパネル１３０を備える。ディスプレイ１２０は、例えば、複数の液晶表示素子を有する液晶ディスプレイ或いは液晶表示装置で構成され、画面上に各種の情報を表示する。タッチパネル１３０は、例えば、画面パネル上に複数の透明電極膜が上下に分かれて配置された抵抗膜方式のもので構成される。タッチパネル１３０は、上側の透明電極膜の一部が下側に押し込まれ、下側の透明電極膜に接触した際に、上側の透明電極膜の一部と下側の透明電極膜の一部が通電し、通電したタイミングでその位置を検出し、検出信号を制御部１１０に転送する。この際、タッチパネル１３０は、利用者がタッチパネル上をタッチする操作を行った際に、そのタッチ操作に応じたタッチ操作情報（文字などを含む情報）を制御部１１０に転送する。

制御部１１０は、例えば、タッチパネル１３０から入力されたタッチ操作情報を基に複数の操作ボタンを含む操作画面の画像に関する画像情報を生成すると共に、操作画面の画像をディスプレイ１２０に表示し、生成した画像情報をタッチレス装置制御ＢＯＸ２１０の制御基板２３０に転送する。

制御基板２３０は、制御部１１０とタッチレス装置制御部２２０との間で送受信される情報や信号を中継すると共に、制御部１１０と空中ディスプレイ部２４０との間で送受信される情報や信号を中継し、制御部１１０から転送された画像情報を受信した場合、受信した画像情報を、タッチレス装置制御部２２０に転送する。

タッチレス装置制御部２２０は、例えば、プロセッサ、記憶装置、及び通信装置を備える計算機（図示せず）で構成され、空中ディスプレイ部２４０を統括制御する補助コントローラとして機能する。タッチレス装置制御部２２０は、制御部１１０からの画像情報を受信した場合、画像情報を空中用ディスプレイ２５０に転送し、画像情報に従った画像を空中用ディスプレイ２５０の画面上に表示させる。

空中用ディスプレイ２５０は、例えば、複数の液晶表示素子を有する液晶ディスプレイ（液晶表示装置）で構成され、画像情報を受信した場合、受信した画像情報に従った画像による光信号を、利用者が操作するための操作空間（空中ディスプレイモジュール４００に形成される操作空間）に向けて出射し、操作空間内に空中画像を結像させる。操作空間内に結像される空中画像には、複数の操作ボタンを含む操作画面の画像が含まれる。

光学式タッチセンサ２６０は、操作空間内に向けて光を照射し、操作空間内に存在する物体で反射した反射光を入射し、入射した反射光を基に操作空間内に存在する物体の位置を検出する光学センサである。具体的には、光学式タッチセンサ２６０は、例えば、赤外線投光器と赤外線イメージセンサを有し、操作空間の周囲に配置されている。この際、イメージセンサから操作空間内に照射された赤外線は、操作空間内に存在する物体（利用者の指）で反射し、反射した赤外線がイメージセンサに入射する。光学式タッチセンサ２６０は、例えば、利用者の指が操作空間内に挿入された場合、その位置（座標）を検出し、検出した位置に応じた検出信号を検出結果としてタッチレス装置制御部２２０に転送する。

タッチレス装置制御部２２０は、光学式タッチセンサ２６０の検出信号に応答して、操作音を示す音声信号を生成し、生成した音声信号を、制御基板２３０を介してスピーカー２７０に転送すると共に、操作ボタンが操作されたことを示す検出信号を、制御基板２３０を介して制御部１１０に転送する。これにより、スピーカー２７０は、空中画像の中の操作ボタンが、利用者によって空中でタッチされたことを示す操作音で鳴動する。また、制御部１１０は、操作ボタンが操作されたことを示す検出信号を受信することで、空中画像の中のどの位置の操作ボタンが操作されたかを判別することができる。この際、制御部１１０は、光学式タッチセンサ２６０からの検出信号を判別し、光学式タッチセンサ２６０が検出した物体（指）の位置に応じた操作情報（どの操作ボタンが操作されたかを示す操作情報）を基に、操作ボタンの操作に応じた処理、例えば、決済の処理を実行する。

図２は、本発明の実施例１に係る情報処理システムの外観を示す斜視図である。図２において、小型操作端末１００には、ディスプレイ１２０およびタッチパネル１３０が搭載され、小型操作端末１００には、タッチレス装置制御ＢＯＸ２１０が接続され、タッチレス装置制御ＢＯＸ２１０には、空中ディスプレイ部２４０が接続される。タッチレス装置制御ＢＯＸ２１０には、制御基板２３０とタッチレス装置制御部２２０が搭載される。空中ディスプレイ部２４０には、空中用ディスプレイ２５０、光学式タッチセンサ２６０、スピーカー２７０が搭載される。

この際、タッチレス装置制御ＢＯＸ２１０と空中ディスプレイ部２４０（空中ディスプレイモジュール４００）とを分離して実装することで、タッチレス装置制御ＢＯＸ２１０の設置場所が自由になり、利用者の操作対象となる空中ディスプレイ部２４０の外形を小さくすることができる。

図３は、本発明の実施例１に係る空中ディスプレイモジュールの断面図であって、（ａ）は右側断面図であり、（ｂ）は前面断面図である。図３において、空中ディスプレイモジュール４００は、前面部４００ａ、後面部４００ｂ、左側面部４００ｃ、右側面部４００ｄ、上面部４００ｅ、底面部４００ｆを含む筐体で構成され、略直方体形状の箱型に形成されている。左側面部４００ｃと右側面部４００ｃは、それぞれ上部側が傾斜して形成されており、空中ディスプレイモジュール４００全体として前面側が低く、背面側が高く構成されている。すなわち、上面部４００ｅが傾斜面として形成されている。上面部４００ｅには、略長方形形状の開口（図示せず）が形成されている。開口の領域は、利用者が操作するための操作空間として構成されている。

前面部４００ａの内側には、空中用ディスプレイ２５０が、後面部４００ｂと相対向して配置されている。後面部４００ｂには、その上部側から底部側に亘って、スピーカー２７０、滞留部４４０が配置されている。滞留部４４０は、ネジなどで後面部４００ｂに着脱自在に固定されている。上面部４００ｅの開口の周囲には、光学式タッチセンサ２６０が配置されている。

底面部４００ｆの上側には、略長方形形状に形成された底面反射板４１０が配置されている。底面反射板４１０は、前面部４００ａから後面部４００ｂに亘って配置され、その中央部が上部側に湾曲して形成されている。底面反射板４１０の上方には、略長方形形状に形成された反射材４２０が配置されている。反射材４２０は、その一端側が上面部４００ｅの前面側に固定され、他端側が後面部４００ｂの底部側に固定され、全体として、前面側が高く、背面側が低くなる傾斜版として構成されている。例えば、反射材４２０は、略垂直方向に沿って配置された空中用ディスプレイ２５０に対して、略４５度傾斜して配置されている。反射材４２０の上方には、略長方形形状に形成されたアクリル板４３０が、反射材４２０と略平行になって配置されている。アクリル板４３０は、その一端側が上面部４００ｅの前面側に固定され、他端側が後面部４００ｂの底部側に固定され、全体として、前面側が高く、背面側が低くなる傾斜版として構成される。この際、アクリル板４３０は、筐体内のうち反射材４２０と操作空間との間に配置されて、反射材４２０を透過した光信号を操作空間に向けて透過する補助透過板として構成される。アクリル板４３０は、反射材４２０にごみなどが付着したり、利用者の指などが接触したりするのを防止すると共に、照明の反射を防止することを目的として配置されている。

この際、アクリル板４３０は、耐反射および破損や傷などを防止することを目的に耐擦傷加工されている。アクリル板４３０に落下したごみなどは、アクリル板４３０の最下部まで滑り落ち、滞留部４４０に蓄積される。滞留部４４０は、筐体の外側のうちアクリル板４３０の端部（下部）に対向した位置に着脱自在に配置されて、アクリル板４３０に落下した落下物を収納する容器として構成される。滞留部４４０に蓄積されたごみなどは、滞留部４４０の一部を定期的に取り外すことで、空中ディスプレイモジュール４００の外部に排出される。滞留部４４０の一部を取り外す作業を定期的に行うことで、滞留部４４０内を定期的に清掃することができる。左側面部４００ｃと右側面部４００ｄの内側には、略長方形形状に形成されて、操作空間からの光を反射する側面反射板４５０がそれぞれ固定されている。筐体内部の左右両側面に配置される各側面反射板４５０は、利用者の視野角を広くするための反射板として構成される。

空中用ディスプレイ２５０は、制御部１１０から転送された画像情報を受信した場合、受信した画像情報に従った画像を画面上に表示すると共に、表示された画像による光信号を反射材４２０に向けて出射する。この際、空中用ディスプレイ２５０から出射された光の一部は、矢印Ａで示すように、底面反射板４１０に向かい、底面反射板４１０で反射し、残りの光は、矢印Ｂ、Ｃで示すように、反射材４２０で反射した後、底面反射板４１０に向かい、底面反射板４１０で反射する。底面反射板４１０で反射した光は、矢印Ｄで示すように、それぞれ反射材４２０を透過した後、上面部４００ｅの上方の空間である、操作空間内に空中画像５００として結像する。この際、空中画像５００は、複数の操作ボタンを含む操作画面の画像として操作空間内に表示される。

利用者は、操作空間内に表示された空中画像５００の中の操作画面および操作ボタンを見ながら、操作ボタンを非接触で操作することができる。この際、操作空間内に表示された空中画像５００に対する視野角が各側面反射板４５０によって制限されるので、本人以外によるのぞき見が防止可能になる。

利用者が操作ボタンを非接触で操作すると、操作ボタンに対応した位置の光学式タッチセンサ２６０は、操作ボタンが操作されたことを検出し、検出信号をタッチレス装置制御部２２０、制御基板２３０を介して制御部１１０に転送する。制御部１１０は、光学式タッチセンサ２６０からの検出信号を判別し、操作ボタンの操作に応じた処理、例えば、操作ボタンの操作が、現金の自動支払いの処理や買い物による決済の処理を指示する操作であれば、これらの処理を実行する。

図４は、本発明の実施例１に係る空中ディスプレイモジュールの断面図であって、（ａ）は底面反射板凸湾曲時の断面図、（ｂ）は底面反射板凹部湾曲時の断面図、（ｃ）は底面反射板湾曲無しの時の断面図である。図４（ａ）において、底面反射板４１０の中央部が上部側に湾曲し、底面反射板４１０が凸湾曲した凸湾曲形状板となり、空中用ディスプレイ２５０からの光の一部が後面部４００ｂの内側に空中画像５１０として結像し、操作空間のうち一部の空間４００ｉに空中画像５００と重複した空中画像５１０が表示される場合、図４（ｂ）に示すように、底面反射板４１０として、その中央部が底面部４００ｆ側に湾曲した凹湾曲形状板を用いることができる。底面反射板４１０として、凹湾曲形状板を用いると、空中用ディスプレイ２５０からの光の一部が後面部４００ｂの外側に空中画像５２０として結像し、操作空間内に空中画像５００と重複した空中画像５２０が表示されるのを防止することができる。また、図４（ｃ）に示すように、底面反射板４１０として、平板状に形成された平板形状板を用いることができる。底面反射板４１０として、平板状に形成された平板形状板を用い、この底面反射板４１０を、空中用ディスプレイ２５０に対して、略直角に配置すると、空中用ディスプレイ２５０からの光は、操作空間内に空中画像５００として結像し、操作空間内に空中画像５００と重複した空中画像が表示されるのを防止することができる。なお、底面反射板４１０として凸湾曲した凸湾曲形状板を用いても、空間４００ｉに空中画像５００と重複した空中画像５１０が表示されない場合には、底面反射板４１０として凸湾曲した凸湾曲形状板を用いることもできる。

本実施例では、操作空間内に、操作画面および操作ボタンを含む空中画像５００を表示するようにしたので、利用者は、画面や機器に触れることなく、非接触で空中画像５００中の操作ボタンを操作することができる。利用者が、操作空間内に表示された空中画像５００の中の操作ボタンに対する操作を行った場合、操作ボタンが操作されたことを光学式タッチセンサ２６０が検出し、この検出結果を制御部１１０に転送する。制御部１１０は、複数の操作ボタンを含む操作画面の画像に関する画像情報を生成するに際して、操作画面に属する各操作ボタンの位置と光学式タッチセンサ２６０の検出位置とを関連づけて管理する。この際、制御部１１０は、操作空間内に挿入された物体、例えば、利用者の指を光学式タッチセンサ２６０が検出した場合、光学式タッチセンサ２６０からの検出信号を判別し、光学式タッチセンサ２６０が検出した物体（指）の位置を基に、操作画面の複数の操作ボタンのうち操作された操作ボタンを特定する操作情報（どの操作ボタンが操作されたかを示す操作情報）を生成し、生成した操作情報に従って処理、例えば、買い物による決済の処理を実行する。また、制御部１１０が、タッチレス装置制御部２２０に対して画像情報を転送した後は、タッチレス装置制御部２２０が、空中用ディスプレイ２５０に対する空中画像５００の表示処理を実行すると共に、光学式タッチセンサ２６０の検出結果の処理を実行するので、制御部１１０は、空中画像５００に対する操作が開始された場合でも、ディスプレイ１２０及びタッチパネル１３０との間における情報の送受信を継続することができる。

本実施例によれば、操作画面及び操作ボタンを含む空中画像に対する非接触の操作に基づく情報を識別して処理することができる。また、本実施例によれば、タッチレス装置制御ＢＯＸ２１０と空中ディスプレイ部２４０（空中ディスプレイモジュール４００）とを分離して実装することで、タッチレス装置制御ＢＯＸ２１０の設置場所が自由になり、利用者の操作対象となる空中ディスプレイ部２４０（空中ディスプレイモジュール４００）の外形を小さくすることができる。また、タッチレス装置２００を小型操作端末１００に組み込むことが困難である場合、タッチレス装置２００を小型操作端末１００に外部接続することで、小型操作端末１００でタッチレス装置２００を間接的に制御することができる。さらに、利用者は、タッチレスによる操作が可能となるので、ウイルスの拡散低減に寄与することが可能になる。

（２）実施例２
図５は、本発明の実施例２に係る情報処理システムの構成例を示すブロック図である。本実施例は、図５に示すように、小型操作端末１００の制御部１１０を、タッチレス装置２００の空中ディスプレイ部２４０に直接接続し、タッチレス装置２００からタッチレス装置制御ＢＯＸ２１０を取り除いたものであり、他の構成は、図１に示す実施例１のものと同様であり、同一のものには、同一符号を付して、それらの説明は、省略する。

この際、小型操作端末１００の制御部１１０には、タッチレス装置２００に属する空中ディスプレイ部２４０の光学式タッチセンサ２６０が、ＵＳＢインタフェース１１３を介して接続され、空中用ディスプレイ２５０が、ＨＤＭＩインタフェース１１４を介して接続され、スピーカー２７０が、音声信号インタフェース１１５を介して接続される。

図６は、本発明の実施例２に係る情報処理システムの外観を示す斜視図である。図６において、小型操作端末１００には、ディスプレイ１２０およびタッチパネル１３０が搭載され、空中ディスプレイ部２４０が接続される。空中ディスプレイ部２４０には、空中用ディスプレイ２５０、光学式タッチセンサ２６０、スピーカー２７０が搭載される。この際、小型操作端末１００に内蔵された制御部１１０によって空中ディスプレイ部２４０が直接制御される。

本実施例によれば、実施例１と同様の効果を奏することができると共に、小型操作端末１００の制御部１１０により、タッチレス装置２００の空中ディスプレイ部２４０を直接制御することができ、実施例１のものよりも構成の簡素化を図ることができる。

（３）実施例３
図７は、本発明の実施例３に係る大型操作端末の構成例を示すブロック図である。本実施例は、図７に示すように、情報処理システムとしての大型操作端末３００を構成するに際して、図１に示す、小型操作端末１００とタッチレス装置２００とを一体化したものであり、大型操作端末３００に属する各部の機能は、図１に示す実施例１のものと同様であり、同一のものには、同一符号を付して、それらの説明は、省略する。

この際、制御部３１０は、制御部１１０を同一の機能を有し、ディスプレイ３２０は、ディスプレイ１２０と形状は異なるが、同一の機能を有し、タッチパネル３３０は、タッチパネル１３０と形状は異なるが、同一の機能を有する。

制御部３１０には、ＤＶＩインタフェース３１１を介してディスプレイ３２０が接続されると共に、ＵＳＢインタフェース３１２を介してタッチパネル３３０が接続され、さらに、ＵＳＢインタフェース３１３を介して、制御基板２３０が接続される。制御基板２３０には、ＵＳＢインタフェース２３１及びＡｕｄｉｏインタフェース２３２を介してタッチレス装置制御部２２０が接続され、音声信号インタフェース２３３を介して、空中ディスプレイ部２４０のスピーカー２７０が接続され、バックライト制御インタフェース２３４を介して、空中ディスプレイ部２４０の空中用ディスプレイ２５０が接続される。タッチレス装置制御部２２０には、ＨＤＭＩインタフェース２２１を介して、空中ディスプレイ部２４０の空中用ディスプレイ２５０が接続され、ＵＳＢインタフェース２２２を介して、空中ディスプレイ部２４０の光学式タッチセンサ２６０が接続される。

図８は、本発明の実施例３に係る大型操作端末の外観を示す図であって、（ａ）は、大型操作端末の外観斜視図、（ｂ）は、大型操作端末の操作部の拡大部である。

図８において、大型操作端末３００は、例えば、現金自動取引装置として構成され、大型操作端末３００の操作部３６０に、操作パネル３４０と空中ディスプレイ部２４０が組み込まれる。操作部３６０は、略平板状に形成されており、操作部３６０の略中央部に、略長方形形状のディスプレイ３２０とタッチパネル３３０が配置されている。ディスプレイ３２０とタッチパネル３３０の下方の領域には、タッチレス装置制御部２２０と制御基板２３０が配置されている。ディスプレイ３２０とタッチパネル３３０の右側の領域には、略箱型形状の空中ディスプレイ部２４０が配置される。空中ディスプレイ部２４０には、空中用ディスプレイ２５０、光学式タッチセンサ２６０、スピーカー２７０が搭載される。

現金自動取引装置としての大型操作端末３００において、利用者は、タッチパネル３３０をタッチすることなく、タッチレス装置２００に対して、タッチレスの操作を行うことで、現金の自動取引を行うことができる。

本実施例によれば、実施例１と同様の効果を奏することができると共に、利用者は、タッチパネル３３０をタッチすることなく、タッチレス装置２００に対して、タッチレスの操作を行うことで、現金の自動取引を行うことができる。

（４）実施例４
図９は、本発明の実施例４に係る大型操作端末の構成例を示すブロック図である。本実施例は、図９に示すように、情報処理システムとしての大型操作端末３００を構成するに際して、図５に示す、小型操作端末１００とタッチレス装置２００とを一体化したものであり、大型操作端末３００に属する各部の機能は、図５に示す実施例２のものと同様であり、同一のものには、同一符号を付して、それらの説明は、省略する。

この際、制御部３１０は、制御部１１０と同一の機能を有し、ディスプレイ３２０は、ディスプレイ１２０と形状は異なるが、同一の機能を有し、タッチパネル３３０は、タッチパネル１３０と形状は異なるが、同一の機能を有する。

制御部３１０には、ＤＶＩインタフェース３１１を介してディスプレイ３２０が接続されると共に、ＵＳＢインタフェース３１２を介してタッチパネル３３０が接続される。さらに、制御部３１０には、ＵＳＢインタフェース３１３を介して、空中ディスプレイ部２４０の光学式タッチセンサ２６０が接続され、ＨＤＭＩインタフェース３１４を介して、空中ディスプレイ部２４０の空中用ディスプレイ２５０が接続され、音声信号インタフェース３１５を介して、空中ディスプレイ部２４０のスピーカー２７０が接続される。

本実施例によれば、実施例２と同様の効果を奏することができると共に、利用者は、タッチパネル３３０をタッチすることなく、タッチレス装置２００に対して、タッチレスの操作を行うことで、現金の自動取引を行うことができる。

（５）実施例５
図１０は、本発明の実施例５に係る大型操作端末と利用者の視覚との関係を説明するための図であって、（ａ）は、前後視覚図であり、（ｂ）は、左右視覚図である。図１０において、大型操作端末３００の空中ディスプレイ部２４０の操作空間に空中画像５００（図示せず）を表示するに際して、空中ディスプレイ部２４０の表面（空中画像５００の表面）に対して、９０°の仮想垂線上の位置Ｐ１に、利用者１０の目が位置する場合、空中ディスプレイ部２４０内の空中画像５００と利用者１０の目線との間に視差が生じることはなく、利用者１０は、期待された目の位置で空中画像５００を見ることができる。

これに対して、利用者１０の目の位置が、例えば、位置Ｐ１から位置Ｐ２に左側に距離ｄ１だけ離れると、空中画像５００と利用者１０の目線との間に視差θが生じる。この視差θは、距離ｄ１が大きくなる程、大きくなる。空中画像５００と利用者１０の目線との間に視差θが生じると、利用者１０は、空中画像５００を見て、空中画像５００の中の操作ボタン等を操作する際に、操作ボタンを認識しにくくなり、操作性が低下することがある。これは、利用者１０が認識している操作ボタンの位置と光学式タッチセンサ２６０が反応するセンサ反応位置との間にずれが生じるためである。

図１１は、本発明の実施例５に係る大型操作端末における操作ボタンの位置とセンサ反応位置との関係を説明するための説明図である。図１１において、光学式タッチセンサ２６０のセンサ反応位置が、直線Ｈ１上に存在し、空中画像５００と利用者の目線との間に生じる視差θにより、利用者が認識する操作ボタンの位置が、直線Ｈ１より上方の直線Ｈ２上にある場合、利用者が、操作ボタンのうち位置Ｖ１の部分を操作するために、指１２を、センサ反応位置である直線Ｈ１に対して、侵入角度αの侵入方向Ｄ１で操作空間内に挿入すると、指先１２が、位置Ｖ１からΔＶだけ離れた位置Ｖ２になったときに、光学式タッチセンサ２６０が反応する。空中画像５００と利用者の目線との間に視差θが生じると、侵入角度αが狭くなり、利用者が認識する操作ボタンの位置と実際の操作ボタンの位置との間にずれが生じ、利用者が、操作ボタンを操作する際の操作性が低下する。

図１２は、本発明の実施例５に係る大型操作端末における空中ディスプレイ部２４０の拡大構成図である。図１２において、空中ディスプレイ部２４０には、表示領域全体に相当する面積であって、略長方形形状のディスプレイ表示可能領域Ｒ１が設定されている。ディスプレイ表示可能領域Ｒ１に対して、ディスプレイ表示可能領域Ｒ１の中ほどに、略長方形形状の空中画像表示可能領域Ｒ２と、略長方形形状の操作ボタン表示可能領域Ｒ３が設定されている。各領域の大きさは、Ｒ１＞Ｒ２＞Ｒ３の関係に設定されている。

この際、空中ディスプレイ部２４０から出射される光信号による画像が、空中ディスプレイモジュール４００内の操作空間内に空中画像５００として結像するときの空中画像５００の表示領域と、ディスプレイ表示可能領域Ｒ１との関係は、例えば、１対１の関係に設定されている。すなわち、空中ディスプレイ部２４０に表示される画像の大きさと空中ディスプレイモジュール４００内の操作空間内に表示される空中画像５００の大きさは、１対１の関係に設定されている。

ここで、本実施例では、空中画像５００と利用者の目線との間に生じる視差θを考慮して、空中画像表示可能領域Ｒ２の上部側が、操作ボタン表示可能領域Ｒ３の上部側よりも距離Ｌ１だけ上側に拡大され、空中画像表示可能領域Ｒ２の下部側が、操作ボタン表示可能領域Ｒ３の下部側よりも距離Ｌ２だけ下部側に拡大され、空中画像表示可能領域Ｒ２の右側面側が、操作ボタン表示可能領域Ｒ３の右側面側よりも距離Ｌ３だけ右側に拡大されている。さらに、空中画像５００と利用者の目線との間に生じる視差θを考慮して、ディスプレイ表示可能領域Ｒ１の中心部を通る仮想の中心線ｃ１に対して、空中画像表示可能領域Ｒ２は、その中心部を通る仮想の中心線ｃ２が距離ｓ１だけ左側にオフセットされ、操作ボタン表示可能領域Ｒ３は、その中心部を通る仮想の中心線ｃ３が距離ｓ２だけ左側にオフセットされている。

この際、制御部１１０は、操作空間内に表示される空中画像５００に属する操作ボタンの配列範囲を光学式タッチセンサ２６０のセンサ反応範囲よりも狭い範囲として、操作画面および操作ボタンを含む画像を生成すると共に、操作空間全体の表示領域であるディスプレイ表示可能領域Ｒ１の中心に対して、空中画像を表示可能な空中画像表示可能領域Ｒ２と操作ボタンが配列される操作ボタン表示可能領域Ｒ３の中心をそれぞれ左側にオフセットして画像を生成する。

本実施例によれば、空中画像５００内に配置される操作ボタンの配列範囲（操作ボタン表示可能領域Ｒ３）よりも拡大した範囲（空中画像表示可能領域Ｒ２）を、光学式センサ２６０のセンサ反応範囲に設定すると共に、ディスプレイ表示可能領域Ｒ１の中心部に対して、空中画像表示可能領域Ｒ２と操作ボタン表示可能領域Ｒ３の中心を左側にオフセットさせることで、空中画像５００と利用者の目線との間に視差θが生じても、利用者が操作ボタンを操作する際に、操作ボタンを認識しにくくなるのを防止することができ、結果として、操作性の向上を図ることができる。本実施例における空中ディスプレイ部２４０の構成は、実施例１～実施例４のものに適用することができる。

図１３は、本発明の実施例１～実施例５に適用される空中画像の表示例を示す図である。図１３において、空中ディスプレイ部２４０の操作空間内には、利用者の操作に従って、空中画像５００ａ～５００ｅが順次表示される。各空中画像５００ａ～５００ｅには、例えば、現金自動取引の操作に必要な最低限の文字や操作ボタン等の情報が表示される。このため、利用者は、操作によって順次切り替わる空中画像５００ａ～５００ｅを見ながら、現金自動取引に関する操作を円滑に行うことができる。

（６）他の実施例
図１４および図１５は、本発明の実施例６に係る空中ディスプレイモジュールの構成例を示す。

図１４は、空中画像５００を縦方向に拡大表示する策の一例を示す。図１４（ａ）のように底面反射材４１０の長手方向を、空中画像５００と平行またはほぼ平行な状態から、図１４（ｂ）のように反射材４２０に向かう方向に凸湾曲させることにより、空中画像５００を上下方向に拡大することが可能となる。

また図１５は、空中画像５００を横方向に拡大表示する策の一例を示す。図１５（ａ）のように底面反射材４１０の幅方向を、空中画像５００と平行またはほぼ平行な状態に対して、図１５（ｂ）のように反射材４２０に向かう方向に凸湾曲させることにより、空中画像５００を左右方向に拡大することが可能となる。

図１６（ａ）～（ｄ）は、本発明の実施例１～実施例６に適用される空中画像５００の表示例に対して操作ボタンをタッチ操作した時の画面の変化を示す。空中画像５００に表示されたボタンがタッチ操作されたときに、図１６（ａ）～（ｄ）のように当該ボタンの表示色を反転したり、当該ボタンのボタンサイズを拡大したり、操作音を鳴動させることによって、利用者にそのボタンをタッチ操作したことを判りやすくすることができる。

実施例１～６の構成に含まれる光学式タッチセンサ２６０は、開口部の枠内の左右のどちらかに反射型センサを具備して指で反射されたこと、および反射した座標を検出する方式や、開口部の枠内の左右や縦横に受発光センサの発光部及び受光部を具備して指で遮られたこと、および反射した座標を検出する方式で実現する。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。

また、前述した各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記憶装置、又は、ＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）の記録媒体に格納することができる。

１００・・・小型操作端末、１１０・・・制御部、１２０・・・ディスプレイ、１３０・・・タッチパネル、１４０・・・操作パネル、２００・・・タッチレス装置、２１０・・・タッチレス装置制御ＢＯＸ、２２０・・・タッチレス装置制御部、２３０・・・制御基板、２４０・・・空中ディスプレイ部、２５０・・・空中用ディスプレイ、２６０・・・光学式タッチセンサ、２７０・・・スピーカー、３００・・・大型操作端末、３１０・・・大型操作端末制御部、３２０・・・ディスプレイ、３３０・・・タッチパネル、４００・・・空中ディスプレイモジュール、４１０・・・底面反射板、４２０・・・反射材、４３０・・・アクリル板、４４０・・・滞留部、４５０・・・側面反射材、５００・・・空中画像

Claims

複数の操作ボタンを含む操作画面の画像に関する画像情報を生成するコントローラと、
略箱型に構成されて、その上部に開口による操作空間が形成された筐体と、
前記筐体内に配置されて前記コントローラから前記画像情報を入力し、入力した前記画像情報に従った画像を画面上に表示すると共に、前記画像による光信号を前記筐体内に出射するディスプレイと、
前記筐体の開口に相対向して前記筐体内の底部側に配置されて前記ディスプレイから出射される前記光信号を前記筐体の開口側に反射する底面反射板と、
前記筐体の開口と前記底面反射板との間の前記筐体内に、前記ディスプレイの画面に対して傾斜して配置されて前記ディスプレイから前記光信号を入射し、入射した前記光信号を前記底面反射板側に反射する反射材と、
前記操作空間内に向けて光を照射し、前記操作空間内に存在する物体で反射した反射光を入射し、入射した前記反射光を基に前記操作空間内に存在する前記物体の位置を検出する光学センサと、を備え、
前記反射材は、
前記底面反射板で反射した前記光信号を前記操作空間に向けて透過し、透過した前記光信号による画像を空中画像として前記操作空間内に結像させ、
前記コントローラは、
前記光学センサの検出結果を基に前記複数の操作ボタンのうち操作された操作ボタンを特定する操作情報を生成し、生成した前記操作情報に従って処理を実行し、
前記筐体内のうち前記反射材と前記操作空間との間に配置されて、前記反射材を透過した前記光信号を前記操作空間に向けて透過する補助透過板と、
前記筐体の外側のうち前記補助透過板の端部に対向した位置に着脱自在に配置されて、前記補助透過板に落下した落下物を収納する滞留部と、を更に備え、
前記補助透過板は、
前記端部を下方にして前記反射材に対して略平行に配置されていることを特徴とする情報処理システム。
複数の操作ボタンを含む操作画面の画像に関する画像情報を生成するコントローラと、
略箱型に構成されて、その上部に開口による操作空間が形成された筐体と、
前記筐体内に配置されて前記コントローラから前記画像情報を入力し、入力した前記画像情報に従った画像を画面上に表示すると共に、前記画像による光信号を前記筐体内に出射するディスプレイと、
前記筐体の開口に相対向して前記筐体内の底部側に配置されて前記ディスプレイから出射される前記光信号を前記筐体の開口側に反射する底面反射板と、
前記筐体の開口と前記底面反射板との間の前記筐体内に、前記ディスプレイの画面に対して傾斜して配置されて前記ディスプレイから前記光信号を入射し、入射した前記光信号を前記底面反射板側に反射する反射材と、
前記操作空間内に向けて光を照射し、前記操作空間内に存在する物体で反射した反射光を入射し、入射した前記反射光を基に前記操作空間内に存在する前記物体の位置を検出する光学センサと、を備え、
前記反射材は、
前記底面反射板で反射した前記光信号を前記操作空間に向けて透過し、透過した前記光信号による画像を空中画像として前記操作空間内に結像させ、
前記コントローラは、
前記光学センサの検出結果を基に前記複数の操作ボタンのうち操作された操作ボタンを特定する操作情報を生成し、生成した前記操作情報に従って処理を実行し、
前記コントローラにより生成された前記画像情報による画像を表示画面上に表示すると共に、前記表示画面に対するタッチ操作に応じたタッチ操作情報を前記コントローラに転送する操作パネルと、
前記コントローラ、前記ディスプレイ、及び前記光学センサと情報の送受信を行う補助コントローラと、を更に備え、
前記コントローラは、
前記タッチ操作情報に応答して前記画像情報を前記補助コントローラに転送し、
前記補助コントローラは、
前記コントローラから前記画像情報を受信した場合、受信した前記画像情報を前記ディスプレイに転送し、前記光学センサから前記検出結果を受信した場合、受信した前記検出結果を前記コントローラに転送することを特徴とする情報処理システム。
複数の操作ボタンを含む操作画面の画像に関する画像情報を生成するコントローラと、
略箱型に構成されて、その上部に開口による操作空間が形成された筐体と、
前記筐体内に配置されて前記コントローラから前記画像情報を入力し、入力した前記画像情報に従った画像を画面上に表示すると共に、前記画像による光信号を前記筐体内に出射するディスプレイと、
前記筐体の開口に相対向して前記筐体内の底部側に配置されて前記ディスプレイから出射される前記光信号を前記筐体の開口側に反射する底面反射板と、
前記筐体の開口と前記底面反射板との間の前記筐体内に、前記ディスプレイの画面に対して傾斜して配置されて前記ディスプレイから前記光信号を入射し、入射した前記光信号を前記底面反射板側に反射する反射材と、
前記操作空間内に向けて光を照射し、前記操作空間内に存在する物体で反射した反射光を入射し、入射した前記反射光を基に前記操作空間内に存在する前記物体の位置を検出する光学センサと、を備え、
前記反射材は、
前記底面反射板で反射した前記光信号を前記操作空間に向けて透過し、透過した前記光信号による画像を空中画像として前記操作空間内に結像させ、
前記コントローラは、
前記光学センサの検出結果を基に前記複数の操作ボタンのうち操作された操作ボタンを特定する操作情報を生成し、生成した前記操作情報に従って処理を実行し、
前記コントローラ、前記ディスプレイ、及び前記光学センサと情報の送受信を行う補助コントローラと、
前記筐体に配置されて前記補助コントローラに接続されるスピーカーと、を更に備え、
前記補助コントローラは、
前記コントローラから前記画像情報を受信した場合、受信した前記画像情報を前記ディスプレイに転送し、前記光学センサから前記検出結果を受信した場合、受信した前記検出結果を基にタッチ操作音を示す音声信号を生成し、生成した前記音声信号で前記スピーカーを鳴動させることを特徴とする情報処理システム。
請求項１～３の何れか１項に記載の情報処理システムであって、
前記コントローラは、
前記操作空間内に表示される前記空中画像に属する前記操作ボタンの配列範囲を前記光学センサのセンサ反応範囲よりも狭い範囲として前記画像を生成すると共に、前記操作空間全体の表示領域を示すディスプレイ表示可能領域の中心に対して、前記空中画像を表示可能な空中画像表示可能領域と前記操作ボタンが配列される操作ボタン表示可能領域の中心を、前記ディスプレイ表示可能領域の上部から下部に亘って前記ディスプレイ表示可能領域の中心を通る仮想の中心線を基準にしてそれぞれ左側にオフセットして前記画像を生成することを特徴とする情報処理システム。
請求項１～３の何れか１項に記載の情報処理システムであって、
前記底面反射板は、
その中央部が上部側に湾曲した凸湾曲形状板、その中央部が底面側に湾曲した凹湾曲形状板、或いは全体が平板状に形成された平板形状板のうちいずれかの形状のもので構成さることを特徴とする情報処理システム。
請求項５に記載の情報処理システムであって、
前記筐体内部の左右両側面には、前記操作空間からの光を反射する側面反射板が配置されていることを特徴とする情報処理システム。
請求項３に記載の情報処理システムであって、
前記補助コントローラを搭載する制御ボックスと、
前記スピーカーと前記ディスプレイ及び前記光学センサを搭載するディスプレイモジュールとを更に備え、
前記制御ボックスと前記ディスプレイモジュールは、互いに分離して実装されることを特徴とする情報処理システム。
請求項５に記載の情報処理システムであって、
前記底面反射板の長手方向を、前記空中画像と平行またはほぼ平行な状態に対して、前記反射材に向かう方向に凸湾曲させたことを特徴とする情報処理システム。
請求項５に記載の情報処理システムであって、
前記底面反射板の幅方向を、前記空中画像と平行またはほぼ平行な状態に対して、前記反射材に向かう方向に凸湾曲させたことを特徴とする情報処理システム。
請求項３に記載の情報処理システムであって、
前記空中画像に表示された前記操作ボタンをタッチ操作した時に、当該操作ボタンの表示色を反転し、当該操作ボタンのボタンサイズを拡大し、操作音を鳴動させることを特徴とする情報処理システム。