JP7017675B2 - 非接触入力システム、方法およびプログラム - Google Patents

Description

本発明は、非接触入力技術に関する。

電気装置の起動、停止、パスワード入力などにおいて接触型のスイッチが多用されている。しかしながら、衛生用途、食品工場、高圧電気作業、現場作業などにおいては、非接触で装置の起動・停止などを行うことが望まれる場合がある。具体的には、例えば、多数の病人が触れる整理券発券装置、隔離病棟のエントランス・スイッチ、手術室の出入りドアのスイッチについては細菌の持ち込みや持ち出しを防止する必要がある。また、パスワード入力によりセキュリティを確保するシステムでは、後ろや横からの盗み見によるパスワード窃取の問題も発生している。

また、食品工業では、食品工場内への細菌の持込を防止することが必要である、さらに、高電圧作業では、高圧電源の遮断時の感電防止のためにスイッチ類を非接触で操作することが好ましい場合もあるし、また原子力施設においては、スイッチ操作を介した汚染物質の外部への流出を防止する必要もある。

このような非接触入力を可能とする技術は検討されており、例えば、特許第５，８５６，３５７号明細書（特許文献１）には、スイッチ画像を空中に結像させ、当該スイッチ画像への接触を発光ダイオードと、光センサとを使用して結像面付近に形成したグリッドを使用して、スイッチ画像への接触を判断する非接触入力装置が記載されている。

特許文献１に記載される非接触入力装置は、空中に結像したスイッチ画像への接触を、センサレイを使用して検出するため、装置が大掛かりなものとなり、また接触をセンサレイの２次元平面で検出するため、例えば異物、昆虫などをユーザによる動作と判断してしまうという誤検知が発生しやすく、また２次元平面的にスイッチングを判断するため、オンオフ位置がクリティカルなものとなるなど動作性や信頼性に問題があった。

特許第５，８５６，３５７号明細書

本発明は、動作性およびスイッチングの信頼性を向上した非接触入力技術を提供することを課題とする。

すなわち、本発明によれば、
入力要素のイメージ画像を生成する表示手段と、
前記イメージ画像を反射させることにより前記表示手段から離れた空間内に前記イメージ画像を結像させる透過型結像手段と、
前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、前記ユーザ動作に対して交差する位置で取得する赤外線センサ手段と、
前記赤外線センサ手段が取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けする手段と、
前記赤外線センサ手段が検出した前記画像を、形状、面積または曲率の少なくとも１つを使用して制限する制限手段と、
制限後の前記空間内の前記イメージ画像の３次元位置を判断し、電子装置を制御する情報処理装置と
を含み、前記対応付けする手段が、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、

（上記式中、（ｘ _ｉ 、ｙ _ｊ ）は、前記赤外線センサ上の画素位置であり、係数ａ～ｆは、位置変換行列の要素であり、（Ｘ、Ｙ、Ｚ _Ｋ ）は、結像面上での３次元空間位置であって、Ｚ _Ｋ は、透過型平面レンズからの距離である。）
前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、非接触入力システムが提供される。

本発明の他の側面では、
入力要素のイメージ画像を生成する表示ステップと、
前記イメージ画像を反射させることにより空間内に前記イメージ画像を結像させるステップと、
赤外線センサ手段により前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、前記ユーザ動作に対して交差する位置で取得するステップと、
取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けするステップと、
検出した前記画像を、形状、面積または曲率の少なくとも１つを使用して制限するステップと、
制限後の前記空間内の前記イメージ画像の３次元位置を判断し、電子装置を制御するステップと
を含み、
前記対応付けするステップが、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、

（上記式中、（ｘ _ｉ 、ｙ _ｊ ）は、前記赤外線センサ上の画素位置であり、係数ａ～ｆは、位置変換行列の要素であり、（Ｘ、Ｙ、Ｚ _Ｋ ）は、結像面上での３次元空間位置であって、Ｚ _Ｋ は、透過型平面レンズからの距離である。）
前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、非接触入力方法が提供できる。

本発明のさらに他の側面では、
情報処理装置を、
入力要素のイメージ画像を生成する表示手段、
前記イメージ画像を反射させることにより前記表示手段から離れた空間内に前記イメージ画像を結像させる透過型結像手段、
前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、前記ユーザ動作に対して交差する位置で取得する赤外線センサ手段、
前記赤外線センサ手段が取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けする手段、
前記赤外線センサ手段が検出した前記画像を、形状、面積または曲率の少なくとも１つを使用して制限する制限手段、
制限後の前記空間内の前記イメージ画像の３次元位置を判断し、電子装置を制御する手段
として機能させ、
前記対応付けする手段が、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、

（上記式中、（ｘ _ｉ 、ｙ _ｊ ）は、前記赤外線センサ上の画素位置であり、係数ａ～ｆは、位置変換行列の要素であり、（Ｘ、Ｙ、Ｚ _Ｋ ）は、結像面上での３次元空間位置であって、Ｚ _Ｋ は、透過型平面レンズからの距離である。）
前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、情報処理装置実行可能なプログラムが提供される。

本実施形態の非接触入力システム１００の概略図。 本実施形態の情報処理装置１２０のハードウェアブロック２００を示す図。 本実施形態の空間入力装置１１０を、図１に示したカーテシアン座標系におけるＸ方向から見たものとしてその概略構成３００を示した図。 空間入力装置１１０のＺ方向から見た概略構成４００を示す図。 本実施形態における結像面３５０へとオペレータの指３３０の接触を判断する実施形態５００を示す図。 空間入力装置１１０の第２の実施形態６００を示す図。 本実施形態（第１および第２の実施形態で共通する）における赤外線センサ３８０の画素３８１と、画素位置にマッピングされたイメージ画像７１０との関係を示す図。 本実施形態の情報処理装置１２０の機能ブロック６００を示す図。 本実施形態の情報処理装置１２０が第１の実施形態において実行する処理のフローチャートを示す図。 本実施形態の情報処理装置１２０が第２の実施形態において実行する処理のフローチャートを示す図。 第１実施形態で、操作者から見た空中結像の実施形態を示す図。 センサから見上げた空中結像の実施形態を示す図。 第２実施形態において使用するテンキーを表示するイメージ画像の実施形態を示す図。 本実施形態の第２の実施形態で表示されるテンキー配置のイメージ画像を表示する空中結像の実施形態を示す図。 赤外線センサ画像。 試作品の画像。 空中に映像を表示できる実施形態を示した図。 これまで知られている代表的なタッチセンサの種類を示す図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。図１は、本実施形態の非接触入力システム１００の概略図である。本実施形態の非接触入力システム１００は、空間入力装置１１０と、空間入力装置１１０の制御を行うと共に装置を制御する情報処理装置１２０と、空間入力装置１１０からの入力に応答して制御される装置１３０とを含んで構成されている。

空間入力装置１１０は、３次元空間内に情報処理装置１２０が生成するイメージを結像させ、オペレータの指１４０の位置を赤外線センサ（図示せず）により検出している。赤外線センサの検出信号は、情報処理装置１２０へと送られる。情報処理装置１２０は、イメージの３次元空間内の結像面に対応する画素位置と、指１４０の赤外線画像が検出された位置とを比較して、指１４０による入力を判断する。

指１４０により入力されたと判断した場合、情報処理装置１２０は、入力属性に対応する制御信号を生成し、装置１３０を制御する。また情報処理装置１２０は、指１４０による入力がなされたことをオペレータに通知するための音響を発生するための信号を生成し、情報処理装置１２０が備える音響装置または、外部装置として構成される音響装置を動作させ、オペレータに対して音響的に入力が許可されたことを認識させている。

装置１３０は、本実施形態では、特に限定されるものではなく、制御信号により、その動作、状態を変化させることが可能な電子装置であれば、機械、情報処理装置、車両、モータなどとすることが可能である。なお、図１には、本実施形態で使用する３次元空間を定義するカーテシアン座標を示す。このカーテシアン座標は、空間入力装置１１０および情報処理装置１２により入力制御の座標系を説明するために使用する。

図２は、本実施形態の情報処理装置１２０のハードウェアブロック２００を示す。本実施形態の情報処理装置１２０は、パーソナルコンピュータ、タブレット型コンピュータ、スマートホンなどとして実装することができる。

情報処理装置１２０は、システムバス２０６により相互接続されたＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、表示装置２０４および通信装置２０５を含んで構成されている。さらに、システムバス２０６には、ＰＣＩ、ＰＣＩＥｘｐｒｅｓｓなどのバスブリッジを介してＩ／Ｏバス２０７が接続されている。

また、Ｉ／Ｏバス２０７には、適切なプロトコルを介して、キーボード、マウスなどの入力装置２０８、ＨＤＤといった記憶装置２０９およびＰＣＭ音源などの音響装置２１０が接続されている。

情報処理装置１２０が使用するＣＰＵとしては、より具体的には、例えば、ＰＥＮＴＩＵＭ（登録商標）～ＰＥＮＴＩＵＭ（登録商標） ＩＶ、Ｃｏｒｅ ｉ（登録商標）シリーズ、ＸＥＯＮ（登録商標）、ＰＥＮＴＩＵＭ（登録商標）互換ＣＰＵ、ＰＯＷＥＲ ＰＣ（登録商標）、ＭＩＰＳ、ＳＮＡＰＤＲＡＧＯＮなどを挙げることができる。

使用するオペレーティング・システム（ＯＳ）としては、ＭａｃＯＳ（商標）、ｉＯＳ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、ＣＨＲＯＭＥ（登録商標）、ＡＮＤＲＯＩＤ（登録商標）、ＵＮＩＸ（登録商標）、ＡＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）またはそれ以外の適切なＯＳを挙げることができる。さらに、情報処理装置１０は、上述したＯＳ上で動作する、アセンブラ言語、Ｂａｓｉｃ、ＶｉｓｕａｌＢａｓｉｃ、Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ Ｃ＋＋、ＶｉｓｕａｌＢａｓｉｃ、Ｊａｖａ（登録商標）、Ｐｅｒｌ、Ｒｕｂｙなどのプログラミング言語により記述されたアプリケーション・プログラムを格納し、実行する。

図３は、本実施形態第１の空間入力装置１１０を、図１に示したカーテシアン座標系におけるＸ方向から見たものとしてその概略構成３００を示した図である。なお、図３には説明の便宜上、空間入力装置１１０の筐体は示していないが、適切な筐体に図３に示した各要素を収容することができる。また筐体に代えて建築物の構造内に空間を設け、その空間内に空間入力装置１１０を収容することも可能である。

空間入力装置１１０は、表示要素３１０(表示手段)と、透過型平面レンズ３２０（透過型結像手段）と、赤外線センサ３８０（センサ手段）とを含んで構成することができる。表示要素３１０は、液晶ディスプレイ装置を含んで構成され、ディスプレイ面に情報処理装置１２０が生成する入力を誘導するためのイメージ画像を表示させている。図３には、説明の目的で、ディスプレイ面上に表示されるイメージ画像３６０を示す。

図３に示される光学的関係から、透過型平面レンズ３２０は、イメージ画像を倒立して透過させることがないので、ユーザが、普通の正立像を認識するため、ディスプレイ面上には、倒立像としてイメージ画像３６０が表示される。なお、他の実施形態では補助的に赤外線照射装置および対応する位置において赤外線を検知する赤外線センサのマトリックスを搭載することもできる。この実施形態では、赤外線センサの誤作動を防止する目的で赤外線透過性のフィルタを併用することもできる。

表示要素３１０が表示したイメージ画像３６０は、透過型平面レンズ３２０により概ね４５°の角度で入射され、透過型平面レンズ３２０でさらに４５°反射されて、結像面３５０に正立像３７０として結像される。オペレータは、結像面に表示された正立像３７０に対して指３３０、３４０を近づけることで、空間入力を行うことが可能とされる。

＜第１実施形態＞
第１実施形態では、図３において透過型平面レンズ３２０の両脇に２つの赤外線センサ３８０が配置されている。赤外線センサ３８０は、結像面３５０全面をモニタすることができ、結像面３５０への指３３０の接近を検出する。検出した信号は、適切な接続バスを使用して情報処理装置１２０へと送付され、結像面３５０と、指３３０、３４０の空間的位置関係の判断を可能としている。

なお指３３０は、図示する実施形態では、ユーザ動作に応じてＯＮ位置に触れた場合の位置であり、指３４０は、ＯＦＦ位置に触れた場合の位置を示す。ここで、本実施形態の空間検出を定式化する目的で座標系を定義する。３次元空間座標（Ｘ、Ｙ、Ｚ）を、便宜上、透過型平面レンズ３２０の中心を原点とし、図３に示す配置で定義する。また、指３３０は、本実施形態では、空間入力のための入力要素として機能するが、ペンその他の他の入力要素として使用することができる。

本実施形態では、上記定義のもとで、赤外線センサ３８０の校正を行う。赤外線センサ３８０の校正は、結像面の３次元空間位置と、赤外線センサ３８０の画素位置とを対応付ける処理により行われる。具体的には、結像面に相当する位置および範囲に赤外線面発熱体を配置する治具を使用して、当該赤外線面発熱体の画像を左右の赤外線センサ３８０で取得する。

ここで、一方の赤外線センサの画素座標を（ｘ_１ｉ、ｙ_１ｊ）、他方の赤外線センサの画素座標を（ｘ_２ｉ、ｙ_２ｊ）とする。また、赤外線面発熱体の３次元空間位置を（Ｘ、Ｙ、Ｚ）とすると、両側のセンサの画素座標と赤外線面発行体の座標とは、以下の関係で与えられる。

赤外線面発熱体の３次元空間の位置は、計算できるので、式（１）の変数であるａ～ｌまでの値を、赤外線面発行体の既知の位置、例えば四隅、辺の等分点などを１２点決定しておき、ａ～ｌを変数とする１２元連立方程式を解くことにより、結像面の３次元位置座標と、赤外線センサ３８０の画素位置との対応関係が決定される。

図４は、空間入力装置１１０のＺ方向から見た概略構成４００を示す。オペレータがその指３３０を結像面３５０に接近させてゆくと、赤外線センサ３８０は、指３３０の熱を画素単位で検出する。赤外線センサ３８０が結像面を倒立像としてその表面に結像させる光学配置の場合、赤外線センサ３８０は、ライン３９０で示される上側領域が結像面よりも指が下に下がったことを示す領域である。一方、その下側領域は、指が結像面に達していないことを示す。

本実施形態では、指３３０の結像面への接触を、図３で説明したようにして校正した赤外線センサ３８０の画像情報と対応付けて判断する。なお、イメージ画像の位置については、結像面３５０の範囲と、イメージ画像の光学的に計算される結像面上の位置座標とを使用して式（１）により決定することができる。

各赤外線センサ３８０の検出した画素情報は、ライン４１０を経由して情報処理装置１２０に送付され、接触判断が行われる。なお、校正の結果得られた画素対応関係は、校正後に情報処理装置１２０に送付され、例えば赤外線センサ３８０の画素位置と、結像面上の位置とを対応付けしたルックアップテーブルとして格納することができる。

図５は、本実施形態における結像面３５０へとオペレータの指３３０の接触を判断する実施形態５００を示す。赤外線センサ３８０は複数の画素を含んで構成されており、図５に示す実施形態では、結像面３５０は、領域５１０で示した位置に対応付けされる。なお領域５１０は、赤外線センサ３８０が結像面３５０の真横に配置される場合、さらに細い領域またはラインとなる。そして、領域５２０がオペレータの指３３０が結像面よりも下側まで達したことを示す領域であり、領域５６０が、オペレータの指３３０が結像面に達していないことを示す領域である。

一方、領域５３０は、ＯＮ位置の領域であり、領域５４０は、ＯＦＦ位置の領域を示す。本実施形態では、これらの領域のうち、結像面３５０を示す領域５１０近傍の領域における指画像の検出を使用して、入力を判断する。本実施形態では、領域５１０からの距離、領域５２０における指画像の面積または指を検出した画素数、領域５１０からの距離と、指画像の面積または画素数の組み合わせを、入力判断の基準として使用することができる。

図５の実施形態によれば、例えばオペレータの指３３０が結像面から設定した閾値距離まで接近したこと、領域５５０の領域にオペレータの指３３０が検出されたことなどを使用して柔軟でかつ信頼性の高い入力判断を行うことができる。

＜第２実施形態＞
図６は、空間入力装置１１０の第２の実施形態６００を示す。図６に示す第２の実施形態では、赤外線センサ３８０が１つだけ配置されており、１つの赤外線センサ３８０1つで、結像面３５０上の指３３０の位置を推定し、赤外線センサ３８０の画素位置に対応付けられたイメージ画像に接触したことを判定する。

第２の実施形態においては、上記式（１）を、赤外線センサ1つだけで計測する実施形態に対応した下記式（２）のように修正する。

上記式（２）中、（ｘ_ｉ、ｙ_ｊ）は、赤外線センサ上の画素位置であり、係数ａ～ｆは、位置変換行列の要素であり、（Ｘ、Ｙ、Ｚ_Ｋ）は、結像面３５０上での３次元空間位置であって、Ｚ_Ｋは、透過型平面レンズからの距離である。

ここで、例えば赤外線面発光体を結像面に配置し赤外線面発光体の設定された位置を６点使用して連立方程式を解くことにより、係数ａ～ｆが決定できる。なお、係数ａ～ｆは、上記式（１）と同一ではなく、第２の実施形態に従い、新たに決定される値を有する。第２の実施形態では、赤外線センサ３８０上の特定の画素には、Ｚ＝Ｚ_ＫではないＺの異なる複数の空間位置が含まれることとなり、３次元空間位置と、赤外線センサ３８０上の位置は一義に定めることはできない。

一方、Ｚの位置が異なる場合、赤外線センサ３８０が認識する指３３０の大きさが異なることになる。第２の実施形態では、Ｚ位置を結像面３５０に関連付けるため、赤外線センサ３８０が認識した指３３０の形状、具体的には大きさや、指先の曲率を使用して、指３３０が結像面３５０に接触したものとして画像を規制する。規制により排除された画像は、規制後にはノイズ画像として処理され、以後の処理においては考慮されない。なお、指３３０が結像面３５０に接触したことの判断を、図７を使用して本実施形態の制限手段の機能を説明する。

図７は、本実施形態第２の実施形態における赤外線センサ３８０の画素３８１と、画素位置にマッピングされたイメージ画像７１０との関係を示す。なお、第１の実施形態および第２の実施形態では、赤外線センサ３８０の画素に対して予めイメージ画像をマッピングし、これらの対応関係を、ルックアップテーブルの形態として情報処理装置１１０の適切な記憶領域に格納しておくことができる。イメージ画像７１０は、表示装置２０４により表示されるイメージ画像７１０の位置が表示装置２０４上の位置と赤外線センサ３８０および結像面の光学的関係からあらかじめ割り当てておくことができる。複数のイメージ画像７１０は、図７に示した実施形態では、テンキーの実施形態として示されている。

赤外線センサ３８０は、イメージ画像７１０のマッピングとは関係なく、結像面３５０付近に接近した指３３０の画像を認識する。赤外線センサ３８０が認識した指３３０の画像の大きさを図７中、白丸３８２、３８３、３８４で示す。白丸３８３が、概略的に結像面３５０において結像面３５０上に表示されたイメージ画像の位置に指３３０が存在するときに検出される指３３０の大きさである。

また、白丸３８２は、結像面３５０よりも遠い位置で数字「４」を示すイメージ画像に相当する画素３８１が指３３０を検出した場合の形態であり、白丸３８４は、結像面３５０よりも近い位置で数字「６」を示すイメージ画像に相当する画素３８１が指３３０を検出した場合の形態である。

第２の実施形態では検出された指３３０の画像のうち、指先に相当する大きさの領域を判断し、指先を検出した画素数、指先に相当する画像の曲率などに対して下限閾値、上限閾値を設定し、各閾値の間の面積または曲率として指３３０が検出された場合に、指先として認識され画像の先端部が存在する画素位置のイメージ画像が選択されたと判断する。なお、図７には、赤外線センサ３８０が検出する指３３０の概念的な大きさおよび指先の曲率の相違を、参考の目的で示す。

図８は、本実施形態の情報処理装置１２０の機能ブロック６００を示す。なお、図８の機能ブロックは、図２に示したＣＰＵ２０１がプログラムを実行することにより、情報処理装置１２０のハードウェアを制御して情報処理装置１２０上に実現される機能手段である。

情報処理装置１２０は、センサＩ／Ｆ８０１と、センサ画像取得部８０２と、指位置計算部８０４とを含んで構成されている。センサＩ／Ｆ８０１は、赤外線センサ３８０からの画像情報を受け取り、センサ画像取得部８０２に渡す。センサ画像取得部８０２は、グラフィックＲＡＭなどを管理しており、受領した画像データを処理が終了するまで格納する。指位置計算部８０４は、受領した画像データを解析し、２つの赤外線センサが取得した画像データペア（ｘ_１ｉ、ｘ_２ｉ、ｙ_１ｊ、ｙ_２ｊ）、または１つの赤外線センサが取得した画像データ（ｘ_ｉ、ｙ_ｊ）を特定する。

さらに情報処理装置１２０は、指位置比較部８０３と、接触判断部８０５と、制御信号生成部８０７と、音響生成部８０６とを含んで構成することができる。指位置比較部８０３は、指位置計算部８０４が決定した画像データペア（ｘ_１ｉ、ｘ_２ｉ、ｙ_１ｊ、ｙ_２ｊ）が結像面３５０のイメージ画像に相当する位置にあるかを、をルックアップテーブルと比較し、領域上での判定結果を接触判断部８０５に渡す。

接触判断部８０５は、本実施形態において制限手段の機能を備え、指位置比較部８０３の判定結果を受領し、ユーザの指３３０が結像面のイメージ画像に接触し、図５で示した関係を満たしているか否かを判断し、図５の関係、または図７の関係が満たされていると判断した場合に、オペレータによる入力動作が行われたものと判断する。接触判断部８０５は、入力動作が行われたと判断した場合、その領域情報を制御信号生成部８０７に送付する。同時に接触判断部８０５は、入力動作が行われたとの判断を、音響生成部８０６に送付する。

制御信号生成部８０７は、接触判断部８０５が、接触したと判断した領域に存在するイメージ画像に対応する制御信号を生成し、出力Ｉ／Ｆ８０８に渡す。出力Ｉ／Ｆ８０８は、適切なバスを介して装置１３０へと制御信号を送付し、装置１３０の制御を可能としている。また、音響生成部８０６は、接触判断部８０５による入力動作の検出の通知を受領すると、ＰＣＭ音源を駆動してビープ音その他の音響信号を発生させて、オペレータに入力が成功したことを通知している。

図９は、本実施形態の第１の実施形態において、情報処理装置１２０が実行する非接触入力方法のフローチャートを示す。処理はステップＳ９００から開始し、ステップＳ９０１で表示装置からイメージ画像を表示させ、ステップＳ９０１で検出した画像の位置を、赤外線センサ３８０で取得する。

ステップＳ９０３では、画像の位置、結像面、イメージ画像の位置を比較し、ステップＳ９０５で検出した画像が、ＯＮ位置を表示したイメージ画像の画素位置に対応するか否かを判断する。ＯＮ位置に指に相当する画像が検出されたと判断された場合（ｙｅｓ）、ステップＳ９０６で装置をＯＮする信号を生成し、装置に送付し、装置をオンさせ、処理をステップＳ９０２に戻し、さらにオペレータによる入力を待機する。

ステップＳ９０５の判断でＯＮ位置を表示したイメージ画像の空間位置に配置されていないと判断された場合（ｎｏ）、ステップＳ９０７で画像位置が、ＯＦＦ位置を表示したイメージ画像の画素位置に対応するか否かを判断する。ＯＦＦ位置であると判断された場合（ｙｅｓ）、ステップＳ９０８で装置をＯＦＦする信号を生成し、装置に送付し、装置をオフさせ、処理をステップＳ９０２に戻し、さらにオペレータによる入力を待機する。

図１０は、情報処理装置１２０が第２の実施形態において実行する非接触入力方法のフローチャートを示す。処理はステップＳ９００から開始し、ステップＳ９０１で表示装置からイメージ画像を表示させ、ステップＳ９０１で画像（オペレータの指）の位置を、赤外線センサ３８０で取得する。ステップＳ９０３では、検出された画像の位置座標と、予めイメージ画像の位置として割り当てられた画素位置とを比較し、ステップＳ１００４で、検出された画像の形状の面積または曲率が、下限閾値と上限閾値の間にあるイメージ画像があるか否かを判断する。なお、本実施形態では、形状の面積や曲率以外にも同等の作用効果を奏する範囲においていかなる尺度・基準でも使用することができる。

イメージ画像に相当する位置において、下限閾値と上限閾値の間の面積または曲率で制限し、指３３０と判断される画像が検出された場合（ｙｅｓ）、ステップＳ１００５で決定されたイメージ画像の空間位置に指が配置されたと判断する。そして、ステップＳ１００６で、該当するイメージ画像に対応した信号を装置に送付して装置を制御し、処理をステップＳ１００２に戻し、再度画像の位置取得を繰り返す。

一方、イメージ画像に相当する位置において、下限閾値と上限閾値の間の面積または曲率で、指３３０が検出されない場合（ｎｏ）、検出された画像は、判断しているイメージ画像の選択動作のものではない、すなわち、ノイズ画像であると判断し、処理をステップＳ１００２に戻し、再度画像の位置取得を繰り返す。

以上、本発明によれば、左右に対となった赤外線センサ３８０を使用してオペレータの入力を結像面およびイメージ画像に対する位置を使用して入力判断を行うため、例えば異物、昆虫などをユーザによる動作と判断してしまう誤検知や、オンオフ位置がクリティカルなものとなるなど動作性や信頼性を改善する非接触入力技術が提供できる。さらに、本発明の空間入力技術は、空間結像をきわめて高い指向性を以て形成することができるので、テンキー入力の際の盗み見などによるセキュリティ低下を防止する新規な入力方式を提供することが可能となる。

さらに、本発明は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００ ：非接触入力システム
１１０ ：空間入力装置
１２０ ：情報処理装置
１３０ ：装置
１４０ ：指
２００ ：ハードウェアブロック
２０１ ：ＣＰＵ
２０２ ：ＲＡＭ
２０３ ：ＲＯＭ
２０４ ：表示装置
２０５ ：通信装置
２０６ ：システムバス
２０７ ：Ｉ／Ｏバス
２０８ ：入力装置
２０９ ：記憶装置
２１０ ：音響装置
３００ ：概略構成
３１０ ：表示要素
３２０ ：透過型平面レンズ
３３０ ：指
３４０ ：指
３５０ ：結像面
３６０ ：イメージ画像
３７０ ：正立像
３８０ ：赤外線センサ

＜特許出願人のコメント＞
以下のような用途で能動型非接触スイッチは活用されます。
衛生用途、食品工場、高圧電気のスイッチ、現場作業。
衛生用途とは、隔離病棟,手術室の出入りドアのスイッチに最適で、治療装置の操作にも利用できます。伝染病の感染防止や、消毒の手間と費用を少なくできます。ハサップ認証の食品工場では厨房への細菌の持込を防ぐことが出来ます。高圧電気のスイッチとして高圧電源の遮断時の感電を防止できます。現場作業では、作業で汚れた手でも、確実にスイッチを操作できます。不特定多数が利用するスイッチへの応用も考えられます。例としては、バスの降車スイッチ、エレベーター用スイッチなどです。

携帯電話に本技術を応用すれば前方への視界が多少は確保でき、歩きながらスマホを操作しても安全で、首への負担を軽減します。

以下に従来技術である従来型スイッチについて概略的に説明する。その利点および欠点は、以下の通りである。
利点
・成熟した技術なので技術的・工学的な確実性がある
・価格が安い。
欠点
・スイッチに、操作者が触れることにより、感染、感電の恐れがある。こうして作業者、消費者の生命に危険が生じる。
・レーザカーテンのような受動型非接触スイッチでは、動物、虫などが検知空間を横切っても作動する危険があります。

操作者の反対側に位置センサを配置した場合、赤外線センサでは、スイッチ操作者の頭部等の上半身と、手先の赤外線映像が重なってしまい、別々に認識することが出来ないので、手先で指示するスイッチ操作ができない。

本発明は、上述した従来技術の問題点に鑑みてなされたものであり、本発明は、スイッチに接触することなく遮断する装置を提供することを課題とする。

すなわち、本発明、空中遮断器、空中遮断スイッチ、Ｓｋｙｓｗｉｔｃｈとは、特殊な空中反射投影鏡パネル、ミラージュミラーにより、スイッチ画面を空中結像画面に表示し、センサで、空中で遮断操作を行った指の操作を認識し、電気回路を実際に遮断する装置である。空間画像の特定位置を、指、指示棒、タッチペン等の指示手段で指してその位置を検知し、物理的に接触しなくても信号入力ができる非接触入力装置及び方法を提供することを目的とする。

特殊な鏡パネル、ミラージュミラーは、ディスプレイの表示や、十分明るい物体からでた、映像を、４５度の入射角で、取り込み反射し、反対側の、空中に４５°の出射角で実体結像して表示するもので、図１２に示すディスプレイのごとく空中に映像を表示できる。その構造は平面視して交差する第１、第２の微小反射面がそれぞれ同一平面上に多数立設して配置され、各第１の微小反射面からの第１の反射光を、対応する第２の微小反射面で受けて第２の反射光とし光を結像させる。手先の温度より、大きく異なる温度の部分は、背景(バックグランド)のクラッターと、独自ソフトとにより判断して削除し誤検知を少なくすることもできる。

赤外線検出センサを空中反射投影鏡の左又は右又は左右に設置し、光学的に厳密な空間位置に結像した画面上の座標を特定する。斜め下より、結像画面を操作者から見て裏側より、空中反射投影鏡を透過しないで直接センサが覗き込むと、最初に結像画面に指が触れる空間座標を原点とし、ｚ方向に指先が動いた動作を感知し、ボタンを押した動作とソフトにより認識して、電気を遮断するものである。このような設計としたのは、レーザやミリ波などは、距離を測定することが出来るが、赤外線センサはあまり得意ではないからである。従来の赤外線の利用は走査方式だったが、本願は赤外線画像方式である。本願では、使用する結像の位置が厳密に既定でき、かつ斜めに測定することにより、ｚ方向の距離の変異も測定できる独自ソフトを開発した。特殊な鏡パネル,ミラージュミラーは、結像面の空間上の位置が、誤差なく、極めて厳密だからである。

センサ斜め下より視認しているため、座標は、正方形ではなく遠近法の消失点方向に傾いているが、本願の独自ソフトにより、補正している。このような配置とすることで、操作者の反対側に位置センサを配置した場合と違い、スイッチ操作者の頭部等の上半身と、手先の赤外線映像が重なってしまい、赤外線センサが別々に認識することが出来ない不具合がほとんど生じない。左右にセンサを配置すれば、さらに正確性が増す。図１３にこれまで知られている代表的なタッチセンサの種類を示すが、本願の形式は存在しない。

結像面に指が触れると、接触部の画像が暗くなることにより、空中にも拘わらず、人間は接触を感じることができる。多少慣れが必要である。人間は優れた空間認識能力があるので、スイッチ操作だけならば習熟すれば、空間結像が故障していても、センサの検知機能だけで、遮断ができる。

主に明るく、温度が高い屋外での使用の場合、結像の周囲にフードを装着するが、そのフード内部に、２次的補助測定センサを装着することもできる。

空中反射投影鏡の、結像位置は、参考画像の場合、空中反射投影鏡に対して４５°であるが、極めて高精度の空間座標に結像する。この結像画面上に、仮想のＸ－Ｙ座標を設定する。赤外線センサの検出波長は、８～１４マイクロメーターであり、主に生体人体の放射している赤外線を参考画像のように鮮明に解析することができる。左右にセンサを配置した場合は、より検知雑音を減少させる。特許第５，８５６，３５７号では、空中反射投影鏡を透過させてセンサで検知しているが、センサにとって、検知物との間のいかなる透過物も検知の妨げとなるので細心の注意が必要であろう。センサの実際の運用にあたっては、保護カバーが必要となるが、赤外線センサのレンズとカバーを兼用させることもできる。

レーザセンサを使用した測距では、３次元の測定を実施したので、より正確に指先の操作を確認できた、またレーザ光線が操作者の眼内に入らない角度で、操作者と対向した位置に配置しての目への入光遮断も実施している。

現在の試作品での赤外線センサのドット数は、４８×４７の２２５６画素であり、この目盛りに近い値で、座標面を設定しているため、添付画像の如く十分な解像度がある。赤外線センサを近接密集実装することにより、解像度を上げることも可能であり、４つを十字型に配置したものも検討している。キーボードのキー操作などを、更に確実に行える。

本願の形式のＳｋｙｓｗｉｔｃｈ（商標登録出願通）では、装置表面板をほとんど平滑に製作することが、できるので、消毒、清掃が極めて容易に行える。医療現場では、使い捨てのシリコンカバーで、入力装置を覆っているものも多いが、これらが不要となることで、医療廃棄物を減少させることができる。

本願出願人のＳｋｙｓｗｉｔｃｈでは、センサとして、赤外線、レーザ、ビデオを単独または、協同して使用している。現在ビデオセンサとして有名なものに、マイクロソフト社のキネクトがあるが、元来がＴＶゲームのセンサなため、最大検知距離は、大きいが、近接では対象物より１５０ｍｍ以上が必要で、本願で想定している入出力装置では、利用できない。又、入力速度も速くないと検知しない。外国製品のため、容易なことではないが、将来的には、マクロレンズなどを使用した手入力の速度に合った専用製品が発売されるであろう。

関係者のみ座標位置を知る任意のマトリックス空間は、随意に変更可能であり、偶然を期待して闇雲に触ると警報となるようにし、その空間を正しく押し込むことによりミラージュミラーが起動し、スイッチ画面を結像させるようにすれば、入室の制限をかなり厳重に行うことができる。電気自動車のコードレス給電時に、多くは猫であるが、送電空間に動物が入ったことを本実施形態の非接触入力システムにて検知し、送電を停止して事故を防ぐことが出来る。送電の危険識別圏に入った場合、音響、照明などで、進入を阻止することも可能である。この給電遮断装置は、動物の生命だけでなく、短絡による火災、爆発も避けることができる。

空中リフレクション機能
ポケモンＧｏのようなアプリ向けには、ミラージュミラーの進行方向の枠先端にカメラ素子を付ければ、前方がかなり視認できるので、安全に各種アプリを楽しむことが出来る。前方カメラの映像をミラージュミラーの枠より、表示装置に送り、ミラージュミラーで反射させ一眼レフのような光路で空中結像させる、これにスカイスイッチを連動させ、ヘッドアップディスプレイのように使用できる。ＨＵＤと異なり、反射面は必要ない。ポケモンや情報ステンシルのみ輝度を高くすれば、ディスプレイの消費電力も抑えられる。ポケモンＧｏや、ＧＰＳ地図アプリでの利用が想定される。

本願で使用する温度センサは通常の場合、データ読み出し回路は、外部入力クロックに従って画素を順次切り換えて各画素の電圧を読み出すが、本願では、デジタルマッピングで、結像画面の変更が実施される部分のみ、読み込むことも出来る。これにより、読み取り速度が速くなり、正確さが増し、消費電力も節約できる。

医療に携わる者は、感染病の治療に辺り、自身が感染して命を落とした医師の無念さはいかばかりだろうと考えると、本願発明を世に活用してもらいたいと希望するものである。

Claims (3)

1. 入力要素のイメージ画像を生成する表示手段と、
   前記イメージ画像を反射させることにより前記表示手段から離れた空間内に前記イメージ画像を結像させる透過型結像手段と、
   前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、前記ユーザ動作に対して交差する位置で取得する赤外線センサ手段と、
   前記赤外線センサ手段が取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けする手段と、
   前記赤外線センサ手段が検出した前記画像を、形状、面積または曲率の少なくとも１つを使用して制限する制限手段と、
   制限後の前記空間内の前記イメージ画像の３次元位置を判断し、電子装置を制御する情報処理装置と
   を含み、前記対応付けする手段が、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、
   

   

   
   （上記式中、（ｘ _ｉ 、ｙ _ｊ ）は、前記赤外線センサ上の画素位置であり、係数ａ～ｆは、位置変換行列の要素であり、（Ｘ、Ｙ、Ｚ _Ｋ ）は、結像面上での３次元空間位置であって、Ｚ _Ｋ は、透過型平面レンズからの距離である。）
   前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、非接触入力システム。
2. 入力要素のイメージ画像を生成する表示ステップと、
   前記イメージ画像を反射させることにより空間内に前記イメージ画像を結像させるステップと、
   赤外線センサ手段により前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、前記ユーザ動作に対して交差する位置で取得するステップと、
   取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けするステップと、
   検出した前記画像を、形状、面積または曲率の少なくとも１つを使用して制限するステップと、
   制限後の前記空間内の前記イメージ画像の３次元位置を判断し、電子装置を制御するステップと
   を含み、
   前記対応付けするステップが、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、
   

   

   
   （上記式中、（ｘ _ｉ 、ｙ _ｊ ）は、前記赤外線センサ上の画素位置であり、係数ａ～ｆは、位置変換行列の要素であり、（Ｘ、Ｙ、Ｚ _Ｋ ）は、結像面上での３次元空間位置であって、Ｚ _Ｋ は、透過型平面レンズからの距離である。）
   前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、非接触入力方法。
3. 情報処理装置を、
   入力要素のイメージ画像を生成する表示手段、
   前記イメージ画像を反射させることにより前記表示手段から離れた空間内に前記イメージ画像を結像させる透過型結像手段、
   前記空間内に結像した前記イメージ画像に対するユーザ動作の画像を、前記ユーザ動作に対して交差する位置で取得する赤外線センサ手段、
   前記赤外線センサ手段が取得した前記画像の画素位置を、前記空間内に結像した前記イメージ画像に対応付けする手段、
   前記赤外線センサ手段が検出した前記画像を、形状、面積または曲率の少なくとも１つを使用して制限する制限手段、
   制限後の前記空間内の前記イメージ画像の３次元位置を判断し、電子装置を制御する手段
   として機能させ、
   前記対応付けする手段が、下記式を使用して前記画素位置を前記空間内に結像した前記イメージ画像に対応付け、
   

   

   
   （上記式中、（ｘ _ｉ 、ｙ _ｊ ）は、前記赤外線センサ上の画素位置であり、係数ａ～ｆは、位置変換行列の要素であり、（Ｘ、Ｙ、Ｚ _Ｋ ）は、結像面上での３次元空間位置であって、Ｚ _Ｋ は、透過型平面レンズからの距離である。）
   前記制限手段が前記透過型結像手段からの距離を判断して選択された前記イメージ画像を判断する、情報処理装置実行可能なプログラム。

Images