JP7256842B2 - 非接触入力装置 - Google Patents

Description

この発明は、非接触で入力操作を受け付ける非接触入力装置に関する。

従来から、非接触で入力操作を受け付ける非接触入力装置が提供されている。たとえば、発光素子から出射された光が検出対象物に反射した反射光を受光する複数の受光素子を有する光センサを備える非接触入力装置が提案されている（特許文献１参照）。従来の接触入力装置では、操作平面の対面方向に光センサが設けられる。

ここで、発光素子から出射された光および受光素子の受光可能領域は放射状に広がるため、操作平面の対面方向に光センサが設けられる場合には、光センサと検出対象物との距離によって操作平面上の位置が変化する。

このため、従来の接触入力装置では、光センサと検出対象物との距離によって検出可能領域の大きさが変化してしまうことに加え、動作を判定するための操作平面上の境界の位置も変化してしまい、人の手などの検出対象物の動きからジェスチャ操作を検出するジェスチャセンサとしては正確性の観点で問題がある。また、従来の接触入力装置では、操作者の指だけでなく掌や肘などの面積の大きい部分を検出対象物として認識してしまった場合に、操作位置を適切に検出できないという問題もある。

国際公開第２０１４／１１５３９７号

この発明は、上述した問題に鑑み、ジェスチャ操作を精度よく検出することができる、非接触入力装置を提供することを目的とする。

この発明は、光を発光する発光部、および前記発光部から出射された光が検出対象物に照射されることによって生じた反射光を受光して、受光した光の強度に基づくセンサ値を出力する受光部を備える光センサと、前記受光部から出力された前記センサ値に基づいて、前記光センサの検出可能領域内に設定される操作平面における前記検出対象物の動作を検出する動作検出部と、前記操作平面を含み、前記検出可能領域内に設定される操作領域に前記検出対象物が進入する進入方向を判定する方向判定部とを備え、前記光センサは、前記操作平面の延長面上に位置し、前記動作検出部は、前記進入方向に応じた向きで前記検出対象物の動作を検出する非接触入力装置であることを特徴とする。

この発明により、ジェスチャ操作を精度よく検出することができる、非接触入力装置を提供することができる。

非接触入力装置の構成を示すブロック図。 実施例１の光センサの構成を示す図。 基板の幅方向から見た場合の検出可能領域を示す図。 受光中心方向から見た場合の検出可能領域を示す図。 受光中心方向から見た場合の実施例１の操作領域を示す図。 発光部方向から見た場合の実施例１の操作領域を示す図。 斜め上方から見た場合の実施例１の操作領域を示す斜視図。 基板の長手方向から見た場合の入力動作の一例を示す図。 受光中心方向から見た場合の入力動作の一例を示す図。 斜め上方から見た場合の入力動作の一例を示す斜視図。 実施例１の動作判定用のヒストグラムの一例を示す説明図。 実施例１の動作判定処理のフローチャート図。 実施例２の非接触入力装置の構成を示すブロック図。 実施例２の光センサの構成および操作領域を示す斜視図。 実施例３の非接触入力装置の構成を示すブロック図。 実施例３のサイン判定用のヒストグラムの一例を示す説明図。 実施例３のサイン参照テーブルの一例を示す説明図。 実施例３のサイン参照テーブルの他の例を示す説明図。 実施例３のサイン判定処理のフローチャート図。 実施例４の動作判定ブロックの一例を示す図。

以下、本発明の一実施形態を図面と共に説明する。

図１は、非接触入力装置１の構成を示すブロック図である。非接触入力装置１は、電子機器や機械などの操作対象物に操作者の入力動作に応じた操作データを入力する入力装置であって、操作対象物および非接触入力装置１に操作者が触れることなく操作対象物へのジェスチャ操作を受け付けることができる非接触型の入力装置（タッチレスセンサ、タッチレスジェスチャセンサ）である。

図１に示すように、非接触入力装置１は、光センサ２と、制御部３と、各種データを記憶する記憶部４とを有する。制御部３は、光センサ２および記憶部４と通信可能に接続されている。なお、図示は省略するが、制御部３は、操作対象物にも接続されており、非接触入力装置１で検出された操作データを操作対象物に適宜送信する。

図２は、実施例１の光センサ２の構成を示す図である。図２に示すように、光センサ２は、発光部２１と、受光部２２と、基板２３とを有する。基板２３は、平面視において矩形状をなす平板状の部材であり、発光部２１および受光部２２は、基板２３の一方の面（同一面）に配置される。なお、基板２３は、平面視において円形状、正方形状または他の多角形状をなす部材であってもよい。

また、発光部２１と、受光部２２とは、所定の方向に並ぶように配置され、かつ、所定の隙間（距離）を隔てて互いに離間するように配置される。本実施例では、発光部２１と、受光部２２とは、基板２３の長手方向に並ぶように配置される。

発光部２１は、所定波長の光を発光する光源を有する。発光部２１の光源の光軸は、基板２３の表面（基板２３における発光部２１の設置面）に対し略垂直になるように設けられている。なお、発光部２１の光源の光軸は、基板２３の表面に垂直な方向に対し多少傾いていてもよい。

発光部２１の光源は、たとえば、波長が７００ｎｍ～１ｍｍの光、いわゆる赤外光を発光する赤外線ＬＥＤである。この場合、発光部２１から発光される光は、赤外光（赤外線）となる。なお、発光部２１から発光される光は、赤外光に限定される必要は無く、発光部２１は、赤外光以外の他の波長の光を発光するものでもよい。

また、本実施例では、１つの受光部２２に対して１つの発光部２１が設けられるようにしたが、１つの受光部２２に対して複数の発光部２１が設けられてもよい。この場合、複数の発光部２１の各々は、受光部２２に対する距離が等しくなるように配置される。すなわち、複数の発光部２１の各々は、受光部２２を中心に同心円状に配置される。また、複数の発光部２１の各々は、受光部２２に入射する光の光量にムラが出ないように、受光部２２の中心を基準に点対称または線対称となる位置に配置される。

受光部２２は、発光部から出射された光が検出対象物に照射されることによって生じた反射光を受光して、受光した光の強度（明るさ，光量）に基づく電気信号を出力する。具体的には、受光部２２は、受光した光の光量に応じたデジタル値（センサ値）を所定の時間間隔で連続して出力する。

受光部２２は、受光した光の光量を検出する検出器としての受光素子を有する。受光素子は、たとえばフォトセンサであり、本実施例では、受光素子の受光面は、発光部２１の発光面と略平行な面である。すなわち、受光素子の受光中心方向（受光面に対して垂直な方向）は、発光部２１の光源の光軸と同じ方向（平行）となる。なお、受光素子の受光中心方向は、発光部２１の光源の光軸の方向に対して、多少傾いていてもよい。ただし、複数の受光素子の受光中心方向は、すべて互いに平行である。

また、受光部２２は、３つ以上の受光素子を有する。各受光素子は、基板２３の表面上において、第１の方向に２つ以上（複数）配置され、第１の方向に交差する（第１の方向とは異なる）第２の方向に２つ以上並ぶように配置される。すなわち、受光部２２では、２方向において複数の受光素子が並ぶように配置される。

本実施例では、図２に示すように、受光部２２は、マトリクス状（２×２）に配置される４つの受光素子２２Ａ～２２Ｄを有する。本実施例では、第１の方向が基板２３の長手方向（発光部２１と受光部２２とが並ぶ方向）であり、第２の方向が基板２３の幅方向である。すなわち、第１の方向と、第２の方向とは直交する方向（直角）である。また、第１の方向および第２の方向のそれぞれの方向に並ぶ受光素子の数は同じである。

なお、受光部２２に設けられる受光素子の数および配置態様は特に限定される必要は無い。たとえば、複数の受光素子は、三角形をなすように配置されてもよいし、菱形をなすように配置されてもよいし、２×３のようにいずれかの方向の数が多くなるように配置されてもよいし、３×３（９個）以上のマトリクス状に配置されてもよい。

図３は、基板２３の幅方向から見た場合の検出可能領域ＤＲを示す図である。図４は、受光中心方向から見た場合の検出可能領域ＤＲを示す図である。図３および図４に示すように、発光部２１から発光された光は、光軸を中心に、放射状に広がる。本実施例では、発光部２１を頂点とし、光軸を母線（中心線）とした略円錐状の発光領域が形成される。また、受光部２２が受光可能な領域（受光可能領域）は、受光部２２を頂点とし、受光中心方向を中心線とした略円錐状の領域である。受光部２２は、発光領域と受光可能領域とが重なる領域に検出対象物が存在する場合に、検出対象物に反射した光を受光することができる。したがって、発光領域と受光可能領域とが重なる略円錐状の領域が、光センサ２において検出対象物の存在を検出可能な最大の領域（検出可能領域）ＤＲとなる。

なお、発光部２１の放射角度および受光部２２が受光可能な角度を大きくすることによって、検出可能領域ＤＲを略半球状または限りなくこれに近い形状の領域とすることもできる。また、光センサ２から発光領域の底面までの距離、すなわち検出可能距離は、発光部２１から発光された光の光量（受光部２２で反射光を検出可能な程度の光量）によって定まる。このため、発光部２１から発光された光の光量を多くする（発光レベルを上げる）ことによって、検出可能領域ＤＲを広く（大きく）することができ、発光部２１から発光された光の光量を少なくする（発光レベルを下げる）ことによって、検出可能領域ＤＲを狭く（小さく）することができる。

また、光センサ２で検出可能な検出対象物は、発光部２１から発光された光を反射するものであれば良く、操作者の手指、腕等の体の一部だけでなく、操作者が持つペン、電子機器、棒等の物体や、操作者が身に着けている衣服または装飾品の一部等も含まれる。

図１に戻って、制御部３は、非接触入力装置１の各要素を制御する。具体的には、制御部３は、ＣＰＵ（中央演算処理装置）を有しており、発光部２１の点灯／消灯処理、受光部２２から入力されるセンサ値の処理、および操作対象物への操作データの送信処理等を行う。

記憶部４は、メイン処理プログラム４１、座標変換プログラム４２、モード判定プログラム４３、動作検出プログラム４４、座標データ４５、動作検出用データ４６、操作データ４７が記憶されている。メイン処理プログラム４１は、非接触入力装置１の全体的な処理、発光部２１の点灯／消灯処理、または操作データを操作対象物に送信する処理等を実行するためのプログラムである。
＜座標変換処理＞

座標変換プログラム４２は、受光部２２（各受光素子）から所定の時間間隔で連続して入力されるセンサ値を検出可能領域ＤＲにおける座標データに変換するためのプログラムである。受光部２２から入力されるセンサ値を座標データに変換する座標変換処理の方法は特に限定されないが、たとえば、４つの受光素子２２Ａ～２２Ｄのそれぞれから入力されるセンサ値から座標データを算出（演算）することができる。

たとえば、発光部２１と受光部２２が並ぶ方向（受光素子が並ぶ第１の方向）をＸ方向とし、受光部２２の受光中心方向をＺ方向とし、Ｘ方向およびＺ方向のいずれにも直交する方向（Ｘ方向およびＺ方向によって規定されるＸＺ平面に直交する方向、または受光素子が並ぶ第２の方向）をＹ方向とした場合（図３および図４参照）、Ｘ座標、Ｙ座標、Ｚ座標のそれぞれは、次の式（数Ａ）、式（数Ｂ）、式（数Ｃ）によって算出することができる。
〔数Ａ〕
Ｘ＝（（Ｓ１＋Ｓ４）－（Ｓ２＋Ｓ３）／（Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４））
〔数Ｂ〕
Ｙ＝（（Ｓ１＋Ｓ２）－（Ｓ３＋Ｓ４）／（Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４））
〔数Ｃ〕
Ｚ＝１－ｋ（Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４／Ｓｍａｘ）

ここで、Ｓ１は、第１の受光素子２２Ａから入力されるセンサ値であり、Ｓ２は、第２の受光素子２２Ｂから入力されるセンサ値であり、Ｓ３は、第３の受光素子２２Ｃから入力されるセンサ値であり、Ｓ４は、第４の受光素子２２Ｄから入力されるセンサ値であり、Ｓｍａｘは、検出対象物が最もセンサに近づいた場合のセンサ値を合計した値（検出対象物が検出可能領域ＤＲのうち最も光センサ２に近い位置に存在する場合のセンサ値を合計した値）であり、ｋは、任意の補正係数である。この場合、Ｘ座標、Ｙ座標、Ｚ座標のそれぞれは、受光部２２を原点（Ｘ＝０、Ｙ＝０、Ｚ＝０）とした座標系のデータとなる。また、Ｚ座標は、４つの受光素子２２Ａ～２２Ｄのセンサ値の合計値であるため、光センサ２における総出力値（総光量）ということもできる。

以上のように、検出可能領域ＤＲにおける検出対象物の座標（位置）を算出することができる。座標変換プログラム４２に従って変換されたデータは、時系列に従って座標データ４５として記憶部に記憶されている。

なお、本実施例では、座標変換処理を座標変換プログラム４２に従って制御部３（ＣＰＵ）が実行するようにしたが、座標変換処理はハードウェア回路により実行されてもよい。この場合、２×２に配置される４つの受光素子の並ぶ向き（第１の方向および第２の方向）をＸ方向またはＹ方向に対して４５°傾いた状態とし、Ｘ方向に並ぶ２つの受光素子のセンサ値の差分をＸ座標とし、Ｙ方向に並ぶ２つの受光素子のセンサ値の差分をＹ座標とし、４つの受光素子のセンサ値の合計をＺ座標とするような座標変換用の回路を光センサ２と制御部３の間に設ければよい。
＜モード判定処理＞

モード判定プログラム４３は、座標変換プログラム４２に従って変換された座標データ４５が示す検出対象物の位置（座標）の変化から、検出可能領域ＤＲに検出対象物が進入したか、または検出可能領域ＤＲから検出対象物が退出（退去）したかどうかを判定するためのプログラムである。また、モード判定プログラム４３は、検出可能領域ＤＲに検出対象物が存在している状態で、検出可能領域ＤＲ内に設定された操作領域Ｒ（ジェスチャ操作を受け付ける領域）に検出対象物が進入したか、または操作領域Ｒ内から検出対象物が退出したかどうかを判定するためのプログラムでもある。

検出可能領域ＤＲに検出対象物が進入したか、または検出可能領域ＤＲから検出対象物が退出したかどうかを判定する検出可能領域ＤＲに対する進入／退出判定処理の方法は特に限定されない。たとえば、Ｚ座標（光センサ２における総出力値）に検出可能領域ＤＲに検出対象物が進入したか否かを判定するための閾値を設定しておき、Ｚ座標（光センサ２における総出力値）が閾値未満の状態から閾値以上の状態に変化したとき、検出可能領域ＤＲに検出対象物が進入したと判定し、Ｚ座標が閾値以上の状態から閾値未満の状態に変化したとき、検出可能領域ＤＲから検出対象物が退出したと判定することができる。また、Ｚ座標が閾値以上の状態とは、検出可能領域ＤＲ内に検出対象物が存在している状態であるともいえる。

さらに、検出可能領域ＤＲに対する進入／退出判定処理では、Ｚ座標のみを用いて判定することができる。したがって、検出可能領域ＤＲからの退出判定後、次の進入を判定するまでの間は、受光部２２からのセンサ値に対してＺ座標のみ変換し、制御部３の処理負荷を低減することもできる。

図５は、受光中心方向（Ｚ方向）から見た場合の実施例１の操作領域Ｒを示す図である。図６は基板２３の長手方向（Ｘ方向）から見た場合の実施例１の操作領域Ｒを示す図である。図７は斜め上方から見た場合の実施例１の操作領域Ｒを示す斜視図である。

図５および図６に示すように、検出可能領域ＤＲには、操作領域ＲのＹ方向の境界を規定するための２つの仮想境界面が設定されている。各仮想境界面は、ＸＺ平面に平行な面であるので、仮想境界面のＹ方向の位置は、Ｙ座標の数値で規定されている。言い換えれば、検出可能領域ＤＲのうち、２つの仮想境界面に挟まれた領域、つまり２つの仮想境界面の間の領域が、操作領域Ｒとなる。このため、仮想境界面のＹ方向の位置を規定する数値は、操作領域ＲのＹ方向の閾値ということもできる。上述したように、検出可能領域ＤＲの座標系は受光部２２を原点としているので、２つの仮想境界面のうちの一方の仮想境界面はプラスのＹ座標で規定され、他方の仮想境界面はマイナスのＹ座標で規定される。

したがって、図５～図７に示すように、操作領域Ｒは、ＸＺ平面に沿って延び（Ｘ方向およびＺ方向に延び）、Ｙ方向に所定の厚みを有する板状の領域となる。すなわち、操作領域Ｒは、Ｙ座標が（Ｙ＝０）のＸＺ平面を中心に、検出可能領域ＤＲの内側においてＹ方向に厚みを持たせたような形状の領域となる。

そして、本実施例の非接触入力装置１では、Ｙ座標がゼロ（Ｙ＝０）のＸＺ平面（操作平面）を基準とした操作領域Ｒにおけるジェスチャ操作を検出する。すなわち、非接触入力装置１では、操作平面が、操作領域Ｒの基準面となる。また、光センサ２（発光部２１および受光部２２）は、操作平面の延長面上に位置することになる。本実施例では、光センサ２は、操作平面を下方に延長した延長面上に位置する。すなわち、操作平面（操作領域Ｒ）は、光センサ２の上方に設定される。

また、本実施例では、ＸＺ平面を操作平面として説明する。したがって、操作平面と第１の方向は平行であり、かつ、第１の方向は操作平面上の方向であり、受光素子は操作平面の端部または端部近傍から操作平面上へ向かって受光中心線方向が向いている。また、操作平面と第２の方向は直角であり、かつ、第２の方向は操作平面の法線方向である。ただし、受光素子は第１の方向と第２の方向のそれぞれにおいて直交しなくても良い。

なお、操作平面は、Ｘ方向およびＺ方向に延びる平面であれば、ＸＺ平面に対し多少傾いた面であってもよく、Ｙ座標が操作領域ＲのＹ方向の閾値の範囲内であれば、Ｙ座標がゼロ（Ｙ＝０）のＸＺ平面からオフセットした面であってもよい。

なお、操作領域Ｒおよびこれに含まれる操作平面は、受光部２２の受光中心方向と、受光部２２の受光中心方向に直交する方向に延びる領域であるといえる。また、本実施例では、操作領域Ｒおよび操作平面が延びる２方向のうち、受光部２２の受光中心方向に直交する方向は、発光部２１と受光部２２とが並ぶ方向と同じ方向である。すなわち、発光部２１および受光部２２の両方が操作平面のＸ軸上に位置する。

以上のように設定された操作領域Ｒに対して、検出対象物が進入したか、または検出対象物が退出したかどうかを判定する、操作領域Ｒに対する進入／退出判定処理の方法は特に限定されない。操作領域Ｒに対する進入／退出判定処理の方法の一例としては、たとえば、座標データ４５のＹ座標が、仮想境界面の外側の座標である状態（検出対象物が操作領域Ｒの外側に位置する状態）から、仮想境界面の内側の座標である状態（検出対象物が操作領域Ｒの内側に位置する状態）に変化した場合に、検出対象物が操作領域Ｒに進入したと判定することができる。また、座標データ４５のＹ座標が、仮想境界面の内側の座標である状態から、仮想境界面の外側の座標である状態に変化した場合に、検出対象物が操作領域Ｒから退出したと判定することができる。なお、Ｙ座標が仮想境界面の内側の座標である状態とは、操作領域Ｒ内に検出対象物が存在している状態であるともいえる。

また、操作領域Ｒに対する進入／退出判定処理では、Ｙ座標およびこれを算出するためのＺ座標のみを用いて判定することができる。したがって、操作領域Ｒからの退出判定後、次の進入を判定するまでの間は、受光部２２からのセンサ値に対してＹ座標およびＺ座標のみ変換し（数Ｂのみ演算し）、判定処理を行うようにし、制御部３の処理負荷を低減することもできる。

図８は基板２３の長手方向から見た場合の入力動作の一例を示す図である。図９は受光中心方向から見た場合の入力動作の一例を示す図である。図１０は斜め上方から見た場合の入力動作の一例を示す斜視図である。

図８～図１０に示すように、検出対象物が操作領域Ｒ内に存在する場合には、操作平面（操作領域Ｒ）における動作検出が可能な状態となり、検出対象物が操作領域Ｒ外に存在する（検出対象物が操作領域Ｒ内に存在しない）場合には、動作検出が不可能な状態となる。本実施例では、操作領域Ｒに対する進入が判定されたときに、ジェスチャ操作を検出するモード（動作検出モード）が開始され、操作領域Ｒからの退出が判定されたときに、動作検出モードが終了する。このため、モード判定プログラム４３は、動作検出モードを開始／終了するためのプログラムでもある。
＜動作検出処理＞

動作検出プログラム４４は、動作検出モードの実行中に、座標データ４５が示す検出対象物の位置（座標）の変化、すなわち、受光部２２（各受光素子）から入力されるセンサ値の変化から、操作領域Ｒ（操作平面）における検出対象物の動作（ジェスチャ操作）を演算により検出するためのプログラムである。

座標データ４５の変化から操作平面における動作を検出する動作検出処理の方法は特に限定されないが、たとえば、座標データ４５のＸ座標およびＺ座標の変化から、操作平面における検出対象物の移動方向を示すベクトル（検出対象のベクトル）を所定の検出サイクル（５～３０ｍｍ／ｓｅｃ）で区切って連続して検出し、検出対象のベクトルに基づいて、ジェスチャ操作を検出する方法がある。すなわち、所定時間間隔で連続して取得した座標データ４５の変化から、ジェスチャ操作を検出する。

この場合、予め登録されたジェスチャ操作（登録ジェスチャ）に対応する基準となるベクトル（基準ベクトル）のデータを予め作成しておき、検出対象のベクトルが検出される度に、検出対象のベクトルのデータと基準ベクトルのデータとを照らし合わせて、検出対象のベクトルが基準ベクトルかどうか、すなわち、操作平面における検出対象物の動作が登録ジェスチャかどうかを判定する。

図１１は、実施例１の動作判定用（ジェスチャ判定用）のヒストグラムの一例を示す説明図である。図１１に示すように、実施例１では、登録ジェスチャとして、操作平面において上下左右の各々に向かう直線的なジェスチャ（上下左右のいずれかの方向に向かって直線を描くようなジェスチャ）Ｖ１～Ｖ４と、操作平面上の右回転のジェスチャ（時計回りに円を描くようなジェスチャ）Ｖ５と、操作平面上の左回転のジェスチャ（反時計回りに円を描くようなジェスチャ）Ｖ６とが登録されており、また、登録ジェスチャＶ１～Ｖ６のそれぞれに対応する基準ベクトルが登録されている。なお、基準ベクトルにおける左右の向きについては、Ｙ座標のマイナス側から見た場合の左右に合わせて設定されており、Ｙ座標のプラス側から見た場合には、左右の向きが反転することになる。

具体的には、直線的なジェスチャＶ１～Ｖ４については、検出サイクルの前後（開始時点および終了時点）における２つの座標データ４５の位置の差分、すなわち、前回（サイクル開始時）の位置Ｐ１（ｘ１，ｚ１）と、今回（サイクル終了時）の位置Ｐ２（ｘ２，ｚ２）との差分から生成されたベクトルを検出対象のベクトルとして判定する。

また、回転動作Ｖ５，Ｖ６については、２回分の検出サイクルにおける３つの座標データ４５の位置の差分、すなわち、前々回（１回目のサイクル開始時）の位置Ｐ０（ｘ０，ｚ０）と、前回（１回目のサイクル終了時および２回目のサイクル開始時）の位置Ｐ１（ｘ１，ｚ１）と、今回（２回目のサイクル終了時）の位置Ｐ２（ｘ２，ｚ２）とから生成される２つのベクトルの外積の正負で判別する。そして、動作検出モードが開始されると、検出サイクルが終了する度に、検出対象のベクトルが登録ジェスチャＶ１～Ｖ６のそれぞれに対応する基準ベクトルかどうかが判定される。

また、実施例１のジェスチャ判定用のヒストグラムでは、登録ジェスチャの検出数がカウントされる（図１１における「検出数」の欄）。検出対象のベクトルが登録ジェスチャであると判定された場合、すなわち、登録ジェスチャが検出された場合、検出された登録ジェスチャの検出数が１カウントアップ（１加算）される。図１１は、左から右に向かう直線的なジェスチャＶ１と、下から上に向かう直線的なジェスチャＶ４とが、それぞれ１回ずつ検出された状態のヒストグラムを示している。

検出対象のベクトルのデータ、基準ベクトルのデータ（登録ジェスチャのデータ）、およびジェスチャ判定用のヒストグラムのデータは、動作検出用データ４６として記憶部に記憶されている。

そして、動作検出モードが終了した場合、すなわち、操作領域Ｒからの退出が判定された場合、動作検出モードの実行中に検出されたジェスチャ操作のデータ（操作データ）４７が検出数に応じて生成され、操作データ４７は、適宜のタイミングで操作対象物に送信される。なお、複数のジェスチャ操作が検出されていた場合、複数のジェスチャ操作のデータを含む１つの操作データ４７が生成されるようにしてもよいし、１つのジェスチャ操作毎に対して１つの操作データ４７が生成されるようにしてもよい。また、複数のジェスチャ操作のデータを含む１つの操作データ４７が生成される場合には、操作データ４７は、複数のジェスチャ操作の検出された順番のデータを含むようにしてもよい。
＜フローチャート＞

図１２は動作判定処理のフローチャート図である。以下、図１２を参照して動作判定処理を説明する。動作判定処理は、検出可能領域ＤＲに検出対象物が進入したとき、すなわち、Ｚ座標（光センサ２における総出力値）が閾値未満の状態から閾値以上の状態に変化したときに開始される。

動作判定処理が開始されると、操作領域Ｒに対する進入判定を行う（ステップＳ１）。ステップＳ１で検出対象物が操作領域Ｒに進入したと判定されなければ（ステップＳ１：ＮＯ）、同じステップＳ１に戻る。すなわち、検出対象物が操作領域Ｒに進入したと判定されるまで待機する。

一方、ステップＳ１で検出対象物が操作領域Ｒに進入したと判定されれば（ステップＳ１：ＹＥＳ）、動作検出モードを開始し、検出対象のベクトルを検出し（ステップＳ２）、ステップＳ２で検出された検出対象のベクトルが基準ベクトルかどうかを判定する（ステップＳ３）。

ステップＳ３で検出対象のベクトルが基準ベクトルでないと判定されれば（ステップＳ３：ＮＯ）、後述するステップＳ５に進む。一方、ステップＳ３で検出対象のベクトルが基準ベクトルであると判定されれば（ステップＳ３：ＹＥＳ）、基準ベクトルに対応する登録ジェスチャ（動作）の検出数を１カウントアップして（ステップＳ４）、操作領域Ｒからの退出判定を行う（ステップＳ５）。

ステップＳ５で検出対象物が操作領域Ｒから退出したと判定されなければ（ステップＳ５：ＮＯ）、すなわち、検出対象物が操作領域Ｒに留まっている場合には、ステップＳ２に戻り、ステップＳ２～ステップＳ４の処理を検出サイクル毎に繰り返し行う。

一方、ステップＳ５で検出対象物が操作領域Ｒから退出したと判定されると（ステップＳ５：ＹＥＳ）、動作検出モードを終了し、登録ジェスチャ（動作）が検出されていたかどうかを判定する（ステップＳ６）。

ステップＳ６で登録ジェスチャが検出されていないと判定されれば（ステップＳ６：ＮＯ）、後述するステップＳ８に進む。一方、ステップＳ６で登録ジェスチャが検出されていたと判定されれば（ステップＳ６：ＹＥＳ）、検出された登録ジェスチャに対応する操作データを生成し（ステップＳ７）、ジェスチャ判定用のヒストグラムのデータを初期化し（ステップＳ８）、動作判定処理を終了するかどうか、すなわち、検出可能領域ＤＲから検出対象物が退出したかどうかを判定する（ステップＳ９）。

ステップＳ９で検出可能領域ＤＲから検出対象物が退出したと判定されなければ（ステップＳ９：ＮＯ）、すなわち、検出対象物が検出可能領域ＤＲ内に留まっているには、ステップＳ１に戻る。一方、ステップＳ９で検出可能領域ＤＲから検出対象物が退出したと判定されれば（ステップＳ９：ＹＥＳ）、動作判定処理を終了する。

以上のように、本発明では、光センサ２が操作平面の延長面上に位置し、操作平面における検出対象物の動作を検出するので、光センサ２と検出対象物との距離（Ｚ方向の距離）に関係なく、検出対象物の動作（ジェスチャ操作）を精度よく検出することができる。また、操作平面における検出対象物の動作を検出するので、検出対象物の大きさに関係なく、検出対象物の動作を精度よく検出することができる。

さらに、受光部２２が第１の方向および前記第１の方向に交差する第２の方向のそれぞれに２つ以上並ぶように配置される複数の受光素子２２Ａ～２２Ｄを有し、複数の受光素子２２Ａ～２２Ｄから出力された複数のセンサ値に基づいて操作平面における検出対象物の３次元位置（Ｘ座標、Ｙ座標、Ｚ座標）を検出するので、検出対象物の動作を精度よく検出することができる。

さらにまた、受光部２２から入力されるセンサ値を整数演算処理により座標データに変換し、変換した座標データの変化（差分）から操作平面における検出対象物の動作を検出するので、複雑な演算をする必要が無く、制御部３の処理負荷を低減することができ、製造コストの低減、高速処理化、または応答速度の向上を図ることができる。

なお、上述の構成に加えて、操作平面または操作領域Ｒを視覚的に認識できるようにする構成を付加してもよい。たとえば、映像を空中に表示させる空中結像部を設け、操作平面または操作領域Ｒに対応する映像を表示させるようにしてもよい。また、操作平面または操作領域Ｒの端部の位置に指標となる指標物を配置してもよい。

さらに、ジェスチャの判定は、座標に限らず、各受光素子で取得する明度等のセンサ値の所定時間間隔で連続するデータ列の変化から判定する構成としてもよい。この場合は、人工知能（ＡＩ）を用いて、様々なジェスチャの学習データを人工知能（ＡＩ）に学習させておき、この人工知能（ＡＩ）によって取得したセンサ値のデータ列がどのジェスチャに該当するか判定する構成としてもよい。

さらにまた、上述の実施例では、発光部２１および受光部２２の両方が操作平面のＸ軸上に位置するようにしたが、発光部２１および受光部２２は、Ｙ方向に並ぶように配置されてもよいし、Ｘ方向およびＹ方向以外の任意の方向に並ぶように配置されてもよい。ただし、これらの場合には、受光部２２は、Ｘ軸上に配置されていることが好ましい。

図１３は実施例２の非接触入力装置１の構成を示すブロック図である。図１４は実施例２の光センサ２の構成および操作領域Ｒを示す斜視図である。図１３および図１４に示すように、実施例２では、非接触入力装置１が複数の光センサ２を有する点が実施例１と異なる。

具体的には、非接触入力装置１は、３つの光センサ２Ａ～２Ｃを有する。３つの光センサ２Ａ～２Ｃのそれぞれは、制御部３と通信可能に接続されている。なお、３つの光センサ２Ａ～２Ｃのそれぞれの構成は、実施例１の光センサ２と同じであるので、詳しい説明を省略する。

３つの光センサ２Ａ～２Ｃは、操作平面が延びる２方向のうち、受光部２２の受光中心方向に直交する方向（本実施例ではＸ方向）に等間隔で並ぶように配置される。すなわち、３つの光センサ２Ａ～２Ｃは、各光センサ２Ａ～２Ｃに設定される操作領域Ｒおよび操作平面がＸ方向に一直線に並ぶように配置される。また、３つの光センサ２Ａ～２Ｃの受光中心方向は、すべて互いに平行である。さらに、３つの光センサ２Ａ～２Ｃが並んで配置される方向は操作平面と平行であって第１の方向であり、すくなくとも受光部２２（受光素子）は、操作平面に平行に一列に配置されている。なお、受光部２２（受光素子）だけではなく発光部２１も操作平面に平行に一列に配置されていることが好ましい。すなわち、光センサ２そのものが操作平面に平行に一列に配置されていることが好ましい。

また、隣り合う光センサ２の間の距離（Ｘ方向の離間距離）は、Ｙ方向から見た場合に互いの操作領域Ｒおよび操作平面が重なる程度の距離に設定されている。したがって、図１４に示すように、各光センサ２Ａ～２Ｃに設定される操作領域Ｒおよび操作平面が結合されるような状態となる。ここで、各光センサ２Ａ～２Ｃが並ぶ方向（本実施例ではＸ方向）の長さは、光センサ２の個数に応じて長くなるので、各光センサ２Ａ～２Ｃが並ぶ方向のことをＬ方向（長手方向）ということもできる。

また、図１３に示すように、実施例２では、光センサ２が複数設けられていることに伴い、記憶部４には、実施例１の内容に加え、複数の光センサ２の受光部２２（各受光素子）から入力されるセンサ値を合成するための合成プログラム４８が記憶されている。複数の光センサ２から入力されるセンサ値を合成する合成処理の方法は特に限定されないが、たとえば、次の式（数Ｄ）によって計算することができる。
〔数Ｄ〕
Ｌ＝１／２Ｄ＋Ｄ×（Ｎｍａｘ－１）＋ｋ×Ｘｍａｘ

ここで、Ｄは、光センサ２の間の距離（ｍｍ）であり、Ｎｍａｘは複数の光センサ２のうち、Ｙ座標の値が最大となる光センサ２のセンサ番号（Ｌ方向端部の光センサ２を１番目とし、Ｌ方向に並ぶ順に順序を付した場合の番号）であり、ｋは、任意の補正係数である。

動作検出処理の内容、その他の構成および動作については、Ｘ座標をＬ座用に置き換えて処理する以外は実施例１と同一であるため、その詳細な説明を省略する。また、同一要素に同一符号を付している。この実施例２においても、実施例１と同一の作用効果を奏することができる。

また、実施例２では、水平方向（Ｘ方向）に操作領域を拡張（拡大）することができるので、より広い範囲でジェスチャ操作を受け付けることができるだけでなく、ストロークの大きいジェスチャ操作の検出も可能になるなど、検出可能なジェスチャ操作の種類を増やすこともできる。

なお、上述の実施例では、各光センサ２の発光部２１および受光部２２が操作平面のＸ軸上に位置するようにしたが、各光センサ２の発光部２１および受光部２２は、Ｙ方向に並ぶように配置されてもよいし、Ｘ方向およびＹ方向以外の任意の方向に並ぶように配置されてもよい。ただし、これらの場合には、受光部２２は、Ｘ軸上に配置されていることが好ましい。

図１５は実施例３の非接触入力装置１の構成を示すブロック図である。実施例３の非接触入力装置１では、単数または複数の動作からサインを検出することができる点が実施例１と異なる。なお、サインとは、複数のジェスチャ操作（動作）で描画（構成）される数字、記号、図形、パターン（模様）等のことである。図１５に示すように、実施例３では、サインを検出するための構成として、記憶部４には、実施例１の内容に加え、方向判定プログラム４９、サイン検出プログラム５０，サイン参照テーブル５１が記憶されている。
＜方向判定処理＞

方向判定プログラム４９は、座標データ４５が示す検出対象物の位置（座標）の変化から、操作領域Ｒに検出対象物が進入した方向（Ｙ方向の向き）、すなわち、操作領域Ｒに検出対象物がＹ座標のプラス側から進入したか、Ｙ座標のマイナス側から進入したかを判定するためのプログラムである。操作領域Ｒへの検出対象物の進入方向を判定する方向判定処理の方法は特に限定されないが、たとえば、実施例１で説明した操作領域Ｒに対する進入／退出判定処理において検出対象物が操作領域Ｒに進入したと判定されたときのＹ座標の正負で判定することができる。この方向判定処理で判定された操作領域Ｒへの検出対象物の進入方向を、操作者の向きとし、動作検出処理およびサイン検出処理におけるベクトルの左右の向きが、操作者から見た場合の左右に合わせて設定される。
＜サイン検出処理＞

サイン検出プログラム５０は、動作検出モードの実行中に、座標データ４５が示す検出対象物の位置の変化から検出される単数または複数の操作平面上の動作から演算によりサインを検出するためのプログラムである。操作平面上の動作からサインを検出する方法は特に限定されないが、たとえば、検出サイクル毎に検出される操作平面上の単数または複数の動作の組み合わせが、予め登録されたサイン（登録サイン）に対応する場合に、入力されたサインとして検出する方法がある。

たとえば、登録サインを構成する動作（登録ジェスチャ）の組み合わせのデータを予め参照しておき、動作検出モードの実行中に検出された動作毎のヒストグラム（サイン判定用のヒストグラム）を用いて入力されたサインとして検出するかどうかを判定する。

図１６は実施例３のサイン判定用のヒストグラムの一例を示す説明図である。図１６に示すように、実施例３のサイン判定用のヒストグラムでは、登録ジェスチャとして、操作平面において上下左右の各々に向かう直線的なジェスチャＶ１～Ｖ４と、Ｖ１～Ｖ４の向きを４５°傾けた直線的なジェスチャＶ５～Ｖ８と、操作平面上の右回転のジェスチャＶ９と、操作平面上の左回転のジェスチャＶ１０とが設定されており、また、登録ジェスチャＶ１～Ｖ１０のそれぞれに対応する基準ベクトルが設定されている。基準ベクトルにおける左右の向きは、方向判定処理で判定された進入方向から見た場合の左右に合わせて設定されている。

実施例３のサイン判定用のヒストグラムでは、登録ジェスチャの各々の検出数がカウントされる（図１６における「検出数」の欄）。実施例１で説明したように、登録ジェスチャが検出された場合、その登録ジェスチャの検出数が１カウントアップされる。

図１７は実施例３のサイン参照テーブルの一例を示す説明図である。図１８は実施例３のサイン参照テーブルの他の例を示す説明図である。図１７および図１８に示すサイン参照テーブルは、登録サインを構成する登録ジェスチャの組み合わせを示すテーブルである。

図１７に示すサイン参照テーブルは、サインの描画に必要な各登録ジェスチャの検出数で表現したものである。図１７に示すように、たとえば、数字の「０」は、４サイクル分の左回転のジェスチャＶ１０で構成される。また、数字の「２」は、２サイクル分の左から右への直線的なジェスチャＶ１と、１サイクル分の右上から左下への直線的なジェスチャＶ７と、３サイクル分の右回転のジェスチャＶ９とで構成される。さらに、図形「□」は、２サイクル分のジェスチャＶ１～Ｖ４で構成される。

図１８に示すサイン参照テーブルは、サインを描画する場合の線長における各登録ジェスチャの割合で表現したものである。図１８に示すように、たとえば、数字の「０」は、左回転のジェスチャのみ（１００％）で構成される。また、数字の「２」は、３３％のジェスチャＶ１と、１７％のジェスチャＶ７と、５０％のジェスチャＶ９とで構成される。さらに、図形「□」は、それぞれ２５％のジェスチャＶ１～Ｖ４で構成される。

そして、動作検出モードが終了した場合、サイン判定用のヒストグラムと、サイン参照テーブルとを比較して、差異が所定の閾値以下であるか、あるいは一致度が所定の閾値以上のサインが存在する場合に、一連の動作を入力されたサインとして検出する。サイン判定用のヒストグラムと、サイン参照テーブルとを比較する際には、サインの描画に必要な各登録ジェスチャの検出数で比較してもよいし、サインを描画する場合の線長における各登録ジェスチャの割合で比較してもよい。また、一致度が所定の閾値以上のサインが複数存在する場合には、一致度が最も高いサインを入力されたサインとする。登録サインが検出されると、その登録サインに対応する操作データ４７が生成される。
＜フローチャート＞

図１９はサイン判定処理のフローチャート図である。以下、図１９を参照してサイン判定処理を説明する。サイン判定処理は、検出可能領域ＤＲに検出対象物が進入したときに開始される。なお、ステップＳ１１～Ｓ１５までの処理は、ジェスチャ判定用のヒストグラムに代えてサイン判定用のヒストグラムを使用すること以外は、実施例１のステップＳ１～Ｓ５と同じ処理であるため、詳細な説明を省略する。

サイン判定処理が開始され、ステップＳ１５で検出対象物が操作領域Ｒから退出したと判定されると（ステップＳ１５：ＹＥＳ）、動作検出モードを終了し、サイン参照テーブルを読み出し（ステップＳ１６）、サイン判定用のヒストグラムと、サイン参照テーブルとを比較して、登録サインが検出されていたかどうかを判定する（ステップＳ１７）。

ステップＳ１７で登録サインが検出されていないと判定されれば（ステップＳ１７：ＮＯ）、後述するステップＳ１９に進む。一方、ステップＳ１７で登録サインが検出されていたと判定されれば（ステップＳ１７：ＹＥＳ）、検出された登録サインに対応する操作データを生成し（ステップＳ１８）、サイン判定用のヒストグラムのデータを初期化し（ステップＳ１９）、動作判定処理を終了するかどうか、すなわち、検出可能領域ＤＲから検出対象物が退出したかどうかを判定する（ステップＳ２０）。

ステップＳ２０で検出可能領域ＤＲから検出対象物が退出したと判定されなければ（ステップＳ２０：ＮＯ）、すなわち、検出対象物が検出可能領域ＤＲ内に留まっていると判定された場合には、ステップＳ１１に戻る。一方、ステップＳ２０で検出可能領域ＤＲから検出対象物が退出したと判定されれば（ステップＳ２０：ＹＥＳ）、サイン判定処理を終了する。

その他の構成および動作については実施例１と同一であるため、その詳細な説明を省略する。また、同一要素に同一符号を付している。この実施例３においても、実施例１と同一の作用効果を奏することができる。

また、実施例３では、個別の登録ジェスチャよりも複雑なサインを検出することができるので、操作データの自由度が高まり、操作対象物を操作する際の利便性が向上する。

さらに、実施例３では、操作領域に検出対象物が進入する進入方向を検出し、進入方向に応じた向きでサインを検出するので、操作者から見た左右方向と、ベクトル検出の左右方向とを一致させ、サインを適切かつ正確に検出することができる。

実施例４の非接触入力装置１では、ベクトルによる動作検出方法に代えて、操作領域Ｒ（操作平面）を複数のブロックに分割し、ブロック間の移動を検出することによって、動作検出を行うようにした点が実施例１と異なる。

図２０は実施例４の動作判定ブロックの一例を示す図である。図２０に示すように、実施例４では、操作領域Ｒ（操作平面）を複数のブロックに分割している。図２０に示す例では、操作領域Ｒ（操作平面）のうち、下側のエリアをＡブロックとし、左右の一方側（図２０では紙面に向かって左側）のエリアをＢブロックとし、左右の他方側（図２０では紙面に向かって右側）のエリアをＣブロックとし、上側のエリアをＤブロックとし、Ａブロック～Ｄブロックに囲まれる中央のエリアをＥブロックとしている。また、操作領域Ｒ（操作平面）の外側のエリアをＦブロックとしている。

このようにすれば、座標データ４５が示す検出対象物の位置（座標）がどのブロックに位置するかを時系列に従って検出し、検出対象物が操作領域Ｒ（操作平面）に進入してから退出するまでにどのブロックを通過したか、すなわち、操作平面における検出対象物の移動経路を検出することができる。この検出対象物の移動経路から、動作を検出することができる。たとえば、検出対象物の位置が、Ｂブロック、Ｅブロック、Ｃブロックの順に通過する場合、左から右に向かう直線的なジェスチャ操作と判定することができる。また、検出対象物の位置が、Ａブロック、Ｂブロック、Ｄブロック、Ｃブロックの順に通過する場合、右回りの回転動作と判定することができる。

また、実施例４では、２つのブロックの間を移動する動作をフリック、スワイプ（パン）、ドラッグのいずれかと判定してもよい。フリック、スワイプ（パン）、ドラッグを区別して判定する場合には、ブロックの間を移動する速度（加速度）や、Ｙ座標の位置などによって区別して判定することができる。また、Ｚ方向に並ぶ２つのブロックの間を移動する動作（たとえばＥブロックからＡブロックに移動する動作）を項目の選択などに用いるタッチ（タップ）と判定してもよい。さらに、Ｚ方向に並ぶ２つのブロックの間を連続的に２回移動する動作が検出された場合には、ダブルタッチ（ダブルタップ）と判定してもよい。さらにまた、所定期間以上同じブロックに留まっている場合には、ロングタッチ（ロングタップ）と判定してもよい。また、２つのブロックの間を２回以上往復する動作をシェイク操作と判定してもよい。

その他の構成および動作については実施例１と同一であるため、その詳細な説明を省略する。また、同一要素に同一符号を付している。この実施例３においても、実施例１と同一の作用効果を奏することができる。また、実施例４によれば、直線的な動作や回転動作だけでなく、より多様な動作を検出することもできる。

なお、実施例４において、操作領域を検出対象物の進入方向（Ｙ方向）の手前側と奥側とで分割し、手前側のブロックと奥側のブロックとの間の移動を検出することによって、Ｙ方向の動作検出を行うようにしてもよい。このようにすれば、検出対象物の進入方向におけるタッチ操作（ボタン等を押す操作）を検出することができる。
この発明と実施例（実施形態）について、

この発明の光センサは各実施例の光センサ２に対応し、以下同様に、発光部は発光部２１に対応し、受光部は受光部２２に対応し、動作検出部は動作検出プログラム４４およびこれに従って動作する制御部３に対応し、複数の受光素子は受光素子２２Ａ～２２Ｄに対応し、合成部は合成プログラム４８およびこれに従って動作する制御部３に対応し、サイン検出部はサイン検出プログラム５０およびこれに従って動作する制御部３に対応し、方向判定部は方向判定プログラム４９およびこれに従って動作する制御部３に対応するが、この発明は本実施形態に限られず他の様々な実施形態とすることができる。また、上述の実施形態で挙げた具体的な構成等は一例であり、実際の製品に応じて適宜変更することが可能である。

たとえば、上述したＸＺ平面の操作平面を第１の操作平面とし、第１の操作平面を基準とした操作領域Ｒを第１の操作領域とし、これに加えて、ＹＺ平面の操作平面（第２の操作平面）を基準とした第２の操作領域を設定してもよい。このようにすれば、Ｘ方向およびＹ方向のいずれからでも動作を検出することができる。すなわち、４方向からのジェスチャ操作が可能になる。

本発明の非接触入力装置１は、たとえば、エレベータの操作盤（操作パネル）に適用することができる。この場合、操作平面がエレベータの操作パネルの表面から所定距離離間した平行面になるように設定される。そして、操作平面における上下方向のジェスチャ操作に応じて行先の階数を設定したり、サイン（数字）を入力して行先の階数を設定したりすることができる。このようにすれば、エレベータの操作パネルに触れることなく、エレベータを操作することができる。

また、本発明は、非接触入力装置として提供するだけでなく、非接触入力装置を用いて、上述のような操作平面における検出対象物の動作を検出するための、方法、プログラム、およびプログラムを記憶した記憶媒体としても提供することができる。

この発明は、非接触で入力操作を受け付けて電子機器などの操作対象物を操作するような産業に利用することができる。

１…非接触入力装置
２…光センサ
２１…発光部
２２…受光部
２２Ａ～２２Ｄ…受光素子
３…制御部
４…記憶部

Claims (5)

1. 光を発光する発光部、および前記発光部から出射された光が検出対象物に照射されることによって生じた反射光を受光して、受光した光の強度に基づくセンサ値を出力する受光部を備える光センサと、
   前記受光部から出力された前記センサ値に基づいて、前記光センサの検出可能領域内に設定される操作平面における前記検出対象物の動作を検出する動作検出部と、
   前記操作平面を含み、前記検出可能領域内に設定される操作領域に前記検出対象物が進入する進入方向を判定する方向判定部とを備え、
   前記光センサは、前記操作平面の延長面上に位置し、
   前記動作検出部は、前記進入方向に応じた向きで前記検出対象物の動作を検出する
   非接触入力装置。
2. 前記受光部は、第１の方向および前記第１の方向に交差する第２の方向のそれぞれに２つ以上配置される複数の受光素子を有し、
   前記動作検出部は、前記複数の受光素子から出力された複数のセンサ値に基づいて前記操作平面における前記検出対象物の動作を検出する
   請求項１記載の非接触入力装置。
3. 前記動作検出部は、前記操作領域を前記検出対象物の進入方向の手前側のブロックと奥側のブロックに分割し、前記手前側のブロックと前記奥側のブロックとの間の前記検出対象物の移動を検出することによって、前記検出対象物の動作を検出する
   請求項１または２記載の非接触入力装置。
4. 単数または複数の前記動作からサインを検出するサイン検出部をさらに備えた
   請求項１または２記載の非接触入力装置。
5. 前記サイン検出部は、前記進入方向に応じた向きでサインを検出する
   請求項４記載の非接触入力装置。
   

Images