JP4849106B2 - 画像認識方法、画像認識装置、および画像入出力装置 - Google Patents

Description

本発明は画像認識方法、画像認識装置、および画像入出力装置に関し、特には動画を認識するための方法およびこの方法を実施するための装置、さらにはこのような画像認識方法を行なう画像入力機能と共に表示機能を備えた画像入出力装置に関する。

表示面近傍における画像を認識するための画像入力機能付きの表示装置としては、例えば表示画素に隣接して受光素子を設けた構成が提案されている。このような構成の表示装置においては、外部環境の変化や装置の内部構成に起因するノイズが、入力される受光画像の認識精度に対して大きな影響を与える。

そこで、表示面を発光させた状態で測定した受光量と、発光していない状態で測定した受光量との差を、受光画像に固定的に発生するノイズとして算出し、これを初期値として記憶させておき、その後の受光画像から初期値を減算する方法が提案されている。この方法では、受光画像を得る際にも、表示面を発光させた状態で測定した受光量と、発光していない状態で測定した受光量との差を算出し、算出した値から上記のノイズ（初期値）を減算する。このような方法により、使用環境や内部構成に影響されず、表示面に対する接触もしくは近接の判定を良好に行なうことができるとしている（下記特許文献１参照）。

特開２００７−２５７９６号公報

しかしながら、このような方法では、ノイズ成分である初期値を設定する際、意図的に表示面近傍に検出対象物を置かない状態で受光画像を取得する必要がある。このため、表示装置を使用する環境の変化、経時変化に対応することが困難である。

また、上記特許文献１には、初期値の設定は、製品の出荷前の工程で行なうか、またはユーザ操作で初期値を随時更新しても良い記載がある。初期値を随時更新することにおり、ある程度の環境の変化や経時変化に対応可能にはなるが、ユーザ操作が必要となる点が煩雑である。

そこで本発明は、外部環境や装置の内部構成に起因するノイズの経時変化に依存せず、受光面内に近接または接触した対称物を精度良好に認識することが可能な画像認識方法を提供すること、およびこの画像認識方法を行なう画像認識装置および画像入出力装置を提供することを目的とする。

このような目的を達成するための本発明の画像認識方法は次の手順で行なわれる。先ず、第１工程においては、受光面にマトリックス状に配置された受光素子において、移動する近接物体からｎ回目の受光データを取得する。次の第２工程では、受光素子において、第１工程と同じ光学条件で、移動する近接物体からｎ＋１回目の受光データを取得する。その後第３工程では、ｎ＋１回目に取得した受光データから、ｎ回目に取得した受光データを差し引いた差分データを算出する。さらに第４工程では、算出した差分データに基づいて画像認識を行う。上記第４工程では、差分データに生じるピークまたはボトムの何れか一方を画像情報とし、差分データに生じるピークとボトムとの距離に応じて、画像情報を二値化するための閾値を調整する。そして以上の第１工程から第４工程までを繰り返し行なう。

また本発明は、以上のような画像認識方法が行なわれる画像認識装置でもある。この画像認識装置は、マトリックス状に受光素子が配置された受光面と、受光素子においての移動する近接物体に基づく受光データの取得を同じ光学条件で繰り返し行なう駆動部とを備えている。また、受光素子においてｎ＋１回目に取得した受光データからｎ回目に取得した受光データを差し引いた差分データを算出し、当該差分データに基づいて画像認識を行う画像処理部を備えている。上記画像処理部は、差分データに生じるピークまたはボトムの何れか一方を画像情報とし、差分データに生じるピークとボトムとの距離に応じて、画像情報を二値化するための閾値を調整するものである。

さらに本発明は、以上のような画像認識方法が行なわれる画像入出力装置においては、上述した発光素子が、画像表示を行なう表示面に配置された構成である。

以上のような画像認識方法では、最新（ｎ＋１回目）の受光データから、その直前（ｎ回目）に同じ光学条件で取得した受光データを差し引いた差分データを算出している。このため、この差分データは、受光面の外部環境(明るさや温度など）の変化や受光素子が設けられた装置の内部構成に起因して最新の受光データに生じる経時的なノイズが、直前の受光データによって除去されたものとなる。したがって、このような差分データに基づいて画像認識を行なうことにより、特別な操作を行なうことなく、上述した経時的なノイズを除去した画像認識を行なうことができる。

以上説明したように本発明によれば、特別な操作を必要とせずに、受光面の外部環境の変化や受光素子が設けられた装置の内部構成に起因して受光データに生じる経時的なノイズを除去した画像認識が可能である。この結果、受光面に対して近接または接触した検出対象分の画像認識を、使用者に特定の操作を要求することなく、かつ安定的に良好な精度で行なうことが可能になる。

以下、本発明の画像認識方法、画像認識装置、および画像入出力装置の実施の形態を図面に基づいて詳細に説明する。ここでは、先ず画像認識手段を備えた画像入出力装置の概略構成を説明し、次にこの画像入出力装置に特徴的な構成としてこの装置において行なわれる画像認識方法を説明する。

≪画像入出力装置の構成≫
図１には、画像入出力装置１の概略構成図を示す。この図に示す画像入出力装置１は、例えば表示機能と共に画像入力機能を有する携帯機器である。この画像入出力装置１は、表示機能と共に受光入力機能を有するＩ／Ｏ表示パネル１１と、表示ドライブ回路１３と、受光ドライブ回路１５と、画像処理部１７と、アプリケーションプログラムを実行部する機器コントローラ１９と、データの通信部２１とを備えている。

Ｉ／Ｏ表示パネル１１は、以降で詳細に説明するように、画像表示を行なう表示面が受光面ともなっており、この表示／受光面Ｓに対してマトリックス状に受光素子が配列されている。これにより、表示／受光面Ｓに近接または接触した検出対象物での反射光や影が受光データとして検出される構成となっている。

このようなＩ／Ｏ表示パネル１１を備えた画像入出力装置１では、機器コントローラ１９から出力された表示データが、表示ドライブ回路１３に入力されると、入力された表示データに基づいてＩ／Ｏ表示パネル１１での表示が行われる。

一方、Ｉ／Ｏ表示パネル１１から入力された受光データは、受光ドライブ回路１５に出力され、受光ドライブ回路１５に順次記憶され、その後画像処理部１７に出力される。画像処理部１７では、受光データに基づいて、表示／受光面Ｓに近接または接触した検出対象物の位置情報、面積情報、形状情報などが解析され、携帯機器の機器コントローラ１９に出力される。機器コントローラ１９では、Ｉ／Ｏ表示パネル１１からの出力結果に基づいた処理を行い、Ｉ／Ｏ表示パネル１１での表示画像に反映させたり、外部との通信を行う等々の機器の制御を行う。

また、この画像入出力装置１では、受光ドライブ部回路１５を駆動部とし、Ｉ／Ｏ表示パネル１１に設けられた受光素子においての受光データの取得が実行される。

本実施形態においては、上述した受光ドライブ回路（駆動部）１５による受光素子の駆動、および画像処理部１７においての受光データに基づく画像認識処理の手順が特徴的であり、この手順については以降に詳細に説明する。

図２には、Ｉ／Ｏ表示パネル１１のブロック図を示す。この図に示すＩ／Ｏ表示パネル１１は、例えば中央の表示領域１１ａに複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（Liquid Crystal Display：ＬＣＤ）からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有する。このＩ／Ｏ表示パネル１１には、バックライトが光源として備えられており、Ｉ／Ｏ表示パネル２１の動作タイミングに同期した所定のタイミングで、オン・オフ動作を行うようになっている。また、後述するように、表示領域１１ａには、受光素子がマトリックス状に配置され、Ｉ／Ｏ表示パネル１１の表示／受光面Ｓに近接または接触した物体を検知する受光機能（撮像機能）が設けられている。

また、表示領域１１ａの４辺側には、表示用Ｈドライバ１１ｂ、表示用Ｖドライバ１１ｃ、センサ用Ｈドライバ１１ｄ、センサ用Ｖドライバ１１ｅが配置され、それぞれ表示領域１１ａにおける水平方向（Ｈ）および垂直方向（Ｖ）への駆動が制御される。このうち、表示用Ｈドライバ１１ｂと表示用Ｖドライバ１１ｃには、表示データとして表示信号と制御クロックとが供給されて、表示領域１１ａにマトリクス状に配置された表示画素の駆動が行われる。センサ用Ｈドライバ１１ｄとセンサ用Ｖドライバ１１ｅには、読み出し用のクロックが供給されて、そのクロックに同期して読み出された受光信号を受光データとして受光ドライブ回路（１５）に供給する。

図３には、表示領域１１ａ内に配置される表示画素回路３１、および受光素子を含む受光回路３２の例を示す。

このうち表示画素回路３１は、例えば水平方向に表示選択線３１ａが配置され、垂直方向に表示信号線３１ｂが配線され、これらの配線３１ａ，３１ｂの各交差部にスイッチング素子ＳＷ１が配置されている。スイッチング素子ＳＷ１には、画素電極３１ｃとともに容量素子Ｃｓが接続され、表示選択線３１ａを介して得られる信号によりスイッチング素子ＳＷ１がオン・オフ動作し、オン状態のときに表示信号線３１ｂを介して供給される信号に基づいて画素電極３１ｃに画素電圧が印加されて液晶層が駆動される構成となっている。

一方、受光回路３２は、表示領域１１ａ内における所定部に配置され、各表示画素回路３１に対応して設けられていても良く、複数の表示画素回路３１に対して１つの割合で設けられても良い。この受光回路３２は、例えば水平方向に電源線３２ａが配置され、電源線３２ａに受光素子３２ｂが接続されている。各受光素子３２ｂには、リセットスイッチＳＷ２と容量素子Ｃｄとが接続され、さらにアンプＡｍｐを介して読み出しスイッチＳＷ３が接続されている。そして、リセットスイッチＳＷ２でリセットされた後、受光素子３２ｂで光電変換された電荷に比例した電圧が、読み出しスイッチＳＷ３がオンとなるタイミングで、アンプＡｍｐを介して外部に出力される構成となっている。

尚、図４には、Ｉ／Ｏ表示パネル１１のパネル構成を示す。この図に示すように、液晶パネルを用いて構成されたＩ／Ｏ表示パネル１１は、２枚の透明基板１１-1，１１-2間に液晶層(図示省略）が挟持され、さらに透明基板１１-1，１１-2の外側には偏光板１１-4，１１-5が設けられている。表示／受光面Ｓと反対側の透明基板１１-1における液晶層に向かう面側には、図３を用いて説明した表示画素回路３１および受光回路３２が設けられており、この透明基板１１-1の外側には偏光板１１-3を介してバックライト１１-5が設けられている。

このようなＩ／Ｏ表示パネル１１においては、バックライト１１-5をオンにして表示光ｈを点灯させた状態で画像の表示が行われる。この際、バックライト１１-5から放出されて偏光板１１-3を通過した表示光ｈのうち、表示回路に設けた画素電極の駆動によって所定の配向様態となった液晶層を透過した表示光ｈが、透明基板１１-2および偏光板１１-4を通過して表示／受光面Ｓから放出されて画像が表示される。

一方、表示／受光面Ｓに近接または接触した検出対象物Ｒにおいて反射した表示光ｈが、受光回路に設けた受光素子において検出される。さらに、表示／受光面Ｓ側から入射する外光Ｈが、検出対象物Ｒにおいて遮られた影が、受光回路に設けた受光素子において検出される。そして検出された受光データに基づいて、以下の手順にしたがって検出対象物Ｒの画像認識が行なわれる。

≪画像認識方法−１≫
図５は、上述した構成の画像入出力装置で行う画像認識方法の第１例を示すフローチャートである。以下、図５のフローチャートおよび先の図１，図４に基づき、必要に応じて他の図を参照しつつ、画像認識方法の第１例を説明する。尚ここでは、表示／受光面Ｓに近接または接触した検出対象物Ｒにおいて反射させた表示光ｈを検出することによって、検出対象物Ｒの画像を認識する場合を例示した説明を行なうこととする。

先ず、ステップＳ１では、ｎ＝１フレーム目（ｎ＝１回目）の受光データ［ＤａｔａＡ］を取得する。ここでは、受光ドライブ回路（駆動部）１５により、表示／受光面Ｓに対してマトリックス状に配置された受光素子において受光された１フレーム目の受光信号を、ｎ＝１回目の受光データとして取得する。この際、受光素子からの出力を表示／受光面Ｓの全面において走査して１枚の画像を取得する。

そして例えば、図６の［ＤａｔａＡ］に示す１枚の画像が取得されたこととする。簡単の為にこの画像の中のＡ−Ａ'の一列の信号（受光量）の受光データ［ＤａｔａＡ］に注目する。この受光量から、受光素子のノイズが全体に存在し、検出対象物Ｒのある位置ではその信号レベルが更に加算されて高くなっている。このとき、ｎ＝１フレーム目（ｎ＝１回目）の画像では左中央付近に検出対象物Ｒが存在することが分かる。

以上のように取得した受光データ［ＤａｔａＡ］は、受光ドライブ回路（駆動部）１５の記憶部Ａに記憶させる。

次のステップＳ２では、ｎ＋１フレーム目（ｎ＋１＝２回目）の受光データ［ＤａｔａＢ］を取得する。ここでは、受光ドライブ回路（駆動部）１５により、表示／受光面Ｓに対してマトリックス状に配置された受光素子において受光された２フレーム目の受光信号を、ｎ＋１＝２回目の受光データとして取得する。この際、受光素子からの出力を表示／受光面Ｓの全面において走査して１枚の画像を取得する。

そして例えば、図６の［ＤａｔａＢ］に示す1枚の画像が取得されたこととする。簡単の為にこの画像の中のＡ−Ａ'の一列の信号（受光量）の受光データ［ＤａｔａＢ］に注目する。この受光量から、受光素子のノイズが全体に存在し、検出対象物Ｒのある位置ではその信号レベルが更に加算されて高くなっている。このとき、ｎ＋１フレーム目（ｎ＋１＝２回目）の画像では右中央付近に検出対象物Ｒが移動していることが分かる。

取得した受光データ［ＤａｔａＢ］は、受光ドライブ回路（駆動部）１５の記憶部Ｂに記憶させる。

次いでステップＳ３では、ｎ＋１回目に取得した受光データ［ＤａｔａＢ］から、ｎ回目に取得した受光データ［ＤａｔａＡ］を差し引いた差分データ［ＤａｔａＢ−Ａ］を算出する。図６の［ＤａｔａＢ−Ａ］にこの差分データ［ＤａｔａＢ−Ａ］を示す。この差分データ［ＤａｔａＢ−Ａ］は、連続して取得された受光データ［ＤａｔａＢ］、［ＤａｔａＡ］のノイズがキャンセルされたデータとなる。また、最新のｎ＋１回目に取得した受光データ［ＤａｔａＢ］はピークＰとして現れ、その直前のｎ回目に取得した受光データ［ＤａｔａＢ］はボトムＢｔとして現れる。

そして次のステップＳ４以降においては、差分データ［ＤａｔａＢ−Ａ］に基づいて画像認識を行う。

ここで、ステップＳ４以降の手順にしたがって画像認識を行なうに先立ち、画像認識に際して必要となるデータ換算用テーブルの作成について説明する。

＜データ換算用テーブルの作成について＞
先ず、第１の現象として、上述した差分データ［ＤａｔａＢ−Ａ］におけるピークＰとボトムＢｔの絶対値の大きさは、表示／受光面Ｓ内においての検出対象物Ｒの移動距離が近い範囲では、この移動距離に依存して変化する。ここで、検出対象物Ｒの移動距離は、受光データ［ＤａｔａＡ］のピーク位置と受光データ［ＤａｔａＢ］のピーク位置との間隔であり、ピークＰとボトムＢｔとの間の距離に相当する。

つまり、図６に示したように、受光データ［ＤａｔａＡ］，［ＤａｔａＢ］における受光量のピーク位置がある程度の範囲内において十分に離れている場合、これらの差分データ［ＤａｔａＢ−Ａ］において、それぞれのピークが干渉し合うことはない。このため、差分データ［ＤａｔａＢ−Ａ］においてのピークＰとボトムＢｔの絶対値は、ピークＰとボトムＢｔとの距離［ｄ］に依存することなく、受光データ［ＤａｔａＡ］，［ＤａｔａＢ］におけるピークの値とほぼ等しくなる。

これに対して、受光データ［ＤａｔａＡ］，［ＤａｔａＢ］のピーク位置の間隔が小さい場合には、図７に示すように、これらの差分データ［ＤａｔａＢ−Ａ］において、それぞれのピークが干渉し合う。これにより、差分データ［ＤａｔａＢ−Ａ］においてのピークＰとボトムＢｔの絶対値は、ピークＰとボトムＢｔとの距離［ｄ］に依存して、受光データ［ＤａｔａＡ］，［ＤａｔａＢ］におけるピークの値よりも小さくなる。

そして、図８に示すように、差分データ［ＤａｔａＢ−Ａ］におけるピークＰとボトムＢｔの距離［ｄ］がある程度の大きさになるまでの範囲では、この距離［ｄ］に依存してピーク信号量の変化率［β（ｄ）］が増加する。尚、図８においては、例えば図６に示したように、ピークＰとボトムＢｔの距離［ｄ］（つまり受光データ［ＤａｔａＡ］，［ＤａｔａＢ］のピーク位置の距離）に、ピークＰとボトムＢｔの絶対値が依存しない領域においての、ピーク信号量を１００％としている。

次に第２の現象として、表示／受光面Ｓ内において検出対象物Ｒが高速で移動している場合には、各受光素子上に検出対象物Ｒが滞在する時間が短くなる。このため、図９に示すように、１フレーム内における検出対象物Ｒの移動距離［Ｄ］に依存して、各受光素子においての受光量は減少する。尚、この移動距離［Ｄ］は、ピークＰとボトムＢｔの距離［ｄ］に対応する。また受光量は、受光量の変化率［β（ｄ）］に対応する。

そこで、上記第１の現象と第２の現象とを合わせた、図１０に示すデータ換算用テーブルを前もって作成しておく。このデータ換算用テーブルは、図８に示した差分データ［ＤａｔａＢ−Ａ］に生じるピーク信号量の変化率［β（ｄ）］と、図９に示した検出対象物Ｒの移動距離Ｄに依存する受光素子においての受光量の変化とを合わせたものである。

そして、図５のフローチャートに示す次のステップＳ４では、ステップＳ３で算出した差分データ［ＤａｔａＢ−Ａ］から、ピークＰとボトムＢｔとの距離［ｄ］を計測する。例えば図７の差分データ［ＤａｔａＢ−Ａ］の場合は、距離［ｄ］＝０．２と計測される。

次いでステップＳ５では、予め取得しておいた図１０のデータ換算用テーブルと、ステップＳ４で計測した距離［ｄ］（＝０．２）とに基づいて、差分データ［ＤａｔａＢ−Ａ］におけるピーク信号量の変化率［β（ｄ）］（＝２７．５％）を取得する。

その後、ステップＳ６では、差分データ［ＤａｔａＢ−Ａ］を二値化するための標準閾値Ｔを、ステップＳ５で取得したピーク信号量の変化率［β（ｄ）］（＝２７．５％）に合わせた閾値Ｔ’＝Ｔ×β（ｄ）に変換する。ここで、標準閾値Ｔは、例えばピーク信号量の変化率［β（ｄ）］（＝１００％）の半値幅の位置などであり、標準閾値Ｔ＝４０とする。これにより、閾値Ｔ’＝Ｔ×［β（ｄ）］^-1＝４０×０．２７５＝１１に変換される(図７参照）。

次に、ステップＳ７では、設定した閾値Ｔ’にて、差分データ［ＤａｔａＢ−Ａ］を二値化し、閾値Ｔ’以上のピーク信号量を１、閾値Ｔ’未満のピーク信号量を０とする。

そしてステップＳ８では、二値化したデータを画像情報として出力し、表示／受光面Ｓ内における検出対象物Ｒの位置、大きさ、形状を検出する。

その後ステップＳ９では、ｎ＋１フレーム目（ｎ＋１＝２回目）の受光データ［ＤａｔａＢ］を、受光データ［ＤａｔａＡ］に置き換えて受光ドライブ回路１５の記憶部Ａに記憶させる。また、ｎ＋１をｎに置き換える。

以降、ステップＳ２に戻り、ステップＳ２〜ステップＳ９の処理を順次繰り返し行う。この間、受光ドライブ回路(駆動部）１５での駆動により、受光素子においての受光データの取得を繰り返し行なう。

以上ステップＳ１〜ステップＳ９の処理は、画像処理部１７において行われる。

以上の第１例の方法によれば、最新（ｎ＋１回目）の受光データ［ＤａｔａＢ］から、その直前（ｎ回目）に取得した受光データ［ＤａｔａＡ］を差し引いた差分データ［ＤａｔａＢ−Ａ］を算出している。このため、この差分データ［ＤａｔａＡ］は、表示／受光面Ｓを備えた携帯用の画像入出力装置１の外部環境(明るさや温度など）の変化や画像入出力装置１の内部構成に起因して最新の受光データ［ＤａｔａＢ］に生じる経時的なノイズが、直前の受光データ［ＤａｔａＡ］によって除去されたものとなる。

したがって、このような差分データ［ＤａｔａＢ−Ａ］に基づいて画像認識を行なうことにより、特別な操作を行なうことなく、上述した経時的なノイズを安定的に除去した高精度な画像認識を行なうことが可能である。またこの方法は、特に表示／受光面Ｓ内においてＸ−Ｙ方向に移動する検出対象物Ｒの画像検出に有効である。

≪画像認識方法−２≫
図１１は、上述した構成の画像入出力装置で行う画像認識方法の第２例を示すフローチャートである。このフローチャートに示す第２例の手順が、図５のフローチャートを用いて説明した第１例の手順と異なるところは、差分データ［ＤａｔａＢ−Ａ］を二値化するためのステップＳ６’，Ｓ７’にあり、その他のステップＳ１〜Ｓ５、Ｓ８，Ｓ９は同様である。以下、図１１のフローチャートに基づき、必要に応じて他の図を参照しつつ、画像認識方法の第２例を説明する。尚、図５のフローチャートと同様の処理には同一のステップ番号を付して説明を簡略化する。

先ず、ステップＳ１〜Ｓ５までを、上述した第１例と同様に行なう。

すなわち、ステップＳ１においてｎ回目の受光データ［ＤａｔａＡ］を取得し、ステップＳ２においてｎ＋１回目の受光データ［ＤａｔａＢ］を取得し、さらにステップＳ３において差分データ［ＤａｔａＢ−Ａ］を算出する。次に、ステップＳ４においては、差分データ［ＤａｔａＢ−Ａ］からピークＰとボトムＢｔとの距離［ｄ］（＝０．２）を計測する。

その後、ステップＳ５においては、予め取得しておいた図１０のデータ換算用テーブルとステップＳ４で計測した距離［ｄ］（＝０．２）とに基づいて、差分データ［ＤａｔａＢ−Ａ］におけるピーク信号量の変化率［β（ｄ）］（＝２７．５％）を取得する。尚、図１０のデータ換算用テーブルは、第１例と同様にして得る。

そして次のステップＳ６'では、ステップＳ５において取得した変化率［β（ｄ）］に基づいて、図１２に示すように差分データ［ＤａｔａＢ−Ａ］における受光量差［Ｉ］を増幅して増幅受光量差［Ｉ’］を得る。この際、例えば増幅受光量差［Ｉ’］＝受光量差［Ｉ］×（１÷［β（ｄ）］）とする。

次に、ステップＳ７’では、増幅受光量差［Ｉ’］とした差分データ［ＤａｔａＢ−Ａ］を二値化し、標準閾値Ｔ以上のピーク信号量を１、標準閾値Ｔ未満のピーク信号量を０とする。

その後は、ステップＳ８，Ｓ９を第１例と同様に行なう。先ず、ステップＳ８では二値化したデータを画像情報として出力する。またステップＳ９では、ｎ＋１フレーム目（ｎ＋１＝２回目）の受光データ［ＤａｔａＢ］を、受光データ［ＤａｔａＡ］に置き換えて受光ドライブ回路１５の記憶部Ａに記憶させる。また、ｎ＋１をｎに置き換える。

以降、ステップＳ２に戻り、ステップＳ２〜ステップＳ９の処理を順次繰り返し行う。この間、受光ドライブ回路(駆動部）１５での駆動により、受光素子においての受光デー
タの取得を繰り返し行なう。

以上ステップＳ１〜ステップＳ６’，Ｓ７’〜ステップＳ９の処理は、画像処理部１７において行われる。

以上の第２例の方法であっても、最新（ｎ＋１回目）の受光データ［ＤａｔａＢ］から、その直前（ｎ回目）に取得した受光データ［ＤａｔａＡ］を差し引いた差分データ［ＤａｔａＢ−Ａ］を算出している。したがって、第１例と同様に、このような差分データ［ＤａｔａＢ−Ａ］に基づいて画像認識を行なうことにより、特別な操作を行なうことなく、上述した経時的なノイズを安定的に除去した高精度な画像認識を行なうことが可能である。またこの方法は、特に表示／受光面Ｓ内においてＸ−Ｙ方向に移動する検出対象物Ｒの画像検出に有効である。

≪画像認識方法−３≫
図１３は、上述した構成の画像入出力装置で行う画像認識方法の第３例を示すフローチャートである。このフローチャートに示す第３例の手順が、図５のフローチャートを用いて説明した第１例の手順と異なるところは、ステップＳ４とステップＳ５との間に、距離［ｄ］に関して判断するステップＳ４ａを加えたところにある。以下、図１３のフローチャートに基づき、必要に応じて他の図を参照しつつ、画像認識方法の第３例を説明する。尚、図５のフローチャートと同様の処理には同一のステップ番号を付して説明を簡略化する。

先ず、ステップＳ１〜Ｓ４までは、上述した第１例および第２例と同様に行なう。

すなわち、ステップＳ１においてｎ回目の受光データ［ＤａｔａＡ］を取得し、ステップＳ２においてｎ＋１回目の受光データ［ＤａｔａＢ］を取得し、さらにステップＳ３において差分データ［ＤａｔａＢ−Ａ］を算出する。次に、ステップＳ４においては、差分データ［ＤａｔａＢ−Ａ］からピークＰとボトムＢｔとの距離［ｄ］を計測する。

その後、新たに加えたステップＳ４ａにおいては、ステップＳ４で計測したピークＰとボトムＢｔとの距離［ｄ］が、所定の距離［ｄ１］よりも大きいか否かを判断する。ここでは、表示／受光面Ｓ内においての検出対象物Ｒの移動距離、すなわち差分データ［ＤａｔａＢ−Ａ］におけるピークＰとボトムＢｔとの間の距離［ｄ］が極端に小さい場合、差分データ［ＤａｔａＢ−Ａ］におけるピークＰの出力信号のレベルも小さくなり、検出が困難になる。

そこでステップＳ４ａにおいて、ピークＰとボトムＢｔとの距離［ｄ］が、所定の距離［ｄ１］よりも大きい（Ｙｅｓ）と判断された場合にのみ、ステップＳ５に進む。以降、ステップＳ５〜ステップＳ９は第１例と同様に行なう。

すなわち先ず、ステップＳ５では、予め取得しておいた図１０のデータ換算用テーブルとステップＳ４で計測した距離［ｄ］とに基づいて、差分データ［ＤａｔａＢ−Ａ］におけるピーク信号量の変化率［β（ｄ）］を取得する。尚、図１０のデータ換算用テーブルは、第１例と同様にして得る。

次のステップＳ６では、差分データ［ＤａｔａＢ−Ａ］を二値化するための標準閾値Ｔを、ステップＳ５で取得したピーク信号量の変化率［β（ｄ）］（＝２７．５％）に合わせた閾値Ｔ’＝Ｔ×β（ｄ）に変換する。

次に、ステップＳ７では、設定した閾値Ｔ’にて、差分データ［ＤａｔａＢ−Ａ］を二値化する。

そしてステップＳ８では、二値化したデータを画像情報として出力する。

さらにステップＳ９では、受光データ［ＤａｔａＢ］を受光データ［ＤａｔａＡ］に置き換えると共に、ｎ＋１をｎに置き換え、ステップＳ２に戻る。

一方、ステップＳ４ａにおいて、ピークＰとボトムＢｔとの距離［ｄ］が、所定の距離［ｄ１］よりも大きくない（Ｎｏ）と判断された場合には、そのままステップＳ２に戻り、ｎ＋１回目の受光データ［ＤａｔａＢ］を改めて取得しなおす。つまり、ステップＳ４ａにおいて差分データ［ＤａｔａＢ−Ａ］に生じるピークとボトムとの距離［ｄ］が所定値［ｄ１］よりも大きいと判断されるまで、ｎ＋１回目の受光データ［ＤａｔａＢ］を取得しなおす。そして、距離［ｄ］が所定値［ｄ１］よりも大きいと判断された場合にのみ、その際に取得した受光データ［ＤａｔａＢ］を画像情報として採用するべく、以降のステップＳ５〜ステップＳ９に進むのである。

尚、ステップＳ４ａにおいて、ピークＰとボトムＢｔとの距離［ｄ］が、所定の距離［ｄ１］よりも大きくない（Ｎｏ）と判断された場合には、表示／受光面Ｓに対して検出対象物Ｒが移動していないと判断し、その前に出力した二値化データを出力し続けても良い。

以上ステップＳ１〜ステップＳ４ａ〜ステップＳ９の処理は、画像処理部１７において行われる。

以上の第３例の方法であっても、最新（ｎ＋１回目）の受光データ［ＤａｔａＢ］から、その直前（ｎ回目）に取得した受光データ［ＤａｔａＡ］を差し引いた差分データ［ＤａｔａＢ−Ａ］を算出している。したがって、第１例と同様に、このような差分データ［ＤａｔａＢ−Ａ］に基づいて画像認識を行なうことにより、特別な操作を行なうことなく、上述した経時的なノイズを安定的に除去した高精度な画像認識を行なうことが可能である。またこの方法は、特に表示／受光面Ｓ内においてＸ−Ｙ方向に移動する検出対象物Ｒの画像検出に有効である。

さらに第３例の方法によれば、新たにステップＳ４ａを加えて差分データ［ＤａｔａＢ−Ａ］に生じるピークとボトムとの距離［ｄ］が所定値［ｄ１］よりも大きいと判断された場合にのみ、その際に取得した受光データ［ＤａｔａＢ］を画像情報として採用するようにした。これにより、表示／受光面Ｓ内においての検出対象物Ｒの移動距離、すなわち差分データ［ＤａｔａＢ−Ａ］におけるピークＰとボトムＢｔとの間の距離［ｄ］が極端に小さく、差分データ［ＤａｔａＢ−Ａ］におけるピークＰの出力信号のレベルが十分でない場合には、その受光データ［ＤａｔａＢ］を用いずに、その前に出力した二値化データを出力し続けることで、出力されるデータが消失することを防止した画像認識が可能になる。

≪画像認識方法−４≫
図１４は、上述した構成の画像入出力装置で行う画像認識方法の第４例を示すフローチャートである。このフローチャートに示す第４例の手順は、先の第３例を第２例に応用した手順であり、図１１のフローチャートを用いて説明した第２例の手順に対して、第３例で追加したステップＳ４ａを加えた手順である。ステップＳ４ａ以外の他のステップＳ１〜ステップＳ６’，７’〜ステップＳ９は第２例と同様である。以下、図１４のフローチャートに基づき、必要に応じて他の図を参照しつつ、画像認識方法の第４例を説明する。尚、先のフローチャートと同様の処理には同一のステップ番号を付して説明を簡略化する。

先ず、ステップＳ１〜Ｓ４までを、上述した第１例〜第３例と同様に行なう。

すなわち、ステップＳ１においてｎ回目の受光データ［ＤａｔａＡ］を取得し、ステップＳ２においてｎ＋１回目の受光データ［ＤａｔａＢ］を取得し、さらにステップＳ３において差分データ［ＤａｔａＢ−Ａ］を算出する。次に、ステップＳ４においては、差分データ［ＤａｔａＢ−Ａ］からピークＰとボトムＢｔとの距離［ｄ］を計測する。

その後、新たに加えたステップＳ４ａにおいては、ステップＳ４で計測したピークＰとボトムＢｔとの距離［ｄ］は、所定の距離［ｄ１］よりも大きいか否かを判断する。ここでは、表示／受光面Ｓ内においての検出対象物Ｒの移動距離、すなわち差分データ［ＤａｔａＢ−Ａ］におけるピークＰとボトムＢｔとの間の距離［ｄ］が極端に小さい場合、差分データ［ＤａｔａＢ−Ａ］におけるピークＰの出力信号のレベルも小さくなり、検出が困難になる。

そこでステップＳ４ａにおいて、ピークＰとボトムＢｔとの距離［ｄ］が、所定の距離［ｄ１］よりも大きい（Ｙｅｓ）と判断された場合にのみ、ステップＳ５に進む。

先ずステップＳ５は、第１例と同様に行なえば良く、予め取得しておいた図１０のデータ換算用テーブルとステップＳ４で計測した距離［ｄ］とに基づいて、差分データ［ＤａｔａＢ−Ａ］におけるピーク信号量の変化率［β（ｄ）］を取得する。尚、図１０のデータ換算用テーブルは、第１例と同様にして得る。

次のステップＳ６'では、ステップＳ５において取得した変化率［β（ｄ）］に基づいて、図１２に示すように差分データ［ＤａｔａＢ−Ａ］における受光量差［Ｉ］を増幅して増幅受光量［Ｉ’］を得る。増幅の手順は第２例のステップＳ６'と同様である。

次に、ステップＳ７’では、増幅受光量［Ｉ’］とした差分データ［ＤａｔａＢ−Ａ］を二値化し、標準閾値Ｔ以上のピーク信号量を１、標準閾値Ｔ未満のピーク信号量を０とする。

そしてステップＳ８では、二値化したデータを画像情報として出力する。

さらにステップＳ９では、受光データ［ＤａｔａＢ］を受光データ［ＤａｔａＡ］に置き換えると共に、ｎ＋１をｎに置き換え、ステップＳ２に戻る。

一方、ステップＳ４ａにおいて、ピークＰとボトムＢｔとの距離［ｄ］が、所定の距離［ｄ１］よりも大きくない（Ｎｏ）と判断された場合には、そのままステップＳ２に戻り、ｎ＋１回目の受光データ［ＤａｔａＢ］を改めて取得しなおす。つまり、ステップＳ４ａにおいて差分データ［ＤａｔａＢ−Ａ］に生じるピークとボトムとの距離［ｄ］が所定値［ｄ１］よりも大きいと判断されるまで、ｎ＋１回目の受光データ［ＤａｔａＢ］を取得しなおす。そして、距離［ｄ］が所定値［ｄ１］よりも大きいと判断された場合にのみ、その際に取得した受光データ［ＤａｔａＢ］を画像情報として採用するべく、以降のステップＳ５〜ステップＳ９に進むのである。

尚、ステップＳ４ａにおいて、ピークＰとボトムＢｔとの距離［ｄ］が、所定の距離［ｄ１］よりも大きくない（Ｎｏ）と判断された場合には、表示／受光面Ｓに対して検出対象物Ｒが移動していないと判断し、その前に出力した二値化データを出力し続けても良いことも第３例と同様である。

以上ステップＳ１〜ステップＳ４ａ〜ステップＳ９の処理は、画像処理部１７において行われる。

以上の第４例の方法であっても、第３例と同様に、特別な操作を行なうことなく経時的なノイズを安定的に除去した高精度な画像認識を行なうことが可能であり、また新たなステップＳ４ａを加えたことにより、表示／受光面Ｓ内においての検出対象物Ｒの移動距離が小さい場合であっても、出力されるデータが消失することを防止した画像認識が可能になる。

≪画像認識方法−５≫
図１５は、上述した構成の画像入出力装置で行う画像認識方法の第５例を示すフローチャートである。このフローチャートに示す第５例の手順は、図１３のフローチャートを用いて説明した第３例の手順に対して、さらにステップＳ７ａ，Ｓ７ｂ，Ｓ８’を加えたところにある。以下、図１５のフローチャートに基づき、必要に応じて他の図を参照しつつ、画像認識方法の第５例を説明する。尚、先のフローチャートと同様の処理には同一のステップ番号を付して説明を簡略化する。

先ず、ステップＳ１〜Ｓ４までは、上述した第１例〜第４例と同様に行なう。

すなわち、ステップＳ１においてｎ回目の受光データ［ＤａｔａＡ］を取得し、ステップＳ２においてｎ＋１回目の受光データ［ＤａｔａＢ］を取得し、さらにステップＳ３において差分データ［ＤａｔａＢ−Ａ］を算出する。次に、ステップＳ４においては、差分データ［ＤａｔａＢ−Ａ］からピークＰとボトムＢｔとの距離［ｄ］を計測する。

その後、ステップＳ４ａにおいては、第３例と同様に、ステップＳ４で計測したピークＰとボトムＢｔとの距離［ｄ］は、所定の距離［ｄ１］よりも大きいか否かを判断する。そして、このステップＳ４ａにおいて、ピークＰとボトムＢｔとの距離［ｄ］が、所定の距離［ｄ１］よりも大きい（Ｙｅｓ）と判断された場合にのみ、ステップＳ５に進む。

ステップＳ５では、予め取得しておいた図１０のデータ換算用テーブルとステップＳ４で計測した距離［ｄ］とに基づいて、差分データ［ＤａｔａＢ−Ａ］におけるピーク信号量の変化率［β（ｄ）］を取得する。尚、図１０のデータ換算用テーブルは、第１例と同様にして得る。

次のステップＳ６では、差分データ［ＤａｔａＢ−Ａ］を二値化するための標準閾値Ｔを、ステップＳ５で取得したピーク信号量の変化率［β（ｄ）］（＝２７．５％）に合わせた閾値Ｔ’＝Ｔ×β（ｄ）に変換する。

次に、ステップＳ７では、設定した閾値Ｔ’にて、差分データ［ＤａｔａＢ−Ａ］を二値化する。

その後、新たに加えたステップＳ７ａでは、ステップＳ７で得た二値化データを二値化データ［ＤａｔａＣ］として記憶する。先に二値化データ［ＤａｔａＣ］が記憶されている場合には、ステップＳ７で得た二値化データを新たな二値化データ［ＤａｔａＣ］として書き換える。

その後ステップＳ８では、ステップＳ７ａで記憶されまたは書き換えられた新たな二値化データ［ＤａｔａＣ］を画像情報として出力する。

さらにステップＳ９では、受光データ［ＤａｔａＢ］を受光データ［ＤａｔａＡ］に置き換えると共に、ｎ＋１をｎに置き換え、ステップＳ２に戻る。

一方、ステップＳ４ａにおいて、ピークＰとボトムＢｔとの距離［ｄ］が、所定の距離［ｄ１］よりも大きくない（Ｎｏ）と判断された場合には、新たに加えたステップＳ７ｂに進む。

ステップＳ７ｂでは、既に記憶されている二値化データ［ＤａｔａＣ］を読み出す。

そして次のステップＳ８’では、ステップＳ７ｂで読み出した二値化データ［ＤａｔａＣ］を画像情報として出力する。その後は、ステップＳ２に戻り、ｎ＋１回目の受光データ［ＤａｔａＢ］を改めて取得しなおす。これにより、ステップＳ４ａにおいて差分データ［ＤａｔａＢ−Ａ］に生じるピークとボトムとの距離［ｄ］が所定値よりも大きいと判断されるまで、ｎ＋１回目の受光データ［ＤａｔａＢ］を取得しなおす。そして、距離［ｄ］が所定値よりも大きいと判断された場合にのみ、その際に取得した受光データ［ＤａｔａＢ］を画像情報として採用するべく、以降のステップＳ５以降に進むのである。

以上の第５例の方法であっても、第３例と同様に、特別な操作を行なうことなく経時的なノイズを安定的に除去した高精度な画像認識を行なうことが可能であり、またステップＳ４ａを加えたことにより、表示／受光面Ｓ内においての検出対象物Ｒの移動距離が小さい場合であっても、出力されるデータが消失することを防止した画像認識が可能になる。また特に第５例では、ステップＳ７ｂ、Ｓ８’を加えて最新に記憶された二値化データ［ＤａｔａＣ］を読み出すことにより、より自然な画像認識を行なうことが可能になる。

尚、この第５例の手順は、先の第４例にも適用することができる。この場合、第４例の手順を示す図１４のフローチャートにおけるステップ７’の後に、上述したステップＳ７ａを追加する。また、図１４のフローチャートにおけるステップＳ４ａとステップＳ２との間に、ステップＳ４ａ側から順に上述したステップＳ７ｂとステップＳ８’とを追加すれば良く、本第５例と同様の効果を得ることができる。

≪画像認識方法−６≫
図１６は、上述した構成の画像入出力装置で行う画像認識方法の第６例を示すフローチャートである。このフローチャートに示す第６例の手順は、図１５のフローチャートを用いて説明した第５例の手順に対して、さらにステップＳ４ｂの判断を加えたところにある。以下、図１６のフローチャートに基づき、必要に応じて他の図を参照しつつ、画像認識方法の第６例を説明する。尚、先のフローチャートと同様の処理には同一のステップ番号を付して説明を簡略化する。

先ず、ステップＳ１〜Ｓ４、さらに次のステップＳ４ａにおいて距離ピークＰとボトムＢｔとの距離［ｄ］が、所定の距離［ｄ１］よりも大きい（Ｙｅｓ）と判断された場合に進むステップ５〜ステップＳ９までは、第５例と同様に行なう。

一方、ステップＳ４ａにおいて、ステップＳ４で計測したピークＰとボトムＢｔとの距離［ｄ］が、所定の距離［ｄ１］よりも大きくない（Ｎｏ）と判断された場合、新たに加えたステップＳ４ｂに進む。

ステップＳ４ｂでは、二値化データ［ＤａｔａＣ］の読み出し回数がｋ回以上か否かを判断する。ここで、二値化データ［ＤａｔａＣ］の読み出し回数とは、次のステップＳ７ｂにおいての二値化データ［ＤａｔａＣ］の読み出し回数であり、連続して同一の二値化データ［ＤａｔａＣ］が読み出された回数であることとする。

このステップＳ４ｂにおいて、二値化データ［ＤａｔａＣ］の読み出し回数がｋ回以上ではない（Ｎｏ）と判断された場合には、次のステップＳ７ｂに進み記憶されている二値化データ［ＤａｔａＣ］を読み出す。

そして次のステップＳ８’では、ステップＳ７ｂで読み出した二値化データ［ＤａｔａＣ］を画像情報として出力する。その後は、ステップＳ２に戻り、ｎ＋１回目の受光データ［ＤａｔａＢ］を改めて取得しなおす。

一方、ステップ４ｂにおいて、二値化データ［ＤａｔａＣ］の読み出し回数がｋ回以上である（Ｙｅｓ）と判断された場合には、ステップＳ５に進む。そして、先のステップＳ４で計測した距離［ｄ］に基づいてピーク信号量の変化率［β（ｄ）］を取得し、さらにステップＳ６以降を上述と同様に行なう。つまり、前回に得た画像情報である二値化データ［ＤａｔａＣ］を連続して用いた回数が所定回ｋに達した場合は、その直前に取得した受光データ［ＤａｔａＢ］に基づいて次の画像情報を得るのである。

以上の第６例の方法であっても、第３例と同様に、特別な操作を行なうことなく経時的なノイズを安定的に除去した高精度な画像認識を行なうことが可能であり、またステップＳ４ａを加えたことにより、表示／受光面Ｓ内においての検出対象物Ｒの移動距離が小さい場合であっても、出力されるデータが消失することを防止した画像認識が可能になる。また特に第６例では、第５例と同様に、ステップＳ７ｂ、Ｓ８’を加えて最新に記憶された二値化データ［ＤａｔａＣ］を読み出すことにより、より自然な画像認識を行なうことが可能になる。しかも第６例では、ステップＳ４ｂを追加することにより、記憶されている二値化データ［ＤａｔａＣ］を連続して用いた回数が所定回ｋに達した場合には、その直前に取得した受光データ［ＤａｔａＢ］に基づいて次の画像情報を得るようにした。これにより、さらに自然な画像認識を行なうことが可能になる。

尚、この第６例の手順は、先の第４例にも適用することができる。この場合、第４例の手順を示す図１４のフローチャートにおけるステップ７’の後に、上述したステップＳ７ａを追加する。また、図１４のフローチャートにおけるステップＳ４ａとステップＳ２との間に、ステップＳ４ａ側から順に上述したステップＳ４ｂとステップＳ７ｂとステップＳ８’とを追加すれば良く、本第６例と同様の効果を得ることができる。

尚、以上説明した第１例〜第６例の手順においては、表示／受光面Ｓに近接または接触した検出対象物Ｒにおいて反射させた表示光ｈを検出することによって、検出対象物Ｒの画像を認識する場合を例示した。つまり、図１７に示すように、表示光ｈを点灯させた状態で、1受光フレーム内において表示／受光面Ｓの全面で受光素子からの出力を走査することにより、検出対象物Ｒで反射した表示光ｈの検出を行なっている。

このため、ステップＳ６においては差分データ［ＤａｔａＢ−Ａ］を二値化するための標準閾値Ｔを、ステップＳ５で取得したピーク信号量の変化率［β（ｄ）］に合わせた閾値Ｔ’に変換した。

しかしながら、第１例〜第６例の手順は、検出対象物Ｒで遮られた外光Ｈを検出することによって検出対象物Ｒの画像を認識する方法にも適用できる。

≪変形例１≫
第１例〜第６例の手順を、検出対象物Ｒで遮られた外光Ｈを検出することによって検出対象物Ｒの画像を認識する方法に適用する場合の変形例を説明する。ここでは、一例として図５のフローチャートおよび先の図１，図４に基づき、必要に応じて他の図を参照しつつ、画像認識方法の第１例の変形例１を説明する。

先ず、ステップＳ１では、ｎ＝１フレーム目（１回目）の受光データ［ＤａｔａＡ］を取得する。ここでは、受光ドライブ回路（駆動部）１５により、表示／受光面Ｓに対してマトリックス状に配置された受光素子において受光された１回目の受光信号を、ｎ＝１回目の受光データとして取得する。この際、受光素子からの出力を表示／受光面Ｓの全面において走査して１枚の画像を取得する。

そして例えば、図１８の［ＤａｔａＡ］に示す１枚の画像が取得されたこととする。簡単の為にこの画像の中のＡ−Ａ'の一列の信号（受光量）の受光データ［ＤａｔａＡ］に注目する。この受光量から、受光素子のノイズが全体に存在し、検出対象物Ｒのある位置ではその信号レベルが低くなっている。このとき、ｎ＝１回目の画像では左中央付近に検出対象物Ｒが存在することが分かる。

以上のように取得した受光データ［ＤａｔａＡ］は、受光ドライブ回路（駆動部）１５の記憶部Ａに記憶させる。

次のステップＳ２では、ｎ＋１＝２フレーム目（２回目）の受光データ［ＤａｔａＢ］を取得する。ここでは、受光ドライブ回路（駆動部）１５により、表示／受光面Ｓに対してマトリックス状に配置された受光素子において受光された２フレーム目の受光信号を、ｎ＋１＝２回目の受光データとして取得する。この際、受光素子からの出力を表示／受光面Ｓの全面において走査して１枚の画像を取得する。

そして例えば、図１８の［ＤａｔａＢ］に示す1枚の画像が取得されたこととする。簡単の為にこの画像の中のＡ−Ａ'の一列の信号（受光量）の受光データ［ＤａｔａＢ］に注目する。この受光量から、受光素子のノイズが全体に存在し、検出対象物Ｒのある位置ではその信号レベルが低くなっている。このとき、ｎ＋１＝２回目の画像では右中央付近に検出対象物Ｒが移動していることが分かる。

取得した受光データ［ＤａｔａＢ］は、受光ドライブ回路（駆動部）１５の記憶部Ｂに記憶させる。

次いでステップＳ３では、ｎ＋１回目に取得した受光データ［ＤａｔａＢ］から、ｎ回目に取得した受光データ［ＤａｔａＡ］を差し引いた差分データ［ＤａｔａＢ−Ａ］を算出する。図１８の［ＤａｔａＢ−Ａ］にこの差分データ［ＤａｔａＢ−Ａ］を示す。この差分データ［ＤａｔａＢ−Ａ］は、連続して取得された受光データ［ＤａｔａＢ］、［ＤａｔａＡ］のノイズがキャンセルされたデータとなる。また、最新のｎ＋１回目に取得した受光データ［ＤａｔａＢ］はボトムＢｔとして現れ、その直前の最新のｎ回目に取得した受光データ［ＤａｔａＡ］はピークＰとして現れる。

そして次のステップＳ４以降においては、差分データ［ＤａｔａＢ−Ａ］に基づいて画像認識を行う。

ここで、ステップＳ４以降の手順にしたがって画像認識を行なうに先立ち、先の変形例で説明したと同様にして、画像認識に際して必要となるデータ換算用テーブルを作成しておく。

そして、図５のフローチャートに示す次のステップＳ４では、ステップＳ３で算出した差分データ［ＤａｔａＢ−Ａ］から、ピークＰとボトムＢｔとの距離［ｄ］を計測する。例えば図１８の差分データ［ＤａｔａＢ−Ａ］の場合は、距離［ｄ］＝１．０と計測される。

次いでステップＳ５では、予め取得しておいたデータ換算用テーブルと、ステップＳ４で計測した距離［ｄ］（＝１．０）とに基づいて、差分データ［ＤａｔａＢ−Ａ］におけるピーク信号量の変化率［β（ｄ）］を取得する。

その後、ステップＳ６では、差分データ［ＤａｔａＢ−Ａ］を二値化するための標準閾値Ｔを、ステップＳ５で取得したピーク光量の変化率［β（ｄ）］に合わせた閾値Ｔ’＝Ｔ×β（ｄ）に変換する。ここでは、標準閾値Ｔをマイナス側に設定し、ステップＳ５で取得したボトム光量の変化率［β（ｄ）］に合わせたマイナス側の閾値Ｔ’に変換する。これにより、上述した差分データ［ＤａｔａＢ−Ａ］に生じるボトムを画像情報として用いるようにする。この点が表示光ｈの反射を検出する第１例とは異なるところである。

以下、ステップＳ７以降は、第１例と同様の手順を行うことにより、最新（ｎ＋１回目）の受光データ［ＤａｔａＢ］に基づいて、二値化したデータを画像情報として繰り返し出力させる。

以上のように、検出対象物Ｒで遮られた外光Ｈを検出することによっても、最新（ｎ＋１回目）の受光データ［ＤａｔａＢ］から、その直前（ｎ回目）に取得した受光データ［ＤａｔａＡ］を差し引いた差分データ［ＤａｔａＢ−Ａ］を算出しているため、第１例と同様の効果を得ることが可能である。

尚、以上の変形例では、上述した差分データ［ＤａｔａＢ−Ａ］に生じるボトムを画像情報として用いるべく、差分データ［ＤａｔａＢ−Ａ］を二値化するための標準閾値Ｔをマイナス側に設定した場合を説明した。しかしながら、最新のｎ＋１回目に取得した受光データ［ＤａｔａＢ］がピークＰｔとして現れ、その直前のｎ回目に取得した受光データ［ＤａｔａＡ］がボトムＢとして現れるように、例えば差分データ［ＤａｔａＢ−Ａ］の符号（±）を逆にする処理を行っても良い。この場合、標準閾値Ｔは第１例と同様にプラス側で良い。

以上のような検出対象物Ｒで遮られた外光Ｈを検出することによって検出対象物Ｒの画像を認識する変形例は、第１例だけではなく、第２例〜第６例の変形例としても適用できる。それぞれの例においても、標準閾値Ｔをマイナス側に設定するか、または最新のｎ＋１回目に取得した受光データ［ＤａｔａＢ］がピークＰとして現れ、その直前のｎ回目に取得した受光データ［ＤａｔａＡ］がボトムＢｔとして現れるように処理を行えば良く、各例と同様の効果を得ることが可能である。

尚、以上説明した変形例の手順においては、表示／受光面Ｓに近接または接触した検出対象物Ｒで遮られた外光Ｈを検出することによって、検出対象物Ｒの画像を認識する場合を例示した。このため、図１９に示すように、表示光ｈを点灯させることによって表示／受光面Ｓにおいて画像表示を行なう合間に、表示光ｈの点灯を停止させる。そして、表示光ｈの点灯を停止させた1受光フレーム内において、表示／受光面Ｓの全面で受光素子からの出力を走査することにより、検出対象物Ｒで遮られた外光Ｈの検出を行なう。

≪変形例２≫
次に、第１例〜第６例の手順の変形例２として、検出対象物Ｒにおいて反射させた表示光ｈと、検出対象物Ｒで遮られた外光Ｈとの両方を検出して検出対象物Ｒの画像を認識する方法を、図２０に基づいて説明する。

この図に示すように、画像入出力装置においては表示光ｈを点滅させた画像表示が行われていることとする。

そして、先ず表示光ｈが点灯している状態で、検出対象物Ｒにおいて反射させた表示光ｈの受光データに関して、ｎ（ｈ）＝１フレーム目［ｎ（ｈ）＝１回目］の受光データ［ＤａｔａＡ（ｈ）］として取得する。この際、受光素子からの出力を表示／受光面Ｓの全面において走査して１枚の画像を取得する。

そして例えば、［ＤａｔａＡ（ｈ）］に示す１枚の画像が取得されたこととする。簡単の為にこの画像の中のＡ−Ａ'の一列の信号（受光量）の受光データ［ＤａｔａＡ（ｈ）］に注目する。この受光量から、受光素子のノイズが全体に存在し、検出対象物Ｒのある位置ではその信号レベルが高くなっている。このとき、表示光ｈに関するｎ（ｈ）＝１回目の画像では左中央付近に検出対象物Ｒが存在することが分かる。

以上のように取得した受光データ［ＤａｔａＡ（ｈ）］は、受光ドライブ回路（駆動部）１５の記憶部に記憶させる。

次に、表示光ｈが消灯した状態で、検出対象物Ｒで遮られた外光Ｈの受光データに関して、ｎ（Ｈ）＝１フレーム目［ｎ（Ｈ）＝１回目］の受光データ［ＤａｔａＡ（Ｈ）］を取得する。この際、受光素子からの出力を表示／受光面Ｓの全面において走査して１枚の画像を取得する。

そして例えば、［ＤａｔａＡ（Ｈ）］に示す1枚の画像が取得されたこととする。簡単の為にこの画像の中のＡ−Ａ'の一列の信号（受光量）の受光データ［ＤａｔａＡ（Ｈ）］に注目する。この受光量から、受光素子のノイズが全体に存在し、検出対象物Ｒのある位置ではその信号レベルが低くなっている。このとき、外光Ｈに関するｎ（Ｈ）＝１回目の画像では画面中央付近に検出対象物Ｒが移動していることが分かる。

取得した受光データ［ＤａｔａＡ（Ｈ）］は、受光ドライブ回路（駆動部）１５の記憶部に記憶させる。

そして、後に取得した外光Ｈに関するｎ（Ｈ）＝１回目の受光データ［ＤａｔａＡ（Ｈ）］から、先に取得した表示光ｈに関するｎ（ｈ）＝１回目の受光データ［ＤａｔａＡ（ｈ）］を差し引いたｎ＝１回目のｎ差分データ［ＤａｔａＡ（Ｈ）−Ａ（ｈ）］を算出する。そして、ｎ＝１回目に算出したｎ差分データ［ＤａｔａＡ（Ｈ）−Ａ（ｈ）］を、ｎ差分データ［ＤａｔａＡ］と置き換える。

また、次に表示光ｈが点灯した状態で、検出対象物Ｒにおいて反射させた表示光ｈの受光データに関して、ｎ（ｈ）＋１＝２フレーム目［ｎ（ｈ）＋１＝２回目］の受光データ［ＤａｔａＢ（ｈ）］として取得する。この際、受光素子からの出力を表示／受光面Ｓの全面において走査して１枚の画像を取得する。

以上のように取得した受光データ［ＤａｔａＢ（ｈ）］は、受光ドライブ回路（駆動部）１５の記憶部に記憶させる。

次に、表示光ｈが消灯した状態で、検出対象物Ｒで遮られた外光Ｈの受光データに関して、ｎ（Ｈ）＋１＝２フレーム目［ｎ（Ｈ）＋１＝２回目］の受光データ［ＤａｔａＢ（Ｈ）］を取得する。この際、受光素子からの出力を表示／受光面Ｓの全面において走査して１枚の画像を取得する。

取得した受光データ［ＤａｔａＢ（Ｈ）］は、受光ドライブ回路（駆動部）１５の記憶部に記憶させる。

そして、後に取得した外光Ｈに関するｎ（Ｈ）＋１＝２回目の受光データ［ＤａｔａＢ（Ｈ）］から、先に取得した表示光ｈに関するｎ（ｈ）＋１＝２回目の受光データ［ＤａｔａＢ（ｈ）］を差し引いたｎ＋１＝２回目のｎ＋１差分データ［ＤａｔａＢ（Ｈ）−Ｂ（ｈ）］を算出する。そして、ｎ＋１＝２回目に算出したｎ＋１差分データ［ＤａｔａＢ（Ｈ）−Ｂ（ｈ）］を、ｎ＋１差分データ［ＤａｔａＢ］と置き換える。

次に、ｎ＋１差分データ［ＤａｔａＢ］から、ｎ差分データ［ＤａｔａＡ］を差し引いた、差分データ［ＤａｔａＢ−Ａ］を算出する。この差分データ［ＤａｔａＢ−Ａ］は、表示光ｈおよび外光Ｈに関してそれぞれ２回連続して取得された受光データのノイズがキャンセルされたデータとなる。また、最新のｎ＋１差分データ［ＤａｔａＢ］はピークＰとして現れ、その直前のｎ差分データ［ＤａｔａＡ］はボトムＢｔとして現れる。

以上の後、差分データ［ＤａｔａＢ−Ａ］に基づいて、第１例〜第６例におけるステップＳ４以降の手順と同様に画像認識を行う。この際、ｎ＋１差分データ［ＤａｔａＢ］を、ｎ差分データ［ＤａｔａＡ］と置き換える。これにより、最新の受光データ［ＤａｔａＢ］に基づいて、二値化したデータを画像情報として繰り返し出力させる。

以上のように、出対象物Ｒにおいて反射させた表示光ｈと、検出対象物Ｒで遮られた外光Ｈとの両方を検出することによっても、表示光ｈおよび外光Ｈに関して、それぞれの最新（ｎ＋１回目）の受光データ［ＤａｔａＢ（ｈ）］および［ＤａｔａＢ（Ｈ）］から、その直前（ｎ回目）に取得した受光データ［ＤａｔａＡ（ｈ）］および［ＤａｔａＡ（Ｈ）］を差し引いて最新の差分データ［ＤａｔａＢ−Ａ］を算出して用いている。このため、第１例〜第６例のそれぞれと同様の効果を得ることが可能である。

尚、以上の変形例２には、変形例１を適用することも可能である。例えば、上述した変形例２では、ｎ差分データ［ＤａｔａＡ（Ｈ）−Ａ（ｈ）］およびｎ＋１差分データ［ＤａｔａＢ（Ｈ）−Ｂ（ｈ）］の算出には、表示光ｈの受光データと、これに続いて検出される外光Ｈの受光データとを用いていた。しかしながらこれとは逆に、ｎ回目の差分データの算出には、外光Ｈの受光データと、これに続いて検出される表示光ｈの受光データとを用いても良い。

この場合には、ｎ差分データ［ＤａｔａＡ（ｈ）−Ａ（Ｈ）］となり、ｎ＋１差分データ［ＤａｔａＢ（ｈ）−Ｂ（Ｈ）］となる。そして、変形例１で説明したように、二値化のための標準閾値Ｔをマイナス側に設定するか、または最新のｎ＋１差分データ［ＤａｔａＢ］がピークＰとして現れ、その直前のｎ差分データ［ＤａｔａＡ］がボトムＢｔとして現れるように処理を行えば良い。

さらに、この変形例２では、先ず図２０を用いて説明したように画像認識を行った後、上述したように変形例1を適用した画像認識を行い、これらを交互に繰り返しても良い。

この場合、先ず、図２０を用いて説明したように、ｎ差分データ［ＤａｔａＡ（Ｈ）−Ａ（ｈ）］およびｎ＋１差分データ［ＤａｔａＢ（Ｈ）−Ｂ（ｈ）］から算出した差分データ［ＤａｔａＢ−Ａ］に基づいた画像認識を行う。次に、ｎ差分データおよびｎ＋１差分データに用いる受光フレームを１つづらし、変形例1を適用してｎ差分データ［ＤａｔａＡ（ｈ）−Ａ（Ｈ）］およびｎ＋１差分データ［ＤａｔａＢ（ｈ）−Ｂ（Ｈ）］から算出した差分データ［ＤａｔａＢ−Ａ］に基づいた画像認識を行う。そしれ、これらの画像認識を繰り返し行う。これにより、上述した変形例２の処理による画像認識と、変形例２に変形例１を適用した画像認識とが繰り返し行なわれることになる。

これにより、変形例２のみを適用した場合と比較して、動きの滑らかな画像認識が可能になる。

実施形態の画像入出力装置の概略構成図である。 実施形態の画像出力装置に設けられるＩ／Ｏ表示パネルのブロック図である。 Ｉ／Ｏ表示パネルの表示領域内に配置される画素回路および受光回路の一例を示す回路図である。 Ｉ／Ｏ表示パネルのパネル構成を示す図である。 画像入出力装置において行う画像認識方法の第１例を示すフローチャートである。 受光素子において取得した受光データと差部データとを示す図である。 差分データにおける閾値の設定を示す図である。 距離［ｄ］とピーク信号量の変化率［β］との関係を示す図である。 １フレーム内における検出対象物Ｒの移動距離［Ｄ］と受光素子においての受光量との関係を示す図である。 図８と図９とを合わせたデータ換算用テーブルの図である。 画像入出力装置において行う画像認識方法の第２例を示すフローチャートである。 差分データ［ＤａｔａＢ−Ａ］における受光量差［Ｉ］を増幅して増幅受光量差［Ｉ’］とした例を説明する図である。 画像入出力装置において行う画像認識方法の第３例を示すフローチャートである。 画像入出力装置において行う画像認識方法の第４例を示すフローチャートである。 画像入出力装置において行う画像認識方法の第５例を示すフローチャートである。 画像入出力装置において行う画像認識方法の第６例を示すフローチャートである。 受光素子からの受光データの出力のタイミングの例を示す図である。 実施形態の変形例１を説明するための受光データと差部データとを示す図である。 変形例においての受光素子からの受光データの出力のタイミングの例を示す図である。 実施形態の変形例２を説明するための図である。

符号の説明

１…画像入出力装置（画像認識装置）、１５…受光ドライブ部回路（駆動部）、１９…画像処理部、３２ｂ…受光素子、［ＤａｔａＡ］，［ＤａｔａＢ］…受光データ、［ＤａｔａＢ−Ａ］…差分データ、Ｂｔ…ボトム、［ｄ］…ピークとボトムとの距離、ｈ…表示に用いる光、Ｈ…外光、Ｐ…ピーク、Ｓ…表示／受光面

Claims (7)

1. 受光面にマトリックス状に配置された受光素子において、移動する近接物体からｎ回目の受光データを取得する第１工程と、
   前記受光素子において、前記第１工程と同じ光学条件で、前記移動する近接物体からｎ＋１回目の受光データを取得する第２工程と、
   前記ｎ＋１回目に取得した受光データから前記ｎ回目に取得した受光データを差し引いた差分データを算出する第３工程と、
   前記差分データに基づいて画像認識を行う第４工程と
   を有し、
   前記第４工程において、
   前記差分データに生じるピークまたはボトムの何れか一方を画像情報とし、
   前記差分データに生じるピークとボトムとの距離に応じて、前記画像情報を二値化するための閾値を調整する
   画像認識方法。
2. 前記第４工程では、前記差分データに生じるピークとボトムとの距離が所定値よりも大きいと判断された場合にのみ、前記画像情報を得る
   請求項１に記載の画像認識方法。
3. 前記第４工程では、前記差分データに生じるピークとボトムとの距離が所定値よりも大きいと判断されなかった場合に、前回に得た画像情報を当該差分データに基づく画像情報として用いる
   請求項１または請求項２に記載の画像認識方法。
4. 前記前回に得た画像情報を連続して用いた回数が所定回に達した場合には、前記差分データに基づいて画像情報を得る
   請求項３に記載の画像認識方法。
5. 前記受光面においては、前記受光データの取得と共に当該受光面を表示面とした表示が行われ、
   前記表示に用いる光の反射光および前記受光面に入射する外光のうちの少なくとも一方を受光することにより、前記受光データを取得する
   請求項１から請求項４のいずれか一項に記載の画像認識方法。
6. マトリックス状に受光素子が配置された受光面と、
   前記受光素子においての移動する近接物体に基づく受光データの取得を同じ光学条件で繰り返し行なう駆動部と、
   前記受光素子においてｎ＋１回目に取得した受光データからｎ回目に取得した受光データを差し引いた差分データを算出し、当該差分データに基づいて画像認識を行う画像処理部と
   を備え、
   前記画像処理部は、
   前記差分データに生じるピークまたはボトムの何れか一方を画像情報とし、
   前記差分データに生じるピークとボトムとの距離に応じて、前記画像情報を二値化するための閾値を調整する
   画像認識装置。
7. 画像表示を行なう表示面と、
   前記表示面にマトリックス状に配置された受光素子と、
   前記表示面での画像表示を行なうと共に、前記受光素子においての移動する近接物体に基づく受光データの取得を同じ光学条件で繰り返し行なう駆動部と、
   前記受光素子においてｎ＋１回目に取得した受光データからｎ回目に取得した受光データを差し引いた差分データを算出し、当該差分データに基づいて画像認識を行う画像処理部と
   を備え、
   前記画像処理部は、
   前記差分データに生じるピークまたはボトムの何れか一方を画像情報とし、
   前記差分データに生じるピークとボトムとの距離に応じて、前記画像情報を二値化するための閾値を調整する
   画像入出力装置。

Images