JP3785148B2 - 画像抽出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は注目すべき対象物体を発光手段により照明して得た像と、照明しない像とを撮影し、両画像の差の画像を求めてこれより当該対象物体を抽出する画像抽出装置に関するものである。
【０００２】
【従来の技術】
コンピュータへの入力デバイスとしては種々のものがあるが、その中でもマウスはキーボードと並んで最もポピュラーな入力デバイスの一つとして広く使用されている。しかしながら、マウスで操作できることは、カーソルの移動と、メニューの選択などであり、あくまでも２次元のポインティングデバイスとしての役目を担うに過ぎない。つまり、マウスで扱えるのは、せいぜい２次元の情報であり、３次元空間のなかの物体など奥行きがあるものを選択することは難しい。そして、例えば、コンピュータでアニメーションを作成する場合を考えてみると、キャラクタの動きをつけるのに、マウスのような入力デバイスによる操作情報の入力操作では、自然な動きをつけることが難しい。
【０００３】
また、マルチモーダルの分野で、ゼスチャー、すなわち、手の仕草や体の動き、そして、姿勢などを操作情報として入力することで、音声やキーボード、そして、マウスやトラックボールなどの入力情報と相補い合って人間の自然なコミュニケーションに近い形で装置を扱えるようにしたいという要望もある。
【０００４】
そこで、近年、３次元空間でのポインティングの難点を補い、また、マルチモーダル分野などにおいて多様な入力操作を可能にする技術の一つとして、人間の自然なゼスチャーを認識できるようにする３次元ポインティングデバイスが開発されている。
【０００５】
例えば、図２５のような提案である。このデバイスは、本体中央にボール状操作部があり、また、周辺部にテンキーを備えて構成したものであって、ボール状操作部部分の“前方を押す”、“中央を押す”、“後方を押す”、ボール状操作部部分の“全体を持ち上げる”、“全体を右に回す”、“左に回す”というように、６通りの操作が可能であり、６自由度ある。
【０００６】
そして、この６自由度を割り振ることで、３次元空間内のカーソルの位置（ｘ．ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）制御したり、あるいは、３次元空間に対する視点位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）を制御できる。
【０００７】
しかし、この３次元ポイティングデバイスはかなりの熟練が必要であって、実際に操作してみると、カーソルや視点の制御が思うようにはできないという問題がある。例えば、左右に回そうとすると、前方あるいは後方を押してしまい、思わぬ方向にカーソルが動いたり、視点が動いたりしてしまうといった具合である。
【０００８】
このような３次元ポインティングデバイスに対して、手振りや身ぶりを使って入力するデバイスも開発されている。データグローブやデータスーツ、サイバーグローブと呼ばれるものである。これらのうち、例えば、データグローブは手袋状のデバイスであって、表面に光ファイバが走つている。この光ファイバは、指の関節まで通っており、指を曲げることにより、光の導通が変わることを利用している。そして、この光の導通量を計測することで、各指の関節がどの程度曲がっているかを知るようにするものである。
【０００９】
手自体の３次元空間内の位置は、手の甲に設けた磁気センサによって計測するようになっている。そのため、人差し指をたてれば、「前進する」といった具合に、身ぶりとそれに対応する指示を決めておけば、データグローブを使って、３次元空間内を種々に視点を変えて、ちょうど、歩き回るかのように（ウォークスルーという）操作することができる。
【００１０】
しかし、このような３次元ポインティングデバイスにも問題点がいくつかある。
第１には、価格が高価であり、家庭用などに使用することは難しいという点である。
【００１１】
また、第２には、指の関節の角度を計測しているので、誤認識が避けられないという点である。例えば、人差し指だけ伸ばし、他の指は曲げた状態を前進指示と定義したとする。実際に指を伸ばすといっても、人差し指の第２関節の角度が１８０度に完全になっていることは少ないので、遊び分を設定しておかないと、指を伸ばしきったとき以外は、「伸ばしている」と認識することができない。
【００１２】
また、操作者にはデータグローブを装着することになるので、自然な操作が阻害され、装着するたびに、手の開いた状態と閉じた状態において、光の導通状態を校正せねばならないので、手軽に使用することができない。また、光ファイバを使っているため、継続的に使用していると、ファイバが断絶するなど消耗品に近いという問題がある。
【００１３】
また、このように、高価で、手間がかかるデバイスである割には、手袋の大きさが、ぴったり合っていないと、使っているうちにずれたりして校正した値からずれるために、細かな手振りを認識することは難しいという問題もある。
【００１４】
このように、種々の問題を抱えているために、データグローブは、ＶＲ（バーチャルリアリティ）技術のトリガーとなったデバイスであったにもかかわらず、当初の期待ほど、普及しておらず、また、低価格化もなされておらず、使い勝手の点で問題が多い。
【００１５】
そこで、このデータグローブのような特殊な装置を装着することなく、手振りや身ぶりを入力しようとする試みが、いくつかなされている。例えば、ビデオ映像などの動画像を解析して、手の形を認識するといった技術である。しかし、これは背景画像から目的とする画像を切り出す技術が必要であり、従って、手振りの認識の場合には、手のみを切り出すことが必要であって、これが技術的にかなり難しいという問題がある。
【００１６】
例えば、画像中の手の部分を、色情報を条件に切り出す場合を考えてみる。手の色は肌色であるので、肌色の画像情報を持つ画素部分のみを切り出すような方式が考えられるが、背景にベージュ色の洋服や、壁があったりすると、手の部分に相当する肌色の画素のみを識別することはできない。また、調整を行って、ベージュと肌色を区別できるようにしても、照明が変われば、色調が変化してしまうために、定常的に切り出すことは困難である。
【００１７】
このような問題を回避するために、背景にブルーマットをおくというように、背景画像に制限を置き、切り出しを容易にする方策も採られている。あるいは、指先に背景からの切り出しが容易になるような色をつける、あるいは色のついた指輪をはめるというような方策も採られている。しかし、このような制限は現実的でなく、実験的には利用されているものの、実用化には至っていない。
【００１８】
ところで、手の仕草を認識するに利用可能な別の技術として、レンジファインダと呼ばれる、距離画像を入力する装置の応用が考えられる。このレジンジファインダの代表的な原理は、スポット光あるいはスリット光を対象物体に照射し、その反射光の受光位置から三角測量の原理で求めるといったものである。
【００１９】
そして、２次元的な距離情報を求めるために、スポット光あるいはスリット光を機械的に走査している。この装置は非常に高精度な距離画像を生成することができるが、その反面、装置の構成が大掛かりになり、高コストになる。また入力に時間がかかり、実時間で処埋を行わせるのは困難である。また、手や身体の一部に色マーカーや発光部を取り付け、画像によりそれらを検出し、手・身体の形、動きなどを捉える装置もあり、一部実用化されている。しかし使用者の利便性を考えると、操作の度に装置を装着しなくてはならないというのは大きなデメリットであり、応用範囲を非常に制約する。また、データグローブの例に見られるように、装置を手などの可動部に装着して使用する装置は耐久性が問題になりやすい。
【００２０】
次に、以上のような入力デバイスとは別に、カメラ技術の従来技術についての問題点を述べる。従来のカメラ技術では、背景に対して、キャラクタの合成（クロマキー）を行うには、予め、ブルーバックでキャラクタを撮影して、キャラクタの切り出しを容易にする必要があった。
【００２１】
このため、ブルーバックで撮影ができるスタジオなど、撮影場所に制限があった。または、ブルーバックでない状態で撮影した映像から、キャラクタを切り出すには、コマ毎にキャラクタの切り出し範囲を人手で編集せねばならないので、非常な手間がかかっていた。同様に、キャラクタを３次元空間の中に生成するには、予め３次元のモデルをつくっておき、そこにキャラクタの写真を貼り付ける（テクスチャマッピング）を行うような方式をとっている。しかし、３次元モデルの生成、および、テクスチャマッピングには手間がかかり、映画制作など経費がかかってもよい用途以外では、事実上ほとんど使えなかった。
【００２２】
【発明が解決しようとする課題】
このように従来では、特殊な装置を装着することなく、簡易にジェスチャや動きを入力できる直接指示型の入カデバイスが存在しなかった。特に、３次元空間でのポインティングや視点の変更を容易に行える簡易なデバイスは存在しなかった。また、ユーザのジェスチャや動きをそのまま使って、アニメーションのキャラクタなどに自然な動きをつけたりすることができなかった。さらに、従来のカメラでは、特定のキャラクタだけを切り出したり、キャラクタの奥行き情報を容易に入力できなかった。
【００２３】
このような背景から、本発明者等は所定時間だけ照明光を対象物体に照射して得た画像と、外光のみの光があたる環境下で得た対象物体の画像との差の成分の画像を得、この差の成分の画像から対象物体のみの画像を抽出する技術を開発し、更に、この抽出した対象物体のみの画像を元に、その形状、動き、距離情報などを算出し、これらを情報として利用することで仕草や、３次元操作情報などを簡易に与えることができるようにした技術を開発し、特許出願した（特願平８−２７５９４９号参照）。
【００２４】
この技術の考え方は、照明光を対象物体に照射して得た画像と、外光のみの光があたる環境下で得た対象物体の画像との差の成分の画像を得ると、背景などが遠い場合、それは対象物体のみの画像成分となることに着目して、対象物体部分の画像切り出しを簡易に行えるようにしたこと、つまり、物体が存在している場所からの反射光はある程度の値を持ち、遠い背景からの反射光はほとんど無いため、反射光の画像をしきい値で分けることにより、物体の形状を抽出することが出来ること、また、その形状から様々な特徴量を抽出することが出来ること、そして、このような形状の時間的連なりを解析することで、物体の動きや変形などを捉えることが出来ること、さらには物体の凹凸を反射光量の違いとして捉えられるため、対象物体の立体構造を得ることも出来るなどのことから、対象物体の切り出しが容易にできれば、その対象物体の様々な情報を演算で求めることができる。
そのため、仕草を操作指令情報として与えたり、３次元操作情報を身振り手振りで入力するなどのことが容易に実現できるようになる。
【００２５】
しかしながら、ここで解決しておかなければならない問題が一つある。それは、外光の変動による対象物体の切り出し精度への影響である。外光は自然光であったり、室内照明光であったり、環境により様々である。しかも、これらは、安定したものであれば問題がないが、緩やかな変化を伴う場合、あるいは細かく短い周期で変化する場合などが普通であり、このような変化を伴う外光を利用しなければならない場合に、外光による画像と、照明光照射をした画像とを、漠然と一定の時間ずつ撮像するのでは、抽出された画像は誤差の多い画像となってしまう。
従って、外光の変動があっても、抽出対象（切り出し対象）の物体の画像を容易に高精度で抽出可能な技術の確立が強く嘱望される。
【００２６】
また、光は距離の２乗に反比例して減衰する。そのため、対象物体の像を受光して得る受光手段と対象物体との距離が定まっていないと、その遠近により対象物体からの反射光量が変わり、最適状態での画像の抽出ができない。この問題も解決する必要がある。
【００２７】
そこで、この発明の第１の目的とするところは、外光の変動のある環境において、特定の対象物体を容易に高精度に抽出することができるようにした画像抽出装置を提供することにある。
【００２８】
また、第２の目的は、対象物体と受光手段との距離が変わっても、最適状態の画像抽出が可能な画像抽出装置を提供することにある。
【００２９】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る第１の画像抽出装置は、対象物体に照明光を照射する発光手段と、前記照明光の照射時及び非照射時における前記対象物体の画像の差分を求めることにより、前記照明光による前記対象物体からの反射光のみを画像として獲得する反射光画像獲得手段と、前記照明光の発生する波長成分の光を除去する除去手段と、前記対象物体のおかれる環境下での光量を前記除去手段を介して検出する検出手段と、前記検出手段による検出出力から前記対象物体のおかれる環境の明るさの状態を判断して前記反射光画像獲得手段が獲得した画像の採否を決める手段とを具備する。
【００３０】
本発明に係る第２の画像抽出装置は、対象物体に照明光を照射する発光手段と、前記発光手段と同期的に動作して前記照明光に基づく前記対象物体からの反射光と外光とを受光する第１の受光手段と、前記発光手段と同期的に動作して前記外光のみを受光する第２の受光手段と、前記第１及び第２の受光手段の出力の差分を求めることにより、前記照明光による前記対象物体からの反射光のみを画像として獲得する差分演算手段と、前記照明光の発生する波長成分の光を除去する除去手段と、前記対象物体のおかれる環境下での光量を前記除去手段を介して検出する検出手段と、前記検出手段による検出出力から前記対象物体のおかれる環境の明るさの状態を検出し、該明るさの変動周期を示す周期情報を出力する手段と、前記周期情報により示される変動周期に同期して前記発光手段と前記第１及び第２の受光手段を駆動制御する手段とを具備する。
【００３５】
第１の画像抽出装置では、照明光の発生する波長成分の光を除去する除去手段を介して検出手段は前記対象物体の置かれる環境下での光量を検出する。これにより環境下での光量の監視が可能になる。検出手段のこの検出出力から前記対象物体のおかれる環境の明るさの状態を判断して前記受光手段により得た前記差成分の画像の採否を決める。
【００３６】
その結果、環境下の光変動の大きさが画質に影響を及ぼす程度のものとなっている状態で取得された差成分の画像は採用しないようにし、画質に支障のない範囲の光変動のときの画像のみを取捨選択して利用できるようになる。
【００３７】
第２の画像抽出装置では、照明光の発生する波長成分の光を除去する除去手段を介して、検出手段により前記対象物体のおかれる環境下での光量を検出する。この検出出力から前記対象物体のおかれる環境の明るさの状態を検出し、変動の周期情報を得る。そして、この変動の周期情報に基づく変動周期に同期して前記発光手段と前記受光手段を駆動制御する。
【００３８】
この結果、環境下の光に周期的変動があった場合に、その変動周期に同期した発光手段の発光と、受光手段による画像取得ができ、従って、発光手段による対象物体からの反射光成分による画像を精度良く取得できるようになる。
【００４３】
予備発光で画像の状態を調べ、最適な画像が取得可能な発光モードを決定してそのモードで本番での発光手段の発光を行い、得られた画像から差分の画像の取得をするようにしたので、対象物体と受光手段との距離が変わっても、最適状態の画像抽出が可能な画像抽出装置を提供できる。
【００４６】
【発明の実施の形態】
本発明は、光源より発光して対象物体に光をあて、この対象物体による反射光を画像として捉えることにより、その形状、動き、距離などの情報を得ることができるようにした装置において、この発明では発光と電荷蓄積の動作パターンを複数種、用意しておき、外光の状況に応じて使い分けることにより、どのような外光状態にあっても精度良く反射光画像が得られるようにしたもので、以下、詳細を説明する。
【００４７】
はじめに本発明を適用する装置の基本構成を説明する。
＜情報入力生成装置の構成例＞図１は、本発明を適用する対象の一つとしての情報入力生成装置の構成例である。図１に示すように本装置は、発光手段１０１、反射光抽出手段１０２、特徴情報生成手段１０３、タイミング信号生成手段１０４、とからなる。
【００４８】
これらのうち、発光手段１０１はタイミング信号生成手段１０４によって生成されるタイミング信号に従って時間的に強度変動する光を発光する。この光は発光手段１０１の前方にある対象物体に照射される。また、反射光抽出手段１０２は、この発光手段１０１が発した光の対象物体による反射光を抽出する。これはさらに好適には、反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることが出来るので、以下では反射光画像と呼ぶ。
【００４９】
反射光抽出手段１０２は、対象物体からの反射光を抽出するものであり、光の量を検出する受光部を持つが、当該受光部は一般的に、発光手段１０１の光の前記対象物体による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで反射光抽出手段１０２は、発光手段１０１が発光しているときに受光した光の量と、発光手段１０１が発光していないときに受光した光の量の差をとることによって、発光手段１０１からの光の前記対象物体による反射光の成分だけを取り出す。このことは言い換えれば、発光手段１０１を制御する信号を生成するタイミング信号生成手段１０４によって、反射光抽出手段１０２もまた制御されることを示す。
【００５０】
特徴情報生成手段１０３は、反射光画像より様々な特徴情報を抽出するものである。この特徴情報あるいは特徴情報の抽出方法は様々考えられる。これにより例えば、対象物体が手であったとして、当該手の反射光画像の特徴情報から、ジェスチャーやポインティングなどの情報を得ることができることになって、この得られた情報によりコンピュータなどの操作を行うことができる。また対象物体の立体情報を抽出し、利用することもできる。なお、当該特徴情報生成手段１０３は、必ずしも必要ではなく、例えば反射光抽出手段１０２で得られた反射光画像そのものを入力したり利用したりすることもできる。
【００５１】
本発明の目的を明確にするために、本発明が改善しようとした技術対象としての情報入力生成装置について詳しく述べる。図２は、情報入力生成装置のより具体的な構成例である。
図２を参照して説明すると、発光手段１０１より発光された光は、対象物体１０６に反射して、受光光学系１０７により、反射光抽出手段１０２の受光面上に結像する。反射光抽出手段１０２は、この反射光の強度分布、すなわち反射光画像を検出する。反射光抽出手段１０２は、第１の受光手段１０９、第２の受光手段１１０および差分演算部１１１からなる。
【００５２】
第１の受光手段１０９と第２の受光手段１１０は、それぞれ上記受光面に結像された光学像を検出して受光量対応の画像信号に変換するものであり、それぞれ異なるタイミングで受光動作を行う。そして第１の受光手段１０９が受光状態にあるときに発光手段１０１を発光させ、第２の受光手段１１０が受光しているときには発光手段１０１を発光させないように、タイミング制御手段１１２がこれらの動作タイミングを制御する。これにより第１の受光手段１０９は発光手段１０１からの光の物体による反射光と、それ以外の太陽光、照明光などの外光とを受光してその受光量を検出する。
【００５３】
一方、第２の受光手段１１０は外光のみを受光する。両者が受光するタイミングは異なっているが近いので、この間における外光の変動は無視できる。従って、第１の受光手段１０９で受光した像と第２の受光手段１１０で受光した像の差分をとれば、これは発光手段１０１の光の物体による反射光の成分に対応するものであり、これによって発光手段１０１の出力光の、物体による反射光成分対応画像が抽出されることになる。
【００５４】
そして、この差分を得るのが差分演算部１１１であり、この差分演算部１１１が第１の受光手段１０９と第２の受光手段１１０で受光した像の差分を計算して出力する。反射光抽出手段１０２については、さらに詳細な構成について後述する。
【００５５】
反射光抽出手段１０２は反射光画像の各画素の反射光量をシーケンシャルに出力する。反射光抽出手段１０２からの出力はアンプ１１３によって増幅され、アナログ信号をディジタルデータに変換するＡ／Ｄ変換器ｌｌ４によってデジタルデータに変換された後、メモリ１１５に蓄えられる。そして、しかるべきタイミングでこのメモリ１１５より当該蓄えられたデータが読み出され、特徴情報生成手段１０３において処理される。
これら全体の制御はタイミング制御手段１１２が行う。
【００５６】
検出の対象物体が人間の手である場合、発光手段１０１としては人間の目に見えない、近赤外光を分光する発光装置を用いるようにすると良い。この場合、人間には発光手段１０１からの光が見えないため、眩しさを感じずに済む。また、発光手段１０１を近赤外光発光の装置とした場合、受光光学系１０７には図示しない近赤外光通過フィルタを設ける。このフィルタは、発光波長である近赤外光を通過し、可視光、遠赤外光を遮断する。従つて、外光の多くをカットしている。
【００５７】
ところで物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、受光側でみた場合、反射光画像１画素あたりの光量は、物体までの距離の２乗に反比例して小さくなる。従って、本発明の多次元情報入力生成装置の前に対象物体１０６を置いたとき、背景からの反射光はほぼ無視できるくらいに小さくなり、物体のみからの反射光画像を得ることが出来る。例えば、多次元情報入力装置の前に対象物体１０６である手を持ってきた場合、その手からの反射光画像のみが得られることになる。
【００５８】
この時、反射光画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。反射光量は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体面の向き、物体の距離、などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。
【００５９】
手などはこのような性質を持つため、手を差し出した場合の反射光画像は、手の距離、手の傾き（部分的に距離が異なる）、などを反映する。従ってこれらの特徴情報を抽出することによって、様々な情報の入力・生成が可能になる。
【００６０】
立体形状を抽出したい場合には、距離情報が高い分解能で求められる方が良い。このような場合、アンプ１１３としては対数アンプを用いると良い。受光部の受光量は物体までの距離の２乗に反比例するが、対数アンプを用いると、その出力は、距離に反比例するようになる。このようにすることで、ダイナミックレンジを有効に使うことができる。
【００６１】
＜反射光抽出手段１０２の詳細な説明＞
図３は、反射光抽出手段１０２の構成の一例をさらに詳細に表したものである。図３に示す反射光抽出手段１０２はＣＭＯＳセンサと呼ばれる受光素子を示しており、この反射光抽出手段１０２は反射光の強度分布を捉えることができるようにするために、複数の単位受光部ＰＤを備えていて、ひとつの単位受光部ＰＤと反射光画像の一画素が対応している。この図では簡単のため２×２画素の構成で示す。点線で囲まれた部分１１７が一画素分の単位受光部ＰＤであり、一画素分の単位受光部ＰＤの概略構成を図４に示す。
【００６２】
先の例との対応を取ると、第１の受光手段１０９の一画素分と第２の受光手段１１０の一画素分で、１つの単位受光部ＰＤを構成している。１つの単位受光部ＰＤは１つの光電変換部１１８と、２つの電荷蓄積部１１９、１２０を持っている。光電変換部１１８と電荷蓄積部１１９、１２０の間にはいくつかのゲート（この例では１２２，１２３）があり、これらのゲートの制御によつて光電変換部１１８で発生した電荷を、二つの電荷蓄積部１１９，１２０のうちのいずれの電荷蓄積部に導くかを選択できるようになっている。このゲートの制御信号と発光部の発光制御信号を同期させる。
【００６３】
発光制御パルス１２８は発光手段を制御する信号である。ここではパルス発光を行う。発光制御パルスのレベルが“HIGH”のとき発光手段１０１が発光し、“LOW”のときは発光しない。
【００６４】
この発光制御信号に対し、実際の光は発光手段１０１の発光源として用いられている発光素子の時間応答によってなまり、図５に符号１２９を付して示す波形のように変化する。受光部には、SAMPLE1（符号１３１を付して示す波形）、SAMPLE2（符号１３２を付して示す波形）、TRANSFER,RESET（符号１３０を付して示す波形）の制御信号が与えられる。
【００６５】
TRANSFERは、光電変換部１１８で発生した電荷を次段に転送するためのゲートを制御する信号であり、この信号が“HIGH”のとき、光電変換部１１８に蓄積された電荷が転送される。電荷蓄積後、出力部へ電荷転送するときは、このゲートが閉じ、光電変換部１１８で発生した電荷が出力ゲートへ流れないようにする。RESET１３０はリセット制御信号である。
【００６６】
TRANSFERが“HIGH”の時、RESETが“HIGH”になると、リセットゲート１２４が開き、光電変換部１１８にたまっていた電荷は、トランスファー・ゲート１２１、リセット・ゲート１２４を経て、排出される。SAMPLE1、SAMPLE2の２つの制御信号は、２つの電荷蓄積部１１９、１２０に、光電変換部１１８からの電荷を導くためのゲート１２２，１２３を制御する信号である。
【００６７】
これらの制御信号の変化と、単位受光部ＰＤの動作を次に説明する。
単位受光部ＰＤでは、電荷蓄積期間においては、トランスファー・ゲート１２１は開き続けている。まず、リセット・ゲート１２４を開くことにより、光電変換部１１８とサンプル・ゲート１２２、１２３の間にたまった不要電荷を排出する。リセット・ゲート１２４を閉じることで、光電変換部１１８とサンプル・ゲートの間に、光電変換されてできた電荷が蓄積されはじめる。
【００６８】
一定時間の後、第１のサンプル・ゲート１２２が開くと、蓄積されていた電荷が、第１の電荷蓄積部１１９に転送される。従って、RESET１３０が“LOW”になってから、SAMPLE1１３１が“LOW”になるまでの蓄積期間である図５上の“蓄積期間１”の間に光電変換された電荷が、第１の電荷蓄積部１１９に蓄積される。第１のサンプル・ゲート１２２が閉じた後、再びリセット・ゲート１２４を開いて不要電荷を排出した後、リセット・ゲートを閉じ、一定時間の後に今度は第２のサンプル・ゲート１２３を開き、第２の電荷蓄積部１２０に、光電変換で生成された電荷を転送する。この時も同様に、RESETが“LOW”になってからSAMPLE2が“LOW”になるまでの蓄積期間である図５上の“蓄積期間２”の間に光電変換された電荷が第２の電荷蓄積部１２０に蓄積される。このとき“蓄積期間１”と“蓄積期間２”は同じ長さの時間である。
【００６９】
ここで、“蓄積期間１”なる電荷蓄積期間においては、発光手段１０５が発光しており、“蓄積期間２”なる電荷蓄積期間においては、発光手段１０５は発光しない。
このことにより、第１の電荷蓄積部１１９には、発光手段１０１からの光が物体に反射した光と、照明光、太陽光などの外光の両方によって生成された電荷が蓄積され、一方、第２の電荷蓄積部１２０には、外光のみによって生成された電荷が蓄積される。
【００７０】
“蓄積期間１”なる電荷蓄積期間と“蓄積期間２”なる電荷蓄積期間は時間的に近いので、この間での外光の大きさの変動は十分に小さいと考えてよい。従って、第１の電荷蓄積部１１９と第２の電荷蓄積部１２０の、電荷量の差が、発光手段１０１からの光が対象物体１０６に反射した光で発生した電荷量であるとみなしてよい。
【００７１】
上記SAMPLE1,SAMPLE2,RESET,TRANSFERは、すべての単位受光部ＰＤに同じ信号が与えられるため、すべての単位受光部ＰＤにおいて、同期的に電荷の蓄積が行われる。このことは、1フレーム分の反射光画像を得るために1度の発光だけで済むことを示している。従って、発光のための電力を小さくすることができる。また、発光手段として用いることのできるＬＥＤは、発光パルスのＤＵＴＹ比が小さいほど（１つのパルス幅に比べて、パルスとパルスの間隔が長いほど）、瞬間的には強く発光できる性質を持つため発光電力を効率的に利用することができる。
【００７２】
電荷蓄積後、電荷の取り出しを行う。まずＶ系選択回路１３５で１行を選択する。各行の単位受光部ＰＤから、第１の電荷蓄積部１１９と第２の電荷蓄積部１２０に蓄積された電荷が順に取り出され、差分回路１３３の中でその差分が収り出される。Ｈ系シフトレジスタで列を選択することで、取り出す。
【００７３】
なお、この例においては、電荷取り出し時には、シフトレジスタで取り出しセルのアドレスを指定するため、出力の順番が決まっている（シーケンシャルな出力）が、任意のアドレスを生成できるようにすればランダムアクセスが可能になる。このようにすると、受光部全体のうち、一部分だけを取り出すことができ、センサの動庁周波数を低下させる、あるいは、反射光画像のフレームレートを上げることができるなど゛の効果がある。例えば画像の一部しか占めないような小さな物体を検出して、その動きを追跡させるような場合は、あるフレームでの位置の周辺だけで探索すればよいため、画像の一部だけを取り出すだけで良い。
【００７４】
また、発光源として、近赤外光を用いた例を示したが、必ずしもこれに限定しない。人の目に眩しくない条件でなら（例えば、発光量がそれほど大きくない、人の目に直接入らない向きを向いている、など）、可視光であっても良い。あるいは、光に限らず、電磁波、超音波などを用いることも可能である。近赤外光通過フィルタも、外光の影響を考えなくてよいなどの条件下であれば省くこともできる。
【００７５】
ところで、受光手段としてＣＭＯＳセンサではなく、通常の撮像用のＣＣＤイメージセンサを用いても、これに類することを実現することもできるが、その性能、あるいはコストパフォーマンスにおいて本構成の方が優れている。
【００７６】
例えば、ＣＣＤイメージセンサと光源を用いることもできる。しかし、ＣＣＤはｌ／６０秒毎に１回の撮像しかできない（フィールド単位）。従って、はじめの１／６０秒で、発光部を発光させ、次のｌ／６０秒で発光部を消灯させ、その差分をとっても、１／６０秒の時間差かあると、外光の大きさが変動してしまい、差分＝反射光量とならなくなってしまう。蛍光灯などはｌ／１００秒の周期でその強さが変動しているので、このようなことが起こってしまう。ＣＣＤイメージセンサを使った通常の撮像においても、撮像周期と、外光の変動周期のすれに起因して、画面の明るさがちらつく現象がおきることがあり、これはフリッカと呼ばれている。
【００７７】
ＣＭＯＳセンサを受光手段として採用した本装置においては、ＣＭＯＳセンサの構成上の特徴として、画素単位で任意に受光（電荷蓄積）と読み出しの制御ができ、それは１／１００００秒程度、あるいはそれ以下まで時間を小さくしたり、あるいは十分長い時間に設定して使用することができるので、外光の変動に応じて最適値を選べば、外光変動の影響を受けなくて済む。ＣＣＤイメージセンサによる撮像の場合、フリッカを防ぐために、電荷蓄積時間をｌ／１００秒と蛍光灯の周期と一致させる方法が取られることがあるが、発光部と同期させる場合においても、電荷蓄積時間をｌ／１００秒にする、あるいはＣＣＤの駆動信号を変えてしまい、１フィールドをｌ／１００秒にしてしまう、というような方法により、外光の影響を抑えることもできる。この場合は別の問題が発生する。対象物体である手が動いている場合、発光時の撮像と消灯時の撮像において手の位置が微妙にずれてしまう。
【００７８】
この状態で差分を取ってしまうと、特に物体（手）のエッジ部分において、反射光画像が大きく乱れてしまう。また、構成のコンパクトさでも大きく異なる。ＣＣＤを用いる場合、少なくとも、Ａ／Ｄ変換器と、１フレーム分のデータを蓄えるメモリ、差分画像を求める演算回路が必要である。またＣＣＤを用いる場合には、ドライバ−ＩＣを別に用意する必要がある。
【００７９】
一方、単位受光部ＰＤを複数個二次元配列した構成の本装置（すなわち、受光素子としてＣＭＯＳセンサを用いた本装置）においては、ＣＭＯＳセンサのべース（ＣＭＯＳセンサの形成基板上）に各種回路を作り込むことができるので、ドライバーを同一チップ内に収めてしまうことができる。また、センサ内で発光時、非発光時の差をとれるので、差分演算回路は不要である。また、Ａ／Ｄ変換部やメモリ、制御部まで１チップ内に収めてしまうこともできるので、非常に低コスト化できる。
【００８０】
ここまでの説明では、対象物体のみの像（反射光画像）を抽出するところまでの構成を述べた。ここまでの構成でも十分製品として利用価値がある。しかし、実際の利用形態としては、得られた反射光画像に何らかの加工を施して、使用者の目的に合った使い方をすることが多い。例えば、手の反射光画像を入力することにより、ポインティングやジェスチャー入力を行うことが出来る。このために反射光画像から有用な情報を抽出するのが、特徴情報生成手段である。ここで、特徴量を抽出したり、加工したり、そこから別の情報を生成したりしている。
【００８１】
反射光画像の加工の仕方の代表例は、距離情報の抽出と、領域抽出である。先にも述べたように、物体が一様で均質な散乱面を持つ物体であれば、反射光画像は距離画像と見なすことができる。従って、物体の立体形状を抽出することができる。物体が手であれば、手のひらの傾きなどが検出できる。手のひらの傾きは部分的な距離の違いとして現れる。また、手を移動させたときに画素値が変われば、距離が移動したと見ることができる。また、背景のように遠い物体からの反射光はほとんどないため、反射光画像からあるしきい値以上の領域を切り出すという処埋で、物体の形状を簡単に切り出すことができる。例えば、物体が手であれば、そのシルエット像を切り出すのは極めて容易である。距離情報を用いる場合でも、一度しきい値によって領域抽出をしておいてから、その領域内の距離情報を用いる、という場合が多い。
このようにして、対象物体の像を簡易に抽出できるようになったことにより、その対象物体の像を用いて様々な情報入力操作、指示操作などを行う途が拓けることになる。
【００８２】
ところで、本発明はＣＭＯＳセンサを受光手段として採用しており、上述したように、ＣＭＯＳセンサの構成上の特徴として、画素単位で任意に受光（電荷蓄積）と読み出しの制御ができ、それは１／１００００秒程度、あるいはそれ以下まで時間を小さくしたり、あるいは十分長い時間に設定して使用することができるので、外光の変動に応じて最適値を選べば、外光変動の影響を受けなくて済む。しかし、これを外光の変動状況に応じてどのようにして最適に設定するかが課題である。そこで、次にこのことについてその具体例を説明する。
【００８３】
上述の情報入力生成装置は発光部（発光手段）と受光撮像系（反射光画像獲得手段）を有し、発光部の発光した光の物体による反射光を画像化して出力することにより、ジェスチャ認識などを可能にしており、反射光画像獲得手段は発光部の発光時と非発光時に、前記物体の像の受光による光電変換素子の発生電荷を蓄積し、その差をとることで、外光成分による像を相殺し、発光部の発光による前記物体の反射光のみによる像である反射光画像を獲得する構成であることは詳しく述べた。
【００８４】
そして、外光には太陽光のようなものの他、蛍光灯のように安定動作状態であっても規則的（周期的）に変動するものがあり、しかも、蛍光灯には通常の蛍光灯やインバータ蛍光灯など、種々のものがあって、その変動周期にも幅がある。
【００８５】
そして、発光手段１０１の発光時での画像取得（電荷蓄積）動作と、非発光時での画像取得（電荷蓄積）動作にはそれぞれ同一時間幅分があてられているが、それぞれでの外光に、変動があったときはその差の大きさ如何によって差分像の品位の低下、すなわち、得られた反射光画像の劣化の問題を残す。
【００８６】
外光はその変動が不規則な場合と、規則的な場合があり、それぞれの場合での対処法が異なる。
不規則な変動の場合は反射光画像を得てみないと劣化の度合いがわからず、そして、規則的な変動のある場合ではその変動周期に対する上記２つの画像取得動作のタイミングの影響が反射光画像の画質に関わりを持つことになる。
【００８７】
反射光画像に外光の変動分の影響が残っていると、この外光変動分の大きさによっては発光手段１０１による光照射のもとでの対象物体１０６の反射光だけを精度良く取り出すという目的を達成できない。
【００８８】
従って、これに対処する具体例を次に説明する。最初に、外光が不規則な変動をする場合の対処手法を説明する。
＜外光の変動の影響を抑制する具体例１＞
本具体例では、外光のみの大きさを検出し、この検出された外光のレベルから外光の状態を判定し、反射光画像の採否を決定するようにした例を説明する。
【００８９】
図６に本装置の構成例を示す。
図６において、１０１は発光手段、１０２は反射光画像獲得手段、２０１は外光光源、２０２はフィルタ、２０３は外光検出手段、２０４は外光状態判定手段、２０５は受発光動作制御手段であり、１０６は対象物体である。
【００９０】
前述したように発光手段１０１は対象物体１０６に照明をあてるための光源であり、反射光画像の光源である。この発光手段１０１としては例えば、赤外領域の波長の光を発生するＬＥＤが使用される。この発光手段１０１は受発光動作制御手段２０５により制御される。外光光源２０１は屋内や屋外など対象物体１０６の置かれる環境下の光源であり、対象物体１０６はこの外光光源２０１の光を常に受ける。
【００９１】
フィルタ２０２は発光手段１０１からの赤外線領域の照明光を遮断するフィルタであり、外光成分のみを抽出するためのフィルタである。外光検出手段２０３はフィルタ２０２を介して取り込まれた外光のレベルを検出するためのもので、入射する外光の強度対応の検出出力を出す構成である。
【００９２】
外光状態判定手段２０４は、この外光検出手段２０３の検出出力を入力とし、外光の大きさや時間的変動などを監視するものであって、反射光画像に大きな影響を与える可能性のある状態を検出するものである。
【００９３】
受発光動作制御手段２０５は、外光状態判定手段２０４の出力結果に応じた動作をするように、各種タイミング信号の制御を行うものであって、タイミング信号生成手段１０４に該当するものである。ここでは、受発光動作制御手段２０５は、外光状態判定手段２０４が反射光画像に大きな影響を与える可能性のある外光変動があったと判断した場合に再度、外光のみの画像の取得と発光手段１０１を発光させた場合の画像の取得を実施し、その差成分である反射光画像を抽出する操作を行うに必要なタイミング信号の生成を行うべくシステムを制御する動作を行うが、一定時間経過時点ではこれを行わずに、反射光画像の品質が悪いことを示す信号（外光状態の非許容信号）を発生して反射光画像獲得手段１０２に与える機能を有する。
【００９４】
反射光画像獲得手段１０２は、受発光動作制御手段２０５のタイミング信号に応動して発光手段１０１の発光に伴う照明を与えた際の画像と、発光させないで外光のみの環境下での受光による画像とを得て両者の差成分を求め、反射光画像として得てこれを出力するものであり、外光状態判定手段２０４が非許容信号を発生したときはリセットして再度、画像取得と差成分の抽出処理をはじめから行い、反射光画像を得る処理を行う機能を有する。
【００９５】
このような構成の本装置において、反射光画像獲得手段１０２は、発光手段１０１の発光による照明をあてた対象物体１０６の画像と、当該照明をあてない外光のみによる当該対象物体１０６の画像とを受発光動作制御手段２０５の制御の基に取得し、両者の差の成分である反射光画像を得る。
【００９６】
一方、反射光画像獲得手段１０２の画像取得タイミングにおいて、外光検出手段２０３は環境下の光のレベルをそれぞれ検出する。この外光検出手段２０３の前部には発光手段１０１が発する光の対象物体１０６による反射光を遮断するフィルタ２０２が設けられており、外光のみが外光検出手段２０３によって検出される。そして、この検出出力は外光状態判定手段２０４に与えられる。
【００９７】
外光状態判定手段２０４は、この検出出力を基に、外光の大きさや時間的変動などを監視しており、反射光画像に大きな影響を与える可能性のある状態を検出する。例えば、反射光画像に大きな影響を与える可能性のある状態を検出したときは非許容信号を発生し、それ以外の状態の時は非許容信号は発生しない。
【００９８】
この受発光動作制御手段２０５からの当該非許容信号を含め、タイミング信号に基づいて受発光動作制御手段２０５は、画像の取得とその取得画像の差成分である反射光画像を取得するが、外光状態判定手段２０４の出力結果（非許容信号の有無）があるときは再度、外光のみの画像の取得と、照明光をあてた画像をの取得を行い、差成分を求めて反射光画像を得るといった動作をする。
【００９９】
図６には図示していないが、反射光画像獲得手段１０２の後段には反射光画像処理手段を設けて外光状態判定手段２０４の出力を基に、反射光画像の扱いを決めるようにしてもよい。
【０１００】
本発明は，ＣＭＯＳセンサを反射光画像獲得手段１０２の受光部に採用し、対象物体１０６の画像をリアルタイムで取得するが、この取得した画像の差成分、すなわち、反射光画像は動画像の画像信号として出力される。
そして、ＣＭＯＳセンサの１ フレームの動作は、大きく分けて受光・電荷の蓄積と、それらの出力の繰り返しである。
【０１０１】
図７はその動作の様子を説明するための図であり、（ａ）は光パルス（発光手段１０１の発光、つまり、照明光の照射）、（ｂ）はＣＭＯＳセンサの動作を示している。“Ｒ”、“１”、“２”はそれぞれ、“蓄積電荷をリセット”、“第１の電荷蓄積部へ蓄積”（図１の１１０、図４の１２０への蓄積に該当）、“第２の電荷蓄積部へ蓄積”（図１の１０９、図４の１１９への蓄積に該当）、を表す。
【０１０２】
図７に沿って動作を説明する。１フレームの期間内において“Ｒ”のタイミングで受光部及び第１及び第２の電荷蓄積部の電荷をリセットし、次に“１”のタイミングで第１ の電荷蓄積部へ所定期間蓄積（対象物体画像の受光実施）する。このとき同時に同期間にわたり、発光部（発光手段１０１）が発光する。
【０１０３】
そして、再び登場する次の“Ｒ”のタイミングで受光部の電荷の電荷をリセットし、次に“２”のタイミングで第２の電荷蓄積部へ所定期間蓄積（対象物体画像の受光実施）する。このときは、発光部（発光手段１０１）は発光させない。このようして得た２枚の画像の差成分を求めて反射光画像とし、１フレーム期間の後半にこの反射光画像を後段に出力する。反射光画像出力時には、これのように２枚の画像、正確には，ＣＭＯＳセンサの場合、単位画素の２つの電荷蓄積部の蓄積電荷の差を出力することにより、発光部からの光の物体による反射光成分のみを出力する。
【０１０４】
第１、第２の電荷蓄積１回で無事反射光画像を取得できる図７の如きタイミングで動作している場合、電荷蓄積に使用している時間はわずかであり、データ出力までには余裕がある。しかし、反射光画像に雑音成分が多く含まれて信頼性が問題になる状況、つまり、外光の変動の大きい状態の時はこのようにはいない。
【０１０５】
すなわち、本システムでは反射光画像獲得手段１０２による反射光画像獲得動作と並行して、別の外光検出手段、つまり外光検出手段２０３が外光レベル（図８の（ａ））を検出する。このとき、発光手段１０１の発光源に例えば近赤外ＬＥＤを用いたとすると、この場合は、外光検出手段２０３の前方（検出側の入り口）に近赤外光遮断フィルタ２０２を取り付けておくことにより、外光検出手段２０３には発光源からの光の反射光は入らないことになる。
【０１０６】
外光状態判定手段２０４は、外光検出手段２０３の検出出力をもとに、外光レベルを監視していて、外光レベルの変動が大きく、その結果、反射光画像に影響を与えそうである場合にそれを検出する。図８の（ｂ）がその検出結果を知らせる信号であり、この信号が論理レベル“Ｈ（HIGH）”になっている領域は外光の状態が悪い（反射光画像に悪影響を与える可能性がある）と判断される。
この判断は例えば、外光の変動が急である場合（前半の“Ｈ”）、外光のレベルが非常に高い場合（後半の“Ｈ”）などである。
【０１０７】
外光の変動が急であると、反射光画像獲得手段（反射光抽出手段）１０２の構成要素である第１ の電荷蓄積部（図１の１１０、図４の１２０に該当）と第２の電荷蓄積部（図１の１０９、図４の１１９に該当）に蓄積される外光分の光の量の差が大きく、両者の差を取ったときに、反射光成分だけでなく、外光の変動分が大きく含まれてしまう。
つまり、外光のレベルが非常に大きい環境下であったときは、外光に対する反射光の割合が非常に小さくなり、Ｓ／Ｎ（信号対雑音比）が悪くなる。
故に、この場合に外光の変動があると、雑音成分が大きく、精度良く対象物体１０６の抽出をすることができない。
【０１０８】
図８の例の場合、１フレーム期間内において上述のように第１回目の発光動作と蓄積動作が行われたが、この動作が終了した時点で、蓄積動作中に外光状態が悪かったことが分かった（図８（ｂ）ｔ１）。そこで、一旦、この動作をキャンセルし、再び、やり直す。
【０１０９】
つまり、蓄積された電荷を再びリセットし（“Ｒ”）、再度、第１ の電荷蓄積部への蓄積（“１”）、第２ の電荷蓄積部への蓄積（“２”）をやり直す。２回目の動作中には外光状態は正常であったので（（ｂ）の信号がＨではなく、Ｌの状態である）、得られた差成分（反射光画像）は、このまま、データ出力する。
【０１１０】
反射光画像の抽出と、この抽出した反射光画像の出力操作は所定の周期（１フレーム期間内）で行うようにしているため、蓄積動作のやり直しをあまり何回も行うと、データ出力タイミングと重なってしまう。そこで、やり直しができる最大回数を、予め定めておき、それ以上はやり直せないようにする。
【０１１１】
そして、最後まで正常な反射光画像が得られなかった場合、すなわち、データ出力軒間の到来時点までに正常な反射光画像が得られなかった場合は、最後に得られた信頼性の低いデータをそのまま出力するが、このとき別系統でこの反射光画像の信頼性が低いことを示す信号を合わせて出力する。以上の処理をフローで示すと、図９の如きとなる。
【０１１２】
以上、図６に示した例では、外光状態判定手段２０４の出力で、外光変動の状態対応に受発光動作制御手段２０５を直接制御して画像取得と差分（反射光画像）の取得のやり直しをするようにした。しかし、このようなやり直しをせずに反射光画応獲得手段１０２から出力されてくる反射光画像の取捨選択を外光状態判定手段２０４の出力を基に後段で行うようにして信頼性のない反射光画像については利用しないようにしても良い。
【０１１３】
その例を次に図１０を参照して説明する。
図１０の例では１フレーム期間内毎に受発光動作制御手段２０５に発光手段１０１による照明をあてた画像の取得と、外光のみによる画像の取得をさせ、更に両画像の差成分を得て、反射光画像を得るという処理を１回だけ行わせ、この得た反射光画像は出力期間内に外部に出力させる構成としている。
【０１１４】
また、反射光画像獲得手段１０２の当該反射光画像は反射光画像処理手段１０３にて受けるが、この反射光画像処理手段１０３は外光状態判定手段２０４の出力を得て、その状態に応じてその受けた反射光画像を使用するか廃棄するかを決める機能を持たせてある。その他、反射光画像処理手段１０３の機能は図１で説明したものと同じである。
【０１１５】
このように、外光状態判定手段２０４の出力で反射光画像獲得手段１０２や発光手段１０１を制御せず、反射光画像処理手段１０２には当該外光常置判定手段２０４の出力で反射光画像の取捨選択を行わせる機能を設けた構成とした。
【０１１６】
反射光画像処理手段１０２は、出力された反射光画像を扱う部分であるが、同時に外光状態判定手段２０４の出力（これは２ 値とは限らない）を得て、それによって反射光画像の扱いを変えるようにした。
【０１１７】
例えば、外光状態が非常に悪いときは、その反射光画像を捨てて利用しない、あるいは、前フレームを利用して現フレームを予測するいった具合である。予測する際には、外光状態の悪さを、現フレームの信頼性の低さとしてパラメータにして、予測のし方をコントロールしたりすると一層良い。
【０１１８】
以上、この例は発光手段による照明のもとに得た対象物体の像と、外光のみによる対象物体の像をそれぞれ取得し、両者の差成分の画像である反射光画像を得、また、外光のみを検出する検出手段を設けて外光の変動を監視し、外光の変動が対象物体の反射光画像の信頼性に影響を与える場合に、再度、画像の取得とそれに基づく反射光画像の再取得を行うなうようにしたものである。あるいは、発光手段による照明のもとに得た対象物体の像と、外光のみによる対象物体の像をそれぞれ取得し、両者の差成分の画像である反射光画像を得、また、外光のみを検出する検出手段を設けて外光の変動を監視し、外光の変動が対象物体の反射光画像の信頼性に影響を与える場合に、これを知らせるようにしたものである。
【０１１９】
そのため、対象物体の反射光画像を得るに当たり、外光変動の悪影響が大きい場合に、その状態での取得反射光画像を使用しないで済むようになり、対象物体のみの高品質な画像を、容易に取得できるようになって、対象物体によるゼスチャー情報の取得や、３次元操作情報の取得を高精度で行えるようになる。
【０１２０】
以上は、外光のレベルを監視して、外光変動の影響あるタイミングでの反射光画像は利用しないようにした技術であった。
しかし、この場合、外光変動がいつまでも続く不安定な環境下であったときは利用できる反射光画像が得られないことになり、また、インバータ式の蛍光灯のように短い周期で常に光量が変動している環境下では、場合によっては利用できる反射光画像がいつまでも得られない心配が残る。また、テレビ画像のように１秒間に３０フレームもの速度で反射光画像を抽出する必要のある場合、あるいはそれ以上の速度で反射光画像を抽出する必要のある場合などでは、蛍光灯のちらつきがまともに外光変動として影響し、反射光画像を取得できない心配が残る。そこで、次にような周期性を以て常に変動する外光が与えられるような環境下で利用すると最適な具体例を説明する。
【０１２１】
＜外光の変動の影響を抑制する具体例２＞ここでは、周期性を持って常に変動する外光の影響を排除して反射光画像をリアルタイムに得ることができるようにした例を説明する。
【０１２２】
ここでは外光のみの変動を監視する検出手段を設け、これによって外光の変動周期を検出して、この外光の変動周期をもとに、受発光動作制御を行う構成とする。図１を参照して本システムの構成を説明する。図において、１０１は発光手段、１０２は反射光画像獲得手段、２０１は外光光源、２０２はフィルタ、２０３は外光検出手段、３０１は外光変動周期検出手段、２０５は受発光動作制御手段であり、１０６は対象物体である。
【０１２３】
前述したように発光手段１０１は対象物体１０６に照明をあてるための光源であり、反射光画像の光源である。この発光手段１０１としては例えば、赤外領域の波長の光を発生するＬＥＤが使用される。この発光手段１０１は受発光動作制御手段２０５により制御される。外光光源２０１は屋内や屋外など対象物体１０６の置かれる環境下の光源であり、対象物体１０６はこの外光光源２０１の光を常に受ける。
【０１２４】
フィルタ２０２は発光手段１０１からの赤外線領域の照明光を遮断するフィルタであり、外光成分のみを抽出するためのフィルタである。外光検出手段２０３はフィルタ２０２を介して取り込まれた外光のレベルを検出するためのもので、入射する外光の強度対応の検出出力を出す構成である。
外光変動周期検出手段３０１は、この外光検出手段２０３の検出出力を入力とし、外光の大きさや時間的変動などを監視するものであって、外光の変動周期を検出するものである。
【０１２５】
受発光動作制御手段２０５は、外光変動周期検出手段３０１の検出した変動周期情報をもとに、この変動周期に同期するように各種タイミング信号の制御を行うものであって、タイミング信号生成手段１０４に該当するものである。ここでは、受発光動作制御手段２０５は、外光の変動周期に同期して発光手段１０１の発光制御と、反射光画像獲得手段１０２における第１の電荷蓄積を行わせ、次に外光の変動周期に同期して外光のみの画像を得るべく、発光手段１０１の発光は停止した状態として反射光画像獲得手段１０２における第２の電荷蓄積を行なわせるといった制御のためのタイミング信号を発生させる。
【０１２６】
反射光画像獲得手段１０２は、受発光動作制御手段２０５のタイミング信号に応動して発光手段１０１の発光に伴う照明を与えた際の画像（第１の電荷蓄積による蓄積電荷）と、発光手段１０１を発光させないで外光のみの環境下での受光による画像（第２の電荷蓄積による蓄積電荷）とを得て両者の差成分を求め、反射光画像として得てこれを出力するものである。
【０１２７】
このような構成の本装置において、反射光画像獲得手段１０２は、発光手段１０１の発光による照明をあてた対象物体１０６の画像と、当該照明をあてない外光のみによる当該対象物体１０６の画像とを受発光動作制御手段２０５の制御の基に取得し、両者の差の成分である反射光画像を得る。
【０１２８】
一方、外光の状態は外光検出手段２０３により監視されている。すなわち、外光検出手段２０３の光検出側前部に発光手段１０１が発する光を受けた対象物体１０６からの反射光についてはこれを遮断するフィルタ２０２が設けてあり、これによって外光のみが外光検出手段２０３によって検出される。フィルタ２０２としては発光手段１０１が赤外光を発光するものであったとすれば、赤外線遮蔽フィルタを用いることで実現される。
【０１２９】
外光検出手段２０２の検出出力は外光変動周期検出手段３０１に与えられる。すると、この外光の変動周期検出手段３０１は、当該検出信号から外光の時間的変動周期を検出する。そして、この検出した変動周期の情報を受発光動作制御手段２０５に与える。
【０１３０】
受発光動作制御手段２０５は、外光変動周期検出手段３０１で得られた外光周期に同期するように、受発光動作の制御信号を生成する。
【０１３１】
図１２に外光変動が規則的に生じる場合の例を示す。図１２（ａ）にこのときの外光レベル（外光検出手段２０３の出力）を、図１２（ｂ）に外光信号をパルスに整形したもの（外光変動周期検出手段３０１の出力）をそれそれ示す。また、図１２（ｃ）は発光手段１０１を発光させるパルス信号であり、発光手段１０１はこのパルスの期間、発光する。図１２の（ｄ）は蓄積動作を制御する信号であり、図７で説明した如きのものである。
【０１３２】
図１２（ｃ）のパルス信号と図１２の（ｄ）の蓄積動作を制御する信号は、図１２の（ｂ）の信号を基に作られる。つまり、反射光画像獲得手段１０２の第１電荷蓄積部（図２の１１０、図４の１２０）に電荷が蓄積されるタイミングと第２の電荷蓄積部（図２の１０９、図４の１１９）に電荷が蓄積されるタイミングは、外光の変動周期に対し、同じ位相になっている。従って、第１及び第２の電荷蓄積の計２回の蓄積動作によって蓄積される電荷にそれぞれ含まれる外光分の大きさは等しくなる。従って、第１の電荷蓄積部と第２の電荷蓄積部の蓄積電荷の差分に、外光の変動分はほとんどないことになり、規則的に変動する外光のもとで、精度良く反射光画像が抽出できることがわかる。
【０１３３】
次に電荷蓄積時間に対して外光の変動周期が短く規則的である場合の例を図１３に示す。
本システムでは第１の電荷蓄積、第２の電荷蓄積の計２回の電荷蓄積により得た画像からその差分の像を得るが、外光の変動周期に同期してこれを実施すると共に、その蓄積時間はそれぞれ外光の変動１周期分を単位に、そのｎ倍に対応させる。すなわち、図１３ に示す例は、蓄積時間に対し、外光の変動周期が短い場合において、常に外光の変動周期２つ分の時間（ｎ＝２）で蓄積動作を行っていることを示している。
【０１３４】
そのため、先の例と同様、やはり、２回の蓄積動作によって蓄積される電荷にそれぞれ含まれる外光分の大きさは等しくなる。なお、図１３では蓄積時間は外光の変動周期の整数倍になっているが、これに限らない。例えば、１．５倍、２．７倍、３．３倍、といった具合であっても良い。ただし、位相は正しく一致していることが必要である。
【０１３５】
このように、外光変動を検出してそれに同期させて所要の時間幅単位で、画像の取得を行うようにしたので、外光が周期性を以て常に変動する環境下においても、その影響を排除して反射光画像をリアルタイムに得ることができるようになる。
【０１３６】
以上は、外光の変動に対応して反射光画像のもととなる画像の取得タイミングを制御するものであったが、外光が室内灯のように人為的に制御可能である場合も少なくない。その場合に最適な例を次に説明する。
【０１３７】
＜外光の変動の影響を抑制する具体例３＞
この例は、外光の光源自体を制御して反射光画像に外光の影響がでないようにしたものである。
図１４に本システムの具体例を示す。図中、１０１は発光手段、１０２は反射光画像獲得手段、２０５は受発光動作制御手段、２０１は外光光源で、例えば、室内の照明灯などである。また、４０２はこの照明の駆動装置であり、４０１は照明制御信号生成手段である。
【０１３８】
発光手段１０１は対象物体１０６に照明をあてるための光源であり、反射光画像の光源である。照明２０１は外光光源であって、対象物体１０６の置かれる環境下の光源であり、対象物体１０６はこの外光光源２０１の光を常に受ける。
【０１３９】
照明駆動装置４０２はこの照明２０１の発光駆動を行うものであって、与えられる制御信号対応に照明２０１の光量を制御する機能を有する。
受発光動作制御手段２０５は、発光手段１０１および反射光画像獲得手段１０２を制御する信号を生成する。照明制御信号生成手段４０１は、反射光画像獲得手段１０２における２回の電荷蓄積動作（発光手段１０１の発光下での画像の取得と外光のみによる画像の取得）において、外光分の受光量が等しくなるような、照明制御信号を生成する。これに従って、外部の照明（外光光源）２０１が動作する。
【０１４０】
反射光画像獲得手段１０２は、受発光動作制御手段２０５のタイミング信号に応動して発光手段１０１の発光に伴う照明を与えた際の画像と、発光させないで外光のみの環境下での受光による画像とを得て両者の差成分を求め、反射光画像として得てこれを出力するものである。
【０１４１】
このような構成の本装置は、受発光動作制御手段２０５の制御のもとに発光手段１０１、反射光画像獲得手段１０２、そして、照明制御信号生成手段４０１が制御されて、所定タイミングでの発光手段１０１の発光、反射光が像獲得手段１０２による画像の取得（第１の電荷蓄積と第２の電荷蓄積）が行われ反射光画像の抽出が行われる。
【０１４２】
一方、照明制御信号生成手段４０１は、反射光画像獲得手段１０２における２の電荷蓄積動作（発光手段１０１の発光下での画像の取得と外光のみによる画像の取得）において、外光分の受光量が等しくなるような、照明制御信号を生成する。これに従って、照明駆動装置４０２は外部の照明（外光光源）２０１を点灯制御するので、外光は上記２回の電荷蓄積動作の期間、それぞれにおいて外光光量が等しくなるように点灯されることになる。
【０１４３】
それ故、反射光画像獲得手段１０２が、受発光動作制御手段２０５のタイミング信号に応動して発光手段１０１の発光に伴う照明を与えた際の画像と、発光させないで外光のみの環境下での受光による画像とを得た際に、それぞれにおいて照明２０１から環境下に与えられた光量は等しいから、両画像の差成分を求めることにより、得られた反射光画像は精度の良いものとなる。
【０１４４】
図１５に、この場合の一例としての反射光画像獲得手段１０２の動作パターン（図１５（ｃ））、発光手段１０１の制御信号（図１５（ｂ））、外部照明を制御するための信号（図１５（ａ））を示す。
【０１４５】
受発光動作制御手段２０５は、反射光画像獲得手段１０２が図１５（ｃ）のような動作パターンで動作するような制御信号を生成するとともに、図１５（ｂ）のような発光パルスを発光手段１０１に与える。一方、これと同時に、照明制御信号生成手段４０１は図１５（ａ）の照明制御信号を生成し、照明はこれに従って動作する。
【０１４６】
例えば、照明制御信号のレベルが“Ｈ”の時、照明が点灯し、レベルが“Ｌ”の時、消灯するようなパターンで点滅を繰り返す。この動作はもちろん高速で繰り返されているので、人間の目には一定の明るさで光っているようにみえる。
【０１４７】
しかし、電荷蓄積を行っているときには瞬間的に明るさが低くなるという変動であるから、反射光画像を得るにあたって、外光の影響を受けることなく高精度な反射光画像が得られるようになる。
【０１４８】
この例では、発光量が周期的に強度変化する外部照明（例えば、蛍光灯）が反射光画像に影響しないよう、外部照明を直接コントロールしてしまうものであった。逆に、外部照明を光源として利用してしまう方法もある。つまり、外部照明自体を光源（発光手段）としてしまい、この外部照明からの照射光の対象物体による反射光を受光手段で検出するのである。この場合、照明と受光手段の位置関係によっては、反射光量が距離の２乗に反比例するという関係が崩れるので、距離情報の獲得は難しくなるが、対象物体の形状の切り出しなどは問題なく行える。この構成はアミューズメントパークなど、部屋自体をコミュニケーションの空間として作ることができるような場合に、効果的である。
【０１４９】
以上は、環境下の光量変動に与える反射光画像の劣化を抑制する手法であったが、環境下の光量がたとえ安定していたとしても、対象物体１０６からの反射光光量が、環境下の光量に比べてあまり高くない場合、Ｓ／Ｎが悪いことから、得られる反射光画像の品質が低くなることになる。
【０１５０】
例えば、反射光画像獲得手段１０２のＣＭＯＳセンサのダイナミックレンジが、その入射光学系の前方所定距離範囲にある対象物体からの反射光量を検出するに最適な状態に設定されている場合などでこのようなことが起こり易い。なぜなら、光の強度は距離の二乗に反比例するからであり、本システムをパソコンなどに搭載して、操作入力として利用うする際などで、ユーザ自身の手を対象物とするようなとき、ユーザは自己本位でこれを行おうとするのが普通であるから、手の位置は設計者の意図した範囲内で操作してくれないからである。
【０１５１】
そこで、次にこのような状況下に対処できるようにした例を説明する。
＜対象物体の距離に応じて発光量を調整することにより反射光画像の劣化を抑制する技術＞反射物体があり、この反射物体からの反射光をセンサで検出する場合、その検出される反射光の量は対象物体までの距離の２乗に反比例する。したがって、対象物体がセンサから遠ざかると、対象物体からの反射光量が急激に減少する。例えば、センサから１０ｃｍの距離に対象物体があるときに比べ、３０ｃｍの距離に対象物体があるときの検出される反射光量は１／９になる。
【０１５２】
つまり、１０ｃｍの距離範囲の物体測定に最適な状態に測定範囲（測定レンジ）を設定した場合には３０ｃｍ程度離れた位置にある物体の測定精度は、受光量自体が１／９になるために急激に低くなる。測定レンジを変更せずに、３０ｃｍ程度の距離にある対象物体を高い精度で測定できようにするためには、発光手段の発光強度を上げて、当該対象物体からの反射光の量を増やすようにすれば良い。しかし、このようにすると、今度は１０ｃｍ程度の距離の物体からの反射光は大きくなり過ぎてしまい、測定レンジを超えてしまう。これは取得する画像の画質劣化に、大きく影響する。
【０１５３】
繰り返すが、本発明の前提となる技術は、外光のみを受けた物体の像と、外光を受けた状態でしかも発光手段からの光をあてた像をそれぞれ取得し、両画像の差成分を求めてこれを発光手段による光の照射による反射成分としての画像すなわち、外光成分を除外した対象物体の反射光画像として得るというものである。
【０１５４】
そして、この得られた反射光画像から種々の情報を得るものであり、例えば、対象物体として手を想定した場合、反射光画像として得られた手の像から、その仕草、指の位置情報、といった情報を抽出して操作入力などとして使用するなど、複雑な三次元操作入力を可能にする。
【０１５５】
そのため、対象物体はセンサの位置に対してその測定レンジに合わせて最適位置において撮像することが難しい場合が多い。それは、対象物体が手であった時に、手をいろいろな形に動かすことになるが、夢中になればセンサ位置（反射光画像獲得手段の受光部位置）との距離を予定の範囲に留めることを、人はつい忘れてしまうからである。
【０１５６】
そこで、このような場合にも対処できて、距離位置が変動しても対象物体の反射光画像を精度良く抽出することができるようにした装置の具体例を次に説明する。
ここでは、センサ（反射光画像獲得手段の受光部）と対象物体との距離に応じて発光手段の発光光量を制御することで、対象物体の反射光画像を精度良く得るようにする。
【０１５７】
すなわち、物体が存在している距離に応じて、反射光の量が適切になるように制御することで、物体がどの距離に来ても、十分な精度で距離が測定できるようにする。また、発光量を変えて何度か反射光画像を獲得し、合成することで、ダイナミックレンジの広い反射光画像が得られるようにする。
【０１５８】
以下で述べる具体例のシステムの基本構成と、そのバリエーションを示す。
＜基本構成＞次の３要素を備える。
（１）物体の距離に関する情報を検出する検出手段。
（２）検出手段の検出結果より、反射光の増減の程度を決定する決定手段。
（３）決定手段の決定に基づき、反射光を増減させるための制御（発光量の制御、アンプの制御、Ａ／Ｄの制御）を行う手段。
【０１５９】
＜具体例＞上記３要素の実現手段はそれぞれいくつか、考えられる。
（１）物体の距離（あるいはそれに類する情報）を検出する手段。
[i]物体の距離はセルアレイの出力（アナログ信号）より検出。最大値検出回路により、最大値を求める。
[ii]ＬＰＦを通過させることにより、平均的な信号量を得る。
[iii]Ａ／Ｄ変換後のデジタルデータから検出。最大値を検出する。
[iv]最大値は平均値と分散などから計算する。
【０１６０】
（２）上記（１）の手段で得た結果より、反射光の増減の程度を決定する手段。決定した内容に基づき、発光手段の光量を制御する（リニアに制御／段階的に制御）。
[i]段階的に制御する手法においては、標準の状態に比べ、例えば２倍、３倍、４倍、というように段階的に反射光量が変化するように制御。
[ii]リニアに制御する手法は、任意のｘ倍に制御する。
【０１６１】
（３）決定する手段の決定に基づき、反射光を増減させるための制御（発光量の制御、アンプの制御、Ａ／Ｄ の制御）を行う手段。
[i]発光手段を構成するＬＥＤ（発光素子）の発光を制御する。
[ii]発光手段を構成するＬＥＤの発光パワー（発光電流）を制御する。
[iii]発光手段を構成するＬＥＤの発光パルスの数を制御する。
[vi]発光手段を構成するＬＥＤの発光駆動用パルスのパルス長を制御する。
[v]アンプのゲインを制御する。
[iv]Ａ／Ｄ変換器の入力電圧幅を制御する。
【０１６２】
以上のようなバリエーションがあるが、その詳細を以下、説明する。
［対象物体の距離の変動による反射光画像の画質への影響を抑制する例であって、対象物体の距離に応じて発光量を調整することにより反射光画像の劣化を抑制する具体例］
この例は、（１）[iii]、（２）[i]、（３）[iii]に対応するもので、対象物体からの反射光量の検出値に応じて数段階のレベルに分類し、その分類した段階対応に、発光手段の駆動用のパルス数を変えるようにして、発光量を調整するものである。
【０１６３】
具体的には、例えば、入力装置の前方２０ｃｍの距離位置に対象物体としての手を配置したとして、この状態におけるＣＭＯＳセンサの受光出力電圧（蓄積電荷電圧）１［Ｖ］を出力する状態を“状態１”、その半分の電圧、１／４ の電圧を出力する状態をそれぞれ“状態２”、“状態３”とする。
【０１６４】
そして、この状態対応に発光手段の発光量を切り替える。これは、発光手段を駆動する発光パルス数で行う。“状態１”はパルスを４回繰り返す、“状態２”はパルス２個、“状態３”はパルス１個である。
【０１６５】
細かい調整制御は次のようにして行う。ＣＭＯＳセンサからの画像信号（反射光画像）をデジタル化し、このデジタル化された反射光画像から、画素値の最大値（もっとも反射光量が大きいところ、すなわち、最も近いところ）を求める。デジタル出力は例えば、８ｂｉｔ構成、２５６階調とする。
【０１６６】
デジタル出力を監視し、最大値が“２５０”を超えたとき、状態を１つ下げる（例えば、“状態１”→“状態２”）。また、最大値が“１００”を下回ったとき、状態を１つ上げる（例えば、“状態３”→“状態２”）にするといった具合である。ただし、物体らしきものがないときは、状態の遷移はしない。
【０１６７】
ここでは、“状態１”、“状態２”、“状態３”での反射光量はちょうど倍ずつ違うのように設定したので、距離の換算が楽となる。
【０１６８】
詳細を説明する。
ここで、反射光量の性質と発光量制御の必要性についてふれておく。
本装置は、対象物体に対して発光手段１０１から光を発して、その物体からの反射光の大きさを測定（検出）する。そして、これにより得た反射光量の分布を画像、すなわち、上記対象物体の反射光画像として獲得する。物体表面が一様な散乱面であれば、反射光量（反射光画像の各画素の値）は距離を反映している。各画素の値（反射光量）は物体までの距離の２乗に反比例している。対象物体までの距離と反射光量の関係をグラフにあらわすと図１６のようになる。
この図から、距離が大きくなるほど反射光量は小さくなり、また距離分解能が落ちることがわかる。
【０１６９】
遠い距離を十分に測定できるようにするには発光手段１０１の発光量を増やせば良い。しかし、発光量を増大させれば、今度は逆に近くに物体がある場合、反射光量が大き過ぎてしまい、測定可能範囲を超えてしまう弊害が生じる。従って、物体の距離に応じて発光手段１０１の発光量を制御し、反射光量の変化を抑制することが、広い距離範囲にわたって精度よく距離測定する解決方法となる。
【０１７０】
この点を念頭におき、ここでは図１７のようにシステムを構成する。すなわち、図において、１０１は発光手段であり、１０２は反射光画像獲得手段、１０３は反射光画像処理手段である。また、５００は最大画素値検出手段、５０１は受光状態決定手段である。
【０１７１】
発光手段１０１は、外光下にある対象物体に対する照明をする装置であり、反射光画像獲得手段１０２は、発光手段１０１による照明をあてた状態での対象物体からの反射光をＣＭＯＳセンサで検出してその第１の電荷蓄積部に蓄積し、つぎにこの発光を行わない状態で対象物体からの反射光をＣＭＯＳセンサで検出して素の第２の電荷蓄積部に蓄積し、その後、両者の差を得て反射光画像として出力するものである。
【０１７２】
最大画素検出手段５００は、反射光画像のデータから、その最大値を検出するものである。また、発光状態決定手段５０１は、発光手段１０１の発光状態を適宜に設定するものであって、前記最大画素検出手段５００によって得られた最大画素値に従って、発光手段１０１の発光状態を変更するかどうか決定する機能もある。発光手段１０１の発光状態は、“状態１”、“状態２”、“状態３の３通りのいずれかを取り得る。これを上記の最大画素値対応に、選択してその状態対応に定めたパルス数での発光手段１０１の発光を行わせることができる。
【０１７３】
反射光画像処理手段１０３は反射光画像獲得手段１０２の得た反射光画像をもとに、仕草や状態を解析して３次元操作情報などを得るもので、図１の特徴情報生成手段に該当する。
【０１７４】
このような構成の本装置は、発光手段１０１は、外光下にある対象物体に対する照明をする。反射光画贈獲得手段１０２は、発光手段１０１による照明をあてた状態での対象物体からの反射光をＣＭＯＳセンサで検出してその第１の電荷蓄積部に蓄積し、つぎにこの発光を行わない状態で対象物体からの反射光をＣＭＯＳセンサで検出してその第２の電荷蓄積部に蓄積し、その後、両者の差を得て反射光画像として出力する。
【０１７５】
反射光画像獲得手段１０２は発光手段１０１と同期して動作し、発光手段１０１からの光が前方にある物体に反射して帰ってきた光の量の分布、すなわち、反射光画像を獲得する。
【０１７６】
反射光画像獲得手段１０２は受光セルのアレイ構造を持っている。各受光セルが、発光手段１０１が発光しているときと、発光していないときに同じ時間だけ受光して電荷蓄積し、その差として反射光量を検出する。また反射光画像獲得手段１０２は、その反射光量をデジタルデータに変換し、出力する手段を含む。つまり、Ａ／Ｄ変換部を備える。
【０１７７】
このＡ／Ｄ変換部は０〜１Ｖの入力電圧を、“０”から“２５５”までの８ｂｂｉｔデジタルデータに変換する。従って、反射光画像獲得手段１０２からは、反射光量の分布、すなわち、反射光画像の各画素値がデジタルデータとして出力される。
【０１７８】
最大画素検出手段５００は、この一連の反射光画像データから、その最大値を検出する。そして、発光状態決定手段５０１にその検出値を渡す。これを受けた発光状態決定手段５０１はこの検出値をもとに、３種の発光状態のいずれが最適かを判別し、“状態１”、“状態２”、“状態３”の３通りの状態値のうち、最適な状態値を決定する。
【０１７９】
（３つの発光状態）
最適な状態値は次のようにして決定する。すなわち、発光状態決定手段５０１は、得られた最大画素値に従って、発光状態を変更するかどうか決定する。今、発光手段１０１の発光状態は、“状態１”、“状態２”、“状態３”の３りを取り得る。これらのうち、“状態１”は、最も多くの反射光が得られるモードで、対象物体である手が距離２０ｃｍにあるときに、Ａ／Ｄ変換部の入力電圧が約１［Ｖ］になるように設定される。ただし、反射光量の大きさから、絶対的な距離値は求まらないので、これは目安である。
【０１８０】
例えば、手の色や、表面の状態（乾いている、湿っている）によってばらつきはある。
【０１８１】
“状態２”は“状態１”に比べ、約半分の反射光量が得られるモードである。“状態３”はさらに半分、つまり“状態１”の１／４の反射光量が得られるモードである。
【０１８２】
ここで、反射光量が倍増える方向へ状態を変えることを、「状態を１つ上げる」、反射光量が半分に減る方向へ状態を変えることを「状態を１つ下げる」、と呼ぶことにする。つまり、“状態１”から“状態２”へ下げる、“状態３”から“状態２”へ上げる、といった具合に表現することとする。
【０１８３】
（発光状態の決定）発光状態決定手段５０１は、次のようにして、発光状態を制御する。最大画素値が“２５０”のとき、発光状態を１つ下げる。つまり、現在の状態に対し、手が近づきすぎたとき、発光量を下げることによって、反射光量を下げ、Ａ／Ｄ変換機の入力信号が飽和しないようにする。
【０１８４】
逆に、最大画素値が“１００”以下になったとき、発光状態を１つ上げる。つまり現在の状態に対し、手の位置が遠すぎて、反射光量が小さい場合、発光状態を上げて、反射光量を増やす。ただし、“状態１”の時はそれ以上は上げられないし、“状態３”の時はそれ以上下げられない。この状態遷移の様子を図１８に示す。
【０１８５】
（状態を変化させるしきい値の設定について）今、最大画素値が“２５０”以上で状態を下げ、最大画素値が“１００”以下で状態を上げると述べたが、値はこれに限らない。最もシンプルな場合は“２５５ （つまり最大値）”で状態を下げ、“１２７（最大値の半分）”で上げることである。
【０１８６】
しかし、この場合は、状態を下げる前に一度Ａ／Ｄの入力信号が飽和することになる（飽和してから状態が下がる）。また、最大画素値２５５の時、状態を一つ下げると、出力は“１２８”（もしくは“１２７”）になるが、ここで再びほんの少し反射光量が下がり、“１２７”を割るとまた状態が上がる。
【０１８７】
このように、状態を上げるしきい値を、状態を下げるしきい値のちょうど半分程度に設定しておくと、しきい値近傍に反射光量が留まっているとき、状態が頻繁に変わることになる。
【０１８８】
そこで、状態が上がるしきい値を状態が下がるしきい値の半分よりやや少なく設定し、状態変移にヒステリシス特性を持たせるようにすることにより、状態が頻繁に変わることを防ぐことができる。本例では、状態を下げるしきい値を“２０”以上にし、飽和する直前に状態を下げるようにしている。また“２５０”で状態が下がると、値が“１２５”程度に下がるが、これより低い“１００に、状態を上げるしきい値を設定している。
【０１８９】
（状態の数）本例では状態の数を３つにした。そして、状態を変えることによって、反射光量が倍あるいは半分になるように制御している。しかし、状態の数を増やすことによって、もう少し、きめの細かい制御をすることもできる。
【０１９０】
（発光パルスと蓄積制御）発光状態の違いは、発光パルスの数で制御する。図１９（ａ）に示すように、“状態１”では４つの発光パルスを、図１９（ｂ）に示すように“状態２”では２つの発光パルス、図１９（ｃ）に示すように“状態３”では１つの発光パルスを駆動する。
【０１９１】
図１９に示すように、各発光パルスａ−１，ｂ−１，ｃ−１の長さは等しいので、“状態２”は“状態３”の倍の、“状態１”は“状態２”の倍の反射光量が得られることが分かる。この発光パルスに対し、電荷蓄積制御は次のようになっている。
【０１９２】
各発光パルスａ−１，ｂ−１，ｃ−１の下に示すのが蓄積制御の様子を示すチャートである。
【０１９３】
「１」は図３，図４に示す構成のＣＭＯＳセンサを利用した反射画像獲得手段１０２における当該ＣＭＯＳセンサの第１の電荷蓄積部に電荷を蓄積していることを示し、「２」は第２の電荷蓄積部に電荷を蓄積していることを示し、「Ｒ」は発生電荷を電源に逃がし、リセットしていることを示している。
【０１９４】
すなわち、図３、図４で説明したようにＣＭＯＳセンサは単位受光部ＰＤをｎ×ｎ画素配列した構成であり、単位受光部ＰＤは１つの光電変換部１１８と、２つの電荷蓄積部１１９、１２０を持っている。光電変換部１１８と電荷蓄積部１１９、１２０の間にはいくつかのゲート（この例では１２２，１２３）があり、これらのゲートの制御によつて光電変換部１１８で発生した電荷を、二つの電荷蓄積部１１９，１２０のうちのいずれの電荷蓄積部に導くかを選択できるようになっている。そして、このゲートの制御信号と発光手段１０１の発光制御信号を同期させる。そして、二つの電荷蓄積部の蓄積電荷の差を得ることで、反射光画像の当該画素での成分とする。
【０１９５】
図１９（ｃ）に示す“状態３”の蓄積制御の様子を見てみると、まず、リセットした後、発光パルスと同期して、光電変換部１１８の発生電荷をＣＭＯＳセンサの第１ の電荷蓄積部に蓄積する。
【０１９６】
次にもう一度リセットした後、今度は発光していないときに、光電変換部１１８の発生電荷を第２ の電荷蓄積部に蓄積する。第２の電荷蓄積部には照明光や太陽光などの外光による発生電荷が蓄積されており、第１の電荷蓄積部には外光に加えて発光部からの発光が物体に反射して戻ってきた光、すなわち反射光による発生電荷が蓄積されている。従って、第１の電荷蓄積部と第２の電荷蓄積部に蓄積された電荷量の差を取ることによって、反射光量が求められる。
【０１９７】
“状態２”は電荷蓄積を各々２ 回ずつ行っているので、反射光は約２倍になる。“状態３”は電荷蓄積を４回繰り返す。
【０１９８】
なお、本具体例ではパルスの数で発光量を制御したが、これに限らない。例えば、図２０に示すように、状態対応に、発光パルスのパルス長を２倍、４倍、にして、３つの状態を作り出すようにしてもよい。この場合は“状態１”、“状態２”、“状態３”いずれの場合も電荷蓄積制御は、第１、第２の電荷蓄積部に各１回ずつ蓄積し、その蓄積時間が異なるだけである。
【０１９９】
発光手段１０１の状態別総発光時間は図１９の場合と同じであるので、反射光量は前の例とほぼ同じである。ただし、外光が変動している場合、長い光パルスを１回出すよりは、短い光パルスを複数回出した方が、外光の影響を受けにくい。
【０２００】
（他の発光量制御のバリエーション）反射光量を制御する方法は上述の例の他にもまだある。例えば、発光手段１０１の発光の強さそのものを変えてしまう方法である。すなわち、発光電流を変えるのである。また、発光手段１０１として、複数の光源を用いている場合、発光させる光源の数を変えるようにする方法もある。
【０２０１】
また、反射光量を制御する方法ではないが、Ａ／Ｄ変換された後のデジタルデータの大きさの変動を押さえるためのいくつかの方法がある。例えば、Ａ／Ｄ変換器の前段のアンプにおいて、その増幅率をダイナミックに変化させる方法がある。また、Ａ／Ｄ変換器には０レベルの出力とフルスケール出力に対応する入力電圧をリファレンスとして与えるが、このリファレンス電圧を変化させることによっても、デジタルデータが適切な範囲に収まるように制御することができる。
【０２０２】
（対数アンプ）Ａ／Ｄ変換器の前段に対数アンプなどを挿入することによって、距離の変化に対する信号の変化を抑制することができることから、１つのモードで測定できる範囲は広くなる。そのため、場合によっては上述の処理を省くこともできる。しかし、対数アンプを用いる場合でも、上記処理を用いれば、対象物体である手が、遠い距離にあるときでも、近いときと同じ程度のＳ／Ｎで測定できるようになる。
【０２０３】
（状態決定のバリエーション）上述の例では、反射光画像の画素値の最大値だけで発光状態を決定したが、他の方法もある。例えば、“２５０”以上の画素値を持つ画素が１０個以上となったならば状態を下げる、“１００”以下の画素値を持つ画素が１０個以上になったならば状態を上げる、という具合に、しきい値の条件を満たす画素数で状態を決定するようにしても良い。この場合、ノイズによって部分的に“２５０”以上の画素ができたときに状態が変わってしまわないという効果がある。
【０２０４】
また、画素値の平均値を併用する方法もある。この方法は、ある値以上の（すなわち背景でない）画素の画素値平均を求め、最大値が“２５０”以上、かつ画素値平均が“１５０”以上の時、状態を下げる、といった具合である。この方法によれば、最大値だけが突出しているが、それ以外の値は割合小さくて、状態を下げると大部分の分解能が落ちてしまうという場合に、その不具合を防止できる効果がある。
【０２０５】
また、反射光量をＡ／Ｄ変換する前のアナログ信号レベルで状態決定してしまうこともできる。Ａ／Ｄ変換前のアナログ信号をローパスフィルタに通過させると、平均的な信号量が得られる。これを比較回路に入れ、その出力で発光状態を決定する。あるいは、ローパスフィルタの替わりに最大値保持回路に入力すると、入力信号の最大値が分かる。これを基に状態決定する。
【０２０６】
（アナログ量での発光制御）これまでの例では、発光状態を発光パルス数やパルス幅などによってステップ状に変化させるようにした。つまり、光量制御に発光パルス数やパルス幅を変化させることで発光手段１０１の発光光量を変えるようにしていた。この場合、きめ細かい光量制御がしにくい面が残る。きめの細かい制御をするにはやはりリニアに光量制御できるようにする必要がある。
【０２０７】
従って、ここでは発光状態をリニアに変化させる例を述べる。
【０２０８】
ここでは、Ａ／Ｄ変換手段６０１によるディジタル変換の前のアナログ信号からアナログフィードバック回路を構成し、発光電流、すなわち、発光パワーそのものを制御する。
【０２０９】
構成例を図２２に示す。反射光画像獲得手段１０２はこの図においては、アナログ信号を出力する。これをローパスフィルタ（ＬＰＦ）６０２に通すことにより、フレームのＤＣ成分（直流成分）を抽出する。このＤＣ成分がある値より大きいときは発光量を下げ、小さいときは発光量を上げるようなフィードバックループを発光量決定手段６０３の中に構成しておく。
【０２１０】
このことによって、反射光画像の平均が常に一定になるように発光手段１０１の発光量が自動的に調整される。
【０２１１】
図２２ではアナログ信号からフレームのＤＣ成分を抽出するのに、ＬＰＦを用いるようにしたが、これに限らず、例えば、最大値検出回路を使えば、常に反射光画像の最大値が一定になるように制御できる。また、発光電流を制御する替わりに、発光パルス長をリニアに制御するなどしてもよい。
【０２１２】
この方法では、反射光画像の平均（または最大値）が常に一定になるように自動的に発光量が制御されてしまうため、手全体の距離が替わったときにそれを検出することができない。従って、自動的に発光量を制御することを優先し、距離の絶対値は必要ないときに用いると効果的である。また、距離の絶対値は求まらないが、相対距離情報は求まるので、形だけを検出したいときにも適する。また、発光量を何らかの形で反射光画像処理手段１０３に渡すようにしておけば、得られた反射光画像と発光量から距離画像を復元できる。
【０２１３】
以上は、発光手段の発光量を制御することで、対象物体の位置する距離の遠近に伴う反射光画像の画質に及ぼす影響を抑制するようにした例を説明した。
【０２１４】
これに対して、発光手段の発光の強さを変えながら、何枚か反射光画像を取り、これを合成することでもダイナミックレンジの広い反射光画像を生成取得することが可能である。そして、これにより、良質の反射光画像を得ることができ、近いところから遠いところまで、精度良く距離検出できる。この例を次に説明する。
【０２１５】
［対象物体の距離変動による反射光画像の画質への影響を抑制する具体例］
図２３を参照して具体例を説明する。この装置は発光手段１０１、反射光画像獲得手段１０２、フレームバッファ７０１、反射光画像合成手段７０２、制御手段７０３、発光状態制御手段７０４にて構成される。
【０２１６】
発光状態制御手段７０４は発光手段１０１がいくつかの発光モードで発光するようにこれを制御する。具体的には例えば、発光状態制御手段７０４は、発光手段１０１がそれにしたがって発光する発光パルスを生成するものとし、何パターンかの発光パルスを順に生成する。同時に、反射光画像獲得手段１０２に対し、蓄積制御信号を与える。反射光画像獲得手段１０２における電荷蓄積動作は発光動作と同期している必要があるため、発光状態制御手段７０４がこれを同時に制御する。
【０２１７】
反射光画像獲得手段１０２から出力された反射光画像のデータは、フレームバッファ７０１に蓄積される。規定のフレーム数のデータがフレームバッファ７０１に蓄積されると、反射光画像合成手段７０２がこれを読み出し、合成処理を行う。制御手段７０３はこれら全体のタイミング制御を行う。
【０２１８】
（合成アルゴリズムの説明）
反射光画像合成手段７０２の処理をさらに詳細に説明する。
今、発光状態制御手段７０４は、図１７を参照して説明した具体例１において述べた“状態１”、“状態２”、“状態３”の各動作を順に行うものとする。つまり、最初にある発光パワーで発光し、次にその半分の発光パワーで発光し、最後にさらにその半分（最初の１／４）の発光パワーで発光する。
【０２１９】
その発光動作に同期して反射光画像獲得手段１０２による反射光画像獲得処理が行われ、フレームバッファ７０１には３フレームの反射光画像が蓄積される。この３フレームの反射光画像を用いて反射光画像合成手段７０２が処理を行う。
【０２２０】
“状態１”、“状態２”、“状態３”に対応する反射光画像をそれぞれ“反射光画像１”、“反射光画像２”、“反射光画像３”と呼ぶことにする。
“反射光画像２”は“反射光画像３”の倍の画素値を、“反射光画像１”は“反射光画像３”の４倍の画素値を持っている。ただし、最大で２５５である。そこで、次のようなアルゴリズムで反射光画像を合成する。各座標（ｘ、ｙ）について、“反射光画像１”、“反射光画像２”、“反射光画像３”の座標（ｘ，ｙ）の画素値を、それぞれＰ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）、Ｐ３（ｘ，）とし、合成画像の画素値をＰ（ｘ，ｙ）とする。
【０２２１】
今、ある画素（ｘ，ｙ）について、Ｐ１（ｘ，ｙ）が２５５未満であれば、Ｐ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）、そして、Ｐ１（ｘ，ｙ）＝２５５かつＰ（ｘ，ｙ）＜２５５であれば、Ｐ（ｘ，ｙ）＝Ｐ２（ｘ，ｙ）×２、また、Ｐ１１（ｘ，ｙ）＝Ｐ２（ｘ，ｙ）＝２５５であれば、Ｐ（ｘ，ｙ）＝Ｐ３（ｘ，ｙ×４とする。
【０２２２】
この処理の流れをまとめると図２４のフローチャートの如きとなる。
（合成アルゴリズムのバリエーション）
上述のアルゴリズムは“反射光画像１”、“反射光画像２”、“反射光画像３”の画素値がきちんと倍々に増えていることを前提としているが、実際には、回路の非線型性や電荷蓄積容量の性質などによって、多少の誤差が生ずる。
【０２２３】
次にこの誤差の補正方法を説明する。
“反射光画像２”が“反射光画像３”の何倍か（理想的には２倍）、“反射光画像１”が“反射光画像２”の何倍か（理想的には２倍）をきちんと求める。
まず、“反射光画像２”の中で、“２５５”未満の画素値を持つ画素をすべて取り出し、対応する“反射光画像３”の画素値との比をとる。この比の平均α２３が、“反射光画像２”の“反射光画像３”に対する倍率であるとみなしてよい。
【０２２４】
前出のフローチャートのＰ（ｘ，ｙ）＝Ｐ２（ｘ，ｙ）×２の２の替わりにα２３を用いる。“反射光画像１”の“反射光画像２”に対する比α１２も同様に求め、Ｐ（ｘ，ｙ）＝Ｐ３（ｘ，ｙ）×４の４の替わりに、α１２×α２３を用いる。
【０２２５】
今は“反射光画像２”において“２５５”未満の画素値すべてについて、“反射光画像３”との比を求めたが、あまり値が小さい場合は、比の計算誤差が大きいので、“２５５”未満“１００”以上の画素値というように、ある程度の大きさの画素だけを選択して、演算の対象にしてもよい。
【０２２６】
以上、種々の具体例を説明したが、要するに本発明は、外光のみにより対象物体の画像を得（第１の受光）、また、発光手段により光を発光して対象物にあて、その対象物体による反射光を画像として捉える（第２の受光）と共にその差成分を得て（反射光画像）、これより前記対象物体の画像を抽出する装置において、第１には、前記照明光の発生する波長成分の光を除去する除去手段と、前記対象物体の置かれる環境下での光量を前記除去手段を介して検出する検出手段と、この検出手段による検出出力から前記対象物体のおかれる環境の明るさの状態を判断して前記受光手段により得た前記差成分の画像の採否を決める手段とを備えたものである。
【０２２７】
また、第２には、前記照明光の発生する波長成分の光を除去する除去手段と、前記対象物体のおかれる環境下での光量を前記除去手段を介して検出する検出手段と、この検出手段による検出出力から前記対象物体のおかれる環境の明るさの状態を検出し、変動の周期情報を出力する手段と、この変動の周期情報に基づく変動周期に同期して前記発光手段と前記受光手段を駆動制御する手段とを備えたものである。
【０２２８】
また、第３には、前記対象物体のおかれる環境を常時、照明する照明手段と、この照明手段の光量を制御する手段とを備えたものである。
【０２２９】
また、第４には、前記発光手段の発光量を異ならせた複数種の発光モードを持ち、決定された発光モードで前記発光手段の発光を実施させるべく制御する手段と、前記発光手段を前記いずれかの発光モードで予備発光させる手段と、前記受光手段より前記予備発光時の前記対象物体の画像情報を得て、この画像情報から、最適となる発光モードを決定し、前記制御手段に与える決定手段とを備えたものである。
【０２３０】
そして、第５には、前記発光手段の発光量を異ならせた複数種の発光モードを持ち、これらの発光モードを順次選択して、その発光モードで前記発光手段の発光を実施させるべく制御する手段と、前記各種の発光モードでの発光動作時にそれぞれ前記受光手段から得た差成分の画像を合成する手段とを備えたものである。
【０２３１】
本発明は、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得る受光手段とを有し、発光手段による照明光の非照射時での前記対象物体の画像と、発光手段による照明光の照射時での前記対象物体の画像を前記受光手段によりそれぞれ所定の同一検出時間を以て得ると共に、得られた両画像の差成分を求めることにより、前記対象物体の画像を抽出する場合に、外光の変動のある環境において、特定の対象物体を容易に高精度に抽出することができるようにするという第１の目的を達成すべく、上記第１乃至第３の構成を採用した。
【０２３２】
そして、第１の構成の場合、照明光の発生する波長成分の光を除去する除去手段を介して検出手段は前記対象物体の置かれる環境下での光量を検出する。これにより環境下での光量の監視が可能になる。検出手段のこの検出出力から前記対象物体のおかれる環境の明るさの状態を判断して前記受光手段により得た前記差成分の画像の採否を決める。
【０２３３】
その結果、環境下の光変動の大きさが画質に影響を及ぼす程度のものとなっている状態で取得された差成分の画像は採用しないようにし、画質に支障のない範囲の光変動のときの画像のみを取捨選択して利用できるようになる。
【０２３４】
また、第２の構成の場合、照明光の発生する波長成分の光を除去する除去手段を介して、検出手段により前記対象物体のおかれる環境下での光量を検出する。この検出出力から前記対象物体のおかれる環境の明るさの状態を検出し、変動の周期情報を得る。そして、この変動の周期情報に基づく変動周期に同期して前記発光手段と前記受光手段を駆動制御する。
【０２３５】
この結果、環境下の光に周期的変動があった場合に、その変動周期に同期した発光手段の発光と、受光手段による画像取得ができ、従って、発光手段による対象物体からの反射光成分による画像を精度良く取得できるようになる。
【０２３６】
また、第３の構成の場合、対象物体のおかれる環境を常時、照明する照明手段を光量制御する手段を設けたことで、安定した光量の環境下での画像取得ができ、従って、発光手段による対象物体からの反射光成分による画像を精度良く取得できるようになる。
【０２３７】
差成分（差分画像）を取得するにあたり、外光のみの環境下での対象物体の画像と、照明光を照射させて得た対象物体の画像とを得るが、これらの画像はそれぞれ同じ所定の期間、撮像装置である受光手段の検出出力（画像信号を電荷として蓄積したもの）を得るが、外光の状況に変動があると外光のみの環境下での取得画像と、照明光を当てて得た段階での取得画像中それぞれでの外光成分が異なったものとなってしまい、これは雑音成分となり、対象物体のみの画像の抽出精度に影響を与える。本発明によれば、これを解消できる。
【０２３８】
また、本発明は、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得る受光手段とを有し、発光手段による照明光の非照射時での前記対象物体の画像と、発光手段による照明光の照射時での前記対象物体の画像を前記受光手段によりそれぞれ所定の同一検出時間を以て得ると共に、得られた両画像の差成分を求めることにより、前記対象物体の画像を抽出する場合に、対象物体と受光手段との距離が変わっても、最適状態の画像抽出が可能な画像抽出装置とすることができるようにするという第２の目的を達成すべく、上記第４及び第５の構成を採用した。
【０２３９】
そして、第４の構成の場合、発光手段の発光量を異ならせた複数種の発光モードを用意し、そして、最初に発光手段に予備発光をさせ、このときの対象物体の画像を取得して、その画像の状態から、上記複数種の発光モードのうちから、現状で最適の状態の画像が取得し得る最適発光モードを決定し、この決定された発光モードで前記発光手段の発光を実施させるべく制御するようにした。
【０２４０】
予備発光で画像の状態を調べ、最適な画像が取得可能な発光モードを決定してそのモードで本番での発光手段の発光を行い、得られた画像から差分の画像の取得をするようにしたので、対象物体と受光手段との距離が変わっても、最適状態の画像抽出が可能な画像抽出装置を提供できる。
【０２４１】
また、第５の構成の場合、発光手段の発光量を異ならせた複数種の発光モードを用意する。そして、これらの発光モードを順次選択して、その発光モードで前記発光手段の発光を実施させる。そして、これら各種の発光モードでの発光動作時にそれぞれ前記受光手段から得た差成分の画像を合成し、対象物体の差成分の画像として用いるようにする。その結果、対象物体と受光手段との距離が変わっても、最適状態の画像抽出ができる画像抽出装置を提供できる。
【０２４２】
差成分（差分画像）を取得するにあたり、外光のみの環境下での対象物体の画像と、照明光を照射させて得た対象物体の画像とを得るが、これらの画像はそれぞれ同じ所定の期間、撮像装置である受光手段の検出出力（画像信号を電荷として蓄積したもの）を得る。そして、光の強さは距離の２乗に反比例するので、対象物体の距離の変動は得た差分画像の品質に影響を与える。本発明によれば、これを解消できる。
【０２４３】
なお、本発明は上述した具体例に限定されることなく、種々変形して実施し得る。
【０２４４】
【発明の効果】
以上、詳述したように、本発明によれば、外光の影響を抑制できて、特定の対象物体を容易に高精度に抽出することができるようになり、また、対象物体の位置が種々変わってもこれに影響されることなくなって、、特定対象物体の形状、動き、距離情報などを得るにあたり、その元となる特定の対象物体を画像中から精度よく抽出するできるようなる画像抽出装置を提供できる。
【図面の簡単な説明】
【図１】本発明を適用する対象の一具体例の全体構成を示すブロック図。
【図２】図１の装置のより具体的な構成例を示す図。
【図３】図１の装置における反射光抽出手段１０２の構成例の詳細図。
【図４】図３に示す反射光抽出手段の一画素分の単位受光部ＰＤの概略構成を示す図。
【図５】図３，図４の回路中の受光部におけるゲートなどの制御信号と発光制御信号、および光の強さの時間的変化を示す図。
【図６】本発明の具体例を説明するためのブロック図。
【図７】図６の構成の本システムの動作例を説明するための図。
【図８】図６の構成の本システムの動作例を説明するための図。
【図９】図６の構成の本システムの動作例を説明するフローチャート。
【図１０】本発明の別の具体例を説明するためのブロック図。
【図１１】本発明の別の具体例を説明するためのブロック図。
【図１２】図１１の構成の本システムの動作例を説明するための図。
【図１３】図１１の構成の本システムの別の動作例を説明するための図。
【図１４】本発明の別の具体例を説明するためのブロック図。
【図１５】図１４の構成の本システムの別の動作例を説明するための図。
【図１６】図距離をパラメータとしたときの対象物体とその検出光量の関係を示す特性図。
【図１７】本発明の別の具体例を説明するためのブロック図。
【図１８】図１７の装置における各状態モードの遷移を説明する図。
【図１９】図１７の構成の装置の動作例を説明するための図。
【図２０】図１７の構成の装置の別の動作例を説明するための図。
【図２１】線形アンプと対数アンプの特性例を示す図。と
【図２２】対象物体の距離の変動による反射光画像の画質への影響を抑制する本発明装置の別の具体例を説明するブロック図。
【図２３】対象物体の距離の変動による反射光画像の画質への影響を抑制する本発明装置の別の具体例を説明するブロック図。
【図２４】図２３の装置の処理内容を説明するフローチャート。
【図２５】従来例を説明するための図であって、従来の３次元ポインティングデバイスの一例を示す図。
【符号の説明】
１０１…発光手段
１０２…反射光画像獲得手段（反射光抽出手段）
１０３…特徴情報生成手段（反射光画像処理手段）
１０４…受発光制御信号生成手段（タイミング信号生成手段）
１０６…対象物体
２０１…外光光源
２０２…フィルタ
２０３…外光検出手段
２０４…外光状態判定手段
２０５…受発光動制御手段
４０１…照明制御信号生成手段
５００…最大画素値検出手段
５０１…発光状態決定手段
６０１…Ａ／Ｄ変換器
６０２…ローパスフィルタ（ＬＰＦ）
６０３…発光量決定手段
６０４…反射光画像処理手段
７０１…フレームバッファ
７０２…反射光画像合成手段
７０３…制御手段
７０４…発光状態制御手段

Claims (3)

1. 対象物体に照明光を照射する発光手段と、
   前記照明光の照射時及び非照射時における前記対象物体の画像の差分を求めることにより、前記照明光による前記対象物体からの反射光のみを画像として獲得する反射光画像獲得手段と、
   前記照明光の発生する波長成分の光を除去する除去手段と、
   前記対象物体のおかれる環境下での光量を前記除去手段を介して検出する検出手段と、
   前記検出手段による検出出力から前記対象物体のおかれる環境の明るさの状態を判断して前記反射光画像獲得手段が獲得した画像の採否を決める手段とを具備する画像抽出装置。
2. 対象物体に照明光を照射する発光手段と、
   前記発光手段と同期的に動作して前記照明光に基づく前記対象物体からの反射光と外光とを受光する第１の受光手段と、
   前記発光手段と同期的に動作して前記外光のみを受光する第２の受光手段と、前記第１及び第２の受光手段の出力の差分を求めることにより、前記照明光による前記対象物体からの反射光のみを画像として獲得する差分演算手段と、
   前記照明光の発生する波長成分の光を除去する除去手段と、
   前記対象物体のおかれる環境下での光量を前記除去手段を介して検出する検出手段と、
   前記検出手段による検出出力から前記対象物体のおかれる環境の明るさの状態を検出し、該明るさの変動周期を示す周期情報を出力する手段と、
   前記周期情報により示される変動周期に同期して前記発光手段と前記第１及び第２の受光手段を駆動制御する手段とを具備する画像抽出装置。
3. 前記反射光画像獲得手段は、前記発光手段と同期的に動作して前記照明光に基づく前記対象物体からの反射光と外光とを受光する第１の受光手段と、前記発光手段と同期的に動作して前記外光のみを受光する第２の受光手段と、前記第１及び第２の受光手段の出力の差分を求める差分演算手段とを有する請求項１または２のいずれか１項に記載の画像抽出装置。

Images