JP3625349B2 - Image input apparatus and image input method - Google Patents

Image input apparatus and image input method Download PDF

Info

Publication number
JP3625349B2
JP3625349B2 JP02775297A JP2775297A JP3625349B2 JP 3625349 B2 JP3625349 B2 JP 3625349B2 JP 02775297 A JP02775297 A JP 02775297A JP 2775297 A JP2775297 A JP 2775297A JP 3625349 B2 JP3625349 B2 JP 3625349B2
Authority
JP
Japan
Prior art keywords
light
image
reflected light
operation pattern
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02775297A
Other languages
Japanese (ja)
Other versions
JPH10222646A (en
Inventor
俊一 沼崎
美和子 土井
明 森下
直子 梅木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP02775297A priority Critical patent/JP3625349B2/en
Priority to EP97118057A priority patent/EP0837418A3/en
Priority to US08/953,667 priority patent/US6144366A/en
Priority to KR1019970054280A priority patent/KR100298240B1/en
Publication of JPH10222646A publication Critical patent/JPH10222646A/en
Application granted granted Critical
Publication of JP3625349B2 publication Critical patent/JP3625349B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は注目すべき対象物体を発光手段により照明して得た像と、照明しない像とを撮影し、両画像の差の画像を求めてこれより当該対象物体を抽出する画像入力装置および画像入力方法に関するものである。
【０００２】
【従来の技術】
コンピュータへの入力デバイスとしては種々のものがあるが、その中でもマウスはキーボードと並んで最もポピュラーな入力デバイスの一つとして広く使用されている。しかしながら、マウスで操作できることは、カーソルの移動と、メニューの選択などであり、あくまでも２次元のポインティングデバイスとしての役目を担うに過ぎない。つまり、マウスで扱えるのは、せいぜい２次元の情報であり、３次元空間のなかの物体など奥行きがあるものを選択することは難しい。そして、例えば、コンピュータでアニメーションを作成する場合を考えてみると、キャラクタの動きをつけるのに、マウスのような入力デバイスによる操作情報の入力操作では、自然な動きをつけることが難しい。
【０００３】
また、マルチモーダルの分野で、ゼスチャー、すなわち、手の仕草や体の動き、そして、姿勢などを操作情報として入力することで、音声やキーボード、そして、マウスやトラックボールなどの入力情報と相補い合って人間の自然なコミュニケーションに近い形で装置を扱えるようにしたいという要望もある。
【０００４】
そこで、近年、３次元空間でのポインティングの難点を補い、また、マルチモーダル分野などにおいて多様な入力操作を可能にする技術の一つとして、人間の自然なゼスチャーを認識できるようにする３次元ポインティングデバイスが開発されている。
【０００５】
例えば、図１１のような提案である。このデバイスは、本体中央にボール状操作部があり、また、周辺部にテンキーを備えて構成したものであって、ボール状操作部部分の“前方を押す”、“中央を押す”、“後方を押す”、ボール状操作部部分の“全体を持ち上げる”、“全体を右に回す”、“左に回す”というように、６通りの操作が可能であり、６自由度ある。
【０００６】
そして、この６自由度を割り振ることで、３次元空間内のカーソルの位置（ｘ．ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）制御したり、あるいは、３次元空間に対する視点位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）を制御できる。
【０００７】
しかし、この３次元ポイティングデバイスはかなりの熟練が必要であって、実際に操作してみると、カーソルや視点の制御が思うようにはできないという問題がある。例えば、左右に回そうとすると、前方あるいは後方を押してしまい、思わぬ方向にカーソルが動いたり、視点が動いたりしてしまうといった具合である。
【０００８】
このような３次元ポインティングデバイスに対して、手振りや身ぶりを使って入力するデバイスも開発されている。データグローブやデータスーツ、サイバーグローブと呼ばれるものである。これらのうち、例えば、データグローブは手袋状のデバイスであって、表面に光ファイバが走つている。この光ファイバは、指の関節まで通っており、指を曲げることにより、光の導通が変わることを利用している。そして、この光の導通量を計測することで、各指の関節がどの程度曲がっているかを知るようにするものである。
【０００９】
手自体の３次元空間内の位置は、手の甲に設けた磁気センサによつて計測するようになっている。
そのため、人差し指をたてれば、「前進する」といった具合に、身ぶりとそれに対応する指示を決めておけば、データグローブを使って、３次元空間内を種々に視点を変えて、ちょうど、歩き回るかのように（ウオークスルーという）操作することができる。
【００１０】
しかし、このような３次元ポインティングデバイスにも問題点がいくつかある。第１には、価格が高価であり、家庭用などに使用することは難しいという点である。
【００１１】
また、第２には、指の関節の角度を計測しているので、誤認識が避けられないという点である。例えば、人差し指だけ伸ばし、他の指は曲げた状態を前進指示と定義したとする。実際に指を伸ばすといっても、人差し指の第２関節の角度が１８０度に完全になっていることは少ないので、遊び分を設定しておかないと、指を伸ばしきったとき以外は、「伸ばしている」と認識することができない。
【００１２】
また、操作者にはデータグローブを装着することになるので、自然な操作が阻害され、装着するたびに、手の開いた状態と閉じた状態において、光の導通状態を校正せねばならないので、手軽に使用することができない。また、光ファイバを使っているため、継続的に使用していると、ファイバが断絶するなど消耗品に近いという問題がある。
【００１３】
また、このように、高価で、手間がかかるデバイスである割には、手袋の大きさが、ぴったり合っていないと、使っているうちにずれたりして校正した値からずれるために、細かな手振りを認識することは難しいという問題もある。
【００１４】
このように、種々の問題を抱えているために、データグローブは、ＶＲ（バーチャルリアリティ）技術のトリガーとなったデバイスであったにもかかわらず、当初の期待ほど、普及しておらず、また、低価格化もなされておらず、使い勝手の点で問題が多い。
【００１５】
そこで、このデータグローブのような特殊な装置を装着することなく、手振りや身ぶりを入力しようとする試みが、いくつかなされている。例えば、ビデオ映像などの動画像を解析して、手の形を認識するといった技術である。しかし、これは背景画像から目的とする画像を切り出す技術が必要であり、従って、手振りの認識の場合には、手のみを切り出すことが必要であって、これが技術的にかなり難しいという問題がある。
【００１６】
例えば、画像中の手の部分を、色情報を条件に切り出す場合を考えてみる。手の色は肌色であるので、肌色の画像情報を持つ画素部分のみを切り出すような方式が考えられるが、背景にベージュ色の洋服や、壁があったりすると、手の部分に相当する肌色の画素のみを識別することはできない。また、調整を行って、ベージュと肌色を区別できるようにしても、照明が変われば、色調が変化してしまうために、定常的に切り出すことは困難である。
【００１７】
このような問題を回避するために、背景にブルーマットをおくというように、背景画像に制限を置き、切り出しを容易にする方策も採られている。あるいは、指先に背景からの切り出しが容易になるような色をつける、あるいは色のついた指輪をはめるというような方策も採られている。しかし、このような制限は現実的でなく、実験的には利用されているものの、実用化には至っていない。
【００１８】
ところで、手の仕草を認識するに利用可能な別の技術として、レンジファインダと呼ばれる、距離画像を入力する装置の応用が考えられる。このレジンジファインダの代表的な原理は、スポット光あるいはスリット光を対象物体に照射し、その反射光の受光位置から三角測量の原理で求めるといったものである。
【００１９】
そして、２次元的な距離情報を求めるために、スポット光あるいはスリット光を機械的に走査している。この装置は非常に高精度な距離画像を生成することができるが、その反面、装置の構成が大掛かりになり、高コストになる。また入力に時間がかかり、実時間で処埋を行わせるのは困難である。また、手や身体の一部に色マーカーや発光部を取り付け、画像によりそれらを検出し、手・身体の形、動きなどを捉える装置もあり、一部実用化されている。しかし使用者の利便性を考えると、操作の度に装置を装着しなくてはならないというのは大きなデメリットであり、応用範囲を非常に制約する。また、データグローブの例に見られるように、装置を手などの可動部に装着して使用する装置は耐久性が問題になりやすい。
【００２０】
次に、以上のような入力デバイスとは別に、カメラ技術の従来技術についての問題点を述べる。従来のカメラ技術では、背景に対して、キャラクタの合成（クロマキー）を行うには、予め、ブルーバックでキャラクタを撮影して、キャラクタの切り出しを容易にする必要があった。
【００２１】
このため、ブルーバックで撮影ができるスタジオなど、撮影場所に制限があった。または、ブルーバックでない状態で撮影した映像から、キャラクタを切り出すには、コマ毎にキャラクタの切り出し範囲を人手で編集せねばならないので、非常な手間がかかっていた。同様に、キャラクタを３次元空間の中に生成するには、予め３次元のモデルをつくっておき、そこにキャラクタの写真を貼り付ける（テクスチャマッピング）を行うような方式をとっている。しかし、３次元モデルの生成、および、テクスチャマッピングには手間がかかり、映画制作など経費がかかってもよい用途以外では、事実上ほとんど使えなかった。
【００２２】
【発明が解決しようとする課題】
このように従来では、特殊な装置を装着することなく、簡易にジェスチャや動きを入力できる直接指示型の入カデバイスが存在しなかった。特に、３次元空間でのポインティングや視点の変更を容易に行える簡易なデバイスは存在しなかった。また、ユーザのジェスチャや動きをそのまま使って、アニメーションのキャラクタなどに自然な動きをつけたりすることができなかった。さらに、従来のカメラでは、特定のキャラクタだけを切り出したり、キャラクタの奥行き情報を容易に入力できなかった。
【００２３】
このような背景から、本発明者等は所定時間だけ照明光を対象物体に照射して得た画像と、外光のみの光があたる環境下で得た対象物体の画像との差の成分の画像を得、この差の成分の画像から対象物体のみの画像を抽出する技術を開発し、更に、この抽出した対象物体のみの画像を元に、その形状、動き、距離情報などを算出し、これらを情報として利用することで仕草や、３次元操作情報などを簡易に与えることができるようにした技術を開発し、特許出願した（特願平８−２７５９４９号参照）。
【００２４】
この技術の考え方は、照明光を対象物体に照射して得た画像と、外光のみの光があたる環境下で得た対象物体の画像との差の成分の画像を得ると、背景などが遠い場合、それは対象物体のみの画像成分となることに着目して、対象物体部分の画像切り出しを簡易に行えるようにしたこと、つまり、物体が存在している場所からの反射光はある程度の値を持ち、遠い背景からの反射光はほとんど無いため、反射光の画像をしきい値で分けることにより、物体の形状を抽出することが出来ること、また、その形状から様々な特徴量を抽出することが出来ること、そして、このような形状の時間的連なりを解析することで、物体の動きや変形などを捉えることが出来ること、さらには物体の凹凸を反射光量の違いとして捉えられるため、対象物体の立体構造を得ることも出来るなどのことから、対象物体の切り出しが容易にできれば、その対象物体の様々な情報を演算で求めることができる。
【００２５】
そのため、仕草を操作指令情報として与えたり、３次元操作情報を身振り手振りで入力するなどのことが容易に実現できるようになる。
しかしながら、ここで解決しておかなければならない問題が一つある。それは、外光の変動による対象物体の切り出し精度への影響である。外光は自然光であったり、室内照明光であったり、環境により様々である。しかも、これらは、安定したものであれば問題がないが、緩やかな変化を伴う場合、あるいは細かく短い周期で変化する場合などが普通であり、このような変化を伴う外光を利用しなければならない場合に、外光による画像と、照明光照射をした画像とを、漠然と一定の時間ずつ撮像するのでは、抽出された画像は誤差の多い画像となってしまう。
【００２６】
従って、外光の変動があっても、抽出対象（切り出し対象）の物体の画像を容易に高精度で抽出可能な技術の確立が強く嘱望される。
そこで、この発明の目的とするところは、外光の変動のある環境において、特定の対象物体を容易に高精度に抽出することができるようにした画像入力装置および画像入力方法を提供することにある。
【００２７】
【課題を解決するための手段】
上記目的を達成するため、本発明は次のようにする。すなわち、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、を具備することを特徴とする。
【００２８】
また、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、前記選択された最適な動作パターンに従い、前記発光手段と前記受光手段の動作を制御する受発光制御手段と、を具備することを特徴とする。
【００２９】
さらに、本発明の画像入力方法は、対象物体に照明光を照射し、前記対象物体の画像を得るために受光し、前記照射と受光が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力方法において、前記照射を抑止すると共に、予め備えた照射と受光との複数の動作パターンに応じて反射光画像を取得し、前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択することを特徴とする。
【００３０】
より具体的には、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得る受光手段とを有し、発光手段による照明光の非照射時での前記対象物体の画像と、発光手段による照明光の照射時での前記対象物体の画像を前記受光手段によりそれぞれ所定の同一検出時間を以て得ると共に、得られた両画像の差成分を求めることにより、前記対象物体の画像を抽出する装置において、
前記受光手段による前記両画像の検出期間を種々変えた複数種の動作パターンを備え、最適動作パターン選択モード時には上記発光手段の発光を抑止すると共に、前記受光手段による前記両画像の検出動作を前記動作パターンそれぞれで順次、実施すべく制御し、与えられる評価情報から前記複数種の動作パターンのうち、最適な動作パターンを選択する選択・決定手段と、最適動作パターン選択モード時には、前記選択・決定手段により順次与えられる動作パターンで前記受光手段による前記両画像の検出動作を実施すべく前記受光手段を制御すると共に、最適動作パターン選択モード終了後は選択された前記最適な動作パターンで動作すべく、前記受光手段による前記両画像の検出動作と前記発光手段の発光動作を制御する手段と、最適動作パターン選択モード時に、前記受光手段より得られる前記各動作パターンそれぞれでの前記両画像の差成分よりそれぞれの評価値を得、前記選択・決定手段に与える評価手段とを具備する。
【００３１】
本発明は、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得る受光手段とを有し、発光手段による照明光の非照射時での前記対象物体の画像と、発光手段による照明光の照射時での前記対象物体の画像を前記受光手段によりそれぞれ所定の同一検出時間を以て得ると共に、得られた両画像の差成分を求めることにより、前記対象物体の画像を抽出する場合に、
前記受光手段による前記両画像の検出期間を種々変えた複数種の動作パターンを用意し、最適動作パターン選択モード時には上記発光手段の発光を抑止すると共に、前記受光手段による前記両画像の検出動作を前記動作パターンそれぞれで順次、実施し、前記受光手段より得られる前記各動作パターンそれぞれでの前記両画像の差成分よりそれぞれの評価値を得、これら評価値の情報から前記複数種の動作パターンのうち、最適な動作パターンを選択し、
最適動作パターン選択モード終了後は選択された前記最適な動作パターンで前記受光手段による前記両画像の検出動作と前記発光手段の発光動作を実施させるようにする。
【００３２】
差成分（差分画像）を取得するにあたり、外光のみの環境下での対象物体の画像と、照明光を照射させて得た対象物体の画像とを得るが、これらの画像はそれぞれ同じ所定の期間、撮像装置である受光手段の検出出力（画像信号を電荷として蓄積したもの）を得るが、外光の状況に変動があると外光のみの環境下での取得画像と、照明光を当てて得た段階での取得画像中それぞれでの外光成分が異なったものとなってしまう。これは雑音成分となり、対象物体のみの画像の抽出精度に影響を与える。
【００３３】
そこで、本発明は発光手段と受光手段の動作パターンを、外光の状態に応じて、適応的に変化させるようにしたものであって、電荷蓄積期間をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、受光手段による第１回目と第２回目の受光を行い、両受光出力（両画像出力）の差出力を得るという動作を、各動作パターンそれぞれで行って、差分画像（反射光画像）が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードを実施させるようにした。
そのため、外光に変化のある環境下においても、その変化に影響を受けることなく、高精度に対象物体の画像のみを抽出できるようになる。
【００３４】
【発明の実施の形態】
本発明は、光源より発光して対象物体に光をあて、この対象物体による反射光を画像として捉えることにより、その形状、動き、距離などの情報を得ることができるようにした装置において、この発明では発光と電荷蓄積の動作パターンを複数種、用意しておき、外光の状況に応じて使い分けることにより、どのような外光状態にあっても精度良く反射光画像が得られるようにしたもので、以下、詳細を説明する。
【００３５】
はじめに本発明を適用する装置の基本構成を説明する。
＜情報入力生成装置の構成例＞
図１は、本発明を適用する対象の一つとしての情報入力生成装置の構成例である。図１に示すように本装置は、発光手段１０１、反射光抽出手段１０２、特徴情報生成手段１０３、タイミング信号生成手段１０４、とからなる。
【００３６】
これらのうち、発光手段１０１はタイミング信号生成手段１０４によって生成されるタイミング信号に従って時間的に強度変動する光を発光する。この光は発光手段１０１の前方にある対象物体に照射される。また、反射光抽出手段１０２は、この発光手段１０１が発した光の対象物体による反射光を抽出する。これはさらに好適には、反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることが出来るので、以下では反射光画像と呼ぶ。
【００３７】
反射光抽出手段１０２は、対象物体からの反射光を抽出するものであり、光の量を検出する受光部を持つが、当該受光部は一般的に、発光手段１０１の光の前記対象物体による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで反射光抽出手段１０２は、発光手段１０１が発光しているときに受光した光の量と、発光手段１０１が発光していないときに受光した光の量の差をとることによって、発光手段１０１からの光の前記対象物体による反射光の成分だけを取り出す。このことは言い換えれば、発光手段１０１を制御する信号を生成するタイミング信号生成手段１０４によって、反射光抽出手段１０２もまた制御されることを示す。
【００３８】
特徴情報生成手段１０３は、反射光画像より様々な特徴情報を抽出するものである。この特徴情報あるいは特徴情報の抽出方法は様々考えられる。これにより例えば、対象物体が手であったとして、当該手の反射光画像の特徴情報から、ジェスチャーやポインティングなどの情報を得ることができることになって、この得られた情報によりコンピュータなどの操作を行うことができる。また対象物体の立体情報を抽出し、利用することもできる。なお、当該特徴情報生成手段１０３は、必ずしも必要ではなく、例えば反射光抽出手段１０２で得られた反射光画像そのものを入力したり利用したりすることもできる。
【００３９】
本発明の目的を明確にするために、本発明が改善しようとした技術対象としての情報入力生成装置について詳しく述べる。図２は、情報入力生成装置のより具体的な構成例である。
【００４０】
図２を参照して説明すると、発光手段１０１より発光された光は、対象物体１０６に反射して、受光光学系１０７により、反射光抽出手段１０２の受光面上に結像する。反射光抽出手段１０２は、この反射光の強度分布、すなわち反射光画像を検出する。反射光抽出手段１０２は、第１の受光手段１０９、第２の受光手段１１０および差分演算部１１１からなる。第１の受光手段１０９と第２の受光手段１１０は、それぞれ上記受光面に結像された光学像を検出して受光量対応の画像信号に変換するものであり、それぞれ異なるタイミングで受光動作を行う。そして第１の受光手段１０９が受光状態にあるときに発光手段１０１を発光させ、第２の受光手段１１０が受光しているときには発光手段１０１を発光させないように、タイミング制御手段１１２がこれらの動作タイミングを制御する。
【００４１】
これにより第１の受光手段１０９は発光手段１０１からの光の物体による反射光と、それ以外の太陽光、照明光などの外光とを受光してその受光量を検出する。
【００４２】
一方、第２の受光手段１１０は外光のみを受光する。両者が受光するタイミングは異なっているが近いので、この間における外光の変動は無視できる。従って、第１の受光手段１０９で受光した像と第２の受光手段１１０で受光した像の差分をとれば、これは発光手段１０１の光の物体による反射光の成分に対応するものであり、これによって発光手段１０１の出力光の、物体による反射光成分対応画像が抽出されることになる。
【００４３】
そして、この差分を得るのが差分演算部１１１であり、この差分演算部１１１が第１の受光手段１０９と第２の受光手段１１０で受光した像の差分を計算して出力する。反射光抽出手段１０２については、さらに詳細な構成について後述する。
【００４４】
反射光抽出手段１０２は反射光画像の各画素の反射光量をシーケンシャルに出力する。反射光抽出手段１０２からの出力はアンプ１１３によって増幅され、アナログ信号をディジタルデータに変換するＡ／Ｄ変換器ｌｌ４によってデジタルデータに変換された後、メモリ１１５に蓄えられる。そして、しかるべきタイミングでこのメモリ１１５より当該蓄えられたデータが読み出され、特徴情報生成手段１０３において処理される。
【００４５】
これら全体の制御はタイミング制御手段１０４が行う。検出の対象物体が人間の手である場合、発光手段１０１としては人間の目に見えない、近赤外光を分光する発光装置を用いるようにすると良い。この場合、人間には発光手段１０１からの光が見えないため、眩しさを感じずに済む。また、発光手段１０１を近赤外光発光の装置とした場合、受光光学系１０７には図示しない近赤外光通過フィルタを設ける。このフィルタは、発光波長である近赤外光を通過し、可視光、遠赤外光を遮断する。従って、外光の多くをカットしている。
【００４６】
ところで物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、受光側でみた場合、反射光画像１画素あたりの光量は、物体までの距離の２乗に反比例して小さくなる。従って、本発明の多次元情報入力生成装置の前に対象物体１０６を置いたとき、背景からの反射光はほぼ無視できるくらいに小さくなり、物体のみからの反射光画像を得ることが出来る。例えば、多次元情報入力装置の前に対象物体１０６である手を持ってきた場合、その手からの反射光画像のみが得られることになる。
【００４７】
この時、反射光画像の各画素値は、その画素に対応する単位受光セルで受光した反射光の量を表す。反射光量は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体面の向き、物体の距離、などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。
【００４８】
手などはこのような性質を持つため、手を差し出した場合の反射光画像は、手の距離、手の傾き（部分的に距離が異なる）、などを反映する。従ってこれらの特徴情報を抽出することによって、様々な情報の入力・生成が可能になる。
【００４９】
立体形状を抽出したい場合には、距離情報が高い分解能で求められる方が良い。このような場合、アンプ１１３としては対数アンプを用いると良い。受光部の受光量は物体までの距離の２乗に反比例するが、対数アンプを用いると、その出力は、距離に反比例するようになる。このようにすることで、ダイナミックレンジを有効に使うことができる。
【００５０】
＜反射光抽出手段１０２の詳細な説明＞
図３は、反射光抽出手段１０２の構成の一例をさらに詳細に表したものである。図３に示す反射光抽出手段１０２はＣＭＯＳセンサで構成した受光部を示しており、この反射光抽出手段１０２は反射光の強度分布を捉えることができるようにするために、複数の単位受光セルを備えていて、ひとつの単位受光セルと反射光画像の一画素が対応している。この図では簡単のため２×２画素の構成で示す。点線で囲まれた部分１ １７が一画素分の単位受光セルであり、一画素分の単位受光セルＰＤの概略構成を図４に示す。
【００５１】
先の例との対応を取ると、第１の受光手段１０９の一画素分と第２の受光手段１１０の一画素分で、１つの単位受光セルを構成している。１つの単位受光セルは１つの光電変換部１１８と、２つの電荷蓄積部１１９、１２０を持っている。光電変換部１１８と電荷蓄積部１１９、１２０の間にはいくつかのゲート（この例では１２２，１２３）があり、これらのゲートの制御によつて光電変換部１１８で発生した電荷を、二つの電荷蓄積部１１９，１２０のうちのいずれの電荷蓄積部に導くかを選択できるようになっている。このゲートの制御信号と発光部の発光制御信号を同期させる。
【００５２】
発光制御パルス１２８は発光手段を制御する信号である。ここではパルス発光を行う。発光制御パルスのレベルが“ＨＩＧＨ”のとき発光手段１０１が発光し、“ＬＯＷ”のときは発光しない。
【００５３】
この発光制御信号に対し、実際の光は発光手段１０１の発光源として用いられている発光素子の時間応答によってなまり、図５に符号１２９を付して示す波形のように変化する。受光部には、ＳＡＭＰＬＥ１（符号１３１を付して示す波形）、ＳＡＭＰＬＥ２（符号１３２を付して示す波形）、ＴＲＡＮＳＦＥＲ， ＲＥＳＥＴ（符号１３０を付して示す波形）の制御信号が与えられる。
【００５４】
ＴＲＡＮＳＦＥＲは、光電変換部１１８で発生した電荷を次段に転送するためのゲートを制御する信号であり、この信号が“ＨＩＧＨ”のとき、光電変換部１１８に蓄積された電荷が転送される。電荷蓄積後、出力部へ電荷転送するときは、このゲートが閉じ、光電変換部１１８で発生した電荷が出力ゲートへ流れないようにする。ＲＥＳＥＴ １３０はリセット制御信号である。
【００５５】
ＴＲＡＮＳＦＥＲが“ＨＩＧＨ”の時、ＲＥＳＥＴが“ＨＩＧＨ”になると、リセットゲート１２４が開き、光電変換部１１８にたまっていた電荷は、トランスファー・ゲート１２１、リセット・ゲート１２４を経て、排出される。ＳＡＭＰＬＥ１、ＳＡＭＰＬＥ２の２つの制御信号は、２つの電荷蓄積部１１９、１２０に、光電変換部１１８からの電荷を導くためのゲート１２２， １２３を制御する信号である。
【００５６】
これらの制御信号の変化と、単位受光セルの動作を次に説明する。
単位受光セルでは、電荷蓄積期間においては、トランスファー・ゲート１２１は開き続けている。まず、リセット・ゲート１２４を開くことにより、光電変換部１１８とサンプル・ゲート１２２、１２３の間にたまった不要電荷を排出する。リセット・ゲート１２４を閉じることで、光電変換部１１８とサンプル・ゲートの間に、光電変換されてできた電荷が蓄積されはじめる。
【００５７】
一定時間の後、第１のサンプル・ゲート１２２が開くと、蓄積されていた電荷が、第１の電荷蓄積部１１９に転送される。従って、ＲＥＳＥＴ １３０が“ＬＯＷ”になってから、ＳＡＭＰＬＥ１ １３１が“ＬＯＷ”になるまでの蓄積期間である図５上の“蓄積期間１”の間に光電変換された電荷が、第１の電荷蓄積部１１９に蓄積される。第１のサンプル・ゲート１２２が閉じた後、再びリセット・ゲート１２４を開いて不要電荷を排出した後、リセット・ゲートを閉じ、一定時間の後に今度は第２のサンプル・ゲート１２３を開き、第２の電荷蓄積部１２０に、光電変換で生成された電荷を転送する。この時も同様に、ＲＥＳＥＴが“ＬＯＷ”になってからＳＡＭＰＬＥ２が“ＬＯＷ”になるまでの蓄積期間である図５上の“蓄積期間２”の間に光電変換された電荷が第２の電荷蓄積部１２０に蓄積される。このとき“蓄積期間１”と“蓄積期間２”は同じ長さの時間である。
【００５８】
ここで、“蓄積期間１”なる電荷蓄積期間においては、発光手段１０５が発光しており、“蓄積期間２”なる電荷蓄積期間においては、発光手段１０５は発光しない。
【００５９】
このことにより、第１の電荷蓄積部１１９には、発光手段１０１からの光が物体に反射した光と、照明光、太陽光などの外光の両方によって生成された電荷が蓄積され、一方、第２の電荷蓄積部１２０には、外光のみによって生成された電荷が蓄積される。
【００６０】
“蓄積期間１”なる電荷蓄積期間と“蓄積期間２”なる電荷蓄積期間は時間的に近いので、この間での外光の大きさの変動は十分に小さいと考えてよい。従って、第１の電荷蓄積部１１９と第２の電荷蓄積部１２０の、電荷量の差が、発光手段１０１からの光が対象物体１０６に反射した光で発生した電荷量であるとみなしてよい。
【００６１】
上記、ＳＡＭＰＬＥ１、ＳＡＭＰＬＥ２、ＲＥＳＥＴ、ＴＲＡＮＳＦＥＲは、すべての単位受光セルに同じ信号が与えられるため、すべての単位受光セルにおいて、同期的に電荷の蓄積が行われる。このことは、１フレーム分の反射光画像を得るために１度の発光だけで済むことを示している。従って、発光のための電力を小さくすることができる。また、発光手段として用いることのできるＬＥＤは、発光パルスのＤＵＴＹ比が小さいほど（１つのパルス幅に比べて、パルスとパルスの間隔が長いほど）、瞬間的には強く発光できる性質を持つため発光パワーを効率的に利用することができる。
【００６２】
電荷蓄積後、電荷の取り出しを行う。まずＶ系選択回路１３５で１行を選択する。各行の単位受光セルＰＤから、第１の電荷蓄積部１１９と第２の電荷蓄積部１２０に蓄積された電荷が順に取り出され、差分回路１３３の中でその差分が収り出される。Ｈ系シフトレジスタで列を選択することで、取り出す。
【００６３】
なお、この例においては、電荷取り出し時には、シフトレジスタで取り出しセルのアドレスを指定するため、出力の順番が決まっている（シーケンシャルな出力）が、任意のアドレスを生成できるようにすればランダムアクセスが可能になる。このようにすると、受光部全体のうち、一部分だけを取り出すことができ、センサの動作周波数を低下させる、あるいは、反射光画像のフレームレートを上げることができるなど゛の効果がある。例えば画像の一部しか占めないような小さな物体を検出して、その動きを追跡させるような場合は、あるフレームでの位置の周辺だけで探索すればよいため、画像の一部だけを取り出すだけで良い。
【００６４】
また、発光源として、近赤外光を用いた例を示したが、必ずしもこれに限定しない。人の目に眩しくない条件でなら（例えば、発光量がそれほど大きくない、人の目に直接入らない向きを向いている、など）、可視光であっても良い。あるいは、光に限らず、電磁波、超音波などを用いることも可能である。近赤外光通過フィルタも、外光の影響を考えなくてよいなどの条件下であれば省くこともできる。
【００６５】
ところで、受光手段としてＣＭＯＳセンサではなく、通常の撮像用のＣＣＤイメージセンサを用いても、これに類することを実現することもできるが、その性能、あるいはコストパフォーマンスにおいて本構成の方が優れている。
【００６６】
例えば、ＣＣＤイメージセンサと光源を用いることもできる。しかし、ＣＣＤはｌ／６０秒毎に１回の撮像しかできない（フィールド単位）。従って、はじめの１／６０秒で、発光部を発光させ、次のｌ／６０秒で発光部を消灯させ、その差分をとっても、１／６０秒の時間差かあると、外光の大きさが変動してしまい、差分＝反射光量とならなくなってしまう。蛍光灯などはｌ／１００秒の周期でその強さが変動しているので、このようなことが起こってしまう。ＣＣＤイメージセンサを使った通常の撮像においても、撮像周期と、外光の変動周期のすれに起因して、画面の明るさがちらつく現象がおきることがあり、これはフリッカと呼ばれている。
【００６７】
ＣＭＯＳセンサを受光手段として採用した本装置においては、ＣＭＯＳセンサの構成上の特徴として、画素単位で任意に受光（電荷蓄積）と読み出しの制御ができ、それは１／１００００秒程度、あるいはそれ以下まで時間を小さくしたり、あるいは十分長い時間に設定して使用することができるので、外光の変動に応じて最適値を選べば、外光変動の影響を受けなくて済む。ＣＣＤイメージセンサによる撮像の場合、フリッカを防ぐために、電荷蓄積時間をｌ／１００秒と蛍光灯の周期と一致させる方法が取られることがあるが、発光部と同期させる場合においても、電荷蓄積時間をｌ／１００秒にする、あるいはＣＣＤの駆動信号を変えてしまい、１フィールドをｌ／１００秒にしてしまう、というような方法により、外光の影響を抑えることもできる。この場合は別の問題が発生する。対象物体である手が動いている場合、発光時の撮像と消灯時の撮像において手の位置が微妙にずれてしまう。
【００６８】
この状態で差分を取ってしまうと、特に物体（手）のエッジ部分において、反射光画像が大きく乱れてしまう。また、構成のコンパクトさでも大きく異なる。ＣＣＤを用いる場合、少なくとも、Ａ／Ｄ変換器と、１フレーム分のデータを蓄えるメモリ、差分画像を求める演算回路が必要である。またＣＣＤを用いる場合には、ドライバ−ＩＣを別に用意する必要がある。
【００６９】
一方、単位受光セルを複数個二次元配列した構成の本装置（すなわち、受光素子としてＣＭＯＳセンサを用いた本装置）においては、ＣＭＯＳセンサのべース（ＣＭＯＳセンサの形成基板上）に各種回路を作り込むことができるので、ドライバーを同一チップ内に収めてしまうことができる。また、センサ内で発光時、非発光時の差をとれるので、差分演算回路は不要である。また、Ａ／Ｄ変換部やメモリ、制御部まで１チップ内に収めてしまうこともできるので、非常に低コスト化できる。
【００７０】
ここまでの説明では、対象物体のみの像（反射光画像）を抽出するところまでの構成を述べた。ここまでの構成でも十分製品として利用価値がある。しかし、実際の利用形態としては、得られた反射光画像に何らかの加工を施して、使用者の目的に合った使い方をすることが多い。例えば、手の反射光画像を入力することにより、ポインティングやジェスチャー入力を行うことが出来る。このために反射光画像から有用な情報を抽出するのが、特徴情報生成手段である。ここで、特徴量を抽出したり、加工したり、そこから別の情報を生成したりしている。
【００７１】
反射光画像の加工の仕方の代表例は、距離情報の抽出と、領域抽出である。先にも述べたように、物体が一様で均質な散乱面を持つ物体であれば、反射光画像は距離画像と見なすことができる。従って、物体の立体形状を抽出することができる。物体が手であれば、手のひらの傾きなどが検出できる。手のひらの傾きは部分的な距離の違いとして現れる。また、手を移動させたときに画素値が変われば、距離が移動したと見ることができる。また、背景のように遠い物体からの反射光はほとんどないため、反射光画像からあるしきい値以上の領域を切り出すという処埋で、物体の形状を簡単に切り出すことができる。例えば、物体が手であれば、そのシルエット像を切り出すのは極めて容易である。距離情報を用いる場合でも、一度しきい値によって領域抽出をしておいてから、その領域内の距離情報を用いる、という場合が多い。
【００７２】
このようにして、対象物体の像を簡易に抽出できるようになったことにより、その対象物体の像を用いて様々な情報入力操作、指示操作などを行う途が拓けることになる。
【００７３】
ところで、本発明はＣＭＯＳセンサを受光手段として採用しており、上述したように、ＣＭＯＳセンサの構成上の特徴として、画素単位で任意に受光（電荷蓄積）と読み出しの制御ができ、それは１／１００００秒程度、あるいはそれ以下まで時間を小さくしたり、あるいは十分長い時間に設定して使用することができるので、外光の変動に応じて最適値を選べば、外光変動の影響を受けなくて済む。しかし、これを外光の変動状況に応じてどのようにして最適に設定するかが課題である。そこで、次にこのことについてその具体例を説明する。
【００７４】
＜最適動作パターンを自動選択する具体例＞
概略を述べるとここでは、電荷蓄積期間をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、第１の受光手段と第２の受光手段による受光を行い、両受光手段による受光出力（画像出力）の差出力を、各動作パターンそれぞれで得て、その差分像（反射光画像）が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードを実施させるようにする。
【００７５】
所望の対象物体の画像抽出を行う本発明の対象装置は発光手段と受光撮像系（反射光画像獲得手段）を有し、外光のみの環境下での受光による画像と、この環境下で発光手段により発光させて得た前記対象物体の画像の差を求めて、これを発光手段により発光した光の前記対象物体による反射光を画像化したものとして得ることにより、対象物体のみの画像を得てこれよりジェスチャ認識などを可能にする。
【００７６】
反射光画像獲得は発光時と非発光時に受光電荷を蓄積し、その差をとることで、反射光画像を獲得するが、外光には蛍光灯のように変動するものがあり、通常の蛍光灯やインバータ蛍光灯など、その変動周期にも幅がある。しかし、発光時、非発光時の時間差が、外光の変動周期に近いと、２つの蓄積電荷の差には、外光の変動分も入ってしまい、反射光だけを精度良く取り出せない。
【００７７】
そこで、発光と電荷蓄積の動作パターンを複数用意しておき、各動作パターンそれぞれでの非発光状態での２枚の画像を取得して差成分を調べ、差成分の最も少ない動作パターンをその環境下での動作パターンとして採用する。このようにして、複数種の動作パターンを用意して外光の状況によって使い分けることにより、どのような外光状態であっても精度良く反射光画像（対象物体の抽出像）が得られるようにした。
【００７８】
＜最適な動作パターン選択の原理＞
原理は極単純で、発光手段１０１を発光させずに、受光動作を行い、差を出力したとき、その２ 回の間に外光の変動がほとんど無ければ、出力はほぼ０となる筈であるという点にある。従って、２つの画像間に外光変動量の差がない時は両者の差分画像である反射光画像は真っ暗になる（発光していないのだから反射光が真っ暗になる）。しかし、このとき外光の変動が大きければ出力画像は真っ暗とはならない。従って、発光部を発光させずに反射光画像をとり、最も暗い画像が得られる動作パターンを選択する。
【００７９】
＜外光に変動ある場合に、その外光の影響を抑制して必要な反射光画像を抽出する具体例＞
上述の情報入力生成装置は発光部と受光撮像系（反射光画像獲得手段）を有し、発光した光の物体による反射光を画像化して出力することにより、ジェスチャ認識などを可能にし、反射光画像獲得手段は発光時と非発光時に受光電荷を蓄積し、その差をとることで、外光成分による像を相殺し、反射光画像を獲得する構成であることは詳しく述べた。
【００８０】
そして、外光には太陽光のようなものの他、蛍光灯のように変動するものがあり、しかも、蛍光灯には通常の蛍光灯やインバータ蛍光灯など、種々のものがあって、その変動周期にも幅がある。
【００８１】
そして、発光手段１０１の発光時と、非発光時での時間差が、外光の変動周期に近いと、２つの蓄積電荷の差には、外光の変動分も入ってしまい、この外光の状況如何によっては発光手段１０１による光照射のもとでの対象物体１０６の反射光だけを精度良く取り出すという目的を達成できない心配が残る。
【００８２】
そこで、これに対処する具体例を説明する。
この例では、発光と電荷蓄積の動作パターンを複数用意しておき、外光の状況によって使い分けるようにする。そして、これにより、どのような外光状態であっても精度良く反射光画像が得られるようになる。
【００８３】
具体的に説明する。
ここで説明する例は、次の原理に基づく。すなわち、発光手段１０１を発光させずに、２ 回受光電荷蓄積し、差を出力したとする。このとき、その２ 回の受光電荷蓄積の間に、外光の変動がほとんど無ければ、出力はほぼ０となる。従って、反射光画像は真っ暗になる。つまり、光源が発光していないわけであるから、当然、反射光像成分はない訳であるから、反射光像、すなわち、出力画像は真っ暗になる。しかし、上記２回の受光電荷蓄積の間に、外光の変動があり、その変動が大きければ当該２回の受光電荷蓄積期間の蓄積電荷の差をとったときに生じる差は零とはならず、従って、出力画像は真っ暗とはならない。
【００８４】
従って、発光手段１０１を発光させない状態で、複数用意した電荷蓄積の動作パターンそれぞれで反射光画像をとり、最も暗い画像が得られる動作パターンを選択する。そして、その選択した動作パターンに対応する期間の発光期間を持つ発光動作パターンを選択して、この動作パターンで発光手段１０１を発光制御するようにする。
【００８５】
このような機能を実現するためには、装置として図６に示す如きの構成を採用すれば良い。すなわち、図６において、１０１は発光手段、１０３は特徴情報生成手段であり、１０２は反射光画像獲得手段で前述した図１の反射光抽出手段に該当する。また、１０４は受発光制御信号生成手段であり、前述した図１のタイミング信号生成手段に該当する。また、２０１は外光の影響を評価する評価手段であり、２０２は受発光パターン選択・決定部である。
【００８６】
前述したように発光手段１０１は対象物体に照明をあてるための光源であり、反射光画像の光源である。この具体例においては、外光の変動状況に合わせて最適な受光動作パターンを得ることができるようにするために、最適動作パターン選択モードと通常動作モードの２種の動作モードが用意されており、外光の最適な受光動作パターンを探すとき、すなわち、最適動作パターン選択モード時には、発光が停止されるように設定制御され、通常動作モード時にはこれが解除制御されて受発光制御信号生成手段１０４から与えられる所定のタイミングで発光されて対象物体に照明をあてるように制御される。
【００８７】
タイミング制御を行うために用意されているのが受発光制御信号生成手段（タイミング信号生成手段）１０４である。受発光制御信号生成手段１０４は、受発光パターン選択・決定部２０２による設定情報に基づいて反射光画像獲得手段１０２と発光部手段１０１を制御する信号を生成するものである。
【００８８】
受発光パターン選択・決定部２０２は、最適動作パターン選択モードと通常動作モードの２モードを有しており、また、予め複数の前記受光電荷蓄積動作パターンを用意してあって、最適動作パターン選択モード時にはこれらの各種動作パターンを順次使用して受発光制御信号生成手段１０４を設定制御することにより、上記複数の動作パターンで受光をさせる。そして、受発光パターン選択・決定部２０２は、各動作パターンで得られた反射光画像を評価した結果を評価手段２０１から受け取り、これらの評価結果のうちの最良の評価が得られた動作パターンを、最適な動作パターンとして決定する。
【００８９】
反射光画像獲得手段１０２の出力画像をもとに、評価手段２０１は各動作パターンで得られた反射光画像を評価し、受発光パターン選択・決定部２０２に与えてその評価値より最適な動作パターンを決定するが、受発光パターン選択・決定部２０２は、最適な動作パターンを決定する間は、発光手段１０１が発光しないように制御する。最適な動作パターンが決定された後は通常動作モードとなり、その決定された動作パターンによる受光電荷蓄積期間となるように、反射光画像獲得手段１０２と受発光制御信号生成手段１０４を制御する。
【００９０】
外光の影響評価手段２０１は、反射光画像に外光の変動がどの程度含まれているかを評価する。この反射光画像は反射光画像獲得手段１０２から取得する。反射光獲得手段１０２は、上述したように第１の受光手段１０９の受光した像と、第２の受光手段１１０の受光した像との差分を出力する。第１の受光手段１０９は発光手段１０１の発光のない状態での受光による画像を、そして、第２の受光手段１１０は本来は発光手段１０１の光のある状態での受光による像の出力を出すものであるが、最適動作パターン選択モードの時は発光手段１０１を発光させないように、受発光パターン選択・決定部２０２は発光手段１０１を設定する（なお、発光動作させる信号を発生させないように受発光制御信号生成手段１０４を制御する構成としてももちろんかまわない）。
【００９１】
そして、最適動作パターン選択モード時において、このように発光手段１０１が発光しないようにしておけば、反射光画像獲得手段１０２から得られる反射光画像、すなわち、第１の受光手段１０９の受光した画像の蓄積電荷と、第２の受光手段１１０の受光した画像の蓄積電荷の差分出力（差分の反射光画像）は、外光の変動のみをあらわすので、当該反射光画像が明るいほど外光の影響を受けていることになる。評価値は信頼性を確保するために、例えば、最適動作パターン選択モード時に１動作パターン当たり、数回動作を繰り返してその平均値を用いるようにする。つまり、１動作パターン当たり、反射光画像の数フレームの平均輝度を求めて評価値として出力する。
【００９２】
次にこのような構成の装置の作用を図７のフローチャートに従って説明する。本装置は初期時には最適動作パターン選択モードになる。このモードではまず発光手段１０１を発光しないようにする（ステップＳ１）。すなわち反射光を取った場合、真っ暗になるようにするために、第２の電荷蓄積期間においても発光手段１０１が発光動作をしないように、受発光パターン選択・決定部２０２は発光手段１０１を設定する。
【００９３】
そして、受発光パターン選択・決定部２０２は複数種予め用意してある動作パターンうち、１つの受光動作パターンを選び（ステップＳ２）、そのパターンで電荷蓄積を行って差成分を得るべく、受発光制御信号生成手段１０４を制御し、これに従って受発光制御信号生成手段１０４は反射光画像獲得手段１０２を制御して対象物体１０６の画像の第１の電荷蓄積及び第２の電荷蓄積を、当該受光動作パターン対応の動作期間単位で行い、その差成分を得る。
【００９４】
そして、これを元に評価手段２０１はこの動作パターンでの外光の評価をする（ステップｓ３）。外光の影響の評価値として、例えば反射光画像の数フレームの平均輝度を用いる（もちろん暗いほど小さい）。つまり、一つの動作パターンで上記の差成分を得る動作を複数回、繰り返し、それぞれ得られた差成分の値の平均値を求めて当該動作パターンでの評価値を得る。
【００９５】
この評価結果は受発光パターン選択・決定部２０２に与える。
受発光パターン選択・決定部２０２はすべてのパターンを試したかを調べ、未試行のパターンがあればその未試行の中から一つを次の受光動作パターンとして選択する（ステップＳ４，Ｓ５ ）。そして、その選んだ受光動作パターンで電荷蓄積を行って差成分を得るべく、受発光制御信号生成手段１０４を制御し、これに従って受発光制御信号生成手段１０４は反射光画像獲得手段１０２を制御して対象物体１０６の画像の第１の電荷蓄積及び第２の電荷蓄積を、当該受光動作パターン対応の動作期間単位で行い、その差成分を得る。そして、これを元に評価手段２０１はこの動作パターンでの外光の評価をする（ステップｓ３）。この評価結果は受発光パターン選択・決定部２０２に与える。
【００９６】
受発光パターン選択・決定部２０２はすべてのパターンを試したかを調べ、未試行のパターンがあればその未試行の中から一つを次の受光動作パターンとして選択し（ステップＳ４，Ｓ５ ）、そして、その選択した受光動作パターンでの上述の動作を繰り返して評価をするが、ステップＳ４での判断の結果、全てのパターンを試し終えたならば、次に受発光パターン選択・決定部２０２はすべてのパターンそれぞれでの評価値を比較して、評価値の最良のものを最適パターンとして一つ選択する（ステップＳ５）。
【００９７】
次に受発光パターン選択・決定部２０２は、その選択した受光動作パターンの電荷蓄積期間となるパターンとタイミングで受光動作と発光動作をするように受発光制御信号生成手段１０４と発光手段１０１に指示を与える。これにより、受発光制御信号生成手段１０４は上述の選択された動作パターンで発光指令と受光動作をするように設定され、また、発光手段１０１はその発光停止状態を解除される（ステップＳ６，Ｓ７ ）。
【００９８】
この解除に伴い、最適動作パターン選択モードから通常の動作モードになる。通常の動作モードでは発光手段１０１による照明のない状態で第１の受光手段１０９による受光を、上記選択された動作パターンによる電荷蓄積期間分、行い（第１の電荷蓄積期間）、つぎにこの電荷蓄積期間分、発光手段１０１から照明をあてて第２の受光手段１１０による受光を行い、両者の差をとってこれを外光の影響のない反射光画像として得る。
【００９９】
本発明はこのように、電荷蓄積期間をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、第１の受光手段と第２の受光手段による受光を行い、両受光手段による受光出力（画像出力）の差出力を、各動作パターンそれぞれで得て、その差分像（反射光画像）が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードを実施させるようにした点に特徴がある。
【０１００】
このように、予め用意した複数種の動作パターンそれぞれについて発光手段を用いずに差分画像を得て、外光の影響を評価し、最良の評価値を示すパターンを選択、その後は当該選択したパターンで外光による画像と、発光手段による照明を与えた画像とを得て両者の差分を反射光画像として反射光画像獲得手段で得るようにするものであり、外光の影響の評価値としては、例えば反射光画像の数フレームの平均輝度を用いるようにし、この評価を用意してあるすべての動作パターンで試すと共に、平均輝度が一番小さかった（つまり一番外光の影響を受けなかった）動作パターンを選択することにより、外光の変化状況に応じてその変化状況下で最も影響の少ない第１の受光手段と第２の受光手段の受光期間を選択するようにしたものである。
【０１０１】
そのため、本システムを設置した環境下での外光の変動状況対応にその影響の最も低くなるような動作パターンでの反射光画像を得ることができようになる。
その具体的効果について、以下説明する。
【０１０２】
図８は外光（図の実線）の変動周期が緩やかな場合、図９は外光の変動周期が細かい場合の例を示している。図の横軸は時間、縦軸は受光面での光の強さであり、発光しているときは、その発光量に応じて出力曲線が上昇する（レベルが上昇する）。光の強さをある時間だけ積分したもの（図中に符号Ｌ１，Ｌ２を付して示す部分）は電荷の蓄積量に相当する。ここで、Ｌ１は発光手段１０１の発光時における反射光画像獲得手段（反射光抽出手段）１０２の第２の受光手段１１０による電荷蓄積量であり、Ｌ２は発光手段１０１の非発光時における第１の受光手段１０９の受光出力の電荷蓄積量で、ともに電荷蓄積期間ｔ１とした場合の例である。
【０１０３】
また、Ｌ １１ は発光手段１０１の発光時における反射光画像獲得手段（反射光抽出手段）１０２の第２の受光手段１１０による電荷蓄積量であり、Ｌ １２ は発光手段１０１の非発光時における第１の受光手段１０９の受光出力の電荷蓄積量で、ともに電荷蓄積期間ｔ２とした場合の例である。ただし、ｔ１はｔ２より十分小さいものとする。
【０１０４】
Ｌ１とＬ２の差、そして、Ｌ１１ とＬ１２ の差がそれぞれ反射光部分であると見なされる。発光手段１０１の光源としては白熱球やＬＥＤ （発光ダイオード）が使用されるが、近年ではＬＥＤ が一般的である。そして、一般に発光手段１０１として用いられるＬＥＤ （発光ダイオード）は発光時間が短いほど瞬間的には強いパワーを出すことができるので、図８のグラフでも蓄積時間が短い方が、光の強さは大きく上昇している。
【０１０５】
ここで図８のように外光の変動が緩やかで大きい場合は、発光手段１０１の発光時間を短くすることにより、発光時、非発光時の外光変動の影響を小さくすることができ、これにより、反射光量を良好に検出できる（図８（ａ））。一方、発光手段１０１の発光時間を長くすると、その間に外光が大きく変動してしまい、発光時、非発光時の蓄積電荷の差の中に外光の変動が大きく含まれてしまい、精度良く反射光量が検出できない（図８（ｂ））。
【０１０６】
次に、図９に示すように外光の変動周期が短い場合（例えば、室内にあってその照明にインバータ蛍光灯などが使用されている時などでは、外光としてのこの蛍光灯は数１０ｋＨｚ 程度の周期で光量が変動する）、図９（ａ）のように発光手段１０１の発光時間を外光の変動周期と同程度に短くし、この発光期間内の分（ｔ１）を電荷蓄積したとすると、もしも外光の変動周期と発光手段１０１からの発光パルスの位相にずれが生じることにより、外光の影響が大きく変わり、誤差分が著しいものとなって、反射光画像成分が良好に検出できない。
【０１０７】
そこで、この場合、逆に発光手段１０１の発光時間を長くする。つまり図９（ｂ）ように発光時間の中に外光の変動周期がいくつも入るような長い時間ｔ２とし、この発光期間内の分（ｔ２）を電荷蓄積するようにする。このようにすると、外光の変動の影響が小さくなる。
【０１０８】
外光の変動周期が短い場合、それよりももっと短い時間で発光手段１０１を発光させるようにするという方法もある。しかし、一般的に、あまり短い時間で発光させようとすると回路の駆動周波数が上がり、高コストになり消費電力も上がる。
【０１０９】
以上、本発明は外光のみにより対象物体の画像を得（第１の受光）、また、発光手段により光を発光して対象物にあて、その対象物体による反射光を画像として捉える（第２の受光）と共にその差成分を得て（反射光画像）、これより前記対象物体の画像を抽出する装置において、画像信号を取得する期間（電荷蓄積期間）をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、第１の受光と第２の受光を行い、両受光出力（画像出力）の差出力を、各動作パターンそれぞれで得て、その差分像（反射光画像）が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードによる動作（上記外光のみによる第１の受光と、発光手段による発光を行って得た第２の受光動作）を実施させるようにしたものである。
【０１１０】
本具体例では、最適動作パターン選択モードを設け、このモード中に自動的に複数のパターンを試し、最適なものを自動的に決定する。しかし、これにとどまらず、単に切り替えボタンがついており、操作者がこれを押すことで動作パターンを選べる用にしても良い。このようにすると、複雑な処理がないため、低コスト化できる。この場合は、反射光画像を画面上に表示し、操作者が画面の反射光画像を見ながらノイズが少ないモードを選べるようにすると良い。本発明はこのように、自動的に動作パターンを選択しない場合も包含する。
【０１１１】
これにより、外光に変化のある場合にも、精度の良い反射光画像を得ることができ、従って、対象物体の画像のみを精度良く抽出することができるようになる。
【０１１２】
対象物体の画像を画像信号から抽出することができるようになると、この抽出画像からその形状、動き、距離情報などを取得することができる。例えば、物体が存在している場所からの反射光はある程度の値を持ち、遠い背景からの反射光はほとんど無いため、反射光の画像をしきい値で分けることにより、物体の形状を抽出することが出来る。またその形状から様々な特徴量を抽出することが出来る。形状の時間的連なりを解析することで、物体の動きや変形などを捉えることが出来る。また物体の凹凸を反射光量の違いとして捉えられるため、対象物体の立体構造を得ることも出来る。
【０１１３】
従って、このような情報から３次元の操作入力や、３次元の指示操作などを容易に行うことができるようになるが、このような技術を、本発明は強力にバックアップすることができるようになる。
【０１１４】
なお、本発明は上述した具体例に限定されることなく、種々変形して実施し得る。なお、本発明ではその具体例中で、たびたび２枚の画像の差分という言葉が使われた。これは概念的な意味合いが強く、必ずしも２枚の画像が存在することを意味するものではない。一般的な構成として、単位受光セルに第１と第２の電荷蓄積部があり、全てのセルの第１の電荷蓄積部の電荷量を用いて１枚の画像がつくれ、全てのセルの第２の電荷蓄積部の電荷量を用いて第２の画像が得られる。このような意味で“２枚の画像”であるが、実際には受光手段の出力時に各セル毎に２つの電荷蓄積部の差を出力するため、外部には２枚の画像は取り出されない。従って、本具体例中で“２枚の画像”というとき、必ずしも目にみえる２枚の画像が出力されることを意味しない。
【０１１５】
また、１フレーム当たりの発光回数は１回とは限らない。例えば、発光しながら第１の電荷蓄積部１１９へ電荷蓄積し、発光しないで第２の電荷蓄積部１２０へ電荷蓄積する、という動作を１０回繰り返す、というようなこともできる。更に図１０（ａ）に示すように、差分回路ｄｅｆと第３の電荷蓄積部Ｃｃｇを更に持ち、発光手段を発光させて、このとき、光電変換部１１８のとらえた画像の電気信号に基づく電荷を第１の電荷蓄積部１１９に蓄積し、次に発光手段の発光なしの状態として、このとき、光電変換部１１８のとらえた画像の電気信号に基づく電荷を第２の電荷蓄積部１２０に蓄積し、これら両電荷蓄積部１１９，１２０の蓄積電荷の差分を、差分回路ｄｅｆで得てこの得た差分の電荷を第３の電荷蓄積部Ｃｃｇに転送する、そして、第１及び第２の電荷蓄積部１１９，１２０をリセットするという動作を繰り返す構成とすることもできる（図１０（ｂ）参照）。
こうなると、各セル内にも差分しかなく、もはや２枚の画像はないといえる。以上のような場合も含め、２枚の画像の差分をとるのと同様の効果を持つ、反射画像の獲得装置・方法全てについて、本発明は有効である。
【０１１６】
【発明の効果】
以上、詳述したように、本発明によれば、外光の影響を抑制できて、特定の対象物体を容易に高精度に抽出することができるようになり、特定対象物体の形状、動き、距離情報などを得るにあたり、その元となる特定の対象物体を画像中から抽出することができるようなる画像入力装置および画像入力方法を提供できる。
【図面の簡単な説明】
【図１】本発明を適用する対象の一具体例の全体構成を示すブロック図。
【図２】図１の装置のより具体的な構成例を示す図。
【図３】図１の装置における反射光抽出手段１０２の構成例の詳細図。
【図４】図３に示す反射光抽出手段の一画素分の単位受光セルＰＤの概略構成を示す図。
【図５】図３，図４の回路中の受光部におけるゲートなどの制御信号と発光制御信号、および光の強さの時間的変化を示す図。
【図６】本発明の具体例を示すブロック図。
【図７】本発明の動作例を示すフローチャート。
【図８】本発明の動作例を説明するための図であって、外光（図の実線）の変動周期が緩やかな場合の例を示した図。
【図９】本発明の動作例を説明するための図であって、外光（図の実線）の変動周期が細かい場合の例を示した図。
【図１０】本発明の別の例を説明するための図。
【図１１】従来例を説明するための図であって、従来の３次元ポインティングデバイスの一例を示す図。
【符号の説明】
１０１…発光手段
１０２…は反射光画像獲得手段（反射光抽出手段）
１０３…特徴情報生成手段
１０４…受発光制御信号生成手段（タイミング信号生成手段）
２０１…外光の影響を評価する評価手段
２０２…受発光パターン選択・決定部。[0001]
BACKGROUND OF THE INVENTION
The present invention captures an image obtained by illuminating a target object to be noted with a light emitting means and an image not illuminated, obtains an image of the difference between the two images, and extracts the target object from the image input apparatus and image It relates to the input method.
[0002]
[Prior art]
There are various types of input devices to a computer. Among them, a mouse is widely used as one of the most popular input devices along with a keyboard. However, what can be operated with the mouse is movement of the cursor, selection of a menu, and the like, and it only serves as a two-dimensional pointing device. In other words, what can be handled by the mouse is at most two-dimensional information, and it is difficult to select an object having a depth such as an object in a three-dimensional space. For example, in the case of creating an animation with a computer, it is difficult to add a natural movement in an operation information input operation using an input device such as a mouse to add a movement of a character.
[0003]
Also, in the multi-modal field, gestures, that is, hand gestures, body movements, and postures, etc., are input as operation information to complement each other with input information such as voice, keyboard, mouse and trackball. There is also a desire to be able to handle the device in a form that is close to natural human communication.
[0004]
Therefore, in recent years, 3D pointing has been made to compensate for the difficulties of pointing in 3D space and to recognize human natural gestures as one of the technologies that enable various input operations in the multimodal field. A device is being developed.
[0005]
For example, the proposal is as shown in FIG. This device has a ball-shaped operation part in the center of the main body and is equipped with a numeric keypad in the peripheral part. “Push the front”, “Push the center”, “Back” of the ball-like operation part 6 operations are possible, such as “pressing”, “lifting the whole”, “turning the whole to the right”, and “turning to the left”.
[0006]
By assigning these six degrees of freedom, the position (x, y, z) and orientation (x axis, y axis, z axis) of the cursor in the three-dimensional space can be controlled, or the viewpoint position with respect to the three-dimensional space (X, y, z) and direction (x axis, y axis, z axis) can be controlled.
[0007]
However, this three-dimensional pointing device requires considerable skill, and there is a problem that the cursor and viewpoint cannot be controlled as expected when actually operated. For example, if you try to turn left or right, you may push forward or backward, causing the cursor to move in an unexpected direction or the viewpoint to move.
[0008]
For such a three-dimensional pointing device, devices that use hand gestures and gestures have been developed. It is called a data glove, data suit, or cyber glove. Among these, for example, the data glove is a glove-like device, and an optical fiber runs on the surface. This optical fiber passes through the finger joint, and utilizes the fact that the light conduction changes when the finger is bent. Then, by measuring the light conduction amount, it is possible to know how much each finger joint is bent.
[0009]
The position of the hand itself in the three-dimensional space is measured by a magnetic sensor provided on the back of the hand.
Therefore, if you place your index finger, if you decide on gestures and corresponding instructions, such as “go forward”, you can change the viewpoint in the 3D space using the data glove and just walk around Can be operated as (walkthrough).
[0010]
However, there are some problems with such a three-dimensional pointing device. First, the price is expensive and it is difficult to use for home use.
[0011]
Second, since the angle of the finger joint is measured, misrecognition is unavoidable. For example, it is assumed that the forward direction is defined as a state in which only the index finger is extended and the other fingers are bent. Even if you actually extend your finger, the angle of the second joint of the index finger is rarely 180 degrees, so if you do not set the amount of play, except when you fully extend your finger, It cannot be recognized as “stretching”.
[0012]
In addition, since the operator wears a data glove, natural operation is hindered, and every time the user wears it, the light conduction state must be calibrated with the hand open and closed. It cannot be used easily. In addition, since an optical fiber is used, there is a problem that if it is continuously used, it is close to a consumable such as the fiber being cut off.
[0013]
In addition, although it is an expensive and time-consuming device, if the size of the glove is not exactly the same, it will shift from the calibrated value while it is being used. There is also the problem that it is difficult to recognize hand gestures.
[0014]
In this way, due to various problems, the data glove is not as popular as originally expected, despite being a device that triggered VR (virtual reality) technology. However, the price has not been lowered, and there are many problems in terms of usability.
[0015]
Therefore, some attempts have been made to input hand gestures and gestures without wearing a special device such as this data glove. For example, it is a technique that recognizes the shape of a hand by analyzing a moving image such as a video image. However, this requires a technique for cutting out the target image from the background image. Therefore, in the case of hand gesture recognition, it is necessary to cut out only the hand, which is technically difficult. .
[0016]
For example, consider a case where a hand portion in an image is cut out using color information as a condition. Since the hand color is flesh-colored, it may be possible to cut out only the pixel part that has flesh-colored image information. However, if there are beige clothes or walls in the background, the flesh-color corresponding to the hand part It is not possible to identify only pixels. Further, even if adjustment is made so that beige and flesh color can be distinguished, if the illumination changes, the color tone will change, so it is difficult to cut out regularly.
[0017]
In order to avoid such a problem, a measure has been taken to facilitate clipping by placing a restriction on the background image, such as placing a blue matte on the background. Alternatively, a measure is taken such that the fingertip is colored so that it can be easily cut out from the background, or a colored ring is fitted. However, such a limitation is not realistic and has been experimentally used, but has not yet been put into practical use.
[0018]
By the way, as another technique that can be used for recognizing a gesture of a hand, an application of a range image input device called a range finder can be considered. A typical principle of this resin finder is to irradiate a target object with spot light or slit light, and obtain from the light receiving position of the reflected light by the principle of triangulation.
[0019]
In order to obtain two-dimensional distance information, spot light or slit light is mechanically scanned. Although this apparatus can generate a very high-precision distance image, on the other hand, the structure of the apparatus becomes large and the cost is high. Moreover, it takes time to input, and it is difficult to perform the disposal in real time. There are also devices that attach color markers or light emitting parts to parts of the hand or body, detect them by image, and capture the shape and movement of the hand / body, and some have been put into practical use. However, considering the convenience of the user, it is a major disadvantage that the device must be mounted every time it is operated, and the application range is very limited. In addition, as seen in the example of the data glove, the durability of a device that is used by attaching the device to a movable part such as a hand is likely to be a problem.
[0020]
Next, apart from the input devices as described above, problems with the conventional technology of camera technology will be described. In the conventional camera technology, in order to perform character composition (chroma key) on the background, it is necessary to photograph the character with a blue background in advance and to easily cut out the character.
[0021]
For this reason, there were restrictions on the shooting location, such as a studio that can shoot with a blue background. Or, in order to cut out a character from a video shot without a blue background, it is necessary to manually edit the cut-out range of the character for each frame. Similarly, in order to generate a character in a three-dimensional space, a method is adopted in which a three-dimensional model is created in advance and a character photograph is pasted (texture mapping). However, generation of a three-dimensional model and texture mapping are time-consuming, and practically it can hardly be used except for applications that may cost money such as movie production.
[0022]
[Problems to be solved by the invention]
Thus, conventionally, there has been no direct instruction type input device that can easily input gestures and movements without attaching a special device. In particular, there has been no simple device that can easily perform pointing and changing the viewpoint in a three-dimensional space. In addition, the user's gestures and movements cannot be used as they are to add natural movement to animated characters. Furthermore, conventional cameras cannot cut out only a specific character or easily input character depth information.
[0023]
From such a background, the present inventors have found a difference component between an image obtained by irradiating a target object with illumination light for a predetermined time and an image of the target object obtained in an environment where only external light is applied. Obtain an image, develop a technology to extract the image of only the target object from the image of the difference component, further calculate the shape, movement, distance information, etc. based on the extracted image of the target object only, By using these as information, a technology that can easily give gestures, three-dimensional operation information, and the like has been developed and applied for a patent (see Japanese Patent Application No. 8-275949).
[0024]
The idea of this technology is that when an image of the difference component between an image obtained by irradiating the target light with illumination light and an image of the target object obtained in an environment exposed only to external light is obtained, the background etc. Focusing on the fact that when it is far away, it becomes the image component of only the target object, it is possible to easily cut out the image of the target object part, that is, the reflected light from the place where the object exists is a certain value Since there is almost no reflected light from a distant background, it is possible to extract the shape of an object by dividing the reflected light image by a threshold value, and also extract various feature values from the shape And by analyzing the time series of such shapes, it is possible to capture the movement and deformation of the object, and also to detect the unevenness of the object as the difference in the amount of reflected light. Object From the like can also be obtained body structure, if easily be cut out of the object, it is possible to obtain the various information of the target object in operation.
[0025]
Therefore, it is possible to easily realize such as giving a gesture as operation command information or inputting three-dimensional operation information by gestures.
However, there is one problem that must be solved here. That is an influence on the accuracy of clipping the target object due to fluctuations in external light. The outside light is natural light, indoor illumination light, and varies depending on the environment. Moreover, there is no problem as long as they are stable, but they are usually accompanied by a gradual change or finely changing in a short cycle, and unless external light with such a change is used. If this is not the case, if an image of external light and an image irradiated with illumination light are imaged vaguely at regular intervals, the extracted image will be an image with many errors.
[0026]
Therefore, establishment of a technique capable of easily and accurately extracting an image of an object to be extracted (cutout target) even if there is a change in external light is strongly desired.
Accordingly, an object of the present invention is to provide an image input device and an image input method which can easily extract a specific target object with high accuracy in an environment where the outside light fluctuates. is there.
[0027]
[Means for Solving the Problems]
In order to achieve the above object, the present invention is as follows. In other words, a light emitting means for irradiating the target object with illumination light and a light receiving means for obtaining an image of the target object, and the light emitting means and the light receiving means operate synchronously so that the target object of the illumination light In an image input device that acquires only reflected light as an image,Reflected light image acquisition means for suppressing irradiation of the light emitting means and acquiring a reflected light image according to a plurality of operation patterns of a light emitting means and a light receiving means provided in advance, and one operation among the plurality of operation patterns Selecting / determining means for selecting an operation pattern having the smallest luminance value of the reflected light image per pattern as an optimum operation pattern.It is characterized by that.
[0028]
In addition, a light emitting means for irradiating the target object with illumination light, and a light receiving means for obtaining an image of the target object, and the light emitting means and the light receiving means operate synchronously, whereby the target object of the illumination light In the image input apparatus that acquires only the reflected light as an image, the reflected light image that suppresses the irradiation of the light emitting means and acquires the reflected light image according to a plurality of operation patterns of the light emitting means and the light receiving means provided in advance An acquisition unit; a selection / determination unit that selects an operation pattern having the smallest luminance value of the reflected light image per operation pattern among the plurality of operation patterns as an optimal operation pattern; and the selected optimal operation pattern According to the light emitting means and light receiving and emitting control means for controlling the operation of the light receiving means,WithIt is characterized by.
[0029]
Furthermore, the image input method of the present invention includes:Image input that irradiates a target object with illumination light, receives light to obtain an image of the target object, and obtains only reflected light from the target object of illumination light as an image by synchronously operating the irradiation and light reception In the method, the irradiation is suppressed, and a reflected light image is acquired according to a plurality of operation patterns of irradiation and light reception prepared in advance, and the brightness of the reflected light image per operation pattern among the plurality of operation patterns. The operation pattern having the smallest value is selected as the optimum operation pattern.
[0030]
More specifically, it has a light emitting means for irradiating the target object with illumination light, and a light receiving means for obtaining an image of the target object, and the image of the target object at the time of non-irradiation of the illumination light by the light emitting means, The image of the target object at the time of irradiation of illumination light by the light emitting means is obtained by the light receiving means with a predetermined same detection time, respectively, and the image of the target object is extracted by obtaining a difference component between both obtained images. In the device to
A plurality of types of operation patterns with various detection periods of the both images by the light receiving means are provided, the light emission of the light emitting means is suppressed in the optimum operation pattern selection mode, and the detection operation of the both images by the light receiving means is Selection / determination means for selecting an optimum operation pattern from the plurality of types of operation patterns from the given evaluation information, and selection / determination in the optimum operation pattern selection mode. The light receiving means is controlled to perform the detection operation of both images by the light receiving means with the operation pattern sequentially given by the means, and after the optimum operation pattern selection mode is finished, to operate with the selected optimum operation pattern. And means for controlling the detection operation of both images by the light receiving means and the light emission operation of the light emitting means, and To create the pattern selection mode, the obtained respective evaluation values from the difference component of the two images in each of the respective operation patterns obtained from the light receiving means comprises an evaluation means for providing to the selection-determining means.
[0031]
The present invention includes a light emitting means for irradiating a target object with illumination light, and a light receiving means for obtaining an image of the target object, and the image of the target object when the illumination light is not irradiated by the light emitting means, and the light emission means. When the image of the target object at the time of irradiation of illumination light by is obtained by the light receiving means with a predetermined same detection time, and the image of the target object is extracted by obtaining a difference component between the two obtained images In addition,
A plurality of types of operation patterns with various detection periods of the two images by the light receiving unit are prepared, and the light emission of the light emitting unit is suppressed in the optimum operation pattern selection mode, and the detection operation of the two images by the light receiving unit is performed. Each of the operation patterns is sequentially executed, and each evaluation value is obtained from the difference component between the two images in each of the operation patterns obtained from the light receiving means, and the plurality of types of operation patterns are obtained from the information of these evaluation values. Select the most suitable operation pattern,
After completion of the optimum operation pattern selection mode, the detection operation of both images by the light receiving means and the light emission operation of the light emitting means are performed with the selected optimum operation pattern.
[0032]
In acquiring the difference component (difference image), an image of the target object in an environment with only external light and an image of the target object obtained by irradiating with illumination light are obtained. During the period, the detection output of the light-receiving means that is the imaging device (accumulated image signal as an electric charge) is obtained, but if there is a change in the external light condition, the acquired image in the environment of only external light and the illumination light Thus, the external light components in the acquired images at the obtained stage are different. This becomes a noise component and affects the extraction accuracy of the image of only the target object.
[0033]
Therefore, the present invention adaptively changes the operation patterns of the light emitting means and the light receiving means in accordance with the state of external light, and includes a plurality of types of operation patterns with different charge accumulation periods. Prepared and provided with an optimum operation pattern selection mode, the light receiving means receives the first light and the second light in the absence of illumination by the light emitting means, and obtains a difference output between both light receiving outputs (both image outputs). The operation pattern in which the difference image (reflected light image) is the darkest image is selected as the optimal operation pattern without the influence of outside light, and the normal operation mode is selected with that pattern. Was made to implement.
For this reason, even in an environment where there is a change in external light, only the image of the target object can be extracted with high accuracy without being affected by the change.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
The present invention provides an apparatus capable of obtaining information on the shape, movement, distance, and the like by emitting light from a light source, illuminating a target object, and capturing reflected light from the target object as an image. In the invention, a plurality of types of operation patterns of light emission and charge accumulation are prepared, and a reflected light image can be obtained with high accuracy even in any external light state by properly using according to the external light conditions. The details will be described below.
[0035]
First, the basic configuration of an apparatus to which the present invention is applied will be described.
<Configuration example of information input generation device>
FIG. 1 is a configuration example of an information input generation device as one of objects to which the present invention is applied. As shown in FIG. 1, this apparatus includes a light emitting unit 101, a reflected light extracting unit 102, a feature information generating unit 103, and a timing signal generating unit 104.
[0036]
Among these, the light emitting means 101 emits light whose intensity varies with time in accordance with the timing signal generated by the timing signal generating means 104. This light is applied to the target object in front of the light emitting means 101. The reflected light extraction unit 102 extracts the reflected light from the target object of the light emitted from the light emitting unit 101. More preferably, the spatial intensity distribution of the reflected light is extracted. Since the spatial intensity distribution of the reflected light can be grasped as an image, it will be referred to as a reflected light image below.
[0037]
The reflected light extraction unit 102 extracts reflected light from the target object, and has a light receiving unit that detects the amount of light. In general, the light receiving unit depends on the target object of light emitted from the light emitting unit 101. Not only reflected light but also external light such as illumination light and sunlight is received simultaneously. Therefore, the reflected light extraction unit 102 takes the difference between the amount of light received when the light emitting unit 101 emits light and the amount of light received when the light emitting unit 101 does not emit light, thereby obtaining the light emitting unit 101. Only the component of the light reflected from the target object is extracted. In other words, this means that the reflected light extraction unit 102 is also controlled by the timing signal generation unit 104 that generates a signal for controlling the light emitting unit 101.
[0038]
The feature information generation unit 103 extracts various feature information from the reflected light image. There are various methods for extracting the feature information or feature information. As a result, for example, assuming that the target object is a hand, information such as gestures and pointing can be obtained from the feature information of the reflected light image of the hand, and the computer can be operated using the obtained information. It can be carried out. It is also possible to extract and use the three-dimensional information of the target object. Note that the feature information generation unit 103 is not necessarily required, and for example, the reflected light image itself obtained by the reflected light extraction unit 102 can be input or used.
[0039]
In order to clarify the object of the present invention, an information input generation apparatus as a technical object to be improved by the present invention will be described in detail. FIG. 2 is a more specific configuration example of the information input generation device.
[0040]
Referring to FIG. 2, the light emitted from the light emitting unit 101 is reflected by the target object 106 and is imaged on the light receiving surface of the reflected light extracting unit 102 by the light receiving optical system 107. The reflected light extraction unit 102 detects the intensity distribution of the reflected light, that is, the reflected light image. The reflected light extraction unit 102 includes a first light receiving unit 109, a second light receiving unit 110, and a difference calculation unit 111. The first light receiving means 109 and the second light receiving means 110 each detect an optical image formed on the light receiving surface and convert it into an image signal corresponding to the amount of received light. Do. The timing control unit 112 performs these operations so that the light emitting unit 101 emits light when the first light receiving unit 109 is in a light receiving state and the light emitting unit 101 does not emit light when the second light receiving unit 110 receives light. Control timing.
[0041]
Thus, the first light receiving means 109 receives the light reflected from the light emitting means 101 by the object and other external light such as sunlight and illumination light and detects the amount of the received light.
[0042]
On the other hand, the second light receiving means 110 receives only external light. Since the timings at which the light is received are different, but are close to each other, fluctuations in external light during this period can be ignored. Therefore, if the difference between the image received by the first light receiving means 109 and the image received by the second light receiving means 110 is taken, this corresponds to the component of the reflected light by the light object of the light emitting means 101, As a result, an image corresponding to the reflected light component of the output light from the light emitting means 101 is extracted.
[0043]
The difference calculation unit 111 obtains the difference, and the difference calculation unit 111 calculates and outputs the difference between the images received by the first light receiving unit 109 and the second light receiving unit 110. A more detailed configuration of the reflected light extraction unit 102 will be described later.
[0044]
The reflected light extraction unit 102 sequentially outputs the reflected light amount of each pixel of the reflected light image. The output from the reflected light extraction means 102 is amplified by an amplifier 113, converted into digital data by an A / D converter ll4 that converts an analog signal into digital data, and then stored in the memory 115. Then, the stored data is read from the memory 115 at an appropriate timing and processed by the feature information generating unit 103.
[0045]
These overall controls are timing control means.104Do. When the detection target object is a human hand, it is preferable to use a light-emitting device that separates near-infrared light that is invisible to the human eye as the light-emitting means 101. In this case, since humans cannot see the light from the light emitting means 101, it is not necessary to feel dazzling. When the light emitting means 101 is a near infrared light emitting device, the light receiving optical system 107 is provided with a near infrared light passing filter (not shown). This filter passes near-infrared light, which is the emission wavelength, and blocks visible light and far-infrared light. ObedienceTsuAnd cut a lot of outside light.
[0046]
By the way, the reflected light from the object decreases significantly as the distance of the object increases. When the surface of an object scatters light uniformly, when viewed on the light receiving side, the amount of light per reflected light image pixel decreases in inverse proportion to the square of the distance to the object. Accordingly, when the target object 106 is placed in front of the multi-dimensional information input generation device of the present invention, the reflected light from the background becomes so small that it can be ignored, and a reflected light image only from the object can be obtained. For example, when the hand which is the target object 106 is brought in front of the multidimensional information input device, only the reflected light image from the hand can be obtained.
[0047]
At this time, each pixel value of the reflected light image represents the amount of reflected light received by the unit light receiving cell corresponding to the pixel. The amount of reflected light is affected by the nature of the object (specularly reflecting, scattering, absorbing, etc.), the orientation of the object surface, the distance of the object, etc., but the object that scatters light uniformly throughout the object , The amount of reflected light is closely related to the distance to the object.
[0048]
Since the hand or the like has such a property, the reflected light image when the hand is held out reflects the distance of the hand, the inclination of the hand (partly different distance), and the like. Therefore, by extracting these feature information, various information can be input / generated.
[0049]
When it is desired to extract a three-dimensional shape, it is better to obtain distance information with high resolution. In such a case, a logarithmic amplifier may be used as the amplifier 113. The amount of light received by the light receiving unit is inversely proportional to the square of the distance to the object, but when a logarithmic amplifier is used, the output is inversely proportional to the distance. By doing so, the dynamic range can be used effectively.
[0050]
<Detailed Description of Reflected Light Extraction Unit 102>
FIG. 3 shows an example of the configuration of the reflected light extraction unit 102 in more detail. The reflected light extraction means 102 shown in FIG. 3 shows a light receiving unit composed of a CMOS sensor. The reflected light extraction means 102 has a plurality of unit light receiving cells so that the intensity distribution of the reflected light can be captured. The unit light receiving cell corresponds to one pixel of the reflected light image. In this figure, for the sake of simplicity, a 2 × 2 pixel configuration is shown. A portion 117 surrounded by a dotted line is a unit light receiving cell for one pixel. FIG. 4 shows a schematic configuration of a unit light receiving cell PD for one pixel.
[0051]
In correspondence with the previous example, one unit light receiving cell is constituted by one pixel of the first light receiving means 109 and one pixel of the second light receiving means 110. One unit light receiving cell has one photoelectric conversion unit 118 and two charge storage units 119 and 120. There are several gates (122 and 123 in this example) between the photoelectric conversion unit 118 and the charge storage units 119 and 120, and the charge generated in the photoelectric conversion unit 118 by controlling these gates is divided into two gates. One of the charge storage units 119 and 120 can be selected to be led. The gate control signal and the light emission control signal of the light emitting unit are synchronized.
[0052]
The light emission control pulse 128 is a signal for controlling the light emitting means. Here, pulsed light emission is performed. The light emitting means 101 emits light when the level of the light emission control pulse is “HIGH”, and does not emit light when it is “LOW”.
[0053]
In response to this light emission control signal, the actual light is attenuated by the time response of the light emitting element used as the light emitting source of the light emitting means 101, and changes as shown by the waveform denoted by reference numeral 129 in FIG. Control signals of SAMPLE1 (waveform indicated by reference numeral 131), SAMPLE2 (waveform indicated by reference numeral 132), TRANSFER, RESET (waveform indicated by reference numeral 130) are given to the light receiving unit.
[0054]
TRANSFER is a signal for controlling a gate for transferring the charge generated in the photoelectric conversion unit 118 to the next stage. When this signal is “HIGH”, the charge accumulated in the photoelectric conversion unit 118 is transferred. When the charge is transferred to the output unit after the charge is accumulated, the gate is closed so that the charge generated in the photoelectric conversion unit 118 does not flow to the output gate. RESET 130 is a reset control signal.
[0055]
When TRANSFER is “HIGH”, when RESET is “HIGH”, the reset gate 124 is opened, and the charges accumulated in the photoelectric conversion unit 118 are discharged through the transfer gate 121 and the reset gate 124. The two control signals SAMPLE 1 and SAMPLE 2 are signals for controlling the gates 122 and 123 for guiding charges from the photoelectric conversion unit 118 to the two charge storage units 119 and 120.
[0056]
Next, the change of these control signals and the operation of the unit light receiving cell will be described.
In the unit light receiving cell, the transfer gate 121 continues to open during the charge accumulation period. First, unnecessary charges accumulated between the photoelectric conversion unit 118 and the sample gates 122 and 123 are discharged by opening the reset gate 124. By closing the reset gate 124, electric charges generated by photoelectric conversion begin to be accumulated between the photoelectric conversion unit 118 and the sample gate.
[0057]
When the first sample gate 122 is opened after a certain time, the accumulated charge is transferred to the first charge accumulation unit 119. Therefore, the charge photoelectrically converted during “accumulation period 1” in FIG. 5 which is an accumulation period from when RESET 130 becomes “LOW” until SAMPLE1 131 becomes “LOW” is the first charge. Accumulated in the accumulation unit 119. After the first sample gate 122 is closed, the reset gate 124 is opened again to discharge unnecessary charges, the reset gate is closed, and after a predetermined time, the second sample gate 123 is opened, and the second sample gate 123 is opened. The charge generated by the photoelectric conversion is transferred to the second charge storage unit 120. Similarly, at this time, the charge that has been photoelectrically converted during “accumulation period 2” in FIG. 5, which is the accumulation period from when RESET becomes “LOW” until SAMPLE2 becomes “LOW”, is the second charge. Accumulated in the accumulation unit 120. At this time, “accumulation period 1” and “accumulation period 2” have the same length of time.
[0058]
Here, in the charge accumulation period “accumulation period 1”, the light emitting means 105 emits light, and in the charge accumulation period “accumulation period 2”, the light emission means 105 does not emit light.
[0059]
As a result, the first charge accumulating unit 119 accumulates charges generated by both the light reflected from the light emitting means 101 and the external light such as illumination light and sunlight, The second charge storage unit 120 stores charges generated only by external light.
[0060]
Since the charge accumulation period of “accumulation period 1” and the charge accumulation period of “accumulation period 2” are close in time, it can be considered that the variation in the magnitude of external light during this period is sufficiently small. Therefore, the difference in the amount of charge between the first charge accumulation unit 119 and the second charge accumulation unit 120 may be regarded as the amount of charge generated by the light reflected from the light emitting unit 101 on the target object 106. .
[0061]
In the above-described SAMPLE1, SAMPLE2, RESET, and TRANSFER, the same signal is given to all unit light receiving cells, and therefore, charge accumulation is performed synchronously in all unit light receiving cells. This indicates that only one light emission is required to obtain a reflected light image for one frame. Therefore, the power for light emission can be reduced. Further, an LED that can be used as a light emitting means has a property that it can emit light strongly instantaneously as the DUTY ratio of the light emission pulse is smaller (the interval between pulses is longer than one pulse width). The light emission power can be used efficiently.
[0062]
After the charge accumulation, the charge is taken out. First, one row is selected by the V-system selection circuit 135. The charges accumulated in the first charge accumulation unit 119 and the second charge accumulation unit 120 are sequentially extracted from the unit light receiving cells PD in each row, and the difference is extracted in the difference circuit 133. The column is extracted by selecting the column with the H system shift register.
[0063]
In this example, when the charge is taken out, the address of the cell to be taken out is specified by the shift register, so the output order is determined (sequential output). However, random access is possible if an arbitrary address can be generated. It becomes possible. In this way, only a part of the entire light receiving unit can be taken out, and the operation frequency of the sensor can be lowered, or the frame rate of the reflected light image can be increased. For example, when detecting a small object that occupies only a part of an image and tracking its movement, it is only necessary to search around the position in a certain frame, so only a part of the image is extracted. Good.
[0064]
Moreover, although the example which used near infrared light as a light emission source was shown, it does not necessarily limit to this. Visible light may be used as long as it is not dazzling to the human eyes (for example, the light emission amount is not so large, or the light is directed not to enter the human eye directly). Alternatively, not only light but also electromagnetic waves and ultrasonic waves can be used. The near-infrared light passing filter can also be omitted under the condition that it is not necessary to consider the influence of external light.
[0065]
By the way, even if a normal CCD image sensor for imaging is used as a light receiving means instead of a CMOS sensor, it is possible to realize the same, but this configuration is superior in terms of performance or cost performance. .
[0066]
For example, a CCD image sensor and a light source can be used. However, the CCD can only take one image every 1/60 seconds (field unit). Therefore, in the first 1/60 seconds, the light emitting portion is made to emit light, and in the next 1/60 seconds, the light emitting portion is turned off. It will fluctuate and the difference will not be equal to the amount of reflected light. This occurs because the intensity of fluorescent lamps fluctuates at a period of 1/100 seconds. Even in normal imaging using a CCD image sensor, there is a phenomenon in which the brightness of the screen flickers due to the gap between the imaging cycle and the fluctuation cycle of external light, which is called flicker.
[0067]
In this apparatus employing a CMOS sensor as a light receiving means, as a feature of the configuration of the CMOS sensor, it is possible to control light reception (charge accumulation) and readout arbitrarily in units of pixels, which is about 1 / 10,000 seconds or less. Since the time can be reduced or set to a sufficiently long time, the optimum value can be selected according to the fluctuation of the external light so that it is not affected by the fluctuation of the external light. In the case of imaging with a CCD image sensor, in order to prevent flicker, a method of matching the charge accumulation time with 1/100 seconds and the cycle of the fluorescent lamp may be taken. It is possible to suppress the influence of external light by a method such as setting 1/100 seconds to 1/100 seconds or changing the CCD drive signal to set 1 field to 1/100 seconds. In this case, another problem occurs. When the hand that is the target object is moving, the position of the hand is slightly shifted between the imaging at the time of light emission and the imaging at the time of extinction.
[0068]
If the difference is taken in this state, the reflected light image is greatly disturbed particularly at the edge portion of the object (hand). Also, the compactness of the configuration is greatly different. When a CCD is used, at least an A / D converter, a memory for storing data for one frame, and an arithmetic circuit for obtaining a difference image are necessary. When using a CCD, it is necessary to prepare a separate driver-IC.
[0069]
On the other hand, in this apparatus having a configuration in which a plurality of unit light receiving cells are two-dimensionally arranged (that is, this apparatus using a CMOS sensor as a light receiving element), various circuits are provided on the base of the CMOS sensor (on the substrate on which the CMOS sensor is formed). This makes it possible to fit the driver in the same chip. In addition, the difference calculation circuit is unnecessary because the difference between the light emission time and the non-light emission time can be taken in the sensor. In addition, since the A / D conversion unit, the memory, and the control unit can be accommodated in one chip, the cost can be greatly reduced.
[0070]
In the description so far, the configuration up to the extraction of only the target object image (reflected light image) has been described. Even the configuration up to here is sufficiently useful as a product. However, as an actual utilization form, there are many cases where the obtained reflected light image is subjected to some processing and used in accordance with the purpose of the user. For example, pointing and gesture input can be performed by inputting a reflected light image of the hand. For this purpose, feature information generating means extracts useful information from the reflected light image. Here, feature amounts are extracted, processed, and other information is generated therefrom.
[0071]
A typical example of how to process a reflected light image is extraction of distance information and region extraction. As described above, if the object has a uniform and uniform scattering surface, the reflected light image can be regarded as a distance image. Therefore, the three-dimensional shape of the object can be extracted. If the object is a hand, the tilt of the palm can be detected. Palm tilt appears as a partial distance difference. If the pixel value changes when the hand is moved, it can be regarded that the distance has moved. In addition, since there is almost no reflected light from a distant object like the background, the shape of the object can be easily cut out by processing to cut out an area of a certain threshold value or more from the reflected light image. For example, if the object is a hand, it is very easy to cut out the silhouette image. Even when distance information is used, it is often the case that after extracting a region once with a threshold value, the distance information in that region is used.
[0072]
In this manner, the target object image can be easily extracted, thereby opening up the way to perform various information input operations and instruction operations using the target object image.
[0073]
By the way, the present invention employs a CMOS sensor as a light receiving means, and as described above, as a structural feature of the CMOS sensor, light reception (charge accumulation) and readout can be arbitrarily controlled in units of pixels. The time can be shortened to about 10,000 seconds or less, or it can be set to a sufficiently long time, so if the optimum value is selected according to the fluctuation of the outside light, it is not affected by the fluctuation of the outside light. I'll do it. However, how to optimally set this according to the fluctuation of external light is a problem. A specific example of this will now be described.
[0074]
<Specific example of automatic selection of optimum operation pattern>
Briefly, here, a plurality of types of operation patterns having different charge accumulation periods are prepared, and an optimum operation pattern selection mode is provided and illumination is not performed by the light emitting means, and the first light receiving means and the first light receiving means are provided. The operation pattern in which the light receiving means 2 receives the light and the difference output of the light receiving output (image output) by the both light receiving means is obtained for each operation pattern, and the difference image (reflected light image) is the darkest image. Is selected as an optimum operation pattern free from the influence of external light, and the normal operation mode is carried out with this pattern.
[0075]
The target apparatus of the present invention for extracting an image of a desired target object has a light emitting means and a light receiving imaging system (reflected light image acquiring means), and an image obtained by light reception under an environment of only external light and light emission under this environment An image of only the target object is obtained by obtaining a difference between the images of the target object obtained by light emission by the means and obtaining the difference between the light emitted by the light emission means as an image of reflected light from the target object. This makes gesture recognition possible.
[0076]
In reflected light image acquisition, received light charges are accumulated during light emission and non-light emission, and the difference is taken to obtain a reflected light image. However, some external light changes like a fluorescent lamp, and normal fluorescence The fluctuation cycle of lamps and inverter fluorescent lamps also varies. However, if the time difference between light emission and non-light emission is close to the fluctuation period of the external light, the difference between the two stored charges also includes the fluctuation of the external light, and only the reflected light cannot be extracted accurately.
[0077]
Therefore, multiple operation patterns for light emission and charge accumulation are prepared, and two images of each operation pattern in the non-light emission state are acquired to examine the difference component, and the operation pattern having the smallest difference component is determined in the environment. Adopted as the operation pattern below. In this way, by preparing multiple types of operation patterns and using them according to the external light conditions, a reflected light image (extracted image of the target object) can be obtained with high accuracy in any external light state. did.
[0078]
<Principle of optimal operation pattern selection>
The principle is extremely simple. When the light receiving means 101 does not emit light and the light receiving operation is performed and the difference is output, the output should be almost zero if there is almost no fluctuation of external light between the two times. It is in that point. Therefore, when there is no difference in the amount of fluctuation of external light between the two images, the reflected light image that is the difference image between the two images becomes dark (because no light is emitted, the reflected light becomes dark). However, if the fluctuation of the external light is large at this time, the output image is not completely dark. Therefore, the reflected light image is taken without causing the light emitting unit to emit light, and the operation pattern that provides the darkest image is selected.
[0079]
<Specific Example of Extracting Necessary Reflected Light Image While Suppressing Influence of External Light When External Light Fluctuates>
The above-described information input generation device has a light emitting unit and a light receiving imaging system (reflected light image acquisition means), makes it possible to recognize a gesture by imaging and outputting reflected light from an object of emitted light, and reflected light. It has been described in detail that the image acquisition means is configured to accumulate received light charges at the time of light emission and non-light emission and to take the difference between them to cancel the image due to the external light component and acquire the reflected light image.
[0080]
In addition to sunlight, there are various types of fluorescent light such as sunlight, and there are various types of fluorescent light, such as ordinary fluorescent light and inverter fluorescent light. There is also a range in the period.
[0081]
If the time difference between when the light emitting means 101 emits light and when it does not emit light is close to the fluctuation period of the external light, the difference between the two accumulated charges also includes the fluctuation of the external light. Depending on the situation, there remains a concern that the purpose of accurately extracting only the reflected light of the target object 106 under the light irradiation by the light emitting means 101 cannot be achieved.
[0082]
Therefore, a specific example for dealing with this will be described.
In this example, a plurality of light emission and charge accumulation operation patterns are prepared, and they are used depending on the external light conditions. As a result, a reflected light image can be obtained with high accuracy in any external light state.
[0083]
This will be specifically described.
The example described here is based on the following principle. That is, it is assumed that the received light charge is accumulated twice and the difference is output without causing the light emitting means 101 to emit light. At this time, if there is almost no fluctuation of the external light during the two times of the accumulated light reception charge, the output becomes almost zero. Therefore, the reflected light image becomes completely dark. In other words, since the light source is not emitting light, there is naturally no reflected light image component, so the reflected light image, that is, the output image is completely dark. However, there is a fluctuation of the external light between the two times of the received light charge accumulation, and if the fluctuation is large, the difference generated when the difference of the accumulated charges in the two received light charge accumulation periods is not zero. Therefore, the output image is not completely dark.
[0084]
Therefore, a reflected light image is taken with each of a plurality of prepared charge accumulation operation patterns in a state in which the light emitting means 101 is not caused to emit light, and an operation pattern that provides the darkest image is selected. Then, a light emission operation pattern having a light emission period corresponding to the selected operation pattern is selected, and the light emission means 101 is controlled to emit light with this operation pattern.
[0085]
In order to realize such a function, a configuration as shown in FIG. 6 may be adopted as the apparatus. That is, in FIG. 6, 101 is a light emitting means, 103 is a feature information generating means, and 102 is a reflected light image acquiring means, which corresponds to the reflected light extracting means of FIG. Reference numeral 104 denotes a light emission / reception control signal generating means, which corresponds to the timing signal generating means of FIG. Reference numeral 201 denotes an evaluation unit for evaluating the influence of external light, and 202 denotes a light receiving / emitting pattern selection / determination unit.
[0086]
As described above, the light emitting means 101 is a light source for illuminating a target object, and is a light source for a reflected light image. In this specific example, in order to be able to obtain an optimal light receiving operation pattern in accordance with the fluctuation situation of external light, two types of operation modes, an optimum operation pattern selection mode and a normal operation mode, are prepared. When searching for the optimum light receiving operation pattern of outside light, that is, in the optimum operation pattern selection mode, setting control is performed so that the light emission is stopped, and in the normal operation mode, this is controlled to be released from the light emitting / receiving control signal generation unit 104. Control is performed so that light is emitted at a given timing and the target object is illuminated.
[0087]
A light emitting / receiving control signal generating means (timing signal generating means) 104 is prepared for performing timing control. The light emission / reception control signal generation unit 104 generates a signal for controlling the reflected light image acquisition unit 102 and the light emission unit 101 based on the setting information by the light reception / emission pattern selection / determination unit 202.
[0088]
The light emission / reception pattern selection / determination unit 202 has two modes, an optimum operation pattern selection mode and a normal operation mode. In addition, a plurality of the received light charge accumulation operation patterns are prepared in advance, and the optimum operation pattern selection is performed. In the mode, these various operation patterns are sequentially used to control the setting of the light emission / emission control signal generation means 104, thereby receiving light in the plurality of operation patterns. The light emission / reception pattern selection / determination unit 202 receives the evaluation result of the reflected light image obtained in each operation pattern from the evaluation unit 201, and selects the operation pattern with the best evaluation among these evaluation results. Determine the optimal operation pattern.
[0089]
Based on the output image of the reflected light image acquisition means 102, the evaluation means 201 evaluates the reflected light image obtained by each operation pattern, and gives it to the light receiving / emitting pattern selection / determination unit 202 to provide the optimum operation from the evaluation value. Although the pattern is determined, the light emitting / receiving pattern selection / determination unit 202 controls the light emitting unit 101 not to emit light while determining the optimum operation pattern. After the optimum operation pattern is determined, the normal operation mode is set, and the reflected light image acquisition unit 102 and the light reception / emission control signal generation unit 104 are controlled so that the light reception charge accumulation period according to the determined operation pattern is reached.
[0090]
The external light influence evaluation unit 201 evaluates how much the reflected light image includes fluctuations in external light. This reflected light image is acquired from the reflected light image acquisition means 102. The reflected light acquisition unit 102 outputs the difference between the image received by the first light receiving unit 109 and the image received by the second light receiving unit 110 as described above. The first light receiving means 109 outputs an image obtained by receiving light in the absence of light emitted from the light emitting means 101, and the second light receiving means 110 originally outputs an image output by receiving light in the presence of light from the light emitting means 101. However, in the optimum operation pattern selection mode, the light emission / reception pattern selection / determination unit 202 sets the light emission means 101 so that the light emission means 101 does not emit light (note that the light emission operation signal is not generated so as not to be generated). Of course, the light emission control signal generation means 104 may be controlled.
[0091]
In the optimum operation pattern selection mode, if the light emitting unit 101 does not emit light in this way, the reflected light image obtained from the reflected light image acquiring unit 102, that is, the image received by the first light receiving unit 109 is received. The difference output between the accumulated charge of the image and the accumulated charge of the image received by the second light receiving means 110 (difference reflected light image) shows only the fluctuation of the external light, so the brighter the reflected light image is, the more the influence of the external light is Will be receiving. In order to ensure the reliability of the evaluation value, for example, the average value is used by repeating the operation several times per operation pattern in the optimum operation pattern selection mode. That is, the average luminance of several frames of the reflected light image is obtained per operation pattern and output as an evaluation value.
[0092]
Next, the operation of the apparatus having such a configuration will be described with reference to the flowchart of FIG. This apparatus is in the optimum operation pattern selection mode at the initial stage. In this mode, first, the light emitting means 101 is prevented from emitting light (step S1). In other words, when the reflected light is taken, the light emitting / receiving pattern selection / determination unit 202 sets the light emitting means 101 so that the light emitting means 101 does not perform the light emitting operation even in the second charge accumulation period so as to be completely dark. To do.
[0093]
The light emission / reception pattern selection / determination unit 202 selects one light reception operation pattern from a plurality of types of operation patterns prepared in advance (step S2), and performs charge accumulation using that pattern to obtain a difference component. The control signal generation unit 104 is controlled, and the light reception / emission control signal generation unit 104 controls the reflected light image acquisition unit 102 according to the control signal generation unit 104 to perform the first charge accumulation and the second charge accumulation of the image of the target object 106. This is performed in units of operation periods corresponding to the operation patterns, and the difference component is obtained.
[0094]
Based on this, the evaluation means 201 evaluates the external light with this operation pattern (step s3). As an evaluation value of the influence of external light, for example, the average luminance of several frames of the reflected light image is used (of course, the darker the smaller the brightness). That is, the operation of obtaining the above difference component in one operation pattern is repeated a plurality of times, and the average value of the obtained difference components is obtained to obtain the evaluation value in the operation pattern.
[0095]
This evaluation result is given to the light emitting / receiving pattern selection / determination unit 202.
The light emission / reception pattern selection / determination unit 202 checks whether all patterns have been tried, and if there is an untrial pattern, selects one of the untrials as the next light reception operation pattern (steps S4 and S5). Then, in order to obtain a difference component by accumulating charges with the selected light receiving operation pattern, the light emitting / receiving control signal generating unit 104 is controlled, and the light receiving / emitting control signal generating unit 104 controls the reflected light image acquiring unit 102 accordingly. Then, the first charge accumulation and the second charge accumulation of the image of the target object 106 are performed for each operation period corresponding to the light receiving operation pattern, and the difference component is obtained. Based on this, the evaluation means 201 evaluates the external light with this operation pattern (step s3). This evaluation result is given to the light emitting / receiving pattern selection / determination unit 202.
[0096]
The light emission / reception pattern selection / determination unit 202 checks whether all the patterns have been tried, and if there is an untrial pattern, selects one of the untrials as the next light reception operation pattern (steps S4 and S5), and The above-described operation with the selected light receiving operation pattern is repeated for evaluation, but if all the patterns have been tested as a result of the determination in step S4, then the light receiving / emitting pattern selection / determination unit 202 is all The evaluation values in the respective patterns are compared, and one with the best evaluation value is selected as the optimum pattern (step S5).
[0097]
Next, the light emission / reception pattern selection / determination unit 202 instructs the light emission / reception control signal generation unit 104 and the light emission unit 101 to perform the light reception operation and the light emission operation at the pattern and timing that become the charge accumulation period of the selected light reception operation pattern. give. As a result, the light emission / reception control signal generation means 104 is set to perform the light emission command and the light reception operation with the selected operation pattern, and the light emission means 101 is released from the light emission stop state (steps S6 and S7). ).
[0098]
With this cancellation, the optimum operation pattern selection mode is changed to the normal operation mode. In the normal operation mode, the first light receiving means 109 receives light for the charge accumulation period according to the selected operation pattern in the absence of illumination by the light emitting means 101 (first charge accumulation period). During the accumulation period, the second light receiving means 110 receives light from the light emitting means 101 and takes the difference between them to obtain a reflected light image without the influence of external light.
[0099]
As described above, the present invention prepares a plurality of types of operation patterns with different charge accumulation periods, and provides an optimum operation pattern selection mode and provides the first light receiving means and the first light receiving means without illumination by the light emitting means. The operation pattern in which the light receiving means 2 receives the light and the difference output of the light receiving output (image output) by the both light receiving means is obtained for each operation pattern, and the difference image (reflected light image) is the darkest image. Is selected as an optimal operation pattern that is not affected by external light, and the normal operation mode is implemented using that pattern.
[0100]
In this way, a difference image is obtained for each of a plurality of types of operation patterns prepared in advance without using a light emitting means, the influence of external light is evaluated, a pattern showing the best evaluation value is selected, and then the selected pattern is selected. In order to obtain an image obtained by external light and an image illuminated by a light emitting means, and obtain the difference between the two as a reflected light image by the reflected light image obtaining means. As an evaluation value of the influence of external light, , For example, try to use the average brightness of several frames of reflected light image, try this evaluation with all the motion patterns prepared,flatBy selecting the operation pattern having the lowest average luminance (that is, the least affected by outside light), the first light receiving means having the least influence in the changing situation according to the changing situation of the outside light. The light receiving period of the second light receiving means is selected.
[0101]
For this reason, it becomes possible to obtain a reflected light image with an operation pattern that has the least influence on the response to the fluctuation of external light in the environment where the present system is installed.
The specific effect will be described below.
[0102]
FIG. 8 shows an example in which the fluctuation period of external light (solid line in the figure) is gentle, and FIG. 9 shows an example in which the fluctuation period of external light is fine. In the figure, the horizontal axis represents time, and the vertical axis represents the light intensity on the light receiving surface. When light is emitted, the output curve increases (the level increases) according to the amount of light emission. The light intensity integrated for a certain period of time (portions indicated by symbols L1 and L2 in the figure) corresponds to the amount of accumulated charge. Here, L1 is a charge accumulation amount by the second light receiving means 110 of the reflected light image acquiring means (reflected light extracting means) 102 when the light emitting means 101 emits light, and L2 is a first amount when the light emitting means 101 is not emitting light. This is an example in which the charge accumulation amount of the light reception output of the light receiving means 109 is the charge accumulation period t1.
[0103]
L 11 is the amount of charge accumulated by the second light receiving means 110 of the reflected light image acquiring means (reflected light extracting means) 102 when the light emitting means 101 emits light, and L 12 is the first amount when the light emitting means 101 is not emitting light. This is an example in which the charge accumulation amount of the light reception output of one light receiving means 109 is the charge accumulation period t2. However, t1 is sufficiently smaller than t2.
[0104]
The difference between L1 and L2, and the difference between L11 and L12 are considered to be reflected light portions, respectively. An incandescent bulb or an LED (light emitting diode) is used as the light source of the light emitting means 101. In recent years, an LED is generally used. In general, an LED (light-emitting diode) used as the light-emitting means 101 can output a stronger power instantaneously as the light emission time is shorter. Therefore, in the graph of FIG. It has risen greatly.
[0105]
Here, when the fluctuation of the outside light is gentle and large as shown in FIG. 8, the influence of the outside light fluctuation at the time of light emission and non-light emission can be reduced by shortening the light emission time of the light emitting means 101. Thus, the amount of reflected light can be detected satisfactorily (FIG. 8A). On the other hand, if the light emission time of the light emitting means 101 is lengthened, the outside light largely fluctuates during that time, and the fluctuation of the outside light is included in the difference between the accumulated charges during light emission and non-light emission, so that the accuracy is high. The amount of reflected light cannot be detected (FIG. 8B).
[0106]
Next, as shown in FIG. 9, when the fluctuation cycle of the external light is short (for example, when an inverter fluorescent lamp or the like is used for illumination in the room, this fluorescent lamp as the external light is several tens of kHz. As shown in FIG. 9A, the light emission time of the light emitting means 101 is shortened to the same degree as the fluctuation period of the external light, and the charge (t1) within this light emission period is accumulated. Then, if the fluctuation period of the external light and the phase of the light emission pulse from the light emitting means 101 are shifted, the influence of the external light is greatly changed, the error becomes remarkable, and the reflected light image component is excellent. It cannot be detected.
[0107]
Therefore, in this case, the light emission time of the light emitting means 101 is increased. That is, as shown in FIG. 9B, a long time t2 in which many fluctuation periods of the external light are included in the light emission time, and charge (t2) within this light emission period is accumulated. In this way, the influence of fluctuations in external light is reduced.
[0108]
If the fluctuation period of the external light is short, there is a method of causing the light emitting means 101 to emit light in a shorter time. However, in general, if light is emitted in a very short time, the drive frequency of the circuit increases, resulting in higher costs and higher power consumption.
[0109]
As described above, the present invention obtains an image of a target object only by external light (first light reception), emits light by a light emitting means, hits the target object, and captures reflected light from the target object as an image (second). In the device that obtains the difference component (reflected light image) and extracts the image of the target object from this, a plurality of operation patterns with different image signal acquisition periods (charge accumulation periods) are obtained. In addition, an optimum operation pattern selection mode is provided, and the first light reception and the second light reception are performed without illumination by the light emitting means, and the difference output between both light reception outputs (image output) is obtained for each operation pattern. The operation pattern in which the difference image (reflected light image) obtained by each is the darkest image is selected as the optimum operation pattern without the influence of outside light, and the operation in the normal operation mode (external light described above) is selected with that pattern. The first light receiving by themselves, in which the second light-receiving operation) obtained by performing light emission by the light emitting means and so as to be implemented.
[0110]
In this specific example, an optimum operation pattern selection mode is provided, and a plurality of patterns are automatically tested during this mode, and the optimum one is automatically determined. However, it is not limited to this, and a switching button is simply provided, and an operation pattern may be selected by the operator pressing this button. In this case, since there is no complicated process, the cost can be reduced. In this case, it is preferable to display the reflected light image on the screen so that the operator can select a mode with less noise while viewing the reflected light image on the screen. As described above, the present invention includes a case where an operation pattern is not automatically selected.
[0111]
Thereby, even when there is a change in external light, a reflected light image with high accuracy can be obtained, and therefore only the image of the target object can be extracted with high accuracy.
[0112]
When the image of the target object can be extracted from the image signal, the shape, movement, distance information, and the like can be acquired from the extracted image. For example, the reflected light from the place where the object exists has a certain value, and there is almost no reflected light from a distant background, so the shape of the object is extracted by dividing the reflected light image by the threshold value I can do it. Various feature quantities can be extracted from the shape. By analyzing the time series of shapes, it is possible to capture the movement and deformation of objects. In addition, since the unevenness of the object can be recognized as a difference in the amount of reflected light, the three-dimensional structure of the target object can be obtained.
[0113]
Accordingly, it is possible to easily perform a three-dimensional operation input, a three-dimensional instruction operation, and the like from such information. However, the present invention can strongly back up such a technique. Become.
[0114]
The present invention is not limited to the specific examples described above, and can be implemented with various modifications. In the present invention, the term “difference between two images” is often used in the specific examples. This has a strong conceptual meaning and does not necessarily mean that there are two images. As a general configuration, the unit light receiving cell has first and second charge accumulating units, and one image can be created using the charge amount of the first charge accumulating unit of all the cells. A second image is obtained using the charge amount of the second charge storage section. In this sense, it is “two images”, but since the difference between the two charge storage units is actually output for each cell when the light receiving means is output, the two images are not extracted outside. . Therefore, “two images” in this specific example does not necessarily mean that two visible images are output.
[0115]
In addition, the number of times of light emission per frame is not always one. For example, the operation of accumulating charges in the first charge accumulation unit 119 while emitting light and accumulating charges in the second charge accumulation unit 120 without emitting light may be repeated 10 times. Further, as shown in FIG. 10A, a difference circuit def and a third charge storage unit Ccg are further provided to emit light from the light emitting means. At this time, the charge based on the image electrical signal captured by the photoelectric conversion unit 118 Is stored in the first charge storage unit 119, and then the light emitting unit is in a state of no light emission. At this time, charges based on the electrical signal of the image captured by the photoelectric conversion unit 118 are stored in the second charge storage unit 120. Then, the difference between the accumulated charges of both the charge accumulation units 119 and 120 is obtained by the difference circuit def, and the obtained difference charge is transferred to the third charge accumulation unit Ccg, and the first and second charges The operation of resetting the storage units 119 and 120 may be repeated (see FIG. 10B).
In this case, there is only a difference in each cell, and it can be said that there are no longer two images. Including the above cases, the present invention is effective for all reflection image acquisition apparatuses and methods that have the same effect as taking the difference between two images.
[0116]
【The invention's effect】
As described above in detail, according to the present invention, the influence of external light can be suppressed, and a specific target object can be easily extracted with high accuracy. In obtaining distance information and the like, it is possible to provide an image input apparatus and an image input method capable of extracting a specific target object as a source from an image.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of a specific example to which the present invention is applied.
FIG. 2 is a diagram showing a more specific configuration example of the apparatus in FIG. 1;
3 is a detailed view of a configuration example of reflected light extraction means 102 in the apparatus of FIG.
4 is a diagram showing a schematic configuration of a unit light receiving cell PD for one pixel of the reflected light extraction unit shown in FIG. 3;
5 is a diagram showing temporal changes in control signals and light emission control signals for gates and the like and light intensity in the light receiving unit in the circuits of FIGS. 3 and 4. FIG.
FIG. 6 is a block diagram showing a specific example of the present invention.
FIG. 7 is a flowchart showing an operation example of the present invention.
FIG. 8 is a diagram for explaining an example of the operation of the present invention, showing an example in which the fluctuation period of external light (solid line in the figure) is gentle.
FIG. 9 is a diagram for explaining an example of the operation of the present invention, showing an example when the fluctuation period of external light (solid line in the figure) is fine.
FIG. 10 is a diagram for explaining another example of the present invention.
FIG. 11 is a diagram for explaining a conventional example and showing an example of a conventional three-dimensional pointing device.
[Explanation of symbols]
101: Light emitting means
102 ... is a reflected light image acquisition means (reflected light extraction means)
103. Feature information generating means
104... Light emitting / receiving control signal generating means (timing signal generating means)
201: Evaluation means for evaluating the influence of external light
202: Light emitting / receiving pattern selection / determination unit.

Claims (5)

対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、
前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、
前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、
を具備することを特徴とする画像入力装置。A light-emitting means for irradiating the target object with illumination light; and a light-receiving means for obtaining an image of the target object. In an image input device that acquires only light as an image,
Reflected light image acquiring means for suppressing irradiation of the light emitting means and acquiring a reflected light image according to a plurality of operation patterns of the light emitting means and the light receiving means provided in advance,
A selection / determination unit that selects an operation pattern having the smallest luminance value of the reflected light image per operation pattern as the optimum operation pattern among the plurality of operation patterns;
An image input device comprising: 対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、
前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、
前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、
前記選択された最適な動作パターンに従い、前記発光手段と前記受光手段の動作を制御する受発光制御手段と、
を具備することを特徴とする画像入力装置。A light-emitting means for irradiating the target object with illumination light; and a light-receiving means for obtaining an image of the target object. In an image input device that acquires only light as an image,
Reflected light image acquiring means for suppressing irradiation of the light emitting means and acquiring a reflected light image according to a plurality of operation patterns of the light emitting means and the light receiving means provided in advance,
A selection / determination unit that selects an operation pattern having the smallest luminance value of the reflected light image per operation pattern as the optimum operation pattern among the plurality of operation patterns;
In accordance with the selected optimum operation pattern, light emission and emission control means for controlling the operation of the light emitting means and the light receiving means,
An image input device comprising: 前記選択・決定手段は、１動作パターン当たりの反射光画像を得る動作を複数回繰り返した平均値を用いて最適な動作パターンを選択することを特徴とする請求項１または請求項２記載の画像入力装置。3. The image according to claim 1, wherein the selection / determination unit selects an optimum operation pattern using an average value obtained by repeating an operation of obtaining a reflected light image per operation pattern a plurality of times. Input device. 前記複数の動作パターンは、反射光画像を取得する期間をそれぞれ異ならせた動作パターンであることを特徴とする請求項１または請求項２記載の画像入力装置。The image input device according to claim 1, wherein the plurality of operation patterns are operation patterns having different periods for acquiring a reflected light image. 対象物体に照明光を照射し、前記対象物体の画像を得るために受光し、前記照射と受光が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力方法において、Image input that irradiates a target object with illumination light, receives light to obtain an image of the target object, and obtains only reflected light from the target object of illumination light as an image by synchronously operating the irradiation and light reception In the method
前記照射を抑止すると共に、予め備えた照射と受光との複数の動作パターンに応じて反射光画像を取得し、While suppressing the irradiation, a reflected light image is acquired according to a plurality of operation patterns of irradiation and light reception prepared in advance,
前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択することを特徴とする画像入力方法。An image input method comprising: selecting an operation pattern having the smallest luminance value of a reflected light image per operation pattern as an optimum operation pattern among the plurality of operation patterns.
JP02775297A 1996-10-18 1997-02-12 Image input apparatus and image input method Expired - Fee Related JP3625349B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP02775297A JP3625349B2 (en) 1997-02-12 1997-02-12 Image input apparatus and image input method
EP97118057A EP0837418A3 (en) 1996-10-18 1997-10-17 Method and apparatus for generating information input using reflected light image of target object
US08/953,667 US6144366A (en) 1996-10-18 1997-10-17 Method and apparatus for generating information input using reflected light image of target object
KR1019970054280A KR100298240B1 (en) 1996-10-18 1997-10-18 Information input device, information input method and solid state imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02775297A JP3625349B2 (en) 1997-02-12 1997-02-12 Image input apparatus and image input method

Publications (2)

Publication Number Publication Date
JPH10222646A JPH10222646A (en) 1998-08-21
JP3625349B2 true JP3625349B2 (en) 2005-03-02

Family

ID=12229763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02775297A Expired - Fee Related JP3625349B2 (en) 1996-10-18 1997-02-12 Image input apparatus and image input method

Country Status (1)

Country Link
JP (1) JP3625349B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2329287A1 (en) * 2000-01-21 2001-07-21 Symagery Microsystems Inc. Host interface for imaging arrays
US7692625B2 (en) * 2000-07-05 2010-04-06 Smart Technologies Ulc Camera-based touch system
JP2002229728A (en) * 2001-02-02 2002-08-16 Newcom:Kk Position detector with cmos linear image sensor
JP4311190B2 (en) * 2003-12-17 2009-08-12 株式会社デンソー In-vehicle device interface
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
JP5244677B2 (en) * 2009-04-03 2013-07-24 株式会社日立ハイテクノロジーズ Trolley wire wear amount detection optical system and trolley wire wear amount measuring device
JP5505693B2 (en) * 2009-11-04 2014-05-28 ソニー株式会社 DETECTING DEVICE, DETECTING METHOD, PROGRAM, AND ELECTRONIC DEVICE
JP2012068762A (en) * 2010-09-21 2012-04-05 Sony Corp Detection device, detection method, program, and electronic apparatus
JP6379646B2 (en) * 2014-05-09 2018-08-29 株式会社リコー Information processing apparatus, measurement method, and program

Also Published As

Publication number Publication date
JPH10222646A (en) 1998-08-21

Similar Documents

Publication Publication Date Title
JP3410919B2 (en) Image extraction device
US6144366A (en) Method and apparatus for generating information input using reflected light image of target object
JP3321053B2 (en) Information input device, information input method, and correction data generation device
CN105190426B (en) Time-of-flight sensor binning
US20190392247A1 (en) Enhanced Contrast for Object Detection and Characterization By Optical Imaging Based on Differences Between Images
US8696459B2 (en) Measurement and segment of participant&#39;s motion in game play
JP6270813B2 (en) Motion sensor device having a plurality of light sources
JP3868621B2 (en) Image acquisition apparatus, image acquisition method, and recording medium
JP4831267B2 (en) Information processing apparatus, information processing method, program, and electronic apparatus
JP6299983B2 (en) Motion sensor device having a plurality of light sources
CN107066962B (en) Enhanced contrast for object detection and characterization by optical imaging
JP6110862B2 (en) Object distance determination from images
CN110298874A (en) Structured light patterns based on single image sensor and in the visible spectrum capture the method and device of image and related threedimensional model
JPH1185386A (en) Image pickup module and image pickup device
JP3625349B2 (en) Image input apparatus and image input method
JP2011188024A (en) Information processing unit, method of processing information, and program
CN102402283A (en) Information processing device, information processing method, and program
CN108983998A (en) The trajectory track device of working surface applicability can be increased
TWI526706B (en) Image system
JP3785148B2 (en) Image extraction device
JP2006127539A (en) Device for extracting image
JP3591808B2 (en) Image input device and method and recording medium
JP3625390B2 (en) Image acquisition apparatus and method
JP7222391B2 (en) Information processing device, information processing method, and program
JP2000221574A (en) Image pickup module equipped with switching means

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041129

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081210

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees