JPH10222285A - 画像抽出装置 - Google Patents

Abstract

(57)【要約】 【課題】外光のみの画像と照明光照射画像の差の画像を
得るにあたり、外光変動の影響を排除できるようにす
る。 【解決手段】対象物体106 に照明光を照射する発光手段
101 と、対象物体の画像を得る受光手段102 とを有し、
発光手段による照明光の非照射時での対象物体画像と、
発光手段による照明光の照射時での対象物体画像を発光
手段により夫々同一検出時間を以て得ると共に、得られ
た両画像の差成分を求めることにより、対象物体画像を
抽出する装置において、外光変動を検出する手段203
と、この検出値に応じ、差成分から求めた対象物体の画
像の採否を決定する手段204 とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は注目すべき対象物体
を発光手段により照明して得た像と、照明しない像とを
撮影し、両画像の差の画像を求めてこれより当該対象物
体を抽出する画像抽出装置に関するものである。

【０００２】

【従来の技術】コンピュータへの入力デバイスとしては
種々のものがあるが、その中でもマウスはキーボードと
並んで最もポピュラーな入力デバイスの一つとして広く
使用されている。しかしながら、マウスで操作できるこ
とは、カーソルの移動と、メニューの選択などであり、
あくまでも２次元のポインティングデバイスとしての役
目を担うに過ぎない。つまり、マウスで扱えるのは、せ
いぜい２次元の情報であり、３次元空間のなかの物体な
ど奥行きがあるものを選択することは難しい。そして、
例えば、コンピュータでアニメーションを作成する場合
を考えてみると、キャラクタの動きをつけるのに、マウ
スのような入力デバイスによる操作情報の入力操作で
は、自然な動きをつけることが難しい。

【０００３】また、マルチモーダルの分野で、ゼスチャ
ー、すなわち、手の仕草や体の動き、そして、姿勢など
を操作情報として入力することで、音声やキーボード、
そして、マウスやトラックボールなどの入力情報と相補
い合って人間の自然なコミュニケーションに近い形で装
置を扱えるようにしたいという要望もある。

【０００４】そこで、近年、３次元空間でのポインティ
ングの難点を補い、また、マルチモーダル分野などにお
いて多様な入力操作を可能にする技術の一つとして、人
間の自然なゼスチャーを認識できるようにする３次元ポ
インティングデバイスが開発されている。

【０００５】例えば、図２５のような提案である。この
デバイスは、本体中央にボール状操作部があり、また、
周辺部にテンキーを備えて構成したものであって、ボー
ル状操作部部分の“前方を押す”、“中央を押す”、
“後方を押す”、ボール状操作部部分の“全体を持ち上
げる”、“全体を右に回す”、“左に回す”というよう
に、６通りの操作が可能であり、６自由度ある。

【０００６】そして、この６自由度を割り振ることで、
３次元空間内のカーソルの位置（ｘ．ｙ，ｚ）と向き
（ｘ軸，ｙ軸，ｚ軸）制御したり、あるいは、３次元空
間に対する視点位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ
軸，ｚ軸）を制御できる。

【０００７】しかし、この３次元ポイティングデバイス
はかなりの熟練が必要であって、実際に操作してみる
と、カーソルや視点の制御が思うようにはできないとい
う問題がある。例えば、左右に回そうとすると、前方あ
るいは後方を押してしまい、思わぬ方向にカーソルが動
いたり、視点が動いたりしてしまうといった具合であ
る。

【０００８】このような３次元ポインティングデバイス
に対して、手振りや身ぶりを使って入力するデバイスも
開発されている。データグローブやデータスーツ、サイ
バーグローブと呼ばれるものである。これらのうち、例
えば、データグローブは手袋状のデバイスであって、表
面に光ファイバが走つている。この光ファイバは、指の
関節まで通っており、指を曲げることにより、光の導通
が変わることを利用している。そして、この光の導通量
を計測することで、各指の関節がどの程度曲がっている
かを知るようにするものである。

【０００９】手自体の３次元空間内の位置は、手の甲に
設けた磁気センサによつて計測するようになっている。

【００１０】そのため、人差し指をたてれば、「前進す
る」といった具合に、身ぶりとそれに対応する指示を決
めておけば、データグローブを使って、３次元空間内を
種々に視点を変えて、ちょうど、歩き回るかのように
（ウオークスルーという）操作することができる。

【００１１】しかし、このような３次元ポインティング
デバイスにも問題点がいくつかある。

【００１２】第１には、価格が高価であり、家庭用など
に使用することは難しいという点である。

【００１３】また、第２には、指の関節の角度を計測し
ているので、誤認識が避けられないという点である。例
えば、人差し指だけ伸ばし、他の指は曲げた状態を前進
指示と定義したとする。実際に指を伸ばすといっても、
人差し指の第２関節の角度が１８０度に完全になってい
ることは少ないので、遊び分を設定しておかないと、指
を伸ばしきったとき以外は、「伸ばしている」と認識す
ることができない。

【００１４】また、操作者にはデータグローブを装着す
ることになるので、自然な操作が阻害され、装着するた
びに、手の開いた状態と閉じた状態において、光の導通
状態を校正せねばならないので、手軽に使用することが
できない。また、光ファイバを使っているため、継続的
に使用していると、ファイバが断絶するなど消耗品に近
いという問題がある。

【００１５】また、このように、高価で、手間がかかる
デバイスである割には、手袋の大きさが、ぴったり合っ
ていないと、使っているうちにずれたりして校正した値
からずれるために、細かな手振りを認識することは難し
いという問題もある。

【００１６】このように、種々の問題を抱えているため
に、データグローブは、ＶＲ（バーチャルリアリティ）
技術のトリガーとなったデバイスであったにもかかわら
ず、当初の期待ほど、普及しておらず、また、低価格化
もなされておらず、使い勝手の点で問題が多い。

【００１７】そこで、このデータグローブのような特殊
な装置を装着することなく、手振りや身ぶりを入力しよ
うとする試みが、いくつかなされている。例えば、ビデ
オ映像などの動画像を解析して、手の形を認識するとい
った技術である。しかし、これは背景画像から目的とす
る画像を切り出す技術が必要であり、従って、手振りの
認識の場合には、手のみを切り出すことが必要であっ
て、これが技術的にかなり難しいという問題がある。

【００１８】例えば、画像中の手の部分を、色情報を条
件に切り出す場合を考えてみる。手の色は肌色であるの
で、肌色の画像情報を持つ画素部分のみを切り出すよう
な方式が考えられるが、背景にベージュ色の洋服や、壁
があったりすると、手の部分に相当する肌色の画素のみ
を識別することはできない。また、調整を行って、ベー
ジュと肌色を区別できるようにしても、照明が変われ
ば、色調が変化してしまうために、定常的に切り出すこ
とは困難である。

【００１９】このような問題を回避するために、背景に
ブルーマットをおくというように、背景画像に制限を置
き、切り出しを容易にする方策も採られている。あるい
は、指先に背景からの切り出しが容易になるような色を
つける、あるいは色のついた指輪をはめるというような
方策も採られている。しかし、このような制限は現実的
でなく、実験的には利用されているものの、実用化には
至っていない。

【００２０】ところで、手の仕草を認識するに利用可能
な別の技術として、レンジファインダと呼ばれる、距離
画像を入力する装置の応用が考えられる。このレジンジ
ファインダの代表的な原理は、スポット光あるいはスリ
ット光を対象物体に照射し、その反射光の受光位置から
三角測量の原理で求めるといったものである。

【００２１】そして、２次元的な距離情報を求めるため
に、スポット光あるいはスリット光を機械的に走査して
いる。この装置は非常に高精度な距離画像を生成するこ
とができるが、その反面、装置の構成が大掛かりにな
り、高コストになる。また入力に時間がかかり、実時間
で処埋を行わせるのは困難である。また、手や身体の一
部に色マーカーや発光部を取り付け、画像によりそれら
を検出し、手・身体の形、動きなどを捉える装置もあ
り、一部実用化されている。しかし使用者の利便性を考
えると、操作の度に装置を装着しなくてはならないとい
うのは大きなデメリットであり、応用範囲を非常に制約
する。また、データグローブの例に見られるように、装
置を手などの可動部に装着して使用する装置は耐久性が
問題になりやすい。

【００２２】次に、以上のような入力デバイスとは別
に、カメラ技術の従来技術についての問題点を述べる。
従来のカメラ技術では、背景に対して、キャラクタの合
成（クロマキー）を行うには、予め、ブルーバックでキ
ャラクタを撮影して、キャラクタの切り出しを容易にす
る必要があった。

【００２３】このため、ブルーバックで撮影ができるス
タジオなど、撮影場所に制限があった。または、ブルー
バックでない状態で撮影した映像から、キャラクタを切
り出すには、コマ毎にキャラクタの切り出し範囲を人手
で編集せねばならないので、非常な手間がかかってい
た。同様に、キャラクタを３次元空間の中に生成するに
は、予め３次元のモデルをつくっておき、そこにキャラ
クタの写真を貼り付ける（テクスチャマッピング）を行
うような方式をとっている。しかし、３次元モデルの生
成、および、テクスチャマッピングには手間がかかり、
映画制作など経費がかかってもよい用途以外では、事実
上ほとんど使えなかった。

【００２４】

【発明が解決しようとする課題】このように従来では、
特殊な装置を装着することなく、簡易にジェスチャや動
きを入力できる直接指示型の入カデバイスが存在しなか
った。特に、３次元空間でのポインティングや視点の変
更を容易に行える簡易なデバイスは存在しなかった。ま
た、ユーザのジェスチャや動きをそのまま使って、アニ
メーションのキャラクタなどに自然な動きをつけたりす
ることができなかった。さらに、従来のカメラでは、特
定のキャラクタだけを切り出したり、キャラクタの奥行
き情報を容易に入力できなかった。

【００２５】このような背景から、本発明者等は所定時
間だけ照明光を対象物体に照射して得た画像と、外光の
みの光があたる環境下で得た対象物体の画像との差の成
分の画像を得、この差の成分の画像から対象物体のみの
画像を抽出する技術を開発し、更に、この抽出した対象
物体のみの画像を元に、その形状、動き、距離情報など
を算出し、これらを情報として利用することで仕草や、
３次元操作情報などを簡易に与えることができるように
した技術を開発し、特許出願した（特願平８−２７５９
４９号参照）。

【００２６】この技術の考え方は、照明光を対象物体に
照射して得た画像と、外光のみの光があたる環境下で得
た対象物体の画像との差の成分の画像を得ると、背景な
どが遠い場合、それは対象物体のみの画像成分となるこ
とに着目して、対象物体部分の画像切り出しを簡易に行
えるようにしたこと、つまり、物体が存在している場所
からの反射光はある程度の値を持ち、遠い背景からの反
射光はほとんど無いため、反射光の画像をしきい値で分
けることにより、物体の形状を抽出することが出来るこ
と、また、その形状から様々な特徴量を抽出することが
出来ること、そして、このような形状の時間的連なりを
解析することで、物体の動きや変形などを捉えることが
出来ること、さらには物体の凹凸を反射光量の違いとし
て捉えられるため、対象物体の立体構造を得ることも出
来るなどのことから、対象物体の切り出しが容易にでき
れば、その対象物体の様々な情報を演算で求めることが
できる。

【００２７】そのため、仕草を操作指令情報として与え
たり、３次元操作情報を身振り手振りで入力するなどの
ことが容易に実現できるようになる。

【００２８】しかしながら、ここで解決しておかなけれ
ばならない問題が一つある。それは、外光の変動による
対象物体の切り出し精度への影響である。外光は自然光
であったり、室内照明光であったり、環境により様々で
ある。しかも、これらは、安定したものであれば問題が
ないが、緩やかな変化を伴う場合、あるいは細かく短い
周期で変化する場合などが普通であり、このような変化
を伴う外光を利用しなければならない場合に、外光によ
る画像と、照明光照射をした画像とを、漠然と一定の時
間ずつ撮像するのでは、抽出された画像は誤差の多い画
像となってしまう。

【００２９】従って、外光の変動があっても、抽出対象
（切り出し対象）の物体の画像を容易に高精度で抽出可
能な技術の確立が強く嘱望される。

【００３０】また、光は距離の２乗に反比例して減衰す
る。そのため、対象物体の像を受光して得る受光手段と
対象物体との距離が定まっていないと、その遠近により
対象物体からの反射光量が変わり、最適状態での画像の
抽出ができない。この問題も解決する必要がある。

【００３１】そこで、この発明の第１の目的とするとこ
ろは、外光の変動のある環境において、特定の対象物体
を容易に高精度に抽出することができるようにした画像
抽出装置を提供することにある。

【００３２】また、第２の目的は、対象物体と受光手段
との距離が変わっても、最適状態の画像抽出が可能な画
像抽出装置を提供することにある。

【００３３】

【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。すなわち、対象物体
に照明光を照射する発光手段と、前記対象物体の画像を
得る受光手段とを有し、発光手段による照明光の非照射
時での前記対象物体の画像と、発光手段による照明光の
照射時での前記対象物体の画像を前記受光手段によりそ
れぞれ所定の同一検出時間を以て得ると共に、得られた
両画像の差成分を求めることにより、前記対象物体の画
像を抽出する装置において、第１には、前記照明光の発
生する波長成分の光を除去する除去手段と、前記対象物
体の置かれる環境下での光量を前記除去手段を介して検
出する検出手段と、この検出手段による検出出力から前
記対象物体のおかれる環境の明るさの状態を判断して前
記受光手段により得た前記差成分の画像の採否を決める
手段とを備える。

【００３４】第２には、前記照明光の発生する波長成分
の光を除去する除去手段と、前記対象物体のおかれる環
境下での光量を前記除去手段を介して検出する検出手段
と、この検出手段による検出出力から前記対象物体のお
かれる環境の明るさの状態を検出し、変動の周期情報を
出力する手段と、この変動の周期情報に基づく変動周期
に同期して前記発光手段と前記受光手段を駆動制御する
手段とを備える。

【００３５】第３には、前記対象物体のおかれる環境を
常時、照明する照明手段と、この照明手段の光量を制御
する手段とを備える。

【００３６】第４には、前記発光手段の発光量を異なら
せた複数種の発光モードを持ち、決定された発光モード
で前記発光手段の発光を実施させるべく制御する手段
と、前記発光手段を前記いずれかの発光モードで予備発
光させる手段と、前記受光手段より前記予備発光時の前
記対象物体の画像情報を得て、この画像情報から、最適
となる発光モードを決定し、前記制御手段に与える決定
手段とを備える。

【００３７】第５には、前記発光手段の発光量を異なら
せた複数種の発光モードを持ち、これらの発光モードを
順次選択して、その発光モードで前記発光手段の発光を
実施させるべく制御する手段と、前記各種の発光モード
での発光動作時にそれぞれ前記受光手段から得た差成分
の画像を合成する手段とを備える。

【００３８】本発明は、対象物体に照明光を照射する発
光手段と、前記対象物体の画像を得る受光手段とを有
し、発光手段による照明光の非照射時での前記対象物体
の画像と、発光手段による照明光の照射時での前記対象
物体の画像を前記受光手段によりそれぞれ所定の同一検
出時間を以て得ると共に、得られた両画像の差成分を求
めることにより、前記対象物体の画像を抽出する場合
に、第１の目的を達成すべく、上記第１乃至第３の構成
を採用した。

【００３９】そして、第１の構成の場合、照明光の発生
する波長成分の光を除去する除去手段を介して検出手段
は前記対象物体の置かれる環境下での光量を検出する。
これにより環境下での光量の監視が可能になる。検出手
段のこの検出出力から前記対象物体のおかれる環境の明
るさの状態を判断して前記受光手段により得た前記差成
分の画像の採否を決める。

【００４０】その結果、環境下の光変動の大きさが画質
に影響を及ぼす程度のものとなっている状態で取得され
た差成分の画像は採用しないようにし、画質に支障のな
い範囲の光変動のときの画像のみを取捨選択して利用で
きるようになる。

【００４１】また、第２の構成の場合、照明光の発生す
る波長成分の光を除去する除去手段を介して、検出手段
により前記対象物体のおかれる環境下での光量を検出す
る。この検出出力から前記対象物体のおかれる環境の明
るさの状態を検出し、変動の周期情報を得る。そして、
この変動の周期情報に基づく変動周期に同期して前記発
光手段と前記受光手段を駆動制御する。

【００４２】この結果、環境下の光に周期的変動があっ
た場合に、その変動周期に同期した発光手段の発光と、
受光手段による画像取得ができ、従って、発光手段によ
る対象物体からの反射光成分による画像を精度良く取得
できるようになる。

【００４３】また、第３の構成の場合、対象物体のおか
れる環境を常時、照明する照明手段を光量制御する手段
を設けたことで、安定した光量の環境下での画像取得が
でき、従って、発光手段による対象物体からの反射光成
分による画像を精度良く取得できるようになる。

【００４４】差成分（差分画像）を取得するにあたり、
外光のみの環境下での対象物体の画像と、照明光を照射
させて得た対象物体の画像とを得るが、これらの画像は
それぞれ同じ所定の期間、撮像装置である受光手段の検
出出力（画像信号を電荷として蓄積したもの）を得る。
そして、外光の状況に変動があると外光のみの環境下で
の取得画像と、照明光を当てて得た段階での取得画像中
それぞれでの外光成分が異なったものとなってしまう。
これは雑音成分となり、対象物体のみの画像の抽出精度
に影響を与える。

【００４５】本発明によれば、これを解消できる。

【００４６】また、本発明は、対象物体に照明光を照射
する発光手段と、前記対象物体の画像を得る受光手段と
を有し、発光手段による照明光の非照射時での前記対象
物体の画像と、発光手段による照明光の照射時での前記
対象物体の画像を前記受光手段によりそれぞれ所定の同
一検出時間を以て得ると共に、得られた両画像の差成分
を求めることにより、前記対象物体の画像を抽出する場
合に、第２の目的を達成すべく、上記第４及び第５の構
成を採用した。

【００４７】そして、第４の構成の場合、発光手段の発
光量を異ならせた複数種の発光モードを用意する。そし
て、最初に発光手段に予備発光をさせ、このときの対象
物体の画像を取得して、その画像の状態から、上記複数
種の発光モードのうちから、現状で最適の状態の画像が
取得し得る最適発光モードを決定し、この決定された発
光モードで前記発光手段の発光を実施させるべく制御す
る。

【００４８】予備発光で画像の状態を調べ、最適な画像
が取得可能な発光モードを決定してそのモードで本番で
の発光手段の発光を行い、得られた画像から差分の画像
の取得をするようにしたので、対象物体と受光手段との
距離が変わっても、最適状態の画像抽出が可能な画像抽
出装置を提供できる。

【００４９】また、第５の構成の場合、発光手段の発光
量を異ならせた複数種の発光モードを用意する。そし
て、これらの発光モードを順次選択して、その発光モー
ドで前記発光手段の発光を実施させる。そして、これら
各種の発光モードでの発光動作時にそれぞれ前記受光手
段から得た差成分の画像を合成し、対象物体の差成分の
画像として用いるようにする。その結果、対象物体と受
光手段との距離が変わっても、最適状態の画像抽出がで
きる画像抽出装置を提供できる。

【００５０】差成分（差分画像）を取得するにあたり、
外光のみの環境下での対象物体の画像と、照明光を照射
させて得た対象物体の画像とを得るが、これらの画像は
それぞれ同じ所定の期間、撮像装置である受光手段の検
出出力（画像信号を電荷として蓄積したもの）を得る。
そして、光の強さは距離の２乗に反比例するので、対象
物体の距離の変動は得た差分画像の品質に影響を与え
る。

【００５１】本発明によれば、これを解消できる。

【００５２】

【発明の実施の形態】本発明は、光源より発光して対象
物体に光をあて、この対象物体による反射光を画像とし
て捉えることにより、その形状、動き、距離などの情報
を得ることができるようにした装置において、この発明
では発光と電荷蓄積の動作パターンを複数種、用意して
おき、外光の状況に応じて使い分けることにより、どの
ような外光状態にあっても精度良く反射光画像が得られ
るようにしたもので、以下、詳細を説明する。

【００５３】はじめに本発明を適用する装置の基本構成
を説明する。

【００５４】＜情報入力生成装置の構成例＞図１は、本
発明を適用する対象の一つとしての情報入力生成装置の
構成例である。図１に示すように本装置は、発光手段１
０１、反射光抽出手段１０２、特徴情報生成手段１０
３、タイミング信号生成手段１０４、とからなる。

【００５５】これらのうち、発光手段１０１はタイミン
グ信号生成手段１０４によって生成されるタイミング信
号に従って時間的に強度変動する光を発光する。この光
は発光手段１０１の前方にある対象物体に照射される。
また、反射光抽出手段１０２は、この発光手段１０１が
発した光の対象物体による反射光を抽出する。これはさ
らに好適には、反射光の空間的な強度分布を抽出する。
この反射光の空間的な強度分布は画像として捉えること
が出来るので、以下では反射光画像と呼ぶ。

【００５６】反射光抽出手段１０２は、対象物体からの
反射光を抽出するものであり、光の量を検出する受光部
を持つが、当該受光部は一般的に、発光手段１０１の光
の前記対象物体による反射光だけでなく、照明光や太陽
光などの外光も同時に受光する。そこで反射光抽出手段
１０２は、発光手段１０１が発光しているときに受光し
た光の量と、発光手段１０１が発光していないときに受
光した光の量の差をとることによって、発光手段１０１
からの光の前記対象物体による反射光の成分だけを取り
出す。このことは言い換えれば、発光手段１０１を制御
する信号を生成するタイミング信号生成手段１０４によ
って、反射光抽出手段１０２もまた制御されることを示
す。

【００５７】特徴情報生成手段１０３は、反射光画像よ
り様々な特徴情報を抽出するものである。この特徴情報
あるいは特徴情報の抽出方法は様々考えられる。これに
より例えば、対象物体が手であったとして、当該手の反
射光画像の特徴情報から、ジェスチャーやポインティン
グなどの情報を得ることができることになって、この得
られた情報によりコンピュータなどの操作を行うことが
できる。また対象物体の立体情報を抽出し、利用するこ
ともできる。なお、当該特徴情報生成手段１０３は、必
ずしも必要ではなく、例えば反射光抽出手段１０２で得
られた反射光画像そのものを入力したり利用したりする
こともできる。

【００５８】本発明の目的を明確にするために、本発明
が改善しようとした技術対象としての情報入力生成装置
について詳しく述べる。図２は、情報入力生成装置のよ
り具体的な構成例である。

【００５９】図２を参照して説明すると、発光手段１０
１より発光された光は、対象物体１０６に反射して、受
光光学系１０７により、反射光抽出手段１０２の受光面
上に結像する。反射光抽出手段１０２は、この反射光の
強度分布、すなわち反射光画像を検出する。反射光抽出
手段１０２は、第１の受光手段１０９、第２の受光手段
１１０および差分演算部１１１からなる。第１の受光手
段１０９と第２の受光手段１１０は、それぞれ上記受光
面に結像された光学像を検出して受光量対応の画像信号
に変換するものであり、それぞれ異なるタイミングで受
光動作を行う。そして第１の受光手段１０９が受光状態
にあるときに発光手段１０１を発光させ、第２の受光手
段１１０が受光しているときには発光手段１０１を発光
させないように、タイミング制御手段１１２がこれらの
動作タイミングを制御する。

【００６０】これにより第１の受光手段１０９は発光手
段１０１からの光の物体による反射光と、それ以外の太
陽光、照明光などの外光とを受光してその受光量を検出
する。

【００６１】一方、第２の受光手段１１０は外光のみを
受光する。両者が受光するタイミングは異なっているが
近いので、この間における外光の変動は無視できる。従
って、第１の受光手段１０９で受光した像と第２の受光
手段１１０で受光した像の差分をとれば、これは発光手
段１０１の光の物体による反射光の成分に対応するもの
であり、これによって発光手段１０１の出力光の、物体
による反射光成分対応画像が抽出されることになる。

【００６２】そして、この差分を得るのが差分演算部１
１１であり、この差分演算部１１１が第１の受光手段１
０９と第２の受光手段１１０で受光した像の差分を計算
して出力する。反射光抽出手段１０２については、さら
に詳細な構成について後述する。

【００６３】反射光抽出手段１０２は反射光画像の各画
素の反射光量をシーケンシャルに出力する。反射光抽出
手段１０２からの出力はアンプ１１３によって増幅さ
れ、アナログ信号をディジタルデータに変換するＡ／Ｄ
変換器ｌｌ４によってデジタルデータに変換された後、
メモリ１１５に蓄えられる。そして、しかるべきタイミ
ングでこのメモリ１１５より当該蓄えられたデータが読
み出され、特徴情報生成手段１０３において処理され
る。

【００６４】これら全体の制御はタイミング制御手段１
１２が行う。

【００６５】検出の対象物体が人間の手である場合、発
光手段１０１としては人間の目に見えない、近赤外光を
分光する発光装置を用いるようにすると良い。この場
合、人間には発光手段１０１からの光が見えないため、
眩しさを感じずに済む。また、発光手段１０１を近赤外
光発光の装置とした場合、受光光学系１０７には図示し
ない近赤外光通過フィルタを設ける。このフィルタは、
発光波長である近赤外光を通過し、可視光、遠赤外光を
遮断する。従つて、外光の多くをカットしている。

【００６６】ところで物体からの反射光は、物体の距離
が大きくなるにつれ大幅に減少する。物体の表面が一様
に光を散乱する場合、受光側でみた場合、反射光画像１
画素あたりの光量は、物体までの距離の２乗に反比例し
て小さくなる。従って、本発明の多次元情報入力生成装
置の前に対象物体１０６を置いたとき、背景からの反射
光はほぼ無視できるくらいに小さくなり、物体のみから
の反射光画像を得ることが出来る。例えば、多次元情報
入力装置の前に対象物体１０６である手を持ってきた場
合、その手からの反射光画像のみが得られることにな
る。

【００６７】この時、反射光画像の各画素値は、その画
素に対応する単位受光部で受光した反射光の量を表す。
反射光量は、物体の性質（光を鏡面反射する、散乱す
る、吸収する、など）、物体面の向き、物体の距離、な
どに影響されるが、物体全体が一様に光を散乱する物体
である場合、その反射光量は物体までの距離と密接な関
係を持つ。

【００６８】手などはこのような性質を持つため、手を
差し出した場合の反射光画像は、手の距離、手の傾き
（部分的に距離が異なる）、などを反映する。従ってこ
れらの特徴情報を抽出することによって、様々な情報の
入力・生成が可能になる。

【００６９】立体形状を抽出したい場合には、距離情報
が高い分解能で求められる方が良い。このような場合、
アンプ１１３としては対数アンプを用いると良い。受光
部の受光量は物体までの距離の２乗に反比例するが、対
数アンプを用いると、その出力は、距離に反比例するよ
うになる。このようにすることで、ダイナミックレンジ
を有効に使うことができる。

【００７０】＜反射光抽出手段１０２の詳細な説明＞図
３は、反射光抽出手段１０２の構成の一例をさらに詳細
に表したものである。図３に示す反射光抽出手段１０２
はＣＭＯＳセンサと呼ばれる受光素子を示しており、こ
の反射光抽出手段１０２は反射光の強度分布を捉えるこ
とができるようにするために、複数の単位受光部PDを備
えていて、ひとつの単位受光部ＰＤと反射光画像の一画
素が対応している。この図では簡単のため２×２画素の
構成で示す。点線で囲まれた部分１１７が一画素分の単
位受光部ＰＤであり、一画素分の単位受光部ＰＤの概略
構成を図４に示す。

【００７１】先の例との対応を取ると、第１の受光手段
１０９の一画素分と第２の受光手段１１０の一画素分
で、１つの単位受光部PDを構成している。１つの単位受
光部PDは１つの光電変換部１１８と、２つの電荷蓄積部
１１９、１２０を持っている。光電変換部１１８と電荷
蓄積部１１９、１２０の間にはいくつかのゲート（この
例では１２２，１２３）があり、これらのゲートの制御
によつて光電変換部１１８で発生した電荷を、二つの電
荷蓄積部１１９，１２０のうちのいずれの電荷蓄積部に
導くかを選択できるようになっている。このゲートの制
御信号と発光部の発光制御信号を同期させる。

【００７２】発光制御パルス１２８は発光手段を制御す
る信号である。ここではパルス発光を行う。発光制御パ
ルスのレベルが“ＨＩＧＨ”のとき発光手段１０１が発
光し、“ＬＯＷ”のときは発光しない。

【００７３】この発光制御信号に対し、実際の光は発光
手段１０１の発光源として用いられている発光素子の時
間応答によってなまり、図５に符号１２９を付して示す
波形のように変化する。受光部には、ＳＡＭＰＬＥ１
（符号１３１を付して示す波形）、ＳＡＭＰＬＥ２（符
号１３２を付して示す波形）、ＴＲＡＮＳＦＥＲ, ＲＥ
ＳＥＴ（符号１３０を付して示す波形）の制御信号が与
えられる。

【００７４】ＴＲＡＮＳＦＥＲは、光電変換部１１８で
発生した電荷を次段に転送するためのゲートを制御する
信号であり、この信号が“ＨＩＧＨ”のとき、光電変換
部１１８に蓄積された電荷が転送される。電荷蓄積後、
出力部へ電荷転送するときは、このゲートが閉じ、光電
変換部１１８で発生した電荷が出力ゲートへ流れないよ
うにする。ＲＥＳＥＴ １３０はリセット制御信号であ
る。

【００７５】ＴＲＡＮＳＦＥＲが“ＨＩＧＨ”の時、Ｒ
ＥＳＥＴが“ＨＩＧＨ”になると、リセットゲート１２
４が開き、光電変換部１１８にたまっていた電荷は、ト
ランスファー・ゲート１２１、リセット・ゲート１２４
を経て、排出される。ＳＡＭＰＬＥ１、ＳＡＭＰＬＥ２
の２つの制御信号は、２つの電荷蓄積部１１９、１２０
に、光電変換部１１８からの電荷を導くためのゲート１
２２, １２３を制御する信号である。

【００７６】これらの制御信号の変化と、単位受光部PD
の動作を次に説明する。

【００７７】単位受光部PDでは、電荷蓄積期間において
は、トランスファー・ゲート１２１は開き続けている。
まず、リセット・ゲート１２４を開くことにより、光電
変換部１１８とサンプル・ゲート１２２、１２３の間に
たまった不要電荷を排出する。リセット・ゲート１２４
を閉じることで、光電変換部１１８とサンプル・ゲート
の間に、光電変換されてできた電荷が蓄積されはじめ
る。

【００７８】一定時間の後、第１のサンプル・ゲート１
２２が開くと、蓄積されていた電荷が、第１の電荷蓄積
部１１９に転送される。従って、ＲＥＳＥＴ １３０が
“ＬＯＷ”になってから、ＳＡＭＰＬＥ１ １３１が
“ＬＯＷ”になるまでの蓄積期間である図５上の“蓄積
期間１”の間に光電変換された電荷が、第１の電荷蓄積
部１１９に蓄積される。第１のサンプル・ゲート１２２
が閉じた後、再びリセット・ゲート１２４を開いて不要
電荷を排出した後、リセット・ゲートを閉じ、一定時間
の後に今度は第２のサンプル・ゲート１２３を開き、第
２の電荷蓄積部１２０に、光電変換で生成された電荷を
転送する。この時も同様に、ＲＥＳＥＴが“ＬＯＷ”に
なってからＳＡＭＰＬＥ２が“ＬＯＷ”になるまでの蓄
積期間である図５上の“蓄積期間２”の間に光電変換さ
れた電荷が第２の電荷蓄積部１２０に蓄積される。この
とき“蓄積期間１”と“蓄積期間２”は同じ長さの時間
である。

【００７９】ここで、“蓄積期間１”なる電荷蓄積期間
においては、発光手段１０５が発光しており、“蓄積期
間２”なる電荷蓄積期間においては、発光手段１０５は
発光しない。

【００８０】このことにより、第１の電荷蓄積部１１９
には、発光手段１０１からの光が物体に反射した光と、
照明光、太陽光などの外光の両方によって生成された電
荷が蓄積され、一方、第２の電荷蓄積部１２０には、外
光のみによって生成された電荷が蓄積される。

【００８１】“蓄積期間１”なる電荷蓄積期間と“蓄積
期間２”なる電荷蓄積期間は時間的に近いので、この間
での外光の大きさの変動は十分に小さいと考えてよい。
従って、第１の電荷蓄積部１１９と第２の電荷蓄積部１
２０の、電荷量の差が、発光手段１０１からの光が対象
物体１０６に反射した光で発生した電荷量であるとみな
してよい。

【００８２】上記、ＳＡＭＰＬＥ１、ＳＡＭＰＬＥ２、
ＲＥＳＥＴ、ＴＲＡＮＳＦＥＲは、すべての単位受光部
PDに同じ信号が与えられるため、すべての単位受光部PD
において、同期的に電荷の蓄積が行われる。このこと
は、１フレーム分の反射光画像を得るために１度の発光
だけで済むことを示している。従って、発光のための電
力を小さくすることができる。また、発光手段として用
いることのできるＬＥＤは、発光パルスのＤＵＴＹ比が
小さいほど（１つのパルス幅に比べて、パルスとパルス
の間隔が長いほど）、瞬間的には強く発光できる性質を
持つため発光電力を効率的に利用することができる。

【００８３】電荷蓄積後、電荷の取り出しを行う。まず
Ｖ系選択回路１３５で１行を選択する。各行の単位受光
部PDから、第１の電荷蓄積部１１９と第２の電荷蓄積部
１２０に蓄積された電荷が順に取り出され、差分回路１
３３の中でその差分が収り出される。Ｈ系シフトレジス
タで列を選択することで、取り出す。

【００８４】なお、この例においては、電荷取り出し時
には、シフトレジスタで取り出しセルのアドレスを指定
するため、出力の順番が決まっている（シーケンシャル
な出力）が、任意のアドレスを生成できるようにすれば
ランダムアクセスが可能になる。このようにすると、受
光部全体のうち、一部分だけを取り出すことができ、セ
ンサの動庁周波数を低下させる、あるいは、反射光画像
のフレームレートを上げることができるなど゛の効果が
ある。例えば画像の一部しか占めないような小さな物体
を検出して、その動きを追跡させるような場合は、ある
フレームでの位置の周辺だけで探索すればよいため、画
像の一部だけを取り出すだけで良い。

【００８５】また、発光源として、近赤外光を用いた例
を示したが、必ずしもこれに限定しない。人の目に眩し
くない条件でなら（例えば、発光量がそれほど大きくな
い、人の目に直接入らない向きを向いている、など）、
可視光であっても良い。あるいは、光に限らず、電磁
波、超音波などを用いることも可能である。近赤外光通
過フィルタも、外光の影響を考えなくてよいなどの条件
下であれば省くこともできる。

【００８６】ところで、受光手段としてＣＭＯＳセンサ
ではなく、通常の撮像用のＣＣＤイメージセンサを用い
ても、これに類することを実現することもできるが、そ
の性能、あるいはコストパフォーマンスにおいて本構成
の方が優れている。

【００８７】例えば、ＣＣＤイメージセンサと光源を用
いることもできる。しかし、ＣＣＤはｌ／６０秒毎に１
回の撮像しかできない（フィールド単位）。従って、は
じめの１／６０秒で、発光部を発光させ、次のｌ／６０
秒で発光部を消灯させ、その差分をとっても、１／６０
秒の時間差かあると、外光の大きさが変動してしまい、
差分＝反射光量とならなくなってしまう。蛍光灯などは
ｌ／１００秒の周期でその強さが変動しているので、こ
のようなことが起こってしまう。ＣＣＤイメージセンサ
を使った通常の撮像においても、撮像周期と、外光の変
動周期のすれに起因して、画面の明るさがちらつく現象
がおきることがあり、これはフリッカと呼ばれている。

【００８８】ＣＭＯＳセンサを受光手段として採用した
本装置においては、ＣＭＯＳセンサの構成上の特徴とし
て、画素単位で任意に受光（電荷蓄積）と読み出しの制
御ができ、それは１／１００００秒程度、あるいはそれ
以下まで時間を小さくしたり、あるいは十分長い時間に
設定して使用することができるので、外光の変動に応じ
て最適値を選べば、外光変動の影響を受けなくて済む。
ＣＣＤイメージセンサによる撮像の場合、フリッカを防
ぐために、電荷蓄積時間をｌ／１００秒と蛍光灯の周期
と一致させる方法が取られることがあるが、発光部と同
期させる場合においても、電荷蓄積時間をｌ／１００秒
にする、あるいはＣＣＤの駆動信号を変えてしまい、１
フィールドをｌ／１００秒にしてしまう、というような
方法により、外光の影響を抑えることもできる。この場
合は別の問題が発生する。対象物体である手が動いてい
る場合、発光時の撮像と消灯時の撮像において手の位置
が微妙にずれてしまう。

【００８９】この状態で差分を取ってしまうと、特に物
体（手）のエッジ部分において、反射光画像が大きく乱
れてしまう。また、構成のコンパクトさでも大きく異な
る。ＣＣＤを用いる場合、少なくとも、Ａ／Ｄ変換器
と、１フレーム分のデータを蓄えるメモリ、差分画像を
求める演算回路が必要である。またＣＣＤを用いる場合
には、ドライバ−ＩＣを別に用意する必要がある。

【００９０】一方、単位受光部ＰＤを複数個二次元配列
した構成の本装置（すなわち、受光素子としてＣＭＯＳ
センサを用いた本装置）においては、ＣＭＯＳセンサの
べース（ＣＭＯＳセンサの形成基板上）に各種回路を作
り込むことができるので、ドライバーを同一チップ内に
収めてしまうことができる。また、センサ内で発光時、
非発光時の差をとれるので、差分演算回路は不要であ
る。また、Ａ／Ｄ変換部やメモリ、制御部まで１チップ
内に収めてしまうこともできるので、非常に低コスト化
できる。

【００９１】ここまでの説明では、対象物体のみの像
（反射光画像）を抽出するところまでの構成を述べた。
ここまでの構成でも十分製品として利用価値がある。し
かし、実際の利用形態としては、得られた反射光画像に
何らかの加工を施して、使用者の目的に合った使い方を
することが多い。例えば、手の反射光画像を入力するこ
とにより、ポインティングやジェスチャー入力を行うこ
とが出来る。このために反射光画像から有用な情報を抽
出するのが、特徴情報生成手段である。ここで、特徴量
を抽出したり、加工したり、そこから別の情報を生成し
たりしている。

【００９２】反射光画像の加工の仕方の代表例は、距離
情報の抽出と、領域抽出である。先にも述べたように、
物体が一様で均質な散乱面を持つ物体であれば、反射光
画像は距離画像と見なすことができる。従って、物体の
立体形状を抽出することができる。物体が手であれば、
手のひらの傾きなどが検出できる。手のひらの傾きは部
分的な距離の違いとして現れる。また、手を移動させた
ときに画素値が変われば、距離が移動したと見ることが
できる。また、背景のように遠い物体からの反射光はほ
とんどないため、反射光画像からあるしきい値以上の領
域を切り出すという処埋で、物体の形状を簡単に切り出
すことができる。例えば、物体が手であれば、そのシル
エット像を切り出すのは極めて容易である。距離情報を
用いる場合でも、一度しきい値によって領域抽出をして
おいてから、その領域内の距離情報を用いる、という場
合が多い。

【００９３】このようにして、対象物体の像を簡易に抽
出できるようになったことにより、その対象物体の像を
用いて様々な情報入力操作、指示操作などを行う途が拓
けることになる。

【００９４】ところで、本発明はＣＭＯＳセンサを受光
手段として採用しており、上述したように、ＣＭＯＳセ
ンサの構成上の特徴として、画素単位で任意に受光（電
荷蓄積）と読み出しの制御ができ、それは１／１０００
０秒程度、あるいはそれ以下まで時間を小さくしたり、
あるいは十分長い時間に設定して使用することができる
ので、外光の変動に応じて最適値を選べば、外光変動の
影響を受けなくて済む。しかし、これを外光の変動状況
に応じてどのようにして最適に設定するかが課題であ
る。そこで、次にこのことについてその具体例を説明す
る。

【００９５】上述の情報入力生成装置は発光部（発光手
段）と受光撮像系（反射光画像獲得手段）を有し、発光
部の発光した光の物体による反射光を画像化して出力す
ることにより、ジェスチャ認識などを可能にしており、
反射光画像獲得手段は発光部の発光時と非発光時に、前
記物体の像の受光による光電変換素子の発生電荷を蓄積
し、その差をとることで、外光成分による像を相殺し、
発光部の発光による前記物体の反射光のみによる像であ
る反射光画像を獲得する構成であることは詳しく述べ
た。

【００９６】そして、外光には太陽光のようなものの
他、蛍光灯のように安定動作状態であっても規則的（周
期的）に変動するものがあり、しかも、蛍光灯には通常
の蛍光灯やインバータ蛍光灯など、種々のものがあっ
て、その変動周期にも幅がある。

【００９７】そして、発光手段１０１の発光時での画像
取得（電荷蓄積）動作と、非発光時での画像取得（電荷
蓄積）動作にはそれぞれ同一時間幅分があてられている
が、それぞれでの外光に、変動があったときはその差の
大きさ如何によって差分像の品位の低下、すなわち、得
られた反射光画像の劣化の問題を残す。

【００９８】外光はその変動が不規則な場合と、規則的
な場合があり、それぞれの場合での対処法が異なる。

【００９９】不規則な変動の場合は反射光画像を得てみ
ないと劣化の度合いがわからず、そして、規則的な変動
のある場合ではその変動周期に対する上記２つの画像取
得動作のタイミングの影響が反射光画像の画質に関わり
を持つことになる。

【０１００】反射光画像に外光の変動分の影響が残って
いると、この外光変動分の大きさによっては発光手段１
０１による光照射のもとでの対象物体１０６の反射光だ
けを精度良く取り出すという目的を達成できない。

【０１０１】従って、これに対処する具体例を次に説明
する。最初に、外光が不規則な変動をする場合の対処手
法を説明する。

【０１０２】＜外光の変動の影響を抑制する具体例１＞
本具体例では、外光のみの大きさを検出し、この検出さ
れた外光のレベルから外光の状態を判定し、反射光画像
の採否を決定するようにした例を説明する。

【０１０３】図６に本装置の構成例を示す。

【０１０４】図６において、１０１は発光手段、１０２
は反射光画像獲得手段、２０１は外光光源、２０２はフ
ィルタ、２０３は外光検出手段、２０４は外光状態判定
手段、２０５は受発光動作制御手段であり、１０６は対
象物体である。

【０１０５】前述したように発光手段１０１は対象物体
１０６に照明をあてるための光源であり、反射光画像の
光源である。この発光手段１０１としては例えば、赤外
領域の波長の光を発生するＬＥＤが使用される。この発
光手段１０１は受発光動作制御手段２０５により制御さ
れる。外光光源２０１は屋内や屋外など対象物体１０６
の置かれる環境下の光源であり、対象物体１０６はこの
外光光源２０１の光を常に受ける。

【０１０６】フィルタ２０２は発光手段１０１からの赤
外線領域の照明光を遮断するフィルタであり、外光成分
のみを抽出するためのフィルタである。外光検出手段２
０３はフィルタ２０２を介して取り込まれた外光のレベ
ルを検出するためのもので、入射する外光の強度対応の
検出出力を出す構成である。

【０１０７】外光状態判定手段２０４は、この外光検出
手段２０３の検出出力を入力とし、外光の大きさや時間
的変動などを監視するものであって、反射光画像に大き
な影響を与える可能性のある状態を検出するものであ
る。

【０１０８】受発光動作制御手段２０５は、外光状態判
定手段２０４の出力結果に応じた動作をするように、各
種タイミング信号の制御を行うものであって、タイミン
グ信号生成手段１０４に該当するものである。ここで
は、受発光動作制御手段２０５は、外光状態判定手段２
０４が反射光画像に大きな影響を与える可能性のある外
光変動があったと判断した場合に再度、外光のみの画像
の取得と発光手段１０１を発光させた場合の画像の取得
を実施し、その差成分である反射光画像を抽出する操作
を行うに必要なタイミング信号の生成を行うべくシステ
ムを制御する動作を行うが、一定時間経過時点ではこれ
を行わずに、反射光画像の品質が悪いことを示す信号
（外光状態の非許容信号）を発生して反射光画像獲得手
段１０２に与える機能を有する。

【０１０９】反射光画像獲得手段１０２は、受発光動作
制御手段２０５のタイミング信号に応動して発光手段１
０１の発光に伴う照明を与えた際の画像と、発光させな
いで外光のみの環境下での受光による画像とを得て両者
の差成分を求め、反射光画像として得てこれを出力する
ものであり、外光状態判定手段２０４が非許容信号を発
生したときはリセットして再度、画像取得と差成分の抽
出処理をはじめから行い、反射光画像を得る処理を行う
機能を有する。

【０１１０】このような構成の本装置において、反射光
画像獲得手段１０２は、発光手段１０１の発光による照
明をあてた対象物体１０６の画像と、当該照明をあてな
い外光のみによる当該対象物体１０６の画像とを受発光
動作制御手段２０５の制御の基に取得し、両者の差の成
分である反射光画像を得る。

【０１１１】一方、反射光画像獲得手段１０２の画像取
得タイミングにおいて、外光検出手段２０３は環境下の
光のレベルをそれぞれ検出する。この外光検出手段２０
３の前部には発光手段１０１が発する光の対象物体１０
６による反射光を遮断するフィルタ２０２が設けられて
おり、外光のみが外光検出手段２０３によって検出され
る。そして、この検出出力は外光状態判定手段２０４に
与えられる。

【０１１２】外光状態判定手段２０４は、この検出出力
を基に、外光の大きさや時間的変動などを監視してお
り、反射光画像に大きな影響を与える可能性のある状態
を検出する。例えば、反射光画像に大きな影響を与える
可能性のある状態を検出したときは非許容信号を発生
し、それ以外の状態の時は非許容信号は発生しない。

【０１１３】この受発光動作制御手段２０５からの当該
非許容信号を含め、タイミング信号に基づいて受発光動
作制御手段２０５は、画像の取得とその取得画像の差成
分である反射光画像を取得するが、外光状態判定手段２
０４の出力結果（非許容信号の有無）があるときは再
度、外光のみの画像の取得と、照明光をあてた画像をの
取得を行い、差成分を求めて反射光画像を得るといった
動作をする。

【０１１４】図６には図示していないが、反射光画像獲
得手段１０２の後段には反射光画像処理手段を設けて外
光状態判定手段２０４の出力を基に、反射光画像の扱い
を決めるようにしてもよい。

【０１１５】本発明は，ＣＭＯＳセンサを反射光画像獲
得手段１０２の受光部に採用し、対象物体１０６の画像
をリアルタイムで取得するが、この取得した画像の差成
分、すなわち、反射光画像は動画像の画像信号として出
力される。

【０１１６】そして、ＣＭＯＳセンサの1 フレームの動
作は、大きく分けて受光・電荷の蓄積と、それらの出力
の繰り返しである。

【０１１７】図７はその動作の様子を説明するための図
であり、（ａ）は光パルス（発光手段１０１の発光、つ
まり、照明光の照射）、（ｂ）はＣＭＯＳセンサの動作
を示している。“Ｒ”、“１”、“２”はそれぞれ、
“蓄積電荷をリセット”、“第1 の電荷蓄積部へ蓄積”
（図１の１１０、図４の１２０への蓄積に該当）、“第
2 の電荷蓄積部へ蓄積”（図１の１０９、図４の１１９
への蓄積に該当）、を表す。

【０１１８】図７に沿って動作を説明する。１フレーム
の期間内において“Ｒ”のタイミングで受光部及び第１
及び第２の電荷蓄積部の電荷をリセットし、次に“１”
のタイミングで第1 の電荷蓄積部へ所定期間蓄積（対象
物体画像の受光実施）する。このとき同時に同期間にわ
たり、発光部（発光手段１０１）が発光する。

【０１１９】そして、再び登場する次の“Ｒ”のタイミ
ングで受光部の電荷の電荷をリセットし、次に“２”の
タイミングで第２の電荷蓄積部へ所定期間蓄積（対象物
体画像の受光実施）する。このときは、発光部（発光手
段１０１）は発光させない。このようして得た２枚の画
像の差成分を求めて反射光画像とし、１フレーム期間の
後半にこの反射光画像を後段に出力する。反射光画像出
力時には、これのように２枚の画像、正確には，ＣＭＯ
Ｓセンサの場合、単位画素の２つの電荷蓄積部の蓄積電
荷の差を出力することにより、発光部からの光の物体に
よる反射光成分のみを出力する。

【０１２０】第１、第２の電荷蓄積１回で無事反射光画
像を取得できる図７の如きタイミングで動作している場
合、電荷蓄積に使用している時間はわずかであり、デー
タ出力までには余裕がある。しかし、反射光画像に雑音
成分が多く含まれて信頼性が問題になる状況、つまり、
外光の変動の大きい状態の時はこのようにはいない。

【０１２１】すなわち、本システムでは反射光画像獲得
手段１０２による反射光画像獲得動作と並行して、別の
外光検出手段、つまり外光検出手段２０３が外光レベル
（図８の（ａ））を検出する。このとき、発光手段１０
１の発光源に例えば近赤外LED を用いたとすると、この
場合は、外光検出手段２０３の前方（検出側の入り口）
に近赤外光遮断フィルタ２０２を取り付けておくことに
より、外光検出手段２０３には発光源からの光の反射光
は入らないことになる。

【０１２２】外光状態判定手段２０４は、外光検出手段
２０３の検出出力をもとに、外光レベルを監視してい
て、外光レベルの変動が大きく、その結果、反射光画像
に影響を与えそうである場合にそれを検出する。図８の
（ｂ）がその検出結果を知らせる信号であり、この信号
が論理レベル“Ｈ（ＨＩＧＨ）”になっている領域は外
光の状態が悪い（反射光画像に悪影響を与える可能性が
ある）と判断される。

【０１２３】この判断は例えば、外光の変動が急である
場合（前半の“Ｈ”）、外光のレベルが非常に高い場合
（後半の“Ｈ”）などである。

【０１２４】外光の変動が急であると、反射光画像獲得
手段（反射光抽出手段）１０２の構成要素である第1 の
電荷蓄積部（図１の１１０、図４の１２０に該当）と第
2 の電荷蓄積部（図１の１０９、図４の１１９に該当）
に蓄積される外光分の光の量の差が大きく、両者の差を
取ったときに、反射光成分だけでなく、外光の変動分が
大きく含まれてしまう。

【０１２５】つまり、外光のレベルが非常に大きい環境
下であったときは、外光に対する反射光の割合が非常に
小さくなり、S/N （信号/ 雑音比）が悪くなる。

【０１２６】故に、この場合に外光の変動があると、雑
音成分が大きく、精度良く対象物体１０６の抽出をする
ことができない。

【０１２７】図８の例の場合、１フレーム期間内におい
て上述のように第１回目の発光動作と蓄積動作が行われ
たが、この動作が終了した時点で、蓄積動作中に外光状
態が悪かったことが分かった（図８（ｂ）ｔ１）。そこ
で、一旦、この動作をキャンセルし、再び、やり直す。

【０１２８】つまり、蓄積された電荷を再びリセットし
（“Ｒ”）、再度、第1 の電荷蓄積部への蓄積
（“１”）、第2 の電荷蓄積部への蓄積（“２”）をや
り直す。2 回目の動作中には外光状態は正常であったの
で（（ｂ）の信号がＨではなく、Ｌの状態である）、得
られた差成分（反射光画像）は、このまま、データ出力
する。

【０１２９】反射光画像の抽出と、この抽出した反射光
画像の出力操作は所定の周期（１フレーム期間内）で行
うようにしているため、蓄積動作のやり直しをあまり何
回も行うと、データ出力タイミングと重なってしまう。
そこで、やり直しができる最大回数を、予め定めてお
き、それ以上はやり直せないようにする。

【０１３０】そして、最後まで正常な反射光画像が得ら
れなかった場合、すなわち、データ出力軒間の到来時点
までに正常な反射光画像が得られなかった場合は、最後
に得られた信頼性の低いデータをそのまま出力するが、
このとき別系統でこの反射光画像の信頼性が低いことを
示す信号を合わせて出力する。以上の処理をフローで示
すと、図９の如きとなる。

【０１３１】以上、図６に示した例では、外光状態判定
手段２０４の出力で、外光変動の状態対応に受発光動作
制御手段２０５を直接制御して画像取得と差分（反射光
画像）の取得のやり直しをするようにした。しかし、こ
のようなやり直しをせずに反射光画応獲得手段１０２か
ら出力されてくる反射光画像の取捨選択を外光状態判定
手段２０４の出力を基に後段で行うようにして信頼性の
ない反射光画像については利用しないようにしても良
い。

【０１３２】その例を次に図１０を参照して説明する。

【０１３３】図１０の例では１フレーム期間内毎に受発
光動作制御手段２０５に発光手段１０１による照明をあ
てた画像の取得と、外光のみによる画像の取得をさせ、
更に両画像の差成分を得て、反射光画像を得るという処
理を１回だけ行わせ、この得た反射光画像は出力期間内
に外部に出力させる構成としている。

【０１３４】また、反射光画像獲得手段１０２の当該反
射光画像は反射光画像処理手段１０３にて受けるが、こ
の反射光画像処理手段１０３は外光状態判定手段２０４
の出力を得て、その状態に応じてその受けた反射光画像
を使用するか廃棄するかを決める機能を持たせてある。
その他、反射光画像処理手段１０３の機能は図１で説明
したものと同じである。

【０１３５】このように、外光状態判定手段２０４の出
力で反射光画像獲得手段１０２や発光手段１０１を制御
せず、反射光画像処理手段１０２には当該外光常置判定
手段２０４の出力で反射光画像の取捨選択を行わせる機
能を設けた構成とした。

【０１３６】反射光画像処理手段１０２は、出力された
反射光画像を扱う部分であるが、同時に外光状態判定手
段２０４の出力（これは2 値とは限らない）を得て、そ
れによって反射光画像の扱いを変えるようにした。

【０１３７】例えば、外光状態が非常に悪いときは、そ
の反射光画像を捨てて利用しない、あるいは、前フレー
ムを利用して現フレームを予測するいった具合である。
予測する際には、外光状態の悪さを、現フレームの信頼
性の低さとしてパラメータにして、予測のし方をコント
ロールしたりすると一層良い。

【０１３８】以上、この例は発光手段による照明のもと
に得た対象物体の像と、外光のみによる対象物体の像を
それぞれ取得し、両者の差成分の画像である反射光画像
を得、また、外光のみを検出する検出手段を設けて外光
の変動を監視し、外光の変動が対象物体の反射光画像の
信頼性に影響を与える場合に、再度、画像の取得とそれ
に基づく反射光画像の再取得を行うなうようにしたもの
である。あるいは、発光手段による照明のもとに得た対
象物体の像と、外光のみによる対象物体の像をそれぞれ
取得し、両者の差成分の画像である反射光画像を得、ま
た、外光のみを検出する検出手段を設けて外光の変動を
監視し、外光の変動が対象物体の反射光画像の信頼性に
影響を与える場合に、これを知らせるようにしたもので
ある。

【０１３９】そのため、対象物体の反射光画像を得るに
当たり、外光変動の悪影響が大きい場合に、その状態で
の取得反射光画像を使用しないで済むようになり、対象
物体のみの高品質な画像を、容易に取得できるようにな
って、対象物体によるゼスチャー情報の取得や、３次元
操作情報の取得を高精度で行えるようになる。

【０１４０】以上は、外光のレベルを監視して、外光変
動の影響あるタイミングでの反射光画像は利用しないよ
うにした技術であった。

【０１４１】しかし、この場合、外光変動がいつまでも
続く不安定な環境下であったときは利用できる反射光画
像が得られないことになり、また、インバータ式の蛍光
灯のように短い周期で常に光量が変動している環境下で
は、場合によっては利用できる反射光画像がいつまでも
得られない心配が残る。また、テレビ画像のように１秒
間に３０フレームもの速度で反射光画像を抽出する必要
のある場合、あるいはそれ以上の速度で反射光画像を抽
出する必要のある場合などでは、蛍光灯のちらつきがま
ともに外光変動として影響し、反射光画像を取得できな
い心配が残る。そこで、次にような周期性を以て常に変
動する外光が与えられるような環境下で利用すると最適
な具体例を説明する。

【０１４２】＜外光の変動の影響を抑制する具体例２＞
ここでは、周期性を持って常に変動する外光の影響を排
除して反射光画像をリアルタイムに得ることができるよ
うにした例を説明する。

【０１４３】ここでは外光のみの変動を監視する検出手
段を設け、これによって外光の変動周期を検出して、こ
の外光の変動周期をもとに、受発光動作制御を行う構成
とする。図１を参照して本システムの構成を説明する。
図において、１０１は発光手段、１０２は反射光画像獲
得手段、２０１は外光光源、２０２はフィルタ、２０３
は外光検出手段、３０１は外光変動周期検出手段、２０
５は受発光動作制御手段であり、１０６は対象物体であ
る。

【０１４４】前述したように発光手段１０１は対象物体
１０６に照明をあてるための光源であり、反射光画像の
光源である。この発光手段１０１としては例えば、赤外
領域の波長の光を発生するＬＥＤが使用される。この発
光手段１０１は受発光動作制御手段２０５により制御さ
れる。外光光源２０１は屋内や屋外など対象物体１０６
の置かれる環境下の光源であり、対象物体１０６はこの
外光光源２０１の光を常に受ける。

【０１４５】フィルタ２０２は発光手段１０１からの赤
外線領域の照明光を遮断するフィルタであり、外光成分
のみを抽出するためのフィルタである。外光検出手段２
０３はフィルタ２０２を介して取り込まれた外光のレベ
ルを検出するためのもので、入射する外光の強度対応の
検出出力を出す構成である。

【０１４６】外光変動周期検出手段３０１は、この外光
検出手段２０３の検出出力を入力とし、外光の大きさや
時間的変動などを監視するものであって、外光の変動周
期を検出するものである。

【０１４７】受発光動作制御手段２０５は、外光変動周
期検出手段３０１の検出した変動周期情報をもとに、こ
の変動周期に同期するように各種タイミング信号の制御
を行うものであって、タイミング信号生成手段１０４に
該当するものである。ここでは、受発光動作制御手段２
０５は、外光の変動周期に同期して発光手段１０１の発
光制御と、反射光画像獲得手段１０２における第１の電
荷蓄積を行わせ、次に外光の変動周期に同期して外光の
みの画像を得るべく、発光手段１０１の発光は停止した
状態として反射光画像獲得手段１０２における第２の電
荷蓄積を行なわせるといった制御のためのタイミング信
号を発生させる。

【０１４８】反射光画像獲得手段１０２は、受発光動作
制御手段２０５のタイミング信号に応動して発光手段１
０１の発光に伴う照明を与えた際の画像（第１の電荷蓄
積による蓄積電荷）と、発光手段１０１を発光させない
で外光のみの環境下での受光による画像（第２の電荷蓄
積による蓄積電荷）とを得て両者の差成分を求め、反射
光画像として得てこれを出力するものである。

【０１４９】このような構成の本装置において、反射光
画像獲得手段１０２は、発光手段１０１の発光による照
明をあてた対象物体１０６の画像と、当該照明をあてな
い外光のみによる当該対象物体１０６の画像とを受発光
動作制御手段２０５の制御の基に取得し、両者の差の成
分である反射光画像を得る。

【０１５０】一方、外光の状態は外光検出手段２０３に
より監視されている。すなわち、外光検出手段２０３の
光検出側前部に発光手段１０１が発する光を受けた対象
物体１０６からの反射光についてはこれを遮断するフィ
ルタ２０２が設けてあり、これによって外光のみが外光
検出手段２０３によって検出される。フィルタ２０２と
しては発光手段１０１が赤外光を発光するものであった
とすれば、赤外線遮蔽フィルタを用いることで実現され
る。

【０１５１】外光検出手段２０２の検出出力は外光変動
周期検出手段３０１に与えられる。すると、この外光の
変動周期検出手段３０１は、当該検出信号から外光の時
間的変動周期を検出する。そして、この検出した変動周
期の情報を受発光動作制御手段２０５に与える。

【０１５２】受発光動作制御手段２０５は、外光変動周
期検出手段３０１で得られた外光周期に同期するよう
に、受発光動作の制御信号を生成する。

【０１５３】図１２に外光変動が規則的に生じる場合の
例を示す。図１2 （ａ）にこのときの外光レベル（外光
検出手段２０３の出力）を、図１２（ｂ）に外光信号を
パルスに整形したもの（外光変動周期検出手段３０１の
出力）をそれそれ示す。また、図１２（ｃ）は発光手段
１０１を発光させるパルス信号であり、発光手段１０１
はこのパルスの期間、発光する。図１２の（ｄ）は蓄積
動作を制御する信号であり、図７で説明した如きのもの
である。

【０１５４】図１２（ｃ）のパルス信号と図１２の
（ｄ）の蓄積動作を制御する信号は、図１２の（ｂ）の
信号を基に作られる。つまり、反射光画像獲得手段１０
２の第1電荷蓄積部（図２の１１０、図４の１２０）に
電荷が蓄積されるタイミングと第2 の電荷蓄積部（図２
の１０９、図４の１１９）に電荷が蓄積されるタイミン
グは、外光の変動周期に対し、同じ位相になっている。
従って、第１及び第２の電荷蓄積の計2 回の蓄積動作に
よって蓄積される電荷にそれぞれ含まれる外光分の大き
さは等しくなる。従って、第1 の電荷蓄積部と第2 の電
荷蓄積部の蓄積電荷の差分に、外光の変動分はほとんど
ないことになり、規則的に変動する外光のもとで、精度
良く反射光画像が抽出できることがわかる。

【０１５５】次に電荷蓄積時間に対して外光の変動周期
が短く規則的である場合の例を図１３に示す。

【０１５６】本システムでは第１の電荷蓄積、第２の電
荷蓄積の計２回の電荷蓄積により得た画像からその差分
の像を得るが、外光の変動周期に同期してこれを実施す
ると共に、その蓄積時間はそれぞれ外光の変動１周期分
を単位に、そのｎ倍に対応させる。すなわち、図１3 に
示す例は、蓄積時間に対し、外光の変動周期が短い場合
において、常に外光の変動周期2 つ分の時間（ｎ＝２）
で蓄積動作を行っていることを示している。

【０１５７】そのため、先の例と同様、やはり、2 回の
蓄積動作によって蓄積される電荷にそれぞれ含まれる外
光分の大きさは等しくなる。なお、図１３では蓄積時間
は外光の変動周期の整数倍になっているが、これに限ら
ない。例えば、１．５倍、２．７倍、３．３倍、といっ
た具合であっても良い。ただし、位相は正しく一致して
いることが必要である。

【０１５８】このように、外光変動を検出してそれに同
期させて所要の時間幅単位で、画像の取得を行うように
したので、外光が周期性を以て常に変動する環境下にお
いても、その影響を排除して反射光画像をリアルタイム
に得ることができるようになる。

【０１５９】以上は、外光の変動に対応して反射光画像
のもととなる画像の取得タイミングを制御するものであ
ったが、外光が室内灯のように人為的に制御可能である
場合も少なくない。その場合に最適な例を次に説明す
る。

【０１６０】＜外光の変動の影響を抑制する具体例３＞
この例は、外光の光源自体を制御して反射光画像に外光
の影響がでないようにしたものである。

【０１６１】図１４に本システムの具体例を示す。図
中、１０１は発光手段、１０２は反射光画像獲得手段、
２０５は受発光動作制御手段、２０１は外光光源で、例
えば、室内の照明灯などである。また、４０２はこの照
明の駆動装置であり、４０１は照明制御信号生成手段で
ある。

【０１６２】発光手段１０１は対象物体１０６に照明を
あてるための光源であり、反射光画像の光源である。照
明２０１は外光光源であって、対象物体１０６の置かれ
る環境下の光源であり、対象物体１０６はこの外光光源
２０１の光を常に受ける。

【０１６３】照明駆動装置４０２はこの照明２０１の発
光駆動を行うものであって、与えられる制御信号対応に
照明２０１の光量を制御する機能を有する。

【０１６４】受発光動作制御手段２０５は、発光手段１
０１および反射光画像獲得手段１０２を制御する信号を
生成する。照明制御信号生成手段４０１は、反射光画像
獲得手段１０２における2 回の電荷蓄積動作（発光手段
１０１の発光下での画像の取得と外光のみによる画像の
取得）において、外光分の受光量が等しくなるような、
照明制御信号を生成する。これに従って、外部の照明
（外光光源）２０１が動作する。

【０１６５】反射光画像獲得手段１０２は、受発光動作
制御手段２０５のタイミング信号に応動して発光手段１
０１の発光に伴う照明を与えた際の画像と、発光させな
いで外光のみの環境下での受光による画像とを得て両者
の差成分を求め、反射光画像として得てこれを出力する
ものである。

【０１６６】このような構成の本装置は、受発光動作制
御手段２０５の制御のもとに発光手段１０１、反射光画
像獲得手段１０２、そして、照明制御信号生成手段４０
１が制御されて、所定タイミングでの発光手段１０１の
発光、反射光が像獲得手段１０２による画像の取得（第
１の電荷蓄積と第２の電荷蓄積）が行われ反射光画像の
抽出が行われる。

【０１６７】一方、照明制御信号生成手段４０１は、反
射光画像獲得手段１０２における2の電荷蓄積動作（発
光手段１０１の発光下での画像の取得と外光のみによる
画像の取得）において、外光分の受光量が等しくなるよ
うな、照明制御信号を生成する。これに従って、照明駆
動装置４０２は外部の照明（外光光源）２０１を点灯制
御するので、外光は上記２回の電荷蓄積動作の期間、そ
れぞれにおいて外光光量が等しくなるように点灯される
ことになる。

【０１６８】それ故、反射光画像獲得手段１０２が、受
発光動作制御手段２０５のタイミング信号に応動して発
光手段１０１の発光に伴う照明を与えた際の画像と、発
光させないで外光のみの環境下での受光による画像とを
得た際に、それぞれにおいて照明２０１から環境下に与
えられた光量は等しいから、両画像の差成分を求めるこ
とにより、得られた反射光画像は精度の良いものとな
る。

【０１６９】図１５に、この場合の一例としての反射光
画像獲得手段１０２の動作パターン（図１５（ｃ））、
発光手段１０１の制御信号（図１５（ｂ））、外部照明
を制御するための信号（図１５（ａ））を示す。

【０１７０】受発光動作制御手段２０５は、反射光画像
獲得手段１０２が図１５（ｃ）のような動作パターンで
動作するような制御信号を生成するとともに、図１５
（ｂ）のような発光パルスを発光手段１０１に与える。
一方、これと同時に、照明制御信号生成手段４０１は図
１５（ａ）の照明制御信号を生成し、照明はこれに従っ
て動作する。

【０１７１】例えば、照明制御信号のレベルが“Ｈ”の
時、照明が点灯し、レベルが“Ｌ”の時、消灯するよう
なパターンで点滅を繰り返す。この動作はもちろん高速
で繰り返されているので、人間の目には一定の明るさで
光っているようにみえる。

【０１７２】しかし、電荷蓄積を行っているときには瞬
間的に明るさが低くなるという変動であるから、反射光
画像を得るにあたって、外光の影響を受けることなく高
精度な反射光画像が得られるようになる。

【０１７３】この例では、発光量が周期的に強度変化す
る外部照明（例えば、蛍光灯）が反射光画像に影響しな
いよう、外部照明を直接コントロールしてしまうもので
あった。逆に、外部照明を光源として利用してしまう方
法もある。つまり、外部照明自体を光源（発光手段）と
してしまい、この外部照明からの照射光の対象物体によ
る反射光を受光手段で検出するのである。この場合、照
明と受光手段の位置関係によっては、反射光量が距離の
２乗に反比例するという関係が崩れるので、距離情報の
獲得は難しくなるが、対象物体の形状の切り出しなどは
問題なく行える。この構成はアミューズメントパークな
ど、部屋自体をコミュニケーションの空間として作るこ
とができるような場合に、効果的である。

【０１７４】以上は、環境下の光量変動に与える反射光
画像の劣化を抑制する手法であったが、環境下の光量が
たとえ安定していたとしても、対象物体１０６からの反
射光光量が、環境下の光量に比べてあまり高くない場
合、Ｓ／Ｎが悪いことから、得られる反射光画像の品質
が低くなることになる。

【０１７５】例えば、反射光画像獲得手段１０２のＣＭ
ＯＳセンサのダイナミックレンジが、その入射光学系の
前方所定距離範囲にある対象物体からの反射光量を検出
するに最適な状態に設定されている場合などでこのよう
なことが起こり易い。なぜなら、光の強度は距離の二乗
に反比例するからであり、本システムをパソコンなどに
搭載して、操作入力として利用うする際などで、ユーザ
自身の手を対象物とするようなとき、ユーザは自己本位
でこれを行おうとするのが普通であるから、手の位置は
設計者の意図した範囲内で操作してくれないからであ
る。

【０１７６】そこで、次にこのような状況下に対処でき
るようにした例を説明する。

【０１７７】＜対象物体の距離に応じて発光量を調整す
ることにより反射光画像の劣化を抑制する技術＞反射物
体があり、この反射物体からの反射光をセンサで検出す
る場合、その検出される反射光の量は対象物体までの距
離の2 乗に反比例する。したがって、対象物体がセンサ
から遠ざかると、対象物体からの反射光量が急激に減少
する。例えば、センサから10cmの距離に対象物体がある
ときに比べ、30cmの距離に対象物体があるときの検出さ
れる反射光量は１／９になる。

【０１７８】つまり、10cmの距離範囲の物体測定に最適
な状態に測定範囲（測定レンジ）を設定した場合には30
cm程度離れた位置にある物体の測定精度は、受光量自体
が１／９になるために急激に低くなる。測定レンジを変
更せずに、30cm程度の距離にある対象物体を高い精度で
測定できようにするためには、発光手段の発光強度を上
げて、当該対象物体からの反射光の量を増やすようにす
れば良い。しかし、このようにすると、今度は10cm程度
の距離の物体からの反射光は大きくなり過ぎてしまい、
測定レンジを超えてしまう。これは取得する画像の画質
劣化に、大きく影響する。

【０１７９】繰り返すが、本発明の前提となる技術は、
外光のみを受けた物体の像と、外光を受けた状態でしか
も発光手段からの光をあてた像をそれぞれ取得し、両画
像の差成分を求めてこれを発光手段による光の照射によ
る反射成分としての画像すなわち、外光成分を除外した
対象物体の反射光画像として得るというものである。

【０１８０】そして、この得られた反射光画像から種々
の情報を得るものであり、例えば、対象物体として手を
想定した場合、反射光画像として得られた手の像から、
その仕草、指の位置情報、といった情報を抽出して操作
入力などとして使用するなど、複雑な三次元操作入力を
可能にする。

【０１８１】そのため、対象物体はセンサの位置に対し
てその測定レンジに合わせて最適位置において撮像する
ことが難しい場合が多い。それは、対象物体が手であっ
た時に、手をいろいろな形に動かすことになるが、夢中
になればセンサ位置（反射光画像獲得手段の受光部位
置）との距離を予定の範囲に留めることを、人はつい忘
れてしまうからである。

【０１８２】そこで、このような場合にも対処できて、
距離位置が変動しても対象物体の反射光画像を精度良く
抽出することができるようにした装置の具体例を次に説
明する。

【０１８３】ここでは、センサ（反射光画像獲得手段の
受光部）と対象物体との距離に応じて発光手段の発光光
量を制御することで、対象物体の反射光画像を精度良く
得るようにする。

【０１８４】すなわち、物体が存在している距離に応じ
て、反射光の量が適切になるように制御することで、物
体がどの距離に来ても、十分な精度で距離が測定できる
ようにする。また、発光量を変えて何度か反射光画像を
獲得し、合成することで、ダイナミックレンジの広い反
射光画像が得られるようにする。

【０１８５】以下で述べる具体例のシステムの基本構成
と、そのバリエーションを示す。

【０１８６】＜基本構成＞次の３要素を備える。

【０１８７】(1) 物体の距離に関する情報を検出する
検出手段。

【０１８８】(2) 検出手段の検出結果より、反射光の
増減の程度を決定する決定手段。

【０１８９】(3) 決定手段の決定に基づき、反射光を
増減させるための制御（発光量の制御、アンプの制御、
A/D の制御）を行う手段。

【０１９０】＜具体例＞上記３要素の実現手段はそれぞ
れいくつか、考えられる。

【０１９１】(1) 物体の距離（あるいはそれに類する
情報）を検出する手段。

【０１９２】［ｉ] 物体の距離はセルアレイの出力
（アナログ信号）より検出。最大値検出回路により、最
大値を求める。

【０１９３】［ii］ LPF を通過させることにより、平
均的な信号量を得る。

【０１９４】［iii ］ Ａ／Ｄ変換後のデジタルデータ
から検出。最大値を検出する。

【０１９５】［iv］ 最大値は平均値と分散などから計
算する。

【０１９６】(2) 上記（１）の手段で得た結果より、
反射光の増減の程度を決定する手段。決定した内容に基
づき、発光手段の光量を制御する（リニアに制御／段階
的に制御）。

【０１９７】[ ｉ] 段階的に制御する手法において
は、標準の状態に比べ、例えば2 倍、3 倍、4 倍、とい
うように段階的に反射光量が変化するように制御。

【０１９８】[ii] リニアに制御する手法は、任意のｘ
倍に制御する。

【０１９９】(3) 決定する手段の決定に基づき、反射
光を増減させるための制御（発光量の制御、アンプの制
御、A/D の制御）を行う手段。

【０２００】[ ｉ] 発光手段を構成するLED （発光素
子）の発光を制御する。

【０２０１】[ii] 発光手段を構成するLED の発光パワ
ー（発光電流）を制御する。

【０２０２】[iii] 発光手段を構成するLED の発光パ
ルスの数を制御する。

【０２０３】[vi] 発光手段を構成するLED の発光駆動
用パルスのパルス長を制御する。 [ ｖ] アンプのゲインを制御する。

【０２０４】[iv] Ａ／Ｄ変換器の入力電圧幅を制御す
る。

【０２０５】以上のようなバリエーションがあるが、そ
の詳細を以下、説明する。

【０２０６】[ 対象物体の距離の変動による反射光画像
の画質への影響を抑制する例であって、対象物体の距離
に応じて発光量を調整することにより反射光画像の劣化
を抑制する具体例]この例は、（１）［iii ］、（２）
［ｉ］、（３）［iii ］に対応するもので、対象物体か
らの反射光量の検出値に応じて数段階のレベルに分類
し、その分類した段階対応に、発光手段の駆動用のパル
ス数を変えるようにして、発光量を調整するものであ
る。

【０２０７】具体的には、例えば、入力装置の前方２０
ｃｍの距離位置に対象物体としての手を配置したとし
て、この状態におけるＣＭＯＳセンサの受光出力電圧
（蓄積電荷電圧）１［Ｖ］を出力する状態を“状態１
”、その半分の電圧、１／４ の電圧を出力する状態
をそれぞれ“状態２ ”、“状態３ ”とする。

【０２０８】そして、この状態対応に発光手段の発光量
を切り替える。これは、発光手段を駆動する発光パルス
数で行う。“状態１ ”はパルスを４ 回繰り返す、
“状態２ ”はパルス２ 個、“状態３ ”はパルス１
個である。

【０２０９】細かい調整制御は次のようにして行う。Ｃ
ＭＯＳセンサからの画像信号（反射光画像）をデジタル
化し、このデジタル化された反射光画像から、画素値の
最大値（もっとも反射光量が大きいところ、すなわち、
最も近いところ）を求める。デジタル出力は例えば、８
ｂｉｔ構成、２５６ 階調とする。

【０２１０】デジタル出力を監視し、最大値が“２５０
”を超えたとき、状態を１ つ下げる（例えば、“状
態１ ”→“状態２ ”）。また、最大値が“１００
”を下回ったとき、状態を１ つ上げる（例えば、
“状態３ ”→“状態２ ”）にするといった具合であ
る。ただし、物体らしきものがないときは、状態の遷移
はしない。

【０２１１】ここでは、“状態１ ”、“状態２ ”、
“状態３ ”での反射光量はちょうど倍ずつ違うのよう
に設定したので、距離の換算が楽となる。

【０２１２】詳細を説明する。

【０２１３】ここで、反射光量の性質と発光量制御の必
要性についてふれておく。

【０２１４】本装置は、対象物体に対して発光手段１０
１から光を発して、その物体からの反射光の大きさを測
定（検出）する。そして、これにより得た反射光量の分
布を画像、すなわち、上記対象物体の反射光画像として
獲得する。物体表面が一様な散乱面であれば、反射光量
（反射光画像の各画素の値）は距離を反映している。各
画素の値（反射光量）は物体までの距離の２乗に反比例
している。対象物体までの距離と反射光量の関係をグラ
フにあらわすと図１６のようになる。

【０２１５】この図から、距離が大きくなるほど反射光
量は小さくなり、また距離分解能が落ちることがわか
る。

【０２１６】遠い距離を十分に測定できるようにするに
は発光手段１０１の発光量を増やせば良い。しかし、発
光量を増大させれば、今度は逆に近くに物体がある場
合、反射光量が大き過ぎてしまい、測定可能範囲を超え
てしまう弊害が生じる。従って、物体の距離に応じて発
光手段１０１の発光量を制御し、反射光量の変化を抑制
することが、広い距離範囲にわたって精度よく距離測定
する解決方法となる。

【０２１７】この点を念頭におき、ここでは図１７のよ
うにシステムを構成する。すなわち、図において、１０
１は発光手段であり、１０２は反射光画像獲得手段、１
０３は反射光画像処理手段である。また、５００は最大
画素値検出手段、５０１は受光状態決定手段である。

【０２１８】発光手段１０１は、外光下にある対象物体
に対する照明をする装置であり、反射光画贈獲得手段１
０２は、発光手段１０１による照明をあてた状態での対
象物体からの反射光をＣＭＯＳセンサで検出してその第
１の電荷蓄積部に蓄積し、つぎにこの発光を行わない状
態で対象物体からの反射光をＣＭＯＳセンサで検出して
素の第２の電荷蓄積部に蓄積し、その後、両者の差を得
て反射光画像として出力するものである。

【０２１９】最大画素検出手段５００は、反射光画像の
データから、その最大値を検出するものである。また、
発光状態決定手段５０１は、発光手段１０１の発光状態
を適宜に設定するものであって、前記最大画素検出手段
５００によって得られた最大画素値に従って、発光手段
１０１の発光状態を変更するかどうか決定する機能もあ
る。発光手段１０１の発光状態は、“状態１ ”、“状
態２ ”、“状態３の３ 通りのいずれかを取り得る。
これを上記の最大画素値対応に、選択してその状態対応
に定めたパルス数での発光手段１０１の発光を行わせる
ことができる。

【０２２０】反射光画像処理手段１０３は反射光画像獲
得手段１０２の得た反射光画像をもとに、仕草や状態を
解析して３次元操作情報などを得るもので、図１の特徴
情報生成手段に該当する。

【０２２１】このような構成の本装置は、発光手段１０
１は、外光下にある対象物体に対する照明をする。反射
光画贈獲得手段１０２は、発光手段１０１による照明を
あてた状態での対象物体からの反射光をＣＭＯＳセンサ
で検出してその第１の電荷蓄積部に蓄積し、つぎにこの
発光を行わない状態で対象物体からの反射光をＣＭＯＳ
センサで検出してその第２の電荷蓄積部に蓄積し、その
後、両者の差を得て反射光画像として出力する。

【０２２２】反射光画像獲得手段１０２は発光手段１０
１と同期して動作し、発光手段１０１からの光が前方に
ある物体に反射して帰ってきた光の量の分布、すなわ
ち、反射光画像を獲得する。

【０２２３】反射光画像獲得手段１０２は受光セルのア
レイ構造を持っている。各受光セルが、発光手段１０１
が発光しているときと、発光していないときに同じ時間
だけ受光して電荷蓄積し、その差として反射光量を検出
する。また反射光画像獲得手段１０２は、その反射光量
をデジタルデータに変換し、出力する手段を含む。つま
り、Ａ／Ｄ変換部を備える。

【０２２４】このＡ／Ｄ変換部は０〜１Ｖの入力電圧
を、“０”から“２５５”までの８ｂｂｉｔ デジタル
データに変換する。従って、反射光画像獲得手段１０２
からは、反射光量の分布、すなわち、反射光画像の各画
素値がデジタルデータとして出力される。

【０２２５】最大画素検出手段５００は、この一連の反
射光画像データから、その最大値を検出する。そして、
発光状態決定手段５０１にその検出値を渡す。これを受
けた発光状態決定手段５０１はこの検出値をもとに、３
種の発光状態のいずれが最適かを判別し、“状態１
”、“状態２ ”、“状態３ ”の３ 通りの状態値
のうち、最適な状態値を決定する。

【０２２６】（３ つの発光状態）最適な状態値は次の
ようにして決定する。すなわち、発光状態決定手段５０
１は、得られた最大画素値に従って、発光状態を変更す
るかどうか決定する。今、発光手段１０１の発光状態
は、“状態１ ”、“状態２ ”、“状態３ ”の３り
を取り得る。これらのうち、“状態１ ”は、最も多く
の反射光が得られるモードで、対象物体である手が距離
２０ｃｍにあるときに、Ａ／Ｄ変換部の入力電圧が約１
［ Ｖ］ になるように設定される。ただし、反射光量
の大きさから、絶対的な距離値は求まらないので、これ
は目安である。

【０２２７】例えば、手の色や、表面の状態（乾いてい
る、湿っている）によってばらつきはある。

【０２２８】“状態２ ”は“状態１ ”に比べ、約半
分の反射光量が得られるモードである。

【０２２９】“状態３ ”はさらに半分、つまり“状態
１ ”の１／４の反射光量が得られるモードである。

【０２３０】ここで、反射光量が倍増える方向へ状態を
変えることを、「状態を１つ上げる」、反射光量が半分
に減る方向へ状態を変えることを「状態を１つ下げ
る」、と呼ぶことにする。つまり、“状態１”から“状
態２”へ下げる、“状態３”から“状態２”へ上げる、
といった具合に表現することとする。

【０２３１】（発光状態の決定）発光状態決定手段５０
１は、次のようにして、発光状態を制御する。最大画素
値が“２５０ ”のとき、発光状態を１つ下げる。つま
り、現在の状態に対し、手が近づきすぎたとき、発光量
を下げることによって、反射光量を下げ、Ａ／Ｄ変換機
の入力信号が飽和しないようにする。

【０２３２】逆に、最大画素値が“１００ ”以下にな
ったとき、発光状態を１ つ上げる。つまり現在の状態
に対し、手の位置が遠すぎて、反射光量が小さい場合、
発光状態を上げて、反射光量を増やす。ただし、“状態
１ ”の時はそれ以上は上げられないし、“状態３ ”
の時はそれ以上下げられない。この状態遷移の様子を図
１８に示す。

【０２３３】（状態を変化させるしきい値の設定につい
て）今、最大画素値が“２５０ ”以上で状態を下げ、
最大画素値が“１００ ”以下で状態を上げると述べた
が、値はこれに限らない。最もシンプルな場合は“２５
５ （つまり最大値）”で状態を下げ、“１２７ （最
大値の半分）”で上げることである。

【０２３４】しかし、この場合は、状態を下げる前に一
度Ａ／Ｄの入力信号が飽和することになる（飽和してか
ら状態が下がる）。また、最大画素値２５５ の時、状
態を一つ下げると、出力は“１２８ ”（もしくは“１
２７ ”）になるが、ここで再びほんの少し反射光量が
下がり、“１２７ ”を割るとまた状態が上がる。

【０２３５】このように、状態を上げるしきい値を、状
態を下げるしきい値のちょうど半分程度に設定しておく
と、しきい値近傍に反射光量が留まっているとき、状態
が頻繁に変わることになる。

【０２３６】そこで、状態が上がるしきい値を状態が下
がるしきい値の半分よりやや少なく設定し、状態変移に
ヒステリシス特性を持たせるようにすることにより、状
態が頻繁に変わることを防ぐことができる。本例では、
状態を下げるしきい値を“２０ ”以上にし、飽和する
直前に状態を下げるようにしている。また“２５０”で
状態が下がると、値が“１２５ ”程度に下がるが、こ
れより低い“１００に、状態を上げるしきい値を設定し
ている。

【０２３７】（状態の数）本例では状態の数を３ つに
した。そして、状態を変えることによって、反射光量が
倍あるいは半分になるように制御している。しかし、状
態の数を増やすことによって、もう少し、きめの細かい
制御をすることもできる。

【０２３８】（発光パルスと蓄積制御）発光状態の違い
は、発光パルスの数で制御する。図１９（ａ）に示すよ
うに、“状態１ ”では４ つの発光パルスを、図１９
（ｂ）に示すように“状態２”では２ つの発光パル
ス、図１９（ｃ）に示すように“状態３ ”では１ つ
の発光パルスを駆動する。

【０２３９】図１９に示すように、各発光パルスａ−
１，ｂ−１，ｃ−１の長さは等しいので、“状態２ ”
は“状態３ ”の倍の、“状態１ ”は“状態２ ”の
倍の反射光量が得られることが分かる。この発光パルス
に対し、電荷蓄積制御は次のようになっている。

【０２４０】各発光パルスａ−１，ｂ−１，ｃ−１の下
に示すのが蓄積制御の様子を示すチャートである。

【０２４１】「１」は図３，図４に示す構成のＣＭＯＳ
センサを利用した反射画像獲得手段１０２における当該
ＣＭＯＳセンサの第１ の電荷蓄積部に電荷を蓄積して
いることを示し、「２」は第２ の電荷蓄積部に電荷を
蓄積していることを示し、「Ｒ」は発生電荷を電源に逃
がし、リセットしていることを示している。

【０２４２】すなわち、図３、図４で説明したようにＣ
ＭＯＳセンサは単位受光部ＰＤをｎ×ｎ画素配列した構
成であり、単位受光部ＰＤは１つの光電変換部１１８
と、２つの電荷蓄積部１１９、１２０を持っている。光
電変換部１１８と電荷蓄積部１１９、１２０の間にはい
くつかのゲート（この例では１２２，１２３）があり、
これらのゲートの制御によつて光電変換部１１８で発生
した電荷を、二つの電荷蓄積部１１９，１２０のうちの
いずれの電荷蓄積部に導くかを選択できるようになって
いる。そして、このゲートの制御信号と発光手段１０１
の発光制御信号を同期させる。そして、二つの電荷蓄積
部の蓄積電荷の差を得ることで、反射光画像の当該画素
での成分とする。

【０２４３】図１９（ｃ）に示す“状態３ ”の蓄積制
御の様子を見てみると、まず、リセットした後、発光パ
ルスと同期して、光電変換部１１８の発生電荷をＣＭＯ
Ｓセンサの第１ の電荷蓄積部に蓄積する。

【０２４４】次にもう一度リセットした後、今度は発光
していないときに、光電変換部１１８の発生電荷を第２
の電荷蓄積部に蓄積する。第２ の電荷蓄積部には照
明光や太陽光などの外光による発生電荷が蓄積されてお
り、第１ の電荷蓄積部には外光に加えて発光部からの
発光が物体に反射して戻ってきた光、すなわち反射光に
よる発生電荷が蓄積されている。従って、第１ の電荷
蓄積部と第２ の電荷蓄積部に蓄積された電荷量の差を
取ることによって、反射光量が求められる。

【０２４５】“状態２ ”は電荷蓄積を各々２ 回ずつ
行っているので、反射光は約２倍になる。“状態３ ”
は電荷蓄積を４回繰り返す。

【０２４６】なお、本具体例ではパルスの数で発光量を
制御したが、これに限らない。例えば、図２０に示すよ
うに、状態対応に、発光パルスのパルス長を２倍、４
倍、にして、３つの状態を作り出すようにしてもよい。
この場合は“状態１”、“状態２”、“状態３”いずれ
の場合も電荷蓄積制御は、第１、第２の電荷蓄積部に各
１回ずつ蓄積し、その蓄積時間が異なるだけである。

【０２４７】発光手段１０１の状態別総発光時間は図１
９の場合と同じであるので、反射光量は前の例とほぼ同
じである。ただし、外光が変動している場合、長い光パ
ルスを１回出すよりは、短い光パルスを複数回出した方
が、外光の影響を受けにくい。

【０２４８】（他の発光量制御のバリエーション）反射
光量を制御する方法は上述の例の他にもまだある。例え
ば、発光手段１０１の発光の強さそのものを変えてしま
う方法である。すなわち、発光電流を変えるのである。
また、発光手段１０１として、複数の光源を用いている
場合、発光させる光源の数を変えるようにする方法もあ
る。

【０２４９】また、反射光量を制御する方法ではない
が、Ａ／Ｄ変換された後のデジタルデータの大きさの変
動を押さえるためのいくつかの方法がある。例えば、Ａ
／Ｄ変換器の前段のアンプにおいて、その増幅率をダイ
ナミックに変化させる方法がある。また、Ａ／Ｄ変換器
には０レベルの出力とフルスケール出力に対応する入力
電圧をリファレンスとして与えるが、このリファレンス
電圧を変化させることによっても、デジタルデータが適
切な範囲に収まるように制御することができる。

【０２５０】（対数アンプ）Ａ／Ｄ変換器の前段に対数
アンプなどを挿入することによって、距離の変化に対す
る信号の変化を抑制することができることから、１つの
モードで測定できる範囲は広くなる。そのため、場合に
よっては上述の処理を省くこともできる。しかし、対数
アンプを用いる場合でも、上記処理を用いれば、対象物
体である手が、遠い距離にあるときでも、近いときと同
じ程度のＳ／Ｎで測定できるようになる。

【０２５１】（状態決定のバリエーション）上述の例で
は、反射光画像の画素値の最大値だけで発光状態を決定
したが、他の方法もある。例えば、“２５０ ”以上の
画素値を持つ画素が１０個以上となったならば状態を下
げる、“１００ ”以下の画素値を持つ画素が１０個以
上になったならば状態を上げる、という具合に、しきい
値の条件を満たす画素数で状態を決定するようにしても
良い。この場合、ノイズによって部分的に“２５０”以
上の画素ができたときに状態が変わってしまわないとい
う効果がある。

【０２５２】また、画素値の平均値を併用する方法もあ
る。この方法は、ある値以上の（すなわち背景でない）
画素の画素値平均を求め、最大値が“２５０ ”以上、
かつ画素値平均が“１５０ ”以上の時、状態を下げ
る、といった具合である。この方法によれば、最大値だ
けが突出しているが、それ以外の値は割合小さくて、状
態を下げると大部分の分解能が落ちてしまうという場合
に、その不具合を防止できる効果がある。

【０２５３】また、反射光量をＡ／Ｄ変換する前のアナ
ログ信号レベルで状態決定してしまうこともできる。Ａ
／Ｄ変換前のアナログ信号をローパスフィルタに通過さ
せると、平均的な信号量が得られる。これを比較回路に
入れ、その出力で発光状態を決定する。あるいは、ロー
パスフィルタの替わりに最大値保持回路に入力すると、
入力信号の最大値が分かる。これを基に状態決定する。

【０２５４】（アナログ量での発光制御）これまでの例
では、発光状態を発光パルス数やパルス幅などによって
ステップ状に変化させるようにした。つまり、光量制御
に発光パルス数やパルス幅を変化させることで発光手段
１０１の発光光量を変えるようにしていた。この場合、
きめ細かい光量制御がしにくい面が残る。きめの細かい
制御をするにはやはりリニアに光量制御できるようにす
る必要がある。

【０２５５】従って、ここでは発光状態をリニアに変化
させる例を述べる。

【０２５６】ここでは、Ａ／Ｄ 変換手段６０１による
ディジタル変換の前のアナログ信号からアナログフィー
ドバック回路を構成し、発光電流、すなわち、発光パワ
ーそのものを制御する。

【０２５７】構成例を図２２に示す。反射光画像獲得手
段１０２はこの図においては、アナログ信号を出力す
る。これをローパスフィルタ（ＬＰＦ）６０２に通すこ
とにより、フレームのＤＣ成分（直流成分）を抽出す
る。このＤＣ成分がある値より大きいときは発光量を下
げ、小さいときは発光量を上げるようなフィードバック
ループを発光量決定手段６０３の中に構成しておく。

【０２５８】このことによって、反射光画像の平均が常
に一定になるように発光手段１０１の発光量が自動的に
調整される。

【０２５９】図２２ではアナログ信号からフレームのＤ
Ｃ成分を抽出するのに、ＬＰＦを用いるようにしたが、
これに限らず、例えば、最大値検出回路を使えば、常に
反射光画像の最大値が一定になるように制御できる。ま
た、発光電流を制御する替わりに、発光パルス長をリニ
アに制御するなどしてもよい。

【０２６０】この方法では、反射光画像の平均（または
最大値）が常に一定になるように自動的に発光量が制御
されてしまうため、手全体の距離が替わったときにそれ
を検出することができない。従って、自動的に発光量を
制御することを優先し、距離の絶対値は必要ないときに
用いると効果的である。また、距離の絶対値は求まらな
いが、相対距離情報は求まるので、形だけを検出したい
ときにも適する。また、発光量を何らかの形で反射光画
像処理手段１０３に渡すようにしておけば、得られた反
射光画像と発光量から距離画像を復元できる。

【０２６１】以上は、発光手段の発光量を制御すること
で、対象物体の位置する距離の遠近に伴う反射光画像の
画質に及ぼす影響を抑制するようにした例を説明した。

【０２６２】これに対して、発光手段の発光の強さを変
えながら、何枚か反射光画像を取り、これを合成するこ
とでもダイナミックレンジの広い反射光画像を生成取得
することが可能である。そして、これにより、良質の反
射光画像を得ることができ、近いところから遠いところ
まで、精度良く距離検出できる。この例を次に説明す
る。

【０２６３】［ 対象物体の距離変動による反射光画像
の画質への影響を抑制する具体例］図２３を参照して具
体例を説明する。この装置は発光手段１０１、反射光画
像獲得手段１０２、フレームバッファ７０１、反射光画
像合成手段７０２、制御手段７０３、発光状態制御手段
７０４にて構成される。

【０２６４】発光状態制御手段７０４は発光手段１０１
がいくつかの発光モードで発光するようにこれを制御す
る。具体的には例えば、発光状態制御手段７０４は、発
光手段１０１がそれにしたがって発光する発光パルスを
生成するものとし、何パターンかの発光パルスを順に生
成する。同時に、反射光画像獲得手段１０２に対し、蓄
積制御信号を与える。反射光画像獲得手段１０２におけ
る電荷蓄積動作は発光動作と同期している必要があるた
め、発光状態制御手段７０４がこれを同時に制御する。

【０２６５】反射光画像獲得手段１０２から出力された
反射光画像のデータは、フレームバッファ７０１に蓄積
される。規定のフレーム数のデータがフレームバッファ
７０１に蓄積されると、反射光画像合成手段７０２がこ
れを読み出し、合成処理を行う。制御手段７０３はこれ
ら全体のタイミング制御を行う。

【０２６６】（合成アルゴリズムの説明）反射光画像合
成手段７０２の処理をさらに詳細に説明する。

【０２６７】今、発光状態制御手段７０４は、図１７を
参照して説明した具体例１において述べた“状態１”、
“状態２”、“状態３”の各動作を順に行うものとす
る。つまり、最初にある発光パワーで発光し、次にその
半分の発光パワーで発光し、最後にさらにその半分（最
初の１／４）の発光パワーで発光する。

【０２６８】その発光動作に同期して反射光画像獲得手
段１０２による反射光画像獲得処理が行われ、フレーム
バッファ７０１には３フレームの反射光画像が蓄積され
る。この３フレームの反射光画像を用いて反射光画像合
成手段７０２が処理を行う。

【０２６９】“状態１”、“状態２”、“状態３”に対
応する反射光画像をそれぞれ“反射光画像１”、“反射
光画像２”、“反射光画像３”と呼ぶことにする。

【０２７０】“反射光画像２”は“反射光画像３”の倍
の画素値を、“反射光画像１”は“反射光画像３”の４
倍の画素値を持っている。ただし、最大で２５５であ
る。

【０２７１】そこで、次のようなアルゴリズムで反射光
画像を合成する。各座標（ｘ、ｙ）について、“反射光
画像１”、“反射光画像２”、“反射光画像３”の座標
（ｘ，ｙ）の画素値を、それぞれＰ１（ｘ，ｙ） 、Ｐ
２（ｘ，ｙ） 、Ｐ３（ｘ，） とし、合成画像の画素
値をＰ（ｘ，ｙ）とする。

【０２７２】今、ある画素（ｘ，ｙ） について、Ｐ１
（ｘ，ｙ） が２５５ 未満であれば、Ｐ（ｘ，ｙ）＝
Ｐ１（ｘ，ｙ）、そして、Ｐ１（ｘ，ｙ）＝２５５ か
つＰ（ｘ，ｙ）＜２５５ であればＰ（ｘ，ｙ）＝Ｐ２
（ｘ，ｙ）×２、また、Ｐ１１（ｘ，ｙ）＝Ｐ２（ｘ，
ｙ）＝２５５であれば、Ｐ（ｘ，ｙ）＝Ｐ３（ｘ，ｙ×
４とする。

【０２７３】この処理の流れをまとめると図２４のフロ
ーチャートの如きとなる。

【０２７４】（合成アルゴリズムのバリエーション）上
述のアルゴリズムは“反射光画像１ ”、“反射光画像
２ ”、“反射光画像３ ”の画素値がきちんと倍々に
増えていることを前提としているが、実際には、回路の
非線型性や電荷蓄積容量の性質などによって、多少の誤
差が生ずる。

【０２７５】次にこの誤差の補正方法を説明する。

【０２７６】“反射光画像２”が“反射光画像３ ”の
何倍か（理想的には２ 倍）、“反射光画像１ ”が
“反射光画像２ ”の何倍か（理想的には２ 倍）をき
ちんと求める。

【０２７７】まず、“反射光画像２”の中で、“２５５
”未満の画素値を持つ画素をすべて取り出し、対応す
る“反射光画像３ ”の画素値との比をとる。この比の
平均α２３が、“反射光画像２ ”の“反射光画像３
”に対する倍率であるとみなしてよい。

【０２７８】前出のフローチャートのＰ（ｘ，ｙ）＝Ｐ
２（ｘ，ｙ）×２の２ の替わりにα２３を用いる。
“反射光画像１ ”の“反射光画像２”に対する比α１
２も同様に求め、 Ｐ（ｘ，ｙ）＝Ｐ３（ｘ，ｙ） ×
４の４の替わりに、α１２×α２３を用いる。

【０２７９】今は“反射光画像２ ”において“２５５
”未満の画素値すべてについて、“反射光画像３ ”
との比を求めたが、あまり値が小さい場合は、比の計算
誤差が大きいので、“２５５ ”未満“１００ ”以上
の画素値というように、ある程度の大きさの画素だけを
選択して、演算の対象にしてもよい。

【０２８０】以上、種々の具体例を説明したが、要する
に本発明は、外光のみにより対象物体の画像を得（第１
の受光）、また、発光手段により光を発光して対象物に
あて、その対象物体による反射光を画像として捉える
（第２の受光）と共にその差成分を得て（反射光画
像）、これより前記対象物体の画像を抽出する装置にお
いて、第１には、前記照明光の発生する波長成分の光を
除去する除去手段と、前記対象物体の置かれる環境下で
の光量を前記除去手段を介して検出する検出手段と、こ
の検出手段による検出出力から前記対象物体のおかれる
環境の明るさの状態を判断して前記受光手段により得た
前記差成分の画像の採否を決める手段とを備えたもので
ある。

【０２８１】また、第２には、前記照明光の発生する波
長成分の光を除去する除去手段と、前記対象物体のおか
れる環境下での光量を前記除去手段を介して検出する検
出手段と、この検出手段による検出出力から前記対象物
体のおかれる環境の明るさの状態を検出し、変動の周期
情報を出力する手段と、この変動の周期情報に基づく変
動周期に同期して前記発光手段と前記受光手段を駆動制
御する手段とを備えたものである。

【０２８２】また、第３には、前記対象物体のおかれる
環境を常時、照明する照明手段と、この照明手段の光量
を制御する手段とを備えたものである。

【０２８３】また、第４には、前記発光手段の発光量を
異ならせた複数種の発光モードを持ち、決定された発光
モードで前記発光手段の発光を実施させるべく制御する
手段と、前記発光手段を前記いずれかの発光モードで予
備発光させる手段と、前記受光手段より前記予備発光時
の前記対象物体の画像情報を得て、この画像情報から、
最適となる発光モードを決定し、前記制御手段に与える
決定手段とを備えたものである。

【０２８４】そして、第５には、前記発光手段の発光量
を異ならせた複数種の発光モードを持ち、これらの発光
モードを順次選択して、その発光モードで前記発光手段
の発光を実施させるべく制御する手段と、前記各種の発
光モードでの発光動作時にそれぞれ前記受光手段から得
た差成分の画像を合成する手段とを備えたものである。

【０２８５】本発明は、対象物体に照明光を照射する発
光手段と、前記対象物体の画像を得る受光手段とを有
し、発光手段による照明光の非照射時での前記対象物体
の画像と、発光手段による照明光の照射時での前記対象
物体の画像を前記受光手段によりそれぞれ所定の同一検
出時間を以て得ると共に、得られた両画像の差成分を求
めることにより、前記対象物体の画像を抽出する場合
に、外光の変動のある環境において、特定の対象物体を
容易に高精度に抽出することができるようにするという
第１の目的を達成すべく、上記第１乃至第３の構成を採
用した。

【０２８６】そして、第１の構成の場合、照明光の発生
する波長成分の光を除去する除去手段を介して検出手段
は前記対象物体の置かれる環境下での光量を検出する。
これにより環境下での光量の監視が可能になる。検出手
段のこの検出出力から前記対象物体のおかれる環境の明
るさの状態を判断して前記受光手段により得た前記差成
分の画像の採否を決める。

【０２８７】その結果、環境下の光変動の大きさが画質
に影響を及ぼす程度のものとなっている状態で取得され
た差成分の画像は採用しないようにし、画質に支障のな
い範囲の光変動のときの画像のみを取捨選択して利用で
きるようになる。

【０２８８】また、第２の構成の場合、照明光の発生す
る波長成分の光を除去する除去手段を介して、検出手段
により前記対象物体のおかれる環境下での光量を検出す
る。この検出出力から前記対象物体のおかれる環境の明
るさの状態を検出し、変動の周期情報を得る。そして、
この変動の周期情報に基づく変動周期に同期して前記発
光手段と前記受光手段を駆動制御する。

【０２８９】この結果、環境下の光に周期的変動があっ
た場合に、その変動周期に同期した発光手段の発光と、
受光手段による画像取得ができ、従って、発光手段によ
る対象物体からの反射光成分による画像を精度良く取得
できるようになる。

【０２９０】また、第３の構成の場合、対象物体のおか
れる環境を常時、照明する照明手段を光量制御する手段
を設けたことで、安定した光量の環境下での画像取得が
でき、従って、発光手段による対象物体からの反射光成
分による画像を精度良く取得できるようになる。

【０２９１】差成分（差分画像）を取得するにあたり、
外光のみの環境下での対象物体の画像と、照明光を照射
させて得た対象物体の画像とを得るが、これらの画像は
それぞれ同じ所定の期間、撮像装置である受光手段の検
出出力（画像信号を電荷として蓄積したもの）を得る
が、外光の状況に変動があると外光のみの環境下での取
得画像と、照明光を当てて得た段階での取得画像中それ
ぞれでの外光成分が異なったものとなってしまい、これ
は雑音成分となり、対象物体のみの画像の抽出精度に影
響を与える。本発明によれば、これを解消できる。

【０２９２】また、本発明は、対象物体に照明光を照射
する発光手段と、前記対象物体の画像を得る受光手段と
を有し、発光手段による照明光の非照射時での前記対象
物体の画像と、発光手段による照明光の照射時での前記
対象物体の画像を前記受光手段によりそれぞれ所定の同
一検出時間を以て得ると共に、得られた両画像の差成分
を求めることにより、前記対象物体の画像を抽出する場
合に、対象物体と受光手段との距離が変わっても、最適
状態の画像抽出が可能な画像抽出装置とすることができ
るようにするという第２の目的を達成すべく、上記第４
及び第５の構成を採用した。

【０２９３】そして、第４の構成の場合、発光手段の発
光量を異ならせた複数種の発光モードを用意し、そし
て、最初に発光手段に予備発光をさせ、このときの対象
物体の画像を取得して、その画像の状態から、上記複数
種の発光モードのうちから、現状で最適の状態の画像が
取得し得る最適発光モードを決定し、この決定された発
光モードで前記発光手段の発光を実施させるべく制御す
るようにした。

【０２９４】予備発光で画像の状態を調べ、最適な画像
が取得可能な発光モードを決定してそのモードで本番で
の発光手段の発光を行い、得られた画像から差分の画像
の取得をするようにしたので、対象物体と受光手段との
距離が変わっても、最適状態の画像抽出が可能な画像抽
出装置を提供できる。

【０２９５】また、第５の構成の場合、発光手段の発光
量を異ならせた複数種の発光モードを用意する。そし
て、これらの発光モードを順次選択して、その発光モー
ドで前記発光手段の発光を実施させる。そして、これら
各種の発光モードでの発光動作時にそれぞれ前記受光手
段から得た差成分の画像を合成し、対象物体の差成分の
画像として用いるようにする。その結果、対象物体と受
光手段との距離が変わっても、最適状態の画像抽出がで
きる画像抽出装置を提供できる。

【０２９６】差成分（差分画像）を取得するにあたり、
外光のみの環境下での対象物体の画像と、照明光を照射
させて得た対象物体の画像とを得るが、これらの画像は
それぞれ同じ所定の期間、撮像装置である受光手段の検
出出力（画像信号を電荷として蓄積したもの）を得る。
そして、光の強さは距離の２乗に反比例するので、対象
物体の距離の変動は得た差分画像の品質に影響を与え
る。本発明によれば、これを解消できる。

【０２９７】なお、本発明は上述した具体例に限定され
ることなく、種々変形して実施し得る。

【０２９８】

【発明の効果】以上、詳述したように、本発明によれ
ば、外光の影響を抑制できて、特定の対象物体を容易に
高精度に抽出することができるようになり、また、対象
物体の位置が種々変わってもこれに影響されることなく
なって、、特定対象物体の形状、動き、距離情報などを
得るにあたり、その元となる特定の対象物体を画像中か
ら精度よく抽出するできるようなる画像抽出装置を提供
できる。

【図面の簡単な説明】

【図１】本発明を適用する対象の一具体例の全体構成を
示すブロック図。

【図２】図１の装置のより具体的な構成例を示す図。

【図３】図１の装置における反射光抽出手段１０２の構
成例の詳細図。

【図４】図３に示す反射光抽出手段の一画素分の単位受
光部ＰＤの概略構成を示す図。

【図５】図３，図４の回路中の受光部におけるゲートな
どの制御信号と発光制御信号、および光の強さの時間的
変化を示す図。

【図６】本発明の具体例を説明するためのブロック図。

【図７】図６の構成の本システムの動作例を説明するた
めの図。

【図８】図６の構成の本システムの動作例を説明するた
めの図。

【図９】図６の構成の本システムの動作例を説明するフ
ローチャート。

【図１０】本発明の別の具体例を説明するためのブロッ
ク図。

【図１１】本発明の別の具体例を説明するためのブロッ
ク図。

【図１２】図１１の構成の本システムの動作例を説明す
るための図。

【図１３】図１１の構成の本システムの別の動作例を説
明するための図。

【図１４】本発明の別の具体例を説明するためのブロッ
ク図。

【図１５】図１４の構成の本システムの別の動作例を説
明するための図。

【図１６】図距離をパラメータとしたときの対象物体と
その検出光量の関係を示す特性図。

【図１７】本発明の別の具体例を説明するためのブロッ
ク図。

【図１８】図１７の装置における各状態モードの遷移を
説明する図。

【図１９】図１７の構成の装置の動作例を説明するため
の図。

【図２０】図１７の構成の装置の別の動作例を説明する
ための図。

【図２１】線形アンプと対数アンプの特性例を示す図。
と

【図２２】対象物体の距離の変動による反射光画像の画
質への影響を抑制する本発明装置の別の具体例を説明す
るブロック図。

【図２３】対象物体の距離の変動による反射光画像の画
質への影響を抑制する本発明装置の別の具体例を説明す
るブロック図。

【図２４】図２３の装置の処理内容を説明するフローチ
ャート。

【図２５】従来例を説明するための図であって、従来の
３次元ポインティングデバイスの一例を示す図。

【符号の説明】

１０１…発光手段 １０２…反射光画像獲得手段（反射光抽出手段） １０３…特徴情報生成手段（反射光画像処理手段） １０４…受発光制御信号生成手段（タイミング信号生成
手段） １０６…対象物体 ２０１…外光光源 ２０２…フィルタ ２０３…外光検出手段 ２０４…外光状態判定手段 ２０５…受発光動制御手段 ４０１…照明制御信号生成手段 ５００…最大画素値検出手段 ５０１…発光状態決定手段 ６０１…Ａ／Ｄ変換器 ６０２…ローパスフィルタ（ＬＰＦ） ６０３…発光量決定手段 ６０４…反射光画像処理手段 ７０１…フレームバッファ ７０２…反射光画像合成手段 ７０３…制御手段 ７０４…発光状態制御手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 梅木 直子 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (5)

【特許請求の範囲】
1. 【請求項１】対象物体に照明光を照射する発光手段と、
   前記対象物体の画像を得る受光手段とを有し、発光手段
   と受光手段が同期的に動作することにより、照明光の対
   象物体による反射光のみを画像として抽出する装置にお
   いて、 前記照明光の発生する波長成分の光を除去する除去手段
   と、 前記対象物体のおかれる環境下での光量を前記除去手段
   を介して検出する検出手段と、 この検出手段による検出出力から前記対象物体のおかれ
   る環境の明るさの状態を判断して前記受光手段により得
   た前記差成分の画像の採否を決める手段と、を備えるこ
   とを特徴とする画像抽出装置。
2. 【請求項２】対象物体に照明光を照射する発光手段と、
   前記対象物体の画像を得る受光手段とを有し、発光手段
   と受光手段が同期的に動作することにより、照明光の対
   象物体による反射光のみを画像として抽出する装置にお
   いて、 前記照明光の発生する波長成分の光を除去する除去手段
   と、 前記対象物体のおかれる環境下での光量を前記除去手段
   を介して検出する検出手段と、 この検出手段による検出出力から前記対象物体のおかれ
   る環境の明るさの状態を検出し、変動の周期情報を出力
   する手段と、 この変動の周期情報に基づく変動周期に同期して前記発
   光手段と前記受光手段を駆動制御する手段と、を備える
   ことを特徴とする画像抽出装置。
3. 【請求項３】対象物体に照明光を照射する発光手段と、
   前記対象物体の画像を得る受光手段とを有し、発光手段
   と受光手段が同期的に動作することにより、照明光の対
   象物体による反射光のみを画像として抽出する装置にお
   いて、 前記対象物体のおかれる環境の外部照明の光量を制御す
   る手段と、 を備えることを特徴とする画像抽出装置。
4. 【請求項４】対象物体に照明光を照射する発光手段と、
   前記対象物体の画像を得る受光手段とを有し、発光手段
   と受光手段が同期的に動作することにより、照明光の対
   象物体による反射光のみを画像として抽出する装置にお
   いて、 前記発光手段の発光量を異ならせた複数種の発光モード
   を持ち、決定された発光モードで前記発光手段の発光を
   実施させるべく制御する手段と、 前記発光手段を前記いずれかの発光モードで予備発光さ
   せる手段と、 前記受光手段より前記予備発光時の前記対象物体の画像
   情報を得て、この画像情報から、最適となる発光モード
   を決定し、前記制御手段に与える決定手段と、を備える
   ことを特徴とする画像抽出装置。
5. 【請求項５】対象物体に照明光を照射する発光手段と、
   前記対象物体の画像を得る受光手段とを有し、発光手段
   と受光手段が同期的に動作することにより、照明光の対
   象物体による反射光のみを画像として抽出する装置にお
   いて、 前記発光手段の発光量を異ならせた複数種の発光モード
   を持ち、これらの発光モードを順次選択して、その発光
   モードで前記発光手段の発光を実施させるべく制御する
   手段と、 前記各種の発光モードでの発光動作時にそれぞれ前記受
   光手段から得た差成分の画像を合成する手段と、を備え
   ることを特徴とする画像抽出装置。