JPH11265241A

JPH11265241A - 情報入力装置および情報入力方法および記録媒体

Info

Publication number: JPH11265241A
Application number: JP6638298A
Authority: JP
Inventors: Shunichi Numazaki; 俊一沼崎; Miwako Doi; 美和子土井; Masayuki Matsunaga; 誠之松長; Akira Morishita; 明森下; Naoko Umeki; 直子梅木
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-03-17
Filing date: 1998-03-17
Publication date: 1999-09-28
Anticipated expiration: 2018-03-17
Also published as: US7453511B2; US20040046737A1; JP3868621B2; US6714247B1

Abstract

(57)【要約】【課題】特殊な装置を装着することなく、簡易にジェス
チャや動きを入力できる直接指示型の入力デバイスが存
在しなかった。特に、３次元空間でのポインティングや
視点の変更を容易に行える簡易なデバイスは存在しなか
った。また、ユーザのジェスチャや動きをそのまま使っ
て、アニメーションのキャラクタなどに自然な動きをつ
けたりすることができなかった。さらに、従来のカメラ
では、特定のキャラクタだけを切り出したり、キャラク
タの奥行き情報を容易に入力できなかった。【解決手段】アレイ状に配列された受光セルが受光した
電荷の差分をとるための差分機能を有したエリアイメー
ジセンサと、エリアイメージセンサの受光セルの受光を
個別に制御し、時間的に強度変化する光を発する発光手
段と、発光した光の物体による物体の反射光画像を検出
することを特徴とする。また、発光手段からの物体の反
射光以外の光を受光することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本願発明は３次元空間内での
情報入力を行うための情報入力装置および情報入力方法
および記録媒体に関する。

【０００２】

【従来の技術】コンピュータへの入力デバイスとして
は、マウスが圧倒的に使われている。しかし、マウスで
できることは、カーソルの移動と、メニューの選択など
である。あくまでも２次元のポインティングデバイスと
しての役目である。マウスで扱えるのは、２次元情報な
ので、３次元空間のなかの物体など奥行きがあるものを
選択することは難しい。また、アニメーションを作成す
るときに、キャラクタに動きをつけるのに、マウスで
は、自然な動きをつけることが難しかった。

【０００３】３次元空間でのポインティングの難点を補
うために、３次元ポインティングデバイスが開発されて
いる。例えば、図１４のような３次元ポインティングデ
バイスでは、中央の丸い手段分の前方を押す、中央を押
す、後方を押す、丸い手段分の全体を持ち上げる、全体
を右に回す、左に回すというように、６通りの操作がで
き、６自由度ある。この６自由度を割り振ることで、３
次元空間内のカーソルの位置（ｘ，ｙ，ｚ）と向き（ｘ
軸，ｙ軸，ｚ軸）制御したり、あるいは、３次元空間に
対する視点位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ
軸）を制御できる。

【０００４】しかし、実際に操作すると、思うようにカ
ーソルや視点の制御ができないという問題がある。例え
ば、左右に回そうとすると、前方あるいは後方を押して
しまい、思わぬ方向にカーソルが動いたり、視点が動い
たりしてしまう。

【０００５】このような３次元ポインティングデバイス
に対して、手振りや身ぶりを使って入力するデバイスも
開発されている。データグローブやデータスーツ、サイ
バーグローブと呼ばれるものである。これらは、例え
ば、データグローブは手袋状のデバイスで、表面に光フ
ァイバが走っている。光ファイバは、指の関節まで通っ
ており、指を曲げることにより、光の導通が変わる。こ
の光の導通を計測することで、かく指の関節がどの程度
曲がっているかがわかる。手自体の３次元空間内の位置
は、手の甲についている磁気センサによって計測するよ
うになっている。人差し指をたてれば、前進するという
ように、身ぶりとそれに対応する指示を決めておけば、
データグローブを使って、３次元空間内を種々に視点を
変えて、ちょうど、歩き回るようにする（ウオークスル
ーという）ことができる。

【０００６】しかし、問題もいくつかある。まず、価格
が高価であり、家庭用などに使用することは難しい。指
の関節の角度を計測しているので、例えば、人差し指だ
けのばし、他の指は、曲げた状態を前進指示と定義した
とする。実際に一口に指を伸ばすといっても、人差し指
の第２関節の角度が１８０度に完全になっていることは
少ないので、遊びの手段分を作らないと、きっちりのば
したとき以外は、のばしていると認識するのが難しい。
また、データーグローブを装着するので、自然な操作が
阻害される。また、装着するたびに、手の開いた状態と
閉じた状態で、光の導通状態を校正せねばならないの
で、手軽に使えない。また、光ファイバを使っているた
め、継続的に使っていると、ファイバが断絶するなど消
耗品に近いという問題がある。また、このように、高価
で、手間がかかるデバイスである割には、手袋の大きさ
が、ぴったり合っていないと、使っているうちにずれた
りして校正した値からずれるために、細かな手振りを認
識することは難しい。このように、いろいろな問題があ
るために、データグローブは、ＶＲ（バーチャルリアリ
ティ、仮想現実感）技術のトリガーとなったデバイスで
あったにもかかわらず、当初の期待ほど、普及しておら
ず、また、低価格化もなされていず、使い勝手の点で問
題が多い。

【０００７】これに対し、データグローブのような特殊
な装置を装着することなく、手振りや身ぶりを入力しよ
うとする試みが、いくつかなされている。例えば、ビデ
オ映像などの動画像を解析して、手の形を認識するよう
な研究がなされている。

【０００８】しかし、これらでは、背景画像から目的と
する画像、手振りの認識の場合には、手のみを切り出す
ことが難しいという問題がある。例えば、色を使って切
り出す場合を考えてみる。手の色は肌色であるので、肌
色の手段分のみを切り出すような方式が考えられる。
が、背景にベージュ色の洋服や、壁があったりすると、
肌色を識別することが難しい。また、調整を行って、ベ
ージュと肌色を区別できるようにしても、照明が変われ
ば、色調が変化してしまうために、定常的に切り出すこ
とは困難である。

【０００９】このような問題から逃れるために、背景に
ブルーマットをおくというように、背景画像に制限を置
き、切り出しを容易にする方策も採られている。あるい
は、指先に背景からの切り出しが容易になるような色を
つける、あるいは色のついた指輪をはめるというような
方策も採られている。が、このような制限は現実的でな
く、実験的には使われているが、実用化されるにいたっ
ていない。

【００１０】また、以上のような切り出しなどのビデオ
の画像認識処理は、非常に演算量が多い。このため、現
状のパーソナルコンピュータでは、秒３０枚発生する画
像を処理しきれないのが実状である。従って、ビデオ映
像の処理によるモーションキャプチャなどをやるのは、
リアルタイムは無理である。

【００１１】レンジファインダと呼ばれる、距離画像を
入力する装置がある。その代表的な原理として、スポッ
ト光あるいはスリット光を対象物体に照射し、その反射
光の受光位置から三角測量の原理で求めるものである。
２次元的な距離情報を求めるために、スポット光あるい
はスリット光を機械的に走査している。この装置は非常
に高精度な距離画像を生成することができるが、その反
面、装置の構成が大掛かりになり、高コストになる。ま
た入力に時間がかかり、実時間で処理を行わせるのは困
難である。

【００１２】また、手や身体の一部に色マーカーや発光
部を取り付け、画像によりそれらを検出し、手・身体の
形、動きなどを捉える装置もあり、一部実用化されてい
る。しかし使用者の利便性を考えると、操作の度に装置
を装着しなくてはならないというのは大きなデメリット
であり、応用範囲を非常に制約する。また、データグロ
ーブの例に見られるように、装置を手などの可動部に装
着して使用する装置は耐久性が問題になりやすい。

【００１３】次に、以上のような入力デバイスとは別
に、カメラ技術について従来技術についての問題点を述
べる。従来のカメラ技術では、背景に対して、キャラク
タの合成（クロマキー）を行うには、あらかじめ、ブル
ーバックでキャラクタを撮影して、キャラクタの切り出
しを容易にする必要があった。このため、ブルーバック
で撮影ができるスタジオなど、撮影場所に制限があっ
た。あるいは、ブルーバックでない状態で撮影した映像
から、キャラクタを切り出すには、コマごとに、キャラ
クタの切り出し範囲を人手で編集せねばならないので、
非常な手間がかかっていた。

【００１４】同様に、キャラクタを３次元空間の中に生
成するには、あらかじめ３次元のモデルをつくってお
き、そこにキャラクタの写真を貼り付ける（テクスチャ
マッピング）をおこなうような方式をとっている。が、
３次元モデルの生成、および、テクスチャマッピングに
は手間がかかり、映画制作など経費がかかってもよい用
途以外では、ほとんど使えなかった。

【００１５】このような問題を解決するために、例え
ば、特願平９−２９９６４８号に示されているような、
反射光画像を抽出し、距離画像を取得する方式が開発さ
れている。しかし、この方式では、反射光画像を抽出す
るために、物体の色相情報をえることができないという
問題がある。このため、従来の撮像カメラと、反射光画
像を切り出すカメラと２つのカメラが必要になるという
問題が生じていた。

【００１６】

【発明が解決しようとする課題】特殊な装置を装着する
ことなく、簡易にジェスチャや動きを入力できる直接指
示型の入力デバイスが存在しなかった。特に、３次元空
間でのポインティングや視点の変更を容易に行える簡易
なデバイスは存在しなかった。また、ユーザのジェスチ
ャや動きをそのまま使って、アニメーションのキャラク
タなどに自然な動きをつけたりすることができなかっ
た。

【００１７】さらに、従来のカメラでは、特定のキャラ
クタだけを切り出したり、キャラクタの奥行き情報を容
易に入力できなかった。これを改善する方法では、特殊
なセンサアレイを用いており、価格が高価になるという
問題があった。

【００１８】また、このような問題を解決する撮像方法
では、反射光画像のみの取得になるため、色相情報が得
られず、従来のカメラと２台必要になるという問題があ
った。

【００１９】

【課題を解決するための手段】以上の問題を解決するた
めに、アレイ状に配列された受光セルが受光した電荷の
差分をとるエリアイメージセンサと、パルス信号もしく
は変調信号を発生させるタイミング信号生成手段と、前
記エリアイメージセンサの受光セルの受光を個別に制御
するための制御信号を、前記タイミング信号生成手段か
らの信号に基づいて生成する制御信号生成手段と、前記
タイミング信号生成手段からの信号に基づいて強度変化
する光を発する発光手段と、発光した光に対する物体の
反射光画像を検出する検出手段を有することを特徴とす
る。

【００２０】また、前記エリアイメージセンサは、偶数
行あるいは奇数行毎に独立して受光することを特徴とす
る。また、パルス信号もしくは変調信号を発生させるタ
イミング信号生成手段と、前記タイミング信号生成手段
からの信号に基づいて強度変化する光を発する発光手段
と、前期タイミング信号生成手段からの信号と同期する
ことにより、前記発光手段から発された光の物体による
反射光を受光する第１の受光手段と、前記発光手段から
の物体の反射光以外の光を受光する第２の受光手段とを
具備したことを特徴とする。

【００２１】また、前記第１の受光手段が受光する物体
反射光を結像するための第１の結像手段と、前記第２の
受光手段が受光する物体反射光以外の光を結像するため
の第２の結像手段とを具備することを特徴とする。

【００２２】また、物体による反射光と物体による反射
光以外の光を分光するための分光手段とを具備すること
を特徴とする。また、前記タイミング信号生成手段は、
エリアイメージセンサが物体の反射光画像を撮像するた
めの制御信号と、反射光以外による光画像を撮像するた
めの制御信号を選択して出力することを特徴とする。

【００２３】また、前記発光手段の発光する光のみを通
過する通過フィルタと、前記発光手段の発光する光を遮
断する遮断フィルタと、撮像する際に光を通過させる前
記２つのフィルタのうちの一方を選択する手段とを具備
することを特徴とする。

【００２４】また、前記発光手段の発光する光のみを通
過する通過フィルタと、前記発光手段の発光する光を遮
断する遮断フィルタと、前記タイミング信号生成手段か
らの信号と同期して、前記通過フィルタと、遮断フィル
タの切替を行う切替手段とを具備することを特徴とす
る。

【００２５】また、物体による反射光と物体による反射
光以外の光を分光するための分光手段と、分光された前
記光の光路上で、この光の通過／遮断を選択する選択手
段と、前記分光手段で分光された２つの光を合成する合
成手段とを具備することを特徴とする。

【００２６】また、エリアイメージセンサの受光セルは
反射光画像を撮像するためのセルと、反射光以外の光画
像を撮像するためのセルによって構成されることを特徴
とする。

【００２７】また、アレイ状に配列された受光セルが受
光した電荷の差分をとるエリアイメージセンサを有し、
パルス信号もしくは変調信号を発生させ、前記エリアイ
メージセンサの受光セルの受光を個別に制御するための
制御信号を、前記パルス信号もしくは変調信号に基づい
て生成し、生成した制御信号に基づいて強度変化する光
を発光させ、発光した光に対する物体の反射光画像を検
出することを特徴とする。

【００２８】また、パルス信号もしくは変調信号を発生
させ、パルス信号もしくは変調信号に基づいて強度変化
する光を発光させ、パルス信号もしくは変調信号と同期
することにより、前記発光された光の物体による反射光
と反射光以外の光を受光することを特徴とする。

【００２９】また、アレイ状に配列された受光セルが受
光した電荷の差分をとるエリアイメージセンサを制御す
るコンピュータで実行可能なプログラムを記録した記録
媒体であって、パルス信号もしくは変調信号を発生さ
せ、前記エリアイメージセンサの受光セルの受光を個別
に制御するための制御信号を、前記パルス信号もしくは
変調信号に基づいて生成し、生成した制御信号に基づい
て強度変化する光を発光させ、発光した光に対する物体
の反射光画像を検出するプログラムを記録した記録媒体
である。

【００３０】

【発明の実施の形態】（実施例１）以後、図面を用いて
本願発明の実施例を詳細に説明する。＜図１の説明＞図１は、イメージセンサを用いて反射光
画像を得るための装置の構成例を示したものである。発
光制御部８はあらかじめ決められた発光パタンで光源が
発光するように制御する。具体的には例えば、１フレー
ムごとに１回のパルス発光をする。光の波長は特に制限
はないが、近赤外光のような比較的外光（照明光、太陽
光）に含まれるパワーが少なく、眩しさを感じない光源
が好適である。

【００３１】光源７はＬＥＤのように長期に安定して動
作し、しかも高速に応答するものが好適である。受光セ
ンサ１はこの発光に同期して少なくとも２回の撮像動作
を行う。１回の撮像は発光と同時に行い、光源の光１４
の物体反射光５を含む光を受光する。もう１回の撮像は
光源が発光していないときに行い、光源の光の物体反射
光を含まない光を受光する。このセンサはこの２回の撮
像の差分を出力することができる。すなわちこの差分を
得ることにより、光源の光の物体反射光のみを出力す
る。

【００３２】レンズ３とセンサ１の間には不要な光を遮
断するフィルタ２が入っている。例えば光源波長のみを
通過させる光学バンドパスフィルタである。このためセ
ンサには照明光などの不要な光４の多くは入射しないよ
うになっている。しかし照明光などの外光にも光源波長
と同じ波長の成分を持っていることが多いため、差分動
作を行っている。

【００３３】センサの出力はアナログ信号処理部９を経
て、Ａ／Ｄ変換部１２でデジタルデータに変換される。
反射光画像処理部１３では、この画像を用いてさまざま
な処理を行う。人の手の動きを解釈するならば、ここで
手の形状を２次元あるいは３次元的に切り出し、それを
用いて手の動きを推定する。この反射光画像処理部１３
での処理については本実施例では詳細は省略する。

【００３４】＜図２の説明＞図２は、図１の受光センサ
部分のイメージセンサをより詳細に記述した図面であ
る。図２に示しているイメージセンサは垂直選択部１
５、水平選択部１７によって画素位置を与え、そのセル
に蓄積された出力を取り出すことができる。

【００３５】また、差分回路１８は一旦電荷量を蓄積
し、次に入力された電荷量との差分を出力できるような
回路である。このイメージセンサは偶数行と奇数行の撮
像動作を独立に制御できるようになっている。そして偶
数行は光源発光時に受光するセル、奇数行は光源が発光
していないときに受光するセルとして用いる。つまり光
源が発光しているときに偶数行のセルで撮像を行い、発
光していないときに奇数行のセルで撮像を行う。以下、
前者を発光時蓄積用セル２０，後者を非発光時蓄積用セ
ル１９と呼ぶことにする。

【００３６】差分回路１８は例えば次のように動作す
る。まず１行目の非発光時蓄積のセルを読み出し、差分
回路に１行分記憶する。次に２行目の発光時蓄積のセル
を読み出し、差分回路に記憶していた１行目の受光量と
の差分を出力する。これ以降の処理は図１での説明と同
じである。

【００３７】図３は、図２の構成における処理の流れ図
である。ＬＥＤが発光したとき（ステップＳ１０１）、
偶数ラインで受光し（ステップＳ１０２）、ＬＥＤが発
光していないとき（ステップＳ１０３）、奇数ラインで
受光する（ステップＳ１０４）。このようにすると、ち
ょうど、図２のように、偶数ラインに発光時の受光した
電荷が蓄積され、奇数ラインに非発光時に受光した電荷
が蓄積される。それを、差分回路１８を介して読み出
す。

【００３８】まず、奇数ライン、つまり、非発光時の受
光レベルが差分回路に蓄積される（ステップＳ１０
６）。つぎに、偶数ライン、つまり、発光時の受光レベ
ルが差分回路１８に読み出され（ステップＳ１０７）、
発光時と非発光時の差分のみが出力される（ステップＳ
１０８) 。これがアナログ信号処理回路に入力される
（ステップＳ１０９）。

【００３９】このような動作を、垂直方向にすべてのラ
インを転送し終わるまで続ける。転送が終了したら、も
う一度、発光し、受光するという動作を続行する。以上
のような動作により、例えば、図４のような、反射光画
像（反射光の強さは距離の２乗に反比例するので、実質
的には３次元画像）が取得できる。

【００４０】（実施例２）図２では、イメージセンサを
用いて光源の物体反射光画像を得る装置について述べ
た。しかし、この物体の形状を容易に得られる反射光画
像と、通常のカメラで撮るような画像（可視光画像と呼
ぶ）を同時に得たいという要求が存在する。このような
ことが実現すれば、例えば、可視光画像の中から人間の
体や顔だけを切り出すことが容易に行える。

【００４１】＜図５の説明＞図５は反射光画像と可視光
画像を同時に得る事のできる装置の構成例を示してい
る。ここでは光学系とイメージセンサを、反射光画像
用、可視光画像用に２種類用意している。

【００４２】反射光画像用の受光センサ１は図２で述べ
たような構成をしている。またイメージセンサ１の前に
光源の波長光のみを通過させる光学バンドパスフィルタ
２がある。これは光源からの物体反射光５のみを通過さ
せ、それ以外の例えば照明光やその物体反射光４を反射
する。

【００４３】一方、可視光画像用のセンサ２２は通常の
撮像カメラに用いられるようなＣＣＤイメージセンサあ
るいはＣＭＯＳイメージセンサなどを用いることができ
る。可視光画像用のセンサの前には、光源からの物体反
射光を反射させる光学フィルタ２３を配置するのが適当
である。ただし、この光源の物体反射光が大きな影響を
与えない場合、例えば通常、撮像カメラで用いられる赤
外光カットフィルタで十分である場合やセンサの分光感
度特性によりその光源に対する感度が低いような場合に
は、この光学フィルタを省いても構わない。

【００４４】これら２つのセンサでの撮像を同時に行う
ことによって、切り出されたオブジェクトなどの、より
高度な情報を得ることができるが、単純に反射光画像だ
け、可視光画像だけを撮像する目的でも使うことができ
る。

【００４５】この構成の場合、反射光画像用のセンサと
可視光画像用のセンサは近いところに配置されるので、
ほぼ位置ずれの無い画像が得られる。しかし厳密にはわ
ずかな位置ずれは存在し、また物体が近いときにはそれ
は顕著となる。

【００４６】（実施例２の変形例）＜図６の説明＞図６はこのような位置ずれが起こらない
ように構成した例である。ここでは光学系を、反射光画
像用と可視光画像用で共有する。光学系を通過した光
は、例えばダイクロイックミラー２８で、光源の物体反
射光２９とそれ以外の光３０とに分けられる。ダイクロ
イックミラーとは特定波長の光を通過させそれ以外を反
射させ、光を波長によって分割するものである。図６で
は、物体反射光の波長光を通過させ、それ以外を反射さ
せるミラーを用いている。この構成により、厳密に光軸
の一致した２枚の画像、すなわち反射光画像と可視光画
像を得る事ができる。

【００４７】ここではダイクロイックミラーを用いた例
を挙げたが、これに限らず光を光源の物体反射光とそれ
以外の光とに分け、重なり合わない位置に配置された２
つのイメージセンサに入射させることができるものであ
れば良い。

【００４８】（実施例３）＜図７の説明＞図５、６では、反射光画像用、可視光画
像用の２つのセンサを用いていたが、これをひとつのセ
ンサで行うことができれば、より低コスト化を実現でき
る。図７はそのひとつの構成例を示している。スライド
して動かすことが可能な光学フィルタ３１がレンズ３２
とセンサ３３の間に配置されている。

【００４９】このフィルタは半分に光源の波長光のみを
通過させるバンドパスフィルタが、もう半分にはこの波
長光を遮断し可視光を通過させる光学フィルタが入って
いる。このフィルタをスライドすることにより、センサ
に到達する光を光源の物体反射光のみにしたり、可視光
のみにしたりすることができる。この場合、ひとつのイ
メージセンサで反射光画像と可視光画像の両方を撮像で
きる必要がある。これを次に述べる。

【００５０】図８はＣＭＯＳイメージセンサでよく用い
られるカラーフィルタの配列である。このように赤成分
を通過させる「Ｒ」、緑成分を通過させる「Ｇ」、青成
分を通過させる「Ｂ」が配列している。可視光画像を撮
像する場合には、そのまま各セルの出力を取り出す。差
分回路は動作させないかあるいは各セルの固定パタンノ
イズを除去するためにのみ用いる。固定パタンとは各セ
ルごとに一定した値を持つ固定ノイズのことである。

【００５１】反射光画像を得る時にはセンサの動作を変
える。例えば「Ｇ」のセルのみを用い、例えばＧ１のセ
ルに非発光時蓄積を行い、Ｇ２のセルに発光時蓄積を行
い、その差を差分回路で取り出せば良い。したがって、
Ｇのセルはその撮像制御を２系統に分け、独立に撮像で
きるようにする必要がある。

【００５２】例えば、Ｇ１、Ｇ３、Ｇ５、Ｇ７のセル群
とＧ２、Ｇ４、Ｇ６、Ｇ８のセル群は独立に撮像でき
る。この場合、可視光画像と反射光画像の画像解像度は
異なる。可視光画像は４画素（Ｇが２つ、ＲとＢがひと
つづつ）でカラーの１画素を構成するので図８では４ｘ
４画素である。Ｇ１とＧ２の差分を取り、Ｇ３とＧ４の
差分を取り、これらを足しあわせると、すなわち、ＧＧ
１〜Ｇ４で反射光画像の１画素を作る場合、解像度は縦
方向に半分、横方向は同じになる。Ｇ１〜Ｇ８で反射光
画像の１画素を作る場合は、縦横方向共に解像度は半分
になる（図の場合２ｘ２）。

【００５３】反射光画像を得る場合に、「Ｇ」のみのセ
ルを用いる例を示したが、Ｒ、Ｇ、Ｂの３種類のセルで
光源波長の分光感度がほぼ同じである場合は、この４画
素を使って反射光画像の１画素を作ることができる。例
えば、Ｇ１、Ｒ１に非発光時蓄積を行い、Ｂ１、Ｇ３に
発光時蓄積を行い、Ｂ１とＧ１の差分とＧ３とＲ１の差
分を足しあわせると、可視光画像と同じ解像度の反射光
画像を得ることができる。さらにＢ１とＧ１の差分とＧ
３とＲ１の差分をそれぞれひとつずつの反射光画像の画
素と見れば、可視光画像に対して横方向の解像度を倍に
することもできる。

【００５４】（実施例３の変形例）＜図９の説明＞反射光画像を作るために「Ｇ」のセルの
みしか使えないとしても、可視光画像と同じ解像度の反
射光画像を得ることはできる。図９のようなフィルタ配
列にすれば、Ｇ１に非発光時蓄積、Ｇ２に発光時蓄積を
行うことで、その差分を取り出すことができる。差分回
路は通常同じ列の画素についてのみ差分を行えるよう構
成するので、図８のようなフィルタ配列にするとＧ１と
Ｇ３の差分を取り出すのは難しいが、図９のＧ１、Ｇ２
の差分であれば容易に取り出せる。

【００５５】＜制御の切り替えについて＞以上述べたよ
うな反射光画像を得るための制御は、可視光画像を得る
ための制御とは異なるため、センサの制御を切り替える
必要がある。これはスイッチ、あるいはソフトウエア
（この装置をＰＣにつないで使う場合）で、明示的に制
御を切り替えても良いが、フィルタをスライドすること
によりスイッチがオン、オフするような機構を備えてお
いて、フィルタがどちらの位置にあるかを自動的に認識
し、それによって制御を切り替えても良い。

【００５６】図７の構成の場合、反射光画像と可視光画
像を別々に得ることは容易であるが、同時に得ることは
難しい。光学フィルタを高速で移動させるような機構を
付け加えれば可能である。半円ずつにそれぞれの光学フ
ィルタを載せた円形のフィルタを回転させる方法もあ
る。

【００５７】（実施例４）＜図１０の説明＞図１０は、ひとつのセンサで反射光画
像と可視光画像の両方の撮像を同時に得ることができる
別の構成例である。図６で用いたのと同様のダイクロイ
ックミラーなどの光線分離手段３４を用いて、まず光源
の物体反射光とそれ以外の光とに分ける。このそれぞれ
に光を通過させるか遮断させるかを選択できるシャッタ
手段３４，３５を設け、シャッタを通過した後の光をま
たひとつに合成し、光学センサ３８に導く。

【００５８】シャッタ手段としては液晶パネルなどを用
いることができる。液晶パネルなどの駆動は非機械的に
行えるので、機械式機構を用いるよりは信頼性が高い。
この図では、光源の物体反射光３９は遮断され、それ以
外の光４０は通過できる状態になっている。逆の状態で
は、物体反射光はセンサまで到達し、可視光は途中のシ
ャッタで遮断される。

【００５９】（実施例４の変形例１）＜図１１の説明＞図１０では、２つに分けた光をそれぞ
れシャッタ手段を経て再合成したが、フィルタ特性をダ
イナミックに変えることのできる素子を用いれば、光路
を分ける必要はない。図１１では、レンズとセンサの間
に、（１）光源波長のみを通過させる（２）可視光のみを通過させるという２つの状態を切り替えられる素子４１が入ってい
る。この素子の状態を切り替えるだけで２種類の画像を
撮像することができる。図では、光源の物体反射光３９
は遮断され、それ以外の光４０は通過できる状態になっ
ている。逆の状態では、物体反射光はセンサまで到達
し、可視光は途中のシャッタで遮断される。

【００６０】また、（１）光源波長のみを通過させる（２）すべての光を通過させるという２つの状態を切り替えられる素子と、（１）可視光のみを通過させる（２）すべての光を通過させるという２つの状態を切り替えられる素子があれば、これ
らを重ねることによっても同様の構成を実現できる。

【００６１】（実施例４の変形例２）＜図１２の説明＞センサのカラーフィルタを特殊な構成
にすることによって、ひとつのセンサで反射光画像と可
視光画像を得ることができる。図９は一般的なカラーフ
ィルタの配列の一例であるが、図１２のような配列にす
ることによって、セルを反射光画像用のセルと可視光画
像用のセルに分けることができる。この図のセルで
「Ｈ」とあるのは、光源の波長のみを通過させるフィル
タを付けたセルである。Ｒ、Ｇ、Ｂのセルは可視光撮像
用に使い、Ｈを反射光画像撮像用に使う。

【００６２】例えば、Ｈ１、Ｈ３で非発光時蓄積を行
い、Ｈ２、Ｈ４で発光時蓄積を行う。Ｈ１〜Ｈ４までの
セルで反射光画像の１画素を作れば、可視光画像と同じ
解像度の反射光画像が得られる。通常の撮像カメラには
赤外光成分をカットするためのフィルタを用いている。
光源として近赤外光などを用いる場合は、フィルタの影
響を考えて強く発光するか、あるいは赤外カットフィル
タを可視光画像用セルの上にのみ取り付ける。

【００６３】（実施例４の変形例３）＜図１３の説明＞図１３は別のフィルタの配列例であ
る。図１２に比べ、縦方向の解像度は倍になっており、
横方向は３分の２になっている。より解像度の高い画像
を求めるならばこちらの配列にするのもよい。

【００６４】以上のような本願発明は、専用のハードウ
ェアを用いずとも、汎用のプロセッサを用いたソフトウ
ェアによる処理で実現することができる。例えば、図３
の処理はコンピュータプログラムを用いて実現でき、こ
れをフロッピーディスクやＣＤ−ＲＯＭなどの記録媒体
を通じてコンピュータに導入して実行させることによ
り、本願発明を実施することができる。

【００６５】

【発明の効果】以上のように、本願発明によれば、汎用
的なイメージセンサを使って反射光画像を取得でき、汎
用なセンサを使えるので装置の低コスト化が実現でき
る。また本願発明によれば、通常画像中から物体のみを
背景から切り出すなどの高度な画像処理を容易に実現で
きる。さらに本願発明によれば、より低コストで、反射
光画像とそれ以外の光による画像を同時に得ることがで
きる。

【図面の簡単な説明】

【図１】イメージセンサで反射光画像を取得するための
構成例の図である。

【図２】イメージセンサで反射光画像を取得するための
より詳細な構成例の図である。

【図３】イメージセンサで反射光画像を取得するための
動作フローの図である。

【図４】取得された反射光画像の例

【図５】物体反射光による画像と、それ以外の光による
画像を同時に取得できる装置の構成例の図である。

【図６】物体反射光による画像と、それ以外の光による
画像を同時に取得できる装置の構成例の図である。

【図７】物体反射光による画像と、それ以外の光による
画像を取得できる装置の構成例の図である。

【図８】物体反射光による画像と、それ以外の光による
画像を取得できる装置のイメージセンサ上のフィルタ構
成の例の図である。

【図９】物体反射光による画像と、それ以外の光による
画像を取得できる装置のイメージセンサ上のフィルタ構
成の例の図である。

【図１０】物体反射光による画像と、それ以外の光によ
る画像を同時に取得できる装置の構成例の図である。

【図１１】物体反射光による画像と、それ以外の光によ
る画像を同時に取得できる装置の構成例の図である。

【図１２】物体反射光による画像と、それ以外の光によ
る画像を同時に取得できる装置のイメージセンサ上のフ
ィルタ構成の例の図である。

【図１３】物体反射光による画像と、それ以外の光によ
る画像を同時に取得できる装置のイメージセンサ上のフ
ィルタ構成の例の図である。

【図１４】従来の３次元データ入力装置の例を示す図で
ある。

【符号の説明】

１…イメージセンサ、２…光学フィルタ、３…レンズ、
４…可視光などの光源の物体反射光以外の光、５…光源
の物体反射光、６…撮像対象物体、７…光源、８…発光
制御部、９…アナログ信号処理回路、１０…制御信号生
成装置、１１…システム制御部、１２…Ａ／Ｄ変換回
路、１３…反射光画像処理部、１４…光源の光、１５…
垂直選択回路、１７…水平選択回路、１８…差分回路、
１９…非発光時蓄積用セル、２０…発光時蓄積用セル、
２２…イメージセンサ、２８…光の分割手段、３１…フ
ィルタ切り替え手段、３５…光線遮断手段，３６…光線
遮断手段、４１…特性可変な光学フィルタ

フロントページの続き (72)発明者森下明神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内 (72)発明者梅木直子神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内

Claims

【特許請求の範囲】

【請求項１】アレイ状に配列された受光セルが受光した
電荷の差分をとるエリアイメージセンサと、パルス信号もしくは変調信号を発生させるタイミング信
号生成手段と、前記エリアイメージセンサの受光セルの受光を個別に制
御するための制御信号を、前記タイミング信号生成手段
からの信号に基づいて生成する制御信号生成手段と、前記タイミング信号生成手段からの信号に基づいて強度
変化する光を発する発光手段と、発光した光に対する物体の反射光画像を検出する検出手
段を有することを特徴とする情報入力装置。
【請求項２】前記エリアイメージセンサは、偶数行ある
いは奇数行毎に独立して受光することを特徴とする請求
項１に記載の情報入力装置。
【請求項３】パルス信号もしくは変調信号を発生させる
タイミング信号生成手段と、前記タイミング信号生成手段からの信号に基づいて強度
変化する光を発する発光手段と、前期タイミング信号生成手段からの信号と同期すること
により、前記発光手段から発された光の物体による反射
光を受光する第１の受光手段と、前記発光手段からの物体の反射光以外の光を受光する第
２の受光手段と、と具備したことを特徴とする情報入力装置。
【請求項４】前記第１の受光手段が受光する物体反射光
を結像するための第１の結像手段と、前記第２の受光手段が受光する物体反射光以外の光を結
像するための第２の結像手段とを具備することを特徴と
する請求項３に記載の情報入力装置。
【請求項５】物体による反射光と物体による反射光以外
の光を分光するための分光手段とを具備することを特徴
とする請求項３に記載の情報入力装置。
【請求項６】前記タイミング信号生成手段は、エリアイ
メージセンサが物体の反射光画像を撮像するための制御
信号と、反射光以外による光画像を撮像するための制御
信号を選択して出力することを特徴とした請求項１に記
載の情報入力装置。
【請求項７】前記発光手段の発光する光のみを通過する
通過フィルタと、前記発光手段の発光する光を遮断する遮断フィルタと、撮像する際に光を通過させる前記２つのフィルタのうち
の一方を選択する手段とを具備することを特徴とする請
求項６に記載の情報入力装置。
【請求項８】前記発光手段の発光する光のみを通過する
通過フィルタと、前記発光手段の発光する光を遮断する遮断フィルタと、前記タイミング信号生成手段からの信号と同期して、前
記通過フィルタと、遮断フィルタの切替を行う切替手段
とを具備することを特徴とする請求項６に記載の情報入
力装置。
【請求項９】物体による反射光と物体による反射光以外
の光を分光するための分光手段と、分光された前記光の光路上で、この光の通過／遮断を選
択する選択手段と、前記分光手段で分光された２つの光を合成する合成手段
とを具備することを特徴とする請求項６に記載の情報入
力装置。
【請求項１０】エリアイメージセンサの受光セルは反射
光画像を撮像するためのセルと、反射光以外の光画像を
撮像するためのセルによって構成されることを特徴とす
る請求項１または請求項３に記載の情報入力装置。
【請求項１１】アレイ状に配列された受光セルが受光し
た電荷の差分をとるエリアイメージセンサを有し、パルス信号もしくは変調信号を発生させ、前記エリアイメージセンサの受光セルの受光を個別に制
御するための制御信号を、前記パルス信号もしくは変調
信号に基づいて生成し、生成した制御信号に基づいて強度変化する光を発光さ
せ、発光した光に対する物体の反射光画像を検出することを
特徴とする情報入力方法。
【請求項１２】パルス信号もしくは変調信号を発生さ
せ、パルス信号もしくは変調信号に基づいて強度変化する光
を発光させ、パルス信号もしくは変調信号と同期することにより、前
記発光された光の物体による反射光と反射光以外の光を
受光することを特徴とする情報入力方法。
【請求項１３】アレイ状に配列された受光セルが受光し
た電荷の差分をとるエリアイメージセンサを制御するコ
ンピュータで実行可能なプログラムを記録した記録媒体
であって、パルス信号もしくは変調信号を発生させ、前記エリアイメージセンサの受光セルの受光を個別に制
御するための制御信号を、前記パルス信号もしくは変調
信号に基づいて生成し、生成した制御信号に基づいて強度変化する光を発光さ
せ、発光した光に対する物体の反射光画像を検出するプログ
ラムを記録した記録媒体。