JP3625349B2 - An image input device and image input method - Google Patents

An image input device and image input method Download PDF

Info

Publication number
JP3625349B2
JP3625349B2 JP02775297A JP2775297A JP3625349B2 JP 3625349 B2 JP3625349 B2 JP 3625349B2 JP 02775297 A JP02775297 A JP 02775297A JP 2775297 A JP2775297 A JP 2775297A JP 3625349 B2 JP3625349 B2 JP 3625349B2
Authority
JP
Japan
Prior art keywords
light
image
means
reflected
operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02775297A
Other languages
Japanese (ja)
Other versions
JPH10222646A (en
Inventor
美和子 土井
直子 梅木
明 森下
俊一 沼崎
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to JP02775297A priority Critical patent/JP3625349B2/en
Priority claimed from US08/953,667 external-priority patent/US6144366A/en
Priority claimed from KR1019970054280A external-priority patent/KR100298240B1/en
Publication of JPH10222646A publication Critical patent/JPH10222646A/en
Application granted granted Critical
Publication of JP3625349B2 publication Critical patent/JP3625349B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は注目すべき対象物体を発光手段により照明して得た像と、照明しない像とを撮影し、両画像の差の画像を求めてこれより当該対象物体を抽出する画像入力装置および画像入力方法に関するものである。 The present invention is an image obtained by illumination by the light emitting means object noteworthy, photographed and no illumination image, the image input apparatus and image than this seeking images of the difference of the two images to extract the target object the present invention relates to an input method.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
コンピュータへの入力デバイスとしては種々のものがあるが、その中でもマウスはキーボードと並んで最もポピュラーな入力デバイスの一つとして広く使用されている。 The input device to the computer there are various, but the mouse. Among them are widely used as one of the most popular input device along with the keyboard. しかしながら、マウスで操作できることは、カーソルの移動と、メニューの選択などであり、あくまでも2次元のポインティングデバイスとしての役目を担うに過ぎない。 However, it can be operated with the mouse, the movement of the cursor, and the like selected in the menu, only last play a role as a two-dimensional pointing device. つまり、マウスで扱えるのは、せいぜい2次元の情報であり、3次元空間のなかの物体など奥行きがあるものを選択することは難しい。 That is, the handle with the mouse, at most two-dimensional information, it is difficult to select what the depth like objects among the 3-dimensional space. そして、例えば、コンピュータでアニメーションを作成する場合を考えてみると、キャラクタの動きをつけるのに、マウスのような入力デバイスによる操作情報の入力操作では、自然な動きをつけることが難しい。 Then, for example, and consider a situation in which you want to create animation on a computer, to give the movement of the character, in the input operation of the operation information by the input device such as a mouse, it is difficult to give a natural motion.
【0003】 [0003]
また、マルチモーダルの分野で、ゼスチャー、すなわち、手の仕草や体の動き、そして、姿勢などを操作情報として入力することで、音声やキーボード、そして、マウスやトラックボールなどの入力情報と相補い合って人間の自然なコミュニケーションに近い形で装置を扱えるようにしたいという要望もある。 Further, in the field of multi-modal, gestures, i.e., hand gestures and body movement, and, by the input attitude or the like as the operation information, audio, keyboard and complemented each input information and phase, such as a mouse or trackball the desire to gain access to the device in a form close to the natural communication of human Te also.
【0004】 [0004]
そこで、近年、3次元空間でのポインティングの難点を補い、また、マルチモーダル分野などにおいて多様な入力操作を可能にする技術の一つとして、人間の自然なゼスチャーを認識できるようにする3次元ポインティングデバイスが開発されている。 In recent years, compensate for pointing difficulties in three-dimensional space, also, as a technology that allows a variety of input operations such as in multi-modal field, three-dimensional pointing to recognize the natural human gestures devices have been developed.
【0005】 [0005]
例えば、図11のような提案である。 For example, it is proposed as shown in FIG. 11. このデバイスは、本体中央にボール状操作部があり、また、周辺部にテンキーを備えて構成したものであって、ボール状操作部部分の“前方を押す”、“中央を押す”、“後方を押す”、ボール状操作部部分の“全体を持ち上げる”、“全体を右に回す”、“左に回す”というように、6通りの操作が可能であり、6自由度ある。 The device has a ball-shaped operation portion body middle, also, there is configured provided with a numeric keypad to the periphery, "press the front" of the ball-shaped operating portion, "then press", "rearward pressing the "ball-shaped operating portion" lifting the whole "," whole turn clockwise "," and so turned to the left ", is operable for six is ​​located six degrees of freedom.
【0006】 [0006]
そして、この6自由度を割り振ることで、3次元空間内のカーソルの位置(x.y,z)と向き(x軸,y軸,z軸)制御したり、あるいは、3次元空間に対する視点位置(x,y,z)と向き(x軸,y軸,z軸)を制御できる。 Then, by allocating the six degrees of freedom, the position of the cursor in the three-dimensional space (x.y, z) and orientation (x-axis, y-axis, z-axis) control or, alternatively, the viewpoint position with respect to the three-dimensional space (x, y, z) and orientation can be controlled (x-axis, y-axis, z-axis).
【0007】 [0007]
しかし、この3次元ポイティングデバイスはかなりの熟練が必要であって、実際に操作してみると、カーソルや視点の制御が思うようにはできないという問題がある。 However, the three-dimensional poi computing device is a must have considerable skill, and try to actually operation, there is a problem that can not to think to control the cursor and perspectives. 例えば、左右に回そうとすると、前方あるいは後方を押してしまい、思わぬ方向にカーソルが動いたり、視点が動いたりしてしまうといった具合である。 For example, if you Mawaso to the left and right, will press the forward or backward, or moving the cursor in an unexpected direction, and so on point of view resulting in or move.
【0008】 [0008]
このような3次元ポインティングデバイスに対して、手振りや身ぶりを使って入力するデバイスも開発されている。 For such three-dimensional pointing device it has also been developed a device for inputting using hand gestures and gestures. データグローブやデータスーツ、サイバーグローブと呼ばれるものである。 Data gloves and data suits, is what is referred to as a cyber glove. これらのうち、例えば、データグローブは手袋状のデバイスであって、表面に光ファイバが走つている。 Among these, for example, the data glove is a glove-like device, an optical fiber is Hashitsu the surface. この光ファイバは、指の関節まで通っており、指を曲げることにより、光の導通が変わることを利用している。 The optical fiber is passed through to the finger joints, by bending the fingers, utilizes the fact that the conduction of light is changed. そして、この光の導通量を計測することで、各指の関節がどの程度曲がっているかを知るようにするものである。 Then, by measuring the amount of conduction of the light, and is to know of each finger joint is bent degree.
【0009】 [0009]
手自体の3次元空間内の位置は、手の甲に設けた磁気センサによつて計測するようになっている。 Position in 3-dimensional space of the hand itself is adapted to by connexion measured magnetic sensor provided in the back of the hand.
そのため、人差し指をたてれば、「前進する」といった具合に、身ぶりとそれに対応する指示を決めておけば、データグローブを使って、3次元空間内を種々に視点を変えて、ちょうど、歩き回るかのように(ウオークスルーという)操作することができる。 Therefore, if Tatere the index finger, to the degree such as "move forward", if decided the instruction corresponding to the gesture and that, by using a data glove, to change the point of view in a variety within the three-dimensional space, just, if roam can be manipulated (called walk-through) so.
【0010】 [0010]
しかし、このような3次元ポインティングデバイスにも問題点がいくつかある。 However, such three-dimensional pointing device also several problems. 第1には、価格が高価であり、家庭用などに使用することは難しいという点である。 In the first, the price is expensive, be used, such as for home is a point that it is difficult.
【0011】 [0011]
また、第2には、指の関節の角度を計測しているので、誤認識が避けられないという点である。 The second, because it measures the angle of the finger joints is that false recognition can not be avoided. 例えば、人差し指だけ伸ばし、他の指は曲げた状態を前進指示と定義したとする。 For example, stretching only the index finger, other fingers have defined a bent state forward instruction and. 実際に指を伸ばすといっても、人差し指の第2関節の角度が180度に完全になっていることは少ないので、遊び分を設定しておかないと、指を伸ばしきったとき以外は、「伸ばしている」と認識することができない。 To say that actually extend the finger, because it is rare that the angle of the second joint of the index finger has become a complete 180 degrees, If you do not set the play amount, except when fully extended a finger, It can not be recognized as being "stretched".
【0012】 [0012]
また、操作者にはデータグローブを装着することになるので、自然な操作が阻害され、装着するたびに、手の開いた状態と閉じた状態において、光の導通状態を校正せねばならないので、手軽に使用することができない。 Further, since the mounting the data glove to the operator, is inhibited natural operation, each time the mounting, in the closed state of the hand of open state, so must be calibrated the conduction state of the light, It can not be used easily. また、光ファイバを使っているため、継続的に使用していると、ファイバが断絶するなど消耗品に近いという問題がある。 Also, because it uses an optical fiber, and is used on an ongoing basis, there is a problem that close to consumables such as fiber to break.
【0013】 [0013]
また、このように、高価で、手間がかかるデバイスである割には、手袋の大きさが、ぴったり合っていないと、使っているうちにずれたりして校正した値からずれるために、細かな手振りを認識することは難しいという問題もある。 Moreover, in this way, expensive, in spite effort is consuming device, the size of the glove, if not snug, to deviate from the value was calibrated or displaced while you are using, fine to recognize the hand gesture is also a problem that it is difficult.
【0014】 [0014]
このように、種々の問題を抱えているために、データグローブは、VR(バーチャルリアリティ)技術のトリガーとなったデバイスであったにもかかわらず、当初の期待ほど、普及しておらず、また、低価格化もなされておらず、使い勝手の点で問題が多い。 In this way, in order to suffer from various problems, data glove, despite a device that became a VR (virtual reality) technology of the trigger, as the initial expectations, not popular, also , price reduction also not made are in, there are many problems in terms of usability.
【0015】 [0015]
そこで、このデータグローブのような特殊な装置を装着することなく、手振りや身ぶりを入力しようとする試みが、いくつかなされている。 So, without mounting a special device, such as a data glove, an attempt to enter the hand gestures and gestures have been made some. 例えば、ビデオ映像などの動画像を解析して、手の形を認識するといった技術である。 For example, by analyzing a moving image such as a video image, a technique such as to recognize the shape of a hand. しかし、これは背景画像から目的とする画像を切り出す技術が必要であり、従って、手振りの認識の場合には、手のみを切り出すことが必要であって、これが技術的にかなり難しいという問題がある。 However, this is a need in the art to cut out an image of interest from the background image, thus, in the case of recognition of the gesture is a need to cut the hand of this is technically there is a problem that very difficult .
【0016】 [0016]
例えば、画像中の手の部分を、色情報を条件に切り出す場合を考えてみる。 For example, a portion of the hand in the image, consider the case of cutting out the color information in the condition. 手の色は肌色であるので、肌色の画像情報を持つ画素部分のみを切り出すような方式が考えられるが、背景にベージュ色の洋服や、壁があったりすると、手の部分に相当する肌色の画素のみを識別することはできない。 The color of the hand is a skin color, but is a method that cuts out only a pixel portion having the image information of the skin color is considered, and beige clothes background, when or have walls, a skin color corresponding to the portion of the hand it is not possible to identify only pixels. また、調整を行って、ベージュと肌色を区別できるようにしても、照明が変われば、色調が変化してしまうために、定常的に切り出すことは困難である。 Further, by performing the adjustment, it is allowed to differentiate beige and skin color, if Kaware illumination, because the color tone is changed, it is difficult to cut out constantly.
【0017】 [0017]
このような問題を回避するために、背景にブルーマットをおくというように、背景画像に制限を置き、切り出しを容易にする方策も採られている。 In order to avoid such a problem, so that put a blue mat in the background, put a limit on the background image, it has also taken measures to facilitate the cut-out. あるいは、指先に背景からの切り出しが容易になるような色をつける、あるいは色のついた指輪をはめるというような方策も採られている。 Alternatively, measures have also been taken, such as that fitting the ring add color, or a colored, such as it is easy to cut out from the background to the fingertip. しかし、このような制限は現実的でなく、実験的には利用されているものの、実用化には至っていない。 However, such limitation is not practical, but are used experimentally, not been put to practical use.
【0018】 [0018]
ところで、手の仕草を認識するに利用可能な別の技術として、レンジファインダと呼ばれる、距離画像を入力する装置の応用が考えられる。 Meanwhile, another technique available to recognize gestures of the hand, called rangefinder, application of devices for inputting a distance image can be considered. このレジンジファインダの代表的な原理は、スポット光あるいはスリット光を対象物体に照射し、その反射光の受光位置から三角測量の原理で求めるといったものである。 Typical principle of this resin di finder, and applied to the target object spot light or slit light is one such determined by the principle of triangulation from the receiving position of the reflected light.
【0019】 [0019]
そして、2次元的な距離情報を求めるために、スポット光あるいはスリット光を機械的に走査している。 Then, in order to obtain the two-dimensional distance information, it is mechanically scanned spot light or slit light. この装置は非常に高精度な距離画像を生成することができるが、その反面、装置の構成が大掛かりになり、高コストになる。 This device can generate a very high-precision distance image, on the other hand, construction of the apparatus becomes large-scale, increasing the cost of the process. また入力に時間がかかり、実時間で処埋を行わせるのは困難である。 Also it takes a long time to input, it is difficult to perform the embedding processing in real-time. また、手や身体の一部に色マーカーや発光部を取り付け、画像によりそれらを検出し、手・身体の形、動きなどを捉える装置もあり、一部実用化されている。 Further, attaching a color marker and the light emitting portion in a part of the hand or body, to detect them by image, there a hand, body, and devices to capture the like motion, have been partially put to practical use. しかし使用者の利便性を考えると、操作の度に装置を装着しなくてはならないというのは大きなデメリットであり、応用範囲を非常に制約する。 But considering the convenience of the user, because must be mounted device whenever the operation is a major disadvantage, very constraining the range of applications. また、データグローブの例に見られるように、装置を手などの可動部に装着して使用する装置は耐久性が問題になりやすい。 Moreover, as seen in the example of the data glove, apparatus used by being mounted to the movable portion, such as hand devices prone to durability problems.
【0020】 [0020]
次に、以上のような入力デバイスとは別に、カメラ技術の従来技術についての問題点を述べる。 Next, the above-described input device separately, describes the problems of the prior art camera technology. 従来のカメラ技術では、背景に対して、キャラクタの合成(クロマキー)を行うには、予め、ブルーバックでキャラクタを撮影して、キャラクタの切り出しを容易にする必要があった。 In the conventional camera technology, the background, to do the synthesis of characters (chroma key) in advance, by photographing the character in blue back, it was necessary to facilitate the cutting out of the characters.
【0021】 [0021]
このため、ブルーバックで撮影ができるスタジオなど、撮影場所に制限があった。 For this reason, such as a studio that can shoot in the blue back, there was a limit to the shooting location. または、ブルーバックでない状態で撮影した映像から、キャラクタを切り出すには、コマ毎にキャラクタの切り出し範囲を人手で編集せねばならないので、非常な手間がかかっていた。 Or, from the video taken by the state is not a blue back, to cut out the character, so must be editing the cut-out range of the character by hand on each frame, it takes a very labor. 同様に、キャラクタを3次元空間の中に生成するには、予め3次元のモデルをつくっておき、そこにキャラクタの写真を貼り付ける(テクスチャマッピング)を行うような方式をとっている。 Similarly, to generate the character in the three-dimensional space, previously made in advance three-dimensional model, taking a method as performed therein paste pictures of characters (the texture mapping). しかし、3次元モデルの生成、および、テクスチャマッピングには手間がかかり、映画制作など経費がかかってもよい用途以外では、事実上ほとんど使えなかった。 However, the generation of three-dimensional model, and, time-consuming in the texture mapping, in other than good even if a expenses, such as film production applications, could not use most on the fact.
【0022】 [0022]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
このように従来では、特殊な装置を装着することなく、簡易にジェスチャや動きを入力できる直接指示型の入カデバイスが存在しなかった。 In this way conventional, without attaching any special device, borrowing the device direct instruction types that can enter the gestures and movement simply did not exist. 特に、3次元空間でのポインティングや視点の変更を容易に行える簡易なデバイスは存在しなかった。 Particularly, a simple device which can be easily changed pointing and perspectives of a three-dimensional space was present. また、ユーザのジェスチャや動きをそのまま使って、アニメーションのキャラクタなどに自然な動きをつけたりすることができなかった。 In addition, by using as it is the user's gestures and movements, it was not possible to give them a natural movement to and animation of the character. さらに、従来のカメラでは、特定のキャラクタだけを切り出したり、キャラクタの奥行き情報を容易に入力できなかった。 Furthermore, in the conventional camera, or cut out only a specific character, it could not easily enter the depth information of the character.
【0023】 [0023]
このような背景から、本発明者等は所定時間だけ照明光を対象物体に照射して得た画像と、外光のみの光があたる環境下で得た対象物体の画像との差の成分の画像を得、この差の成分の画像から対象物体のみの画像を抽出する技術を開発し、更に、この抽出した対象物体のみの画像を元に、その形状、動き、距離情報などを算出し、これらを情報として利用することで仕草や、3次元操作情報などを簡易に与えることができるようにした技術を開発し、特許出願した(特願平8−275949号参照)。 Against this background, the present inventors have an image obtained by irradiating the target object only illumination light a predetermined time, the component of the difference between the image of the target object obtained in an environment in which hits the light of external light only the resulting images, developed a technique for extracting an image of the target object only from the image of the components of this difference, further based on an image of the extracted object only, calculates the shape, motion, such as the distance information, these and gestures by utilizing as information, to develop a technology to be able to provide such a simplified 3-dimensional operation information, and patent applications (see Japanese Patent application No. 8-275949).
【0024】 [0024]
この技術の考え方は、照明光を対象物体に照射して得た画像と、外光のみの光があたる環境下で得た対象物体の画像との差の成分の画像を得ると、背景などが遠い場合、それは対象物体のみの画像成分となることに着目して、対象物体部分の画像切り出しを簡易に行えるようにしたこと、つまり、物体が存在している場所からの反射光はある程度の値を持ち、遠い背景からの反射光はほとんど無いため、反射光の画像をしきい値で分けることにより、物体の形状を抽出することが出来ること、また、その形状から様々な特徴量を抽出することが出来ること、そして、このような形状の時間的連なりを解析することで、物体の動きや変形などを捉えることが出来ること、さらには物体の凹凸を反射光量の違いとして捉えられるため、対象物体の Idea of ​​this technique is an image obtained by irradiating illumination light to the object, obtains an image of the component of the difference between the image of the target object obtained in an environment in which hits the light of external light alone, background etc. distant case, it was noticed that the image components of the target object only, it has to allow the image clipping of the object portion easily, that is, some value reflected light from where the object is present the have, since the reflected light from the distant background little, by dividing the image of the reflected light at the threshold, it can be extracted the shape of an object, also extracts various features from its shape it is possible possible, and, by analyzing the temporal succession of such a shape, that can be understood and objects motion or deformation, since more captured irregularities of an object as a difference in reflected light quantity, the target object of 体構造を得ることも出来るなどのことから、対象物体の切り出しが容易にできれば、その対象物体の様々な情報を演算で求めることができる。 From the like can also be obtained body structure, if easily be cut out of the object, it is possible to obtain the various information of the target object in operation.
【0025】 [0025]
そのため、仕草を操作指令情報として与えたり、3次元操作情報を身振り手振りで入力するなどのことが容易に実現できるようになる。 Therefore, or apply gestures as the operation command information, that such inputs can be easily realized a 3-dimensional operation information gestures.
しかしながら、ここで解決しておかなければならない問題が一つある。 However, here a problem that must be resolved is one. それは、外光の変動による対象物体の切り出し精度への影響である。 It is the effect of the cut-out accuracy of the target object due to changes in ambient light. 外光は自然光であったり、室内照明光であったり、環境により様々である。 External light or a natural light, or a room illumination light, it varies depending on the environment. しかも、これらは、安定したものであれば問題がないが、緩やかな変化を伴う場合、あるいは細かく短い周期で変化する場合などが普通であり、このような変化を伴う外光を利用しなければならない場合に、外光による画像と、照明光照射をした画像とを、漠然と一定の時間ずつ撮像するのでは、抽出された画像は誤差の多い画像となってしまう。 Moreover, these are no problems as long as stable, are such that normally vary in the case or finely short cycle, accompanied by a gradual change, unless using external light with such changes if not, an image due to external light, and an image obtained by the illumination light, than for imaging by vaguely certain time, the extracted image becomes large images errors.
【0026】 [0026]
従って、外光の変動があっても、抽出対象(切り出し対象)の物体の画像を容易に高精度で抽出可能な技術の確立が強く嘱望される。 Therefore, even if there is variation in ambient light, the images of the object to be extracted (cut object) is easily established in the extractable technique with high accuracy is expectation strongly.
そこで、この発明の目的とするところは、外光の変動のある環境において、特定の対象物体を容易に高精度に抽出することができるようにした画像入力装置および画像入力方法を提供することにある。 Accordingly, it is an object of this invention is, in an environment with a variation of external light, to provide an image input apparatus and image input method which make it possible to extract easily accurate specific object is there.
【0027】 [0027]
【課題を解決するための手段】 In order to solve the problems]
上記目的を達成するため、本発明は次のようにする。 To achieve the above object, the present invention is as follows. すなわち、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、 前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、前記複数の動作パターンのうち、1動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、を具備することを特徴とする。 That is, a light emitting means for irradiating illumination light to the object, said and a light receiving means for obtaining an image of the target object, by said light emitting means and light receiving means to operate synchronously, the object of the illumination light the image input apparatus for acquiring only the reflected light as an image by, while suppressing the illumination of the light emitting means, reflected light image to obtain a reflected light image in accordance with a plurality of operation patterns of the light emitting means and light receiving means with pre acquisition means among the plurality of operation patterns, characterized by comprising a selection-determining means for luminance value of the reflected light image per operation patterns to select the smallest movement pattern as an optimum operation pattern, the .
【0028】 [0028]
また、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、前記複数の動作パターンのうち、1動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、前記選択された最適な動作パターンに従い、前記発光手段と前記受光手段の動作を制御する受発光制御手段と、を具備することを特徴とする Further, a light emitting means for irradiating illumination light to the object, said and a light receiving means for obtaining an image of the target object, by said light emitting means and light receiving means to operate synchronously, the object of the illumination light the image input apparatus for acquiring only the reflected light as an image by, while suppressing the illumination of the light emitting means, reflected light image to obtain a reflected light image in accordance with a plurality of operation patterns of the light emitting means and light receiving means with pre acquisition means among the plurality of operation patterns, the selection and decision means for luminance value of the reflected light image per operation patterns to select the smallest movement pattern as an optimum movement pattern, optimum operation pattern the selected according, characterized by comprising: a light emitting and receiving control means for controlling the operation of said receiving means and said light emitting means.
【0029】 [0029]
さらに、本発明の画像入力方法は、 対象物体に照明光を照射し、前記対象物体の画像を得るために受光し、前記照射と受光が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力方法において、前記照射を抑止すると共に、予め備えた照射と受光との複数の動作パターンに応じて反射光画像を取得し、前記複数の動作パターンのうち、1動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択することを特徴とする。 The image input method of the present invention, by irradiating illumination light to the object, received in order to obtain an image of the target object, the irradiation with light to operate synchronously, by the target object illumination light an image input method for obtaining only the reflected light as an image, while suppressing the irradiation, the reflected light image acquired in accordance with a plurality of operation patterns of the light receiving and irradiating with advance among the plurality of operation patterns, wherein the luminance value of the reflected light image per operation patterns to select the smallest movement pattern as an optimum operation pattern.
【0030】 [0030]
より具体的には、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得る受光手段とを有し、発光手段による照明光の非照射時での前記対象物体の画像と、発光手段による照明光の照射時での前記対象物体の画像を前記受光手段によりそれぞれ所定の同一検出時間を以て得ると共に、得られた両画像の差成分を求めることにより、前記対象物体の画像を抽出する装置において、 More specifically, a light emitting means for irradiating illumination light to the object, and a light receiving means for obtaining an image of the target object, the image of the target object at the time of non-irradiation of the illumination light by the light emitting means, extraction with each obtained at a predetermined same detection time, by obtaining a difference component between the two images obtained, the image of the target object by said light receiving means the image of the target object at the time of irradiation of the illumination light by the light emitting means in the device that,
前記受光手段による前記両画像の検出期間を種々変えた複数種の動作パターンを備え、最適動作パターン選択モード時には上記発光手段の発光を抑止すると共に、前記受光手段による前記両画像の検出動作を前記動作パターンそれぞれで順次、実施すべく制御し、与えられる評価情報から前記複数種の動作パターンのうち、最適な動作パターンを選択する選択・決定手段と、最適動作パターン選択モード時には、前記選択・決定手段により順次与えられる動作パターンで前記受光手段による前記両画像の検出動作を実施すべく前記受光手段を制御すると共に、最適動作パターン選択モード終了後は選択された前記最適な動作パターンで動作すべく、前記受光手段による前記両画像の検出動作と前記発光手段の発光動作を制御する手段と、最適 Comprising a plurality of types of operation patterns variously changed and the detection period of the two images according to the light receiving unit, with the optimum operating pattern selection mode to suppress emission of the light emitting means, wherein the detecting operation of the two images according to the light receiving means operation pattern successively in each control to be carried out from the evaluation information provided in the plurality of types of operation patterns, the selection and decision means for selecting an optimum operation pattern, the optimum operation pattern selection mode, the selected and determined controls said light receiving means in order to implement the detection operation of the two images according to the light receiving unit in operation pattern are sequentially provided by unit, the optimum operation pattern selection mode after the end to operate at the optimal operating pattern selected and means for controlling the emission operation of the detecting operation and the light emitting means of the two images according to the light receiving means, the optimal 作パターン選択モード時に、前記受光手段より得られる前記各動作パターンそれぞれでの前記両画像の差成分よりそれぞれの評価値を得、前記選択・決定手段に与える評価手段とを具備する。 To create the pattern selection mode, the obtained respective evaluation values ​​from the difference component of the two images in each of the respective operation patterns obtained from the light receiving means comprises an evaluation means for providing to the selection-determining means.
【0031】 [0031]
本発明は、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得る受光手段とを有し、発光手段による照明光の非照射時での前記対象物体の画像と、発光手段による照明光の照射時での前記対象物体の画像を前記受光手段によりそれぞれ所定の同一検出時間を以て得ると共に、得られた両画像の差成分を求めることにより、前記対象物体の画像を抽出する場合に、 The present invention includes a light emitting means for irradiating illumination light to the object, it said and a light receiving means for obtaining an image of the target object, the image of the target object at the time of non-irradiation of the illumination light by the light emitting means, the light emitting means with each obtained at a predetermined same detection time by the target object the light receiving unit images at the time of irradiation of the illumination light by, by obtaining a difference component between the two images obtained, when extracting an image of the target object to,
前記受光手段による前記両画像の検出期間を種々変えた複数種の動作パターンを用意し、最適動作パターン選択モード時には上記発光手段の発光を抑止すると共に、前記受光手段による前記両画像の検出動作を前記動作パターンそれぞれで順次、実施し、前記受光手段より得られる前記各動作パターンそれぞれでの前記両画像の差成分よりそれぞれの評価値を得、これら評価値の情報から前記複数種の動作パターンのうち、最適な動作パターンを選択し、 Preparing a plurality of types of operation patterns variously changed and the detection period of the two images according to the light receiving unit, with the optimum operating pattern selection mode to suppress emission of the light emitting means, the detecting operation of the two images according to the light receiving means the operation pattern sequentially in each conducted, the obtained respective evaluation values ​​from the difference component of the two images in each of the respective operation patterns obtained from the light receiving means, said plurality of kinds of operation patterns from the information of these evaluation values among them, it selects an optimum operation pattern,
最適動作パターン選択モード終了後は選択された前記最適な動作パターンで前記受光手段による前記両画像の検出動作と前記発光手段の発光動作を実施させるようにする。 Optimal operation pattern selection mode after the end so as to implement the light emitting operation of the detecting operation and the light emitting means of the two images according to the light receiving means at said selected optimal operation pattern.
【0032】 [0032]
差成分(差分画像)を取得するにあたり、外光のみの環境下での対象物体の画像と、照明光を照射させて得た対象物体の画像とを得るが、これらの画像はそれぞれ同じ所定の期間、撮像装置である受光手段の検出出力(画像信号を電荷として蓄積したもの)を得るが、外光の状況に変動があると外光のみの環境下での取得画像と、照明光を当てて得た段階での取得画像中それぞれでの外光成分が異なったものとなってしまう。 Upon obtaining a difference component (difference image), an image of the target object in an environment of ambient light alone, but to obtain the image of the target object obtained by emitting illumination light, these images same predetermined respectively against time, but obtain detected output of the light receiving means is an image pickup device (those storing the image signal as a charge), if there is a variation in conditions of external light and obtaining image in an environment of ambient light alone, the illumination light external light components in the acquired image with each in-obtained stage becomes different from those of. これは雑音成分となり、対象物体のみの画像の抽出精度に影響を与える。 This becomes a noise component, affecting the accuracy of extracting an image of the target object only.
【0033】 [0033]
そこで、本発明は発光手段と受光手段の動作パターンを、外光の状態に応じて、適応的に変化させるようにしたものであって、電荷蓄積期間をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、受光手段による第1回目と第2回目の受光を行い、両受光出力(両画像出力)の差出力を得るという動作を、各動作パターンそれぞれで行って、差分画像(反射光画像)が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードを実施させるようにした。 Therefore, the operation pattern of the present invention the light emitting means and light receiving means, according to the state of the external light, there is that so as to adaptively change, a plurality of types of operation patterns having different charge accumulation period, respectively prepared, also in the absence of illumination by the light emitting means provided optimum operation pattern selection mode, performing a first round and a second round of light by the light receiving means, obtaining a difference between outputs of the light receiving output (both image output) the operation of, performed by each respective operation patterns, select the operation pattern differential image (reflected light image) is in the darkest image as an optimum operation pattern without influence of external light, the normal operation mode in the pattern was to be performed.
そのため、外光に変化のある環境下においても、その変化に影響を受けることなく、高精度に対象物体の画像のみを抽出できるようになる。 Therefore, even in an environment with a change in ambient light, without being affected by the change, it becomes possible to extract only the image of the target object with high accuracy.
【0034】 [0034]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
本発明は、光源より発光して対象物体に光をあて、この対象物体による反射光を画像として捉えることにより、その形状、動き、距離などの情報を得ることができるようにした装置において、この発明では発光と電荷蓄積の動作パターンを複数種、用意しておき、外光の状況に応じて使い分けることにより、どのような外光状態にあっても精度良く反射光画像が得られるようにしたもので、以下、詳細を説明する。 The present invention, shed light on the target object by emitting from the light source, by capturing light reflected by the target object as an image, the shape, motion, in the apparatus to be able to obtain information such as the distance, this plural kinds of operation patterns of the light-emitting and the charge accumulation in the invention, is prepared, by selectively depending on the situation of the external light, and to accurately reflected light image is obtained even in any ambient light condition ones, will be described in detail below.
【0035】 [0035]
はじめに本発明を適用する装置の基本構成を説明する。 The basic structure of an apparatus for applying the present invention initially will be described.
<情報入力生成装置の構成例> <Configuration example of information input generating device>
図1は、本発明を適用する対象の一つとしての情報入力生成装置の構成例である。 Figure 1 is a configuration example of an information input generating device as one of the target of applying the present invention. 図1に示すように本装置は、発光手段101、反射光抽出手段102、特徴情報生成手段103、タイミング信号生成手段104、とからなる。 The apparatus as shown in FIG. 1, the light emitting unit 101, the reflected light extracting means 102, the characteristic information generation unit 103, the timing signal generating means 104, consisting of capital.
【0036】 [0036]
これらのうち、発光手段101はタイミング信号生成手段104によって生成されるタイミング信号に従って時間的に強度変動する光を発光する。 Of these, the light emitting unit 101 emits light temporally intensity variation according to a timing signal generated by the timing signal generating means 104. この光は発光手段101の前方にある対象物体に照射される。 The light is applied to the target object in front of the light emitting means 101. また、反射光抽出手段102は、この発光手段101が発した光の対象物体による反射光を抽出する。 Further, it reflected light extraction unit 102 extracts the light reflected by the target object of the light emitting device 101 is emitted. これはさらに好適には、反射光の空間的な強度分布を抽出する。 More preferably, extracts the spatial intensity distribution of the reflected light. この反射光の空間的な強度分布は画像として捉えることが出来るので、以下では反射光画像と呼ぶ。 This spatial intensity distribution of the reflected light can be regarded as an image is hereinafter referred to as the reflected light image.
【0037】 [0037]
反射光抽出手段102は、対象物体からの反射光を抽出するものであり、光の量を検出する受光部を持つが、当該受光部は一般的に、発光手段101の光の前記対象物体による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。 Reflected light extraction unit 102 is for extracting the reflected light from the target object, but with a light receiving unit for detecting the amount of light, the light receiving portion is generally in accordance with the target object of the light emitting means 101 not only reflected light, also received at the same time the external light such as illumination light or sunlight. そこで反射光抽出手段102は、発光手段101が発光しているときに受光した光の量と、発光手段101が発光していないときに受光した光の量の差をとることによって、発光手段101からの光の前記対象物体による反射光の成分だけを取り出す。 Therefore it reflected light extraction unit 102, by taking the amount of light received when the light emitting means 101 is emitting light, the difference in the amount of light received when the light-emitting unit 101 does not emit light, the light emitting unit 101 extract only components of the light reflected by the target object light from. このことは言い換えれば、発光手段101を制御する信号を生成するタイミング信号生成手段104によって、反射光抽出手段102もまた制御されることを示す。 In other words this fact, the timing signal generating means 104 for generating a signal for controlling the light emitting means 101, indicating that the reflected light extraction unit 102 is also controlled.
【0038】 [0038]
特徴情報生成手段103は、反射光画像より様々な特徴情報を抽出するものである。 Characteristic information generation unit 103 is to extract a variety of characteristic information from the reflected light image. この特徴情報あるいは特徴情報の抽出方法は様々考えられる。 Method of extracting the feature information or feature information is different idea. これにより例えば、対象物体が手であったとして、当該手の反射光画像の特徴情報から、ジェスチャーやポインティングなどの情報を得ることができることになって、この得られた情報によりコンピュータなどの操作を行うことができる。 Thus for example, as the target object is a hand, from the characteristic information of the reflected light image of the hand, so that it is possible to obtain information such as gestures, pointing, operations such as a computer by the obtained information It can be carried out. また対象物体の立体情報を抽出し、利用することもできる。 The extract three-dimensional information of the target object, can also be utilized. なお、当該特徴情報生成手段103は、必ずしも必要ではなく、例えば反射光抽出手段102で得られた反射光画像そのものを入力したり利用したりすることもできる。 Incidentally, the feature information generating unit 103 may not necessarily be required, for example, be or utilize inputs reflected light image itself obtained by the reflected light extraction unit 102.
【0039】 [0039]
本発明の目的を明確にするために、本発明が改善しようとした技術対象としての情報入力生成装置について詳しく述べる。 To clarify the object of the present invention, described in detail the information input generating device as technical object which the present invention attempts to improve. 図2は、情報入力生成装置のより具体的な構成例である。 Figure 2 is a more specific configuration example of an information input generating device.
【0040】 [0040]
図2を参照して説明すると、発光手段101より発光された光は、対象物体106に反射して、受光光学系107により、反射光抽出手段102の受光面上に結像する。 Referring to FIG. 2, the light emitted from the light emitting unit 101 is reflected on the object 106, the light receiving optical system 107 is formed on the light receiving surface of the reflected light extraction unit 102. 反射光抽出手段102は、この反射光の強度分布、すなわち反射光画像を検出する。 Reflected light extraction unit 102, the intensity distribution of the reflected light, i.e., it detects the reflected light image. 反射光抽出手段102は、第1の受光手段109、第2の受光手段110および差分演算部111からなる。 Reflected light extraction means 102, the first light receiving unit 109, and a second light receiving unit 110 and the difference calculation unit 111. 第1の受光手段109と第2の受光手段110は、それぞれ上記受光面に結像された光学像を検出して受光量対応の画像信号に変換するものであり、それぞれ異なるタイミングで受光動作を行う。 A first light receiving unit 109 second light receiving means 110 are each intended to be converted to an image signal of the detected light receiving amount corresponding to an optical image formed on the light receiving surface, the light reception operation at different timings do. そして第1の受光手段109が受光状態にあるときに発光手段101を発光させ、第2の受光手段110が受光しているときには発光手段101を発光させないように、タイミング制御手段112がこれらの動作タイミングを制御する。 And allowed the light emitting unit 101 when the first light receiving means 109 is in a receiving state, such that the second light receiving unit 110 is not the light emitting unit 101 when it is received, the timing control unit 112 of the operation to control the timing.
【0041】 [0041]
これにより第1の受光手段109は発光手段101からの光の物体による反射光と、それ以外の太陽光、照明光などの外光とを受光してその受光量を検出する。 Thus, the first light receiving means 109 detects the light reflected by the object light from the light emitting means 101, the other solar, the amount of light received by receiving external light such as illumination light.
【0042】 [0042]
一方、第2の受光手段110は外光のみを受光する。 On the other hand, the second light receiving unit 110 receives only the ambient light. 両者が受光するタイミングは異なっているが近いので、この間における外光の変動は無視できる。 Since they are different the timing of receiving is close, the fluctuation of the external light during this period can be ignored. 従って、第1の受光手段109で受光した像と第2の受光手段110で受光した像の差分をとれば、これは発光手段101の光の物体による反射光の成分に対応するものであり、これによって発光手段101の出力光の、物体による反射光成分対応画像が抽出されることになる。 Therefore, taking the difference of the image received by the image and the second light receiving unit 110 received by the first light receiving unit 109, which is intended to correspond to the component of the light reflected by the object light emitting means 101, Thus the output light of the light emitting unit 101, so that the reflected light component corresponding image by the object is extracted.
【0043】 [0043]
そして、この差分を得るのが差分演算部111であり、この差分演算部111が第1の受光手段109と第2の受光手段110で受光した像の差分を計算して出力する。 Then, to obtain the difference is a difference calculating unit 111, and outputs the difference calculation unit 111 calculates a difference between an image received by the first light receiving unit 109 and the second light receiving unit 110. 反射光抽出手段102については、さらに詳細な構成について後述する。 For reflected light extraction unit 102 will be described later more detailed configuration.
【0044】 [0044]
反射光抽出手段102は反射光画像の各画素の反射光量をシーケンシャルに出力する。 Reflected light extraction unit 102 outputs the amount of reflected light of each pixel of the reflected light image sequentially. 反射光抽出手段102からの出力はアンプ113によって増幅され、アナログ信号をディジタルデータに変換するA/D変換器ll4によってデジタルデータに変換された後、メモリ115に蓄えられる。 The output from the reflected light extraction unit 102 is amplified by the amplifier 113, after being converted into digital data by the A / D converter ll4 for converting an analog signal into digital data and stored in memory 115. そして、しかるべきタイミングでこのメモリ115より当該蓄えられたデータが読み出され、特徴情報生成手段103において処理される。 Then, the relevant The stored data from the memory 115 is read out and processed by the feature information generating unit 103 at appropriate timing.
【0045】 [0045]
これら全体の制御はタイミング制御手段104が行う。 These overall control is performed by the timing control unit 104. 検出の対象物体が人間の手である場合、発光手段101としては人間の目に見えない、近赤外光を分光する発光装置を用いるようにすると良い。 If the object of detection is a human hand, invisible to the human eye as the light emitting means 101, it may be to use a light emitting device that splits near-infrared light. この場合、人間には発光手段101からの光が見えないため、眩しさを感じずに済む。 In this case, the human since the light from the light emitting unit 101 is not visible, it is not necessary to feel the glare. また、発光手段101を近赤外光発光の装置とした場合、受光光学系107には図示しない近赤外光通過フィルタを設ける。 Further, when the light emitting means 101 and the near-infrared light emitting devices, the light receiving optical system 107 is provided near infrared light transmission filter, not shown. このフィルタは、発光波長である近赤外光を通過し、可視光、遠赤外光を遮断する。 This filter passes the near-infrared light is at the emission wavelength and blocks visible light, far infrared light. て、外光の多くをカットしている。 And follow, has cut a lot of outside light.
【0046】 [0046]
ところで物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。 Meanwhile the reflected light from the object is greatly reduced as the distance of the object increases. 物体の表面が一様に光を散乱する場合、受光側でみた場合、反射光画像1画素あたりの光量は、物体までの距離の2乗に反比例して小さくなる。 If the surface of the object is scattered uniformly light, when viewed in the light receiving side, the reflected light image 1 quantity per pixel is reduced in inverse proportion to the square of the distance to the object. 従って、本発明の多次元情報入力生成装置の前に対象物体106を置いたとき、背景からの反射光はほぼ無視できるくらいに小さくなり、物体のみからの反射光画像を得ることが出来る。 Therefore, before the multi-dimensional information input generating device of the present invention when placed the object 106, the reflected light from the background is reduced enough almost negligible, it is possible to obtain a reflected light image from the object only. 例えば、多次元情報入力装置の前に対象物体106である手を持ってきた場合、その手からの反射光画像のみが得られることになる。 For example, if brought a hand which is the target object 106 in front of the multidimensional information input device, so that only the reflected light image from the hand is obtained.
【0047】 [0047]
この時、反射光画像の各画素値は、その画素に対応する単位受光セルで受光した反射光の量を表す。 At this time, each pixel value of the reflected light image represents the amount of reflected light received by the unit receiving cells corresponding to the pixel. 反射光量は、物体の性質(光を鏡面反射する、散乱する、吸収する、など)、物体面の向き、物体の距離、などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。 Object amount of reflected light, the object properties (specularly reflected light, scattered, absorbed, etc.), the orientation of the object plane, the object distance, but is affected by such, the entire object is scattered uniformly light If it is, the reflected light amount has a close relationship with the distance to the object.
【0048】 [0048]
手などはこのような性質を持つため、手を差し出した場合の反射光画像は、手の距離、手の傾き(部分的に距離が異なる)、などを反映する。 Since the hand, etc. having such properties, the reflected light image when held out hand, distance hand, (partially distance different) inclination of the hand, reflects the like. 従ってこれらの特徴情報を抽出することによって、様々な情報の入力・生成が可能になる。 Thus by extracting these characteristic information allows the input and generation of the various information.
【0049】 [0049]
立体形状を抽出したい場合には、距離情報が高い分解能で求められる方が良い。 If you want to extract the three-dimensional shape, it is better that the distance information is obtained with a high resolution. このような場合、アンプ113としては対数アンプを用いると良い。 In such a case, it is preferable to use a logarithmic amplifier as an amplifier 113. 受光部の受光量は物体までの距離の2乗に反比例するが、対数アンプを用いると、その出力は、距離に反比例するようになる。 Amount of light received by the light receiving portion is inversely proportional to the square of the distance to an object, using a logarithmic amplifier, the output will be inversely proportional to the distance. このようにすることで、ダイナミックレンジを有効に使うことができる。 In this way, it is possible to effectively use the dynamic range.
【0050】 [0050]
<反射光抽出手段102の詳細な説明> <Detailed Description of the reflected light extraction means 102>
図3は、反射光抽出手段102の構成の一例をさらに詳細に表したものである。 Figure 3 is a further detail shows one example of the configuration of a reflected light extraction unit 102. 図3に示す反射光抽出手段102はCMOSセンサで構成した受光部を示しており、この反射光抽出手段102は反射光の強度分布を捉えることができるようにするために、複数の単位受光セルを備えていて、ひとつの単位受光セルと反射光画像の一画素が対応している。 Reflected light extraction unit 102 shown in FIG. 3 shows a light receiving portion constituted by the CMOS sensor, the reflected light extraction means 102 in order to be able to capture the intensity distributions of the reflected light, a plurality of unit light receiving cells the equipped, one pixel of one of the unit light-receiving cells reflected light image corresponds. この図では簡単のため2×2画素の構成で示す。 In this figure shows the configuration of the 2 × 2 pixels for simplicity. 点線で囲まれた部分1 17が一画素分の単位受光セルであり、一画素分の単位受光セルPDの概略構成を図4に示す。 Part 1 17 surrounded by a dotted line is a unit light-receiving cells of one pixel, showing the schematic configuration of a unit light receiving cell PD of one pixel in FIG.
【0051】 [0051]
先の例との対応を取ると、第1の受光手段109の一画素分と第2の受光手段110の一画素分で、1つの単位受光セルを構成している。 Taking the correspondence of the previous example, with one pixel of the first light-receiving unit 109 and one pixel of the second light receiving unit 110 constitute a single unit light receiving cells. 1つの単位受光セルは1つの光電変換部118と、2つの電荷蓄積部119、120を持っている。 One unit receiving cells has one photoelectric conversion unit 118, the two charge storage portions 119 and 120. 光電変換部118と電荷蓄積部119、120の間にはいくつかのゲート(この例では122,123)があり、これらのゲートの制御によつて光電変換部118で発生した電荷を、二つの電荷蓄積部119,120のうちのいずれの電荷蓄積部に導くかを選択できるようになっている。 The photoelectric conversion unit 118 and some is between the charge storage portion 119 and 120 gate has (this 122 and 123 in the example), these charges generated in due connexion photoelectric conversion unit 118 to the control gate, the two it is possible to select whether leads to one of the charge storage portion of the charge storage portion 119 and 120. このゲートの制御信号と発光部の発光制御信号を同期させる。 Synchronizing the light emission control signal of the control signal and the light emitting portion of the gate.
【0052】 [0052]
発光制御パルス128は発光手段を制御する信号である。 Emission control pulse 128 is a signal for controlling the light emitting means. ここではパルス発光を行う。 It performs pulse emission is here. 発光制御パルスのレベルが“HIGH”のとき発光手段101が発光し、“LOW”のときは発光しない。 Level of the light emission control pulse is emitting light emitting device 101 when the "HIGH", when the "LOW" does not emit light.
【0053】 [0053]
この発光制御信号に対し、実際の光は発光手段101の発光源として用いられている発光素子の時間応答によってなまり、図5に符号129を付して示す波形のように変化する。 For this light emission control signal, the actual light rounding the time response of the light-emitting elements used as the light emitting source of the light emitting unit 101 changes as the waveform shown by reference numeral 129 in FIG. 5. 受光部には、SAMPLE1(符号131を付して示す波形)、SAMPLE2(符号132を付して示す波形)、TRANSFER, RESET(符号130を付して示す波形)の制御信号が与えられる。 The light receiving unit, SAMPLE1 (waveform indicated by reference numeral 131), (waveform indicated by reference numeral 132) SAMPLE2, TRANSFER, control signal RESET (waveform indicated by reference numeral 130) is applied.
【0054】 [0054]
TRANSFERは、光電変換部118で発生した電荷を次段に転送するためのゲートを制御する信号であり、この信号が“HIGH”のとき、光電変換部118に蓄積された電荷が転送される。 TRANSFER is a signal for controlling the gate for transferring charges generated in the photoelectric conversion unit 118 in the next stage, this time the signal is "HIGH", the electric charge accumulated in the photoelectric conversion unit 118 is transferred. 電荷蓄積後、出力部へ電荷転送するときは、このゲートが閉じ、光電変換部118で発生した電荷が出力ゲートへ流れないようにする。 After the charge accumulation, when the charge transferred to the output unit, the gate is closed, charges generated in the photoelectric conversion unit 118 is prevented from flowing to the output gate. RESET 130はリセット制御信号である。 RESET 130 is a reset control signal.
【0055】 [0055]
TRANSFERが“HIGH”の時、RESETが“HIGH”になると、リセットゲート124が開き、光電変換部118にたまっていた電荷は、トランスファー・ゲート121、リセット・ゲート124を経て、排出される。 When TRANSFER is "HIGH", when RESET is "HIGH", it opens the reset gate 124, charges accumulated in the photoelectric conversion unit 118, transfer gate 121, via a reset gate 124 is discharged. SAMPLE1、SAMPLE2の2つの制御信号は、2つの電荷蓄積部119、120に、光電変換部118からの電荷を導くためのゲート122, 123を制御する信号である。 SAMPLE1, two control signals SAMPLE2 is the two charge storage portions 119 and 120, a signal for controlling the gate 122, 123 for guiding the charges from the photoelectric conversion unit 118.
【0056】 [0056]
これらの制御信号の変化と、単位受光セルの動作を次に説明する。 The change of these control signals, the operation of the unit light-receiving cell will be described.
単位受光セルでは、電荷蓄積期間においては、トランスファー・ゲート121は開き続けている。 The unit light receiving cells, in the charge accumulation period, transfer gate 121 continues to open. まず、リセット・ゲート124を開くことにより、光電変換部118とサンプル・ゲート122、123の間にたまった不要電荷を排出する。 First, by opening the reset gate 124, to discharge unnecessary charges accumulated during the photoelectric conversion unit 118 and the sample gate 122 and 123. リセット・ゲート124を閉じることで、光電変換部118とサンプル・ゲートの間に、光電変換されてできた電荷が蓄積されはじめる。 By closing the reset gate 124, between the photoelectric conversion unit 118 and the sample gate, charge Deki by photoelectric conversion starts to be accumulated.
【0057】 [0057]
一定時間の後、第1のサンプル・ゲート122が開くと、蓄積されていた電荷が、第1の電荷蓄積部119に転送される。 After a certain time, when the first sample gate 122 is opened, the charge that has been accumulated is transferred to the first charge accumulation portion 119. 従って、RESET 130が“LOW”になってから、SAMPLE1 131が“LOW”になるまでの蓄積期間である図5上の“蓄積期間1”の間に光電変換された電荷が、第1の電荷蓄積部119に蓄積される。 Therefore, after becoming RESET 130 is "LOW", SAMPLE1 131 is charge photoelectrically converted during the on FIG 5 is the accumulation period until "LOW" "accumulating period 1", a first charge It is stored in the storage unit 119. 第1のサンプル・ゲート122が閉じた後、再びリセット・ゲート124を開いて不要電荷を排出した後、リセット・ゲートを閉じ、一定時間の後に今度は第2のサンプル・ゲート123を開き、第2の電荷蓄積部120に、光電変換で生成された電荷を転送する。 After the first sample gate 122 is closed, after discharging unnecessary charges by opening the reset gate 124 again closes the reset gate, this time after a certain time opens a second sample gate 123, a the second charge accumulation portion 120, and transfers the charges generated by the photoelectric conversion. この時も同様に、RESETが“LOW”になってからSAMPLE2が“LOW”になるまでの蓄積期間である図5上の“蓄積期間2”の間に光電変換された電荷が第2の電荷蓄積部120に蓄積される。 Likewise at this time, the charge photoelectrically converted charge is the second between SAMPLE2 from when the RESET is "LOW" is on FIG. 5 is the accumulation period until "LOW" "accumulating period 2" It is stored in the storage unit 120. このとき“蓄積期間1”と“蓄積期間2”は同じ長さの時間である。 At this time "storage period 1" and "accumulation period 2" is the same length of time.
【0058】 [0058]
ここで、“蓄積期間1”なる電荷蓄積期間においては、発光手段105が発光しており、“蓄積期間2”なる電荷蓄積期間においては、発光手段105は発光しない。 In this case, "storage period 1" becomes a charge accumulation period, and the light emitting unit 105 emits light, in the "storage period 2" as the charge accumulation period, light emitting means 105 does not emit light.
【0059】 [0059]
このことにより、第1の電荷蓄積部119には、発光手段101からの光が物体に反射した光と、照明光、太陽光などの外光の両方によって生成された電荷が蓄積され、一方、第2の電荷蓄積部120には、外光のみによって生成された電荷が蓄積される。 Thus, the first charge accumulation portion 119, and an optical light from the light emitting unit 101 is reflected on an object, the illumination light, the charge generated by both the external light such as sunlight is accumulated, whereas, the second charge accumulation portion 120, charges generated by only the external light is accumulated.
【0060】 [0060]
“蓄積期間1”なる電荷蓄積期間と“蓄積期間2”なる電荷蓄積期間は時間的に近いので、この間での外光の大きさの変動は十分に小さいと考えてよい。 Since "storage period 1" and becomes a charge accumulation period "accumulation period 2" as the charge accumulation period temporally close, the fluctuation of the magnitude of the external light during this period may be considered sufficiently small. 従って、第1の電荷蓄積部119と第2の電荷蓄積部120の、電荷量の差が、発光手段101からの光が対象物体106に反射した光で発生した電荷量であるとみなしてよい。 Accordingly, the first charge accumulation portion 119 the second charge accumulation portion 120, the difference in charge amount, may be considered as light from the light emitting unit 101 is a charge amount generated in the light reflected in the target object 106 .
【0061】 [0061]
上記、SAMPLE1、SAMPLE2、RESET、TRANSFERは、すべての単位受光セルに同じ信号が与えられるため、すべての単位受光セルにおいて、同期的に電荷の蓄積が行われる。 Above, SAMPLE1, SAMPLE2, RESET, TRANSFER, since the same signal is applied to all the unit light receiving cells, in all of the unit light receiving cells, accumulation of synchronously charge is performed. このことは、1フレーム分の反射光画像を得るために1度の発光だけで済むことを示している。 This indicates that requires only one-time light emission to obtain a reflected light image of one frame. 従って、発光のための電力を小さくすることができる。 Therefore, it is possible to reduce the power for light emission. また、発光手段として用いることのできるLEDは、発光パルスのDUTY比が小さいほど(1つのパルス幅に比べて、パルスとパルスの間隔が長いほど)、瞬間的には強く発光できる性質を持つため発光パワーを効率的に利用することができる。 Also, LED to be used for a light-emitting unit, as the DUTY ratio of light emission pulses is small (as compared to a single pulse width, the more the pulse interval and the pulse is long), due to their nature capable of emitting light strongly momentarily it can be utilized luminous power efficiently.
【0062】 [0062]
電荷蓄積後、電荷の取り出しを行う。 After the charge accumulation, it is taken out of the charge. まずV系選択回路135で1行を選択する。 First selects a row in V-based selection circuit 135. 各行の単位受光セルPDから、第1の電荷蓄積部119と第2の電荷蓄積部120に蓄積された電荷が順に取り出され、差分回路133の中でその差分が収り出される。 From the unit light receiving cell PD of each row, the first charge accumulation portion 119 and the charges accumulated in the second charge accumulation portion 120 is taken sequentially, the difference in the difference circuit 133 is issued Osamuri. H系シフトレジスタで列を選択することで、取り出す。 By selecting a column in the H system shift register, taken out.
【0063】 [0063]
なお、この例においては、電荷取り出し時には、シフトレジスタで取り出しセルのアドレスを指定するため、出力の順番が決まっている(シーケンシャルな出力)が、任意のアドレスを生成できるようにすればランダムアクセスが可能になる。 Incidentally, in this example, when the charge is taken out in order to specify the address of the cell is taken out by the shift register, the order of the output is determined (sequential output), random access if so can generate arbitrary address possible to become. このようにすると、受光部全体のうち、一部分だけを取り出すことができ、センサの動作周波数を低下させる、あるいは、反射光画像のフレームレートを上げることができるなど゛の効果がある。 In this manner, of the entire light receiving portion, it is possible to take out only a portion, to lower the operating frequency of the sensor, or there is ゛No effects such can raise the frame rate of the reflected light image. 例えば画像の一部しか占めないような小さな物体を検出して、その動きを追跡させるような場合は、あるフレームでの位置の周辺だけで探索すればよいため、画像の一部だけを取り出すだけで良い。 For example to detect small objects, such as only occupies part of the image, if such is tracking its movement, since it is sufficient search only around the position of a certain frame, only extract only part of the image good at.
【0064】 [0064]
また、発光源として、近赤外光を用いた例を示したが、必ずしもこれに限定しない。 Further, as a light emitting source, an example of using a near-infrared light, not necessarily limited thereto. 人の目に眩しくない条件でなら(例えば、発光量がそれほど大きくない、人の目に直接入らない向きを向いている、など)、可視光であっても良い。 If in dazzling no conditions to the human eye (e.g., light emission amount is not so large, facing the direction that do not fall directly into the eyes of human, etc.), it may be visible light. あるいは、光に限らず、電磁波、超音波などを用いることも可能である。 Alternatively, not only the light, electromagnetic waves, it is also possible to use an ultrasonic. 近赤外光通過フィルタも、外光の影響を考えなくてよいなどの条件下であれば省くこともできる。 Also near-infrared light passes through the filter, it can also be omitted if the conditions, such as it is not necessary to consider the influence of external light.
【0065】 [0065]
ところで、受光手段としてCMOSセンサではなく、通常の撮像用のCCDイメージセンサを用いても、これに類することを実現することもできるが、その性能、あるいはコストパフォーマンスにおいて本構成の方が優れている。 Incidentally, instead of the CMOS sensor as the light receiving means, even using conventional CCD image sensor for imaging, but it is also possible to realize similar thereto, is superior to the present configuration in its performance or cost, .
【0066】 [0066]
例えば、CCDイメージセンサと光源を用いることもできる。 For example, it is also possible to use a CCD image sensor and a light source. しかし、CCDはl/60秒毎に1回の撮像しかできない(フィールド単位)。 However, CCD can only one imaging every l / 60 sec (field unit). 従って、はじめの1/60秒で、発光部を発光させ、次のl/60秒で発光部を消灯させ、その差分をとっても、1/60秒の時間差かあると、外光の大きさが変動してしまい、差分=反射光量とならなくなってしまう。 Thus, at the beginning of 1/60 seconds, the light emitting unit to emit light, turn off the light emitting portion in the next l / 60 second, take the difference, when there are a time difference 1/60 sec, the size of the external light fluctuates, the difference = no longer become the amount of reflected light. 蛍光灯などはl/100秒の周期でその強さが変動しているので、このようなことが起こってしまう。 Since fluorescent lamp is its strength at a period of l / 100 seconds fluctuates, such that the resulting in place. CCDイメージセンサを使った通常の撮像においても、撮像周期と、外光の変動周期のすれに起因して、画面の明るさがちらつく現象がおきることがあり、これはフリッカと呼ばれている。 In the normal imaging using a CCD image sensor, an imaging period, due to the friction on the fluctuation cycle of the external light, may experience occurs a phenomenon that brightness of the screen flickers, this is called flicker.
【0067】 [0067]
CMOSセンサを受光手段として採用した本装置においては、CMOSセンサの構成上の特徴として、画素単位で任意に受光(電荷蓄積)と読み出しの制御ができ、それは1/10000秒程度、あるいはそれ以下まで時間を小さくしたり、あるいは十分長い時間に設定して使用することができるので、外光の変動に応じて最適値を選べば、外光変動の影響を受けなくて済む。 In the apparatus using the light receiving means of CMOS sensors, as the feature of the configuration of a CMOS sensor, can control arbitrarily read and received (charge accumulation) in units of pixels, it is about 1/10000 seconds, or until less or to reduce the time, or it is possible to configure and use a sufficiently long time, if you choose the optimum value in accordance with the variation of the outside light, it is not necessary under the influence of the outside light fluctuation. CCDイメージセンサによる撮像の場合、フリッカを防ぐために、電荷蓄積時間をl/100秒と蛍光灯の周期と一致させる方法が取られることがあるが、発光部と同期させる場合においても、電荷蓄積時間をl/100秒にする、あるいはCCDの駆動信号を変えてしまい、1フィールドをl/100秒にしてしまう、というような方法により、外光の影響を抑えることもできる。 For imaging by the CCD image sensor, in order to prevent flicker, it is possible to process to match the charge accumulation time period of l / 100 seconds and the fluorescent lamp is taken, even when synchronized with the light emitting portion, the charge accumulation time the to l / 100 seconds, or it would alter the CCD drive signal, resulting in one field in l / 100 seconds, by such a way that, it is also possible to suppress the influence of external light. この場合は別の問題が発生する。 In this case, another problem occurs. 対象物体である手が動いている場合、発光時の撮像と消灯時の撮像において手の位置が微妙にずれてしまう。 If the hand is a target object is moving, the position of the hand will be slightly shifted in the imaging of the unlit and imaging during light emission.
【0068】 [0068]
この状態で差分を取ってしまうと、特に物体(手)のエッジ部分において、反射光画像が大きく乱れてしまう。 When thus taking the difference in this state, particularly in the edge portion of the object (hand), the reflected light image is greatly disturbed. また、構成のコンパクトさでも大きく異なる。 Also, different larger in compactness of structure. CCDを用いる場合、少なくとも、A/D変換器と、1フレーム分のデータを蓄えるメモリ、差分画像を求める演算回路が必要である。 When using a CCD, at least, an A / D converter, memory for storing data for one frame, the arithmetic circuit for obtaining the difference image is required. またCCDを用いる場合には、ドライバ−ICを別に用意する必要がある。 In the case of using the CCD, it is necessary to prepare a separate driver -IC.
【0069】 [0069]
一方、単位受光セルを複数個二次元配列した構成の本装置(すなわち、受光素子としてCMOSセンサを用いた本装置)においては、CMOSセンサのべース(CMOSセンサの形成基板上)に各種回路を作り込むことができるので、ドライバーを同一チップ内に収めてしまうことができる。 On the other hand, the device in which are arranged a plurality dimensional unit receiving cell (i.e., the device using the CMOS sensor as the light receiving element) in the various circuits in the base over the scan of the CMOS sensor (on formation of the CMOS sensor substrate) it is possible to build in, it is possible to cause met with the drivers in the same chip. また、センサ内で発光時、非発光時の差をとれるので、差分演算回路は不要である。 Furthermore, during light emission in the sensor, since take the difference in a case of no emission, the difference calculation circuit is not required. また、A/D変換部やメモリ、制御部まで1チップ内に収めてしまうこともできるので、非常に低コスト化できる。 Further, A / D conversion unit and a memory, so it is also possible to become housed in one chip to the controller, it can be a very low cost.
【0070】 [0070]
ここまでの説明では、対象物体のみの像(反射光画像)を抽出するところまでの構成を述べた。 In the description so far, he said the arrangement up to which to extract the image of the object only (reflected light image). ここまでの構成でも十分製品として利用価値がある。 Also in the construction of up to here there is a use value as enough product. しかし、実際の利用形態としては、得られた反射光画像に何らかの加工を施して、使用者の目的に合った使い方をすることが多い。 However, the actual usage form, is subjected to some machining the obtained reflected light image, often the use to suit the purpose of the user. 例えば、手の反射光画像を入力することにより、ポインティングやジェスチャー入力を行うことが出来る。 For example, by inputting the reflected light image of the hand, it can be performed pointing and gesture input. このために反射光画像から有用な情報を抽出するのが、特徴情報生成手段である。 To extract useful information from the reflected light images for this is a feature information generating means. ここで、特徴量を抽出したり、加工したり、そこから別の情報を生成したりしている。 Here, and extract a feature quantity, processed or has been or generate other information therefrom.
【0071】 [0071]
反射光画像の加工の仕方の代表例は、距離情報の抽出と、領域抽出である。 Representative examples of how the processing of the reflected light image, and extracts the distance information, a region extraction. 先にも述べたように、物体が一様で均質な散乱面を持つ物体であれば、反射光画像は距離画像と見なすことができる。 As mentioned earlier, if the object having the object uniform homogeneous scattering surface, the reflected light image can be regarded as the range image. 従って、物体の立体形状を抽出することができる。 Therefore, it is possible to extract the object of the three-dimensional shape. 物体が手であれば、手のひらの傾きなどが検出できる。 If the object is a hand and the palm of the inclination can be detected. 手のひらの傾きは部分的な距離の違いとして現れる。 Palm of the slope will appear as a difference in a partial distance. また、手を移動させたときに画素値が変われば、距離が移動したと見ることができる。 Further, can be seen as if Kaware pixel value when moving the hand, the distance has moved. また、背景のように遠い物体からの反射光はほとんどないため、反射光画像からあるしきい値以上の領域を切り出すという処埋で、物体の形状を簡単に切り出すことができる。 Further, since far light reflected from the object is little as a background, the embedding processing of cutting out a threshold or more regions from the reflected light image can be cut out the shape of an object easily. 例えば、物体が手であれば、そのシルエット像を切り出すのは極めて容易である。 For example, if the object is a hand, it is very easy cutting the silhouette image. 距離情報を用いる場合でも、一度しきい値によって領域抽出をしておいてから、その領域内の距離情報を用いる、という場合が多い。 Even in the case of using the distance information, once from left to the region extracted by the threshold, using the distance information in the area, often called.
【0072】 [0072]
このようにして、対象物体の像を簡易に抽出できるようになったことにより、その対象物体の像を用いて様々な情報入力操作、指示操作などを行う途が拓けることになる。 In this way, by now possible to extract an image of the target object in a simple, various information input operation using the image of the object, so that the developing of performing such instruction operation Hirakeru.
【0073】 [0073]
ところで、本発明はCMOSセンサを受光手段として採用しており、上述したように、CMOSセンサの構成上の特徴として、画素単位で任意に受光(電荷蓄積)と読み出しの制御ができ、それは1/10000秒程度、あるいはそれ以下まで時間を小さくしたり、あるいは十分長い時間に設定して使用することができるので、外光の変動に応じて最適値を選べば、外光変動の影響を受けなくて済む。 Incidentally, the present invention employs a CMOS sensor as the light receiving means, as described above, as a feature of the structure of a CMOS sensor, can control arbitrarily read and received (charge accumulation) in units of pixels, it is 1 / 10000 seconds or so, or or reduces the time to less, or it is possible to configure and use a sufficiently long time, if you choose the optimum value in accordance with the variation of the external light, not affected by the outside light fluctuation It requires Te. しかし、これを外光の変動状況に応じてどのようにして最適に設定するかが課題である。 However, how optimally set by is an object of this according to the variation conditions of external light. そこで、次にこのことについてその具体例を説明する。 Therefore, it will now be described a specific example for this.
【0074】 [0074]
<最適動作パターンを自動選択する具体例> <Specific Example of automatically selecting an optimum operation pattern>
概略を述べるとここでは、電荷蓄積期間をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、第1の受光手段と第2の受光手段による受光を行い、両受光手段による受光出力(画像出力)の差出力を、各動作パターンそれぞれで得て、その差分像(反射光画像)が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードを実施させるようにする。 Roughly speaking here prepares a plurality of kinds of motion patterns having different charge accumulation periods, respectively, also in the absence of illumination by the light emitting means provided optimum operation pattern selection mode, a first light receiving means the performs receiving by the second light receiving means, the difference between the output of the light-receiving output by both light-receiving unit (image output), obtained in each of the operation pattern, operation pattern the difference image (reflected light image) is in the darkest image It was selected as the optimal operational pattern no influence of external light, so as to implement the normal operation mode in the pattern.
【0075】 [0075]
所望の対象物体の画像抽出を行う本発明の対象装置は発光手段と受光撮像系(反射光画像獲得手段)を有し、外光のみの環境下での受光による画像と、この環境下で発光手段により発光させて得た前記対象物体の画像の差を求めて、これを発光手段により発光した光の前記対象物体による反射光を画像化したものとして得ることにより、対象物体のみの画像を得てこれよりジェスチャ認識などを可能にする。 The desired target device of the present invention for performing image extraction of the target object has an emission means and the light receiving image pickup system (reflected-light image acquisition means), an image by the light receiving in an environment of ambient light alone, emitting in the environment obtained by determining a difference of the target object image obtained by emitting by means by be obtained as those obtained by imaging reflected light from the target object of the light emitted by the light emitting means which, an image of the target object only This than to allow such as gesture recognition Te.
【0076】 [0076]
反射光画像獲得は発光時と非発光時に受光電荷を蓄積し、その差をとることで、反射光画像を獲得するが、外光には蛍光灯のように変動するものがあり、通常の蛍光灯やインバータ蛍光灯など、その変動周期にも幅がある。 Reflected light image acquisition accumulates received electric charges in the light emitting state and non-emission time, by taking the difference, but to acquire reflected light image, the external light while others varies as a fluorescent lamp, an ordinary fluorescent such as lights and the fluorescent light, there is a range in the variation period. しかし、発光時、非発光時の時間差が、外光の変動周期に近いと、2つの蓄積電荷の差には、外光の変動分も入ってしまい、反射光だけを精度良く取り出せない。 However, when light is emitted, the time difference between the time of non-emission and closer to the fluctuation period of the external light, the difference between the two accumulated charge, variation of the outside light also will contain, not eject only the reflected light accurately.
【0077】 [0077]
そこで、発光と電荷蓄積の動作パターンを複数用意しておき、各動作パターンそれぞれでの非発光状態での2枚の画像を取得して差成分を調べ、差成分の最も少ない動作パターンをその環境下での動作パターンとして採用する。 Therefore, the operation pattern of the light-emitting and the charge storage leave more prepared to examine the difference component to obtain the two images in a non-emission state of each respective operation patterns, the environment the least operation patterns of the difference component It is employed as the operation pattern under. このようにして、複数種の動作パターンを用意して外光の状況によって使い分けることにより、どのような外光状態であっても精度良く反射光画像(対象物体の抽出像)が得られるようにした。 In this way, by selectively depending on the situation of the external light by providing a plurality of types of operation patterns, what to accuracy even in ambient light condition may reflected light image (extracted image of the object) are obtained did.
【0078】 [0078]
<最適な動作パターン選択の原理> <Optimal operation pattern selection principles>
原理は極単純で、発光手段101を発光させずに、受光動作を行い、差を出力したとき、その2 回の間に外光の変動がほとんど無ければ、出力はほぼ0となる筈であるという点にある。 Principle extremely simple, without the light emitting unit 101 performs the light reception operation, when outputting the difference, if almost no variation in the ambient light during the second time, the output is supposed to be almost 0 It lies in the fact that. 従って、2つの画像間に外光変動量の差がない時は両者の差分画像である反射光画像は真っ暗になる(発光していないのだから反射光が真っ暗になる)。 Therefore, the reflected light image which is both of the difference image becomes dark (the reflected light because of not emitting light is dark) when there is no difference of the outside light fluctuation amount between the two images. しかし、このとき外光の変動が大きければ出力画像は真っ暗とはならない。 However, this time the larger the variation of the outside light output image is not a dark. 従って、発光部を発光させずに反射光画像をとり、最も暗い画像が得られる動作パターンを選択する。 Therefore, taking the reflected light image without the light emitting unit selects an operation pattern in which the darkest image obtained.
【0079】 [0079]
<外光に変動ある場合に、その外光の影響を抑制して必要な反射光画像を抽出する具体例> <When there variation in external light, specific examples of extracting the reflected light images necessary to suppress the influence of the external light>
上述の情報入力生成装置は発光部と受光撮像系(反射光画像獲得手段)を有し、発光した光の物体による反射光を画像化して出力することにより、ジェスチャ認識などを可能にし、反射光画像獲得手段は発光時と非発光時に受光電荷を蓄積し、その差をとることで、外光成分による像を相殺し、反射光画像を獲得する構成であることは詳しく述べた。 The above information input generating device includes a light emitting portion and the light receiving image pickup system (reflected-light image acquisition unit), by outputting the imaging light reflected by an object of the emitted light, to enable such gesture recognition, reflected light image acquisition means accumulates received electric charges in the light emitting state and non-emission time, by taking the difference, offset the image due to external light component, it has been described in detail is configured to acquire the reflected light image.
【0080】 [0080]
そして、外光には太陽光のようなものの他、蛍光灯のように変動するものがあり、しかも、蛍光灯には通常の蛍光灯やインバータ蛍光灯など、種々のものがあって、その変動周期にも幅がある。 The others, such as sunlight in ambient light, there is one that varies as a fluorescent lamp, moreover, the fluorescent lamp such as an ordinary fluorescent lamp or the fluorescent light, there are various ones, the variation also in the period there is a range.
【0081】 [0081]
そして、発光手段101の発光時と、非発光時での時間差が、外光の変動周期に近いと、2つの蓄積電荷の差には、外光の変動分も入ってしまい、この外光の状況如何によっては発光手段101による光照射のもとでの対象物体106の反射光だけを精度良く取り出すという目的を達成できない心配が残る。 Then, the light emission time of the light emitting unit 101, the time difference between the time of non-emission and closer to the fluctuation period of the external light, the difference between the two stored charge of the external light variation will be entered, the external light in some situations how worry that can not achieve the object of only the reflected light of the target object 106 under light irradiation by the light emitting unit 101 accurately retrieve remains.
【0082】 [0082]
そこで、これに対処する具体例を説明する。 Therefore, a specific example to deal with this.
この例では、発光と電荷蓄積の動作パターンを複数用意しておき、外光の状況によって使い分けるようにする。 In this example, the operation pattern of the light-emitting and the charge storage leave plurality prepared, to selectively used depending on the situation of the external light. そして、これにより、どのような外光状態であっても精度良く反射光画像が得られるようになる。 And, thereby, even so accurately reflected light image is obtained whatever the ambient light condition.
【0083】 [0083]
具体的に説明する。 It will be described in detail.
ここで説明する例は、次の原理に基づく。 Example described here is based on the following principle. すなわち、発光手段101を発光させずに、2 回受光電荷蓄積し、差を出力したとする。 That is, without the light emitting unit 101, and two light receiving charge storage, and outputs the difference. このとき、その2 回の受光電荷蓄積の間に、外光の変動がほとんど無ければ、出力はほぼ0となる。 At this time, between the light receiving charge accumulation of twice, if the variation of the external light is almost no output is substantially zero. 従って、反射光画像は真っ暗になる。 Therefore, the reflected light image becomes dark. つまり、光源が発光していないわけであるから、当然、反射光像成分はない訳であるから、反射光像、すなわち、出力画像は真っ暗になる。 That is, since the light source is not not emitting light, of course, because the translation reflected light image component is not, the reflected light image, i.e., the output image becomes dark. しかし、上記2回の受光電荷蓄積の間に、外光の変動があり、その変動が大きければ当該2回の受光電荷蓄積期間の蓄積電荷の差をとったときに生じる差は零とはならず、従って、出力画像は真っ暗とはならない。 However, during the light-receiving charge accumulation of the two, there are variations in the external light, not the zero difference occurring when taking the difference between the charges accumulated in the light receiving charge accumulation period of the two if the variation is greater not, therefore, the output image is not a pitch-dark.
【0084】 [0084]
従って、発光手段101を発光させない状態で、複数用意した電荷蓄積の動作パターンそれぞれで反射光画像をとり、最も暗い画像が得られる動作パターンを選択する。 Accordingly, in a state not to emit light emitting means 101, taking the reflected light image at each operation pattern of the charge storage in which a plurality prepared selects an operation pattern in which the darkest image obtained. そして、その選択した動作パターンに対応する期間の発光期間を持つ発光動作パターンを選択して、この動作パターンで発光手段101を発光制御するようにする。 Then, by selecting the light emitting operation pattern having an emission period of time corresponding to the selected operational pattern, so as to light emission controlling the light emission unit 101 in this operation pattern.
【0085】 [0085]
このような機能を実現するためには、装置として図6に示す如きの構成を採用すれば良い。 In order to realize such a function, it may be adopted a configuration of as shown in FIG. 6 as an apparatus. すなわち、図6において、101は発光手段、103は特徴情報生成手段であり、102は反射光画像獲得手段で前述した図1の反射光抽出手段に該当する。 That is, in FIG. 6, 101 light emitting means, 103 is a feature information generating means 102 corresponds to the reflected light extraction unit of FIG. 1 described above in reflected light image acquisition means. また、104は受発光制御信号生成手段であり、前述した図1のタイミング信号生成手段に該当する。 Also, 104 is a light receiving and emitting control signal generation means corresponds to the timing signal generator of FIG. 1 described above. また、201は外光の影響を評価する評価手段であり、202は受発光パターン選択・決定部である。 Further, 201 is an evaluation means for evaluating the influence of external light, 202 is a light receiving and emitting pattern selection and determination unit.
【0086】 [0086]
前述したように発光手段101は対象物体に照明をあてるための光源であり、反射光画像の光源である。 Emitting means 101 as described above is a light source for directing illumination to the target object, which is the light source of the reflected light image. この具体例においては、外光の変動状況に合わせて最適な受光動作パターンを得ることができるようにするために、最適動作パターン選択モードと通常動作モードの2種の動作モードが用意されており、外光の最適な受光動作パターンを探すとき、すなわち、最適動作パターン選択モード時には、発光が停止されるように設定制御され、通常動作モード時にはこれが解除制御されて受発光制御信号生成手段104から与えられる所定のタイミングで発光されて対象物体に照明をあてるように制御される。 In this embodiment, in order to be able to obtain an optimum light reception operation pattern in accordance with the variation situation of the external light are two or mode of operation of providing the optimum pattern selecting mode and the normal operation mode when looking for optimum light reception operation pattern of the external light, i.e., the optimum pattern selecting mode, light emission is set controlled to be stopped, the normal operation mode which is released controlled from the light receiving and emitting control signal generating means 104 emitted at a predetermined timing given is controlled to apply the illumination to the target object.
【0087】 [0087]
タイミング制御を行うために用意されているのが受発光制御信号生成手段(タイミング信号生成手段)104である。 The is prepared to perform the timing control is the light receiving and emitting control signal generating means (timing signal generating means) 104. 受発光制御信号生成手段104は、受発光パターン選択・決定部202による設定情報に基づいて反射光画像獲得手段102と発光部手段101を制御する信号を生成するものである。 Light emitting and receiving control signal generating means 104 is for generating a signal for controlling the reflected light image acquisition unit 102 and the light emitting portion unit 101 based on the setting information by the light receiving and emitting pattern selection and determination unit 202.
【0088】 [0088]
受発光パターン選択・決定部202は、最適動作パターン選択モードと通常動作モードの2モードを有しており、また、予め複数の前記受光電荷蓄積動作パターンを用意してあって、最適動作パターン選択モード時にはこれらの各種動作パターンを順次使用して受発光制御信号生成手段104を設定制御することにより、上記複数の動作パターンで受光をさせる。 Emitting and receiving light pattern selection and determination unit 202 has a bimodal optimum operation pattern selection mode and a normal operating mode, also is that you had previously prepared a plurality of light receiving charge accumulation patterns, optimum operation pattern selection the mode by setting control light receiving and emitting control signal generation unit 104 by sequentially using these various motion patterns, causes the light at the plurality of operation patterns. そして、受発光パターン選択・決定部202は、各動作パターンで得られた反射光画像を評価した結果を評価手段201から受け取り、これらの評価結果のうちの最良の評価が得られた動作パターンを、最適な動作パターンとして決定する。 The light receiving and emitting pattern selection and determination unit 202 receives the result of evaluating the reflected light images obtained by the operation pattern from the evaluation unit 201, the operation pattern best estimate is obtained of these evaluation results It is determined as an optimum operation pattern.
【0089】 [0089]
反射光画像獲得手段102の出力画像をもとに、評価手段201は各動作パターンで得られた反射光画像を評価し、受発光パターン選択・決定部202に与えてその評価値より最適な動作パターンを決定するが、受発光パターン選択・決定部202は、最適な動作パターンを決定する間は、発光手段101が発光しないように制御する。 Based on the output image of the reflected light image acquisition unit 102, evaluating means 201 evaluates the reflected light images obtained by the operation pattern, the optimal operation than the evaluation value given to the light receiving and emitting pattern selection and determination unit 202 while determining the pattern, light receiving and emitting pattern selection and determination unit 202, while determining the optimum operation pattern, the light emitting unit 101 is controlled not to emit light. 最適な動作パターンが決定された後は通常動作モードとなり、その決定された動作パターンによる受光電荷蓄積期間となるように、反射光画像獲得手段102と受発光制御信号生成手段104を制御する。 After the optimum operation pattern is determined and a normal operation mode, so that the light receiving charge accumulation period by the determined movement pattern, controls the reflected light image acquisition unit 102 and the light receiving and emitting control signal generation means 104.
【0090】 [0090]
外光の影響評価手段201は、反射光画像に外光の変動がどの程度含まれているかを評価する。 Assessment means 201 of the external light, to assess whether contained degree variation of the external light to the reflected light image. この反射光画像は反射光画像獲得手段102から取得する。 The reflected light image is obtained from the reflected light image acquisition unit 102. 反射光獲得手段102は、上述したように第1の受光手段109の受光した像と、第2の受光手段110の受光した像との差分を出力する。 Reflected light acquisition unit 102 outputs the image that is received in the first light receiving means 109 as described above, the difference between the received light image of the second light receiving unit 110. 第1の受光手段109は発光手段101の発光のない状態での受光による画像を、そして、第2の受光手段110は本来は発光手段101の光のある状態での受光による像の出力を出すものであるが、最適動作パターン選択モードの時は発光手段101を発光させないように、受発光パターン選択・決定部202は発光手段101を設定する(なお、発光動作させる信号を発生させないように受発光制御信号生成手段104を制御する構成としてももちろんかまわない)。 An image by the light receiving of the first light-receiving means 109 in the absence of light emission of the light emitting unit 101, and a second light receiving means 110 is originally issues the output of the image by the light receiving in the state in which a light emitting means 101 While those, so as not when the optimum pattern selecting mode causes the light emitting means 101, the light receiving and emitting pattern selection and determination unit 202 sets the light emission unit 101 (Here, receiving as not to generate a signal to emit light of course it may be configured to control the light emission control signal generating means 104).
【0091】 [0091]
そして、最適動作パターン選択モード時において、このように発光手段101が発光しないようにしておけば、反射光画像獲得手段102から得られる反射光画像、すなわち、第1の受光手段109の受光した画像の蓄積電荷と、第2の受光手段110の受光した画像の蓄積電荷の差分出力(差分の反射光画像)は、外光の変動のみをあらわすので、当該反射光画像が明るいほど外光の影響を受けていることになる。 Then, in the optimum operation pattern selection mode, if thus emitting means 101 not to emit light, the reflected light image obtained from the reflected light image acquisition unit 102, i.e., the reception of the first light receiving means 109 images and accumulated charge of receiving the differential output of the charge accumulated in the image of the second light receiving unit 110 (the reflected light image of the difference), so represents only fluctuations in the ambient light, the more the reflected light image is brighter ambient light effects It will be undergoing. 評価値は信頼性を確保するために、例えば、最適動作パターン選択モード時に1動作パターン当たり、数回動作を繰り返してその平均値を用いるようにする。 Evaluation value in order to ensure the reliability, for example, per operation pattern for optimal operation pattern selection mode, by repeating several times the operation is to use the average value. つまり、1動作パターン当たり、反射光画像の数フレームの平均輝度を求めて評価値として出力する。 That, per operation pattern, and outputs the evaluation value calculating an average luminance of several frames of the reflected light image.
【0092】 [0092]
次にこのような構成の装置の作用を図7のフローチャートに従って説明する。 Next will be described with reference to the flowchart of FIG. 7 the operation of apparatus in such a structure. 本装置は初期時には最適動作パターン選択モードになる。 The apparatus for optimal operation pattern selection mode in the initial time. このモードではまず発光手段101を発光しないようにする(ステップS1)。 In this mode initially to not emit light emitting means 101 (step S1). すなわち反射光を取った場合、真っ暗になるようにするために、第2の電荷蓄積期間においても発光手段101が発光動作をしないように、受発光パターン選択・決定部202は発光手段101を設定する。 That is, when taking the reflected light, in order to go black, even as the light emitting means 101 is not a light emitting operation in the second charge accumulation period, light receiving and emitting pattern selection and determination unit 202 sets the light emitting means 101 to.
【0093】 [0093]
そして、受発光パターン選択・決定部202は複数種予め用意してある動作パターンうち、1つの受光動作パターンを選び(ステップS2)、そのパターンで電荷蓄積を行って差成分を得るべく、受発光制御信号生成手段104を制御し、これに従って受発光制御信号生成手段104は反射光画像獲得手段102を制御して対象物体106の画像の第1の電荷蓄積及び第2の電荷蓄積を、当該受光動作パターン対応の動作期間単位で行い、その差成分を得る。 Then, among the operation pattern receiving and emitting light pattern selection and determination unit 202 which had been more previously prepared, to select one of the light receiving operation pattern (step S2), and to obtain the difference component by performing charge storage in the pattern, the light emitting and receiving controlling a control signal generation unit 104, accordingly the light emitting and receiving control signal generating unit 104 first charge accumulation and the second charge accumulation of the image of the object 106 to control the reflected light image acquisition unit 102, the light-receiving performed in operation period unit of the operation pattern corresponding to obtain the difference component.
【0094】 [0094]
そして、これを元に評価手段201はこの動作パターンでの外光の評価をする(ステップs3)。 The evaluation based on this unit 201 to evaluate the external light in this operation pattern (step s3). 外光の影響の評価値として、例えば反射光画像の数フレームの平均輝度を用いる(もちろん暗いほど小さい)。 As the evaluation value of the influence of external light, for example using the average luminance of several frames of the reflected light image (of course smaller darker). つまり、一つの動作パターンで上記の差成分を得る動作を複数回、繰り返し、それぞれ得られた差成分の値の平均値を求めて当該動作パターンでの評価値を得る。 That is, the operation several times in a single operation pattern obtaining the difference components, repeatedly, to obtain an evaluation value in the operation pattern obtains an average value of the values ​​of the difference components obtained respectively.
【0095】 [0095]
この評価結果は受発光パターン選択・決定部202に与える。 The evaluation results are given to the light receiving and emitting pattern selection and determination unit 202.
受発光パターン選択・決定部202はすべてのパターンを試したかを調べ、未試行のパターンがあればその未試行の中から一つを次の受光動作パターンとして選択する(ステップS4,S5 )。 Emitting and receiving light pattern selection and determination unit 202 checks whether try all the patterns, one from the untried if any pattern untried selects as the next light reception operation pattern (Step S4, S5). そして、その選んだ受光動作パターンで電荷蓄積を行って差成分を得るべく、受発光制御信号生成手段104を制御し、これに従って受発光制御信号生成手段104は反射光画像獲得手段102を制御して対象物体106の画像の第1の電荷蓄積及び第2の電荷蓄積を、当該受光動作パターン対応の動作期間単位で行い、その差成分を得る。 Then, to obtain the difference component by performing charge storage in the selected light-receiving operation pattern by controlling the light emitting and receiving control signal generation unit 104, accordingly the light emitting and receiving control signal generating means 104 controls the reflected light image acquisition unit 102 the first charge accumulation and the second charge accumulation of the image of the target object 106 Te and performed in operation period unit of the light receiving operation pattern corresponding to obtain the difference component. そして、これを元に評価手段201はこの動作パターンでの外光の評価をする(ステップs3)。 The evaluation based on this unit 201 to evaluate the external light in this operation pattern (step s3). この評価結果は受発光パターン選択・決定部202に与える。 The evaluation results are given to the light receiving and emitting pattern selection and determination unit 202.
【0096】 [0096]
受発光パターン選択・決定部202はすべてのパターンを試したかを調べ、未試行のパターンがあればその未試行の中から一つを次の受光動作パターンとして選択し(ステップS4,S5 )、そして、その選択した受光動作パターンでの上述の動作を繰り返して評価をするが、ステップS4での判断の結果、全てのパターンを試し終えたならば、次に受発光パターン選択・決定部202はすべてのパターンそれぞれでの評価値を比較して、評価値の最良のものを最適パターンとして一つ選択する(ステップS5)。 Emitting and receiving light pattern selection and determination unit 202 checks whether try all the patterns, if a pattern of untried selects one of the untried as the next light reception operation pattern (Step S4, S5), and all will be evaluated by repeating the above operation in the selected light-receiving operation pattern is determined at step S4, if finished try all the patterns, then the light receiving and emitting pattern selection and determination unit 202 by comparing the evaluation value in each pattern, to one selected as the optimum pattern that best evaluation value (step S5).
【0097】 [0097]
次に受発光パターン選択・決定部202は、その選択した受光動作パターンの電荷蓄積期間となるパターンとタイミングで受光動作と発光動作をするように受発光制御信号生成手段104と発光手段101に指示を与える。 Then the light receiving and emitting pattern selection and determination unit 202 instructs the light emitting means 101 and the light emitting and receiving control signal generating means 104 to the light reception operation the light emitting operation in a pattern and when a the selected charge accumulation period of the light-receiving operation pattern give. これにより、受発光制御信号生成手段104は上述の選択された動作パターンで発光指令と受光動作をするように設定され、また、発光手段101はその発光停止状態を解除される(ステップS6,S7 )。 Thus, the light receiving and emitting control signal generation means 104 is set to the light emission command and the light-receiving operation in the above-mentioned selected operating pattern, also, the light emitting means 101 is released the light emission stop state (step S6, S7 ).
【0098】 [0098]
この解除に伴い、最適動作パターン選択モードから通常の動作モードになる。 With this release, consisting of the optimum pattern selecting mode to the normal operation mode. 通常の動作モードでは発光手段101による照明のない状態で第1の受光手段109による受光を、上記選択された動作パターンによる電荷蓄積期間分、行い(第1の電荷蓄積期間)、つぎにこの電荷蓄積期間分、発光手段101から照明をあてて第2の受光手段110による受光を行い、両者の差をとってこれを外光の影響のない反射光画像として得る。 The light in the normal operation mode by the first light receiving means 109 in the absence of illumination by the light emitting unit 101, the charge accumulation period by said selected motion pattern, performed (first charge accumulation period), then the charge accumulation period, performs receiving by the second light receiving means 110 by applying a illumination from the light emitting unit 101 to obtain this by taking the difference between the two, if not reflected light image of the influence of external light.
【0099】 [0099]
本発明はこのように、電荷蓄積期間をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、第1の受光手段と第2の受光手段による受光を行い、両受光手段による受光出力(画像出力)の差出力を、各動作パターンそれぞれで得て、その差分像(反射光画像)が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードを実施させるようにした点に特徴がある。 The present invention thus preparing a plurality of types of operation patterns having different charge accumulation periods, respectively, also in the absence of illumination by the light emitting means provided optimum operation pattern selection mode, first a first light receiving means performs receiving by the second light receiving means, the difference between the output of the light-receiving output by both light-receiving unit (image output), obtained in each of the operation pattern, operation pattern the difference image (reflected light image) is in the darkest image was selected as the optimal operational pattern no influence of external light, it is characterized in that so as to implement the normal operation mode in the pattern.
【0100】 [0100]
このように、予め用意した複数種の動作パターンそれぞれについて発光手段を用いずに差分画像を得て、外光の影響を評価し、最良の評価値を示すパターンを選択、その後は当該選択したパターンで外光による画像と、発光手段による照明を与えた画像とを得て両者の差分を反射光画像として反射光画像獲得手段で得るようにするものであり、外光の影響の評価値としては、例えば反射光画像の数フレームの平均輝度を用いるようにし、この評価を用意してあるすべての動作パターンで試すと共に、 均輝度が一番小さかった(つまり一番外光の影響を受けなかった)動作パターンを選択することにより、外光の変化状況に応じてその変化状況下で最も影響の少ない第1の受光手段と第2の受光手段の受光期間を選択するようにしたものであ Pattern thus to obtain a difference image without the light-emitting means for each of the plurality of types of operation patterns prepared in advance, and evaluate the impact of outside light, select the pattern indicating the best evaluation value, then it was the selected in an image due to external light, it is the difference between the two to obtain the image by use of illumination by the light emitting means which to obtain reflected light image acquisition means as a reflected light image as the evaluation value of the external light effect , for example, to use a mean luminance of several frames of the reflected light image, along with the test in all operating pattern that is prepared this evaluation, were not affected by the average brightness is small best (i.e. most external light ) by selecting the operation pattern, der those as in accordance with the change status of the external light selecting a gathering period of the first light receiving means and the second light receiving means the least affected under the change situation .
【0101】 [0101]
そのため、本システムを設置した環境下での外光の変動状況対応にその影響の最も低くなるような動作パターンでの反射光画像を得ることができようになる。 Therefore, so it is possible to obtain a reflected light image at the lowest becomes such an operation pattern of the variation of the outside light conditions corresponding to the influence of an environment where the system is installed.
その具体的効果について、以下説明する。 Its specific effects will be described below.
【0102】 [0102]
図8は外光(図の実線)の変動周期が緩やかな場合、図9は外光の変動周期が細かい場合の例を示している。 8 when the fluctuation period of the external light (solid line in the figure) is gradual, FIG. 9 shows an example of the fluctuation period of the external light is small. 図の横軸は時間、縦軸は受光面での光の強さであり、発光しているときは、その発光量に応じて出力曲線が上昇する(レベルが上昇する)。 The horizontal axis represents time in FIG., The vertical axis indicates the intensity of light on the light receiving surface, when that emits light, the output curve is (level increases) upward in response to the amount of light emission. 光の強さをある時間だけ積分したもの(図中に符号L1,L2を付して示す部分)は電荷の蓄積量に相当する。 The integral by the time that the intensity of light (indicated by a reference numeral L1, L2 in the drawing) corresponds to the amount of accumulated charge. ここで、L1は発光手段101の発光時における反射光画像獲得手段(反射光抽出手段)102の第2の受光手段110による電荷蓄積量であり、L2は発光手段101の非発光時における第1の受光手段109の受光出力の電荷蓄積量で、ともに電荷蓄積期間t1とした場合の例である。 Here, L1 is the amount of charge accumulation by the second light receiving means 110 of the reflected light image acquisition unit (reflected light extraction means) 102 at the time of light emission of the light emitting means 101, L2 is first in the non-light emission of the light emitting means 101 in the charge accumulation amount of received light output of the light receiving unit 109 of an example of a case in which both the charge accumulation period t1.
【0103】 [0103]
また、L 11 は発光手段101の発光時における反射光画像獲得手段(反射光抽出手段)102の第2の受光手段110による電荷蓄積量であり、L 12 は発光手段101の非発光時における第1の受光手段109の受光出力の電荷蓄積量で、ともに電荷蓄積期間t2とした場合の例である。 Further, L 11 is a charge storage amount of the second light receiving means 110 of the reflected light image acquisition unit (reflected light extraction means) 102 at the time of light emission of the light emitting means 101, L 12 is first in the non-light emission of the light emitting means 101 in the charge accumulation amount of the light-receiving output of the first light receiving means 109, an example in which both the charge accumulation period t2. ただし、t1はt2より十分小さいものとする。 However, t1 is assumed sufficiently than t2 small.
【0104】 [0104]
L1とL2の差、そして、L11 とL12 の差がそれぞれ反射光部分であると見なされる。 The difference between L1 and L2, and is considered the difference of L11 and L12 is reflected light portion respectively. 発光手段101の光源としては白熱球やLED (発光ダイオード)が使用されるが、近年ではLED が一般的である。 Although the light emitting means incandescent bulb or an LED as a 101 light source (light emitting diode) is used, in recent years LED is common. そして、一般に発光手段101として用いられるLED (発光ダイオード)は発光時間が短いほど瞬間的には強いパワーを出すことができるので、図8のグラフでも蓄積時間が短い方が、光の強さは大きく上昇している。 Since generally LED (light emitting diode) is used as the light emitting means 101 may issue a strong power instantaneously as emission time is short, shorter even storage time in the graph of FIG. 8, intensity of light It has been greatly increased.
【0105】 [0105]
ここで図8のように外光の変動が緩やかで大きい場合は、発光手段101の発光時間を短くすることにより、発光時、非発光時の外光変動の影響を小さくすることができ、これにより、反射光量を良好に検出できる(図8(a))。 Here, if a large gradual variation of the external light as shown in FIG. 8, by shortening the emission time of the light emitting unit 101, the light emitting time, it is possible to reduce the influence of the outside light fluctuation at the time of non-emission, which allows satisfactorily detected amount of reflected light (Fig. 8 (a)). 一方、発光手段101の発光時間を長くすると、その間に外光が大きく変動してしまい、発光時、非発光時の蓄積電荷の差の中に外光の変動が大きく含まれてしまい、精度良く反射光量が検出できない(図8(b))。 On the other hand, the longer the light emission time of the light emitting unit 101, fluctuates outside light is large during light emission time, variation of the outside light in the difference between the stored charge in the non-light emission will contain large, accurately reflected light can not be detected (Figure 8 (b)).
【0106】 [0106]
次に、図9に示すように外光の変動周期が短い場合(例えば、室内にあってその照明にインバータ蛍光灯などが使用されている時などでは、外光としてのこの蛍光灯は数10kHz 程度の周期で光量が変動する)、図9(a)のように発光手段101の発光時間を外光の変動周期と同程度に短くし、この発光期間内の分(t1)を電荷蓄積したとすると、もしも外光の変動周期と発光手段101からの発光パルスの位相にずれが生じることにより、外光の影響が大きく変わり、誤差分が著しいものとなって、反射光画像成分が良好に検出できない。 Then, when the short fluctuation period of the external light as shown in FIG. 9 (e.g., in the example, when an inverter fluorescent lamp to the lighting be in the room is being used, number of the fluorescent lamps as an external light 10kHz light intensity varies with a period of degree), shortening to the same extent as the fluctuation cycle of the external light emission time of the light emitting unit 101 as in FIG. 9 (a), and the charge accumulation minute (t1) in the light emission period When, by if the deviation in the phase of the emission pulse from the fluctuation period and the light emitting unit 101 of the external light occurs, the influence of the external light is changed greatly, so as error amount is significant, well reflected light image component can not be detected.
【0107】 [0107]
そこで、この場合、逆に発光手段101の発光時間を長くする。 Therefore, in this case, a longer light emission time of the light emitting unit 101 to reverse. つまり図9(b)ように発光時間の中に外光の変動周期がいくつも入るような長い時間t2とし、この発光期間内の分(t2)を電荷蓄積するようにする。 That FIG. 9 (b) as a long time t2 as the fluctuation period of the external light are a number falling within the emission time, the minute (t2) in the light emission period so that charge accumulation. このようにすると、外光の変動の影響が小さくなる。 In this way, the influence of the outside light fluctuation decreases.
【0108】 [0108]
外光の変動周期が短い場合、それよりももっと短い時間で発光手段101を発光させるようにするという方法もある。 When the variation period of the external light is short, there is a method that to cause the light emitting means 101 in a shorter time than that. しかし、一般的に、あまり短い時間で発光させようとすると回路の駆動周波数が上がり、高コストになり消費電力も上がる。 However, in general, raise the driving frequency of the circuit if an attempt is made to emit light at a very short time, power consumption is also increased in a high cost.
【0109】 [0109]
以上、本発明は外光のみにより対象物体の画像を得(第1の受光)、また、発光手段により光を発光して対象物にあて、その対象物体による反射光を画像として捉える(第2の受光)と共にその差成分を得て(反射光画像)、これより前記対象物体の画像を抽出する装置において、画像信号を取得する期間(電荷蓄積期間)をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、第1の受光と第2の受光を行い、両受光出力(画像出力)の差出力を、各動作パターンそれぞれで得て、その差分像(反射光画像)が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードによる動作(上記外光 Above, the present invention is to obtain a picture of the object only by the outside light (the first light receiving), also addressed to the object by emitting light by the light emitting means, capture light reflected by the target object as an image (a second pattern of light) together to obtain the difference component (reflected light image), the apparatus for extracting an image of the target object than this, a plurality of types having different period (charge accumulation period) each for obtaining an image signal operation was prepared, also in the absence of illumination by the light emitting means provided optimum operation pattern selection mode, performing a first light receiving and second receiving the difference output of the two light-receiving output (image output), the operation pattern obtained respectively, and select the operation pattern the difference image (reflected light image) is in the darkest image as an optimum operation pattern without influence of external light, in the pattern operation in the normal operation mode (the outer light みによる第1の受光と、発光手段による発光を行って得た第2の受光動作)を実施させるようにしたものである。 The first light receiving by themselves, in which the second light-receiving operation) obtained by performing light emission by the light emitting means and so as to be implemented.
【0110】 [0110]
本具体例では、最適動作パターン選択モードを設け、このモード中に自動的に複数のパターンを試し、最適なものを自動的に決定する。 In this specific example, it provided an optimum operation pattern selection mode, try automatically plurality of patterns in this mode, to automatically determine the optimum. しかし、これにとどまらず、単に切り替えボタンがついており、操作者がこれを押すことで動作パターンを選べる用にしても良い。 However, not only in this, simply is equipped with a switch button, it may be in use to choose the behavior pattern by the operator presses this. このようにすると、複雑な処理がないため、低コスト化できる。 In this way, because there is no complex processing, it can lower costs. この場合は、反射光画像を画面上に表示し、操作者が画面の反射光画像を見ながらノイズが少ないモードを選べるようにすると良い。 In this case, the reflected light image displayed on the screen, the operator may be to choose the less noise mode while viewing the reflected light image of the screen. 本発明はこのように、自動的に動作パターンを選択しない場合も包含する。 The present invention also encompasses this way, when not selected automatically operating pattern.
【0111】 [0111]
これにより、外光に変化のある場合にも、精度の良い反射光画像を得ることができ、従って、対象物体の画像のみを精度良く抽出することができるようになる。 Accordingly, even when the external light a change, it is possible to obtain a good reflection light image precision, therefore only the image of the target object to be able to accurately extract.
【0112】 [0112]
対象物体の画像を画像信号から抽出することができるようになると、この抽出画像からその形状、動き、距離情報などを取得することができる。 If it is possible to extract an image of the target object from the image signal, it is possible to acquire the shape, motion, distance information from the extracted image. 例えば、物体が存在している場所からの反射光はある程度の値を持ち、遠い背景からの反射光はほとんど無いため、反射光の画像をしきい値で分けることにより、物体の形状を抽出することが出来る。 For example, has a certain value is reflected from where the object is present, since the reflected light from the distant background little, by dividing the image of the reflected light at the threshold, extracts the shape of the object it can be. またその形状から様々な特徴量を抽出することが出来る。 Also it is possible to extract various features from its shape. 形状の時間的連なりを解析することで、物体の動きや変形などを捉えることが出来る。 By analyzing the temporal sequence of shape, it can be understood and objects movement or deformation. また物体の凹凸を反射光量の違いとして捉えられるため、対象物体の立体構造を得ることも出来る。 Further, since the captured irregularities of an object as a difference in reflected light quantity, it is possible to obtain a three-dimensional structure of the target object.
【0113】 [0113]
従って、このような情報から3次元の操作入力や、3次元の指示操作などを容易に行うことができるようになるが、このような技術を、本発明は強力にバックアップすることができるようになる。 Thus, three-dimensional operation input and from such information, although it is possible to easily perform such three-dimensional instruction operation, such a technique, the present invention is to be able to strongly backed Become.
【0114】 [0114]
なお、本発明は上述した具体例に限定されることなく、種々変形して実施し得る。 The present invention is not limited to the specific examples described above may be modified in various ways. なお、本発明ではその具体例中で、たびたび2枚の画像の差分という言葉が使われた。 In the present invention in its embodiment, was used the word difference often two images. これは概念的な意味合いが強く、必ずしも2枚の画像が存在することを意味するものではない。 This has a strong conceptual implications, it does not necessarily mean that the two images are present. 一般的な構成として、単位受光セルに第1と第2の電荷蓄積部があり、全てのセルの第1の電荷蓄積部の電荷量を用いて1枚の画像がつくれ、全てのセルの第2の電荷蓄積部の電荷量を用いて第2の画像が得られる。 As a general configuration, there are first and second charge accumulation portions in the unit receiving cells, make the one image by using a charge amount of the first charge accumulation portion of all the cells of all the cells the second image using a charge amount of the charge storage part 2 is obtained. このような意味で“2枚の画像”であるが、実際には受光手段の出力時に各セル毎に2つの電荷蓄積部の差を出力するため、外部には2枚の画像は取り出されない。 Such a sense "2 images", because in practice that outputs the difference between the two charge storage portions for each cell in the output of the light receiving means, the two images to the outside is not taken . 従って、本具体例中で“2枚の画像”というとき、必ずしも目にみえる2枚の画像が出力されることを意味しない。 Thus, the term in this example "2 images" does not necessarily mean that the two images visible is output.
【0115】 [0115]
また、1フレーム当たりの発光回数は1回とは限らない。 In addition, the light-emitting number of times per frame is not limited to one times. 例えば、発光しながら第1の電荷蓄積部119へ電荷蓄積し、発光しないで第2の電荷蓄積部120へ電荷蓄積する、という動作を10回繰り返す、というようなこともできる。 For example, the first charge accumulation and the charge accumulating portion 119 while emitting and the charge accumulated in the second charge accumulation portion 120 without emission, repeated 10 times an operation that, it is also possible as referred to. 更に図10(a)に示すように、差分回路defと第3の電荷蓄積部Ccgを更に持ち、発光手段を発光させて、このとき、光電変換部118のとらえた画像の電気信号に基づく電荷を第1の電荷蓄積部119に蓄積し、次に発光手段の発光なしの状態として、このとき、光電変換部118のとらえた画像の電気信号に基づく電荷を第2の電荷蓄積部120に蓄積し、これら両電荷蓄積部119,120の蓄積電荷の差分を、差分回路defで得てこの得た差分の電荷を第3の電荷蓄積部Ccgに転送する、そして、第1及び第2の電荷蓄積部119,120をリセットするという動作を繰り返す構成とすることもできる(図10(b)参照)。 As further shown in FIG. 10 (a), further having a differential circuit def and the third charge accumulation section Ccg, the light emitting means to emit light, this time, electric charge based on the electric signal captured images of the photoelectric conversion unit 118 was accumulated in the first charge accumulation portion 119, as the state of no light emission of the next light emitting means, accumulating this time, a charge based on the electric signal captured images of the photoelectric conversion unit 118 to the second charge accumulation portion 120 and, the difference between the accumulated charge of both the charge storage unit 119 and 120 are obtained in the difference circuit def transferring charges of the resulting difference to the third charge accumulation section Ccg, and, first and second charge It can be configured to repeat the operation of resetting the accumulation unit 119 and 120 (see Figure 10 (b)).
こうなると、各セル内にも差分しかなく、もはや2枚の画像はないといえる。 When this happens, there is only a difference also in each cell, no longer two images can be said that there is no. 以上のような場合も含め、2枚の画像の差分をとるのと同様の効果を持つ、反射画像の獲得装置・方法全てについて、本発明は有効である。 Including the cases above, have the same effect as taking the difference between two images, the capturing device, the method all reflection image, the present invention is effective.
【0116】 [0116]
【発明の効果】 【Effect of the invention】
以上、詳述したように、本発明によれば、外光の影響を抑制できて、特定の対象物体を容易に高精度に抽出することができるようになり、特定対象物体の形状、動き、距離情報などを得るにあたり、その元となる特定の対象物体を画像中から抽出することができるようなる画像入力装置および画像入力方法を提供できる。 As described above in detail, according to the present invention, it is possible to suppress the influence of external light, it becomes possible to extract easily accurate specific object, the shape of the specific object, motion, Upon obtaining such distance information, it is possible to provide an image input apparatus and image input method Naru can extract a specific object to be its original from the image.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明を適用する対象の一具体例の全体構成を示すブロック図。 Block diagram illustrating the overall configuration of one embodiment of the subject of applying the invention; FIG.
【図2】図1の装置のより具体的な構成例を示す図。 [2] Figure showing a more specific configuration example of the apparatus of FIG.
【図3】図1の装置における反射光抽出手段102の構成例の詳細図。 [3] Detailed diagram of a configuration example of a reflected light extraction unit 102 in the apparatus of FIG.
【図4】図3に示す反射光抽出手段の一画素分の単位受光セルPDの概略構成を示す図。 4 is a diagram showing a schematic configuration of a unit light receiving cell PD of one pixel of the reflected light extraction means shown in FIG.
【図5】図3,図4の回路中の受光部におけるゲートなどの制御信号と発光制御信号、および光の強さの時間的変化を示す図。 [5] FIGS. 3, showing a control signal and the emission control signal, and the temporal change of the intensity of light, such as the gate in the photodetecting section in the circuit of Figure 4.
【図6】本発明の具体例を示すブロック図。 Block diagram showing a specific example of the present invention; FIG.
【図7】本発明の動作例を示すフローチャート。 Flowchart showing an operation example of the present invention; FIG.
【図8】本発明の動作例を説明するための図であって、外光(図の実線)の変動周期が緩やかな場合の例を示した図。 [8] A diagram for explaining an operation example of the present invention, the fluctuation period of the external light (solid line in the drawing) shows an example of a case where loose FIG.
【図9】本発明の動作例を説明するための図であって、外光(図の実線)の変動周期が細かい場合の例を示した図。 [9] A diagram for explaining an operation example of the present invention, an example of a case where the fluctuation period of the external light (solid line in the figure) fine FIG.
【図10】本発明の別の例を説明するための図。 Diagram for explaining another example of the present invention; FIG.
【図11】従来例を説明するための図であって、従来の3次元ポインティングデバイスの一例を示す図。 [Figure 11] A diagram for explaining a conventional example, shows an example of a conventional three-dimensional pointing device.
【符号の説明】 DESCRIPTION OF SYMBOLS
101…発光手段102…は反射光画像獲得手段(反射光抽出手段) 101 ... light-emitting unit 102 ... reflected light image acquisition unit (reflected light extracting means)
103…特徴情報生成手段104…受発光制御信号生成手段(タイミング信号生成手段) 103 ... feature information generating unit 104 ... light receiving and emitting control signal generating means (timing signal generating means)
201…外光の影響を評価する評価手段202…受発光パターン選択・決定部。 201 ... Evaluate the influence of external light means 202 ... light receiving and emitting pattern selection and determination unit.

Claims (5)

  1. 対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、 Light emitting means for irradiating illumination light to the object, said and a light receiving means for obtaining an image of the target object, by said light emitting means and light receiving means to operate synchronously, reflected by the target object illumination light in the image input apparatus for acquiring light only as an image,
    前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、 While suppressing the radiation of the light emitting means and reflected-light image obtaining means for obtaining a reflected light image in accordance with a plurality of operation patterns in advance with the light emitting means and light receiving means,
    前記複数の動作パターンのうち、1動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、 Among the plurality of operation patterns, the selection and decision means for luminance value of the reflected light image per operation patterns to select the smallest movement pattern as an optimum operation pattern,
    を具備することを特徴とする画像入力装置。 An image input apparatus characterized by comprising a.
  2. 対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、 Light emitting means for irradiating illumination light to the object, said and a light receiving means for obtaining an image of the target object, by said light emitting means and light receiving means to operate synchronously, reflected by the target object illumination light in the image input apparatus for acquiring light only as an image,
    前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、 While suppressing the radiation of the light emitting means and reflected-light image obtaining means for obtaining a reflected light image in accordance with a plurality of operation patterns in advance with the light emitting means and light receiving means,
    前記複数の動作パターンのうち、1動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、 Among the plurality of operation patterns, the selection and decision means for luminance value of the reflected light image per operation patterns to select the smallest movement pattern as an optimum operation pattern,
    前記選択された最適な動作パターンに従い、前記発光手段と前記受光手段の動作を制御する受発光制御手段と、 According optimal operation pattern said selected light receiving and emitting control means for controlling the operation of said receiving means and said light emitting means,
    を具備することを特徴とする画像入力装置。 An image input apparatus characterized by comprising a.
  3. 前記選択・決定手段は、1動作パターン当たりの反射光画像を得る動作を複数回繰り返した平均値を用いて最適な動作パターンを選択することを特徴とする請求項1または請求項2記載の画像入力装置。 The selection and determination means according to claim 1 or claim 2, wherein the image and selects an optimum operation pattern using the average value is repeated a plurality of times an operation of obtaining a reflected light image per operation pattern input device.
  4. 前記複数の動作パターンは、反射光画像を取得する期間をそれぞれ異ならせた動作パターンであることを特徴とする請求項1または請求項2記載の画像入力装置。 Wherein the plurality of operation patterns, the image input device according to claim 1 or claim 2, wherein the period to acquire the reflected light image is an operation pattern having different respectively.
  5. 対象物体に照明光を照射し、前記対象物体の画像を得るために受光し、前記照射と受光が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力方法において、 Irradiating illumination light to the object, the received in order to obtain an image of the target object, by the irradiation with light to operate synchronously, the image input to get only the light reflected by the target object of the illumination light as an image in the method,
    前記照射を抑止すると共に、予め備えた照射と受光との複数の動作パターンに応じて反射光画像を取得し、 While suppressing the irradiation, the reflected light image acquired in accordance with a plurality of operation patterns of the light receiving and irradiating with advance,
    前記複数の動作パターンのうち、1動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択することを特徴とする画像入力方法。 Wherein among the plurality of operation patterns, the image input method, wherein a luminance value of the reflected light image per operation patterns to select the smallest movement pattern as an optimum operation pattern.
JP02775297A 1997-02-12 1997-02-12 An image input device and image input method Expired - Fee Related JP3625349B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02775297A JP3625349B2 (en) 1997-02-12 1997-02-12 An image input device and image input method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP02775297A JP3625349B2 (en) 1997-02-12 1997-02-12 An image input device and image input method
US08/953,667 US6144366A (en) 1996-10-18 1997-10-17 Method and apparatus for generating information input using reflected light image of target object
EP97118057A EP0837418A3 (en) 1996-10-18 1997-10-17 Method and apparatus for generating information input using reflected light image of target object
KR1019970054280A KR100298240B1 (en) 1996-10-18 1997-10-18 The information input apparatus, the information input method and a solid-state imaging device

Publications (2)

Publication Number Publication Date
JPH10222646A JPH10222646A (en) 1998-08-21
JP3625349B2 true JP3625349B2 (en) 2005-03-02

Family

ID=12229763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02775297A Expired - Fee Related JP3625349B2 (en) 1997-02-12 1997-02-12 An image input device and image input method

Country Status (1)

Country Link
JP (1) JP3625349B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2329287A1 (en) * 2000-01-21 2001-07-21 Symagery Microsystems Inc. Host interface for imaging arrays
US7692625B2 (en) * 2000-07-05 2010-04-06 Smart Technologies Ulc Camera-based touch system
JP2002229728A (en) * 2001-02-02 2002-08-16 Newcom:Kk Position detector with cmos linear image sensor
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
JP5244677B2 (en) * 2009-04-03 2013-07-24 株式会社日立ハイテクノロジーズ Trolley wire wear amount detection optical system and trolley wire wear amount measuring device
JP5505693B2 (en) * 2009-11-04 2014-05-28 ソニー株式会社 Detecting device, detecting method, program, and electronic device
JP2012068762A (en) * 2010-09-21 2012-04-05 Sony Corp Detection device, detection method, program, and electronic apparatus
JP6379646B2 (en) * 2014-05-09 2018-08-29 株式会社リコー Information processing apparatus, measurement method, and program

Also Published As

Publication number Publication date
JPH10222646A (en) 1998-08-21

Similar Documents

Publication Publication Date Title
JP3994672B2 (en) Detection of indicated position using image processing
US7956862B2 (en) Determining camera motion
KR100996094B1 (en) Imaging data processing method, imaging data processing device, and recording media recording computer program thereof
JP5317206B2 (en) Method and system for 3D model acquisition
KR100274999B1 (en) Human face tracking system
US6141434A (en) Technique for processing images
CN1316814C (en) System and method to increase effective dynamic range of image sensors
KR20110053348A (en) System and method to generate depth data using edge detection
US8189057B2 (en) Camera exposure optimization techniques that take camera and scene motion into account
JP2006031275A (en) Coordinate inputting device and its control method
US5459793A (en) Motion analysis system
CA2812433C (en) Integrated low power depth camera and projection device
US8699829B2 (en) Hand held portable three dimensional scanner
CN1310499C (en) Image pick-up apparatus, fingerprint certification apparatus and image pick-up method
EP1456806B1 (en) Device and method for calculating a location on a display
DE10241392B4 (en) Apparatus and method for detecting a three-dimensional relative movement
CN106156679B (en) The automatic explosion method of successive video frames is used under controlled lighting conditions
US6414672B2 (en) Information input apparatus
EP0951697B1 (en) Method and system for motion analysis
US20060148563A1 (en) Gaming peripheral apparatus for a gaming computing device
EP1037163A2 (en) Coordinate input apparatus and method
JP2009104297A (en) Operation input device
US6110039A (en) Shooting game machine
US10104303B2 (en) Illumination systems and methods for computer imagers
US7697836B2 (en) Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041129

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081210

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees