JP5138119B2 - 物体検出装置および情報取得装置 - Google Patents

物体検出装置および情報取得装置 Download PDF

Info

Publication number
JP5138119B2
JP5138119B2 JP2012531172A JP2012531172A JP5138119B2 JP 5138119 B2 JP5138119 B2 JP 5138119B2 JP 2012531172 A JP2012531172 A JP 2012531172A JP 2012531172 A JP2012531172 A JP 2012531172A JP 5138119 B2 JP5138119 B2 JP 5138119B2
Authority
JP
Japan
Prior art keywords
area
correction
pixel
light
information acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012531172A
Other languages
English (en)
Other versions
JPWO2012147496A1 (ja
Inventor
山口  淳
裕之 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2012531172A priority Critical patent/JP5138119B2/ja
Application granted granted Critical
Publication of JP5138119B2 publication Critical patent/JP5138119B2/ja
Publication of JPWO2012147496A1 publication Critical patent/JPWO2012147496A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/20Detecting, e.g. by using light barriers using multiple transmitters or receivers
    • G01V8/22Detecting, e.g. by using light barriers using multiple transmitters or receivers using reflectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Description

本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置および当該物体検出装置に用いて好適な情報取得装置に関する。
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やLED(Light Emitting Diode)から、予め決められた波長帯域の光が目標領域に投射され、その反射光がCMOSイメージセンサ等の受光素子により受光される。距離画像センサとして、種々のタイプのものが知られている。
所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、目標領域から反射されたドットパターンをイメージセンサで受光し、イメージセンサ上におけるドットパターンの受光位置に基づいて、三角測量法を用いて、検出対象物体の各部までの距離が検出される(たとえば、非特許文献1)。
この方式では、たとえば、レーザ光の照射部から所定の距離の位置に反射平面が配置された状態で、ドットパターンを持つレーザ光が出射され、そのときにイメージセンサ上に照射されたレーザ光のドットパターンがテンプレートとして保持される。そして、実測時にイメージセンサ上に照射されたレーザ光のドットパターンとテンプレートに保持されたドットパターンとが照合され、テンプレート上のドットパターンのセグメント領域が実測時のドットパターン上のどの位置に移動したかが検出される。この移動量に基づいて、各セグメント領域に対応する目標領域の各部までの距離が算出される。
第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280
上記構成の物体検出装置では、実測時に、ドットパターン以外の光(たとえば、室内照明や太陽光など)が、イメージセンサに入射することが起こり得る。この場合、イメージセンサの出力に、ドットパターン以外の光が背景光として重畳され、テンプレートに保持されたドットパターンとの照合を適正に行えず、検出対象物体の各部までの距離の検出精度が劣化するとの問題が生じる。
本発明は、このような問題を解消するためになされたものであり、背景光が入射した場合においても、目標領域の情報を精度よく取得できる情報取得装置およびこれを搭載する物体検出装置を提供することを目的とする。
本発明の第1の態様は、光を用いて目標領域の情報を取得する情報取得装置に関する。本態様に係る情報取得装置は、前記目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、前記投射光学系に対して所定の距離だけ離れて並ぶように配置され、前記目標領域を撮像する撮像素子を有する受光光学系と、実測時に前記撮像素子によって前記目標領域を撮像したときの撮像画像を複数の補正領域に区分し、前記補正領域内の各画素の画素値のうち最小の画素値によって当該補正領域内の画素の画素値を補正して補正画像を生成する補正部と、前記補正部によって生成された補正画像に基づいて、前記目標領域に存在する物体の3次元情報を取得する情報取得部と、を備える。
本発明の第2の態様は、物体検出装置に関する。本態様に係る物体検出装置は、上記第1の態様に係る情報取得装置を有する。
本発明によれば、背景光が入射した場合においても、目標領域の情報を精度よく取得できる情報取得装置およびこれを搭載する物体検出装置を提供することができる。
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
実施の形態に係る物体検出装置の構成を示す図である。 実施の形態に係る情報取得装置と情報処理装置の構成を示す図である。 実施の形態に係る目標領域に対するレーザ光の照射状態とイメージセンサ上のレーザ光の受光状態を示す図である。 実施の形態に係る基準テンプレートの設定方法を説明する図である。 実施の形態に係る距離検出方法を説明する図である。 実施の形態に係る背景光が入射したときの撮像画像およびマッチング結果を示す図である。 実施の形態に係る撮像画像の補正処理を示すフローチャートである。 実施の形態に係る撮像画像の補正処理を示す図である。 変更例に係る補正領域の分割例を示す図である。 実施の形態に係る撮像画像の補正後の画像およびマッチング結果を示す図である。
以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態には、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置が例示されている。
まず、図1に本実施の形態に係る物体検出装置の概略構成を示す。図示の如く、物体検出装置は、情報取得装置1と、情報処理装置2とを備えている。テレビ3は、情報処理装置2からの信号によって制御される。
情報取得装置1は、目標領域全体に赤外光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域にある物体各部の距離(以下、「3次元距離情報」という)を取得する。取得された3次元距離情報は、ケーブル4を介して情報処理装置2に送られる。
情報処理装置2は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置2は、情報取得装置1から受信した3次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ3を制御する。
たとえば、情報処理装置2は、受信した3次元距離情報に基づき人を検出するとともに、3次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置2がテレビ制御用のコントローラである場合、情報処理装置2には、受信した3次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ3に制御信号を出力するアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定のジェスチャをすることにより、チャンネル切り替えやボリュームのUp/Down等、所定の機能をテレビ3に実行させることができる。
また、たとえば、情報処理装置2がゲーム機である場合、情報処理装置2には、受信した3次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定の動きをすることにより、自身がテレビ画面上のキャラクタとしてゲームの対戦を行う臨場感を味わうことができる。
図2は、情報取得装置1と情報処理装置2の構成を示す図である。
情報取得装置1は、光学系として、投射光学系11と受光光学系12とを備えている。投射光学系11と受光光学系12は、X軸方向に並ぶように、情報取得装置1に配置される。
投射光学系11は、レーザ光源111と、コリメータレンズ112と、アパーチャ113と、回折光学素子(DOE:Diffractive Optical Element)114とを備えている。また、受光光学系12は、フィルタ121と、アパーチャ122と、撮像レンズ123と、CMOSイメージセンサ124とを備えている。この他、情報取得装置1は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、撮像信号処理回路23と、入出力回路24と、メモリ25を備えている。
レーザ光源111は、波長830nm程度の狭波長帯域のレーザ光を出力する。コリメータレンズ112は、レーザ光源111から出射されたレーザ光を平行光から僅かに広がった光(以下、単に「平行光」という)に変換する。アパーチャ113は、レーザ光の光束断面を所定の形状に調整する。
DOE114は、入射面に回折パターンを有する。この回折パターンによる回折作用により、DOE114に入射したレーザ光は、ドットパターンのレーザ光に変換されて、目標領域に照射される。回折パターンは、たとえば、ステップ型の回折ホログラムが所定のパターンで形成された構造とされる。回折ホログラムは、コリメータレンズ112により平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。
DOE114は、コリメータレンズ112から入射されたレーザ光を、放射状に広がる略3万個のドットパターンのレーザ光として、目標領域に照射する。ドットパターンの各ドットの大きさは、DOE114に入射する際のレーザ光のビームサイズに応じたものとなる。DOE114にて回折されないレーザ光(0次光)は、DOE114を透過してそのまま直進する。
目標領域から反射されたレーザ光は、フィルタ121とアパーチャ122を介して撮像レンズ123に入射する。
フィルタ121は、レーザ光源111の出射波長(830nm程度)を含む波長帯域の光を透過し、可視光の波長帯域をカットするバンドパスフィルタである。フィルタ121は、830nm近傍の波長帯域のみを透過する狭帯域のフィルタではなく、830nmを含む比較的広い波長帯域の光を透過させる安価なフィルタからなっている。
アパーチャ122は、撮像レンズ123のFナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ123は、アパーチャ122を介して入射された光をCMOSイメージセンサ124上に集光する。
CMOSイメージセンサ124は、撮像レンズ123にて集光された光を受光して、画素毎に、受光量に応じた信号(電荷)を撮像信号処理回路23に出力する。ここで、CMOSイメージセンサ124は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路23に出力できるよう、信号の出力速度が高速化されている。CMOSイメージセンサ124の解像度は、VGA(Video Graphics Array)に対応しており、有効画素数は640×480画素である。
CPU21は、メモリ25に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、レーザ光源111を制御するためのレーザ制御部21aと、撮像信号処理回路23によって得られた撮像画像から背景光を除去する撮像画像補正部21bと、3次元距離情報を生成するための距離演算部21cの機能が付与される。
レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源111を駆動する。撮像信号処理回路23は、CMOSイメージセンサ124を制御して、CMOSイメージセンサ124で生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に出力する。CPU21は、撮像信号処理回路23から供給される信号(撮像信号)をもとに、背景光を除去した補正画像を、撮像画像補正部21bによる処理によって生成する。その後、補正画像をもとに、情報取得装置1から検出対象物の各部までの距離を、距離演算部21cによる処理によって算出する。入出力回路24は、情報処理装置2とのデータ通信を制御する。
情報処理装置2は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置2には、同図に示す構成の他、テレビ3との通信を行うための構成や、CD−ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
CPU31は、メモリ33に格納された制御プログラム(アプリケーションプログラム)に従って各部を制御する。かかる制御プログラムによって、CPU31には、画像中の物体を検出するための物体検出部31aの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってCD−ROMから読み取られ、メモリ33にインストールされる。
たとえば、制御プログラムがゲームプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動きを検出する。そして、検出された動きに応じてテレビ画面上のキャラクタを動作させるための処理が制御プログラムにより実行される。
また、制御プログラムがテレビ3の機能を制御するためのプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動き(ジェスチャ)を検出する。そして、検出された動き(ジェスチャ)に応じて、テレビ3の機能(チャンネル切り替えやボリューム調整、等)を制御するための処理が制御プログラムにより実行される。
入出力回路32は、情報取得装置1とのデータ通信を制御する。
図3(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図、図3(b)は、CMOSイメージセンサ124におけるレーザ光の受光状態を模式的に示す図である。なお、同図(b)には、便宜上、目標領域に平坦な面(スクリーン)が存在するときの受光状態が示されている。
投射光学系11からは、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)が、目標領域に照射される。同図(a)には、DP光の光束領域が実線の枠によって示されている。DP光の光束中には、DOE114による回折作用によってレーザ光の強度が高められたドット領域(以下、単に「ドット」という)が、DOE114による回折作用によるドットパターンに従って点在している。
なお、図3(a)では、便宜上、DP光の光束が、マトリックス状に並ぶ複数のセグメント領域に区分されている。各セグメント領域には、ドットが固有のパターンで点在している。一つのセグメント領域におけるドットの点在パターンは、他の全てのセグメント領域におけるドットの点在パターンと相違する。これにより、各セグメント領域は、ドットの点在パターンをもって、他の全てのセグメント領域から区別可能となっている。
目標領域に平坦な面(スクリーン)が存在すると、これにより反射されたDP光の各セグメント領域は、同図(b)のように、CMOSイメージセンサ124上においてマトリックス状に分布する。たとえば、同図(a)に示す目標領域上におけるセグメント領域S0の光は、CMOSイメージセンサ124上では、同図(b)に示すセグメント領域Spに入射する。なお、図3(b)においても、DP光の光束領域が実線の枠によって示され、便宜上、DP光の光束が、マトリックス状に並ぶ複数のセグメント領域に区分されている。
上記距離演算部21cでは、CMOSイメージセンサ124上における各セグメント領域の位置が検出され、検出された各セグメント領域の位置から、三角測量法に基づいて、検出対象物体の各セグメント領域に対応する位置までの距離が検出される。かかる検出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280)に示されている。
図4は、上記距離検出に用いられる基準テンプレートの生成方法を模式的に示す図である。
図4(a)に示すように、基準テンプレートの生成時には、投射光学系11から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置される。この状態で、投射光学系11からDP光が所定時間Teだけ出射される。出射されたDP光は、反射平面RSによって反射され、受光光学系12のCMOSイメージセンサ124に入射する。これにより、CMOSイメージセンサ124から、画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)が、図2のメモリ25上に展開される。なお、以下では、便宜上、メモリ25に展開された画素値に代えて、CMOSイメージセンサ124上に照射されたDP光の照射状態をもとに説明を行う。
こうしてメモリ25上に展開された画素値に基づいて、図4(b)に示すように、CMOSイメージセンサ124上におけるDP光の照射領域を規定する基準パターン領域が設定される。さらに、この基準パターン領域が、縦横に区分されてセグメント領域が設定される。上記のように、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域の画素値のパターンは、セグメント領域毎に異なっている。なお、各セグメント領域は、他の全てのセグメント領域と同じサイズである。
基準テンプレートは、このようにCMOSイメージセンサ124上に設定された各セグメント領域に、そのセグメント領域に含まれる各画素の画素値を対応付けて構成される。
具体的には、基準テンプレートは、CMOSイメージセンサ124上における基準パターン領域の位置に関する情報と、基準パターン領域に含まれる全画素の画素値と、基準パターン領域をセグメント領域に分割するための情報を含んでいる。基準パターン領域に含まれる全画素の画素値は、基準パターン領域に含まれるDP光のドットパターンに相応するものになる。また、基準パターン領域に含まれる全画素の画素値のマッピング領域をセグメント領域に区分することで、各セグメント領域に含まれる画素の画素値が取得される。なお、基準テンプレートは、さらに、各セグメント領域に含まれる画素の画素値を、セグメント領域毎に保持していても良い。
こうして構成された基準テンプレートは、図2のメモリ25に、消去不可能な状態で保持される。メモリ25に保持された基準テンプレートは、投射光学系11から検出対象物体の各部までの距離を算出する際に参照される。
たとえば、図4(a)に示すように距離Lsよりも近い位置に物体がある場合、基準パターン上の所定のセグメント領域Snに対応するDP光(DPn)は、物体によって反射され、セグメント領域Snとは異なる領域Sn’に入射する。投射光学系11と受光光学系12はX軸方向に隣り合っているため、セグメント領域Snに対する領域Sn’の変位方向はX軸に平行となる。同図の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、セグメント領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、セグメント領域Snに対してX軸負方向に変位する。
セグメント領域Snに対する領域Sn’の変位方向と変位量をもとに、投射光学系11からDP光(DPn)が照射された物体の部分までの距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系11からの距離が算出される。
かかる距離算出では、基準テンプレートのセグメント領域Snが、実測時においてどの位置に変位したかを検出する必要がある。この検出は、実測時にCMOSイメージセンサ124上に照射されたDP光のドットパターンと、セグメント領域Snに含まれるドットパターンとを照合することによって行われる。
図5は、かかる検出の手法を説明する図である。同図(a)は、CMOSイメージセンサ124上における基準パターン領域の設定状態を示す図、同図(b)は、実測時におけるセグメント領域の探索方法を示す図、同図(c)は、実測されたDP光のドットパターンと、基準テンプレートのセグメント領域に含まれるドットパターンとの照合方法を示す図である。なお、ここでは、セグメント領域が、縦9画素×横9画素で構成されている。
たとえば、同図(a)のセグメント領域S1の実測時における変位位置を探索する場合、同図(b)に示すように、セグメント領域S1が、範囲P1〜P2において、X軸方向に1画素ずつ送られ、各送り位置において、セグメント領域S1のドットパターンと、実測されたDP光のドットパターンのマッチング度合いが求められる。この場合、セグメント領域S1は、基準パターン領域の最上段のセグメント領域群を通るラインL1上のみをX軸方向に送られる。これは、上記のように、通常、各セグメント領域は、実測時において、基準パターン領域上の位置からX軸方向にのみ変位するためである。すなわち、セグメント領域S1は、最上段のラインL1上にあると考えられるためである。このように、X軸方向にのみ探索を行うことで、探索のための処理負担が軽減される。
なお、実測時には、検出対象物体の位置によっては、セグメント領域が基準パターン領域の範囲からX軸方向にはみ出すことが起こり得る。このため、範囲P1〜P2は、基準パターン領域のX軸方向の幅よりも広く設定される。
上記マッチング度合いの検出時には、ラインL1上に、セグメント領域S1と同じサイズの領域(比較領域)が設定され、この比較領域とセグメント領域S1との間の類似度が求められる。すなわち、セグメント領域S1の各画素の画素値と、比較領域の対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Rsadが、類似度を示す値として取得される。
たとえば、図5(c)のように、一つのセグメント領域中に、m列×n行の画素が含まれている場合、セグメント領域のi列、j行の画素の画素値T(i,j)と、比較領域のi列、j行の画素の画素値I(i,j)との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、値Rsadが求められる。すなわち、値Rsadは、次式により算出される。
値Rsadが小さい程、セグメント領域と比較領域との間の類似度が高い。
探索時には、比較領域が、ラインL1上を1画素ずつずらされつつ順次設定される。そして、ラインL1上の全ての比較領域について、値Rsadが求められる。求めた値Rsadの中から、閾値より小さいものが抽出される。閾値より小さい値Rsadが無ければ、セグメント領域S1の探索はエラーとされる。そして、抽出されたRsadの中で最も値が小さいものに対応する比較領域が、セグメント領域S1の移動領域であると判定される。ラインL1上のセグメント領域S1以外のセグメント領域も、上記と同様の探索が行われる。また、他のライン上のセグメント領域も、上記と同様、そのライン上に比較領域が設定されて、探索が行われる。
こうして、実測時に取得されたDP光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物体の部位までの距離が求められる。
かかる距離検出では、CMOSイメージセンサ124上におけるDP光(各ドット位置の光)の分布状態を正確に検出する必要がある。しかしながら、実測時に、DP光以外の光、たとえば、室内照明や太陽光などが、CMOSイメージセンサ124に入射することが起こり得る。この場合、ドットパターン以外の光が背景光としてCMOSイメージセンサ124の撮像画像に写り込み、これにより、DP光の分布状態を正確に検出できないことが起こり得る。
図6は、背景光がCMOSイメージセンサ124に入射したときの距離の測定例を示す図である。
同図(a)は、ドットパターン以外の光が背景光として写り込んだ撮像画像を示す図である。図中、白に近いほど輝度(画素値)が高く、黒に近いほど輝度が低い。撮像画像中央の黒い物体は、黒い試験紙片の画像である。目標領域には、黒い試験紙片以外、物体が存在していない。黒い試験紙片の背後の所定の距離の位置には、平坦なスクリーンが配置されている。
同図(a)中には、背景光により認識できなくなっている領域も含め、略3万個のドットが微小な白い点で示されている。図中左中央部分は、非常に明るい背景光が入射しており、円状に白くなっている。この領域は、CMOSイメージセンサ124が飽和しており(画素の輝度が最大)、ドットによる微小な白い点が認識できなくなっている。また、本画像は、入射した背景光の中心から遠ざかるにつれて、背景光の強度が弱くなっており、徐々に黒が濃くなっている。
同図(b)は、同図(a)に示した撮像画像中の破線で囲ったMaの領域における比較領域の例を模式的に示す図である。同図(b)中、1マスが撮像画像中の1画素を示し、また、黒い丸がDP光のドットを示す。マスの色が濃いほど、背景光の強度が大きい。なお、各比較領域とマッチングされる基準テンプレートのセグメント領域は、あらかじめ、同図(a)の背景光がない状態でドットパターンのみが撮像されたものである。
同図(b)中、比較領域Taは、同図(a)のMa領域中、左端の背景光が強く入射している部分の一領域を示している。
比較領域Taには、背景光が強く入射しており、ドットが入射する位置を含め、全ての画素の輝度値が高くなっている。したがって、比較領域Taは、基準テンプレートのセグメント領域との差分の総和Rsadが非常に大きいものとなり、正確なマッチング判定が期待できない。
比較領域Tbは、同図(a)のMa領域中、背景光が徐々に暗くなっている部分の一領域を示している。
比較領域Tbには、背景光の強度が強い領域と弱い領域が含まれている。この場合、背景光が強い領域の画素の輝度が高く、背景光が弱い領域の画素の輝度は低い。この場合においても、比較領域Tbは、基準テンプレートのセグメント領域との差分の総和Rsadが非常に大きいものとなり、正確なマッチング判定が期待できない。
比較領域Tcは、同図(a)のMa領域中、強度の弱い背景光が一様に入射している部分の一領域を示している。
比較領域Tcには、強度の弱い背景光が一様に入射しているため、全ての画素において輝度が若干上げられる。比較領域Tcの場合、基準テンプレートのセグメント領域との1画素単位の差分は小さいものの、セグメント領域内の全画素の差分の総和Rsadは、ある程度、大きいものとなる。よって、この場合も、正確なマッチング判定が行われ難い。
比較領域Tdは、同図(a)のMa領域中、背景光の影響を受けていない右端の部分の一領域を示している。
比較領域Tdは、背景光の影響を受けていないため、基準テンプレートの比較領域との差分の総和Rsadは小さいものとなり、正確なマッチング判定が行われ得る。
同図(c)は、上記検出手法(図5)を用いて、同図(a)に示す撮像画像に対しマッチング処理を行って距離を測定したときの測定結果を示す図である。なお、この測定では、上述のマッチング処理において、上記差分の総和値Rsadが、全ての比較領域について、閾値を超えてエラーになった場合にも、そのうちの値Rsadが最も小さい比較領域をセグメント領域の移動位置として、距離が求められている。同図では、測定された距離が遠いほど黒に近く、測定された距離が近いほど白に近い色が各セグメント領域に対応する位置に示されている。
上記のように、本測定では、目標領域には、黒い試験紙片を含めて、平坦なスクリーンが配置されている。したがって、適正にマッチングが行われた場合、測定結果は、スクリーン全体を等距離と判断するため、一様に黒に近い色となる。これに対し、図6(c)に示す測定結果では、強い背景光が入射された領域とその周りの領域は、白に近い色となっており、誤ったマッチングがなされて、距離が誤測定されている。
同図(c)中、破線で囲ったDa領域は、同図(a)中のMa領域におけるマッチング結果であり、左にいくほど、マッチングが取れておらず、右にいくほど、マッチングが取れていることがわかる。特に、背景光が強く入射した左端の部分(比較領域Ta)だけでなく、背景光が強く入射した位置の周辺の領域(比較領域Tb、Tc)まで、広い範囲においてマッチングが取れていないことがわかる。
このように、強い背景光が入射すると、CMOSイメージセンサ124が飽和する領域だけではなく、その周辺の領域も、マッチング率が著しく減少する。
したがって、本実施の形態では、背景光の影響を抑え、マッチング率を上昇させるための撮像画像の補正処理が、撮像画像補正部21bによって行われる。
図7ないし図9は、撮像画像の補正処理を説明する図である。
図7(a)は、CPU21における撮像処理から距離演算までの処理のフローチャートである。CPU21は、図2に示すレーザ駆動回路22によりレーザ光を発光し、撮像信号処理回路23によってCMOSイメージセンサ124から出力された各画素の信号から撮像画像を生成する(S101)。その後、撮像画像補正部21bにより、撮像画像から背景光を除去するための補正処理が行われる(S102)。
その後、距離演算部21cにより、補正された撮像画像を用いて、情報取得装置1から検出対象物の各部までの距離が算出される(S103)。
図7(b)は、同図(a)におけるS102の撮像画像補正処理を示すフローチャートである。
撮像画像補正部21bは、撮像信号処理回路23によって生成された撮像画像を読込み(S201)、撮像画像を、所定の画素数×画素数の補正領域に分割する(S202)。
図8(a)、(b)は、CMOSイメージセンサ124で実測された撮像画像と、補正領域の設定状態を示す図である。図8(b)は、図6の比較領域Tbの位置における補正領域の分割例を示す図である。
図8(a)に示す如く、ドットパターンが示された撮像画像は、640×480の画素からなり、撮像画像補正部21bにより、所定の画素数×画素数の補正領域Cに分割される。ここで、DOE114によって作成されたドットの数は略3万であり、撮像画像の総画素数は略30万である。すなわち、撮像画像の10画素に対し、略1個のドットが含まれることとなる。したがって、補正領域Cを3画素×3画素(総画素数9)の大きさとすると、ドットの影響が受けない画素が、補正領域C中に少なくとも1つ以上は含まれる可能性が高い。このことから、本実施の形態では、図8(b)に示すように、撮像画像が、3画素×3画素(総画素数9)の補正領域Cごとに分割される。
図7(b)に戻り、撮像画像を補正領域に分割した後、各補正領域内の画素の最小輝度値を算出し(S203)、算出した最小輝度値で当該補正領域内の全画素の輝度値を減算する(S204)。
図8(c)ないし図8(e)は、図8(b)に示した補正領域C1ないしC3における補正処理を説明する図である。同図(c)ないし同図(e)中、左の図は、補正領域の輝度値を明暗で示した図であり、ハッチング濃度が薄いほど、輝度値が高いことを示す。図中の丸は、ドットの照射領域を示す。中央の図は、補正領域の各画素位置の輝度値を数値で示した図であり、輝度値が高いほど数値が大きい。右の図は、補正後の輝度値を数値で示した図である。
同図(c)の左の図を参照して、同図(b)における補正領域C1には、強度がやや強い背景光が一様に入射しているため、全体の画素の輝度がやや高くなっており、ドットが入射している画素とその画素に隣接した画素の輝度が、さらに高くなっている。
同図(c)の中央の図を参照して、補正領域C1において、輝度値が一番小さい(輝度値=80)の画素には、ドットが入射しておらず、その画素は、ドットに隣接していない。補正領域C1中の各画素の輝度値のうち最小の輝度値80で、補正領域C1内の各画素の輝度値を減算すると、図8(c)の右の図のように、ドットが入射している画素とその画素に隣接している画素以外の画素の輝度値は0となる。これにより、補正領域C1内の各画素の輝度値に対する背景光の影響が除去される。
同図(d)の左の図を参照して、同図(b)における補正領域C2には、強度がやや強い背景光と強度が弱い背景光が入射しており、ドットが入射した画素の輝度が一番高く、その画素に隣接した画素の輝度と、背景光がやや強い部分の画素の輝度が同程度となっている。
同図(d)の中央の図を参照して、補正領域C2において、輝度値が一番小さい(輝度値=40)画素には、ドットが入射しておらず、その画素は、ドットに隣接していない。補正領域C2中の各画素の輝度値のうち最小輝度値40で、補正領域C2内の各画素の輝度値を減算すると、図8(d)の右の図のように、背景光が弱い部分の画素の輝度値は0となり、これらの画素の輝度値に対する背景光の影響が除去される。また、これらの画素以外の画素では、ドットが入射する画素以外の画素において、輝度値が低下され、背景光の影響が抑制される。また、ドットが入射する画素においても、背景光の影響が除去される。
同図(e)の左の図を参照して、同図(b)における補正領域C3には、強度の弱い背景光が一様に入射しているため、全体の画素の輝度値が少し高めとなり、ドットが入射している画素とその画素に隣接した画素は、さらに輝度が高くなっている。
同図(e)の中央の図を参照して、補正領域C3において、輝度値が一番小さい(輝度値=40)の画素には、ドットが入射しておらず、その画素は、ドットに隣接していない。補正領域C3中の各画素の輝度値のうち最小輝度値40で、補正領域C3内の各画素の輝度値を減算すると、図8(e)の右の図のように、ドットが入射している画素とその画素に隣接している画素以外の画素の輝度値は0となり、これらの画素の輝度値に対する背景光の影響が除去される。
図8(c)〜(e)を参照して説明したように、補正領域内の画素の輝度値のうち最小の輝度値で、各画素の輝度値を減算することにより、各画素の輝度値に対する背景光の影響を除去することができる。したがって、このような補正処理を行った後の画素値を用いて、上述のマッチング処理を行うと、差分の総和値Rsadに、背景光の輝度値が含まれなくなり、その分、値Rsadが小さくなる。
たとえば、図8(c)の中央の図において、輝度値が80の画素は、背景光が入射しなければ、輝度値がゼロである。したがって、本来的には、この画素と、セグメント領域の対応する画素との間の輝度値の差分は、ゼロでなければならない。しかしながら、図8(c)の中央の図では、背景光のために、この画素の差分が80となる。このように誤った差分が、全ての画素について加算されると、差分の総和値Rsadは、背景光が入射しない場合に比べて、数段大きくなる。その結果、セグメント領域のマッチングがエラーとなる。
これに対し、図8(c)の右の図では、本来輝度値がゼロであるべき6つの画素の輝度値が、全てゼロに補正される。また、輝度値40の画素も、図8(c)の中央の場合に比べて、輝度値が抑えられる。よって、差分の総和値Rsadは、図8(c)の中央の場合に比べて低められ、本来の値に近づく。その結果、セグメント領域のマッチングが適正に行われ得る。
なお、図8(d)の場合のように、補正領域内で、背景光の強度が変わるような場合には、強度の強い背景光が入射する画素の輝度値から当該背景光の影響を完全に除去することはできない。しかしながら、このような場合でも、当該画素の輝度値から、強度が弱い背景光による輝度値が減じられるため、当該画素の輝度値に対する背景光の影響を有る程度除去される。よって、セグメント領域のマッチング精度を高めることができる。
ところで、たとえば、図6(b)の比較領域Tdのように、補正領域Cに背景光が入射しない場合は、一番小さい輝度値は0であるため、補正によっても、全ての画素の輝度値は変化しない。よって、このような比較領域Tdに対して上記のような補正処理を行ったとしても、セグメント領域のマッチング処理に影響はない。
また、図6(b)の比較領域Taのように、CMOSイメージセンサ124が飽和するほどの強度の背景光が補正領域Cに一様に入射した場合、全ての画素の輝度値は最大レベル(255)となり、補正によって、全ての画素の輝度値は0となる。したがって、このように光強度の背景光がCMOSイメージセンサ124に入射した場合には、上記補正処理を行っても、マッチングを取ることはできない。
このように、撮像画像を所定の画素数×画素数の補正領域Cに分割した後、補正領域C内の最小輝度値で補正領域C内の全画素を減算することにより、効果的に、背景光を除去することができる。したがって、撮像画像に背景光が入射した領域と入射していない領域が混在していても、同一の閾値で、背景光がない環境下で作成されたセグメント領域とマッチングさせることができる。
なお、本実施の形態では、撮像画像を分割する補正領域Cのサイズを3画素×3画素としたが、補正領域Cのサイズを他のサイズとすることも可能である。
図9は、補正領域の他の分割例を示す図である。
同図(a)は、撮像画像が、4画素×4画素の補正領域Cに分割された場合の補正処理の図である。
この場合、強度の弱い背景光が入射する画素が、1画素のみ補正領域Ca1内に含まれ、この画素の輝度値が補正領域Ca1内の最小値40となる。したがって、この1画素以外の画素については、背景光を完全に除去することができず、セグメント領域の対応する画素との差分が大きくなる。
このように、補正領域Cを大きく設定すると、強度の異なる背景光が同一補正領域C内に含まれやすくなり、背景光の影響を完全に除去できない画素が増加し易い。
同図(b)は、撮像画像が、2画素×2画素の補正領域Cに分割された場合の補正処理の図である。
この場合、補正領域Cbが小さいため、補正領域Cb内で背景光が変化する確率が低くなる。このため、補正領域に背景光が一様に入射し易くなり、補正領域内の全ての画素について背景光を完全に除去できる確率が高まる。同図(b)の例では、補正後の全ての画素の輝度値は0となる。
しかし、補正領域を小さくすると、ドットの密度によっては、複数のドットが一つの補正領域に含まれることが起こり得る。たとえば、同図(c)に示すように、ドットの密度が高くなると、2画素×2画素のような小さい補正領域Ccでは、ドットの影響を受けない画素が1画素も含まれないようなことが起こり得る。この場合、ドットの影響受けた画素の非常に高い輝度値によって、補正領域Cc内の全画素の輝度値が減算されることとなり、背景光のみを適正に除去することができない。
このように、補正領域Cのサイズは、できるだけ小さい方が背景光の除去において有利であるが、補正領域C内に、DP光のドットによる影響を受けない画素が少なくとも1つ含まれる必要がある。すなわち、補正領域C内に入射するDP光のドットの密度に応じて、補正領域Cのサイズが決定される。本実施の形態のように、撮像画像の総画素数が略30万であり、DOE114によって作成されるドット数が略3万の場合では、3画素×3画素程度で補正領域Cが設定されることが望ましい。
図7(b)に戻り、以上のようにして、全ての補正領域において、撮像画像の補正処理が完了した後、補正画像をメモリ25に保存する(S205)。これにより、撮像画像の補正処理が完了する。
図7(b)の処理によって、撮像画像に背景光が重畳された場合であっても、背景光を除去した補正画像を作成することができる。そして、この補正画像を用いてマッチング処理と距離測定を行うことで、検出対象物体までの距離を精度よく検出することができる。
図10は、撮像画像を撮像画像補正部21bにより補正した補正画像を用いて距離検出を行った場合の測定例を示す図である。
同図(a)は、図7、図8に示す処理により図6(a)の撮像画像を補正した補正画像である。図中、白に近いほど画素の輝度が高く、黒に近いほど画素の輝度が低い。
図6(a)の撮像画像と比較して、補正画像では、強度の高い背景光による白い領域(輝度が最大)が、補正により、黒くなっている(輝度が0)。便宜上、強度の高い背景光の領域は、図6(a)中に一点鎖線で示されている。また、図6(a)の撮像画像では、強度の高い背景光から離れるにしたがって、背景光の強度が小さくなり、徐々に薄い黒に近づいたが、補正画像では、背景光が除去され、全体的に一様に黒くなっている。
同図(b)は、同図(a)に示した補正画像中の破線で囲ったMbの領域における比較領域の例を模式的に示す図である。同図(b)中、1マスが補正画像中の1画素を示し、また、黒い丸がDP光のドットを示し、マスの色が濃いほど、背景光が強く入射されていることを示す。補正画像のMbの領域は、図6(a)の撮像画像のMaの領域に相当するものである。
比較領域Taは、図6(b)の場合と比較して、強度の強い背景光は除去されているものの、CMOSイメージセンサ124が飽和していたため、DP光のドットの位置を把握することができず、全ての画素において、輝度値が0となっている。したがって、上記検出手法にて、比較領域Taの正確な移動位置を検出することができない。
比較領域Tbは、図6(b)の場合と比較して、大半の背景光は、除去することができており、残った背景光も弱いものとなっている。したがって、基準テンプレートのセグメント領域と比較領域Tbの差分の総和Rsadは、ある程度小さいものとなる。よって、図6(b)の場合よりも、上記検出手法にて、対応するセグメント領域が比較領域Tbに正常にマッチングされ易く、正確な距離が測定され得る。
比較領域Tcは、図6(b)と比較して、一様に入射されていた強度の弱い背景光が除去されている。したがって、基準テンプレートのセグメント領域と比較領域Tcの差分の総和Rsadは小さいものとなり、上記検出手法にて、対応するセグメント領域が比較領域Tcに正常にマッチングされ、正確な距離が測定され得る。
さらに、比較領域Tdは、背景光の影響を受けておらず、補正によっても、輝度値の変化はない。したがって、図6(b)と同様に、基準テンプレートのセグメント領域と比較領域Tdとの差分の総和Rsadは小さいものとなり、上記検出手法にて、対応するセグメント領域が比較領域Tdに正常にマッチングされ、正確な距離が測定され得る。
同図(c)は、上記検出手法を用いて、同図(a)に示す補正画像についてマッチングを行ったときの距離の測定結果である。同図(c)は、図6(c)に対応するものである。
図10(c)を参照すると、距離が誤検出された領域が、強い背景光が照射された領域に制限されており、それ以外の領域では、適正に距離が測定されていることが分かる。なお、中央の黒い試験紙片についても距離が得られている。
同図(c)中、破線で囲ったDb領域は、同図(a)中のMb領域におけるマッチング結果であり、同図(a)中の黒く塗りつぶされた領域(円形一点鎖線)以外については、ほぼマッチングが取れていることがわかる。
このように、図10(c)の測定結果では、CMOSイメージセンサ124が飽和している領域以外の領域は、ほぼ一様に黒くなっており、図6(c)と比較して、マッチング率が顕著に改善されたことがわかる。
以上、本実施の形態によれば、撮像画像補正部21bにより、撮像画像から背景光が除去されるため、CMOSイメージセンサ124に背景光が入射するような場合にも、精度よく距離を検出することができる。
また、本実施の形態によれば、補正領域内に、DP光のドットによる影響を受けない画素が1つ以上含まれるように、補正領域のサイズが3画素×3画素に設定されているため、精度よく撮像画像を補正することができる。
また、本実施の形態によれば、3画素×3画素と補正領域が小さく設定されているため、補正領域内に強度の異なる背景光が含まれる可能性が低く、精度よく撮像画像を補正することができる。
また、本実施の形態によれば、背景光が入射した領域と入射していない領域が混在していても、図7、図8に示すように撮像画像を補正することにより、画素の輝度値から背景光の成分を除去することができ、背景光が入射したかに拘わらず、値Rsadに対して同じ閾値を用いて、距離検出のマッチング処理を行うことができる。
また、本実施の形態によれば、撮像画像の補正により、背景光を除去することができるため、比較的広い透過波長帯域の光を透過させる安価なフィルタを用いても、精度よく距離検出することができる。
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
たとえば、上記実施の形態では、説明の便宜上、DP光の1つのドットの径の大きさが、撮像画像の1画素程度のものを用いたが、DP光のドットの径は、撮像画像の1画素に対し、大きくても良いし、小さくても良い。なお、1画素に対して、DP光のドットの径が大きい場合は、DP光のドットによる影響を受けない画素が1つ以上含まれるよう、補正領域の大きさを設定する必要がある。すなわち、補正領域のサイズは、CMOSイメージセンサ124の総画素数とDOE114によって作成されるドット数に加え、DP光のドット径と撮像画像の1画素のサイズとの比率に応じて、決定される。補正領域は、これらのパラメータから、DP光のドットによる影響を受けない画素が1つ以上含まれるよう設定される。これにより、上記実施の形態と同様、精度よく撮像画像から背景光を除去することができる。
また、上記実施の形態では、目標領域に対してドットを略均等に分布させるようなDOE114が用いられたが、たとえば、周辺部のみのドットの密度が大きくなるような不均等な分布のドットパターンを生成するDOEが用いられても良い。この場合、最もドット密度が高い領域に応じて、補正領域のサイズが設定されてもよいし、ドット密度が高い領域とドット密度が低い領域で異なるサイズの補正領域が設定されてもよい。たとえば、ドット密度が高い領域では、大きい補正領域が設定され、ドット密度が低い領域では、小さい補正領域が設定される。これにより、上記実施の形態同様、精度よく撮像画像から背景光を除去することができる。
また、上記実施の形態では、補正領域のサイズを3画素×3画素としたが、DP光のドットによる影響を受けない画素が1つ以上あれば、補正領域のサイズを他のサイズとしてもよい。また、補正領域はできるだけ小さい方が望ましいため、上記実施の形態のように、補正領域の形状は、正方形が望ましいが、長方形等、その他の形状であっても良い。
また、上記実施の形態では、補正領域中の画素の輝度値(画素値)のうち、最も小さい輝度値(画素値)で当該補正領域内の全ての輝度値(画素値)を減算することにより補正画像を生成したが、最小の輝度値(画素値)に所定の係数を乗算した値で補正領域内の輝度値(画素値)を減算する等、最小の輝度値(画素値)に基づく値で補正領域内の輝度値(画素値)を補正するようにしても良い。
また、上記実施の形態では、CMOSイメージセンサ124は、解像度がVGA(640×480)に対応するものが用いられたが、XGA(1024×768)、SXGA(1280×1024)等、その他の解像度に対応するものが用いられても良い。
また、上記実施の形態では、略3万個のドット数のDP光を生成するDOE114が用いられたが、DOEによって作成されるドットの数は他の数であってもよい。
また、上記実施の形態では、隣り合うセグメント領域が互いに重ならないように、セグメント領域が設定されたが、左右に隣り合うセグメント領域が、互いに重なるように、セグメント領域が設定されても良く、また、上下に隣り合うセグメント領域が、互いに重なるように、セグメント領域が設定されても良い。
また、上記実施の形態では、受光素子として、CMOSイメージセンサ124を用いたが、これに替えて、CCDイメージセンサを用いることもできる。さらに、受光光学系12の構成も、適宜変更可能である。また、情報取得装置1と情報処理装置2は一体化されても良いし、情報取得装置1と情報処理装置2がテレビやゲーム機、パーソナルコンピュータと一体化されても良い。
本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
1 … 情報取得装置
11 … 投射光学系
12 … 受光光学系
111 … レーザ光源
112 … コリメータレンズ
114 … DOE(回折光学素子)
124 … CMOSイメージセンサ(撮像素子)
21b… 撮像画像補正部(補正部)
21c… 距離演算部(情報取得部)

Claims (6)

  1. 光を用いて目標領域の情報を取得する情報取得装置において、
    前記目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、
    前記投射光学系に対して所定の距離だけ離れて並ぶように配置され、前記目標領域を撮像する撮像素子を有する受光光学系と、
    実測時に前記撮像素子によって前記目標領域を撮像したときの撮像画像を複数の補正領域に区分し、前記補正領域内の各画素の画素値のうち最小の画素値によって当該補正領域内の画素の画素値を補正して補正画像を生成する補正部と、
    前記補正部によって生成された補正画像に基づいて、前記目標領域に存在する物体の3次元情報を取得する情報取得部と、を備える、
    ことを特徴とする情報取得装置。
  2. 請求項1に記載の情報取得装置において、
    前記情報取得部は、基準面に前記ドットパターンを照射したときに撮像素子によって撮像される基準ドットパターンを含む撮像画像に複数のセグメント領域を設定し、前記補正画像から前記セグメント領域に対応する対応領域を探索し、探索した前記対応領域の位置に基づいて、前記目標領域に存在する物体の3次元情報を取得する、
    ことを特徴とする情報取得装置。
  3. 請求項1または2に記載の情報取得装置において、
    前記補正部は、前記補正領域内の各画素の画素値のうち最小の画素値を、当該補正領域内の全ての画素の画素値から減算する処理を含む、
    ことを特徴とする情報取得装置。
  4. 請求項1ないし3の何れか一項に記載の情報取得装置において、
    前記補正部は、前記ドットパターンのドットが入射しない画素が1つ以上含まれるような大きさに、設定される、
    ことを特徴とする情報取得装置。
  5. 請求項1ないし4の何れか一項に記載の情報取得装置において、
    前記投射光学系は、レーザ光源と、前記レーザ光源から出射されたレーザ光を平行光に変換するコリメータレンズと、前記コリメータレンズによって平行光に変換された前記レーザ光を回折によりドットパターンの光に変換する回折光学素子と、を備える、
    ことを特徴とする情報取得装置。
  6. 請求項1ないし5の何れか一項に記載の情報取得装置を有する物体検出装置。
JP2012531172A 2011-04-25 2012-04-06 物体検出装置および情報取得装置 Expired - Fee Related JP5138119B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012531172A JP5138119B2 (ja) 2011-04-25 2012-04-06 物体検出装置および情報取得装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011097595 2011-04-25
JP2011097595 2011-04-25
JP2012531172A JP5138119B2 (ja) 2011-04-25 2012-04-06 物体検出装置および情報取得装置
PCT/JP2012/059450 WO2012147496A1 (ja) 2011-04-25 2012-04-06 物体検出装置および情報取得装置

Publications (2)

Publication Number Publication Date
JP5138119B2 true JP5138119B2 (ja) 2013-02-06
JPWO2012147496A1 JPWO2012147496A1 (ja) 2014-07-28

Family

ID=47072020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012531172A Expired - Fee Related JP5138119B2 (ja) 2011-04-25 2012-04-06 物体検出装置および情報取得装置

Country Status (4)

Country Link
US (1) US20130050710A1 (ja)
JP (1) JP5138119B2 (ja)
CN (1) CN102859321A (ja)
WO (1) WO2012147496A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5834602B2 (ja) * 2010-08-10 2015-12-24 旭硝子株式会社 回折光学素子及び計測装置
CN102782447A (zh) * 2011-03-03 2012-11-14 三洋电机株式会社 物体检测装置及信息取得装置
TWI461656B (zh) * 2011-12-01 2014-11-21 Ind Tech Res Inst 距離感測裝置及距離感測方法
DE102013219462A1 (de) * 2013-09-26 2015-03-26 Robert Bosch Gmbh Fahrwerksvermessung bei Umgebungslicht
JP6484071B2 (ja) * 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
JP6857192B2 (ja) * 2016-04-01 2021-04-14 シュロニガー アーゲー コンビネーションセンサ
JP6814053B2 (ja) * 2017-01-19 2021-01-13 株式会社日立エルジーデータストレージ 物体位置検出装置
US11402197B2 (en) * 2017-09-13 2022-08-02 Sony Corporation Distance measuring module
KR102087081B1 (ko) * 2017-09-13 2020-03-10 네이버랩스 주식회사 영상센서 방식 라이다의 측정거리 향상을 위한 광 집속 시스템
JP7111497B2 (ja) * 2018-04-17 2022-08-02 株式会社東芝 画像処理装置、画像処理方法、距離計測装置、及び距離計測システム
WO2019220890A1 (ja) 2018-05-15 2019-11-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
EP3803266A4 (en) * 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
JP2020148700A (ja) * 2019-03-15 2020-09-17 オムロン株式会社 距離画像センサ、および角度情報取得方法
US11474209B2 (en) * 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
JP7095640B2 (ja) * 2019-03-28 2022-07-05 株式会社デンソー 物体検出装置
JP7115390B2 (ja) * 2019-03-28 2022-08-09 株式会社デンソー 測距装置
GB2597930B (en) * 2020-08-05 2024-02-14 Envisics Ltd Light detection and ranging
CN113378666A (zh) * 2021-05-28 2021-09-10 山东大学 一种票据图像倾斜校正方法、票据识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191092A (ja) * 2002-12-09 2004-07-08 Ricoh Co Ltd 3次元情報取得システム
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2009014712A (ja) * 2007-06-07 2009-01-22 Univ Of Electro-Communications 物体検出装置とそれを適用したゲート装置
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4883517B2 (ja) * 2004-11-19 2012-02-22 学校法人福岡工業大学 三次元計測装置および三次元計測方法並びに三次元計測プログラム
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
US7375801B1 (en) * 2005-04-13 2008-05-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Video sensor with range measurement capability
JP4917458B2 (ja) * 2007-03-15 2012-04-18 オムロンオートモーティブエレクトロニクス株式会社 移動体用物体検出装置
CN101158883B (zh) * 2007-10-09 2010-07-28 深圳泰山网络技术有限公司 一种基于计算机视觉的虚拟体育系统及其实现方法
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 3次元計測装置、その計測方法及びプログラム
CN101706263B (zh) * 2009-11-10 2012-06-13 倪友群 三维表面测量方法及测量系统
CN101839692B (zh) * 2010-05-27 2012-09-05 西安交通大学 单相机测量物体三维位置与姿态的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191092A (ja) * 2002-12-09 2004-07-08 Ricoh Co Ltd 3次元情報取得システム
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2009014712A (ja) * 2007-06-07 2009-01-22 Univ Of Electro-Communications 物体検出装置とそれを適用したゲート装置
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法

Also Published As

Publication number Publication date
US20130050710A1 (en) 2013-02-28
WO2012147496A1 (ja) 2012-11-01
JPWO2012147496A1 (ja) 2014-07-28
CN102859321A (zh) 2013-01-02

Similar Documents

Publication Publication Date Title
JP5138119B2 (ja) 物体検出装置および情報取得装置
JP2014122789A (ja) 情報取得装置、投射装置および物体検出装置
JP5138116B2 (ja) 情報取得装置および物体検出装置
US20220308232A1 (en) Tof depth measuring device and method
JP5214062B1 (ja) 情報取得装置および物体検出装置
JPWO2012137673A1 (ja) 情報取得装置、投射装置および物体検出装置
JP2012237604A (ja) 情報取得装置、投射装置および物体検出装置
JP2014137762A (ja) 物体検出装置
JP2014044113A (ja) 情報取得装置および物体検出装置
JP2009230287A (ja) 読み取り装置、筆記情報処理システム、読み取り装置の制御装置、プログラム
JP5138115B2 (ja) 情報取得装置及びその情報取得装置を有する物体検出装置
JP2013057541A (ja) 対象物との相対位置計測方法と装置
JP5143314B2 (ja) 情報取得装置および物体検出装置
WO2012144340A1 (ja) 情報取得装置および物体検出装置
WO2013015146A1 (ja) 物体検出装置および情報取得装置
JPWO2013015145A1 (ja) 情報取得装置および物体検出装置
JP2014085257A (ja) 情報取得装置および物体検出装置
JP2014035294A (ja) 情報取得装置および物体検出装置
JP2013246009A (ja) 物体検出装置
WO2013031447A1 (ja) 物体検出装置および情報取得装置
JP2013234956A (ja) 情報取得装置および物体検出装置
JP2014021017A (ja) 情報取得装置および物体検出装置
CN111611987B (zh) 显示装置及利用显示装置实现特征识别的方法
WO2022209219A1 (ja) 測距装置およびその信号処理方法、並びに、測距システム
WO2012042976A1 (ja) 物体検出装置および情報取得装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees