JP4944635B2 - 環境認識装置 - Google Patents

環境認識装置 Download PDF

Info

Publication number
JP4944635B2
JP4944635B2 JP2007034773A JP2007034773A JP4944635B2 JP 4944635 B2 JP4944635 B2 JP 4944635B2 JP 2007034773 A JP2007034773 A JP 2007034773A JP 2007034773 A JP2007034773 A JP 2007034773A JP 4944635 B2 JP4944635 B2 JP 4944635B2
Authority
JP
Japan
Prior art keywords
light pattern
irradiated
image
exposure
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007034773A
Other languages
English (en)
Other versions
JP2008197048A (ja
Inventor
千秋 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2007034773A priority Critical patent/JP4944635B2/ja
Priority to US12/526,804 priority patent/US8233079B2/en
Priority to PCT/JP2008/050334 priority patent/WO2008099629A1/ja
Priority to EP08703198A priority patent/EP2112466B1/en
Publication of JP2008197048A publication Critical patent/JP2008197048A/ja
Application granted granted Critical
Publication of JP4944635B2 publication Critical patent/JP4944635B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings

Description

この発明は環境認識装置および方法に関し、より詳しくは被測定物に向けてセンサから光パターンを照射し、その帰還信号を受光して被測定物の形状などを認識できるようにしたアクティブセンサ型の3次元視覚センサからなる環境認識装置および方法に関する。
アクティブセンサ型の3次元視覚センサからなる環境認識装置としては、例えば特許文献1記載の技術を挙げることができる。特許文献1記載の技術にあっては、自律移動型ロボットに搭載すると共に、光切断法を用いてなり、被測定物にスリット光(光パターン)を照射してその像を撮影することによって物体上に着目点を設定し、スリット光の照射位置と撮像装置の位置関係から着目点までの距離を測定している。
具体的には、パルス列のデューティファクタからなるスリット光の照射タイミングをランダムに変化させ、狭い環境空間に複数のロボットが存在するような場合でも、各ロボットに搭載されたセンサ同士の干渉を回避するようにしている。より具体的には、パルス繰り返し周期Tが一定とされたパルス列において、周期Tの範囲で各パルスの立ち上がり時間をランダムに変化させることで、干渉を回避している。
尚、この種のセンサにおいては、特許文献2記載の技術のように、光を照射したときに撮影した画像と光を照射しないときに撮影した画像の差分画像を求めることで、照明光の写りこみなどの被測定物の反射の影響を低減するようにしている。
特開2002−156226号公報 特開2001−337166号公報
上記した従来技術にあっては、パルス繰返し周期Tの範囲で各パルスの立ち上がり時間をランダムに変化させているため、パルス幅が短くなって照射時間も短くなる場合があることから、カメラに高い感度が要求されていた。
従ってこの発明の目的は上記した従来技術の不都合を解消し、通常の感度のカメラを用いながら、他の装置との干渉を効果的に回避するようにした環境認識装置および方法を提供することにある。
上記した課題を解決するために、請求項1にあっては、環境空間に存在する被測定物に向けて固定値からなる1フレームを規定するパルス列のデューティファクタに従って間欠的に光パターンを照射する照射器、前記光パターンが照射されたときの露光で前記被測定物を撮影して第1の画像を得る一方、前記光パターンが照射されないときの露光で前記被測定物を撮影して第2の画像を得、前記第1の画像と第2の画像の差分画像を出力するカメラ、および前記出力された差分画像に基づいて前記被測定物を認識する認識手段を備えた環境認識装置において、前記1フレーム内において前記光パターンが照射されるときの露光時間の和と前記光パターンが照射されないときの露光時間の和は同一のまま前記パルス列のパルス繰り返し周期をランダムに変化させて前記光パターンを照射するタイミングを制御するタイミング制御器を備える如く構成した。
請求項2に係る環境認識装置にあっては、前記光パターンは、テクスチャ光パターンである如く構成した。
請求項3に係る環境認識装置にあっては、移動手段を用いて移動自在に構成される移動体に搭載される如く構成した。
請求項4に係る環境認識方法にあっては、環境空間に存在する被測定物に向けて固定値からなる1フレームを規定するパルス列のデューティファクタに従って間欠的に光パターンを照射し、前記光パターンが照射されたときの露光で前記被測定物を撮影して得た第1の画像と前記光パターンが照射されないときの露光で前記被測定物を撮影して得た第2の画像の差分画像を求め、および前記求めた差分画像に基づいて前記被測定物を認識する環境認識方法において、前記1フレーム内において前記光パターンが照射されるときの露光時間の和と前記光パターンが照射されないときの露光時間の和は同一のまま前記パルス列のパルス繰り返し周期をランダムに変化させて前記光パターンを照射するタイミングを制御する如く構成した。
請求項1にあっては、環境空間に存在する被測定物に向けて固定値からなる1フレームを規定するパルス列のデューティファクタに従って間欠的に光パターンを照射する照射器、その光パターンが照射されたときの露光で被測定物を撮影して第1の画像を得る一方、照射されないときの露光で撮影して第2の画像を得、第1の画像と第2の画像の差分画像を出力するカメラ、出力された差分画像に基づいて被測定物を認識する認識手段を備えた環境認識装置において、1フレーム内において光パターンが照射されるときの露光時間の和と光パターンが照射されないときの露光時間の和は同一のままパルス列のパルス繰り返し周期をランダムに変化させて光パターンを照射するタイミングを制御するタイミング制御器を備える如く構成したので、光パターンの照射タイミングをランダムに変化させることで従来技術と同様、他の装置のパルスの位相が一致することがなく、従ってそれとの干渉を効果的に回避することができる。
またランダムに変化させる対象をパルス繰り返し周期としたので、パルス幅が短くなって照射時間も短くなるような事態を防止でき、よってカメラに高い感度が要求されることがない。また、その光パターンが照射されたときと照射されないときの露光で撮影して得た画像の差分画像を求めるようにしたので、従来技術と同様、照明光の写りこみなどの被測定物の反射の影響を低減することができる。
請求項2に係る環境認識装置にあっては、光パターンはテクスチャ光パターンである如く構成したので、請求項1で述べた効果に加え、被測定物が無地であっても、例えば複数カメラを使用する場合に画像間で対応づけが可能となり、認識精度を向上させることができる。
請求項3に係る環境認識装置にあっては、移動手段を用いて移動自在に構成される移動体に搭載される如く構成したので、上記した効果に加え、位置する環境空間を精度良く認識することができる。
請求項4に係る環境認識方法にあっては、環境空間に存在する被測定物に向けて固定値からなる1フレームを規定するパルス列のデューティファクタに従って間欠的に光パターンを照射し、それが照射されたときの露光で被測定物を撮影して得た第1の画像と照射されないときの露光で被測定物を撮影して得た第2の画像の差分画像を求め、求めた差分画像に基づいて被測定物を認識する環境認識方法において、1フレーム内において光パターンが照射されるときの露光時間の和と光パターンが照射されないときの露光時間の和は同一のままパルス列のパルス繰り返し周期をランダムに変化させて光パターンを照射するタイミングを制御する如く構成したので、光パターンの照射タイミングをランダムに変化させることで従来技術と同様に他の装置との干渉を回避できると共に、ランダムに変化させる対象をパルス繰り返し周期としたので、パルス幅が短くなって照射時間も短くなるような事態を防止でき、よってカメラに高い感度が要求されることがない。
また、その光パターンが照射されたときと照射されないときの露光で撮影して得た画像の差分画像を求めるようにしたので、従来技術と同様、照明光の写りこみなどの被測定物の反射の影響を低減することができる。
以下、添付図面に即してこの発明に係る環境認識装置および方法を実施するための最良の形態について説明する。
図1は、この発明の第1実施例に係る環境認識装置および方法を模式的に示すブロック図、図2はその装置が搭載される脚式移動ロボットの斜視図である。
図1と図2を参照して説明すると、図1において符号10は環境認識装置を示す。環境認識装置10は、図2に示す如く、会社の社屋内などの適宜な環境空間12を移動自在に構成される2足歩行の脚式移動ロボット14の基体部14aに搭載される。
環境認識装置10は、図2に示すような環境空間12に存在する床面などの被測定物12aに向けて光パターン16aを照射する照射器16と、光パターン16aが照射されたときの露光で被測定物12aを撮影して得た画像と光パターン16aが照射されないときの露光で被測定物12aを撮影して得た画像の差分画像を出力するカメラ20と、カメラ20から出力される差分画像に基づいて被測定物12aの形状や起伏あるいは距離などを認識する認識手段22と、光パターン16aを照射するタイミングを制御するタイミング制御器24を備える。このように、環境認識装置10はアクティブセンサ型の3次元視覚センサからなる。
以下、それらを詳細に説明すると、照射器16はレーザスキャナと回折格子とレンズからなり、図3に示す如く、1フレームを規定するパルス列のデューティファクタに従って間欠的にレーザ光からなる光パターン16aを照射する。1フレームは1枚の画像を出力する時間を意味し、例えば10msecなどの固定した値とされる。尚、この明細書で「光パターン」は無地の光のパターンも含む意味で使用する。
図3は光パターン16aの照射タイミングや露光タイミングなどをパルス列で示すタイム・チャートである。図3において最上段のパルス列を照射パルス、その下部のそれと同一(同相)のパルス列を正露光パルス、さらにその下部で逆位相のパルス列を負露光パルスという。これらのパルスなどにおいて、T:パルス繰り返し周期、τ:パルス幅、τ/T:デューティファクタである。尚、この実施例においてデューティファクタは50%とする。
このように、正の露光時間と負の露光時間を同じにすることで、その間に変化のない光により照射された成分は差し引き零になって影響を受けない効果がある。尚、デューティファクタはサイクルごとに厳密に50%でなくても、正と負の露光時間の総和が同一となればよい。
また、この実施例において特徴的なことはパルス繰り返し周波数Tがランダムに変化される点にあるが、それについては後述する。ここで「ランダム」とは一様乱数に止まらず、擬似乱数による値も含む意味で使用する。
照射器16は、タイミング制御器24の指示に従い、デューティファクタに従って間欠的に光パターン16aを照射、より具体的には照射パルスの立ち上がり時点で照射(投光)を開始し、照射パルスが立ち上がっている間は照射を継続し、立ち下がり時点で照射を終了する。逆にいえば、照射器16は、照射パルスの立ち下がり時点で消灯を開始し、照射パルスが立ち下がっている間は消灯を継続し、立ち上がり時点で消灯を終了する。
カメラ20はCCDカメラからなり、照明光や照射光などの光を通過させるレンズ20aと、レンズ20aを通過させた光を感光させて結像する感光部20bと、感光部20bの出力を入力する差分回路20cとからなる。感光部20bは例えば512×512からなる個数の画素を有する。レンズ20a通過させた光は、それらの画素で結像する。
カメラ20は、図4に示す如く、光パターン16aが照射されたとき、換言すれば照明光あるいは自然光に加えて光パターン16aが照射されたときの露光(以下これを「正露光」という)で被測定物12aを撮影して得た画像(図4(b))と、光パターン16aが照射されないとき、換言すれば照明光あるいは自然光のみの露光(以下これを「負露光」という)で被測定物12aを撮影して得た画像(図4(a))の差分画像(図4(c))を出力する。同図(d)は、差分画像の濃淡を強調したものである。
即ち、この実施例において被測定物(床面)12aは光を反射するため、同図(a)に示すように天井の照明光が写りこまれてしまうことから、差分画像を求めて反射の影響を低減するようにした。また、この被測定物(床面)12aは無地であることから、同図(b)に示すように、照射される光パターン16aはテクスチャ(模様)光パターンであるようにした。これにより、背景+模様(同図(b))−背景(同図(a))=模様(同図(d))となり、写りこみや外乱光による影が低減し、被測定物12aが無地であるときも、画像間の対応づけが可能となる。尚、図2では図4に示す光パターン16aを模式的に示した。
図1においてカメラ20の差分回路20cから出力された差分画像は、認識手段22に送られる。認識手段22はマイクロコンピュータからなり、図4(c)(d)に示すような差分画像に基づいて被測定物(床面)12aの形状あるいは起伏などを認識する。尚、認識手段22の動作はこの出願の要旨ではないので、説明は省略する。
タイミング制御器24は、図5に示す如く、パルス制御部24aと、パルステーブル24bと、タイマ24cとを備える。パルス制御部24aもマイクロコンピュータからなり、パルステーブル24bに格納されたパルスデータに従い、タイマ24cを参照しつつ、図3に示す照射パルスと正露光パルスと負露光パルスとを出力する。これについては後述する。
ここで、図3を参照して差分画像の算出について説明すると、1フレームを規定するパルス列のデューティファクタに従って、より具体的には照射パルスが1に立ち上がっているとき、照射器16から光パターン16aが照射される。
差分回路20cは、図3に示す露光期間において正露光パルスが1になる度に正露光で撮影した画像について画素ごとにその濃度、明度を示す値を積分していく一方、負露光パルスが1になる度に負露光で撮影した画像について同様に画素ごとにその濃度、明度を示す値を積分していくと共に、両者の差分を差分ペア1として算出する。上記した処理を繰り返し実行して差分ペア2などを求めて差分ペア値を積分していき、露光期間が経過して露光が全て終わる時点、即ち、図3に示す読み出し期間において最終的な差分値を差分画像として出力する。尚、差分値の算出は、読み出し期間にまとめて行っても良い。
図2に示す脚式移動ロボット(移動体)14は、基体14aと、基体14aに関節を介して連結される2本の脚部(移動手段)14bと、基体14aに関節を介して連結される腕部14cと、基体14aの上部に連結される頭部14dなどからなる。このように、環境認識装置10は、移動手段(脚部14b)を用いて移動自在に構成される移動体(脚式移動ロボット)14の基体14aの付近に搭載される。尚、脚式移動ロボット14の詳細は例えば特開2006−82201号公報に記載されているので、ここでの説明は省略する。
次いで上記したタイミング制御器24のパルス制御部24aの動作について図を参照して説明する。
図6は、パルステーブル24bに格納される照射パルスのデータの生成処理を示すフロー・チャートである。尚、照射パルスと正露光パルスは同相であり、負露光パルスもそれを逆相にすれば足りることから、図示の処理は正負露光パルスについてのデータの生成処理でもある。
以下説明すると、S10において0から1の間で一様乱数を生成、例えば0.3,0.9,0.8,..などの乱数を生成し、S12に進み、生成された乱数にパルス幅τの時間を乗じた積に、所定の最小のパルス幅相当の時間を加算してパルス時間を計算してパルステーブル24bに格納する。例えば、パルス幅τを20から30μsecにする場合、パルス時間=乱数×10+20μsecとなる。
次いでS14に進み、計算されたパルス時間の総和を計算し、S16に進み、総和が総露光時間の1/2未満か否か判断する。図3に示す例でいえば1フレームの露光時間の間に照射パルスが6個生成されると共に、それらは全てデューティファクタ50%であることから、S16の判断は6個のパルスについての処理が終了していないか否か判断することに相当する。
S16で肯定されるときはS10に戻って上記の処理を繰り返す一方、否定されるときはS18に進み、最後のパルスデータを削除し、S20に進み、パルス時間の総和を再度計算する。
次いでS22に進み、(総露光時間/2)から再計算されたパルス時間の総和を減算して得た差を計算し、それを削除した最後のパルスデータ(最後のパルスの時間)とする。これにより、総和が総露光時間の1/2に等しくなったか否か厳密に計算することなく、1フレームを規定するパルス列においてランダムに変化させたパルス繰り返し周期Tを得ることができる。
図7は、同様にタイミング制御器24のパルス制御部24aによって行なわれる、図6の処理で得られたテーブルデータを用いた照射・露光処理を示すフロー・チャートである。
以下説明すると、S100においてパルステーブル24bから1パルスデータを読み出し、S102に進み、照射パルスと正露光パルスを1に立ち上げてタイマ24cをリセット(スタート)する。
次いでS104に進み、タイマ値を読み込み、S106に進み、タイマ値がS100で読み出したパルスデータの中の照射パルスと正露光パルスのパルス時間(パルス幅τの時間)未満か否か判断する。S106で肯定される限り、S104に戻って上記の処理を繰り返す。この間、照射器16は光パターン16aが照射し続けると共に、カメラ20において正露光での積分が実行される。
他方、S106で否定されるときはS108に進み、照射パルスと正露光パルスを0に立ち下げる。次いでS110に進み、負露光パルスを1に立ち上げてタイマ24cをリセット(スタート)し、S112に進み、タイマ値を読み込み、S114に進み、タイマ値がS100で読み出したパルスデータの中の負露光パルスのパルス時間(パルス幅τの時間)未満か否か判断する。
S114で肯定される限りS112に戻り、上記の処理を繰り返す。この間、照射器16は光パターン16aの照射を停止し続けると共に、カメラ20において負露光での積分が実行される。他方、S114で否定されるときはS116に進み、負露光パルスを0に立ち下げる。
次いでS118に進み、差分回路20cで正露光値と負露光値の差分を算出させ、それまでの差分に加算、即ち、正露光と負露光のときの画素の値をそれぞれ加算させる。次いでS120に進み、最後のパルスデータか否か判断し、否定されるときはS100に戻って上記した処理を繰り返す一方、肯定されるときはS122に進み、差分回路20cから差分の総和を差分画像として出力させる。
この発明の第1実施例に係る環境認識装置10にあっては、固定値からなる1フレーム内において光パターンが照射されるときの露光時間の和と光パターンが照射されないときの露光時間の和は同一のままパルス列のパルス繰り返し周期Tをランダムに変化させて光パターン16aを照射するタイミングを制御するタイミング制御器24(より具体的にはパルス制御部24a)を備える如く構成したので、光パターン16aの照射タイミングをランダムに変化させることで従来技術と同様、他の脚式移動ロボット14に搭載された他の環境認識装置10とパルスの位相が一致することがなく、従ってそれとの干渉を効果的に回避することができる。また、ランダムに変化させる対象をパルス繰り返し周期Tとしたので、パルス幅τが短くなって照射時間も短くなるような事態を防止でき、よってカメラ20に高い感度が要求されることがない。
図8は干渉を回避しない場合の差分出力例を示すグラフであり、図9はこの実施例に係る手法で干渉を回避した場合の差分出力例を示すグラフである。
図8にあっては、1フレーム10msecで正負それぞれの露光時間が10μsecのときの差分出力の平均と、その分散(誤差)を、カメラの台数を変えてプロットした。差分出力はカメラが何台あっても、5000程度であれば理想であるが、干渉を回避しない場合、誤差範囲を示すバーは2σの範囲を示しており、他のカメラが1台あるだけでノイズに埋もれてしまうことを示す。
図9にあっては、1フレーム10msecで正負それぞれの露光時間が10から20μsecのときの差分出力の平均と、その分散(誤差)を、カメラ台数を変えてプロットした。図9から明らかな如く、他のカメラが10台あっても、ノイズは1/5に低下されている。
また、図3に示す如く、その光パターンが照射されたときと照射されないときの露光で撮影して得た画像の差分画像を求めるようにしたので、従来技術と同様、照明光の写りこみなどの被測定物の反射の影響を低減することができる。
また、環境認識装置10は、移動手段(脚部14b)を用いて移動自在に構成される移動体(脚式移動ロボット)14の基体14aの付近に搭載されるように構成したので、上記した効果に加え、脚式移動ロボット1が位置する環境空間12を精度良く認識することができる。
図10は、この発明の第2実施例に係る環境認識装置を模式的に示す、図1と同様なブロック図である。
以下、第1実施例と相違する点に焦点をおいて説明すると、第2実施例に係る環境認識装置10は、被測定物に光パターン16aを照射する照射器16と、光パターン16aが照射されたときの露光と照射されないときの露光で被測定物12aを撮影して得た画像の差分画像を出力するカメラ20と、カメラ20から出力される差分画像に基づいて被測定物12aの形状や起伏などを認識する認識手段22と、光パターン16aを照射するタイミングを制御するタイミング制御器24に加え、第2のカメラ26を備えるようにした。
第2のカメラ26も、カメラ20と同様、レンズ26aと、感光部26bと、差分回路26cとを備え、差分回路26cから差分画像を出力する。第2のカメラ26の動作も、タイミング制御器24によって制御される。
第2実施例に係る環境認識装置10は上記の如く構成したので、被測定物12aの形状あるいは起伏に加え、被測定物12aまでの距離を一層精度良く認識することができる。また、第1実施例と同様に光パターン16aはテクスチャ光パターンである如く構成したので、上記した効果に加え、被測定物12aが無地であっても、画像間で対応づけが可能となり、認識精度を向上させることができる。尚、残余の効果および構成は、第1実施例と異ならない。
上記した如く、第1、第2実施例にあっては、環境空間12に存在する被測定物12aに向けて固定値からなる1フレームを規定するパルス列のデューティファクタτ/Tに従って間欠的に光パターン16aを照射する照射器16、前記光パターンが照射されたときの露光で前記被測定物を撮影して第1の画像を得る一方、前記光パターンが照射されないときの露光で前記被測定物を撮影して第2の画像を得、前記第1の画像と第2の画像の差分画像を出力するカメラ20、および前記出力された差分画像に基づいて前記被測定物を認識する認識手段22を備えた環境認識装置10において、前記1フレーム内において前記光パターンが照射されるときの露光時間の和と前記光パターンが照射されないときの露光時間の和は同一のまま前記パルス列のパルス繰り返し周期Tをランダムに変化させて前記光パターンを照射するタイミングを制御するタイミング制御器24を備える如く構成した。
また、前記光パターン16aは、テクスチャ光パターンである如く構成した。
また、環境認識装置10は、移動手段(脚部)14bを用いて移動自在に構成される移動体(脚式移動ロボット)14に搭載される如く構成した。
さらに、環境空間に存在する被測定物に向けて固定値からなる1フレームを規定するパルス列のデューティファクタに従って間欠的に光パターン16aを照射し(S100からS108)、前記光パターン16aが照射されたときの露光で前記被測定物を撮影して得た第1の画像と前記光パターン16aが照射されないときの露光で前記被測定物を撮影して得た第2の画像の差分画像を求め(S100からS122)、および前記求めた差分画像に基づいて前記被測定物を認識する環境認識方法において、前記1フレーム内において前記光パターンが照射されるときの露光時間の和と前記光パターンが照射されないときの露光時間の和は同一のまま前記パルス列のパルス繰り返し周期Tをランダムに変化させて前記光パターン16aを照射するタイミングを制御する(S10からS22,S100からS108)如く構成した。
尚、上記において環境認識装置10を図2に示すような脚式移動ロボット14に搭載したが、それに限られるものではない。装置10は、車輪型やクローラ型のロボットあるいは無人走行車などに搭載しても良い。
また、上記において図4に示すような光パターン16aを使用したが、図11に示すようなマルチスリット光であっても良い。
また、光パターン16aは照射方向を示す情報を有するテクスチャ光パターン、あるいは少なくとも装置を特定する情報を有するテクスチャ光パターンとしても良い。その場合、他の装置との干渉を一層確実に回避することができる。さらには、赤外線や紫外線など可視光線でなくても良い。
また、照射器16をレーザスキャナとしたが、レーザとホログラムを組み合わせたものであっても良く、あるいは狭照射角LEDを多数配置しても良く、あるいは集積LEDとレンズを組み合わせても良い。
この発明の第1実施例に係る環境認識装置を模式的に示すブロック図である。 図1に示す環境認識装置が搭載される脚式移動ロボットの斜視図である。 図1に示す環境認識装置の光パターンの照射タイミング、露光タイミングなどを示すタイム・チャートである。 図1に示す環境認識装置に光パターンが照射されたときと照射されないときの差分画像などを示す説明図である。 図1に示すタイミング制御部の構成を示すブロック図である。 に示すタイミング制御部の動作を示すフロー・チャートである。 同様に、図に示すタイミング制御部の動作を示すフロー・チャートである。 他の装置との干渉を回避しない場合の差分出力例を示す説明図である。 この実施例に係る、他の装置との干渉を回避した場合の差分出力例を示す説明図である。 この発明の第2実施例に係る環境認識装置を模式的に示す、図1と類似するブロック図である。 この発明の第1、第2実施例における光パターンの別の例を示す説明図である。
符号の説明
10 環境認識装置、12 環境空間、12a 被測定物(床面)、14 脚式移動ロボット(移動体)、14b 脚部(移動手段)脚部、16 照射器、16a 光パターン、20 カメラ、20a レンズ、20b 感光部、20c 差分回路、22 認識手段、24 タイミング制御器、26 カメラ、26a レンズ、26b 感光部、26c 差分回路

Claims (4)

  1. 環境空間に存在する被測定物に向けて固定値からなる1フレームを規定するパルス列のデューティファクタに従って間欠的に光パターンを照射する照射器、前記光パターンが照射されたときの露光で前記被測定物を撮影して第1の画像を得る一方、前記光パターンが照射されないときの露光で前記被測定物を撮影して第2の画像を得、前記第1の画像と第2の画像の差分画像を出力するカメラ、および前記出力された差分画像に基づいて前記被測定物を認識する認識手段を備えた環境認識装置において、前記1フレーム内において前記光パターンが照射されるときの露光時間の和と前記光パターンが照射されないときの露光時間の和は同一のまま前記パルス列のパルス繰り返し周期をランダムに変化させて前記光パターンを照射するタイミングを制御するタイミング制御器を備えたことを特徴とする環境認識装置。
  2. 前記光パターンは、テクスチャ光パターンであることを特徴とする請求項1記載の環境認識装置。
  3. 移動手段を用いて移動自在に構成される移動体に搭載されることを特徴とする請求項1または2記載の環境認識装置。
  4. 環境空間に存在する被測定物に向けて固定値からなる1フレームを規定するパルス列のデューティファクタに従って間欠的に光パターンを照射し、前記光パターンが照射されたときの露光で前記被測定物を撮影して得た第1の画像と前記光パターンが照射されないときの露光で前記被測定物を撮影して得た第2の画像の差分画像を求め、および前記求めた差分画像に基づいて前記被測定物を認識する環境認識方法において、前記1フレーム内において前記光パターンが照射されるときの露光時間の和と前記光パターンが照射されないときの露光時間の和は同一のまま前記パルス列のパルス繰り返し周期をランダムに変化させて前記光パターンを照射するタイミングを制御することを特徴とする環境認識方法。
JP2007034773A 2007-02-15 2007-02-15 環境認識装置 Expired - Fee Related JP4944635B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007034773A JP4944635B2 (ja) 2007-02-15 2007-02-15 環境認識装置
US12/526,804 US8233079B2 (en) 2007-02-15 2008-01-15 Environment recognition method and apparatus for a three-dimensional vision sensor
PCT/JP2008/050334 WO2008099629A1 (ja) 2007-02-15 2008-01-15 環境認識装置
EP08703198A EP2112466B1 (en) 2007-02-15 2008-01-15 Environment recognizing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007034773A JP4944635B2 (ja) 2007-02-15 2007-02-15 環境認識装置

Publications (2)

Publication Number Publication Date
JP2008197048A JP2008197048A (ja) 2008-08-28
JP4944635B2 true JP4944635B2 (ja) 2012-06-06

Family

ID=39689875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007034773A Expired - Fee Related JP4944635B2 (ja) 2007-02-15 2007-02-15 環境認識装置

Country Status (4)

Country Link
US (1) US8233079B2 (ja)
EP (1) EP2112466B1 (ja)
JP (1) JP4944635B2 (ja)
WO (1) WO2008099629A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5427173B2 (ja) * 2008-06-05 2014-02-26 本田技研工業株式会社 光受信機
WO2010029592A1 (ja) * 2008-09-09 2010-03-18 三菱電機株式会社 車両周囲監視装置
JP2011033497A (ja) * 2009-08-03 2011-02-17 Honda Motor Co Ltd 環境認識システム、環境認識方法およびロボット
JP2011080965A (ja) * 2009-10-09 2011-04-21 Panasonic Electric Works Co Ltd 3次元形状計測装置
GB2473338A (en) * 2010-09-02 2011-03-09 Julian Stevens Terrain visualization device with light emitter projecting contrast pattern
RU2506538C1 (ru) * 2012-07-04 2014-02-10 Общество с ограниченной ответственностью "Си Тех" Лазерное устройство для проведения измерений с повышенной точностью
EP2730942B1 (de) * 2012-11-13 2015-03-18 Sick Ag Optoelektronischer Scanner
US9442186B2 (en) * 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9350921B2 (en) * 2013-06-06 2016-05-24 Mitutoyo Corporation Structured illumination projection with enhanced exposure control
JP6335011B2 (ja) * 2014-04-25 2018-05-30 キヤノン株式会社 計測装置およびその方法
US9575184B2 (en) * 2014-07-03 2017-02-21 Continental Advanced Lidar Solutions Us, Inc. LADAR sensor for a dense environment
CN111982023B (zh) * 2014-12-15 2022-06-14 索尼公司 图像捕捉装置组件、三维形状测量装置和运动检测装置
JP6741680B2 (ja) * 2015-10-09 2020-08-19 パナソニックセミコンダクターソリューションズ株式会社 撮像装置、およびそれに用いられる固体撮像素子
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
CN207979622U (zh) 2016-05-17 2018-10-19 Lg电子株式会社 机器人吸尘器
TWI639021B (zh) 2016-05-17 2018-10-21 南韓商Lg電子股份有限公司 行動機器人及其控制方法
TWI653964B (zh) * 2016-05-17 2019-03-21 Lg電子股份有限公司 行動機器人及其控制方法
US10277842B1 (en) 2016-11-29 2019-04-30 X Development Llc Dynamic range for depth sensing
US10720069B2 (en) * 2017-04-17 2020-07-21 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
US20190187721A1 (en) * 2017-12-15 2019-06-20 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same
CN108132666B (zh) * 2017-12-15 2019-04-05 珊口(上海)智能科技有限公司 控制方法、系统及所适用的移动机器人
CN111751838A (zh) * 2019-03-28 2020-10-09 上海小瞳智能科技有限公司 一种微型固态激光雷达及其数据处理方法
US11571100B2 (en) * 2019-06-28 2023-02-07 Lg Electronics Inc Intelligent robot cleaner
CN112084973B (zh) * 2020-09-14 2023-04-25 北京工商大学 一种基于正射投影图像的隧道管环识别与标注方法
KR102218120B1 (ko) * 2020-09-21 2021-02-22 주식회사 폴라리스쓰리디 자율 주행 모듈, 이를 포함하는 이동 로봇 및 이의 위치 추정 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59197810A (ja) * 1983-04-26 1984-11-09 Ishikawajima Harima Heavy Ind Co Ltd 光センサの検出光の背景光からの分離方法
JPS61149879A (ja) 1984-12-24 1986-07-08 Meisei Electric Co Ltd 受信パルス誤検出防止装置
JP3185547B2 (ja) 1994-06-28 2001-07-11 三菱電機株式会社 距離測定装置
JPH10268067A (ja) 1997-03-25 1998-10-09 Koito Ind Ltd 積雪深計測装置
DE19730414A1 (de) * 1997-07-16 1999-01-21 Opel Adam Ag Verfahren und Vorrichtung zur vorausschauenden Fahrbahnbeurteilung
FR2770672B1 (fr) * 1997-11-04 2000-01-21 Inst Nat Rech Inf Automat Procede et dispositif de localisation et de guidage d'un mobile muni d'une camera lineaire
JP2001298655A (ja) * 2000-04-13 2001-10-26 Sony Corp 撮像装置および方法、並びに記録媒体
JP2001337166A (ja) 2000-05-26 2001-12-07 Minolta Co Ltd 3次元入力方法および3次元入力装置
JP4689813B2 (ja) 2000-11-20 2011-05-25 本田技研工業株式会社 距離測定装置
US7295186B2 (en) * 2003-01-14 2007-11-13 Avago Technologies Ecbuip (Singapore) Pte Ltd Apparatus for controlling a screen pointer that distinguishes between ambient light and light from its light source
DE10314581B9 (de) 2003-03-31 2012-05-24 Sick Ag Optoelektronisches Überwachungssystem
JP2005121398A (ja) * 2003-10-15 2005-05-12 Olympus Corp 光検出装置及びそれを用いた測距装置
JP4485887B2 (ja) 2004-09-17 2010-06-23 本田技研工業株式会社 脚式移動ロボットの力センサ異常検知装置
JP2006118924A (ja) 2004-10-20 2006-05-11 Tdk Corp パルスレーダー装置
ATE463145T1 (de) 2004-11-19 2010-04-15 Koninkl Philips Electronics Nv Rückkopplungssystem zur steuerung der lichtleistung einer led-einheit
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット

Also Published As

Publication number Publication date
JP2008197048A (ja) 2008-08-28
US8233079B2 (en) 2012-07-31
EP2112466A4 (en) 2010-03-24
US20100110280A1 (en) 2010-05-06
EP2112466A1 (en) 2009-10-28
EP2112466B1 (en) 2012-06-20
WO2008099629A1 (ja) 2008-08-21

Similar Documents

Publication Publication Date Title
JP4944635B2 (ja) 環境認識装置
US6483536B2 (en) Distance measuring apparatus and method employing two image taking devices having different measurement accuracy
JP2009053209A (ja) 3次元形状測定装置
JP2006514739A (ja) 歯科用レーザデジタイザシステム
JP2006514739A5 (ja)
JP2002131016A (ja) 距離測定装置、及び距離測定方法
JP5122729B2 (ja) 3次元形状測定方法
US9562761B2 (en) Position measuring device
KR102165091B1 (ko) 3차원 거리측정 카메라
JP2008134370A (ja) 露光装置
US20070201732A1 (en) Apparatuses, methods and computer programs for artificial resolution enhancement in optical systems
JP6630118B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2016138761A (ja) 光切断法による三次元測定方法および三次元測定器
US10627519B2 (en) Information processing device and information processing method
JP2009085739A (ja) 形状測定装置、形状測定方法
JP2007187623A (ja) 三次元形状測定装置及び三次元形状測定方法
JP6693757B2 (ja) 距離画像生成装置および方法
JP6621568B2 (ja) 測定装置、測定方法、判断方法及びプログラム
JP2020020579A (ja) 流体速度測定方法及びシステム
JP4266286B2 (ja) 距離情報取得装置、および距離情報取得方法
KR20200032442A (ko) 자기보정이 가능한 3차원 정보 생성 장치 및 방법
JP2009186216A (ja) 3次元形状測定装置
US20150338203A1 (en) Measurement system, method for measurement
Hasegawa et al. A high speed face measurement system
JPH11148806A (ja) 三次元物体及びその表面画像の読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120215

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120302

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4944635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees