JP5792157B2 - 画像処理装置、方法、プログラム及び記録媒体 - Google Patents

画像処理装置、方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP5792157B2
JP5792157B2 JP2012505712A JP2012505712A JP5792157B2 JP 5792157 B2 JP5792157 B2 JP 5792157B2 JP 2012505712 A JP2012505712 A JP 2012505712A JP 2012505712 A JP2012505712 A JP 2012505712A JP 5792157 B2 JP5792157 B2 JP 5792157B2
Authority
JP
Japan
Prior art keywords
image
difference
along
parallax
photographing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012505712A
Other languages
English (en)
Other versions
JPWO2011115142A1 (ja
Inventor
高示 一森
高示 一森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lapis Semiconductor Co Ltd
Original Assignee
Lapis Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lapis Semiconductor Co Ltd filed Critical Lapis Semiconductor Co Ltd
Priority to JP2012505712A priority Critical patent/JP5792157B2/ja
Publication of JPWO2011115142A1 publication Critical patent/JPWO2011115142A1/ja
Application granted granted Critical
Publication of JP5792157B2 publication Critical patent/JP5792157B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は画像処理装置、方法、プログラム及び記録媒体に係り、特に、複数の撮影装置によって撮影された画像から立体物に相当する情報を抽出する画像処理装置、該画像処理装置に適用可能な画像処理方法、コンピュータを前記画像処理装置として機能させるための画像処理プログラム、及び、前記画像処理プログラムが記録された記録媒体に関する。
近年、撮影装置の小型化・高性能化・低価格化に伴い、撮影装置(によって撮影された画像)を利用可能な用途は広がってきており、その一例として、撮影装置を車両に搭載し、撮影装置が車両前方の空間を撮影することで得られた画像から、障害物等の立体物の有無や位置、距離等を検出し、必要に応じて警告を出力する等の用途に用いることも現実的となってきている。但し、撮影装置は撮影対象の三次元空間を二次元平面に画像として記録するため、撮影対象の空間に存在している立体物の三次元情報は画像上では失われる。このため、画像から立体物の検出等の空間把握は、２台の撮影装置で同一の空間を撮影することで視差に相当する差を有する一対の画像を取得し、一対の画像から視差を抽出し、抽出した視差を空間情報へ対応付けることによって行われる。
視差に相当する差を有する一対の画像からの視差の抽出には、ブロックマッチング法を用いることが一般的である。ブロックマッチング法は２つの画像中の対応する点を探索するものであり、視差に相当する差を有する一対の画像における対応点の位置の差が視差に相当する。
具体的には、一対の画像の一方を基準画像、他方を比較画像とし、基準画像中の注目画素の周囲に、例えば８×４画素程度の評価領域を設定する。また、比較画像内にも同様の評価領域を設定し、一対の評価領域の差分を画素毎に演算し、差分の絶対値を積算する評価関数(Σ|Ｌi−Ｒi|)や、差分の二乗値を積算する評価関数(Σ(Ｌi−Ｒi)2)を用いて一対の評価領域の一致度を評価することを、比較画像における評価領域の位置を移動(ラスタスキャン)させながら繰り返し、一致度が最大(評価関数の値が最小(極小))となる比較画像上の評価領域の位置を求める。この位置が基準画像中の注目画素に対する比較画像上の対応点の位置であり、基準画像上の注目画素と比較画像上の対応点との位置の差が視差に相当する。また、図１６に示すように、基準画像上の注目画素１００に対応する物体１０２との距離Ｌは、視差量Ｄ、撮影装置１０４Ｌ,１０４Ｒの焦点距離ｆ、撮影装置１０４Ｌ,１０４Ｒの距離(基線長)ｂから次の(１)式で求まる。
Ｌ＝ｂ×ｆ／Ｄ …(１)
以上の処理を、基準画像の全画素について行うことで、画像として撮影された個々の物体との距離を検出することができる。なお、図１６において、符号「１０６」は撮像面、符号「１０８」は比較画像上の対応点(対応画素)である。
上記のブロックマッチングを適用した技術として、特開２００１−９２９６８号公報(以下、特許文献１という)には、一方の撮像画像における基準画素領域内の画像データと、他方の撮像画像における基準画素領域の垂直位置に対応した水平線上の画像データとをラインメモリに記憶し、基準画素領域内の画像データと設定された探索範囲内の画像データとをラインメモリから読み出し、ステレオマッチング(ブロックマッチング)により基準画素領域の相関先を特定し、基準画素領域の水平位置を基準とした無限遠対応点のずれの程度に基づいて、基準画素領域に関する探索範囲の位置を補正する技術が開示されている。
また特開２００７−２３５６４２号公報(以下、特許文献２という)には、車両に搭載されたカメラで撮像された路面を含む第１の画像(斜方俯瞰図)を射影変換することで得られる上面図と、第１の画像とは異なるタイミングで同一のカメラで撮像された第２の画像を射影変換することで得られる上面図とを作成し、二枚の上面図を路面上の特徴的形状(例えば白線、路面と立体物との境界線、路面のテクスチャ、タイヤ止め等)に基づいてパターンマッチングにより対応させ、二枚の上面図の重複部分において差異が生じた領域を障害物と認識する技術が開示されている。
また特開２０００−２９３６９３号公報(以下、特許文献３という)には、道路平面を撮影する２台のＴＶカメラによってそれぞれ撮影された左画像、右画像を蓄積し、蓄積した左画像、右画像上に表された複数の線を抽出し、抽出した複数の線に基づいて左画像、右画像間の対応点を求め、求めた対応点に基づいて道路平面上の任意の点の左画像、右画像への投影位置の間に成り立つ関係式のパラメータを計算し、計算したパラメータにより定まる関係式に基づいて道路平面に対して異なる高さを有する領域を障害物領域として検出する障害物検出装置が開示されている。
上述したブロックマッチングは、１個の注目画素に対し、評価領域の全画素数と同数回の差分演算をラスタスキャンの回数繰り返す必要があり、この処理を基準画像の全画素について行うと演算の繰り返し回数は莫大なものとなり、演算負荷が非常に高い。特許文献１に記載の技術は、上記のブロックマッチングを行うことを前提としているので、動作周波数が高く高性能な演算装置が必要となり、装置構成が複雑でコストも嵩み、消費電力の低減も困難である、という問題がある。
また、特許文献２に記載の技術は、一対の画像の位置合わせをパターンマッチングによって行っているが、パターンマッチングに利用可能な路面上の特徴的形状として、一定の特徴的形状(例えば白線)が画像中に常に存在していることは保証されていないことから、画像に対し、パターンマッチングに利用可能な各種の特徴的形状を順に探索し、検出できた特徴的形状を用いてパターンマッチングを行っており、画像中に存在する特徴的形状の種類に応じて処理時間が変動し、その種類によっては処理時間が大幅に増大する。このため、特許文献２に記載の技術は、例えば撮影された動画像に対して立体物の検出をリアルタイムで行う等のように高速動作が要求される用途には適していない。
また、特許文献３に記載の技術は、左画像、右画像への投影位置の間に成り立つ関係式に基づいて、左画像上の任意の点Ｐ(ｕ,ｖ)が道路平面上に存在すると仮定した場合の右画像上の対応点Ｐ'(ｕ',ｖ')を求め、点Ｐと対応点Ｐ'との輝度差に基づいて点Ｐが障害物に対応するか否かを判定するものであり、上記の関係式に対しては、許容誤差１画素未満の高い精度が要求される。このため、特許文献３に記載の技術では、車両の振動や道路の傾斜等の影響を受け易く、関係式のパラメータｈを頻繁に算出し直す必要があるが、特許文献３にも記載されているように、関係式のパラメータｈを算出するためには８本の連立方程式を解いて８個の未知パラメータを算出する必要があり、非常に演算負荷が高い。従って、特許文献３に記載の技術は、高速動作と判定精度の維持を両立することが困難である、という問題がある。
本発明は上記事実を考慮して成されたもので、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現できる画像処理装置、画像処理方法及び画像処理プログラムを得ることが目的である。
本発明の第１の態様に係る画像処理装置は、視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と、前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段と、画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段と、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する生成手段と、を含んで構成されている。
本発明の第１の態様では、第１撮影装置によって第１画像が撮影されると共に、第１撮影装置と水平方向位置の異なる第２撮影装置によって第２画像が撮影されるが、第１撮影装置と第２撮影装置は水平方向位置が異なっているので、第１画像と第２画像には視差に相当する差が生じる。ここで、本発明の第１の態様では、視差に相当する、第１画像と第２画像との水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報が、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について記憶手段に各々記憶されている。また、取得手段は、第１撮影装置によって撮影された第１画像及び第２撮影装置によって撮影された第２画像を各々取得し、処理手段は、画像中の第１方向に沿った画素列の第１方向に沿った画像上の位置を、画素列の第２方向に沿った画像上の位置に対応する偏倚量情報が表す偏倚量に応じて、第１画像と第２画像とで相対的に移動させる視差補正を、画像中の第１方向に沿った各画素列に対して各々行う。
このように、本発明の第１の態様では、一対の画像上に各々設定した評価領域の一致度の演算を一方の画像上の評価領域の位置を移動させながら繰り返し、一致度が最大となる評価領域の位置を探索することで、一対の画像上の対応点を特定する、等の煩雑な処理を行うことなく、記憶手段に、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶された偏倚量情報に応じて、水平方向に対応する画像中の第１方向に沿った画素列の第１方向に沿った画像上の位置を、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の第１方向に沿った各画素列に対して各々行う、というごく簡単な処理によって視差に相当する差を補正することができる。
そして生成手段は、処理手段による視差補正を経た第１画像と第２画像との差分を表す差分情報を生成する。上記の生成手段が処理対象とする第１画像及び第２画像は処理手段による視差補正を経た画像であるので、生成手段によって生成される差分情報が表す差分は、視差に相当する差以外の第１画像と第２画像との差、すなわち第１画像中及び第２画像中に各々存在する立体物に起因する差分とみなすことができる。このように、本発明に係る処理手段及び生成手段による処理は、何れも処理負荷の低い簡単な処理な処理であり、処理時間の長時間化や装置構成の複雑化を招くことはない。従って、本発明の第１の態様によれば、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現することができる。
なお、本発明の第１の態様において、生成手段によって生成される差分情報には、第１画像及び第２画像に重畳したノイズや、第１撮影装置と第２撮影装置との相対位置の変化や、記憶手段に記憶されている偏倚量情報の精度等の様々な要因により、立体物以外に起因する差分、すなわちノイズが混入する可能性がある。一方、生成手段が、差分情報として、第１画像と第２画像との差分を画素毎に表す差分画像を生成する場合、生成された差分画像中の第１画像と第２画像との差分有りを表す差分画素のうち、立体物に起因する差分に対応している差分画素は、差分画像上で纏まって分布し、或る程度の面積(＝画素数)の領域(以下、この領域を差分領域という)を形成することが殆どである。
上記に基づき、本発明の第２の態様は、本発明の第１の態様において、生成手段は、差分情報として、第１画像と第２画像との差分を画素毎に表す差分画像を生成し、生成手段によって生成された差分画像中に存在する、第１画像と第２画像との差分有りを表す差分画素(この差分画素は、表す差分が０よりも大きい画素であってもよいし、表す差分が閾値以上の画素であってもよい：以下同様)を対象として収縮処理を行うことで、差分画像のノイズを除去する除去手段を更に備えている。これにより、立体物以外に起因する差分(ノイズ)を差分情報(差分画像)から除去することを、収縮処理という簡易な処理によって実現することができる。
また、本発明の第３の態様は、本発明の第１の態様又は第２の態様において、記憶手段に記憶されている偏倚量情報が表す偏倚量は当該偏倚量を画素数で表す偏倚量Ｄであり、偏倚量Ｄは、第１撮影装置及び第２撮影装置の設置位置における地面からの撮影光軸の高さをｈ_cam、鉛直方向に対する撮影光軸の傾斜角度をθ、光学系の焦点距離をｆ、画像の第１方向に沿った画素数をｗ、第２方向に沿った画素数をｈ、画像の第１方向に沿った撮像サイズをｗ_img、第２方向に沿った撮像サイズをｈ_img、第２方向に沿った画像上の位置(画素数)をＰ、第１撮影装置と第２撮影装置の撮影光軸の距離である基線長をｂとしたときに、
Ｄ＝ｂ×ｆ／Ｌ_cam×(ｗ／２)／(ｗ_ing／２) …(１)
但し、Ｌ_camは、地面上に位置しかつ第２方向に沿って画像上の位置(画素数)Ｐに結像する物体と、第１撮影装置又は第２撮影装置との直線距離、Ｌは前記物体と第１撮影装置又は第２撮影装置との距離であり、
Ｌ_cam＝√(ｈ_cam2＋Ｌ2)×cos(tan-1(Ｌ／ｈ_cam)−θ) …(２)
Ｌ＝tan(tan-1((Ｐ−(ｈ／２))×(ｈ_img／２)／(ｈ／２)／ｆ)＋θ)×ｈ_cam …(３)
上記(１)〜(３)式の演算を行うことで予め導出される。
上記の(１)〜(３)式の演算は、例えば特許文献３に記載されている、８本の連立方程式を解いて８個の未知パラメータを算出する等の演算と比較して極めて簡単な演算であり、偏倚量Ｄを再演算して記憶手段に記憶されている偏倚量情報を更新する処理を行う場合にも、ごく短時間で処理を完了させることができる。
また、本発明の第４の態様は、本発明の第１〜第３の態様の何れかにおいて、偏倚量情報は、第１方向に沿った画像上の各位置における前記偏倚量を画素数で表す情報であり、処理手段は、第１画像又は第２画像の出力を画素単位で遅延させる遅延手段を備え、第１画像及び第２画像を画素単位で並列に生成手段へ出力するにあたり、出力対象の画素列の第１方向に沿った画像上の位置に対応する前記偏倚量が表す画素数分だけ、第１画像の出力又は第２画像の出力を遅延手段によって相対的に遅延させる視差補正を、出力対象の画素列の第１方向に沿った画像上の位置の変化に応じて遅延手段による遅延画素数を切替えながら行う。これにより、例えば第１画像及び第２画像のデータを一旦メモリ等に記憶させた後に、第１方向に沿った画素列単位で記憶位置を相対的に移動させて上記の視差補正を行う等の態様と比較して、視差補正を短時間で完了させることができる。
また、本発明の第５の態様は、本発明の第４態様において、遅延手段は、第１画像又は第２画像の出力を１画素分遅延させる遅延部が直列に複数接続されて構成されており、処理手段は、出力対象の画素列の第１方向に沿った画像上の位置に対応する前記偏倚量が表す画素数に対応する数の遅延部を通過したデータを、第１画像又は第２画像として出力するデータとして選択することで、第１画像又は第２画像として出力するデータを前記画素数分だけ遅延させる。
また、本発明の第６の態様は、本発明の第１〜第５の態様の何れかにおいて、処理手段は、第１方向に沿った画像上の位置が、予め設定された水平線に相当する位置よりも鉛直方向上側に対応する範囲に位置している画素列を視差補正の対象から除外する。
また、本発明の第７の態様は、本発明の第１〜第６の態様の何れかにおいて、取得手段によって取得された第１画像及び第２画像に対し、第１撮影装置と第２撮影装置の水平方向に沿った撮影範囲の相違、撮影倍率の相違、撮影光軸回りの回転角の相違、及び、輝度の相違、の少なくとも１つを補正する補正手段を更に備え、処理手段は、補正手段による前記補正を経た第１画像及び第２画像に対して視差補正を行う。これにより、差分情報として、第１撮影装置と第２撮影装置の水平方向に沿った撮影範囲の相違、撮影倍率の相違、撮影光軸回りの回転角の相違、及び、輝度の相違、の少なくとも１つに起因する差分が除去された情報が得られる。なお、第１撮影装置と第２撮影装置の水平方向に沿った撮影範囲の相違については、補正手段で補正することに代えて、処理手段が視差補正を行う際に同時に補正するように構成することも可能である。
また、本発明の第８の態様は、本発明の第１〜第７の態様の何れかにおいて、生成手段によって生成された差分情報に基づいて、第１撮影装置及び第２撮影装置の撮影範囲内に各々存在している立体物を検出する立体物検出手段を更に備えている。前述のように、生成手段によって生成される差分情報は立体物に相当する情報(立体物に起因する差分を表す情報)であるので、この差分情報を用いて立体物の検出を行うことで、少なくとも、第１撮影装置及び第２撮影装置の撮影範囲内における立体物の有無を簡易な処理で検出することができる。
また、本発明の第９の態様は、本発明の第８の態様において、立体物検出手段による立体物の検出結果を出力する出力手段を更に備えている。出力手段による検出結果の出力形態は、立体物の検出結果を表す文字や画像、図形等を表示手段に表示させることで検出結果を出力する形態であってもよいし、立体物の検出結果を音声で出力する形態であってもよい。
また、生成手段が、差分情報として第１画像と第２画像との差分を画素毎に表す差分画像を生成する場合、前述のように、立体物に起因する差分を表す差分画素は差分画像上で纏まって分布し、或る程度の面積(＝画素数)の差分領域を形成する。このため、本発明の第１０の態様は、本発明の第８又は第９の態様において、生成手段は、差分情報として第１画像と第２画像との差分を画素毎に表す差分画像を生成し、立体物検出手段は、生成手段によって生成された前記差分画像中に存在する、第１画像と第２画像との差分有りを表す差分画素の差分画像上での分布に基づいて、差分画像から立体物に相当する画像領域を抽出することで、立体物に相当する画像領域の画像上での位置を検出する。これにより、立体物の位置(より詳しくは立体物に相当する画像領域の画像上での位置)の検出を簡易な処理によって実現することができる。
また、生成手段が、差分情報として第１画像と第２画像との差分を画素毎に表す差分画像を生成する場合、前述のように、立体物に起因する差分を表す差分画素は差分画像上で纏まって分布し、或る程度の面積(＝画素数)の差分領域を形成するが、この差分領域は立体物のエッジに沿った線状の領域となることが多く、また、この線状の差分領域の幅は撮影装置と立体物との距離に応じて変化し、撮影装置と立体物との距離が大きくなるに従って線状の差分領域の幅は狭くなる。このため、本発明の第１１の態様は、本発明の第８又は第９の態様において、生成手段は、差分情報として第１画像と第２画像との差分を画素毎に表す差分画像を生成し、立体物検出手段は、生成手段によって生成された差分画像から立体物に相当する画像領域を抽出し、抽出した個々の画像領域内に存在する、第１画像と第２画像との差分有りを表す差分画素から成る線状の差分領域の幅に基づいて、個々の画像領域に対応する立体物との距離を検出する。これにより、個々の画像領域に対応する立体物との距離の検出を簡易な処理によって実現することができる。
また、本発明の第１２の態様は、本発明の第８、第９及び第１１の態様の何れかにおいて、生成手段は、差分情報として、第１画像と第２画像との差分を画素毎に表す差分画像を生成し、立体物検出手段は、生成手段によって生成された差分画像から立体物に相当する画像領域を抽出し、差分画像中に存在する、第１画像と第２画像との差分有りを表す差分画素を対象として収縮処理を行うことを、抽出した個々の画像領域内に存在する差分画素から成る線状の差分領域が消滅したか否かを個々の画像領域毎に判定しながら繰り返し、線状の差分領域が個々の画像領域から消滅した時点での収縮処理の実行回数に基づいて、個々の画像領域に対応する立体物との距離を検出する。
また、本発明の第１３の態様は、本発明の第９の態様において、生成手段は、差分情報として、第１画像と第２画像との差分を画素毎に表す差分画像を生成し、立体物検出手段は、差分画像中に存在する、第１画像と第２画像との差分有りを表す差分画素を対象として収縮処理を複数回行うと共に、差分画素から成る線状の差分領域が前記差分画像から消滅したか否かを判定し、出力手段は、線状の差分領域が差分画像から消滅した時点での収縮処理の実行回数が閾値未満か否か、又は、収縮処理を所定回実行した時点で線状の差分領域が差分画像から消滅したか否かに応じて、立体物検出信号を出力するか否か、又は、出力する立体物検出信号の種類を切り替える。本発明の第１３の態様は、本発明の第１１又は第１２の態様のように、画像として撮影された個々の立体物との距離を検出することに代えて、画像として撮影された個々の立体物のうち最も近くに存在している立体物との距離レンジ(およその距離)を検出する場合に好適であり、画像として撮影された個々の立体物のうち最も近くに存在している立体物との距離レンジ(およその距離)を簡易な処理で検出し、立体物検出信号を出力の有無、又は、出力する立体物検出信号の種類によって通知することができる。
また、生成手段によって生成される差分情報は、第１撮影装置と第２撮影装置との相対位置の変化や、本発明の第７の態様における補正手段による補正処理の精度の変化に応じて、立体物以外に起因する差分(ノイズ)の混入量が変化する。これを考慮し、本発明の第１４の態様は、本発明の第１〜第１３の態様の何れかにおいて、生成手段は、差分情報として第１画像と第２画像との差分を画素毎に表す差分画像を生成し、生成手段によって生成された差分画像中に存在する、第１画像と第２画像との差分有りを表す差分画素の数を計数し、計数結果を出力する画素数計数手段を更に備えている。これにより、第１撮影装置と第２撮影装置との相対位置の調整や、補正手段による補正処理のパラメータの調整を行うに際し、調整の都度、差分画素の数の計数結果を確認し、差分画素の数が極小となるように調整することで、第１撮影装置と第２撮影装置との相対位置や、補正手段による補正処理のパラメータが最適となるように調整することを容易に実現することができる。
また、本発明の第１５の態様は、本発明の第１４の態様において、画素数計数手段は、差分画像のうち指定手段を介して指定された領域内に存在する差分画素の数を計数する。これにより、差分画像のうちの任意の領域を評価対象として第１撮影装置と第２撮影装置との相対位置の調整や、補正手段による補正処理のパラメータの調整を行うことが可能となる。
ところで、生成手段が差分情報として差分画像の生成を行った場合、立体物に起因する差分成分は差分画像上で立体物の輪郭に相当する線として現れる。しかしながら、例えば撮影時の被写体に対する照明の照度が比較的低い等の理由で、第１撮影装置によって撮影された第１画像及び第２撮影装置によって撮影された第２画像における画像中の立体物と背景領域との輝度差が小さくなってくると、処理手段による視差補正で幾何学的な視差が補正された第１画像と第２画像に対して生成手段が差分画像の生成を行った場合、立体物に起因する差分成分に相当する線の一部がノイズに埋没して差分画像上で途切れる等のように、立体物に起因する差分成分が差分画像上に明瞭に現れなくなるという問題がある。
上記を考慮し、本発明の第１６の態様は、本発明の第１〜第１５の態様の何れかにおいて、生成手段は、処理手段による視差補正を経た第１画像と第２画像との差分を画素毎に表す差分画像を生成し、生成手段によって生成される差分画像が、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像となるように構成されている。
本発明の第１６の形態では、生成手段によって生成される差分画像が、幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像となるように構成されているので、生成手段によって生成される差分画像は、第１画像と第２画像とがシフトされていない状態では差分が検出されない箇所でも差分が検出されることで、立体物に起因する差分成分を含む第１画像と第２画像との差分が、第１画像と第２画像とがシフトされていない状態よりも第１方向に強調された画像となる。これにより、立体物に起因する差分成分に相当する線の一部がノイズに埋没し、前記線の一部に途切れ等が生ずることが抑制されるので、立体物に相当する情報の抽出精度を向上させることができる。
なお、生成手段によって生成される差分画像が、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像となるように構成することは、例えば以下で説明する第１７〜第１９の態様の何れかによって実現できる。
すなわち、本発明の第１７の態様は、本発明の第１６の態様において、記憶手段に記憶されている偏倚量情報が表す偏倚量が前記幾何学的な視差に相当する偏倚量とされ、処理手段は、第１画像及び第２画像に対して視差補正を行う前又は視差補正を行った後に、第１画像と第２画像とを予め設定されたシフト量だけ第１方向に沿って相対的にシフトさせる。上記構成により、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像が生成される。
本発明の第１７の態様は、第１画像と第２画像とを第１方向に沿って相対的にシフトさせることを画像データに対する処理によって実現できるので、用途等に応じてシフト量を変更設定することを容易に実現できる、という利点を有する。
また、本発明の第１８の態様は、本発明の第１６の態様において、記憶手段に記憶されている偏倚量情報が表す偏倚量が、幾何学的な視差に相当する偏倚量に予め設定されたシフト量に相当する偏倚量を加えた偏倚量とされているか、又は、記憶手段に記憶されている偏倚量情報が表す偏倚量が、幾何学的な視差に相当する偏倚量とされ、処理手段による視差補正に用いられる前にシフト量に相当する偏倚量が加えられる。上記構成によっても、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像が生成される。
本発明の第１８の態様は、処理手段による視差補正に用いられる偏倚量情報に第１画像と第２画像とのシフト量が含まれているので、処理手段による視差補正で第１画像と第２画像とのシフトも同時に行われ、生成手段の構成を変更する必要が無くなる、という利点を有する。
また、本発明の第１９の態様は、本発明の第１６の態様において、記憶手段に記憶されている偏倚量情報が表す偏倚量が幾何学的な視差に相当する偏倚量とされ、第１撮影装置及び第２撮影装置は、第１撮影装置の撮影光軸と第２撮影装置の撮影光軸との間隔が、第１撮影装置及び第２撮影装置から離れるに従って大きくなる向きとされ、第１画像と第２画像とが、予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態となるように向きが調整されている。上記構成によっても、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像が生成される。
本発明の第１９の態様は、第１画像と第２画像とを第１方向に沿って相対的にシフトさせることを、第１撮影装置及び第２撮影装置の向きを調整することで実現しているので、用途等に応じてシフト量を変更設定することは困難であるが、本発明の第１８の態様と同様に、生成手段の構成を変更する必要が無くなる、という利点を有する。
また、本発明の第２０の態様は、本発明の第１６〜第１９の態様の何れかにおいて、前記生成手段によって生成された前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素を対象として、前記第２方向に沿った収縮処理を第１回数だけ実行すると共に、前記第１方向に沿った収縮処理を、前記第１回数よりも多い第２回数実行する収縮処理手段を更に備えている。
上記のように、生成手段によって生成される差分画像が、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像となるように構成した場合、差分画像は、立体物に起因する差分成分を含む第１画像と第２画像との差分が、第１画像と第２画像とがシフトされていない状態よりも第１方向に強調された画像となる。これに対し、本発明の第２０の態様は、第１方向に沿った収縮処理の実行回数を第２方向に沿った収縮処理の実行回数よりも多くしているので、第１画像と第２画像との差分が未強調の第２方向について収縮処理が過度に実行されることで、立体物の検出精度の低下等を招くことを抑制することができる。なお、収縮処理手段による収縮処理は、本発明の第２、第１２、第１３の態様と同様に、ノイズ除去や立体物との距離検出に適用することができる。
また、本発明の第２１の態様は、本発明の第１６〜第１９の態様の何れかにおいて、シフト量は、幾何学的な視差に相当する偏倚量の最大値の１／２以下の大きさに設定されている。
本発明の第２２の態様は、本発明の第１の態様において、前記記第１撮影装置及び前記第２撮影装置は、前記第１撮影装置の撮影光軸と前記第２撮影装置の撮影光軸との間隔が、前記第１撮影装置及び前記第２撮影装置から離れるに従って大きくなる向きとされている。これにより、本発明の第１９の態様と同様に、立体物に相当する情報の抽出精度を向上させることを、生成手段の構成を変更することなく実現できる。
本発明の第２３の態様に係る画像処理方法は、記憶手段は、視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶し、取得手段は、前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得し、処理手段は、画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行い、生成手段は、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成するので、本発明の第１の態様と同様に、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現することができる。
本発明の第２４の態様に係る画像処理プログラムは、視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と接続されたコンピュータを、前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段、画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段、及び、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する生成手段として機能させる。
本発明の第２４の態様に係る画像処理プログラムは、上記の記憶手段と接続されたコンピュータを、上記の取得手段、処理手段及び生成手段として機能させるためのプログラムであるので、上記コンピュータが本発明の第２４の態様に係る画像処理プログラムを実行することで、上記コンピュータが本発明の第１の態様に係る画像処理装置として機能することになり、本発明の第１の態様と同様に、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現することができる。
本発明の第２５の態様に係る記録媒体は、視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と接続されたコンピュータを、前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段、画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段、及び、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する生成手段として機能させるための画像処理プログラムが記録されている。
本発明の第２５の態様に係る記録媒体に記録された画像処理プログラムは、上記の記憶手段と接続されたコンピュータを、上記の取得手段、処理手段及び生成手段として機能させるためのプログラムであるので、上記コンピュータが本発明の第２５の態様に係る記録媒体から画像処理プログラムを読み出して実行することで、上記コンピュータが本発明の第１の態様に係る画像処理装置として機能することになり、本発明の第１の態様と同様に、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現することができる。
以上説明したように本発明は、視差に相当する、第１撮影装置によって撮影された第１画像と、第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶しておき、第１画像及び第２画像を各々取得し、画像中の第１方向に沿った画素列の第１方向に沿った画像上の位置を、前記画素列の第２方向に沿った画像上の位置に対応する偏倚量情報が表す偏倚量に応じて、第１画像と第２画像とで相対的に移動させる視差補正を、画像中の第１方向に沿った各画素列に対して各々行い、視差補正を経た第１画像と第２画像との差分を表す差分情報を生成するようにしたので、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現できる、という優れた効果を有する。
立体物検出装置の概略構成を示すブロック図である。 第１実施形態で説明した差分画像生成部の概略構成図である。 単眼の撮影装置で撮影される画像の一例を示すイメージ図である。 左側の撮影装置で撮影される画像の一例を示すイメージ図である。 右側の撮影装置で撮影される画像の一例を示すイメージ図である。 右側の画像に対する視差補正の一例を示すイメージ図である。 右側の画像に対する視差補正結果の一例を示すイメージ図である。 左側の画像と視差補正後の右側の画像との差分画像の一例を示すイメージ図である。 視差量情報を算出するための演算式を説明するために、撮影装置と撮影対象との幾何学的な位置関係を示す説明図である。 視差量情報を算出するための演算式を説明するために、撮影装置によって撮影される画像の一例を示すイメージ図である。 画像上のＹ座標値と視差量との関係の一例を示す線図である。 撮影画像(左側画像)の一例を示すイメージ図である。 撮影画像(右側画像)の一例を示すイメージ図である。 差分画像の一例を示すイメージ図である。 差分画像の一例を示すイメージ図である。 差分画像に対するノイズ除去結果の一例を示すイメージ図である。 距離検出用繰り返し収縮処理実行前の状態の一例を示すイメージ図である。 繰り返し収縮処理回数＝ｎ1の状態の一例を示すイメージ図である。 繰り返し収縮処理回数＝ｎ2（＞ｎ1)の状態の一例を示すイメージ図である。 繰り返し収縮処理回数＝ｎ3（＞ｎ2)の状態の一例を示すイメージ図である。 差分画像を用いたキャリブレーション作業の評価を説明するためのイメージ図である。 差分画像を用いたキャリブレーション作業の評価を説明するためのイメージ図である。 差分画像を用いたキャリブレーション作業の評価を説明するためのイメージ図である。 差分画像を用いたキャリブレーション作業の評価を説明するためのイメージ図である。 撮影画像の一例を示すイメージ図である。 撮影画像の一例を示すイメージ図である。 撮影画像の一例を示すイメージ図である。 図９Ａの撮影画像に対応する差分画像の一例を示すイメージ図である。 図９Ｂの撮影画像に対応する差分画像の一例を示すイメージ図である。 図９Ｃの撮影画像に対応する差分画像の一例を示すイメージ図である。 第２実施形態で説明した差分画像生成部の一例を示す概略構成図である。 単眼の撮影装置で撮影される画像の一例を示すイメージ図である。 左側の撮影装置で撮影される画像の一例を示すイメージ図である。 右側の撮影装置で撮影される画像の一例を示すイメージ図である。 右側画像に対するシフトの一例を示すイメージ図である。 シフト後の右側画像に対する視差補正の一例を示すイメージ図である。 シフト後の右側画像に対する視差補正結果の一例を示すイメージ図である。 左側画像とシフト及び視差補正後の右側画像との差分画像の一例を示すイメージ図である。 画像シフトを行わずに繰り返し収縮処理を行った場合の処理結果の推移の一例を示すイメージ図である。 画像シフト後に繰り返し収縮処理を行った場合の処理結果の推移の一例を示すイメージ図である。 第２実施形態で説明した差分画像生成部の他の例を示す概略構成図である。 視差補正で画像シフトも同時に行う態様における視差量情報の内容の一例を示す線図である。 撮影装置の向き調整によって画像シフトを実現する態様における視差量情報の内容の一例を示す線図である。 視差に基づく物体との距離の演算を説明するための概略図である。
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
〔第１実施形態〕
図１には本実施形態に係る撮影装置１０Ｌ,１０Ｒと、撮影装置１０Ｌ,１０Ｒに接続され撮影装置１０Ｌ,１０Ｒによって撮影された画像中の立体物を検出する立体物検出装置１２と、が示されている。
撮影装置１０Ｌ,１０Ｒは動画像を撮影可能で光学特性が揃った撮影装置であり、立体物検出装置１２による検出対象の立体物を撮影可能な箇所に、当該立体物を撮影可能な向きで設置される。なお、撮影装置１０Ｌ,１０Ｒの具体的な設置箇所は立体物検出装置１２の用途に応じて定まり、例えば、立体物検出装置１２が車両の前方の空間に存在する立体物(障害物)の検出に用いられる場合、撮影装置１０Ｌ,１０Ｒは、車両のうち、当該車両の前方の空間を撮像可能な箇所に、車両の前方の空間を撮像する向きで設置される。
また撮影装置１０Ｌ,１０Ｒに対しては、所定箇所に設置された後、地面からの高さ(設置位置における地面からの撮影光軸の高さｈ_cam)が等しく(撮影装置１０Ｌ,１０Ｒを結ぶ直線が地面と平行)、かつ各々の撮影光軸が所定の間隔(基線長ｂ：例えば人間の両目と同様に７cm程度)を隔てて平行となるように、相対位置及び向きを調整すると共に、撮影光軸のねじれや倍率の相違を大まかに補正するキャリブレーション作業が行われる。上記のキャリブレーション作業を経た撮影装置１０Ｌ,１０Ｒは同期して動作し、撮影装置１０Ｌ,１０Ｒによる撮影によって得られた画像データ(動画像データ)は立体物検出装置１２へ順に出力される。
なお、撮影装置１０Ｌ,１０Ｒは経時的に相対位置のずれ等が生じないように、互いに連結されて一体化されていることが望ましく、市販のステレオカメラ(例えば富士フイルム社製のFinePix 3D等)を撮影装置１０Ｌ,１０Ｒとして用いることも可能である。撮影装置１０Ｌ,１０Ｒは、第１撮影装置及び第２撮影装置の一例である。
また、立体物検出装置１２は、前画像処理部１４、視差補正部１６、差分画像生成部１８、後画像処理部２０、差分画像解析部２２及び解析結果出力部２４を備えており、これらは順に接続されている。なお、視差補正部１６は本発明に係る処理手段の一例、差分画像生成部１８は本発明に係る生成手段の一例、後画像処理部２０は本発明の第２の態様に係る除去手段の一例、前画像処理部１４は本発明の第７の態様に係る補正手段の一例、差分画像解析部２２は本発明の第８の態様等に係る立体物検出手段の一例、解析結果出力部２４は本発明の第９の態様等に係る出力手段の一例であり、撮影装置１０Ｌ,１０Ｒと立体物検出装置１２を接続する信号線は本発明に係る取得手段の一例である。
また、立体物検出装置１２は、不揮発性の記憶部２８を内蔵した装置制御部２６を備えている。装置制御部２６は、前画像処理部１４、視差補正部１６、差分画像生成部１８、後画像処理部２０、差分画像解析部２２及び解析結果出力部２４と各々接続されており、これらの動作を制御する。
図２に示すように、視差補正部１６には、撮影装置１０Ｌ,１０Ｒから立体物検出装置１２に入力され、前画像処理部１４による補正処理(後述)を経た画像データが、前画像処理部１４から１画素単位でラスタスキャン順に入力される。視差補正部１６は、１画素分のデータを保持可能な複数のラッチ３２が直列に接続されて成るラッチ群３４,３６を備えており、ラッチ群３４には撮影装置１０Ｌから入力された画像データが入力され、ラッチ群３６には撮影装置１０Ｒから入力された画像データが入力される。図示は省略するが、個々のラッチ３２には画素クロックが各々入力され、画素クロックと同期したタイミングで、保持している１画素分のデータを後段のラッチ３２へ出力すると共に、前段のラッチ３２から入力された１画素分の新たなデータを保持することを繰り返す。なお、ラッチ群３４,３６は本発明の第４の態様に係る遅延手段の一例であり、個々のラッチ３２は本発明の第５の態様に係る遅延部の一例である。
また、ラッチ群３４の個々のラッチ３２はセレクタ３８に各々接続されており、ラッチ群３６の個々のラッチ３２はセレクタ４０に各々接続されている。セレクタ３８,４０はデータ出力端が差分画像生成部１８に接続されていると共に、制御信号入力端が視差補正制御部４２に接続されており、視差補正制御部４２は視差情報記憶部４４及び前画像処理部１４に接続されている。視差情報記憶部４４は装置制御部２６に接続されており、装置制御部２６によって視差量情報が書き込まれる。なお、詳細は後述するが、この視差量情報は本発明に係る偏倚量情報の一例であり、装置制御部２６によって書き込まれた視差量情報を記憶する視差情報記憶部４４は本発明に係る記憶部の一例である。
視差補正制御部４２は、視差情報記憶部４４に記憶されている視差量情報に基づき、セレクタ３８に対し、ラッチ群３４の個々のラッチ３２から各々入力されるデータのうちの何れのデータを出力するか選択する選択信号を出力し、セレクタ４０に対しても、ラッチ群３６の個々のラッチ３２から各々入力されるデータのうちの何れのデータを出力するか選択する選択信号を出力すると共に、前画像処理部１４から入力されるライン同期信号に同期したタイミングで、セレクタ３８,４０へ出力する選択信号を切り替える。
次に本第１実施形態の作用として、立体物検出装置１２の各ブロックにおける処理を順に説明する。前画像処理部１４は、撮影装置１０Ｌ,１０Ｒから立体物検出装置１２に入力された画像データに対し、撮影装置１０Ｌ,１０Ｒの水平方向(画像上の左右方向)に沿った撮影範囲の相違を補正するオフセット補正処理、撮影装置１０Ｌ,１０Ｒの撮影倍率の相違を補正する倍率補正処理、撮影装置１０Ｌ,１０Ｒの撮影光軸回りのねじれ(回転角)の相違を補正するねじれ補正処理、撮影装置１０Ｌ,１０Ｒによって撮影された画像の輝度の相違を補正する輝度補正処理、広角レンズを用いて撮影された場合の歪みの相違を補正する歪み補正処理、及び、ノイズを低減するノイズ低減補正処理、の少なくとも１つを行う。
上記各補正処理のうち、後段の視差補正処理に関連するオフセット補正処理について説明する。撮影装置によって撮影される画像上では、図３Ａ〜図３Ｃにも示すように、平行線が幾何学的な無限遠点(消失点)で交わるので、撮影装置１０Ｌ,１０Ｒによって撮影された画像を重ね合わせると、無限遠(消失点より画像の上下方向(Ｙ方向)で上側の範囲) に位置する被写体は理論上は一致するが、実際にはずれが生ずる。これは、撮影装置１０Ｌ,１０Ｒの撮影光軸が平行でないことを主因として、撮影装置１０Ｌ,１０Ｒの水平方向に沿った撮影範囲が相違しているためであり、キャリブレーション作業による機械的な調整で解消可能であるが、前画像処理部１４のオフセット補正処理では、キャリブレーション作業による調整で補正し切れなかった残差を、撮影装置１０Ｌ,１０Ｒから入力された画像の一方を画像の左右方向(Ｘ方向)にシフトさせることによって補正する。
このオフセット補正処理により、撮影装置１０Ｌ,１０Ｒの撮影光軸が平行から若干ずれていたとしても、無限遠の距離における撮影装置１０Ｌ,１０Ｒの水平方向に沿った撮影範囲を見掛け上一致させることができ、撮影装置１０Ｌ,１０Ｒによって撮影された画像は、両画像を重ね合わせたときに、無限遠(消失点より画像の上下方向(Ｙ方向)で上側の範囲)に位置する被写体は精度良く一致し、撮影装置との距離が小さい被写体ほど(画像上の位置が上下方向の下側へ偏倚している被写体ほど)位置ずれが大きくなる、幾何学的に正しい画像となるように補正されることになる。
なお、オフセット補正処理は、前画像処理部１４では行わずに、視差補正部１６で行われる視差補正処理に含める(一括して行う)ことも可能である。また、立体物検出装置１２による立体物検出に対する要求精度等に応じて、先に挙げた各補正処理のうち前画像処理部１４で実行させる補正処理を装置制御部２６が選択するようにしてもよい。
続いて、視差補正部１６による視差補正について説明する。図３Ａには単眼の撮影装置によって撮影されることで得られる画像の一例を示し、図３Ｂ,図３Ｃには、本第１実施形態に係る撮影装置１０Ｌ,１０Ｒによって同一の撮影範囲が撮影されることで得られる画像(但し、前画像処理部１４によるオフセット補正後の画像)の一例を各々示す。
図３Ｂ,図３Ｃに示す画像を比較しても明らかなように、撮影装置１０Ｌによって撮影された画像と撮影装置１０Ｒによって撮影された画像との間には視差に相当する差が生じるが、この視差に相当する差は、撮影装置１０Ｌ,１０Ｒの幾何学的な位置関係(設置位置が基線長ｂだけ離れていること)に起因して生じるので、一方の画像に幾何学的な変換を行うことで視差に相当する差をキャンセルする(例えば撮影装置１０Ｒによって撮影された画像を、撮影装置１０Ｌによって撮影されたかのような画像に変換する)ことは可能である。
この変換(視差補正)は、例えば図３Ｃに示す画像に対し、例として図３Ｄに示すように、画像のＸ方向（左右方向)に沿った個々の画素列のＸ座標値の変更量(画像の左右方向の移動量)を、消失点(無限遠点)より上の範囲ではゼロ、消失点より下の範囲では画像のＹ方向に沿った消失点との距離に比例して大きくすることにより実現することができるが、このＸ座標値の変更量(図３Ｄに示す破線の矢印の長さ)は、視差量Ｄ(本発明における偏倚量Ｄ)に等しい。
図４Ａ,図４Ｂにも示すように、画像中のＹ座標値(画素数)＝Ｐの位置(図４Ａ,図４Ｂに黒丸で示す位置)における視差量Ｄは、撮影装置１０Ｌ,１０Ｒの設置位置における地面からの撮影光軸の高さをｈ_cam、鉛直方向に対する撮影光軸の傾斜角度をθ、撮影装置１０Ｌ,１０Ｒの光学系の焦点距離をｆ、画像のＸ方向に沿った画素数をｗ、Ｙ方向に沿った画素数をｈ、画像のＸ方向に沿った撮像サイズをｗ_img、Ｙ方向に沿った撮像サイズをｈ_img、撮影装置１０Ｌ,１０Ｒの基線長をｂとしたときに、
Ｄ＝ｂ×ｆ／Ｌ_cam×(ｗ／２)／(ｗ_ing／２) …(１)
で求まり、上記(１)式におけるＬ_camは、地面上に位置しかつＹ方向に沿って画像上の位置Ｐに結像する物体と、撮影装置１０Ｌ,１０Ｒとの直線距離であり、
Ｌ_cam＝√(ｈ_cam2＋Ｌ2)×cos(tan-1(Ｌ／ｈ_cam)−θ) …(２)
で求まる。また、上記(２)式におけるＬは前記物体と撮影装置１０Ｌ,１０Ｒとの距離であり、撮影光軸と地面との交点(図４Ａ,図４Ｂに星印で示す位置)は、画像上でのＹ座標値が"ｈ／２"となることから(図４Ｂ参照)、
Ｌ＝tan(tan-1((Ｐ−(ｈ／２))×(ｈ_img／２)／(ｈ／２)／ｆ)＋θ)×ｈ_cam …(３)
で求まる。
一例として、撮影装置１０Ｌ,１０Ｒの設置位置における地面からの撮影光軸の高さｈ_cam＝0.6ｍ、鉛直方向に対する撮影光軸の傾斜角度θ＝75°、撮影装置１０Ｌ,１０Ｒの光学系の焦点距離ｆ＝35mm、画像のＸ方向に沿った画素数ｗ＝640、Ｙ方向に沿った画素数ｈ＝480、画像のＸ方向に沿った撮像サイズ(35mm写真フイルム換算)ｗ_img＝36mm、Ｙ方向に沿った撮像サイズ(35mm写真フイルム換算)ｈ_img＝27mmの条件で、上記(１)〜(３)式から求まるＹ座標値Ｐと視差量Ｄとの関係を図４Ｃに示す。この例では、Ｙ座標値Ｐが無限遠点(消失点)のＹ座標値405以下の範囲において、視差量Ｄが、無限遠点(消失点)のＹ座標値405とＹ座標値Ｐとの偏差に比例している。
本第１実施形態に係る視差量情報は、画像のＹ方向に沿った各位置(但し消失点のＹ座標値以下の範囲)における視差量Ｄを表す情報であり、装置制御部２６は、記憶部２８に予め記憶された各パラメータ(ｈ_cam,θ,ｆ,ｗ,ｈ,ｗ_img,ｈ_img,ｂ)に基づき、画像のＹ方向に沿った各位置(但し消失点のＹ座標値以下の範囲)について(１)〜(３)式の演算を各々行い、演算によって得られた視差量ＤをＹ座標値と対応付けることで、上記の視差量情報を事前に生成し、生成した視差量情報を視差補正部１６の視差情報記憶部４４に事前に書き込む。
また、視差補正部１６の視差補正制御部４２は、前画像処理部１４による補正処理を経た画像データが前画像処理部１４から１画素単位でラスタスキャン順に入力される際に、当該画像データと同期して前画像処理部１４から入力されるライン同期信号に基づいて、これから前画像処理部１４より入力される１ライン(画像のＸ方向に沿った１画素列)分の画像データの画像上でのＹ座標値を認識し、視差情報記憶部４４に記憶されている視差量情報から、認識したＹ座標値と対応付けられた視差量Ｄを読み出す。
そして視差補正制御部４２は、撮影装置１０Ｌによって撮影された画像(以下、左側画像という)と撮影装置１０Ｒによって撮影された画像(以下、右側画像という)のうち、無限遠点よりも近距離に位置している同一の物体の像が、視差によりラスタスキャン方向の上流側に偏倚している画像のデータの出力が、読み出した視差量Ｄだけ相対的に遅延するように、セレクタ３８,４０の一方には遅延画素数＝視差量Ｄを表す選択信号を出力し、他方には遅延画素数＝０を表す選択信号を出力する。図３Ｂ,図３Ｃを比較しても明らかなように、本第１実施形態において、無限遠点よりも近距離に位置している同一の物体の像が、視差によりラスタスキャン方向の上流側に偏倚している画像は、撮影装置１０Ｒによって撮影された右側画像であり、本第１実施形態では、左側画像の画像データを出力するセレクタ３８には遅延画素数＝０の選択信号が出力され、右側画像の画像データを出力するセレクタ４０には遅延画素数＝視差量Ｄの選択信号が出力されることになる。
選択信号が入力されたセレクタ３８,４０は、入力された選択信号が表す遅延画素数が０であれば、最前段のラッチ３２から出力された画像データを差分画像生成部１８へ出力し、入力された選択信号が表す遅延画素数が１以上(＝視差量Ｄ)であれば、Ｄ＋１番目のラッチ３２から出力された画像データを差分画像生成部１８へ出力する。これにより、遅延画素数＝視差量Ｄを表す選択信号が入力されたセレクタに対応する画像データの１ラインは、画像上の位置がラスタスキャン方向下流側へ画素数Ｄだけ相対的に移動される。
更に、視差補正制御部４２は、上記のＹ座標値の認識、対応する視差量Ｄの読み出し、セレクタ３８,４０への選択信号の出力を、前画像処理部１４からライン同期信号が入力される毎に行う。これにより、セレクタ４０に選択信号として入力される遅延画素数(＝視差量Ｄ)は、前画像処理部１４から入力される１ライン分の画像データの画像上でのＹ座標値の変化に対し、図４Ｃに示すように変化することになり、例として図３Ｃに示す画像は、図３Ｄに示す視差補正を経て図３Ｅに示すような画像に変換されることになる。上記の視差補正は、視差情報記憶部４４に記憶された視差量情報に基づいて、左側画像及び右側画像のうちの一方の画像に対し、Ｘ方向に沿った画素列の画像上の位置をＸ方向に移動させることを、各画素列のＹ座標値に応じて移動量(遅延画素数)を切り替えながら行う、という極めて簡単な処理によって実現できるので、高性能な演算装置等を必要とすることなく、後述する差分画像の生成や差分画像に対する解析等の各処理を含め、動画像に対してもリアルタイムで処理を行うことができる。
なお、前述のように、上記の視差補正と同時にオフセット補正も行うようしてもよく、これは、遅延画素数として、視差情報記憶部４４から読み出した視差量Ｄにオフセット補正量を加えた補正量を適用するように視差補正制御部４２を構成するか、又は、視差量情報に設定されている個々の視差量Ｄにオフセット補正量を一律に加えた情報を視差情報記憶部４４に書き込むように装置制御部２６を構成することによって実現できる。
また、視差量情報は、撮影装置１０Ｌ,１０Ｒの設置状況に応じて更新されることが望ましい。特に車両等に設置される場合は、振動等により設置状況が変化することが予想され、これに伴い、特に傾斜角度θ等のパラメータの変動が予想される。このような、パラメータの変動への対策として、例えばジャイロセンサ等の傾きを測定する素子を設けると共に、当該素子によって測定された傾きが各値のときの視差量情報を予め各々演算して記憶しておき、前記素子によって測定された傾きに対応する視差量情報を選択的に読み出して用いる(視差情報記憶部４４に記憶されている視差量情報に上書きして書き込む)ように構成することが望ましい。これにより、ジャイロセンサ等の素子によって測定された傾きに応じた視差補正が視差補正部１６で行われることになる。
また、視差量Ｄは、撮影装置１０Ｌ,１０Ｒによる撮影における光学条件に応じて変化するので、例えば撮影光軸の傾斜角度θや撮影光軸の高さｈ_cam等の光学条件が変更された場合、装置制御部２６は、変更後の光学条件を検知し、検知した変更後の光学条件に基づいて視差量Ｄの演算・視差量情報の生成を再度行い、生成した視差量情報を視差情報記憶部４４に記憶されている視差量情報に上書きして書き込む。これにより、変更後の光学条件に応じた視差補正が視差補正部１６で行われることになる。(１)〜(３)式による視差量Ｄの演算についても、複数の連立方程式を解く等の演算やブロックマッチングにおける繰り返し演算と比較して、極めて簡単かつ演算回数も非常に少ないので、高性能な演算装置を必要とすることなく、短時間で演算を完了させることができる。
また、変更後の光学条件は、例えば光学条件の変更作業を行った作業者が、変更後の光学条件を装置制御部２６に入力・設定する等の作業を行うことで、装置制御部２６が検知することができるが、これに限られるものではなく、例えば撮影光軸の傾斜角度θについては、傾斜角度θを検出する角度センサを設けておき、この角度センサの出力に基づいて検知することも可能である。また、複数種の光学条件について、視差量Ｄの演算・視差量情報の生成を予め行って記憶部２８に記憶させておき、装置制御部２６は、光学条件の変更時に、変更後の光学条件に対応する視差量情報を記憶部２８から読み出して視差情報記憶部４４に書き込むようにしてもよい。
次に、差分画像生成部１８による差分画像の生成について説明する。差分画像生成部１８には、視差補正を経た左側画像及び右側画像の画像データが１画素単位で並列に入力され、差分画像生成部１８は、左側画像及び右側画像の１画素分のデータが入力される毎に、入力された左側画像の１画素分のデータＬと、入力された右側画像の１画素分のデータＲとの差分の絶対値(|Ｌ−Ｒ|)を演算し、演算した差分の絶対値をその画素の輝度値とする処理を行う。
被写体として立体物が撮影されている画像において、立体物に相当する画像部の画像上での位置は、立体物の上部へ向かうに従って(地面からの高さが高くなるに従って)、視差量Ｄから算出される位置とのずれが大きくなるため、立体物が撮影されている画像に対して前述の視差補正を行うと、図３Ｃに示す画像に対して視差補正を行った結果を示す図３Ｅを参照しても明らかなように、実際には直立している立体物に相当する画像部が、視差補正後の画像上では傾斜された状態となる。
このため、差分画像生成部１８に対し、例えば左側画像の画像データとして図３Ｂに示す画像の画像データが入力され、右側画像の画像データとして、図３Ｅに示す画像の画像データが入力された場合、例として図３Ｆに示すように、二次元の要素に対応する画素は輝度０の画素として消去され、主に、画像中の立体物に相当する画素(特に立体物のエッジに相当する画素)により、大きな差分値(輝度値)を有する差分画素の集合(差分領域)が形成された差分画像が得られることになる。
また図５Ｃには、図５Ａに示す左側画像と図５Ｂに示す右側画像から、前画像処理部１４による補正処理、視差補正部１６による視差補正処理を経て、差分画像生成部１８で生成された差分画像の一例を示す。図５Ａ,図５Ｂに示す左側画像及び右側画像に被写体として存在している人物や車両等の立体物により、図５Ｃに示す差分画像上にも対応する差分領域が生じていることが確認できる。また原理的には、撮影装置と立体物との距離が小さくなるに従って視差が大きくなるが、図５Ｃに示す差分画像上では、撮影装置と立体物との距離が、対応する線状の差分領域の幅として現れていることが確認できる(撮影装置との距離がより近い人物に対応する差分領域は、線状の差分領域の幅が車両に対応する線状の差分領域の幅よりも広くなっている)。なお、図５Ｃに示す差分画像において、背景の建物や駐車場の白線に対応する差分領域は、撮影装置１０Ｌ,１０Ｒの位置ずれや特性差等に起因する誤差(ノイズ)である。
次に、後画像処理部２０による後処理について説明する。上述のように、差分画像生成部１８によって生成される差分画像には、撮影装置１０Ｌ,１０Ｒの位置ずれや特性差等を原因とするノイズが重畳されている。このため、後画像処理部２０は、差分画像生成部１８から入力された差分画像に対してノイズ除去処理を行う。ノイズ除去処理としては、公知の平滑化フィルタ等のフィルタリング処理を適用してもよいが、後画像処理部２０ではノイズ除去処理として収縮処理を行う。
収縮処理は、注目画素を中心とする周辺領域(例えば３画素×３画素の領域)内の全画素の最小値を注目画素の値として設定する画像処理であり、この収縮処理を差分画像に対して１回行うことで、差分画像中の孤立している差分画素は除去され、差分画像中の差分領域は最外周の画素が１画素幅で除去される。この収縮処理を１回以上(ノイズの混入度合いにもよるが、数回程度繰り返すことが望ましい)行うことで、図６Ａに示す差分画像に対して収縮処理によるノイズ除去を行った結果の一例を示す図６Ｂからも明らかなように、差分画像生成部１８から入力された差分画像に重畳されているノイズ(例えば図６の例では背景の建物や駐車場の白線に対応する差分領域)が除去される。
幾何学的な視差は原理的に数〜数十画素程度となるのに対し、キャリブレーションの誤差は主に撮影装置１０Ｌ,１０Ｒの位置ずれであり、撮影装置１０Ｌ,１０Ｒの位置ずれ量が視差量よりも小さければ、ノイズ除去処理として収縮処理を複数回繰り返すことで、撮影装置１０Ｌ,１０Ｒの位置ずれに起因する差分画素が完全に消去され、立体物に対応する差分領域が残存している状態にすることが可能である。従って、上記のノイズ除去処理により、撮影装置１０Ｌ,１０Ｒの位置ずれや特性差が或る程度許容されるので、キャリブレーションの簡略化や装置コストの低減を実現できる。
なお、後画像処理部２０における収縮処理を二値化と組み合わせ、差分画像生成部１８から入力された差分画像に対し、まず二値化を行った後に収縮処理を行うようにしてもよいし、後段の差分画像解析部２２が二値化された差分画像を対象として処理を行う構成であれば、差分画像に対して収縮処理を行った後に二値化を行うようにしてもよい。また、詳細は後述するが、差分画像解析部２２が立体物との距離レンジを検出する処理を行う場合、差分画像に対して収縮処理が繰り返し行われるので、この場合は後画像処理部２０によるノイズ除去処理(収縮処理)の実行を省略してもよい。
続いて、差分画像解析部２２による差分画像の解析と、解析結果出力部２４による解析結果の出力について説明する。差分画像解析部２２による差分画像の解析における処理内容は、立体物検出装置１２による立体物検出の目的や、利用者に対して提供すべき情報の種類等に応じて相違する。
例えば、立体物検出装置１２による立体物検出に対し、例えば撮影装置１０Ｌ,１０Ｒの撮影範囲内に存在している立体物(例えば障害物等)の位置を利用者へ通知することが求められている場合、差分画像解析部２２では、差分画像の解析処理として、差分画像に基づいて立体物に対応する画像領域の位置及び範囲を検出する位置検出処理が行われる。なお、この位置検出処理は、差分画像解析部２２で後述する距離レンジ検出処理が行われる場合にも、その前処理として実行される。
上記の位置検出処理では、まず差分画像の二値化が行われた後に、投影法等の公知のデータ解析方法により立体物に対応する画像領域の抽出を行う。例えば立体物に対応する画像領域を投影法によって抽出することは、二値化後の差分画像に対し、Ｘ方向に沿った各画素列について、画素列中の差分画素の数を各々計数することで、Ｙ方向についての差分画素のヒストグラムを求めると共に、Ｙ方向に沿った各画素列について、画素列中の差分画素の数を各々計数することで、Ｘ方向についての差分画素のヒストグラムを求め、Ｘ方向についての差分画素のヒストグラムで差分画素数のピークが生じているＸ座標値の範囲を、立体物に対応する画像領域のＸ座標値の範囲として抽出すると共に、Ｙ方向についての差分画素のヒストグラムで差分画素数のピークが生じているＹ座標値の範囲を、立体物に対応する画像領域のＹ座標値の範囲として抽出する処理を行うことで実現できる。なお、上記処理は本発明の第１０の態様に係る立体物検出手段による処理の一例である。
立体物の位置を利用者へ通知する場合、差分画像解析部２２からは、解析結果として、立体物に対応する画像領域のＸ座標値及びＹ座標値の範囲が解析結果出力部２４へ出力され、解析結果出力部２４は、解析結果を出力する処理として、差分画像解析部２２から入力された立体物に対応する画像領域のＸ座標値及びＹ座標値の範囲に基づき、撮影装置１０Ｌ又は撮影装置１０Ｒによって撮影された画像に対し、例えば図７Ａに示すように、立体物に対応する画像領域の範囲を明示する枠状の図形を付加した画像を生成し、生成した画像をディスプレイ等に表示させる処理を行うように構成することができる。これにより、撮影装置１０Ｌ,１０Ｒの撮影範囲内に存在している立体物の位置を利用者へ通知することができる。
また、立体物検出装置１２による立体物検出に対し、例えば撮影装置１０Ｌ,１０Ｒの撮影範囲内に存在している個々の立体物とのおおよその距離(距離レンジ：例えば距離が大／中／小の何れか等)を利用者へ通知することが求められている場合、差分画像解析部２２では、前処理として上記の位置検出処理を行った後に、位置検出処理で抽出された画像領域中に存在している立体物との距離レンジを検出するために繰り返し収縮処理が行われる。
先に説明したように、差分画像において、立体物に対応する線状の差分領域の幅は撮影装置と立体物との距離に応じて変化し、撮影装置と立体物との距離が小さくなるに従って、当該立体物に対応する線状の差分領域の幅は広くなる。繰り返し収縮処理ではこれを利用し、差分画像に対して前述の収縮処理を複数回繰り返しながら、位置検出処理で抽出された個々の画像領域内の差分領域が消失したか否かを判定する(これに代えて個々の画像領域内の差分画素の数が所定値以下になったか否かを判定してもよい)。
例えば図７Ａに示す差分画像は、立体物に対応する画像領域として、人物に対応する画像領域及び車両に対応する画像領域が各々抽出されている一方、画像中の樹木や白線も撮影装置１０Ｌ,１０Ｒの位置ずれや特性差等の影響で差分領域として抽出されている。この差分画像に対して繰り返し収縮処理を行った場合、図７Ｂに示すように収縮処理をｎ1回繰り返すと、人物に対応する線状の差分領域及び車両に対応する線状の差分領域はそれぞれ幅が狭くなる一方、画像中の樹木や白線に対応する差分領域は消失する。更に、図７Ｃに示すように収縮処理の繰り返し回数がｎ2回に達すると(ｎ2＞ｎ1)、車両に対応する差分領域も消失し、人物に対応する差分領域のみが残存している。また、図７Ｄに示すように収縮処理をｎ3回迄繰り返したとすると(ｎ3＞ｎ2)、人物に対応する差分領域も消失することになる。
以上の結果から、例えば収縮処理をｎ1回繰り返した時点で消失する差分領域はノイズとみなし、収縮処理をｎ2回繰り返した時点で消失する差分領域に対応する立体物(図７の例では車両)は「撮影装置との距離レンジ：大」と判定し、収縮処理をｎ3回繰り返した時点で消失する差分領域に対応する立体物(図７の例では人物)は「撮影装置との距離レンジ：中」と判定し、収縮処理をｎ3回繰り返しても差分領域が残存していた場合には、当該差分領域に対応する立体物は「撮影装置との距離レンジ：小」と判定することができる。なお、上記処理は本発明の第１１、第１２の態様に係る立体物検出手段による処理の一例である。
個々の立体物との距離レンジを利用者へ通知する場合、差分画像解析部２２からは、解析結果として、立体物に対応する画像領域のＸ座標値及びＹ座標値の範囲に加え、立体物に対応する画像領域毎の距離レンジの判定結果も解析結果出力部２４へ出力され、解析結果出力部２４は、解析結果を出力する処理として、例えば撮影装置１０Ｌ又は撮影装置１０Ｒによって撮影された画像に対し、立体物に対応する画像領域の範囲を明示する枠状の図形を付加すると共に、枠の表示色を距離レンジの判定結果に応じて切り替えた画像を生成し、生成した画像をディスプレイ等に表示させる処理を行うように構成することができる。これにより、撮影装置１０Ｌ,１０Ｒの撮影範囲内に存在している立体物の位置及び距離レンジを利用者へ通知することができる。なお、枠の表示色を切り替えることに代えて、距離レンジを文字等で表示するようにしてもよい。
なお、上記のように位置検出処理を行った後に繰り返し収縮処理を行うことに代えて、繰り返し収縮処理を行った後に位置検出処理を行うようにしてもよい。具体的には、例えば差分画像に対して収縮処理をｎ3回繰り返すと共に、収縮処理の繰り返し回数がｎ1回、ｎ2回の時点での差分画像を保存しておき、まず収縮処理の繰り返し回数がｎ3回の差分画像に対して立体物に対応する画像領域の探索を行い、次に、既に抽出された画像領域は探索対象から除外して、収縮処理の繰り返し回数がｎ2回の差分画像に対して立体物に対応する画像領域の探索を行い、続いて、既に抽出された画像領域は探索対象から除外して、収縮処理の繰り返し回数がｎ1回の差分画像に対して立体物に対応する画像領域の探索を行うようにしてもよい。図７の例では、収縮処理の繰り返し回数がｎ2回の差分画像(図７Ｃ参照)から人物に対応する画像領域が抽出され、この画像領域は収縮処理の繰り返し回数がｎ1回の差分画像(図７Ｂ参照)に対する処理における探索対象から除外される。上記処理では、ノイズとみなすことができる差分領域が除去されている状態の差分画像に対して立体物に対応する画像領域の探索を行うので、立体物に対応する画像領域の探索における精度の向上・処理時間の短縮を実現することができる。
また、立体物検出装置１２による立体物検出に対し、例えば撮影装置１０Ｌ,１０Ｒの撮影範囲内に存在している立体物のうち撮影装置１０Ｌ,１０Ｒとの距離が最も小さい立体物との距離レンジを利用者へ通知することが求められている場合、差分画像解析部２２は、前処理として位置検出処理を行うことなく上記で説明した繰り返し収縮処理を行い、例えば収縮処理をｎ1回繰り返した時点で全ての差分領域が消失した場合は「立体物無し」と判定し、収縮処理をｎ2回繰り返した時点で全ての差分領域が消失した場合は「撮影装置との距離レンジ：大の立体物有り」と判定し、収縮処理をｎ3回繰り返した時点で全ての差分領域が消失した場合は「撮影装置との距離レンジ：中の立体物有り」と判定し、収縮処理をｎ3回繰り返しても差分領域が残存していた場合には「撮影装置との距離レンジ：小の立体物有り」と判定することができる。なお、上記処理は本発明の第１３の態様に係る立体物検出手段による処理の一例である。
撮影装置１０Ｌ,１０Ｒとの距離が最も小さい立体物との距離レンジを利用者へ通知する場合、差分画像解析部２２からは上記の判定結果が解析結果出力部２４へ出力され、解析結果出力部２４は、解析結果を出力する処理として、立体物有りの場合にのみ警告音を出力すると共に、立体物との距離レンジに応じて、例えば警告音の音量、警告音の出力時間間隔、警告音の種類(例えば周波数や音色等)の少なくとも１つを切り替えるように構成することができる。これにより、撮影装置１０Ｌ,１０Ｒとの距離が最も小さい立体物との距離レンジを利用者へ通知することができる。なお、上記処理は本発明の第１３の態様に係る出力手段による処理の一例である。
なお、立体物検出装置１２による立体物検出に対し、例えば撮影装置１０Ｌ,１０Ｒの撮影範囲内における立体物(例えば障害物等)の有無を検出し、障害物等が存在している場合は利用者に通知することが求められている場合は、差分画像解析部２２は、差分画像の解析処理として、例えば後画像処理部２０から入力された差分画像中の差分画素の数、又は、差分画素のうち当該差分画素が表す差分の大きさが所定値以上の差分画素の数を計数する処理を行い、計数結果が閾値以上の場合に「立体物有り」と判定する処理を行うか、個々の差分画素が表す差分を全ての差分画素に亘って積算し、積算結果が閾値以上の場合に「立体物有り」と判定する処理を行うように構成することができる。この場合、解析結果出力部２４は、差分画像解析部２２による解析結果が「立体物有り」の場合に、例えば警告音を出力したり、「障害物が検出されました」等の音声メッセージを出力する等により、解析結果を音声で通知するように構成することができる。
なお、上記では差分画像生成部１８によって生成された差分画像を立体物の検出に用いた態様を説明したが、本発明はこれに限定されるものではなく、撮影装置１０Ｌ,１０Ｒの位置ずれ等に起因して差分画像に混入する差分画素(ノイズ)は、撮影装置１０Ｌ,１０Ｒの位置ずれ量に応じてその混入量が変化するので、これを利用し、差分画像をキャリブレーション作業の適否(撮影装置１０Ｌ,１０Ｒの位置関係の適否)の判定に用いることも可能である。図８Ａには左側画像Ｌと右側画像Ｒ'の組み合わせから生成された差分画像を、図８Ｃには左側画像Ｌと右側画像Ｒ"の組み合わせから生成された差分画像を各々示し、図８Ｂには、図８Ａに示す差分画像を或る閾値で二値化した二値化差分画像を、図８Ｄには、図８Ｃに示す差分画像を或る閾値で二値化した二値化差分画像を各々示す。なお、右側画像Ｒ'及び右側画像Ｒ"は、撮影装置１０Ｌとの位置関係が異なる状態の撮影装置１０Ｒに撮影された画像である。
撮影装置１０Ｌ,１０Ｒの位置関係の適否の判定は、差分画像中の差分画素の数を計数することによって行うが、差分画像中の立体物に対応する差分画素は、撮影装置１０Ｌ,１０Ｒの位置関係の変化に対する画素数の変化の傾きが小さいので、例えば図８Ｂ,図８Ｄに白枠で示すように、差分画像中の立体物に対応する画像領域を除外した範囲をオペレータによって評価領域として指定させ、オペレータによって指定された評価領域内に存在している差分画素の数を計数することが望ましい。撮影装置１０Ｌ,１０Ｒの最適な位置関係は、評価領域内の差分画素の数が最小となる位置関係であり、オペレータは、キャリブレーション作業において、撮影装置１０Ｌ,１０Ｒの位置関係を調整する度に評価領域内の差分画素の数を計数・出力する処理を行わせ、出力された差分画素の数の変化方向(差分画素の数が増加したか減少したか)及び変化量に基づいて、評価領域内の差分画素の数が最小となる撮影装置１０Ｌ,１０Ｒの最適な位置関係を認識し、認識した最適な位置関係へ調整することが可能となる。
なお、評価領域内の差分画素の数は、前画像処理部１４による補正処理の処理条件の適否に応じても変化するので、上記の評価領域内の差分画素の数の計数・出力は、前画像処理部１４による補正処理の処理条件を最適な処理条件へ調整する際にも利用可能である。上記の各態様は本発明の第１４、第１５の態様に対応している。
また、上記では差分画像に対して繰り返し収縮処理を行うことで、立体物の距離レンジを検出する態様を説明したが、本発明はこれに限定されるものではなく、前述のように、差分画像において、立体物に対応する線状の差分領域の幅は撮影装置と立体物との距離に応じて変化し、撮影装置と立体物との距離が小さくなるに従って、当該立体物に対応する線状の差分領域の幅は広くなるので、線状の差分領域の幅を検出(画素数を計数)し、検出した幅に基づいて立体物の距離レンジを判定するようにしてもよい。本発明の第１１の態様には上記態様も含まれる。
〔第２実施形態〕
次に本発明の第２実施形態を説明する。なお、第１実施形態と同一の部分には同一の符号を付し、説明を省略する。
図９Ａ〜図９Ｃには、第１実施形態で説明した撮影装置１０Ｌ,１０Ｒで撮影された左側画像及び右側画像の一方の一例を各々示し、図９Ｄ〜図９Ｆには、図９Ａ〜図９Ｃに示す画像から第１実施形態で説明した立体物検出装置１２によって生成された差分画像(前画像処理部１４による補正処理、視差補正部１６による視差補正処理を経て、差分画像生成部１８で生成された差分画像)の一例を各々示す。
図９Ａ〜図９Ｃに示す画像は屋内のシーンを撮影した画像であり、撮影時の被写体に対する照明の照度が比較的低いるので、これに伴い画像のコントラストが低下し、画像中の立体物と背景領域との輝度差も小さくなっている。このような画像に対して第１実施形態で説明した立体物検出装置１２で差分画像の生成を行った場合、例えば立体物に起因する差分成分に相当する輪郭線の一部が差分画像上でノイズに埋没する等により、立体物に起因する差分成分が差分画像上に明瞭に現れなくなり、立体物の検出漏れ等が生じる可能性がある。
例えば図９の例において、図９Ａ〜図９Ｃに示す画像では、画像中の左側の領域内で、撮影装置１０Ｌ,１０Ｒから比較的離れた位置に第１の人物が存在しているが、図９Ｄ〜図９Ｆに示す差分画像では、第１の人物に相当する輪郭線が明瞭には現れていない。このため、第１の人物が立体物として検出されない可能性がある。また、図９Ａ〜図９Ｃに示す画像は、画像中の右側の領域内にも第２の人物が存在しているが、特に、第２の人物が撮影装置１０Ｌ,１０Ｒから比較的離れた位置に存在している図９Ｂ,図９Ｃの画像に対応する図９Ｅ,図９Ｆの差分画像では、第２の人物に相当する輪郭線に途切れ等が発生しており、この輪郭線の途切れにより、第２の人物との距離を誤検出したり、第２の人物を複数の立体物と誤検出する可能性が生ずる。
なお、前出の(１)式から明らかなように、基線長ｂを増大させれば視差量Ｄが増大するので、立体物の検出精度を向上させることができるが、例えば撮影装置１０Ｌ,１０Ｒを単一の撮影モジュールとして一体化していた場合、基線長ｂの増大は撮影モジュールの大型化を招き、撮影モジュールの剛性を確保するために重量の増加やシステム全体のコストの増大に繋がる。また、撮影モジュールの設置箇所の確保が困難になったり、デザインの自由度の低下する等の問題も生ずる。
このため、本第２実施形態では、視差補正部１６を、左側画像及び右側画像を予め設定されたシフト量だけ画像の左右方向(Ｘ方向)に沿って相対的にシフトさせた後に視差補正を行う構成としている。すなわち、図１０に示すように、本第２実施形態に係る視差補正部１６は、右側画像の画像データを転送するラッチ群３６の前段(ラッチ群３６と前画像処理部１４との間)に遅延部５０が設けられている。遅延部５０には画素クロックが入力されると共に、左側画像と右側画像との相対的なシフト量Ｓを画素数で表すシフト量情報が装置制御部２６から入力される。そして遅延部５０は、前画像処理部１４から画素毎に順次入力される右側画像の画像データを、装置制御部２６から入力されたシフト量情報が表す画素数分だけ遅延させた後にラッチ群３６へ順次出力することで、左側画像と右側画像とを画像の左右方向(Ｘ方向)に相対的にシフトさせる。
例として図１１Ａ〜図１１Ｃには、図３Ａ〜図３Ｃと同一の画像を示すが、これらの画像のうち、図１１Ｃに示す右側画像に対し、視差補正部１６の遅延部５０によって上記の画像データの出力を遅延させる処理が行われた場合、ラッチ群３６には、例として図１１Ｄに示すように、図１１Ｂに示す左側画像に対して画像の左右方向(Ｘ方向)にシフトされた右側画像が入力される。これにより、図１１Ｄに示す右側画像は、図１１Ｅに示す視差補正を経て図１１Ｆに示すような画像に変換される。そして、差分画像生成部１８によって生成される差分画像は、例として図１１Ｇに示すように、視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での左側画像と右側画像との差分を表す画像、すなわち遅延部５０による画像のシフトを行わない場合よりも、左側画像と右側画像との画像の左右方向(Ｘ方向)の差分が強調された画像となる。
なお、図１１Ｇでは差分画像上での立体物の輪郭に相当する線を一定の太さの線として示しているが、差分画像上での立体物の輪郭に相当する線は、立体物との距離Ｌにも依存するものの実際には或る程度の太さを有しているので、視差補正に加えて画像のシフトも行って差分画像を生成した場合、図１２Ｂに示すように、立体物の輪郭に相当する線のうち、特に画像の上下方向(Ｙ方向)に延びる線の太さが増大される。
これにより、立体物に起因する差分成分が差分画像上でノイズに埋没したり、差分画像上の立体物の輪郭に相当する線の一部に途切れが生じたり、立体物に起因する差分成分が差分画像上に明瞭に現れなくなることが抑制される。また、図１２Ｂを、画像シフトを行わない場合を示す図１２Ａと比較しても明らかなように、立体物の輪郭に相当する線のうち、特に画像の上下方向(Ｙ方向)に延びる線の太さが増大されることで、繰り返し収縮処理を行ったとしても差分画像上の立体物に起因する差分成分が消失しにくくなる。従って、基線長ｂを増大させることなく、立体物の検出漏れや誤検出が生ずることを抑制することができる。上記態様は本発明の第１６の態様、より詳しくは本発明の第１７の態様の一例である。
なお、本第２実施形態で生成される差分画像は、左側画像と右側画像との画像の左右方向(Ｘ方向)の差分が強調された画像であるので、収縮処理を画像の左右方向(Ｘ方向)についての収縮処理と画像の上下方向(Ｙ方向)についての収縮処理とに分け、画像の上下方向(Ｙ方向)についての収縮処理の実行回数を、画像の左右方向(Ｘ方向)についての収縮処理の実行回数よりも少なくすることが好ましい。これにより、立体物の輪郭に相当する差分画像上の線のうち画像の左右方向(Ｘ方向)に延びる線が、収縮処理を繰り返し実行することで消失してしまうことが抑制される。上記事項は本発明の第２０の態様の一例である。
なお、本第２実施形態におけるシフト量Ｓは、本願発明者が実験を行うことで得られた経験則に基づき、視差補正における補正量(幾何学的な視差(視差量Ｄ))の最大値の１／２以下の大きさとすることが望ましい。例えば、図４Ｃに示した例では、視差補正における補正量(視差量Ｄ)の最大値が５０画素であるので、シフト量Ｓは２５画素以下となる。上記事項は本発明の第２１の態様の一例である。図１０に示す態様では、装置制御部２６から視差補正部１６の遅延部５０に入力されるシフト量情報によってシフト量Ｓが規定されるので、用途等(例えば重点的な検出対象とする立体物の距離レンジ等)に応じて、「視差補正における補正量(視差量Ｄ)の最大値の１／２」の範囲内でシフト量Ｓを変更設定することも容易に実現できる。
なお、図１０に示した構成では、遅延部５０をラッチ群３６の前段に設けることで、視差補正を行う前に画像のシフト(画像データの出力の遅延)を行っているが、これに限定されるものではなく、例として図１３に示すように、セレクタ４０の後段(セレクタ４０と差分画像生成部１８との間)に遅延部５０を設けることで、視差補正を行った後に画像のシフトを行うようにしてもよい。また、図１０,１３に示した構成では、遅延部５０が右側画像に対して画像のシフト(画像データの出力の遅延)を行っているが、これに限定されるものではなく、左側画像に対して画像のシフトを行うようにしてもよい。上記各態様も本発明の第１６の態様、より詳しくは本発明の第１７の態様の一例である。
また、図１０,１３に示した構成では、遅延部５０で画像データの出力を遅延させることで画像のシフトを実現しているが、視差補正部１６による視差補正における視差補正量(遅延画素数)を、幾何学的な視差(視差量Ｄ)に相当する補正量にシフト量Ｓに相当する補正量を加えた値とし、視差補正部１６による視差補正によって幾何学的な視差(視差量Ｄ)の補正と画像のシフトを同時に行わせるようにしてもよい。例えば図１４に示す補正量特性ｄは幾何学的な視差(視差量Ｄ)に相当する補正量(遅延画素数)を表しているが、この補正量特性ｄが表す補正量にシフト量Ｓに相当する補正量(図１４ではシフト量Ｓに相当する補正量(遅延画素数)＝５としている)を加算した場合、図１４に示す補正量特性ｄ'が得られる。この補正量特性ｄ'に従って視差補正部１６が視差補正を行うことで、遅延部５０等を設けることなく、幾何学的な視差(視差量Ｄ)とシフト量＝５画素分の画像シフトが同時に実現される。これにより、差分画像生成部１８によって左側画像と右側画像との画像の左右方向(Ｘ方向)の差分が強調された差分画像が生成される。
なお、視差補正部１６による視差補正における視差補正量(遅延画素数)を、幾何学的な視差(視差量Ｄ)に相当する補正量にシフト量Ｓに相当する補正量を加えた値とすることは、例えば装置制御部２６が、視差量Ｄを演算した際に、演算した視差量Ｄにシフト量Ｓを加算し、加算後の値をＹ座標値と対応付けて視差量情報を生成し、生成した視差量情報を視差補正部１６の視差情報記憶部４４に書き込む処理を行うことで実現できる。また、シフト量Ｓが装置制御部２６から視差補正部１６に通知され、視差補正部１６の視差補正制御部４２が、視差情報記憶部４４から読み出した視差量Ｄにシフト量Ｓを加算した後に、選択信号としてセレクタ３８,４０へ出力する処理を行うことによっても実現することができる。上記の態様は本発明の第１６の態様、より詳しくは本発明の第１８の態様の一例である。
また、左側画像と右側画像とを画像の左右方向(Ｘ方向)に相対的にシフトさせることは、撮影装置１０Ｌ及び撮影装置１０Ｒを、撮影装置１０Ｌ及び撮影装置１０Ｒから離れるに従って各々の撮影光軸の間隔が大きくなる向きに配置することによっても実現することができる。例えば図１５には、撮影装置１０Ｌの撮影光軸に対し、撮影装置１０Ｒの撮影光軸を平行より外向きに配置した態様を示す。なお、図１５における基線長ｂは従来通りである。また、撮影装置１０Ｒの撮影光軸を平行より外向きに配置することに代えて、撮影装置１０Ｌの撮影光軸を平行より外向きに配置してもよいし、撮影装置１０Ｌ,１０Ｒの撮影光軸を各々並行より外向きに配置してもよい。
図１５の配置で得られる全視差量ｄ'は、撮影装置１０Ｌ,１０Ｒの撮影光軸が平行の場合に得られる視差量ｄ(＝ｄ1＋ｄ2)と、撮影装置１０Ｒの撮影光軸を平行より外向きに配置したことで生じた視差量ｄ3と、の和で与えられる。視差量ｄ3は距離Ｌに依存しない成分であり、シフト量Ｓに応じて予め調整される。例えば視差量ｄ3が５画素分である場合、他の条件が同一であれば、視差量ｄは図１４に示す補正量特性ｄが表す遅延画素数(＝視差量Ｄ)に一致し、全視差量ｄ'は図１４に示す補正量特性ｄ'が表す遅延画素数(＝視差量Ｄ＋シフト量Ｓ)に一致する。
この態様は、図１０,１３に示した態様と同様に、視差補正部１６において、幾何学的な視差(視差量Ｄ)を補正する視差補正を行うことで、差分画像生成部１８によって左側画像と右側画像との画像の左右方向(Ｘ方向)の差分が強調された差分画像が生成される。上記の態様では、シフト量Ｓを変更するためには撮影装置１０Ｌ,１０Ｒの少なくとも一方の向きを調整する必要があるので、実質的にシフト量Ｓの変更が困難であるが、第１実施形態に対して立体物検出装置１２の構成を変更することなく、左側画像と右側画像との画像の左右方向(Ｘ方向)の差分が強調された差分画像を生成できる、という利点を有する。なお、上記の態様は本発明の第１６の態様、より詳しくは本発明の第１９の態様の一例である。
また、上記では撮影光源を特に設置せず、撮影装置１０Ｌ,１０Ｒが自然光を照明光として撮影を行う態様を想定して説明したが、これに限定されるものではなく、例えば近赤外光を発する光源を撮影光源として設置し、撮影装置１０Ｌ,１０Ｒを、撮影光源から発せられて被写体で反射した光で撮影を行うように構成してもよい。また、照明光は近赤外光以外の波長域の光であってもよい。
また、上記では本発明におかる差分情報(差分画像)の一例として、第１画像と第２画像との輝度の差分(或いは濃度、或いはＨＳＶ色空間における明度(但し、Ｈは色相、Ｓは彩度(又は飽和度)、Ｖは明度)を表す差分情報(差分画像)を生成する態様を説明したが、これに限定されるものではなく、第１画像及び第２画像がカラー画像であれば、差分情報(差分画像)として、例えば第１画像と第２画像との色相、或いは彩度(又は飽和度)の差分を表す差分情報(差分画像)を生成するようにしてもよい。また、複数のパラメータを組み合わせ、例えば第１画像と第２画像との輝度の差分と、第１画像と第２画像との色相(或いは彩度)の差分と、の論理和に相当する画像を、差分情報(差分画像)として生成するようにしてもよい。また、第１画像及び第２画像に対してエッジ抽出等のフィルタ処理を各々行って得られた画像から、両画像の輝度等の差分を表す差分情報(差分画像)を生成するようにしてもよい。
また、上記では収縮処理を単独で行う態様を説明したが、任意のフィルタ処理、例えば膨張処理と組み合わせ、例えば収縮処理を複数回実行する度に膨張処理を１回実行する等のように、異なる実行回数で収縮処理と膨張処理を交互に実行するようにしてもよい。これにより、差分画像の断片化を防止することができる。また、収縮処理と膨張処理を組み合わせることに代えて、細線化処理等の他の画像処理を適用してもよい。
また、上記では撮影装置１０Ｌ,１０Ｒ及び立体物検出装置１２が車両に搭載され、車両前方の空間に存在する立体物(障害物)を検出する態様を例に説明したが、本発明に係る画像処理装置の用途はこれに限られるものではなく、例えば自走式のロボットにおける障害物の検出等、様々な用途に適用可能であることは言うまでもない。
更に、本実施形態に係る立体物検出装置１２による処理は、全てコンピュータによる処理に置き換え可能であり、上記処理をコンピュータによって行わせるようにしてもよい。この場合、上記処理をコンピュータによって行わせるためのプログラムは、本発明の第２４の態様に係る画像処理プログラムの一例であり、コンピュータが上記プログラムを実行することで、コンピュータが本発明の第１の態様に係る画像処理装置として機能することになる。また、上記のプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。この態様における記録媒体は本発明の第２５の態様に係る記録媒体の一例である。
なお、日本出願（特願２０１０−０６５１６６号）の開示はその全体が参照により本明細書に取り込まれる。
また、本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (23)

  1. 視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と、
    前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段と、
    画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段と、
    前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する生成手段と、
    前記生成手段によって生成された差分情報に基づいて、前記第１撮影装置及び前記第２撮影装置の撮影範囲内に各々存在している立体物を検出する立体物検出手段と、
    を含み、
    前記生成手段は、前記差分情報として、前記第１画像と前記第２画像との差分を画素毎に表す差分画像を生成し、
    前記立体物検出手段は、前記生成手段によって生成された前記差分画像から前記立体物に相当する画像領域を抽出し、抽出した個々の前記画像領域内に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素から成る線状の差分領域の幅に基づいて、個々の画像領域に対応する立体物との距離を検出する、
    画像処理装置。
  2. 前記生成手段によって生成された前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素を対象として収縮処理を行うことで、前記差分画像のノイズを除去する除去手段を更に備えた請求項１記載の画像処理装置。
  3. 前記記憶手段に記憶されている偏倚量情報が表す偏倚量は当該偏倚量を画素数で表す偏倚量Ｄであり、偏倚量Ｄは、前記第１撮影装置及び前記第２撮影装置の設置位置における地面からの撮影光軸の高さをｈ_cam、鉛直方向に対する撮影光軸の傾斜角度をθ、光学系の焦点距離をｆ、画像の前記第１方向に沿った画素数をｗ、前記第２方向に沿った画素数をｈ、画像の前記第１方向に沿った撮像サイズをｗ_img、前記第２方向に沿った撮像サイズをｈ_img、前記第２方向に沿った画像上の位置(画素数)をＰ、前記第１撮影装置と前記第２撮影装置の撮影光軸の距離である基線長をｂとしたときに、
    Ｄ＝ｂ×ｆ／Ｌ_cam×(ｗ／２)／(ｗ_ing／２) …(１)
    但し、Ｌ_camは、地面上に位置しかつ第２方向に沿って画像上の位置(画素数)Ｐに結像する物体と、前記第１撮影装置又は前記第２撮影装置との直線距離、Ｌは前記物体と前記第１撮影装置又は前記第２撮影装置との距離であり、
    Ｌ_cam＝√(ｈ_cam2＋Ｌ2)×cos(tan-1(Ｌ／ｈ_cam)−θ) …(２)
    Ｌ＝tan(tan-1((Ｐ−(ｈ／２))×(ｈ_img／２)／(ｈ／２)／ｆ)＋θ)×ｈ_cam …(３)
    上記(１)〜(３)式の演算を行うことで予め導出される請求項１又は請求項２記載の画像処理装置。
  4. 前記偏倚量情報は、前記第１方向に沿った画像上の各位置における前記偏倚量を画素数で表す情報であり、
    前記処理手段は、前記第１画像又は前記第２画像の出力を画素単位で遅延させる遅延手段を備え、前記第１画像及び前記第２画像を画素単位で並列に前記生成手段へ出力するにあたり、出力対象の前記画素列の前記第１方向に沿った画像上の位置に対応する前記偏倚量が表す画素数分だけ、前記第１画像の出力又は前記第２画像の出力を前記遅延手段によって相対的に遅延させる前記視差補正を、出力対象の前記画素列の前記第１方向に沿った画像上の位置の変化に応じて前記遅延手段による遅延画素数を切替えながら行う請求項１〜請求項３の何れか１項記載の画像処理装置。
  5. 前記遅延手段は、前記第１画像又は前記第２画像の出力を１画素分遅延させる遅延部が直列に複数接続されて構成されており、
    前記処理手段は、出力対象の前記画素列の前記第１方向に沿った画像上の位置に対応する前記偏倚量が表す画素数に対応する数の前記遅延部を通過したデータを、前記第１画像又は前記第２画像として出力するデータとして選択することで、前記第１画像又は前記第２画像として出力するデータを前記画素数分だけ遅延させる請求項４記載の画像処理装置。
  6. 前記処理手段は、前記第１方向に沿った画像上の位置が、予め設定された水平線に相当する位置よりも鉛直方向上側に対応する範囲に位置している前記画素列を前記視差補正の対象から除外する請求項１〜請求項５の何れか１項記載の画像処理装置。
  7. 前記取得手段によって取得された前記第１画像及び前記第２画像に対し、前記第１撮影装置と前記第２撮影装置の前記水平方向に沿った撮影範囲の相違、撮影倍率の相違、撮影光軸回りの回転角の相違、及び、輝度の相違、の少なくとも１つを補正する補正手段を更に備え、
    前記処理手段は、前記補正手段による前記補正を経た前記第１画像及び前記第２画像に対して前記視差補正を行う請求項１〜請求項６の何れか１項記載の画像処理装置。
  8. 前記立体物検出手段による前記立体物の検出結果を出力する出力手段を更に備えた請求項１記載の画像処理装置。
  9. 前記立体物検出手段は、前記生成手段によって生成された前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素の前記差分画像上での分布に基づいて、前記差分画像から前記立体物に相当する画像領域を抽出することで、前記立体物に相当する画像領域の画像上での位置を検出する請求項１記載の画像処理装置。
  10. 前記立体物検出手段は、前記生成手段によって生成された前記差分画像から前記立体物に相当する画像領域を抽出し、前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素を対象として収縮処理を行うことを、抽出した個々の前記画像領域内に存在する前記差分画素から成る線状の差分領域が消滅したか否かを個々の前記画像領域毎に判定しながら繰り返し、前記線状の差分領域が個々の前記画像領域から消滅した時点での前記収縮処理の実行回数に基づいて、個々の画像領域に対応する立体物との距離を検出する請求項１記載の画像処理装置。
  11. 前記立体物検出手段は、前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素を対象として収縮処理を複数回行うと共に、前記差分画素から成る線状の差分領域が前記差分画像から消滅したか否かを判定し、
    前記出力手段は、前記線状の差分領域が前記差分画像から消滅した時点での前記収縮処理の実行回数が閾値未満か否か、又は、前記収縮処理を所定回実行した時点で前記線状の差分領域が前記差分画像から消滅したか否かに応じて、立体物検出信号を出力するか否か、又は、出力する立体物検出信号の種類を切り替える請求項８記載の画像処理装置。
  12. 前記生成手段によって生成された前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素の数を計数し、計数結果を出力する画素数計数手段を更に備えた請求項１〜請求項１１の何れか１項記載の画像処理装置。
  13. 前記画素数計数手段は、前記差分画像のうち指定手段を介して指定された領域内に存在する前記差分画素の数を計数する請求項１２記載の画像処理装置。
  14. 視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と、
    前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段と、
    画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段と、
    前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する生成手段と、
    を含み、
    前記生成手段は、前記差分情報として、前記第１画像と前記第２画像との差分を画素毎に表す差分画像を生成し、
    前記生成手段によって生成される前記差分画像が、前記処理手段による前記視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ前記第１方向に沿って相対的にシフトされた状態での前記第１画像と前記第２画像との差分を表す差分画像となるように構成された、
    画像処理装置。
  15. 前記記憶手段に記憶されている前記偏倚量情報が表す偏倚量が前記幾何学的な視差に相当する偏倚量とされ、
    前記処理手段は、前記第１画像及び前記第２画像に対して前記視差補正を行う前又は前記視差補正を行った後に、前記第１画像と前記第２画像とを予め設定されたシフト量だけ前記第１方向に沿って相対的にシフトさせる請求項１４記載の画像処理装置。
  16. 前記記憶手段に記憶されている前記偏倚量情報が表す偏倚量が、前記幾何学的な視差に相当する偏倚量に予め設定された前記シフト量に相当する偏倚量を加えた偏倚量とされているか、又は、前記記憶手段に記憶されている前記偏倚量情報が表す偏倚量が、前記幾何学的な視差に相当する偏倚量とされ、前記処理手段による前記視差補正に用いられる前に前記シフト量に相当する偏倚量が加えられる請求項１４記載の画像処理装置。
  17. 前記記憶手段に記憶されている前記偏倚量情報が表す偏倚量が前記幾何学的な視差に相当する偏倚量とされ、
    前記第１撮影装置及び前記第２撮影装置は、前記第１撮影装置の撮影光軸と前記第２撮影装置の撮影光軸との間隔が、前記第１撮影装置及び前記第２撮影装置から離れるに従って大きくなる向きとされ、前記第１画像と前記第２画像とが、予め設定されたシフト量だけ前記第１方向に沿って相対的にシフトされた状態となるように前記向きが調整されている請求項１４記載の画像処理装置。
  18. 前記生成手段によって生成された前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素を対象として、前記第２方向に沿った収縮処理を第１回数だけ実行すると共に、前記第１方向に沿った収縮処理を、前記第１回数よりも多い第２回数実行する収縮処理手段を更に備えた請求項１４〜請求項１７の何れか１項記載の画像処理装置。
  19. 前記シフト量は、前記幾何学的な視差に相当する偏倚量の最大値の１／２以下の大きさに設定されている請求項１４〜請求項１７の何れか１項記載の画像処理装置。
  20. 前記第１撮影装置及び前記第２撮影装置は、前記第１撮影装置の撮影光軸と前記第２撮影装置の撮影光軸との間隔が、前記第１撮影装置及び前記第２撮影装置から離れるに従って大きくなる向きとされている請求項１記載の画像処理装置。
  21. 記憶手段は、視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶し、
    取得手段は、前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得し、
    処理手段は、画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行い、
    生成手段は、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を画素毎に表す差分画像を、差分情報として生成し、
    前記生成手段によって生成される前記差分画像が、前記処理手段による前記視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ前記第１方向に沿って相対的にシフトされた状態での前記第１画像と前記第２画像との差分を表す差分画像となるように構成された、
    画像処理方法。
  22. 視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と接続されたコンピュータを、
    前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段、
    画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段、
    及び、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を画素毎に表す差分画像を差分情報として生成し、前記差分画像が、前記処理手段による前記視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ前記第１方向に沿って相対的にシフトされた状態での前記第１画像と前記第２画像との差分を表す差分画像となるように生成する、生成手段
    として機能させるための画像処理プログラム。
  23. 視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と接続されたコンピュータを、
    前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段、
    画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段、
    及び、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を画素毎に表す差分画像を差分情報として生成し、前記差分画像が、前記処理手段による前記視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ前記第１方向に沿って相対的にシフトされた状態での前記第１画像と前記第２画像との差分を表す差分画像となるように生成する、生成手段
    として機能させるための画像処理プログラムが記録された記録媒体。
JP2012505712A 2010-03-19 2011-03-15 画像処理装置、方法、プログラム及び記録媒体 Expired - Fee Related JP5792157B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012505712A JP5792157B2 (ja) 2010-03-19 2011-03-15 画像処理装置、方法、プログラム及び記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010065166 2010-03-19
JP2010065166 2010-03-19
PCT/JP2011/056118 WO2011115142A1 (ja) 2010-03-19 2011-03-15 画像処理装置、方法、プログラム及び記録媒体
JP2012505712A JP5792157B2 (ja) 2010-03-19 2011-03-15 画像処理装置、方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2011115142A1 JPWO2011115142A1 (ja) 2013-06-27
JP5792157B2 true JP5792157B2 (ja) 2015-10-07

Family

ID=44649226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012505712A Expired - Fee Related JP5792157B2 (ja) 2010-03-19 2011-03-15 画像処理装置、方法、プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US8917929B2 (ja)
JP (1) JP5792157B2 (ja)
CN (1) CN102792333B (ja)
WO (1) WO2011115142A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011115142A1 (ja) * 2010-03-19 2011-09-22 Ｏｋｉセミコンダクタ株式会社 画像処理装置、方法、プログラム及び記録媒体
DE102011011929A1 (de) * 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren zum Detektieren von Zielobjekten in einem Überwachungsbereich
JP5367749B2 (ja) * 2011-03-25 2013-12-11 株式会社東芝 サーバ装置、通信方法およびプログラム
KR101850386B1 (ko) * 2011-04-19 2018-04-19 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
JP5579329B2 (ja) * 2011-09-29 2014-08-27 富士フイルム株式会社 立体画像表示制御方法、立体画像表示制御装置、及び撮像装置
DE102012002321B4 (de) * 2012-02-06 2022-04-28 Airbus Defence and Space GmbH Verfahren zur Erkennung eines vorgegebenen Musters in einem Bilddatensatz
JP5773944B2 (ja) * 2012-05-22 2015-09-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP2014089548A (ja) * 2012-10-30 2014-05-15 Sharp Corp 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
US9565416B1 (en) 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
JP6151150B2 (ja) * 2013-10-07 2017-06-21 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
CN104506842A (zh) 2015-01-15 2015-04-08 京东方科技集团股份有限公司 三维摄像头模组、终端设备以及测距方法
JP6452585B2 (ja) 2015-10-01 2019-01-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
CN108541305A (zh) 2015-12-21 2018-09-14 株式会社小糸制作所 车辆用图像获取装置和包括该装置的车辆
EP3396410A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGE ACQUISITION DEVICE FOR VEHICLES, CONTROL DEVICE, VEHICLE HAVING IMAGE ACQUISITION DEVICE FOR VEHICLES AND CONTROL DEVICE, AND IMAGE ACQUISITION METHOD FOR VEHICLES
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
EP3396414A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGING APPARATUS FOR USE BY A VEHICLE, CONTROL DEVICE, VEHICLE WITH THE CONTROL DEVICE OR IMAGING DEVICE FOR USE BY A VEHICLE AND IMAGE RECORDING FOR USE BY A VEHICLE
KR102565485B1 (ko) * 2016-01-11 2023-08-14 한국전자통신연구원 도시 거리 검색 서비스 제공 서버 및 방법
JP6780983B2 (ja) * 2016-08-18 2020-11-04 マクセル株式会社 画像処理システム
US11361380B2 (en) * 2016-09-21 2022-06-14 Allstate Insurance Company Enhanced image capture and analysis of damaged tangible objects
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
US10984555B2 (en) * 2017-03-30 2021-04-20 Mitsubishi Electric Corporation Object detection device and vehicle
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
US11158088B2 (en) * 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
US11089288B2 (en) 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
JP2019145571A (ja) * 2018-02-16 2019-08-29 株式会社東芝 半導体装置
WO2020263498A1 (en) * 2019-06-25 2020-12-30 Snap Inc. Vanishing point stereoscopic image correction
CN111914764B (zh) * 2020-08-05 2023-09-15 杭州睿琪软件有限公司 图像处理方法、图像处理装置、电子设备和存储介质
JP7015078B1 (ja) 2020-12-01 2022-02-02 勇祐 鈴木 検査方法および検査システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07306037A (ja) * 1994-05-11 1995-11-21 Nippon Soken Inc 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法
JP2009088840A (ja) * 2007-09-28 2009-04-23 Saxa Inc ステレオ画像処理装置及び同画像処理用プログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US5825915A (en) * 1995-09-12 1998-10-20 Matsushita Electric Industrial Co., Ltd. Object detecting apparatus in which the position of a planar object is estimated by using hough transform
US6108440A (en) * 1996-06-28 2000-08-22 Sony Corporation Image data converting method
WO1998004087A1 (fr) * 1996-07-18 1998-01-29 Sanyo Electric Co., Ltd. Dispositif et procede pour convertir des signaux video bidimensionnels en signaux video tridimensionnels
JPH10178564A (ja) * 1996-10-17 1998-06-30 Sharp Corp パノラマ画像作成装置及び記録媒体
US6512857B1 (en) * 1997-05-09 2003-01-28 Sarnoff Corporation Method and apparatus for performing geo-spatial registration
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP3798161B2 (ja) * 1998-10-29 2006-07-19 株式会社ニデック 眼底計測装置及び眼底計測プログラムを記録した記録媒体
JP2000293693A (ja) 1999-03-31 2000-10-20 Toshiba Corp 障害物検出方法および装置
JP3867883B2 (ja) * 1999-06-01 2007-01-17 株式会社リコー 画像合成処理方法、画像合成処理装置及び記録媒体
JP3263931B2 (ja) 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
US6829383B1 (en) * 2000-04-28 2004-12-07 Canon Kabushiki Kaisha Stochastic adjustment of differently-illuminated images
US6714672B1 (en) * 1999-10-27 2004-03-30 Canon Kabushiki Kaisha Automated stereo fundus evaluation
US6862364B1 (en) * 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
ATE278298T1 (de) * 1999-11-26 2004-10-15 Sanyo Electric Co Verfahren zur 2d/3d videoumwandlung
JP4610799B2 (ja) * 2001-06-25 2011-01-12 オリンパス株式会社 立体観察システム、及び内視鏡装置
CN1675937B (zh) * 2002-08-20 2011-08-24 江良一成 生成立体图像的方法和装置
JP4095491B2 (ja) * 2003-05-19 2008-06-04 本田技研工業株式会社 距離測定装置、距離測定方法、及び距離測定プログラム
JP2004363758A (ja) * 2003-06-03 2004-12-24 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
US7593597B2 (en) * 2003-08-06 2009-09-22 Eastman Kodak Company Alignment of lens array images using autocorrelation
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
US7376250B2 (en) * 2004-01-05 2008-05-20 Honda Motor Co., Ltd. Apparatus, method and program for moving object detection
WO2005081178A1 (en) * 2004-02-17 2005-09-01 Yeda Research & Development Co., Ltd. Method and apparatus for matching portions of input images
US7617022B1 (en) * 2004-07-01 2009-11-10 Rockwell Collins, Inc. Dual wavelength enhanced vision system optimized for visual landing light alignment
US7742634B2 (en) * 2005-03-15 2010-06-22 Omron Corporation Image processing method, three-dimensional position measuring method and image processing apparatus
JP2007235642A (ja) 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP4856611B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
JP4886716B2 (ja) * 2008-02-26 2012-02-29 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2010011441A (ja) * 2008-05-26 2010-01-14 Sanyo Electric Co Ltd 撮像装置及び画像再生装置
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
WO2010035443A1 (ja) * 2008-09-26 2010-04-01 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
JP5402715B2 (ja) * 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2011115142A1 (ja) * 2010-03-19 2011-09-22 Ｏｋｉセミコンダクタ株式会社 画像処理装置、方法、プログラム及び記録媒体
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2012186781A (ja) * 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
JP2013114517A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07306037A (ja) * 1994-05-11 1995-11-21 Nippon Soken Inc 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法
JP2009088840A (ja) * 2007-09-28 2009-04-23 Saxa Inc ステレオ画像処理装置及び同画像処理用プログラム

Also Published As

Publication number Publication date
US8917929B2 (en) 2014-12-23
US20110311130A1 (en) 2011-12-22
CN102792333A (zh) 2012-11-21
JPWO2011115142A1 (ja) 2013-06-27
WO2011115142A1 (ja) 2011-09-22
CN102792333B (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
JP5792157B2 (ja) 画像処理装置、方法、プログラム及び記録媒体
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
JP6371553B2 (ja) 映像表示装置および映像表示システム
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
WO2014061372A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2014002849A1 (ja) ３次元測定方法、装置及びシステム、並びに画像処理装置
JP5715735B2 (ja) ３次元測定方法、装置、及びシステム、並びに画像処理装置
US20200068186A1 (en) Stereo camera
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP4055998B2 (ja) 距離検出装置、距離検出方法、及び距離検出プログラム
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
US9530240B2 (en) Method and system for rendering virtual views
JP4701848B2 (ja) 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
KR101453143B1 (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP2012185712A (ja) 画像照合装置または画像照合方法
Kruger et al. In-factory calibration of multiocular camera systems
JP6429483B2 (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
CN106303501B (zh) 基于图像稀疏特征匹配的立体图像重构方法及装置
JP5891751B2 (ja) 画像間差分装置および画像間差分方法
JPH07306037A (ja) 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法
JP2014235063A (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150805

R150 Certificate of patent or registration of utility model

Ref document number: 5792157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees