JP6561512B2 - 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム - Google Patents

視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム Download PDF

Info

Publication number
JP6561512B2
JP6561512B2 JP2015051957A JP2015051957A JP6561512B2 JP 6561512 B2 JP6561512 B2 JP 6561512B2 JP 2015051957 A JP2015051957 A JP 2015051957A JP 2015051957 A JP2015051957 A JP 2015051957A JP 6561512 B2 JP6561512 B2 JP 6561512B2
Authority
JP
Japan
Prior art keywords
value
parallax
region
predetermined
parallax value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015051957A
Other languages
English (en)
Other versions
JP2015194487A (ja
Inventor
維 仲
維 仲
樹一郎 齊藤
樹一郎 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015051957A priority Critical patent/JP6561512B2/ja
Priority to US14/662,519 priority patent/US9898823B2/en
Priority to CN201510134914.1A priority patent/CN104952064B/zh
Priority to EP15160970.8A priority patent/EP2930688A1/en
Publication of JP2015194487A publication Critical patent/JP2015194487A/ja
Application granted granted Critical
Publication of JP6561512B2 publication Critical patent/JP6561512B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20228Disparity calculation for image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0088Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Description

本発明は、撮像の対象を撮像して得られた基準画像及び同じ対象を撮像して得られた比較画像から、対象に対する視差を示す視差値を導出する発明に関する。
従来から、ステレオ画像法によって、ステレオカメラから対象に対する視差を導き出し、この視差を示す視差値によって、三角測量の原理に基づき、ステレオカメラから対象までの距離を測定する測距方法が知られている。この測距方法により、例えば、自動車間の距離や、自動車と障害物間の距離が測定され、自動車の衝突防止に役立てている。
また、視差値の求め方としては、ステレオマッチング処理が用いられている。このステレオマッチング処理は、ステレオカメラの2つのカメラのうち、一方のカメラによって得られた基準画像内の注目する基準画素に対して、他方のカメラによって得られた比較画像内の複数の対応画素の候補を順次シフトしながら、画像信号が最も類似する画素である対応画素の位置を求めることで、基準画像と比較画像の間の視差値を検出する。一般的には、2つのカメラによって得られた画像信号の輝度値を比較することで、比較する輝度値のコスト値(Cost:ここでは「非類似度」)が最も低い画素の位置が求められる。
また、近年、ステレオマッチング処理において、ミスマッチングを防止するために、画像における輝度値の差が大きい領域であるエッジ部分の輝度値を比較するブロックマッチング法が用いられている(例えば、特許文献1参照)。
ところが、対象のテクスチャが弱く、抽出すべき特徴そのものが乏しい領域では、エッジ検出を行っても、十分な効果を得ることができない。
そこで、テクスチャが弱い対象でも、より正確な視差値を導き出す方法が提案されている(例えば、特許文献2参照)。この方法によって、基準画像上の注目する基準画素のコスト値だけでなく、この基準画素の周囲の画素のコスト値を集約することで、テクスチャが弱い対象に対する視差値を導き出すことができる。これにより、対象の全体像を導き出すことができるため、測距だけでなく、対象が標識であるか車であるか等、対象の分類に利用することができる。
しかしながら、特許文献2に記載された方法を用いた場合、テクスチャが弱い対象でも視差値を導き出すことができるが、周りにテクスチャの強い対象が存在する場合には、テクスチャが弱い対象の視差値が悪影響をうけることで、正確な視差値を導き出すことが困難になるという課題が生じる。
上述の課題を解決するため、請求項1に係る発明は、第1の撮像位置から撮像された基準画像における基準領域と、第2の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出手段と、前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成手段と、前記合成手段により合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、前記基準画像内の各領域のうち所定の領域を含む複数の領域に対して空間フィルタを適用することで、前記所定の領域における視差値を補正する補正手段と、を備え、前記補正手段は、前記基準画像内の各領域のうち特定の領域において、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む2つの極値の差が所定値よりも小さい場合には、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする視差値導出装置である。
以上説明したように、請求項1に係る発明によれば、視差値に対して空間フィルタを適用することで、周りにテクスチャの強い対象が存在する場合あっても、テクスチャが弱い対象の視差値が悪影響を受けづらくすることができるため、より正確な視差値を導き出すことができるという効果を奏する。
撮像装置から物体までの距離を導き出す原理の説明図である。 (a)は基準画像、(b)は(a)に対する高密度視差画像、(c)は(a)に対するエッジ視差画像を示す概念図である。 (a)は基準画像における基準画素を示す概念図、(b)は(a)の基準画素に対して比較画像における対応画素の候補を順次シフトしながらコスト値を算出する際の概念図である。 シフト量毎のコスト値を示すグラフである。 合成コスト値を導き出すための概念図である。 視差値毎の合成コスト値を示すグラフである。 (a)は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、(b)は自動車の正面を示す概略図である。 物体認識システムの概観図である。 物体認識システムの全体のハードウェア構成図である。 視差値導出装置の主要部のハードウェア構成図である。 本実施形態の視差導出方法の処理を示したフローチャートである。 視差値の補正方法の処理を示したフローチャートである。 メディアンフィルタの適用例を示した概念図である。 視差値毎の合成コスト値を示すグラフである。 メディアンフィルタを適用して視差値を補正する処理を示した概念図である。 視差値の補正を行なった後に生成される高密度視差画像を示す概念図である。 (a)は基準画像、(b)は基準画像の一部、(c)は従来のSGM法を用いた場合の高密度視差画像、(d)は視差値補正部340が所定値V1を用いて補正した場合の高密度視差画像、(e)は視差値補正部340が所定値V2(V1<V2)を用いて補正した場合の高密度視差画像を示す概念図である。
以下、図面を用いて、本発明の一実施形態について説明する。
〔SGM法を用いた測距方法の概略〕
まず、図1乃至図6を用いて、SGM(Semi-Global Matching)法を用いた測距方法の概略について説明する。なお、SGM法に関しては、非特許文献(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)に開示されているため、以下では概略を説明する。
<測距の原理>
図1を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図1は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。
なお、一画素単位ではなく、複数の画素からなる所定領域単位で処理される場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として示される。また、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。
(視差値算出)
まず、図1で示される撮像装置10aおよび撮像装置10bによって撮像された各画像を、それぞれ基準画像Iaおよび比較画像Ibとする。なお、図1では、撮像装置10aおよび撮像装置10bが平行等位に設置されているものとする。図1において、3次元空間内の物体E上の点Sは、撮像装置10aおよび撮像装置10bの同一水平線上の位置に写像される。すなわち、各画像中の点Sは、基準画像Ia中の点Sa(x,y)および比較画像Ib中の点Sb(X,y)において撮像される。このとき、視差値Δは、撮像装置10a上の座標における点Sa(x,y)と撮像装置10b上の座標における点Sb(X,y)とを用いて、(式1)のように表される。
Δ=X−x (式1)
ここで、図1のような場合には、基準画像Ia中の点Sa(x,y)と撮像レンズ11aから撮像面上におろした垂線の交点との距離をΔaにし、比較画像Ib中の点Sb(X,y)と撮像レンズ11bから撮像面上におろした垂線の交点との距離をΔbにすると、視差値Δ=Δa+Δbとなる。
(距離算出)
また、視差値Δを用いることで、撮像装置10a,10bと物体Eとの間の距離Zを導き出すことができる。具体的には、距離Zは、撮像レンズ11aの焦点位置と撮像レンズ11bの焦点位置とを含む面から物体E上の特定点Sまでの距離である。図1に示されるように、撮像レンズ11a及び撮像レンズ11bの焦点距離f、撮像レンズ11aと撮像レンズ11bとの間の長さである基線長B、及び視差値Δを用いて、(式2)により、距離Zを算出することができる。
Z=(B×f)/Δ (式2)
この(式2)により、視差値Δが大きいほど距離Zは小さく、視差値Δが小さいほど距離Zは大きくなる。
<SGM法>
続いて、図2乃至図6を用いて、SGM法を用いた測距方法について説明する。なお、図2(a)は基準画像、図2(b)は(a)に対する高密度視差画像、図2(c)は(a)に対するエッジ視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、SGM法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、従来から用いられているブロックマッチング法によって導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。
SGM法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出す方法であり、図2(a)に示されている基準画像に基づいて、図2(b)に示されている高密度視差画像を導き出す方法である。なお、ブロックマッチング法を用いた場合には、図2(a)に示されている基準画像に基づいて、図2(c)に示されているエッジ視差画像が導き出される。図2(b)及び図2(c)における破線の楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。
このSGM法は、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、更に、合成非類似度である合成コスト値 (Synthesis Cost)を算出することで視差値を導出し、最終的にほぼ全ての画素における視差値を示す視差画像(ここでは、高密度視差画像)を導き出す方法である。
なお、ブロックマッチング法の場合は、コスト値を算出する点はSGM法と同じであるが、SGM法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみを導出する。また、視差値の導出方法は、換言すると、視差値の生産方法でもある。
(コスト値の算出)
まず、図3及び図4を用いて、コスト値C(p,d)の算出方法について説明する。図3(a)は基準画像における基準画素を示す概念図、図3(b)は(a)の基準画素に対して比較画像における対応画素の候補を順次シフトしながら(ずらしながら)コスト値を算出する際の概念図である。図4は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、C(p,d)は、C(x,y,d)を表すものとして説明する。
図3(a)に示されているように、基準画像内の所定の基準画素p(x,y)と、この基準画素p(x,y)に対する比較画像内におけるエピポーラ線(Epipolar Line)EL上の複数の対応画素の候補q(x+d,y)との各輝度値に基づいて、基準画素p(x,y)に対する各対応画素の候補q(x+d,y)のコスト値C(p,d)が算出される。dは、基準画素pと対応画素の候補qのシフト量(ずれ量)であり、本実施形態では、画素単位のシフト量が表されている。即ち、図3では、対応画素の候補q(x+d,y)を予め指定された範囲(例えば、0<d<25)において順次一画素分シフトしながら、対応画素の候補q(x+d,y)と基準画素p(x,y)との輝度値の非類似度であるコスト値C(p,d)が算出される。コスト値Cの算出方法としては、コスト値Cが非類似度を示す場合、SAD(Sum of Absolute Difference)等の公知の方法が適用される。
このようにして算出されたコスト値C(p,d)は、図4に示されているように、シフト量d毎のコスト値Cの集まりであるコスト曲線のグラフによって表すことができる。図4では、コスト値Cは、シフト量d=5,12,19の場合が0(ゼロ)となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、コスト値Cの最小値を求めることは困難になる。
(合成コスト値の算出)
次に、図5及び図6を用いて、合成コスト値Ls(p,d)の算出方法について説明する。図5は、合成コスト値を導き出すための概念図である。図6は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。本実施形態における合成コスト値の算出方法は、コスト値C(p,d)の算出だけでなく、所定の基準画素p(x,y)の周辺の画素p’(x’,y’)を基準画素とした場合のコスト値を、基準画素p(x,y)におけるコスト値C(p,d)に集約させて、合成コスト値Ls(p,d)を算出する。
次に、合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ls(p,d)を算出するためには、まず、経路コスト値Lr(p,d)を算出する必要がある。(式3)は、経路コスト値Lr(p,d)を算出するための式であり、(式4)は、合成コスト値Lsを算出するための式である。
Lr(p,d)=C(p,d)+min{(Lr(p−r,d),Lr(p−r,d−1)+P1,Lr(p−r,d+1)+P1,Lrmin(p−r)+P2} (式3)
ここで、(式3)において、rは、集約方向の方向ベクトルを示し、x方向およびy方向の2成分を有する。min{}は、最小値を求める関数である。Lrmin(p−r)は、pをr方向に1画素シフトした座標において、シフト量dを変化させた際のLr(p−r,d)の最小値を示す。なお、Lrは、(式3)に示されているように再帰的に適用される。また、P1及びP2は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、P1=48、P2=96である。
また、(式3)に示されているように、Lr(p,d)は、基準画素p(x,y)におけるコスト値Cに、図5に示されているr方向の各画素における各画素の経路コスト値Lrの最小値を加算することで求められる。このように、r方向の各画素におけるLrを求めるため、最初は、基準画素p(x,y)のr方向の一番端の画素からLrが求められ、r方向に沿ってLrが求められる。
そして、図5に示されているように、8方向のLr,Lr45,Lr90,Lr135,Lr180,Lr225,Lr270,Lr315が求められ、最終的に(式4)に基づいて、合成コスト値Lsが求められる。
Figure 0006561512
このようにして算出された合成コスト値Ls(p,d)は、図6に示されているように、シフト量d毎に合成コスト値Ls(p,d)が示される合成コスト曲線のグラフによって表すことができる。図6では、合成コスト値Lsは、シフト量d=3の場合が最小値となるため、視差値Δ=3として算出される。
なお、上記説明ではrの数を8として説明しているが、これに限られることはない。例えば、8方向を更に2つに分割して16方向、3つに分割して24方向等にしてもよい。
また、(式4)によって、(式3)によって算出された全ての経路rに関する経路コスト値Lrを合計したが、これに限るものではない。1つの経路コスト値Lrを合成コスト値としてもよいし、2以上の経路コスト値Lrの合成を合成コスト値Lsとしてもよい。
また、コスト値Cは「非類似度」として示されているが、非類似度の逆数としての「類似度」として表されてもよい。この場合、コスト値Cの算出方法としては、NCC(Normalized Cross Correlation)等の公知の方法が適用される。また、この場合、合成コスト値Lsが最小ではなく「最大」となる視差値Δが導出される。なお、非類似度と類似度の両者を含めて、「一致度」として表してもよい。
〔本実施形態の具体的な説明〕
以下、図面を用いて、本実施形態の具体的な説明を行う。ここでは、自動車に搭載される物体認識システム1について説明する。
なお、物体認識システム1は、車両の一例としての自動車だけでなく、車両の他の例として、バイク、自転車、車椅子、農業用の耕運機等に搭載されることができてもよい。また、移動体の一例としての車両だけでなく、移動体の他の例として、ロボット等に搭載されることができてもよい。更に、ロボットは、移動体だけでなく、FA(Factory Automation)において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用の監視カメラであってもよい。
<実施形態の構成>
まず、図7乃至図9用いて、本実施形態の全体構成について説明する。
(外観構成)
図7及び図8を用いて、本実施形態の物体認識システム1の外観構成を説明する。なお、図7(a)は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、図7(b)は自動車の正面を示す概略図である。図8は、物体認識システムの概観図である。
図7(a),(b)に示されているように、本実施形態の物体認識システム1は、撮像装置10a及び撮像装置10bを備えており、撮像装置10a及び撮像装置10bは自動車の進行方向前方の光景を撮像することができるように設置される。
また、図8に示されているように、物体認識システム1は、本体部2と、本体部2に対して設けられた一対の円筒状の撮像装置10a及び撮像装置10bとによって構成されている。
(全体のハードウェア構成)
次に、図9を用いて、物体認識システム1の全体のハードウェア構成について説明する。なお、図9は、物体認識システムの全体のハードウェア構成図である。
図9に示されているように、物体認識システム1は、本体部2において、視差値導出装置3及び物体認識装置5を備えている。このうち、視差値導出装置3は、物体Eを撮像して得られた複数の画像から、物体Eに対する視差を示す視差値Δを導出し、各画素における視差値Δを示す高密度視差画像を出力する。物体認識装置5は、視差値導出装置3から出力された高密度視差画像に基づいて、撮像装置10a,10bから物体Eまでの距離を測定する等の処理を行なう。
ここで、まずは、視差値導出装置3のハードウェア構成について説明する。図9に示されているように、視差値導出装置3は、撮像装置10a、撮像装置10b、信号変換装置20a、信号変換装置20b、及び画像処理装置30を備えている。
撮像装置10aは、前方の光景を撮像して画像を表すアナログ信号を生成するものであり、撮像レンズ11a、絞り12a、及び画像センサ13aを備えている。撮像レンズ11aは、撮像レンズ11aを通過する光を屈折させて物体の像を結像させるための光学素子である。絞り12aは、撮像レンズ11aを通過した光の一部を遮ることによって、後述する画像センサ13aに入力される光の量を調整する。画像センサ13aは、撮像レンズ11a及び絞り12aから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)等によって実現される。なお、撮像装置10bは撮像装置10aと同じ構成を備えているため、撮像装置10bについての説明は省略する。また、撮像レンズ11aと撮像レンズ11bは、それぞれのレンズ面が互いに同一平面内になるように設置されている。
また、信号変換装置20aは、撮像された画像を表すアナログ信号をデジタル形式の画像データに変換するものであり、CDS(Correlated Double Sampling)21a、AGC(Auto Gain Control)22a、ADC(Analog Digital Converter)23a、及びフレームメモリ24aを備えている。CDS21aは、画像センサ13aによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。AGC22aは、CDS21aによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ADC23aは、AGC22aによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ24aは、ADC23aによって変換された画像データを記憶する。
同様に、信号変換装置20bは、撮像装置10bによって変換されたアナログの画像信号から画像データを取得するものであり、CDS21b、AGC22b、ADC23b、及びフレームメモリ24bを有している。なお、CDS21b、AGC22b、ADC23b、及びフレームメモリ24bはそれぞれCDS21a、AGC22a、ADC23a、及びフレームメモリ24aと同じ構成であるため、それらについての説明は省略する。
更に、画像処理装置30は、信号変換装置20a及び信号変換装置20bによって変換された画像データを処理するための装置である。この画像処理装置30は、FPGA(Field Programmable Gate Array)31、CPU(Central Processing Unit)32、ROM(Read Only Memory)33、RAM(Random Access Memory)34、I/F(Interface)35及び上記各構成要素31〜35を図9に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン39を備えている。
このうち、FPGA31は、集積回路であり、ここでは、CPU32の命令に従って、画像データが表す画像における視差値Δを算出する処理を行う。CPU32は、視差値導出装置3の各機能を制御する。ROM33は、CPU32が視差値導出装置3の各機能を制御するために実行される画像処理用プログラムを記憶している。RAM34はCPU32のワークエリアとして使用される。
I/F35は、物体認識装置5における後述I/F55とアドレスバスやデータバス等のバスライン4を介して通信するためのインターフェイスである。
続いて、物体認識装置5のハードウェア構成について説明する。図9に示されているように、物体認識装置5は、FPGA51、CPU52、ROM53、RAM54、CANI/F55、CAN(Controller Area Network) I/F58及び上記各構成要素51〜55,58を図9に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン59を備えている。
このうち、FPGA51、CPU52、ROM53、RAM54、I/F55、及びバスライン59は、それぞれ画像処理装置30におけるFPGA31、CPU32、ROM33、RAM34、I/F35、及びバスライン39と同様の構成であるため、説明を省略する。なお、I/F55は、画像処理装置30におけるI/F35とバスライン4を介して通信するためのインターフェイスである。また、ROM53は、CPU52が物体認識装置5の各機能を制御するために実行される物体認識用プログラムを記憶している。
CAN I/F58は、外部コントローラ等と通信するためのインターフェイスであり、例えば、自動車のCAN等に接続されることができる。
このような構成により、画像処理装置30のI/F35からバスライン4を介して物体認識装置5に高密度視差画像が送信されると、物体認識装置5におけるCPU52の命令によって、FPGA51が、撮像装置10a,10bと物体Eとの間の距離Zを算出する。なお、物体認識装置5におけるCPU52の命令によってFPGA51が距離Zを算出せずに、画像処理装置30のCPU32の命令によってFPGA31が距離Zを算出してもよい。
なお、上述の例では、2つの撮像装置10a,10bを用いたが、これに限らず1つの撮像装置を用いてもよい。この場合、1つの画像センサにおいて撮像境域を2箇所に分けることにより、対象Eを撮像する。
また、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、CD−ROM(Compact Disc Read Only Memory)やSDメモリカード(Secure Digital memory card)等である。
(主要部のハードウェア構成)
次に、図3、図9及び図10を用いて、視差値導出装置1の主要部のハードウェア構成について説明する。なお、図10は、視差値導出装置の主要部のハードウェア構成図である。
図9におけるFPGA31は、図10に示されているように、コスト算出部310、コスト合成部320、視差値導出部330、及び視差値補正部340を備えている。これらは、FPGA31の回路の一部であるが、上記プログラムが実行されることにより、同じ処理を行うことができるようにしてもよい。
このうち、コスト算出部310は、図3に示されているように、基準画像(図3(a)参照)内の基準画素p(x,y)の輝度値と、比較画像(図3(b)参照)内において基準画素p(x,y)に基づくエピポーラ線EL上でシフトさせることでシフト量d毎に特定される対応画素の候補q(x+d,y)の各輝度値とに基づいて、基準画素p(x,y)に対する対応画素の候補q(x+d,y)の各コスト値Cを算出して出力する。
また、コスト合成部320は、コスト算出部310によって出力された一の基準画素p(x,y)に対する対応画素の候補q(x+d,y)の各コスト値Cと、コスト算出部310によって出力された他の基準画素p’(x’,y’)に対する対応画素の候補q’(x’+d,y’)の各コスト値Cとを、シフト量d毎に合成し、合成コスト値Lsを出力する。
なお、この合成の処理は、(式3)に基づいてコスト値Cから経路コスト値Lrを算出した後、更に、(式4)に基づいて各方向における経路コスト値Lrを加算して、最終的に合成コスト値Lsを算出する処理である。
また、視差値導出部330は、コスト合成部320によって出力された合成コスト値Lsが最小となる場合のシフト量dを、視差値Δとして導出する。
更に、視差値補正部340は、基準画像内の各画素のうち所定の画素を中央とする複数の画素に対してメディアンフィルタを適用することで、所定の画素における視差値を補正する。具体的には、視差値補正部340は、判断部としての役割も果たし、基準画像内の各画素のうち特定の画素において、シフト量d毎に出力された各合成コスト値のうち最小の極小値と2番目に小さい極小値との差Dが所定値Vよりも小さいかを判断する。更に、視差値補正部340は、差Dが所定値Vよりも小さいと判断した場合には、メディアンフィルタの適用対象から特定の領域を外して視差値Δを補正する。そして、視差値補正部340は、補正した全画素分の視差値Δを出力する。メディアンフィルタは、画像のノイズ除去に利用されるフィルタの一種であり、n×nの局所領域(例えば、複数の画素)における輝度値を小さい順に並べ、真ん中にくる輝度値を局所領域における中央の画素の輝度値とするために適用される。画像のノイズ除去にメディアンフィルタを適用した場合、画像のエッジはそのまま残るため、エッジのボケが生じる平滑化フィルタを適用する場合に比べて、測距に利用される視差値への適用には優れている。このように、差Dが所定値Vよりも小さい場合には、最小の極小値と2番目に小さい極小値が近いため、最小の極小値である最小値Lsのシフト量dを視差値Δとすることに関して信頼度が低いということが言える。そのため、信頼度の低い視差値Δはメディアンフィルタの適用対象から外される。
<実施形態の処理又は動作>
次に、図11乃至図16を用いて、本実施形態の処理又は動作を説明する。ここでは、視差値Δの導出方法について説明する。なお、図11は、本実施形態の視差導出方法の処理を示したフローチャートである。
まず、図9に示されている撮像装置10aは、対象Eを撮像してアナログの画像データを生成する(ステップS1−1)。同じく、撮像装置10aは、対象を撮像してアナログの画像データを生成する(ステップS1−2)。
次に、信号変換装置20aは、アナログの画像データを、デジタルの画像データに変換する(ステップS2−1)。同じく、信号変換装置20bは、アナログの画像データを、デジタルの画像データに変換する(ステップS2−2)。
次に、信号変換装置20aは、画像処理装置30のFPGA31に、変換後のデジタルの画像データを基準画像のデータとして出力する(ステップS3−1)。この基準画像の概念図は、図2(a)に示されている。同じく、信号変換装置20bは、画像処理装置30のFPGA31に、変換後のデジタルの画像データを比較画像のデータとして出力する(ステップS3−2)。この比較画像は、撮像装置10bによって撮像された画像であるが、図2(a)に示されている基準画像と極端な違いはないため、比較画像の概念図は図示しないで省略する。
次に、図10に示されているコスト算出部310は、基準画像のデータ及び比較画像のデータに基づき、シフト量d毎のコスト値Cを算出する(ステップS4)。
次に、図10に示されているコスト合成部320は、(式3)を利用して、経路コスト値Lrを算出し、更に(式4)を利用して、合成コスト値Lsを算出する(ステップS5)。そして、視差値導出部330は、コスト合成部320によって出力された合成コスト値Lsが最小となる場合のシフト量dを、視差値Δとして導出する(ステップS6)。
次に、視差値補正部340は、基準画像内の各画素のうち所定の画素を中央とする複数の画素に対してメディアンフィルタを適用することで、所定の画素における視差値Δを補正する(ステップS7)。ここで、図12乃至図16を用いて、ステップS7の処理を詳細に説明する。なお、図12は、視差値の補正方法の処理を示したフローチャートである。図13は、メディアンフィルタの適用例を示した概念図である。図14は、視差値毎の合成コスト値を示すグラフである。図15は、メディアンフィルタを適用して視差値を補正する処理を示した概念図である。図16は、視差値の補正を行なった後に生成される高密度視差画像を示す概念図である。
まず、図12に示されているように、視差値補正部340が、メディアンフィルタを適用する局所領域内の全ての画素に関して、合成コスト値Lsの最小の極小値と2番目に小さい極小値との差Dが、所定値Vよりも小さいかを判断する(ステップS7−1)。ここで、ステップS7−1の処理に関し、図13及び図14を用いて、より詳細に説明する。なお、ここでは、説明を簡単にするために、3×3の画素から成る局所領域に対して、メディアンフィルタを適用する場合について説明する。
図13(a)では、9個の画素の各視差値が示されている。例えば、メディアンフィルタが適用される局所領域の中央の画素における視差値はΔ=13である。そして、視差値補正部340(判断部)は、図14に示されているように、局所領域内の画素毎に、合成コスト値において、最小の極小値(Ls(d1))と2番目に小さい極小値(Ls(d2))との差Dが、所定値Vより小さいかを判断する。例えば、所定値Vは80である。そして、図13(b)に示されているように、視差値補正部340は、差Dが所定値V以上の画素に関しては、メディアンフィルタの適用対象とし「○」、差Dが所定値V未満の画素に関しては、メディアンフィルタの適用対象から外す「×」。
そして、視差値補正部340(判断部)が、局所領域内の全ての画素に関して、差Dが所定値Vより小さい画素がないと判断した場合には(YES)、視差値補正部340は、そのままの状態で(つまり、メディアンフィルタの適用対象から特定の画素を外さない状態で)、局所領域に対してメディアンフィルタを適用して視差値を補正する(ステップS7−2)。例えば、局所領域内の全画素が適用対象の場合、図15(a)に示されているように、視差値補正部340は、9個の視差値を上から小さい順に並べて、真ん中に来る視差値を局所領域における中央の画素の視差値とする。ここでは、真ん中に来る視差値は「12」であるため、中央の画素の視差値は「13」から「12」に補正される。
一方、上記ステップS7−1において、視差値補正部340(判断部)が、局所領域内の特定の画素に関して、差Dが所定値以上ではない(つまり、差Dが所定値未満)と判断した場合には(NO)、視差値補正部340は、メディアンフィルタの適用対象から特定の画素を外す(ステップS7−3)。そして、視差値補正部340は、ステップS7−2の処理を同様の処理を行なう。例えば、図13(a)において、局所領域の右上と中央上の画素が、図14において差Dが所定値V以上でない場合、図13(b)に示されているように、メディアンフィルタの適用対象から外される「×」。そして、図15(b)に示されているように、視差値補正部340は、9個の視差値を上から小さい順に並べて、図13(b)で「×」になった画素の視差値が外された状態で真ん中に来る視差値を局所領域における中央の画素の視差値とする。ここでは、真ん中に来る視差値は「11」であるため、中央の画素の視差値は「13」から「11」に補正される。
以上のように、視差値補正部340がメディアンフィルタを適用することで、図2(b)に示されている高密度視差画像が、図16に示されている高密度視差画像として生成されることになる。図2(b)に示されている高密度視差画像では車の後側等にノイズが発生しているが、図16に示されている高密度視差画像ではノイズが除去されている。
なお、所定値Vは、利用者等によって変更可能である。所定値Vが大きくなれば視差値Δの信頼度が増すが、逆に、信頼度が低いためにメディアンフィルタの適用対象から外される画素が増す。そのため、所定値Vを大きくし過ぎると、より正確な視差値を導出することが困難になる。
ここで、図17を用いて、視差値補正部340が所定値Vを用いた際の高密度視差画像について説明する。なお、図17のうち、(a)は基準画像、(b)は基準画像の一部、(c)は従来のSGM法を用いた場合の高密度視差画像、(d)は視差値補正部340が所定値V1を用いて補正した場合の高密度視差画像、(e)は視差値補正部340が所定値V2(V1<V2)を用いて補正した場合の高密度視差画像を示す。ここでは、標識Mの基準画像が示されている。また、例えば、V1=50で、V2=100である。
このように、視差値補正部340によって、高密度視差画像は、より実物に近い形態の画像となる。ここでは、形態が小さくなっている。更に、所定値V1を大きくして、V2にすると、更に実物に近い形態の画像となる。但し、所定値をV2から更に大きくして、V3=200以上にすると、図14に示されているような合成コスト値を示すグラフにおいて、Lsの最小値とLsの最小値以外の極小値との差Dが比較的大きいものまで空間フィルタの適用対象から除外されてしまうため、導出される視差値Δの信頼度が低下することになる。なお、V1=50、V2=100は一例である。例えば、50≦V1≦100、70≦V2≦200(但し、V1+20<V2)であってもよい。
<実施形態の主な効果>
以上説明したように本実施形態によれば、視差値に対してメディアンフィルタを適用することで、極端に視差値が高い又は低い画素を平均化することで、より正確な視差値を導出することができるという効果を奏する。
また、信頼度が低い視差値に対してはメディアンフィルタの適用対象から外すことで、更に正確な視差値を導出することができるという効果を奏する。
<実施形態の補足>
上記実施形態では、コスト値Cは「非類似度」として示されているが、「類似度」として示されてもよい。この場合、コスト値Cの最小値は最大値に置き換え、合成コスト値Lsの最小値は最大値に置き換えられる。
また、上記実施形態では、(式4)によって、(式3)によって算出された全ての経路rに関する経路コスト値Lrを合計したが、これに限るものではない。1つの経路コスト値Lrを合成コスト値としてもよいし、2以上の経路コスト値Lrの合成を合成コスト値Lsとしてもよい。
更に、上記実施形態では、視差値補正部340が、基準画像内の各画素のうち特定の画素において、シフト量d毎に出力された各合成コスト値Lsのうち最小の極小値と2番目に小さい極小値との差が所定値よりも小さいかを判断したが、これに限るものではない。例えば、主に横方向に変化が表れづらい路面の視差値Δをより正確に導出するため、経路r,r180上の画素に対してのみ、メディアンフィルタの適用対象から特定の画素を外すための判断をしてもよい。また、主に縦方向に変化が表れづらい標識や車等の視差値Δをより正確に導出するため、経路r90,r270上の画素に対してのみ、メディアンフィルタの適用対象から特定の画素を外すための判断をしてもよい。
更に、上記実施形態では、説明の簡略化のために、一画素単位で説明したが、これに限るものではなく、所定領域単位で処理されてもよい。この場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として表される。なお、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。
また、上記実施形態では、2つの撮像装置10a,10bを用いたが、これに限らず1つの撮像装置を用いてもよい。この場合、1つの画像センサにおいて撮像境域を2箇所に分けることにより、対象Eを撮像する。
更に、上記実施形態では、自動車に搭載される視差値導出装置1について説明したが、これに限るものではない。例えば、車両の一例としての自動車だけでなく、バイク、自転車、車椅子、農業用の耕運機等の車両に搭載されることができてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体であってもよい。
更に、ロボットは、移動体だけでなく、FA(Factory Automation)において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用の監視カメラであってもよい。
また、上記実施形態では、外部のCPUが距離Zを算出しているが、これに限るものではなく、画像処理装置30のCPU32が距離Zを算出してもよい。
更に、上記実施形態で説明された視差値Δの導出方法は、換言すると、視差値Δの生産方法でもある。
また、本実施形態においてはメディアンフィルタを対象としているが、メディアンフィルタのみならず平滑化フィルタ等の公知の空間フィルタを利用しても良い。その場合、視差値補正部340は、基準画像内の各画素のうち特定の画素において、シフト量d毎に出力された各合成コスト値のうち最小の極小値と2番目に小さい極小値との差Dが所定値Vよりも小さいかを判断する。更に、視差値補正部340は、差Dが所定値Vよりも小さいと判断した場合には、平滑化フィルタ等の公知の空間フィルタの適用対象から特定の領域を外して視差値Δを補正する。
<付記項>
上記実施形態では、以下に示すような発明が開示されている。
〔付記項1〕
対象を撮像した第1の撮像手段によって得られた基準画像及び前記対象を撮像した第2の撮像手段によって得られた比較画像から、前記対象に対する視差を示す視差値を導出する視差値導出装置であって、
前記基準画像内の基準領域の輝度値と、前記比較画像において前記基準領域に基づくエピポーラ線上でシフトさせることでシフト量毎に特定される対応領域の候補の各輝度値との各非類似度を算出する算出手段と、
前記算出手段によって算出された前記各非類似度を前記シフト量毎に合成して、基準画像内の所定の経路における経路コスト値を算出し、各経路における経路コスト値を合計することで前記シフト量毎に各合成コスト値を出力する合成手段と、
前記出力された各合成コスト値のうち最小値となる合成コスト値のシフト量を、前記基準領域における視差値として導出することで、前記基準画像内の各領域を前記基準領域として導出した各視差値を出力する導出手段と、
前記基準画像内の各領域のうち所定の領域を中央とする複数の領域に対して空間フィルタを適用することで、前記所定の領域における視差値を補正する補正手段と、
を有することを特徴とする視差値導出装置。
〔付記項2〕
付記項1に記載の視差値導出装置であって、
前記基準画像内の各領域のうち特定の領域において、前記シフト量毎に出力された前記各合成コスト値のうち最小の極小値と2番目に小さい極小値との差が所定値よりも小さいかを判断する判断手段を有し、
前記補正手段は、前記判断手段によって前記差が前記所定値よりも小さいと判断された場合には、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする付記項1に記載の視差値導出装置。
〔付記項3〕
前記算出手段が非類似度に代えて類似度を算出する場合に、前記導出手段は、前記各合成コスト値のうち最小値に代えて最大値となる合成コスト値のシフト量を、前記基準領域における視差値として導出することを特徴とする付記項1に記載の視差値導出装置。
〔付記項4〕
前記算出手段が非類似度に代えて類似度を算出する場合に、前記判断手段は、前記基準画像内の各領域のうち特定の領域において、前記シフト量毎に出力された前記各合成コスト値のうち最小の極小値に代えて最大の極大値と、2番目に小さい極小値に代えて2番目に大きい極大値との差が所定値よりも小さいかを判断することを特徴とする付記項4に記載2に記載の視差値導出装置。
1 視差値導出装置
2 本体部
10a 撮像装置
10b 撮像装置
20a 信号変換装置
20b 信号変換装置
30 画像処理装置
310 コスト算出部〔算出手段の一例〕
320 コスト合成部〔合成手段の一例〕
330 視差値導出部〔導出手段の一例〕
330 (判断部)〔判断手段の一例〕
特開2006−090896号公報 特開2012−181142号公報

Claims (12)

  1. 第1の撮像位置から撮像された基準画像における基準領域と、第2の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出手段と、
    前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成手段と、
    前記合成手段により合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、
    前記基準画像内の各領域のうち所定の領域を含む複数の領域に対して空間フィルタを適用することで、前記所定の領域における視差値を補正する補正手段と、
    を備え、
    前記補正手段は、前記基準画像内の各領域のうち特定の領域において、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む2つの極値の差が所定値よりも小さい場合には、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする視差値導出装置。
  2. 前記基準画像内の各領域のうち特定の領域において、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む2つの極値の差が所定値よりも小さいかを判断する判断手段を有し、
    前記判断手段によって前記差が前記所定値よりも小さいと判断された場合には、前記補正手段は、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする、請求項1に記載の視差値導出装置。
  3. 前記判断手段は、前記基準画像内の各経路のうち特定の経路における特定の領域のみにおいて、前記判断を行うことを特徴とする請求項に記載の視差値導出装置。
  4. 前記所定値は変更可能であることを特徴とする請求項1乃至のいずれか一項に記載の視差値導出装置。
  5. 請求項1乃至のいずれか一項に記載の視差値導出装置を備えたことを特徴とする移動体。
  6. 前記移動体は、車両又はロボットであることを特徴とする請求項に記載の移動体。
  7. 請求項1乃至のいずれか一項に記載の視差値導出装置を備えたことを特徴とするロボット。
  8. 前記ロボットは、固定設置される工業用ロボットであることを特徴とする請求項に記載のロボット。
  9. 第1の撮像位置から撮像された基準画像における基準領域と、第2の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出ステップと、
    前記算出ステップにより算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成ステップと、
    前記合成ステップにより合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出ステップと、
    前記基準画像内の各領域のうち所定の領域を含む複数の領域に対して空間フィルタを適用することで、前記所定の領域における視差値を補正する補正ステップと、
    を実行する視差値導出方法であって、
    前記補正ステップにおいて、前記基準画像内の各領域のうち特定の領域において、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む2つの極値の差が所定値よりも小さい場合には、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする視差値導出方法。
  10. 第1の撮像位置から撮像された基準画像における基準領域と、第2の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出ステップと、
    前記算出ステップにより算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成ステップと、
    前記合成ステップにより合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出ステップと、
    前記基準画像内の各領域のうち所定の領域を含む複数の領域に対して空間フィルタを適用することで、前記所定の領域における視差値を補正する補正ステップと、
    を実行する視差値生産方法であって、
    前記補正ステップにおいて、前記基準画像内の各領域のうち特定の領域において、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む2つの極値の差が所定値よりも小さい場合には、前記空間フィルタの適用対象から前記特定の領域を外して、前記視差値を補正することを特徴とする視差値生産方法。
  11. コンピュータに、請求項9又は10に記載の方法を実行させることを特徴とするプログラム。
  12. 第1の撮像位置から撮像された基準画像における基準領域と、第2の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、のコスト値を算出する算出手段と、
    前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域のコスト値と、前記基準画像における前記所定の基準領域のコスト値と、を合成する合成手段と、
    前記合成手段により合成されたコスト値に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、
    前記基準画像内の各領域のうち所定の領域を含む複数の領域に対して、前記合成されたコスト値のうち、前記視差値の導出に用いられる極値を含む2つの極値の差と所定値との比較結果に基づいて前記複数の領域のうちの少なくとも1つを除外したうえで空間フィルタを適用することで前記所定の領域における視差値を補正して、前記基準画像または前記比較画像中の物体の認識を行う前記物体認識装置に出力する補正手段と、を備え、
    前記導出手段が導出する視差値で示される前記物体認識装置が認識する物体に対応する領域は、前記所定値が大きいほど小さくなることを特徴とする視差値導出装置。
JP2015051957A 2014-03-27 2015-03-16 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム Expired - Fee Related JP6561512B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015051957A JP6561512B2 (ja) 2014-03-27 2015-03-16 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
US14/662,519 US9898823B2 (en) 2014-03-27 2015-03-19 Disparity deriving apparatus, movable apparatus, robot, method of deriving disparity, method of producing disparity, and storage medium
CN201510134914.1A CN104952064B (zh) 2014-03-27 2015-03-26 视差值计算装置、物体识别系统、视差值计算方法
EP15160970.8A EP2930688A1 (en) 2014-03-27 2015-03-26 Disparity deriving apparatus, movable apparatus, robot, method of deriving disparity, method of producing disparity, and carrier medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014066057 2014-03-27
JP2014066057 2014-03-27
JP2015051957A JP6561512B2 (ja) 2014-03-27 2015-03-16 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015194487A JP2015194487A (ja) 2015-11-05
JP6561512B2 true JP6561512B2 (ja) 2019-08-21

Family

ID=53058966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015051957A Expired - Fee Related JP6561512B2 (ja) 2014-03-27 2015-03-16 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム

Country Status (4)

Country Link
US (1) US9898823B2 (ja)
EP (1) EP2930688A1 (ja)
JP (1) JP6561512B2 (ja)
CN (1) CN104952064B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10269131B2 (en) * 2015-09-10 2019-04-23 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US9626590B2 (en) * 2015-09-18 2017-04-18 Qualcomm Incorporated Fast cost aggregation for dense stereo matching
CN105704472A (zh) * 2016-01-13 2016-06-22 青岛海信电器股份有限公司 一种识别儿童用户的电视控制方法和系统
CN105763917B (zh) * 2016-02-22 2019-09-20 青岛海信电器股份有限公司 一种终端开机的控制方法和系统
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
WO2018006296A1 (en) * 2016-07-06 2018-01-11 SZ DJI Technology Co., Ltd. Systems and methods for stereoscopic imaging
KR101856344B1 (ko) * 2016-08-22 2018-06-25 현대자동차주식회사 스테레오 영상 정합을 통한 시차맵 생성 시스템 및 방법
KR20180087944A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 장치
JP6878219B2 (ja) * 2017-09-08 2021-05-26 株式会社東芝 画像処理装置および測距装置
CN109074661A (zh) * 2017-12-28 2018-12-21 深圳市大疆创新科技有限公司 图像处理方法和设备
CN111284490B (zh) * 2018-12-06 2021-06-04 海信集团有限公司 车载双目相机检测前车溜车的方法及车载双目相机

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100524077B1 (ko) * 2003-11-13 2005-10-26 삼성전자주식회사 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
JP4554316B2 (ja) 2004-09-24 2010-09-29 富士重工業株式会社 ステレオ画像処理装置
KR20060063265A (ko) * 2004-12-07 2006-06-12 삼성전자주식회사 영상 처리 방법 및 장치
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
JP5682065B2 (ja) 2011-03-02 2015-03-11 独立行政法人産業技術総合研究所 ステレオ画像処理装置及びステレオ画像処理方法
JP5760559B2 (ja) 2011-03-18 2015-08-12 株式会社リコー ステレオカメラ装置、視差画像生成方法
US8897546B2 (en) * 2011-09-29 2014-11-25 Texas Instruments Incorporated Semi-global stereo correspondence processing with lossless image decomposition
JP5752618B2 (ja) * 2012-02-10 2015-07-22 トヨタ自動車株式会社 ステレオ視差算出装置

Also Published As

Publication number Publication date
CN104952064B (zh) 2018-06-08
US9898823B2 (en) 2018-02-20
JP2015194487A (ja) 2015-11-05
CN104952064A (zh) 2015-09-30
EP2930688A1 (en) 2015-10-14
US20150279045A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
JP6417886B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6589313B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6306735B2 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
JP2016152027A (ja) 画像処理装置、画像処理方法およびプログラム
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6561511B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム
JP6519138B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JPWO2017090097A1 (ja) 車両用外界認識装置
JP6442911B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、及びプログラム
JP6515547B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム
JP2016095229A (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP2015195019A (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値の生産方法及びプログラム
JP6701738B2 (ja) 視差値導出装置、視差値導出方法及びプログラム
JP6459482B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6064648B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置
JP2014164397A (ja) 画像処理装置、画像処理方法、画像処理システム、画像処理プログラム及び移動装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190708

R151 Written notification of patent or utility model registration

Ref document number: 6561512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees