JP6589313B2 - 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム - Google Patents
視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム Download PDFInfo
- Publication number
- JP6589313B2 JP6589313B2 JP2015055439A JP2015055439A JP6589313B2 JP 6589313 B2 JP6589313 B2 JP 6589313B2 JP 2015055439 A JP2015055439 A JP 2015055439A JP 2015055439 A JP2015055439 A JP 2015055439A JP 6589313 B2 JP6589313 B2 JP 6589313B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- pixel
- parallax
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 102
- 238000012937 correction Methods 0.000 claims description 138
- 238000003384 imaging method Methods 0.000 claims description 107
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000009467 reduction Effects 0.000 claims description 38
- 230000015572 biosynthetic process Effects 0.000 claims description 20
- 238000003786 synthesis reaction Methods 0.000 claims description 20
- 238000009795 derivation Methods 0.000 claims description 19
- 239000002131 composite material Substances 0.000 claims description 17
- 239000000203 mixture Substances 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims 3
- 230000008569 process Effects 0.000 description 56
- 230000000875 corresponding effect Effects 0.000 description 52
- 238000012545 processing Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 19
- 238000011946 reduction process Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Mechanical Engineering (AREA)
Description
まず、図1乃至図6を用いて、SGM(Semi−Global Matching)法を用いた測距方法の概略について説明する。なお、SGM法に関しては、非特許文献(Accurate and Efficient Stereo Processing by Semi−Global Matching and Mutual Information)に開示されているため、以下では概略を説明する。
図1を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図1は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。なお、一画素単位ではなく、複数の画素からなる所定領域単位で処理される場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として示される。また、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。
まず、図1で示される撮像装置10aおよび撮像装置10bによって撮像された各画像を、それぞれ基準画像Iaおよび比較画像Ibとする。なお、図1では、撮像装置10aおよび撮像装置10bが平行等位に設置されているものとする。図1において、3次元空間内の物体E上の点Sは、撮像装置10aおよび撮像装置10bの同一水平線上の位置に写像される。すなわち、各画像中の点Sは、基準画像Ia中の点Sa(x,y)および比較画像Ib中の点Sb(X,y)において撮像される。このとき、視差値Δは、撮像装置10a上の座標における点Sa(x,y)と撮像装置10b上の座標における点Sb(X,y)とを用いて、(式1)のように表される。
また、視差値Δを用いることで、撮像装置10a、10bと物体Eとの間の距離Zを導き出すことができる。具体的には、距離Zは、撮像レンズ11aの焦点位置と撮像レンズ11bの焦点位置とを含む面から物体E上の特定点Sまでの距離である。図1に示されるように、撮像レンズ11aおよび撮像レンズ11bの焦点距離f、撮像レンズ11aと撮像レンズ11bとの間の長さである基線長B、および視差値Δを用いて、(式2)により、距離Zを算出することができる。
続いて、図2乃至図6を用いて、SGM法を用いた測距方法について説明する。なお、図2(a)は基準画像、図2(b)は(a)に対する高密度視差画像、図2(c)は(a)に対するエッジ視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、SGM法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、従来から用いられているブロックマッチング法によって導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。
まず、図3および図4を用いて、コスト値C(p,d)の算出方法について説明する。図3(a)は基準画像における基準画素を示す概念図、図3(b)は(a)の基準画素に対して比較画像における対応画素の候補を順次シフトしながら(ずらしながら)コスト値を算出する際の概念図である。図4は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、C(p,d)は、C(x,y,d)を表すものとして説明する。
Line)EL上の複数の対応画素の候補q(x+d,y)との各輝度値に基づいて、基準画素p(x,y)に対する各対応画素の候補q(x+d,y)のコスト値C(p,d)が算出される。dは、基準画素pと対応画素の候補qのシフト量(ずれ量)であり、本実施形態では、画素単位のシフト量が表されている。すなわち、図3では、対応画素の候補q(x+d,y)を予め指定された範囲(例えば、0<d<25)において順次一画素分シフトしながら、対応画素の候補q(x+d,y)と基準画素p(x,y)との輝度値の非類似度であるコスト値C(p,d)が算出される。コスト値Cの算出方法としては、コスト値Cが非類似度を示す場合、SAD(Sum of Absolute Difference)等の公知の方法が適用される。
次に、図5および図6を用いて、合成コスト値Ls(p,d)の算出方法について説明する。図5は、合成コスト値を導き出すための概念図である。図6は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。
以下、図面を用いて、本実施形態の具体的な説明を行う。ここでは、自動車に搭載される物体認識システム1について説明する。なお、物体認識システム1は、車両の一例としての自動車だけでなく、車両の他の例として、バイク、自転車、車椅子、農業用の耕運機等に搭載されることができてもよい。また、移動体の一例としての車両だけでなく、移動体の他の例として、ロボット等に搭載されることができてもよい。さらに、ロボットは、移動体だけでなく、FA(Factory Automation)において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用の監視カメラであってもよい。
まず、図7乃至図9用いて、本実施形態の全体構成について説明する。
図7および図8を用いて、本実施形態の物体認識システム1の外観構成を説明する。なお、図7(a)は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、図7(b)は自動車の正面を示す概略図である。図8は、物体認識システムの概観図である。
次に、図9を用いて、物体認識システム1の全体のハードウェア構成について説明する。なお、図9は、物体認識システムの全体のハードウェア構成図である。
図10は、本実施の形態に係る視差値導出装置のブロック構成の一例を示す図である。図11は、本実施の形態におけるシフト量と合成コスト値との関係の例を示すグラフである。図12は、縮小画像に対するステレオマッチング処理により縮小視差画像を得ることを説明する図である。図13は、縮小視差画像に対する拡大処理を説明する図である。図14は、補正画素の視差値を求める動作の例を示すフローチャートである。図10乃至図14を参照しながら、視差値導出装置3の要部のブロック構成および各ブロックの動作について説明する。なお、説明の便宜上、上述の図8に示す撮像装置10aを「右」のカメラと称し、撮像装置10bを「左」のカメラと称するものとする。
図15は、本実施の形態に係る視差値導出装置のステレオマッチング処理の動作の例を示すフローチャートである。図15を参照しながら、本実施の形態に係る視差値導出装置3のステレオマッチング処理に基づく画像処理の動作の流れについて説明する。
視差値導出装置3の画像取得部110は、左のカメラ(撮像装置10b)により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像が得られることになる。そして、ステップS2−1へ進む。
視差値導出装置3の画像取得部110は、右のカメラ(撮像装置10a)により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像が得られることになる。そして、ステップS2−2へ進む。
視差値導出装置3のフィルタ部210は、撮像装置10bにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップS3−1へ進む。
視差値導出装置3のフィルタ部210は、撮像装置10aにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップS3−2へ進む。
フィルタ部210は、ステップS2−1において変換したデジタル形式の画像データに基づく画像をステレオマッチング処理における比較画像Ibとして出力する。これによって、ステレオマッチング処理において視差値を求めるための比較対象となる画像を得る。そして、ステップS4へ進む。
フィルタ部210は、ステップS2−2において変換したデジタル形式の画像データに基づく画像をステレオマッチング処理における基準画像Iaとして出力する。これによって、ステレオマッチング処理において視差値を求めるための基準となる画像を得る。そして、ステップS4へ進む。
視差値導出装置3の画像縮小部310は、フィルタ部210から出力された比較画像Ibおよび基準画像Iaの画像サイズを縮小する縮小処理を実行する。具体的には、画像縮小部310は、比較画像Ibに対して縮小処理を実行して縮小比較画像Ib_sを生成し、基準画像Iaに対して縮小処理を実行して、縮小基準画像Ia_sを生成する。このように、比較画像Ibおよび基準画像Iaを縮小することによって、後段のコスト値Cおよび合成コスト値Lsを算出するための演算量を削減することができ、演算負荷を低減することができる。そして、ステップS5へ進む。
視差値導出装置3のコスト算出部320は、縮小基準画像Ia_sにおける基準画素p(x,y)の輝度値、および、基準画素p(x,y)に基づく縮小比較画像Ib_sにおけるエピポーラ線上で、基準画素p(x,y)の位置に相当する画素からシフト量dでシフトすることにより特定される、対応画素の候補q(x+d,y)の各輝度値に基づいて、各候補q(x+d,y)のコスト値C(p,d)を算出する。このように、コスト算出部320は、画像縮小部310による縮小処理前の比較画像Ibおよび基準画像Iaを用いてコスト値Cを算出するのではなく、画像サイズが縮小された縮小比較画像Ib_sおよび縮小基準画像Ia_sを用いてコスト値Cを算出する。これによって、コスト値Cを算出するための演算負荷を低減することができ、かつ、メモリ(図9に示すRAM34)の消費量を低減することができる。そして、ステップS6へ進む。
視差値導出装置3のコスト合成部330は、縮小基準画像Ia_sにおける基準画素p(x,y)の周辺の画素を基準画素とした場合のその基準画素についての縮小比較画像Ib_sにおける画素のコスト値Cを、コスト算出部320により算出された候補q(x+d,y)のコスト値C(p,d)に集約させて、候補q(x+d,y)の合成コスト値Ls(p,d)を算出する。このように、コスト合成部330は、コスト算出部320により画像サイズが縮小された縮小比較画像Ib_sおよび縮小基準画像Ia_sを用いて算出されたコスト値Cを用いて合成コスト値Lsを算出する。すなわち、コスト合成部330は、縮小処理前の比較画像Ibおよび基準画像Iaを用いて算出されるコスト値Cを用いて合成コスト値Lsの算出はしないものとしている。これによって、合成コスト値Lsを算出するための演算負荷を低減することができ、かつ、メモリ(図9に示すRAM34)の消費量を低減することができる。そして、ステップS7へ進む。
視差値導出装置3の視差値導出部340は、コスト合成部330により算出された、縮小基準画像Ia_sにおける基準画素についての縮小比較画像Ib_sにおける画素の合成コスト値Lsの最小値を視差値Δとして導出する。導出された視差値Δは、縮小比較画像Ib_sにおける基準画素に対応する被写体の部分の距離を示す値となる。そして、ステップS8へ進む。
視差値導出装置3の視差画像生成部350は、視差値導出部340により導出された視差値Δに基づいて、縮小基準画像Ia_sの各画素の輝度値(画素値)を、その画素に対応する視差値Δで置換した画像である縮小視差画像Ip_sを生成する。この時点の縮小視差画像Ip_sの画像サイズは、縮小基準画像Ia_sと同一の画像サイズであり、ステップS3−1およびS3−2における比較画像Ibおよび基準画像Iaの画像サイズよりも小さい状態のままである。そして、ステップS9へ進む。
視差値導出装置3の視差画像拡大部360は、視差画像生成部350により生成された縮小視差画像Ip_sの画像サイズを拡大する上述の拡大処理を実行して、視差画像Ip(高密度視差画像)を生成する。このとき、視差画像拡大部360の拡大処理における拡大比率は、画像縮小部310の縮小処理における縮小比率の逆数と同一であるものとする。すなわち、これによって、視差画像拡大部360は、画像縮小部310により縮小される前の比較画像Ibおよび基準画像Iaと同じ画像サイズの視差画像Ipを得ることができる。
図16は、本実施形態に係る機器制御システムを車両に搭載した例を示す図である。以下、図16を参照しながら、車両100に機器制御システム60を搭載した場合の例を説明する。
以上のように、本実施の形態に係る視差値導出装置3において、画像縮小部310は、比較画像Ibおよび基準画像Iaの画像サイズを縮小する縮小処理を実行して、縮小比較画像Ib_sおよび縮小基準画像Ia_sを生成する。そして、コスト算出部320およびコスト合成部330は、縮小処理された縮小比較画像Ib_sおよび縮小基準画像Ia_sを用いて、それぞれコスト値Cおよび合成コスト値Lsを算出している。これによって、縮小処理される前の比較画像Ibおよび基準画像Iaに対してコスト値Cおよび合成コスト値Lsを算出する場合と比較して、コスト値Cおよび合成コスト値Lsを算出するためのメモリ(RAM34)の消費量を低減し、画像処理の負荷を低減することができる。
2 本体部
3 視差値導出装置
4 バスライン
5 物体認識装置
6 制御装置
7 ステアリングホイール
8 ブレーキペダル
10a、10b 撮像装置
11a、11b 撮像レンズ
12a、12b 絞り
13a、13b 画像センサ
20a、20b 信号変換装置
21a、21b CDS
22a、22b AGC
23a、23b ADC
24a、24b フレームメモリ
30 画像処理装置
31 FPGA
32 CPU
33 ROM
34 RAM
35 I/F
39 バスライン
51 FPGA
52 CPU
53 ROM
54 RAM
55 I/F
58 CAN I/F
59 バスライン
60 機器制御システム
100 車両
110 画像取得部
210 フィルタ部
310 画像縮小部
320 コスト算出部
330 コスト合成部
340 視差値導出部
350 視差画像生成部
360 視差画像拡大部
B 基線長
C コスト値
C1〜C5 補正画素
d シフト量
dp_th 閾値
E 物体
EL エピポーラ線
f 焦点距離
Ia 基準画像
Ia_s 縮小基準画像
Ib 比較画像
Ib_s 縮小比較画像
Ip、Ip1 視差画像
Ip_s、Ip_s1 縮小視差画像
Lr 経路コスト値
Ls 合成コスト値
R1〜R4 参照元画素
S、Sa、Sb 点
Z 距離
Δ 視差値
Claims (12)
- 第1撮像手段が被写体を撮像することにより得られた第1基準画像、および該第1撮像手段の位置と異なる位置の第2撮像手段が前記被写体を撮像することにより得られた第1比較画像に基づいて、前記被写体に対する視差を示す視差値を導出する視差値導出装置であって、
前記第1基準画像および前記第1比較画像を第1比率で縮小して、それぞれ第2基準画像および第2比較画像を生成する縮小手段と、
前記第2基準画像の第1基準領域と、前記第2比較画像における前記第1基準領域に対応する対応領域を含む所定範囲内の複数の領域それぞれとの一致度を算出する算出手段と、
前記第1基準領域の周辺の第2基準領域についての前記第2比較画像における一致度を、前記複数の領域の一致度に集約させて、該複数の領域それぞれについて合成一致度を求める合成手段と、
前記合成一致度に基づいて、前記第1基準領域と前記対応領域との前記視差値を導出する導出手段と、
前記導出手段により導出された前記視差値に基づいて、第1視差画像を生成する生成手段と、
前記第1視差画像を構成する画素である参照元画素同士の行方向および列方向の間に、1以上の第1補正画素を配置し、かつ、該第1補正画素同士の間に生じた空隙に第2補正画素を配置することにより該第1視差画像を第2比率で拡大して第2視差画像を生成する拡大手段と、
を備え、
前記拡大手段は、
前記第2視差画像において、前記参照元画素同士の間に配置された前記第1補正画素の画素値を該参照元画素の画素値の差に基づいて求め、画素値が確定した前記第1補正画素同士の間に配置された前記第2補正画素の画素値を該第1補正画素の画素値の差に基づいて求め、
前記第2視差画像において、前記画素値の差が所定の閾値よりも大きい場合、2つの該画素値のうち大きい方の値または小さい方の値を、前記画素値の差が前記所定の閾値よりも小さい場合、2つの該画素値の平均値を、前記第1補正画素および前記第2補正画素の画素値とする視差値導出装置。 - 前記拡大手段は、前記第2視差画像において、前記参照元画素同士の間に配置された前記第1補正画素の画素値を該参照元画素の画素値に基づいて求め、画素値が確定した前記第1補正画素同士の間に配置された前記第2補正画素の画素値を該第1補正画素の画素値に基づいて求める請求項1に記載の視差値導出装置。
- 前記算出手段は、前記第1基準領域の輝度値と、前記第2比較画像における前記第1基準領域に相当する領域から、前記所定範囲内のシフト量でシフトすることにより特定される、前記対応領域の候補となる複数の候補領域の輝度値と、に基づいて前記複数の候補領域それぞれの一致度を算出し、
前記導出手段は、前記第2比較画像における前記各候補領域の前記合成一致度の極値に対応する前記シフト量に基づいて前記視差値を導出し、
前記生成手段は、前記第2基準画像の輝度値を、前記導出手段により導出された前記視差値に置換することにより前記第1視差画像を生成する請求項1または2に記載の視差値導出装置。 - 前記拡大手段は、前記画素値の差が所定の閾値よりも大きい場合、2つの該画素値のうちいずれかを、前記第1補正画素および前記第2補正画素の画素値とするか切り替え可能とする請求項1〜3のいずれか一項に記載の視差値導出装置。
- 前記第2比率は、前記第1比率の逆数である請求項1〜4のいずれか一項に記載の視差値導出装置。
- 前記第1比率および前記第2比率は、任意に変更可能である請求項1〜5のいずれか一項に記載の視差値導出装置。
- 第1撮像手段が被写体を撮像することにより得られた第1基準画像、および該第1撮像手段の位置と異なる位置の第2撮像手段が前記被写体を撮像することにより得られた第1比較画像に基づいて、前記被写体に対する視差を示す視差値を導出する視差値導出装置であって、
前記第1基準画像および前記第1比較画像を第1比率で縮小して、それぞれ第2基準画像および第2比較画像を生成する縮小手段と、
前記第2基準画像の第1基準領域と、前記第2比較画像における前記第1基準領域に対応する対応領域を含む所定範囲内の複数の領域それぞれとの一致度を算出する算出手段と、
前記一致度に基づいて、前記第1基準領域と前記対応領域との前記視差値を導出する導出手段と、
前記導出手段により導出された前記視差値に基づいて、第1視差画像を生成する生成手段と、
前記第1視差画像を構成する画素である参照元画素同士の行方向および列方向の間に、1以上の第1補正画素を配置し、かつ、該第1補正画素同士の間に生じた空隙に第2補正画素を配置することにより該第1視差画像を第2比率で拡大して第2視差画像を生成する拡大手段と、
を備え、
前記拡大手段は、
前記第2視差画像において、前記参照元画素同士の間に配置された前記第1補正画素の画素値を該参照元画素の画素値の差に基づいて求め、画素値が確定した前記第1補正画素同士の間に配置された前記第2補正画素の画素値を該第1補正画素の画素値の差に基づいて求め、
前記第2視差画像において、前記画素値の差が所定の閾値よりも大きい場合、2つの該画素値のうち大きい方の値または小さい方の値を、前記画素値の差が前記所定の閾値よりも小さい場合、2つの該画素値の平均値を、前記第1補正画素および前記第2補正画素の画素値とする視差値導出装置。 - 請求項1〜7のいずれか一項に記載の視差値導出装置と、
前記視差値導出装置によって導出される前記視差値により求まる該視差値導出装置から被写体までの距離情報によって、制御対象を制御する制御装置と、
を備えた機器制御システム。 - 請求項8に記載の機器制御システムを備えた移動体。
- 請求項8に記載の機器制御システムを備えたロボット。
- 第1撮像手段が被写体を撮像することにより得られた第1基準画像、および該第1撮像手段の位置と異なる位置の第2撮像手段が前記被写体を撮像することにより得られた第1比較画像に基づいて、前記被写体に対する視差を示す視差値を導出する視差値導出方法であって、
前記第1基準画像および前記第1比較画像を第1比率で縮小して、それぞれ第2基準画像および第2比較画像を生成する縮小ステップと、
前記第2基準画像の第1基準領域と、前記第2比較画像における前記第1基準領域に対応する対応領域を含む所定範囲内の複数の領域それぞれとの一致度を算出する算出ステップと、
前記第1基準領域の周辺の第2基準領域についての前記第2比較画像における一致度を、前記複数の領域の一致度に集約させて、該複数の領域それぞれについて合成一致度を求める合成ステップと、
前記合成一致度に基づいて、前記第1基準領域と前記対応領域との前記視差値を導出する導出ステップと、
導出した前記視差値に基づいて、第1視差画像を生成する生成ステップと、
前記第1視差画像を構成する画素である参照元画素同士の行方向および列方向の間に、1以上の第1補正画素を配置し、かつ、該第1補正画素同士の間に生じた空隙に第2補正画素を配置することにより該第1視差画像を第2比率で拡大して第2視差画像を生成する拡大ステップと、
を有し、
前記拡大ステップにおいて、
前記第2視差画像において、前記参照元画素同士の間に配置された前記第1補正画素の画素値を該参照元画素の画素値の差に基づいて求め、画素値が確定した前記第1補正画素同士の間に配置された前記第2補正画素の画素値を該第1補正画素の画素値の差に基づいて求め、
前記第2視差画像において、前記画素値の差が所定の閾値よりも大きい場合、2つの該画素値のうち大きい方の値または小さい方の値を、前記画素値の差が前記所定の閾値よりも小さい場合、2つの該画素値の平均値を、前記第1補正画素および前記第2補正画素の画素値とする視差値導出方法。 - 第1撮像手段が被写体を撮像することにより得られた第1基準画像、および該第1撮像手段の位置と異なる位置の第2撮像手段が前記被写体を撮像することにより得られた第1比較画像に基づいて、前記被写体に対する視差を示す視差値を導出するためのプログラムであって、
前記第1基準画像および前記第1比較画像を第1比率で縮小して、それぞれ第2基準画像および第2比較画像を生成する縮小手段と、
前記第2基準画像の第1基準領域と、前記第2比較画像における前記第1基準領域に対応する対応領域を含む所定範囲内の複数の領域それぞれとの一致度を算出する算出手段と、
前記第1基準領域の周辺の第2基準領域についての前記第2比較画像における一致度を、前記複数の領域の一致度に集約させて、該複数の領域それぞれについて合成一致度を求める合成手段と、
前記合成一致度に基づいて、前記第1基準領域と前記対応領域との前記視差値を導出する導出手段と、
前記導出手段により導出された前記視差値に基づいて、第1視差画像を生成する生成手段と、
前記第1視差画像を構成する画素である参照元画素同士の行方向および列方向の間に、1以上の第1補正画素を配置し、かつ、該第1補正画素同士の間に生じた空隙に第2補正画素を配置することにより該第1視差画像を第2比率で拡大して第2視差画像を生成する拡大手段と、
をコンピュータに実現させ、
前記拡大手段は、
前記第2視差画像において、前記参照元画素同士の間に配置された前記第1補正画素の画素値を該参照元画素の画素値の差に基づいて求め、画素値が確定した前記第1補正画素同士の間に配置された前記第2補正画素の画素値を該第1補正画素の画素値の差に基づいて求め、
前記第2視差画像において、前記画素値の差が所定の閾値よりも大きい場合、2つの該画素値のうち大きい方の値または小さい方の値を、前記画素値の差が前記所定の閾値よりも小さい場合、2つの該画素値の平均値を、前記第1補正画素および前記第2補正画素の画素値とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015055439A JP6589313B2 (ja) | 2014-04-11 | 2015-03-18 | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
US14/680,245 US9813694B2 (en) | 2014-04-11 | 2015-04-07 | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014082182 | 2014-04-11 | ||
JP2014082182 | 2014-04-11 | ||
JP2015055439A JP6589313B2 (ja) | 2014-04-11 | 2015-03-18 | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015207278A JP2015207278A (ja) | 2015-11-19 |
JP6589313B2 true JP6589313B2 (ja) | 2019-10-16 |
Family
ID=54266168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015055439A Expired - Fee Related JP6589313B2 (ja) | 2014-04-11 | 2015-03-18 | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9813694B2 (ja) |
JP (1) | JP6589313B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10196088B2 (en) * | 2011-04-19 | 2019-02-05 | Ford Global Technologies, Llc | Target monitoring system and method |
WO2018006296A1 (en) * | 2016-07-06 | 2018-01-11 | SZ DJI Technology Co., Ltd. | Systems and methods for stereoscopic imaging |
KR101856344B1 (ko) * | 2016-08-22 | 2018-06-25 | 현대자동차주식회사 | 스테레오 영상 정합을 통한 시차맵 생성 시스템 및 방법 |
US10313584B2 (en) * | 2017-01-04 | 2019-06-04 | Texas Instruments Incorporated | Rear-stitched view panorama for rear-view visualization |
JP7118020B2 (ja) * | 2019-02-27 | 2022-08-15 | 日立Astemo株式会社 | 演算装置、視差算出方法 |
WO2020183267A1 (ja) * | 2019-03-08 | 2020-09-17 | 株式会社半導体エネルギー研究所 | 画像検索方法、画像検索システム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03157785A (ja) * | 1989-11-16 | 1991-07-05 | Fujitsu Ltd | 拡大画像の補間回路 |
US6215898B1 (en) * | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
KR100486700B1 (ko) * | 1999-09-04 | 2005-05-03 | 삼성전자주식회사 | 선형 다운/업 샘플링 장치 및 그를 이용한 일반화된 격주사선 처리 부호화/복호화 방법 및 장치 |
US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
JP2004061446A (ja) * | 2002-07-31 | 2004-02-26 | Fujitsu Ten Ltd | パターンマッチング処理方法及び画像処理装置 |
EP2382791B1 (en) * | 2009-01-27 | 2014-12-17 | Telefonaktiebolaget L M Ericsson (PUBL) | Depth and video co-processing |
US9155592B2 (en) * | 2009-06-16 | 2015-10-13 | Intuitive Surgical Operations, Inc. | Virtual measurement tool for minimally invasive surgery |
KR20120049997A (ko) * | 2010-11-10 | 2012-05-18 | 삼성전자주식회사 | 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들 |
KR101694292B1 (ko) * | 2010-12-17 | 2017-01-09 | 한국전자통신연구원 | 스테레오 영상 정합 장치 및 그 방법 |
JP5682065B2 (ja) | 2011-03-02 | 2015-03-11 | 独立行政法人産業技術総合研究所 | ステレオ画像処理装置及びステレオ画像処理方法 |
JP5760559B2 (ja) | 2011-03-18 | 2015-08-12 | 株式会社リコー | ステレオカメラ装置、視差画像生成方法 |
WO2013066790A1 (en) * | 2011-11-02 | 2013-05-10 | Intuitive Surgical Operations, Inc. | Method and system for stereo gaze tracking |
JP5752618B2 (ja) * | 2012-02-10 | 2015-07-22 | トヨタ自動車株式会社 | ステレオ視差算出装置 |
CN104662896B (zh) * | 2012-09-06 | 2017-11-28 | 诺基亚技术有限公司 | 用于图像处理的装置和方法 |
JP2014115978A (ja) * | 2012-11-19 | 2014-06-26 | Ricoh Co Ltd | 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体 |
US9292927B2 (en) * | 2012-12-27 | 2016-03-22 | Intel Corporation | Adaptive support windows for stereoscopic image correlation |
JP6194604B2 (ja) | 2013-03-15 | 2017-09-13 | 株式会社リコー | 認識装置、車両及びコンピュータが実行可能なプログラム |
US10055013B2 (en) * | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
JP6565188B2 (ja) | 2014-02-28 | 2019-08-28 | 株式会社リコー | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
-
2015
- 2015-03-18 JP JP2015055439A patent/JP6589313B2/ja not_active Expired - Fee Related
- 2015-04-07 US US14/680,245 patent/US9813694B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9813694B2 (en) | 2017-11-07 |
JP2015207278A (ja) | 2015-11-19 |
US20150296202A1 (en) | 2015-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6565188B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6417886B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム | |
JP6589313B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6561512B2 (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム | |
JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
JP6614247B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6337504B2 (ja) | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム | |
JP7206583B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP6455164B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP2016152027A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP2008309637A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
JP6561511B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム | |
JP6519138B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム | |
JP2018200190A (ja) | 画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラム | |
JP6387710B2 (ja) | カメラシステム、測距方法、およびプログラム | |
JP2018092601A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP6515547B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム | |
WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
JP6701738B2 (ja) | 視差値導出装置、視差値導出方法及びプログラム | |
JP6459482B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6442911B2 (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、及びプログラム | |
JP2016095229A (ja) | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム | |
JP2015195019A (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、視差値の生産方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190902 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6589313 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |