JP6701905B2 - 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム - Google Patents
検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム Download PDFInfo
- Publication number
- JP6701905B2 JP6701905B2 JP2016079780A JP2016079780A JP6701905B2 JP 6701905 B2 JP6701905 B2 JP 6701905B2 JP 2016079780 A JP2016079780 A JP 2016079780A JP 2016079780 A JP2016079780 A JP 2016079780A JP 6701905 B2 JP6701905 B2 JP 6701905B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- value
- image
- pixel
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
まず、図1〜4を用いて、ブロックマッチング処理による測距方法の概略について説明する。
図1は、撮像部から物体までの距離を導き出す原理を説明する図である。図1を参照しながら、ステレオマッチング処理により、ステレオカメラから物体に対する視差を導出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。
次に、図2〜4を用いて、ブロックマッチング処理による測距方法について説明する。
以下、図5〜13を用いて、第1の実施の形態の具体的な説明をする。ここでは、ブロックマッチング処理を行う物体認識装置1が自動車に搭載される場合を例に説明する。
図5は、第1の実施の形態に係る機器制御システムを車両に搭載した例を示す図である。図5を参照しながら、本実施の形態に機器制御システム60を搭載した車両70について説明する。図5のうち、図5(a)は、機器制御システム60を搭載した車両70の側面図であり、図5(b)は、車両70の正面図である。
図6は、第1の実施の形態に係る物体認識装置の外観の一例を示す図である。図6に示すように、物体認識装置1は、上述のように、本体部2と、本体部2に固定された撮像部10aと、撮像部10bとを備えている。撮像部10a、10bは、本体部2に対して平行等位に配置された一対の円筒形状のカメラで構成されている。また、説明の便宜上、図6に示す撮像部10aを「右」のカメラと称し、撮像部10bを「左」のカメラと称するものとする。
図7は、第1の実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。図7を参照しながら、物体認識装置1のハードウェア構成について説明する。
図8は、第1の実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。図9は、第1の実施の形態に係る物体認識装置のパターン検出部の機能ブロック構成の一例を示す図である。図10は、第1の実施の形態に係る物体認識装置の視差値演算処理部の機能ブロック構成の一例を示す図である。図8〜10を参照しながら、物体認識装置1の要部の機能ブロック構成および各機能ブロックの動作について説明する。
図11は、第1の実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。図11を参照しながら、物体認識装置1の視差値導出部3のブロックマッチング処理の動作の流れについて説明する。
視差値導出部3の画像取得部100は、左のカメラ(撮像部10b)により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップS2−1へ移行する。
視差値導出部3の画像取得部100は、右のカメラ(撮像部10a)により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップS2−2へ移行する。
視差値導出部3の変換部200は、撮像部10bにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップS3−1へ移行する。
視差値導出部3の変換部200は、撮像部10aにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップS3−2へ移行する。
変換部200は、ステップS2−1において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における比較画像Ibとして出力する。これによって、ブロックマッチング処理において視差値を求めるための比較対象となる画像を得る。そして、ステップS4へ移行する。
変換部200は、ステップS2−2において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における基準画像Iaとして出力する。これによって、ブロックマッチング処理において視差値を求めるための基準となる画像を得る。そして、ステップS4へ移行する。
視差値導出部3の視差値演算処理部350のコスト算出部351は、基準画像Iaにおける基準画素p(x,y)の輝度値、および、基準画素p(x,y)に基づく比較画像Ibにおけるエピポーラ線EL上で、基準画素p(x,y)の位置に相当する画素からシフト量dでシフトすることにより特定される、対応画素の候補画素q(x+d,y)の各輝度値に基づいて、各候補画素q(x+d,y)のコスト値C(p,d)を算出する。具体的には、コスト算出部351は、ブロックマッチング処理により、基準画像Iaの基準画素pを中心とする所定領域である基準領域pbと、比較画像Ibの候補画素qを中心とする候補領域qb(大きさは基準領域pbと同一)との非類似度をコスト値Cとして算出する。そして、ステップS5へ進む。
視差値導出部3の視差値演算処理部350の決定部352は、コスト算出部351により算出されたコスト値Cの最小値に対応するシフト量dを、コスト値Cの算出の対象となった基準画像Iaの画素についての視差値dpとして決定する。そして、視差値導出部3の視差値演算処理部350の生成部353は、決定部352により決定された視差値dpに基づいて、基準画像Iaの各画素の輝度値を、その画素に対応する視差値dpで表した画像である視差画像を生成する。生成部353は、生成した視差画像を、認識処理部5に出力する。
図12は、第1の実施の形態に係る視差値導出部の繰り返しパターン検出処理の動作の一例を示すフローチャートである。図13は、基準画像の輝度値(画素値)のグラフの一例を示す図である。図12および13を参照しながら、視差値導出部3のパターン検出部300における繰り返しパターン検出処理の動作の一例の流れについて説明する。図13の横軸は、基準画像Iaのx座標(横座標)であり、縦軸は、基準画像Iaの特定のラインの輝度値(画素値)である。
画素値取得部301は、変換部200から入力した基準画像Iaの特定のラインにおける繰り返しパターン検出処理の対象となる画素の画素値data(t)を取得する。そして、ステップS12へ移行する。
制御部307は、画素値取得部301が取得した画素値data(t)が1番目(t=1)の画素値であるか否かを判定する。t=1である場合(ステップS12:t=1)、ステップS13へ移行し、t≧2である場合(ステップS12:t≧2)、ステップS21へ移行する。
傾き算出部302は、画素値レジスタ311および傾きレジスタ312にデータが記憶されているか否かを判定する。データが記憶されている場合(ステップS13:Yes)、ステップS14へ移行し、データが記憶されていない場合(ステップS13:No)、ステップS30へ移行する。画素値レジスタ311および傾きレジスタ312にデータが記憶されていない場合に、ステップS30へ移行するのは、画素値data(1)より1つ前の画素値が記憶されていないため傾きが算出できないためである。
傾き算出部302は、画素値レジスタ311に記憶されているデータ、すなわち、画素値data(1)より1つ前の画素値と、画素値data(1)とによって傾きを算出する。この場合、算出された傾きを「画素値data(1)の傾き」というものとする。そして、ステップS15へ移行する。
極値検出部303は、傾きレジスタ312に記憶されているデータ、すなわち、画素値data(1)より1つ前の画素値の傾きと、傾き算出部302により算出された画素値data(1)の傾きとから、傾きが正値から負値へ変化したか否かを判定する。傾きが正値から負値へ変化した場合(ステップS15:Yes)、ステップS16へ移行し、そうでない場合(ステップS15:No)、ステップS18へ移行する。例えば、図13に示す例の場合、画素値data(1)より1つ前の画素値の傾きは正値であり、画素値data(1)の傾きも正値であり、傾きは正値から負値へ変化していないため、ステップS18へ移行する。
極値検出部303は、画素値data(1)より1つ前の画素値の傾きが正値であり、画素値data(1)の傾きが負値であるので、画素値レジスタ311に記憶されているデータ、すなわち、画素値data(1)より1つ前の画素値は、極大値であると判定(極大値を検出)する。そして、ステップS17へ移行する。
閾値設定部304は、極大上限値UUを「画素値data(1)より1つ前の画素値(極大値)+所定値」に更新し、極大下限値ULを「画素値data(1)より1つ前の画素値(極大値)−所定値」に更新し、更新した極大上限値UUおよび極大下限値ULを閾値レジスタ313に書き込む。そして、ステップS29へ移行する。極大上限値UUおよび極大下限値ULは固定値とすることもできるが、更新することによって、より精度の高い繰り返しパターンの検出が可能になる。
極値検出部303は、傾きレジスタ312に記憶されているデータ、すなわち、画素値data(1)より1つ前の画素値の傾きと、傾き算出部302により算出された画素値data(1)の傾きとから、傾きが負値から正値へ変化したか否かを判定する。傾きが負値から正値へ変化した場合(ステップS18:Yes)、ステップS19へ移行し、そうでない場合(ステップS18:No)、ステップS29へ移行する。例えば、図13に示す例の場合、画素値data(1)より1つ前の画素値の傾きは正値であり、画素値data(1)の傾きも正値であり、傾きは負値から正値へ変化していないため、ステップS29へ移行する。また、ステップS15で傾きが正値から負値へ変化していないと判定され、かつ、ステップS18で傾きが負値から正値へ変化していないと判定された場合、画素値data(1)より1つ前の画素値は、極大値でも極小値でもないことになる。
極値検出部303は、画素値data(1)より1つ前の画素値の傾きが負値であり、画素値data(1)の傾きが正値であるので、画素値レジスタ311に記憶されているデータ、すなわち、画素値data(1)より1つ前の画素値は、極小値であると判定(極小値を検出)する。そして、ステップS20へ移行する。
閾値設定部304は、極小上限値LUを「画素値data(1)より1つ前の画素値(極小値)+所定値」に更新し、極小下限値LLを「画素値data(1)より1つ前の画素値(極小値)−所定値」に更新し、更新した極小上限値LUおよび極小下限値LLを閾値レジスタ313に書き込む。そして、ステップS29へ移行する。極小上限値LUおよび極小下限値LLは固定値とすることもできるが、更新することによって、より精度の高い繰り返しパターンの検出が可能になる。
ステップS12において、t≧2である場合、傾き算出部302は、画素値レジスタ311に記憶されているデータ、すなわち、画素値data(t)よりも1つ前の画素値data(t−1)と、画素値data(t)とによって傾き(画素値data(t)の傾き)を算出する。そして、ステップS22へ移行する。
制御部307は、閾値レジスタ313にデータが記憶されているか否かを判定する。データが記憶されている場合(ステップS22:Yes)、ステップS23へ移行し、データが記憶されていない場合(ステップS22:No)、ステップS29へ移行する。閾値レジスタ313にデータが記憶されていない場合に、ステップS29へ移行するのは、後述するステップS24およびS27において、カウンタ部305により、極大値および極小値が所定の閾値範囲に入っているか否かを判定できないためである。
極値検出部303は、傾きレジスタ312に記憶されているデータ、すなわち、画素値data(t)より1つ前の画素値の傾きと、ステップS21で傾き算出部302により算出された画素値data(t)の傾きとから、傾きが正値から負値へ変化したか否かを判定する。傾きが正値から負値へ変化した場合(ステップS23:Yes)、ステップS24へ移行し、そうでない場合(ステップS23:No)、ステップS26へ移行する。例えば、図13に示す例で、t=4の場合、画素値data(4)より1つ前の画素値data(3)の傾きは正値であり、画素値data(4)の傾きは負値であるので、傾きは正値から負値へ変化しているため、ステップS24へ移行する。
極値検出部303は、画素値data(t)より1つ前の画素値data(t−1)の傾きが正値であり、画素値data(t)の傾きが負値であるので、画素値レジスタ311に記憶されているデータ、すなわち、画素値data(t)より1つ前の画素値data(t−1)は、極大値であると判定(極大値を検出)する。そして、カウンタ部305は、極値検出部303により検出された極大値(画素値data(t−1))が、極大下限値UL以上、かつ、極大上限値UU以下であるか否かを判定する。極大値が極大下限値UL以上、かつ、極大上限値UU以下である場合(ステップS24:Yes)、ステップS25へ移行し、そうでない場合(ステップS24:No)、ステップS29へ移行する。例えば、図13に示す例で、t=10の場合、画素値data(10)の1つ前の画素値data(9)は極大値であり、この極大値は極大下限値UL以上、かつ、極大上限値UU以下であるので、ステップS25へ移行する。
カウンタ部305は、極値検出部303によって検出された極大値が極大下限値UL以上、かつ、極大上限値UU以下であるので、極大値カウントをカウントアップし、カウントアップした極大値カウントを極大値カウントレジスタ314に書き込む。そして、ステップS29へ移行する。
極値検出部303は、傾きレジスタ312に記憶されているデータ、すなわち、画素値data(t)より1つ前の画素値の傾きと、ステップS21で傾き算出部302により算出された画素値data(t)の傾きとから、傾きが負値から正値へ変化したか否かを判定する。傾きが負値から正値へ変化した場合(ステップS26:Yes)、ステップS27へ移行し、そうでない場合(ステップS26:No)、ステップS29へ移行する。例えば、図13に示す例で、t=7の場合、画素値data(7)より1つ前の画素値data(6)の傾きは負値であり、画素値data(7)の傾きは正値であるので、傾きは負値から正値へ変化しているため、ステップS27へ移行する。
極値検出部303は、画素値data(t)より1つ前の画素値data(t−1)の傾きが負値であり、画素値data(t)の傾きが正値であるので、画素値レジスタ311に記憶されているデータ、すなわち、画素値data(t)より1つ前の画素値data(t−1)は、極小値であると判定(極小値を検出)する。そして、カウンタ部305は、極値検出部303により検出された極小値(画素値data(t−1))が、極小下限値LL以上、かつ、極小上限値LU以下であるか否かを判定する。極小値が極小下限値LL以上、かつ、極小上限値LU以下である場合(ステップS27:Yes)、ステップS28へ移行し、そうでない場合(ステップS27:No)、ステップS29へ移行する。例えば、図13に示す例で、t=7の場合、画素値data(7)の1つ前の画素値data(6)は極小値であり、この極小値は極小下限値LL以上、かつ、極小上限値LU以下ではないので、ステップS29へ移行する。
カウンタ部305は、極値検出部303によって検出された極小値が極小下限値LL以上、かつ、極小上限値LU以下であるので、極小値カウントをカウントアップし、カウントアップした極小値カウントを極小値カウントレジスタ315に書き込む。そして、ステップS29へ移行する。
傾き算出部302は、ステップS14またはS21で算出した傾きを、傾きレジスタ312に書き込む。そして、ステップS30へ移行する。
画素値取得部301は、ステップS11で取得した画素値data(t)を、画素値レジスタ311に書き込む。そして、ステップS31へ移行する。
制御部307は、tの値が探索幅sの最後(探索終了点)の値(例えば「63」)であるか否かを判定する。tの値が最後である場合(ステップS31:Yes)、ステップS33へ進む、そうでない場合(ステップS31:No)、ステップS32へ進む。
制御部307は、tの値をインクリメントする。そして、ステップS11へ戻る。
カウンタ部305は、極大値カウントレジスタ314および極小値カウントレジスタ315から、それぞれ極大値カウントおよび極小値カウントを読み出して、有効性判断部306に出力する。そして、ステップS34へ移行する。
有効性判断部306は、カウンタ部305から繰り返しパターン検出処理の対象となる画素値data(1)の画素の極大値カウントおよび極小値カウントを受け取り、この極大値カウントと極小値カウントとの合計のカウント値が所定値(所定の閾値)以上であるか否かを判定する。合計のカウント値が所定値以上である場合(ステップS34:Yes)、ステップS35へ移行し、所定値未満である場合(ステップS34:No)、ステップS36へ移行する。なお、有効性判断部306は、極大値および極小値を、それぞれ極大値カウントレジスタ314および極小値カウントレジスタ315から直接読み出してもよい。
有効性判断部306は、合計のカウント値が所定値以上である場合、画素値data(1)の画素は、基準画像Iaにおいて繰り返しパターンの画像領域に含まれると判断し、画素値data(1)の画素に対応する検出フラグをONする。そして、ステップS37へ移行する。
有効性判断部306は、合計のカウント値が所定値未満である場合、画素値data(1)の画素は、基準画像Iaにおいて繰り返しパターンの画像領域に含まれていないと判断し、画素値data(1)の画素に対応する検出フラグをOFFする。そして、ステップS37へ移行する。
ステップS34〜S36で、有効性判断部306により繰り返しパターン検出処理の対象となる画素が繰り返しパターンの画像領域に含まれるか否かの判断が既になされているので、制御部307は、極大値カウントレジスタ314および極小値カウントレジスタ315をリセットする。そして、ステップS38へ移行する。
制御部307は、繰り返しパターン検出処理の対象となる画素(t=1)が基準画像Iaの特定のラインの最後の画素であるか否かを判定する。特定のラインの最後の画素である場合(ステップS38:Yes)、ステップS39へ移行し、最後の画素でない場合(ステップS38:No)、ステップS11で画素値取得部301により画素値が取得された画素に対する繰り返しパターン検出処理を終了する。
制御部307は、基準画像Iaの特定のラインのすべての画素について繰り返しパターンの画像領域に含まれるか否かの判断が終了したので、画素値レジスタ311、傾きレジスタ312および閾値レジスタ313のデータを消去する(例えば、Null値を書き込む)。そして、ステップS11で画素値取得部301により画素値が取得された画素に対する繰り返しパターン検出処理を終了する。
第2の実施の形態に係る物体認識装置について、第1の実施の形態に係る物体認識装置1と相違する点を中心に説明する。路面、葉っぱ、または壁等を被写体とする画像の領域では、輝度値(画素値)のグラフの振幅が小さく、繰り返しパターンの対象から除外すべき場合がある。本実施の形態では、このような輝度値のグラフの振幅が小さい画像領域を、繰り返しパターン検出処理の対象から除外する動作について説明する。なお、本実施の形態に係る機器制御システムの構成、物体認識装置のハードウェア構成、物体認識装置の機能ブロック構成、および視差値演算処理部350の機能ブロック構成は、第1の実施の形態で説明した構成と同様である。
上述のように、本実施の形態に係る物体認識装置のハードウェア構成および機能ブロック構成、ならびに視差値演算処理部350の機能ブロック構成は、それぞれ、第1の実施の形態の図7、8および10で説明した構成と同様である。
図14は、第2の実施の形態に係る物体認識装置のパターン検出部の機能ブロック構成の一例を示す図である。図15は、対象外領域が特定された画像の一例を示す図である。図14および15を参照しながら、本実施の形態に係る物体認識装置のパターン検出部300aの機能ブロック構成および各機能ブロックの動作について説明する。
第3の実施の形態に係る物体認識装置1aについて、第1の実施の形態に係る物体認識装置1と相違する点を中心に説明する。撮像画像(基準画像Iaまたは比較画像Ib)は、端の部分の周辺光量が低くなるという性質があり、同じ繰り返しパターンを撮像したものでも、本来の繰り返しパターンの周期の成分以外にも低周波成分が重畳する場合がある。また、周辺光量の低下だけではなく、同じ繰り返しパターンを撮像したものでも、光の当たり具合のムラ等によって低周波成分が重畳する場合もある。本実施の形態では、このように輝度値(画素値)のグラフに低周波成分が重畳した場合においても、適切に繰り返しパターン検出処理を実行することができる動作について説明する。なお、本実施の形態に係る機器制御システムの構成、物体認識装置のハードウェア構成、ならびに、パターン検出部300および視差値演算処理部350の機能ブロック構成は、第1の実施の形態で説明した構成と同様である。
図16は、低周波成分が存在する輝度値のグラフの一例を示す図である。
上述のように、本実施の形態に係る物体認識装置のハードウェア構成、ならびに、パターン検出部300および視差値演算処理部350の機能ブロック構成は、それぞれ、第1の実施の形態の図7、9および10で説明した構成と同様である。
図17は、第3の実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。図17を参照しながら、本実施の形態に係る物体認識装置1aの機能ブロック構成および各機能ブロックの動作について説明する。
図18は、高域強調フィルタの一例を示す図である。図19は、第3の実施の形態に係る物体認識装置のフィルタ処理部によるフィルタ処理後のグラフの一例を示す図である。図20は、高域強調フィルタの別の一例を示す図である。図21は、第3の実施の形態に係る物体認識装置のフィルタ処理部によるフィルタ処理後のグラフの別の一例を示す図である。図18〜21を参照しながら、本実施の形態の視差値導出部3aのフィルタ処理部250による低周波成分除去処理について説明する。
第4の実施の形態に係る物体認識装置について、第1の実施の形態に係る物体認識装置1と相違する点を中心に説明する。第1の実施の形態では、図13に示すように、繰り返しパターン検出処理の対象となる画素を探索開始点として、探索開始点から紙面視右方向に探索幅sを取り、この探索幅sに含まれる画素に基づいて、その画素が繰り返しパターンの画像領域に含まれるか否かを判定するものとしていた。ただし、輝度値のグラフの波形によっては、図13のように左から右の単方向で極値の数をカウントする方式では、繰り返しパターン検出処理の対象となる画素が繰り返しパターンの画像領域に含まれるか否かを適切に判定できない場合がある。本実施の形態では、このような場合でも、繰り返しパターン検出処理の対象となる画素が繰り返しパターンの画像領域に含まれるか否かを適切に判定することができる動作について説明する。なお、本実施の形態に係る機器制御システムの構成、物体認識装置のハードウェア構成、物体認識装置の機能ブロック構成、ならびに、パターン検出部300および視差値演算処理部350の機能ブロック構成は、第1の実施の形態で説明した構成と同様である。
図22は、繰り返し部分と平坦な部分とを含む輝度値のグラフの一例を示す図である。図22を参照しながら、単方向では繰り返しパターンが検出できない場合について説明する。
第5の実施の形態に係る物体認識装置について、第1の実施の形態に係る物体認識装置1と相違する点を中心に説明する。基準画像Iaの特定のラインの輝度値のグラフでは、撮像された被写体の模様によって、繰り返しパターンの周期が小さい部分および大きい部分がある。この場合、図12に示した繰り返しパターン検出処理において、基準画像Iaを構成するすべての画素に対して同じ探索幅sで極大値および極小値をカウントしても、繰り返しパターンの画像領域でありながら、繰り返しパターンとして検出できない場合がある。本実施の形態では、繰り返しパターンの周期が異なる場合でも、適切に繰り返しパターンを検出することができる動作について説明する。なお、本実施の形態に係る機器制御システムの構成、物体認識装置のハードウェア構成、物体認識装置の機能ブロック構成、および、視差値演算処理部350の機能ブロック構成は、第1の実施の形態で説明した構成と同様である。
図23は、周期が異なる輝度値のグラフの一例を示す図である。
上述のように、本実施の形態に係る物体認識装置のハードウェア構成および機能ブロック構成、ならびに視差値演算処理部350の機能ブロック構成は、それぞれ、第1の実施の形態の図7、8および10で説明した構成と同様である。
図24は、第5の実施の形態に係る物体認識装置のパターン検出部の機能ブロック構成の一例を示す図である。図25は、画像のラインをN領域に分割する状態を示す図である。図24および25を参照しながら、本実施の形態に係る物体認識装置のパターン検出部300bの機能ブロック構成および各機能ブロックの動作について説明する。
(f(Pmax,Pmin):極大周期Pmax、極小周期Pminを用いた関数)
第6の実施の形態に係る物体認識装置について、第1の実施の形態に係る物体認識装置1と相違する点を中心に説明する。本実施の形態では、部分画像の各画素についての検出フラグを用い、部分画像の各画素に対して、繰り返しパターンの画像領域に含まれる画素の数と、部分画像の全画素数との比を算出して、算出した比が所定値以上であるか否かを判定する動作について説明する。なお、本実施の形態に係る物体認識装置のハードウェア構成および機能ブロック構成、視差値演算処理部350の機能ブロック構成は、第1の実施の形態で説明した構成と同様である。
上述のように、本実施の形態に係る物体認識装置のハードウェア構成、および、視差値演算処理部350の機能ブロック構成は、第1の実施の形態の図7および10説明した構成と同様である。
図26は、第6の実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。図27は、第6の実施の形態に係る物体認識装置の棄却部の機能ブロック構成の一例を示す図である。図26および27を参照しながら、物体認識装置1bの要部の機能ブロックの構成および動作について説明する。
図28は、第6の実施の形態に係る認識処理部のクラスタリング部のクラスタリング処理の動作を説明する図である。図29は、第6の実施の形態に係る認識処理部のクラスタリング部のクラスタリング処理の動作を説明する図である。図30は、クラスタリング処理により抽出された部分画像の例を示す図である。図28〜30を参照しながら、認識処理部5bのクラスタリング部400におけるクラスタリング処理の動作について説明する。
図31は、第6の実施の形態に係る認識処理部の棄却部の棄却判定処理の動作の一例を示すフローチャートである。図31を参照しながら、認識処理部5bの棄却部500の棄却判定処理の動作の一例の流れについて説明する。
入力部501は、視差値導出部3bから出力された基準画像Ia、およびクラスタリング部400から出力された部分画像情報を入力する。そして、入力部501は、基準画像Iaから部分画像情報が示す部分画像を特定する(読み込む)。そして、ステップS52へ移行する。なお、入力部501は、入力する基準画像Iaは、視差値導出部3bから出力された画像、すなわち、視差値導出部3bの画像取得部100により撮像された撮像画像に基づくものであるがこれに限定されるものではなく、図7に示すRAM34、RAM54またはその他の記憶手段に記憶された画像であってもよい。
パターン検出部502は、入力部501により入力された基準画像Iaおよび部分画像情報に基づいて、部分画像情報により特定される基準画像Ia上での部分画像の各画素が繰り返しパターンの画像領域に含まれるか否かを検出する繰り返しパターン検出処理を実行する。パターン検出部502は、部分画像の各画素が繰り返しパターンの画像領域に含まれるか否かの情報を検出フラグとして、棄却判定部503に出力する。繰り返しパターン検出処理の詳細は、上述した通りである。そして、ステップS53へ移行する。
棄却判定部503は、パターン検出部502から出力された部分画像の各画素についての検出フラグを用いて、その部分画像を棄却するか否かを判定する棄却判定処理を実行する。具体的には、棄却判定部503は、部分画像の各画素についての検出フラグを用いて、部分画像の各画素に対して、繰り返しパターンの画像領域に含まれる画素の数と、部分画像の全画素数との比を算出する。そして、棄却判定部503は、算出した比が所定値以上であるか否かを判定する。算出した比が所定値以上である場合は、繰り返しパターンを含んでいるものとして部分画像を棄却する判定をする。一方、算出した比が所定値未満である場合は、部分画像を棄却しない判定をする。そして、棄却判定部503は、このような部分画像を棄却するか否かの棄却判定処理の判定結果を、出力部504に送る。そして、ステップS54へ移行する。なお、棄却判定部503は、算出した比が所定値以上であるか否かを判定しているが、これに限定されるものではなく、算出した比が所定の範囲内であるか否か、または、繰り返しパターンの画像領域に含まれる画素の数が所定値以上であるか否か等を判定して、部分画像を棄却するか否かを判定するものとしてもよい。
出力部504は、棄却判定部503から受け取った棄却判定処理の判定結果、すなわち、その部分画像を棄却するか否かを示す棄却フラグを部分画像情報に含めて、後段の車両制御装置6に送信(出力)する。なお、出力部504は、部分画像を棄却するか否かを示す棄却する部分画像情報を車両制御装置6に出力するものとしているが、これに限定されるものでない。例えば、棄却判定部503の棄却判定処理の結果、棄却しない部分画像の部分画像情報のみを車両制御装置6に送信し、棄却する部分画像の部分画像情報を送信しないものとしてもよい。この場合、車両制御装置6では、棄却する部分画像の部分画像情報は受信しないので、この部分画像が各種車両制御に利用されないようにすることができる。
第7の実施の形態に係る物体認識装置について、第6の実施の形態に係る物体認識装置1bと相違する点を中心に説明する。本実施の形態では、部分画像のラインごとに、ラインが繰り返しパターンを含むか否かを判定し、繰り返しパターンを含むラインの数に基づいて、部分画像に対して棄却するか否かを判定する動作について説明する。なお、本実施の形態に係る物体認識装置のハードウェア構成および機能ブロック構成、視差値演算処理部350の機能ブロック構成、棄却部500の機能ブロック構成、ならびに、パターン検出部502の機能ブロック構成は、第6の実施の形態で説明した構成と同様である。また、本実施の形態に係る視差値導出部のブロックマッチング処理、クラスタリング部400におけるクラスタリング処理、および、棄却部500のパターン検出部502における繰り返しパターン検出処理も、第6の実施の形態と同様である。
図32は、第7の実施の形態に係る認識処理部の棄却部の棄却判定処理の動作の一例を示すフローチャートである。図32を参照しながら、本実施の形態の認識処理部5bの棄却部500の棄却判定処理の動作の一例の流れについて説明する。
図31のステップS51、S52と同様である。そして、ステップS63へ移行する。
棄却判定部503は、パターン検出部502から出力された部分画像の各画素についての検出フラグを用いて、その部分画像を棄却するか否かを判定する棄却判定処理を実行する。具体的には、棄却判定部503は、部分画像の各画素についての検出フラグを用いて、部分画像のライン(水平ライン、垂直ラインのいずれでもよい)ごとに、繰り返しパターンの画像領域に含まれる画素の数をカウントする。次に、棄却判定部503は、カウントした画素の数が所定値以上であるか否かを判定し、所定値以上の場合、そのラインが繰り返しパターンを含むものと判定する。そして、棄却判定部503は、繰り返しパターンを含むラインの数が、所定値(上述の所定値と異なる)以上であるか否かを判定し、所定値以上である場合、部分画像を棄却する判定をする。さらに、棄却判定部503は、このような部分画像を棄却するか否かの棄却判定処理の判定結果を、出力部504へ送る。そして、ステップS64へ移行する。
図31のステップS54と同様である。
第7の実施の形態の変形例に係る物体認識装置について、第7の実施の形態に係る物体認識装置と相違する点を中心に説明する。本変形例では、部分画像のラインごとに、ラインに含まれる画素値に対するフーリエ変換を行い、フーリエ変換後のフーリエスペクトルに基づいて、部分画像に対して棄却するか否かを判定する動作について説明する。なお、本変形例に係る物体認識装置のハードウェア構成および機能ブロック構成、視差値演算処理部350の機能ブロック構成、ならびに、棄却部500の機能ブロック構成は、第6の実施の形態で説明した構成と同様である。また、本変形例に係る視差値導出部3bのブロックマッチング処理、および、クラスタリング部400におけるクラスタリング処理も、第6の実施の形態で説明した動作と同様である。
図33は、第7の実施の形態の変形例に係る認識処理部の棄却部の棄却判定処理の動作の一例を示すフローチャートである。図34は、第7の実施の形態の変形例での輝度値についてのフーリエ変換について説明する図である。図33および34を参照しながら、認識処理部5bの棄却部500の棄却判定処理の動作の一例の流れについて説明する。
図32のステップS61と同様である。そして、ステップS72へ移行する。
パターン検出部502は、入力部501により入力された基準画像Iaおよび部分画像情報に基づいて、部分画像情報により特定される基準画像Ia上での部分画像の各ラインが繰り返しパターンを含むか否かを検出する繰り返しパターン検出処理を実行する。具体的には、パターン検出部502は、図34(a)に示す部分画像Ipの水平ラインごと(図34(a)に示すライン(1)、(2)、・・・、(N))に、水平ラインに含まれる画素値に対してフーリエ変換を行い、フーリエスペクトルを求める。図34に示す例では、図34(b)が、部分画像Ipのライン(2)の画素値(輝度値)の波形を示し、図34(c)が、部分画像Ipのライン(4)の画素値(輝度値)の波形を示している。また、図34(d)が、ライン(2)の画素値の波形に対してフーリエ変換を行った後のフーリエスペクトル(横軸が空間周波数、縦軸が離散フーリエ振幅)を示し、図34(e)が、ライン(4)の画素値の波形に対してフーリエ変換を行った後のフーリエスペクトルを示している。次に、パターン検出部502は、求めたフーリエスペクトルの振幅が所定値(図34(d)に示す「閾値」)(第2所定値)以上、かつ、その分散が所定値以下であるか否かを判定する。そして、パターン検出部502は、求めたフーリエスペクトルの振幅が所定値以上、かつ、その分散が所定値以下である場合、そのフーリエスペクトルに対応するラインが、繰り返しパターンを含むものと判定する。パターン検出部502は、部分画像の各ラインが繰り返しパターンを含むか否かの情報を、棄却判定部503に出力する。そして、ステップS73へ移行する。なお、パターン検出部502は、部分画像Ipの水平ラインごとにフーリエ変換を行っているが、これに限定されるものではなく、部分画像Ipの垂直ラインごとにフーリエ変換を行ってもよい。
棄却判定部503は、繰り返しパターンを含むラインの数が、所定値(上述の所定値と異なる)以上であるか否かを判定し、所定値以上である場合、部分画像を棄却する棄却判定処理を実行する。さらに、棄却判定部503は、このような部分画像を棄却するか否かの棄却判定処理の判定結果を、出力部504へ送る。そして、ステップS74へ移行する。
図32のステップS64と同様である。
第8の実施の形態に係る物体認識装置について、第6の実施の形態に係る物体認識装置1bと相違する点を中心に説明する。本実施の形態では、部分画像のラインごとに、繰り返しパターンの画像領域に含まれると判断された画素の数のヒストグラムを生成し、そのヒストグラムと、モデルとなるヒストグラムとを比較して、部分画像に対して棄却するか否かを判定する動作について説明する。なお、本実施の形態に係る物体認識装置のハードウェア構成、視差値演算処理部350の機能ブロック構成、および、パターン検出部502の機能ブロック構成は、第6の実施の形態で説明した構成と同様である。また、本実施の形態に係る視差値導出部3bのブロックマッチング処理、クラスタリング部400におけるクラスタリング処理、および、棄却部のパターン検出部502における繰り返しパターン検出処理も、第6の実施の形態と同様である。
図35は、第8の実施の形態に係る物体認識装置の棄却部の機能ブロック構成の一例を示す図である。図36は、第8の実施の形態の棄却部の棄却判定部の機能ブロック構成の一例を示す図である。図37は、第8の実施の形態の棄却判定部のヒストグラム生成部が生成するヒストグラムの一例を示す図である。図35〜37を参照しながら、本実施の形態に係る物体認識装置の要部の機能ブロックの構成および動作について説明する。
図38は、第8の実施の形態に係る認識処理部の棄却部の棄却判定処理の動作の一例を示すフローチャートである。図38を参照しながら、認識処理部5bの棄却部500aの棄却判定処理の動作の一例の流れについて説明する。
入力部501は、視差値導出部3bから出力された基準画像Ia、およびクラスタリング部400から出力された部分画像情報を入力する。そして、入力部501は、基準画像Iaから部分画像情報が示す部分画像を特定する(読み込む)。また、モデル入力部505は、例えば、RAM54等の記憶手段に予め記憶されている棄却判定処理に用いるモデルとなるモデルヒストグラムを入力する(読み込む)。そして、ステップS82へ移行する。
図31のステップS52と同様である。そして、ステップS83へ移行する。
ヒストグラム生成部531は、部分画像の各画素についての検出フラグを用いて、部分画像のライン(水平ライン、垂直ラインのいずれでもよい)ごとに、繰り返しパターンの画像領域に含まれる画素の数についてのヒストグラムを生成する。そして、ステップS84へ移行する。
比較部532は、ヒストグラム生成部531により生成されたヒストグラムと、モデル入力部505により入力されたモデルヒストグラムとを比較する。例えば、比較部532は、ユークリッド距離もしくはマハラノビス距離等の距離計測用尺度、またはコサイン類似度のような類似度計測用尺度を使用することによって、生成されたヒストグラムと、モデルヒストグラムとの類似度を求める。比較部532は、比較結果である類似度を、判定部533に出力する。そして、ステップS85へ移行する。
判定部533は、比較部532から受け取った類似度が、所定の閾値よりも小さい場合、生成されたヒストグラムと、モデルヒストグラムとは類似しているものと判断し、部分画像を棄却するものと判定する。判定部533は、判定結果を、出力部504へ送る。そして、ステップS86へ移行する。
出力部504は、判定部533から受け取った棄却判定処理の判定結果、すなわち、その部分画像を棄却するか否かを示す棄却フラグを部分画像情報に含めて、後段の車両制御装置6に送信(出力)する。
第9の実施の形態に係る物体認識装置について、第6の実施の形態に係る物体認識装置1bと相違する点を中心に説明する。本実施の形態では、部分画像を複数のブロックに分割し、ブロックごとに棄却判定処理を行い、棄却と判定されたブロックの数に基づいて、部分画像に対して棄却するか否かを判定する動作について説明する。なお、本実施の形態に係る物体認識装置のハードウェア構成および機能ブロック構成、視差値演算処理部350の機能ブロック構成、棄却部500の機能ブロック構成、ならびに、パターン検出部502の機能ブロック構成は、第6の実施の形態で説明した構成と同様である。また、本実施の形態に係る視差値導出部3bのブロックマッチング処理、クラスタリング部400におけるクラスタリング処理、および、棄却部500のパターン検出部502における繰り返しパターン検出処理も、第6の実施の形態と同様である。
図39は、第9の実施の形態の棄却部の棄却判定部の機能ブロック構成の一例を示す図である。図39を参照しながら、本実施の形態に係る物体認識装置の要素の機能ブロックの構成および動作について説明する。
図40は、第9の実施の形態に係る認識処理部の棄却部の棄却判定処理の動作の一例を示すフローチャートである。図40を参照しながら、認識処理部5bの棄却部500の棄却判定処理の動作の一例の流れについて説明する。
図31のステップS51、S52と同様である。そして、ステップS93へ移行する。
ブロック分割部541は、部分画像の各画素についての検出フラグを入力し、部分画像を複数のブロックに分割する。ブロック分割部541は、分割結果として、分割したブロックおよび検出フラグを、ブロック判定部542に出力する。そして、ステップS94へ移行する。
ブロック判定部542は、ブロック分割部541により分割されたブロックごとに、ブロックの各画素についての検出フラグを用いて、そのブロックを棄却するか否かを判定する。ブロック判定部542は、各ブロックについての棄却の判定結果であるブロック判定結果を、総合判定部543に出力する。そして、ステップS95へ移行する。
総合判定部543は、ブロック判定部542から受け取ったブロック判定結果に基づいて、棄却の判定がされたブロックの数が、所定値以上であるか否かを判定し、所定値以上である場合、部分画像を棄却する判定(総合的に棄却判定)をする。総合判定部543は、部分画像を棄却するか否かの棄却判定処理の判定結果を、出力部504へ送る。
出力部504は、総合判定部543から受け取った棄却判定処理の判定結果、すなわち、その部分画像を棄却するか否かを示す棄却フラグを部分画像情報に含めて、後段の車両制御装置6に送信(出力)する。
2 本体部
3、3a、3b 視差値導出部
4 通信線
5、5b 認識処理部
6 車両制御装置
7 ステアリングホイール
8 ブレーキペダル
10a、10b 撮像部
11a、11b 撮像レンズ
12a、12b 絞り
13a、13b 画像センサ
20a、20b 信号変換部
21a、21b CDS
22a、22b AGC
23a、23b ADC
24a、24b フレームメモリ
30 画像処理部
31 FPGA
32 CPU
33 ROM
34 RAM
35 I/F
39 バスライン
51 FPGA
52 CPU
53 ROM
54 RAM
55 I/F
58 CANI/F
59 バスライン
60 機器制御システム
70 車両
100 画像取得部
200 変換部
250 フィルタ処理部
300、300a、300b パターン検出部
301 画素値取得部
302 傾き算出部
303 極値検出部
304 閾値設定部
305 カウンタ部
306 有効性判断部
307 制御部
308 対象外領域検出部
309 周期算出部
310 記憶部
311 画素値レジスタ
312 傾きレジスタ
313 閾値レジスタ
314 極大値カウントレジスタ
315 極小値カウントレジスタ
350 視差値演算処理部
351 コスト算出部
352 決定部
353 生成部
400 クラスタリング部
500、500a 棄却部
501 入力部
502 パターン検出部
503、503a、503b 棄却判定部
504 出力部
505 モデル入力部
531 ヒストグラム生成部
532 比較部
533 判定部
541 ブロック分割部
542 ブロック判定部
543 総合判定部
600 路面
600a 路面部
601 電柱
601a 電柱部
602 車
602a 車部
611 左ガードレール
611a 左ガードレール部
612 右ガードレール
612a 右ガードレール部
613、614 車
613a、614a 車部
B 基線長
C コスト値
d シフト量
data1〜data3 画素値
dp 視差値
E 物体
EL エピポーラ線
f 焦点距離
Ia 基準画像
Ib 比較画像
Ip 部分画像
Ir パターン検出画像
LL 極小下限値
LU 極小上限値
OA1〜OA3 対象外領域
p 基準画素
pb 基準領域
Pmax 極大周期
Pmin 極小周期
q 候補画素
qb 候補領域
S、Sa、Sb 点
s 探索幅
Th 閾値
UL 極大下限値
UM Uマップ
UU 極大上限値
VM Vマップ
Z 距離
Claims (12)
- 撮像手段が被写体を撮像することにより得られた撮像画像の各画素値をそれぞれ対象画素値として取得する取得手段と、
前記対象画素値を基準とする所定の探索範囲に含まれる前記画素値の変化を示すグラフの傾きを算出する傾き算出手段と、
前記傾きに基づいて、前記画素値の極値を検出する極値検出手段と、
前記極値検出手段によって前記探索範囲に含まれる前記画素値から検出された極値のうち、所定の範囲に含まれる極値の個数をカウントするカウント手段と、
前記個数が所定の閾値以上である場合、前記対象画素値に対応する画素が、前記撮像画像の繰り返しパターンの画像領域に含まれると判断する判断手段と、
前記極値検出手段により検出された極値に基づいて、前記所定の範囲として閾値範囲を設定する設定手段と、
を備え、
前記極値検出手段は、前記傾きに基づいて、前記画素値の極大値および極小値を検出し、
前記設定手段は、前記極値検出手段により検出された前記極大値に基づいて、前記閾値範囲としての第1範囲を設定し、前記極値検出手段により検出された前記極小値に基づいて、前記閾値範囲としての第2範囲を設定し、
前記カウント手段は、前記極値検出手段によって前記探索範囲に含まれる前記画素値から検出された前記極大値のうち、前記第1範囲に含まれる前記極大値の個数である第1個数をカウントし、前記極値検出手段によって前記探索範囲に含まれる前記画素値から検出された前記極小値のうち、前記第2範囲に含まれる前記極小値の個数である第2個数をカウントし、
前記判断手段は、前記第1個数および前記第2個数の少なくともいずれかに基づいて、前記対象画素値に対応する画素が、前記繰り返しパターンの画像領域に含まれるか否かを判断し、
前記設定手段は、前記探索範囲外で前記極値検出手段により検出された極値に基づいて、前記閾値範囲を設定する検出装置。 - 前記撮像画像の画素値の変化を示すグラフの振幅が所定値以下の画像領域を対象外領域として検出する領域検出手段を、さらに備え、
前記取得手段は、前記撮像画像で前記対象外領域以外の画像領域から前記対象画素値を取得する請求項1に記載の検出装置。 - 前記撮像画像の画素値の変化を示すグラフについて、フィルタ処理により所定の周波数以下の周波数成分を除去する除去手段を、さらに備え、
前記取得手段は、前記除去手段により前記フィルタ処理が実行された前記撮像画像から前記対象画素値を取得する請求項1または2に記載の検出装置。 - 前記撮像画像の画素値の変化を示すグラフの周期を算出する周期算出手段を、さらに備え、
前記周期算出手段は、算出した周期に応じて、前記探索範囲または前記所定の閾値を変える請求項1〜3のいずれか一項に記載の検出装置。 - 請求項1〜4のいずれか一項に記載の検出装置と、
前記撮像手段が前記被写体を撮像することにより得られた前記撮像画像、および前記撮像手段の位置とは異なる位置の別の撮像手段が前記被写体を撮像することにより得られた別の撮像画像に基づいて、前記被写体に対する視差値を決定して出力する視差値演算手段と、
を備え、
前記検出装置は、前記判断手段により判断された、前記対象画素値に対応する画素が繰り返しパターンの画像領域に含まれるか否かの判断結果を出力する視差値導出装置。 - 請求項1〜4のいずれか一項に記載の検出装置を備え、
前記検出装置は、対象画像の画像領域が繰り返しパターンを含むか否かを検出し、
前記検出装置により検出された繰り返しパターンが所定の条件を満たす場合に、前記対象画像に対して棄却と判定する棄却判定手段を、さらに備えた物体認識装置。 - 前記取得手段は、前記撮像画像での前記対象画像の各画素値をそれぞれ前記対象画素値として取得し、
前記棄却判定手段は、前記判断手段により前記対象画像で繰り返しパターンの画像領域に含まれると判断された画素の数、および該対象画像の画素数に基づいて、該対象画像に対して棄却するか否かを判定する請求項6に記載の物体認識装置。 - 前記棄却判定手段は、
前記対象画像のラインごとに、前記判断手段により繰り返しパターンの画像領域に含まれると判断された画素の数をカウントし、
前記ラインごとにカウントした画素の数に基づいて、該ラインが繰り返しパターンを含むか否かを判定し、
繰り返しパターンを含む前記ラインの数に基づいて、前記対象画像に対して棄却するか否かを判定する請求項6に記載の物体認識装置。 - 前記棄却判定手段は、
前記対象画像のラインごとに、前記判断手段により繰り返しパターンの画像領域に含まれると判断された画素の数のヒストグラムを生成する生成手段と、前記ヒストグラムと、所定のモデルヒストグラムとを比較する比較手段と、を有し、
前記比較手段の比較結果に基づいて、前記対象画像に対して棄却するか否かを判定する請求項6に記載の物体認識装置。 - 前記棄却判定手段は、
前記対象画像を複数のブロックに分割する分割手段と、
前記ブロックごとに、該ブロックに含まれる繰り返しパターンが所定の条件を満たす場合、該ブロックに対して棄却と判定するブロック判定手段と、
前記ブロック判定手段により棄却と判定された前記ブロックの数に基づいて、前記対象画像に対して棄却するか否かを判定する対象画像判定手段と、
を有する請求項6に記載の物体認識装置。 - 請求項6〜10のいずれか一項に記載の物体認識装置と、
前記物体認識装置による処理の結果に基づいて、制御対象を制御する制御装置と、
を備えた機器制御システム。 - コンピュータを、
撮像手段が被写体を撮像することにより得られた撮像画像の各画素値をそれぞれ対象画素値として取得する取得手段と、
前記対象画素値を基準とする所定の探索範囲に含まれる前記画素値の変化を示すグラフの傾きを算出する傾き算出手段と、
前記傾きに基づいて、前記画素値の極値を検出する極値検出手段と、
前記極値検出手段によって前記探索範囲に含まれる前記画素値から検出された極値のうち、所定の範囲に含まれる極値の個数をカウントするカウント手段と、
前記個数が所定の閾値以上である場合、前記対象画素値に対応する画素が、前記撮像画像の繰り返しパターンの画像領域に含まれると判断する判断手段と、
前記極値検出手段により検出された極値に基づいて、前記所定の範囲として閾値範囲を設定する設定手段と、
して機能させ、
前記極値検出手段は、前記傾きに基づいて、前記画素値の極大値および極小値を検出し、
前記設定手段は、前記極値検出手段により検出された前記極大値に基づいて、前記閾値範囲としての第1範囲を設定し、前記極値検出手段により検出された前記極小値に基づいて、前記閾値範囲としての第2範囲を設定し、
前記カウント手段は、前記極値検出手段によって前記探索範囲に含まれる前記画素値から検出された前記極大値のうち、前記第1範囲に含まれる前記極大値の個数である第1個数をカウントし、前記極値検出手段によって前記探索範囲に含まれる前記画素値から検出された前記極小値のうち、前記第2範囲に含まれる前記極小値の個数である第2個数をカウントし、
前記判断手段は、前記第1個数および前記第2個数の少なくともいずれかに基づいて、前記対象画素値に対応する画素が、前記繰り返しパターンの画像領域に含まれるか否かを判断し、
前記設定手段は、前記探索範囲外で前記極値検出手段により検出された極値に基づいて、前記閾値範囲を設定するプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16174586.4A EP3115965B1 (en) | 2015-06-16 | 2016-06-15 | Detection device, disparity value deriving device, object recognizing device, device control system, detection method, and program |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015121475 | 2015-06-16 | ||
JP2015121475 | 2015-06-16 | ||
JP2015148992 | 2015-07-28 | ||
JP2015148992 | 2015-07-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017027578A JP2017027578A (ja) | 2017-02-02 |
JP6701905B2 true JP6701905B2 (ja) | 2020-05-27 |
Family
ID=57950623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016079780A Active JP6701905B2 (ja) | 2015-06-16 | 2016-04-12 | 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6701905B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3933767A1 (en) * | 2020-06-30 | 2022-01-05 | Amlogic (Shanghai) Co., Ltd. | Scene detection method, chip, electronic device, and storage medium |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047282A1 (ja) | 2015-09-15 | 2017-03-23 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
JP2018147976A (ja) * | 2017-03-03 | 2018-09-20 | キヤノン株式会社 | 固体撮像装置及びその製造方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001351200A (ja) * | 2000-06-09 | 2001-12-21 | Nissan Motor Co Ltd | 車載用物体検知装置 |
JP4869049B2 (ja) * | 2006-12-08 | 2012-02-01 | 株式会社東芝 | 補間フレーム画像作成方法および補間フレーム画像作成装置 |
JP6222514B2 (ja) * | 2012-01-11 | 2017-11-01 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置、およびコンピュータブログラム |
-
2016
- 2016-04-12 JP JP2016079780A patent/JP6701905B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3933767A1 (en) * | 2020-06-30 | 2022-01-05 | Amlogic (Shanghai) Co., Ltd. | Scene detection method, chip, electronic device, and storage medium |
US11823393B2 (en) | 2020-06-30 | 2023-11-21 | Amlogic (Shanghai) Co., Ltd | Scene detection method, chip, electronic device, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2017027578A (ja) | 2017-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6795027B2 (ja) | 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム | |
US10776946B2 (en) | Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium | |
JP6344638B2 (ja) | 物体検出装置、移動体機器制御システム及び物体検出用プログラム | |
CN109997148B (zh) | 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质 | |
JP6597795B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6516012B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6597792B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
WO2014002692A1 (ja) | ステレオカメラ | |
JP2008033750A (ja) | 物体傾き検出装置 | |
JP6572696B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP2017151535A (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6701905B2 (ja) | 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム | |
JPWO2017099199A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
US20150091714A1 (en) | Filtering device and environment recognition system | |
JP6992356B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP2017167970A (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
JP6569416B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム | |
EP3115965B1 (en) | Detection device, disparity value deriving device, object recognizing device, device control system, detection method, and program | |
WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
JP2019160251A (ja) | 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム | |
JP6701738B2 (ja) | 視差値導出装置、視差値導出方法及びプログラム | |
JP6334773B2 (ja) | ステレオカメラ | |
JP6828332B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6701905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |