JP6169366B2 - 物体検出装置、プログラムおよび集積回路 - Google Patents

物体検出装置、プログラムおよび集積回路 Download PDF

Info

Publication number
JP6169366B2
JP6169366B2 JP2013023077A JP2013023077A JP6169366B2 JP 6169366 B2 JP6169366 B2 JP 6169366B2 JP 2013023077 A JP2013023077 A JP 2013023077A JP 2013023077 A JP2013023077 A JP 2013023077A JP 6169366 B2 JP6169366 B2 JP 6169366B2
Authority
JP
Japan
Prior art keywords
image
contour
continuity
contour component
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013023077A
Other languages
English (en)
Other versions
JP2014153914A (ja
Inventor
祥平 野本
祥平 野本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2013023077A priority Critical patent/JP6169366B2/ja
Priority to US14/157,929 priority patent/US9189701B2/en
Priority to EP14152665.7A priority patent/EP2765532A3/en
Publication of JP2014153914A publication Critical patent/JP2014153914A/ja
Application granted granted Critical
Publication of JP6169366B2 publication Critical patent/JP6169366B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理技術に関し、特に、画像中の物体を検出するための技術に関する。
撮像画像に対して、エッジ抽出処理を行い、画像中に含まれる物体(対象物)を特定するための技術が多々提案されている。例えば、特許文献1には、背景が低い輝度値の画像領域を多く含むことを前提として、対象物(例えば、自動車)とその背景(例えば、駐車場)とのコントラストが異なる場合であっても、エッジ抽出画像に所定の処理を行うことで、精度良く対象物を特定(抽出)する技術の開示がある。具体的には、特許文献1の技術では、撮像画像に対して、エッジ抽出処理を行い、エッジ抽出画像を取得する。そして、特許文献1の技術では、取得したエッジ抽出画像の画素値を元の画像の輝度値で除算することで、エッジ強調画像を取得する。背景が低い輝度値の画像領域を多く含む場合、上記のようにして取得されたエッジ強調画像は、対象物と背景とのコントラストが低い場合であっても、適度にエッジが強調された画像となる。このエッジ強調画像を用いて対象物の特定(抽出)することで、特許文献1の技術では、対象物(例えば、自動車)とその背景(例えば、駐車場)とのコントラストが異なる場合であっても、精度良く対象物を特定(抽出)することができる。
特開2002―288798号公報
しかしながら、特許文献1の技術では、背景が低い輝度値の画像領域を多く含むことを前提としているため、任意の背景に対して、適切に物体(対象物)を特定(抽出)することは困難である。また、特許文献1の技術では、画像上の所定方向において対象物と背景とのコントラストがほとんど無い場合、適切に対象物の輪郭を検出することができず、その結果、適切に物体(対象物)を特定(抽出)することは困難である。
そこで、本発明は、画像上の所定方向において対象物と背景とのコントラストがほとんど無い場合であっても、対象物の輪郭を適切に検出(推定)することができる物体検出装置、プログラムおよび集積回路を実現することを目的とする。
上記課題を解決するために、第1の発明は、第1方向輪郭成分抽出部と、第2方向連続性検出部と、物体領域検出部と、を備える物体検出装置である。
第1方向輪郭成分抽出部は、入力画像に対して、画像上の第1方向の輪郭成分を抽出する。
第2方向連続性検出部は、第1方向輪郭成分抽出部により抽出された輪郭成分の第1方向と直交する画像上の方向である第2方向における連続性を検出する。
物体領域検出部は、第2方向連続性検出部により検出された、輪郭成分の第2方向における連続性に基づいて、画像上の物体の輪郭を検出する。
この物体検出装置では、第1方向輪郭成分抽出部が、画像上の第1方向における輪郭成分を抽出し、第2方向連続性検出部が、第1方向と直交する第2方向において、第1方向の輪郭成分(例えば、エッジ成分量が大きい画素)の連続性を検出する。そして、この物体検出装置では、物体領域検出部により、第2方向連続性検出部により検出された、輪郭成分の第2方向における連続性に基づいて、画像上の物体の輪郭が検出(推定)される。
したがって、この物体検出装置では、画像上の第2方向において対象物と背景とのコントラストがほとんど無い場合であっても、対象物の輪郭を適切に検出(推定)することができる。
なお、「第2方向における連続性」とは、第2方向と所定の角度差を有する方向における連続性をも含む概念である。
第2の発明は、第1の発明であって、画像に含まれ、第1方向と平行な対称軸を有する略線対称な物体の対称軸を検出する中心軸検出部をさらに備える。
第2方向連続性検出部は、中心軸検出部が検出した対称軸に基づいて、輪郭成分の第2方向における連続性を検出する。
この物体検出装置では、第1方向と直交する第2方向に対称性の高い物体の中心軸(第1方向と平行な軸(対称軸))を検出し、検出した中心軸(対称軸)に基づいて、物体検出処理を行う。したがって、第1方向におけるコントラスト差(輝度差)の変化が少なく、第1方向と直交する第2方向における輪郭を適切に検出(推定)することが困難な画像であっても、上記処理により、適切に物体の輪郭を検出(推定)することができ、特に、対称性の高い物体の最大幅(第2方向の最大幅)を精度良く検出することができる。
第3の発明は、第1または第2の発明であって、画像の輪郭成分を抽出する輪郭抽出部をさらに備える。
物体領域検出部は、
(1)輪郭抽出部により輪郭成分が抽出された画像領域については、当該輪郭成分に基づいて、物体の輪郭を検出し、
(2)輪郭抽出部により輪郭成分が抽出することができない画像領域については、第2方向連続性検出部により検出された、輪郭成分の第2方向における連続性に基づいて、物体の輪郭を検出する。
この物体検出装置では、例えば、一般的に用いられるエッジ抽出処理(例えば、Sobelフィルタ等による処理)で輪郭を検出できる部分(画像領域)については、(1)当該エッジ抽出処理により検出された輪郭を採用し、(2)一般的に用いられるエッジ抽出処理では輪郭を検出することが困難な部分(画像領域)については、第2方向連続性検出部により検出された、輪郭成分の第2方向における連続性に基づいて、物体の輪郭を検出(推定)する。
これにより、この物体検出装置では、あらゆる画像に対して、適切に輪郭を検出(推定)することができる。
第4の発明は、第1から第3のいずれかの発明であって、第1方向は、画像上の垂直方向であり、第2方向は、画像上の水平方向である。
この物体検出装置では、第1方向が画像上の垂直方向(縦方向、Y軸方向)であり、第2方向が画像上の水平方向(横方向、X軸方向)であるので、第1方向輪郭成分抽出部での処理(例えば、フィルタ処理)や、第2方向連続性検出部での処理をより簡単な処理にすることができる。
第5の発明は、第4の発明であって、第1方向輪郭成分抽出部は、画像上の垂直方向における変化量を取得することにより、第1方向の輪郭成分を抽出する。
この物体検出装置では、画像上の垂直方向(縦方向、Y軸方向)の変化量を取得するだけでよいので、簡単な処理(例えば、簡単なフィルタ処理)により、第1方向の輪郭成分を抽出することができる。
第6の発明は、第5の発明であって、第1方向輪郭成分抽出部は、入力画像の画像上の座標位置(x1,y1)の画素に対して、
なるフィルタ演算子F1により取得した値F1(x1,y1)と、
なるフィルタ演算子F2により取得した値F2(x1,y1)と、を用いて、
Fc1(x1,y1)=clip(F1(x1,y1),d0)
Fc2(x1,y1)=clip(F2(x1,y1),d0)
Dout(x1,y1)=k1×(Fc1(x1,y1)+Fc2(x1,y1))
d0:定数
k1:係数
clip(x,d):x<dならば、clip(x,d)=d、x≧dならば、clip(x,d0)=xとなる関数
(例えば、d0=0とすると、Fc1(x1,y1)およびFc2(x1,y1)は、0または正の値をとることになる。)
または、
Dout(x1,y1)=max(k2×F1(x1,y1),k2×F2(x1,y1))
max():要素の最大値をとる関数
k2:係数
により取得した値Dout(x1,y1)またはDout(x1,y1)が取り得る範囲の上限値または下限値でクリップ処理した値を、画像上の座標位置(x1,y1)の画素の画素値とすることで、画像上の第1方向の輪郭成分抽出画像を取得する。なお、Dout(x1,y1)の値が所定の範囲の値(例えば、8ビットデータの取り得る範囲(0〜255))となるように、当該所定の範囲を超える値については、上限値または下限値でクリップ処理を行うようにしてもよい。また、値Dout(x1,y1)に所定のオフセット値を加算するようにしてもよい。
この物体検出装置では、上記の通り、簡単な2次元フィルタ演算処理を行うだけで、画像上の垂直方向(縦方向、Y軸方向)の変化量を取得することができる。したがって、この物体検出装置では、少ない演算量で、第1方向の輪郭成分を抽出することができる。
第7の発明は、第5の発明であって、第1方向輪郭成分抽出部は、入力画像の画像上の座標位置(x1,y1)の画素に対して、
なるフィルタ演算子F1により取得した値F1(x1,y1)を用いて、
Dout(x1,y1)=k1×F1(x1,y1)
k1:係数
により取得した値Dout(x1,y1)またはDout(x1,y1)が取り得る範囲の上限値または下限値でクリップ処理した値を、画像上の座標位置(x1,y1)の画素の画素値とすることで、画像上の第1方向の輪郭成分抽出画像を取得する。なお、Dout(x1,y1)の値が所定の範囲の値(例えば、8ビットデータの取り得る範囲(0〜255))となるように、当該所定の範囲を超える値については、上限値または下限値でクリップ処理を行うようにしてもよい。また、値Dout(x1,y1)に所定のオフセット値を加算するようにしてもよい。
この物体検出装置では、上記の通り、簡単な2次元フィルタ演算処理を行うだけで、画像上の垂直方向(縦方向、Y軸方向)の変化量を取得することができる。したがって、この物体検出装置では、少ない演算量で、第1方向の輪郭成分を抽出することができる。また、上記フィルタ演算により、画像の下側に暗い部分がある画像に対して、特に、適切に輪郭成分を検出することができる。その結果、この物体検出装置では、例えば、前方を走行する車両を撮像した画像に対して処理を行う場合、当該車両の下部分における第1方向の輪郭成分を適切に検出することができる。
第8の発明は、第1方向輪郭成分抽出ステップと、第2方向連続性検出ステップと、物体領域検出ステップと、を備える物体検出方法をコンピュータに実行させるプログラムである。
第1方向輪郭成分抽出ステップは、入力画像に対して、画像上の第1方向の輪郭成分を抽出する。
第2方向連続性検出ステップは、第1方向輪郭成分抽出ステップにより抽出された輪郭成分の第1方向と直交する画像上の方向である第2方向における連続性を検出する。
物体領域検出ステップは、第2方向連続性検出ステップにより検出された、輪郭成分の第2方向における連続性に基づいて、画像上の物体の輪郭を検出する。
これにより、第1の発明と同様の効果を奏する物体検出方法をコンピュータに実行させるプログラムを実現することができる。
第9の発明は、第1方向輪郭成分抽出部と、第2方向連続性検出部と、物体領域検出部と、を備える集積回路である。
第1方向輪郭成分抽出部は、入力画像に対して、画像上の第1方向の輪郭成分を抽出する。
第2方向連続性検出部は、第1方向輪郭成分抽出部により抽出された輪郭成分の第1方向と直交する画像上の方向である第2方向における連続性を検出する。
物体領域検出部は、第2方向連続性検出部により検出された、輪郭成分の第2方向における連続性に基づいて、画像上の物体の輪郭を検出する。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
本発明によれば、画像上の所定方向において対象物と背景とのコントラストがほとんど無い場合であっても、対象物の輪郭を適切に検出(推定)することができる物体検出装置、プログラムおよび集積回路を実現することができる。
第1実施形態に係る物体検出システム1000の概略構成図。 輪郭検出方向および画像方向調整部22での処理を説明するための図。 輪郭検出方向および画像方向調整部22での処理を説明するための図。 第1実施形態のフィルタ処理部23の概略構成図。 第1実施形態の第2変形例のフィルタ処理部23Aの概略構成図。 入力画像を示す図。 垂直方向エッジ成分抽出画像を示す図。 水平方向の連続性の検出結果画像を示す図。 水平方向の連続性の検出結果画像(輪郭検出(推定)処理の説明用)を示す図。 水平方向の連続性の検出結果画像(輪郭検出(推定)処理の説明用)を示す図。 物体の輪郭検出(推定)結果画像を示す図。 物体の輪郭検出(推定)結果を、入力画像に重畳させた画像。 垂直方向エッジ成分抽出画像(第1実施形態の第1変形例)を示す図。 水平方向の連続性の検出結果画像(第1実施形態の第1変形例)を示す図。 物体の輪郭検出(推定)結果画像(第1実施形態の第1変形例)を示す図。 物体の輪郭検出(推定)結果を、入力画像に重畳させた画像(第1実施形態の第1変形例)。 垂直方向エッジ抽出フィルタ231に取得された画像に、中心軸検出部233により検出された中心軸C1を重ねて表示した画像(第1実施形態の第2変形例)。 水平方向の連続性の検出結果画像(第1実施形態の第2変形例)を示す図。 物体の輪郭検出(推定)結果画像(第1実施形態の第2変形例)を示す図。 第2実施形態に係る物体検出システム2000の概略構成図。 第3実施形態に係る物体検出システム3000の概略構成図。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:物体検出システムの構成>
図1は、第1実施形態に係る物体検出システム1000の概略構成図である。
物体検出システム1000は、図1に示すように、撮像部1と、物体検出装置2と、を備える。
撮像部1は、被写体からの光を集光する光学系(不図示)と、当該光学系により集光された被写体光を光電変換により画像信号(電気信号)として取得する撮像素子(たとえばCCDイメージセンサやCMOSイメージセンサ)(不図示)とを備えている。撮像部1は、撮像素子により撮像した画像(画像信号)を、物体検出装置2に出力する。
物体検出装置2は、図1に示すように、画像入力部21と、画像方向調整部22と、フィルタ処理部23と、物体領域検出部24と、を備える。
画像入力部21は、撮像部1から出力される画像(画像信号)を入力する。たとえば、撮像部1がRGBベイヤ配列の色フィルタを備えたCCDイメージセンサを用いる撮像装置である場合、画像入力部21には、例えば、R成分信号、G成分信号およびB成分信号を含む画素信号列が入力される。画像入力部21は、入力された画像信号を、必要に応じて、所定の形式に変換し、変換した画像信号(変換されない場合は、無変換の画像信号)を画像方向調整部22に出力する。
なお、「所定の形式への変換」とは、例えば、色空間の変換(例えば、RGB色空間からYCbCr色空間への変換)である。画像入力部21は、入力されたRGB色空間の画像信号(R成分信号、G成分信号およびB成分信号)を、必要に応じて、例えば、YCbCr色空間の信号(Y成分信号、Cb成分信号およびCr成分信号)に変換する。
なお、以下では、説明便宜のため、画像入力部21において、入力されたRGB色空間の画像信号(R成分信号、G成分信号およびB成分信号)が、YCbCr色空間の信号(Y成分信号、Cb成分信号およびCr成分信号)に変換され、Y信号(輝度信号(輝度画像))のみが画像方向調整部22に出力される場合を例に説明する。
画像方向調整部22は、画像入力部21から出力される輝度信号(輝度画像)を入力する。また、画像方向調整部22は、画像上の輪郭検出方向に関する情報を入力する。画像方向調整部22は、輪郭検出方向が画像上の垂直方向と一致するように、入力された画像を回転させる。そして、画像方向調整部22は、処理後の画像をフィルタ処理部23に出力する。
なお、「輪郭検出方向」とは、輪郭成分を検出しようとしている画像上の方向のことをいう。
ここで、図2を用いて輪郭検出方向について、説明する。図2は、画像入力部21から出力された画像IMG1(一例)を模式的に示す図である。
例えば、図2に示す矩形状の物体ABCDの輪郭ADおよびBCを検出しようとする場合、輪郭検出方向は、直線ADおよびBCに平行な方向Dir1(図2に示す矢印Dir1の方向)となる。また、輪郭検出方向は、例えば、輪郭検出方向と垂直方向(Y軸方向)とのなす角θ(図2に示す角度θ)により、特定する。
画像方向調整部22は、画像上の輪郭検出方向に関する情報である角度θに基づいて、入力された画像を回転させる。具体的には、画像方向調整部22は、時計回りの方向に角度θだけ入力画像を回転させる処理を行う。図2に示す画像IMG1に対して、上記処理(時計回りの方向に角度θだけ回転させる処理)を行った後の画像IMG1’を図3に示す。図3に示すように、図2の矩形状の物体ABCDは、回転処理後、図3の矩形状の物体A’B’C’D’となる。図3から分かるように、矩形状の物体の輪郭A’D’およびB’C’の方向(図3に示す矢印Dir1’の方向)は、画像の垂直方向と一致する。つまり、回転処理後の画像において、輪郭検出方向が画像の垂直方向(Y軸方向)と一致する。また、回転処理後の画像において、輪郭検出方向と直交する方向(図3の矢印Dir2’の方向)は、画像の水平方向(X軸方向)と一致する。
画像方向調整部22は、上記処理を実行した後、処理後の画像をフィルタ処理部23に出力する。
フィルタ処理部23は、図4に示すように、垂直方向エッジ抽出フィルタ231と、水平方向連続性検出部232とを備える。
垂直方向エッジ抽出フィルタ231は、画像方向調整部22から出力される画像を入力する。垂直方向エッジ抽出フィルタ231は、2次元フィルタ処理により、入力された画像の垂直方向のエッジ成分を抽出し、垂直方向エッジ成分抽出画像を取得する。垂直方向エッジ抽出フィルタ231は、取得した垂直方向エッジ成分抽出画像を水平方向連続性検出部232に出力する。
水平方向連続性検出部232は、垂直方向エッジ抽出フィルタ231から出力される垂直方向エッジ成分抽出画像を入力する。水平方向連続性検出部232は、画像の水平方向における垂直エッジ成分の連続性を検出する(詳細については後述)。そして、検出結果画像を物体領域検出部24に出力する。
物体領域検出部24は、フィルタ処理部23から出力される画像(水平方向の連続性を検出した画像)を入力する。物体領域検出部24は、入力された画像から、画像上の物体の輪郭を検出(推定)する。そして、物体領域検出部24は、検出(推定)結果を出力する。
<1.2:物体検出システムの動作>
以上のように構成された物体検出システム1000の動作について、以下、説明する。
以下では、撮像部1により、図6に示す画像が撮像され、物体検出装置2に入力される場合を例に説明する。図6に示す画像に写っている物体(車両)は、水平方向(X軸方向)の輪郭部分において、コントラスト差(輝度差)が少ないため、通常のエッジ検出処理等では、適切に輪郭検出(推定)を行うのが困難である。
図6に示す画像は、画像入力部21に入力される。画像入力部21に入力される画像は、輝度画像であるため、画像入力部21では、変換処理等(色空間の変換処理等)は実行されず、そのまま、入力画像が画像入力部21から画像方向調整部22に出力される。
画像方向調整部22では、入力された画像に対して、輪郭検出方向に基づく角度θによる画像回転処理が実行される。なお、輪郭検出方向は、Y軸方向と同一方向であるものとして、以下、説明する。
輪郭検出方向がY軸方向と同一方向であるため(θ=0°であるため)、画像方向調整部22では、入力画像に対して回転処理は実行されず、入力画像がそのままフィルタ処理部23の垂直方向エッジ抽出フィルタ231に出力される。
フィルタ処理部23の垂直方向エッジ抽出フィルタ231は、入力画像に対して、垂直方向のエッジ成分抽出処理を実行する。例えば、垂直方向エッジ抽出フィルタ231は、入力画像に対して、(数式4)のフィルタ演算子(コンボリューション行列)(以下、「フィルタ演算子F1」という。)と、(数式5)のフィルタ演算子(コンボリューション行列)(以下、「フィルタ演算子F2」という。)と、を用いた2次元フィルタ処理を実行する。
具体的には、垂直方向エッジ抽出フィルタ231は、画像上の座標位置(x1,y1)の画素に対して、(数式4)のフィルタ演算子F1による2次元フィルタ処理を行った結果をF1(x1,y1)とし、画像上の座標位置(x1,y1)の画素に対して、(数式5)のフィルタ演算子F2による2次元フィルタ処理を行った結果をF2(x1,y1)とし、
Fc1(x1,y1)=clip(F1(x1,y1),d0)
Fc2(x1,y1)=clip(F2(x1,y1),d0)
Dout(x1,y1)=k1×(Fc1(x1,y1)+Fc2(x1,y1))
d0:定数
k1:係数
clip(x,d):x<dならば、clip(x,d)=d、x≧dならば、clip(x,d0)=xとなる関数(下限クリップ処理を行う関数)
に相当する処理を実行する。
なお、d0=0とすることで、Fc1(x1,y1)およびFc2(x1,y1)は、0または正の値をとることになるので、クリップ処理を簡易化することができる。
また、Dout(x1,y1)の値が所定の範囲の値(例えば、8ビットデータの取り得る範囲(0〜255))となるように、当該所定の範囲を超える値については、上限値または下限値でクリップ処理を行うようにしてもよい。
また、上記処理の代わりに、
Dout(x1,y1)=max(k2×F1(x1,y1),k2×F2(x1,y1))
max():要素の最大値をとる関数
k2:係数
に相当する処理を実行してもよい。なお、上記Dout(x1,y1)の値が所定の範囲の値(例えば、8ビットデータの取り得る範囲(0〜255))となるように、当該所定の範囲を超える値については、上限値または下限値でクリップ処理を行うようにしてもよい。
そして、垂直方向エッジ抽出フィルタ231は、取得したDout(x1,y1)を座標位置(x1,y1)の画素値とする画像を取得する。図7に、図6の画像に対して上記処理を行うことで取得した垂直方向エッジ成分抽出画像を示す。
なお、上記で示したフィルタ演算子は一例であり、垂直方向のエッジ成分を抽出することができるフィルタ演算子であれば、他のフィルタ演算子を用いるようにしてもよい。
上記処理により、垂直方向エッジ抽出フィルタ231で取得された垂直方向エッジ成分抽出画像は、水平方向連続性検出部232に出力される。
水平方向連続性検出部232では、入力された垂直方向エッジ成分抽出画像に対して、画像上の水平方向(X軸方向)における垂直方向エッジ成分の連続性が検出される。具体的には、水平方向連続性検出部232は、水平方向および水平方向となす角度が所定の角度以下の方向において、所定の閾値Th以上の画素値を有する画素を水平方向に連続する画素と判断し、当該画素の画素値を、例えば、「1」(画素値の取り得る範囲の上限値(8ビットデータ(0〜255)の場合、「255」))にする。図8に、図7の画像に対して上記処理を行うことで取得した水平方向の連続性の検出結果画像を示す。図8中の太線で示した部分が水平方向の連続性ありと判定された画素群である。
上記処理により、水平方向連続性検出部232で取得された水平方向の連続性の検出結果画像は、物体領域検出部24に出力される。なお、水平方向連続性検出部232は、水平方向の連続性を検出した画像領域に含まれる画素値、あるいは、当該画像領域の画素値の積分値(積算値)等を物体領域検出部24に出力するようにしてもよい。
物体領域検出部24では、入力された水平方向の連続性の検出結果画像に基づいて、物体の輪郭を検出(推定)する。物体領域検出部24は、例えば、水平方向に連続性ありと判定された画像領域(水平に細長い画像領域)のそれぞれについて、当該画像領域の最右端点および最左端点を検出し、検出した最右端点および最左端点に基づいて、物体の垂直方向(輪郭検出方向)の輪郭線を推定することで、物体の輪郭を検出(推定)する。
例えば、物体領域検出部24は、以下の(1)〜(5)に示す処理を行い、物体の輪郭を推定する。
(1)物体領域検出部24は、水平方向に連続性ありと判定された画像領域(水平に細長い画像領域)の中で、画素値が大きい画素を多く含み、かつ、水平方向の連続性が高い(水平方向に長く連続している)画像領域を検出する。このようにして検出された画像領域は、垂直方向のエッジ成分が大きく、かつ、水平方向への長く連続しているため、当該画像領域を手掛かりとすることで、物体の輪郭の検出(推定)精度を向上させることができる。
例えば、図9Aに示す画像領域R1およびR2が、この処理((1)の処理)により検出された画像領域である。
(2)物体領域検出部24は、(1)の処理により検出された画像領域の最左端点(水平左方向(X軸負方向)の端点)および最右端点(水平右方向(X軸正方向)の端点)を検出する。
例えば、図9Aでは、画像領域R1の最左端点であるA1点(A1点の画像上の座標を(x_A1,y_A1)とする。)、最右端点であるA2点(A2点の画像上の座標を(x_A2,y_A2)とする。)、および、画像領域R2の最左端点であるB1点(B1点の画像上の座標を(x_B1,y_B1)とする。)、最右端点であるB2点(B2点の画像上の座標を(x_B2,y_B2)とする。)が、この処理((2)の処理)により検出された画像領域の最左端点(水平左方向(X軸負方向)の端点)および最右端点(水平右方向(X軸正方向)の端点)である。
(3)物体領域検出部24は、(2)の処理により検出された最左端点、最右端点の中から、最も左にある点X_min(X座標値が最小値である点)と、最も右にある点X_max(X座標値が最大値である点)と、を検出する。なお、X_min点の画像上の座標を(x_min,y_min)とし、X_max点の画像上の座標を(x_max,y_max)とする。
例えば、図9Aでは、X_min点は、B1点となり、X_max点は、B2点となる。つまり、
x_min=x_B1
x_max=x_B2
となる。
(4)物体領域検出部24は、x_min≦x≦x_max(x:画像上のX座標値)の領域(図9Bの一点鎖線で囲まれた領域(一点鎖線の内側の領域))において、略同一水平ライン(Y座標が同一または一定範囲内に含まれる水平ライン)において、最左端点、および、最右端点を検出する。
なお、物体領域検出部24は、
x_min±E1≦x≦x_max±E2(x:画像上のX座標値)
E1、E2:正の実数
の領域において、略同一水平ライン(Y座標が同一または一定範囲内に含まれる水平ライン)において、最左端点、および、最右端点を検出するようにしてもよい。
また、E1、E2は、
E1=(x_max−x_min)×rate1
E2=(x_max−x_min)×rate2
rate1、rate2:正の実数
により設定される値としてもよい。
(5)物体領域検出部24は、(4)の処理により検出された最左端点同士、最右端点同士を、ぞれぞれ、(Y軸正方向に順番に)結ぶことで、垂直方向の輪郭線を推定する。
なお、このとき、最左端点同士あるいは最右端点同士をそのまま結ぶと、垂直方向の輪郭線が不自然に(極端に)複雑になる点を除外するようにしてもよい。
図9Cに、図7の画像に対して上記処理を行うことで取得した物体の輪郭検出(推定)結果画像を示す。図9Cに示す点線が、物体の垂直方向(輪郭検出方向)の輪郭の検出(推定)結果である。また、図10は、図9Cの物体の輪郭検出(推定)結果を、入力画像に重畳させた画像である。図9Cおよび図10から分かるように、物体の垂直方向(輪郭検出方向)の輪郭が適切に検出(推定)されている。
以上のように、物体検出装置2では、画像上の輪郭検出方向(図6の場合の垂直方向)における画素値の変化量(輪郭検出方向のエッジ成分量)を検出し、輪郭検出方向と直交する方向(図6の場合の水平方向)において、輪郭検出方向のエッジ成分量が大きい画素が連続している画像領域を特定(検出)する。そして、物体検出装置2では、この検出した画像領域に基づいて、物体の輪郭検出方向の輪郭を検出(推定)する。したがって、物体検出装置2では、所定の方向(例えば、輪郭検出方向と直交する方向(図6の場合の水平方向))におけるコントラスト差(輝度差)の変化が少なく、上記所定の方向と直交する方向(輪郭検出方向(図6の場合の垂直方向))における輪郭を適切に検出(推定)することが困難な画像であっても、上記処理により、適切に物体の輪郭を検出(推定)することができる。
特に、物体検出装置2での検出対象が車両である場合、上記処理により物体の輪郭を検出(推定)する方法が有効である。通常、車両には、水平方向の線が多く含まれる(例えば、車両のバンパー、リヤウインドウ、リアパネル、トランク、リアドア等の部分や、車体の上端・下端において、水平方向の線が多く含まれる)ので、物体検出装置2において、上記処理のより、検出対象(車両)の水平方向の連続性を適切に検出することができる。その結果、物体検出装置2では、対象物(車両)の存在する画像上の領域(例えば、対象物の水平幅、水平方向の領域)を適切に検出することができる(物体の輪郭を適切に検出(推定)することができる)。
なお、車両以外にも水平方向の線を多く含む物体(長細い輪郭を多く含む物体)、例えば、列車、家具、建物、工場の機械等を、物体検出装置2での検出対象とする場合も、物体検出装置2では、車両を検出対象とする場合と同様に、上記処理により、適切に物体の輪郭を検出(推定)することができる。
≪第1変形例≫
次に、本実施形態の第1変形例について説明する。
本変形例の物体検出システムは、第1実施形態の物体検出システム1000と構成は同様である。本変形例の物体検出システムでは、垂直方向エッジ抽出フィルタ231での処理内容が、第1実施形態の物体検出システム1000とは相違する。それ以外については、本変形例の物体検出システムは、第1実施形態の物体検出システム1000と同様であるので、詳細な説明を省略する。
本変形例の物体検出システムの垂直方向エッジ抽出フィルタ231では、入力画像に対して、(数式4)のフィルタ演算子(コンボリューション行列)F1のみによる処理が実行される。そして、本変形例の垂直方向エッジ抽出フィルタ231は、
Dout(x1,y1)=F1(x1,y1)
に相当する処理を実行する。なお、Dout(x1,y1)の値が所定の範囲の値(例えば、8ビットデータの取り得る範囲(0〜255))となるように、当該所定の範囲を超える値については、上限値または下限値でクリップ処理を行うようにしてもよい。
そして、垂直方向エッジ抽出フィルタ231は、取得したDout(x1,y1)を座標位置(x1,y1)の画素値とする画像を取得する。図11に、図6の画像(入力画像)に対して上記処理を行うことで取得した垂直方向エッジ成分抽出画像を示す。
また、図12に、図11の画像に対して、水平方向連続性検出部232による処理が実行された後の画像を示す。図13に、図12の画像に対して、物体領域検出部24による処理が実行された後の画像を示す。また、図14に、図13の物体の輪郭検出(推定)結果を、入力画像に重畳させた画像を示す。図13および図14から分かるように、物体の垂直方向(輪郭検出方向)の輪郭が適切に検出(推定)されている。
以上のように、本変形例の物体検出システムでは、垂直方向エッジ抽出フィルタ231が、フィルタ演算子F1によるフィルタ処理を実行する。フィルタ演算子F1(上記(数式4)のコンボリューション行列によるフィルタ演算子F1)は、画像のY軸方向(図11〜図14等に示すY軸方向)の正方向に進むにしたがって、画素値が大きく減少する画像領域を適切に抽出することができる。例えば、道路を走行する車両を被写体とする画像を入力画像とする場合、当該画像において、車両本体の画像領域は比較的明るく、タイヤ部分の領域は比較的暗くなりやすい。そのため、フィルタ演算子F1による処理を行うことで、道路を走行する車両の下部(車両本体とタイヤ部分の領域)の垂直方向のエッジ成分を適切に検出することができる。その結果、本変形例の物体検出システムでは、例えば、道路を走行する車両を被写体とする画像を入力画像とする場合等においてフィルタ処理を簡略化することができるとともに、所定の方向(例えば、輪郭検出方向と直交する方向(図6の場合の水平方向))におけるコントラスト差(輝度差)の変化が少なく、上記所定の方向と直交する方向(輪郭検出方向(図6の場合の垂直方向))における輪郭を適切に検出(推定)することが困難な画像であっても、上記処理により、適切に物体の輪郭を検出(推定)することができる。
≪第2変形例≫
次に、本実施形態の第2変形例について説明する。
本変形例の物体検出システムは、第1実施形態の物体検出システム1000において、フィルタ処理部23を、図5に示すフィルタ処理部23Aに置換した構成を有している。それ以外については、本変形例の物体検出システムは、第1実施形態の物体検出システム1000は同様である。以下では、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の物体検出システムのフィルタ処理部23Aは、図5に示すように、垂直方向エッジ抽出フィルタ231と、水平方向連続性検出部232Aと、中心軸検出部233とを備える。
垂直方向エッジ抽出フィルタ231は、上記実施形態と同様のものである。
中心軸検出部233は、画像方向調整部22から出力される画像を入力する。中心軸検出部233は、入力された画像から、対称性の高い物体を検出し、検出した物体の中心軸(対称軸(輪郭検出方向と略平行な軸))を検出する。そして、中心軸検出部233は、検出した対称性の高い物体の中心軸(対称軸)についての情報を水平方向連続性検出部232Aに出力する。なお、中心軸検出部233は、例えば、特願2012−229095号に開示されている技術により、対称性の高い物体の中心軸(対称軸)を検出する。
水平方向連続性検出部232Aは、垂直方向エッジ抽出フィルタ231から出力される画像と、中心軸検出部233から出力される対称性の高い物体の中心軸(対称軸)に関する情報とを入力する。そして、水平方向連続性検出部232Aは、上記中心軸から水平方向の連続性を判定(検出)する。具体的な処理について、図15を用いて説明する。図15は、垂直方向エッジ抽出フィルタ231に取得された画像に、中心軸検出部233により検出された中心軸C1を重ねて表示した画像である。
(第1の方法):
水平方向連続性検出部232Aは、中心軸C1から、水平方向右方向(X軸正方向)および水平方向左方向(X軸負方向)のそれぞれの方向に、画素値をトレースする。そして、水平方向連続性検出部232Aは、中心軸C1から、水平方向右方向(X軸正方向)にトレースしている画素の画素値がTH1以上である場合、当該画素の画素値を、例えば、「1」(画素値の取り得る範囲の上限値(8ビットデータ(0〜255)の場合、「255」))にする。この処理を、中心軸C1から、水平方向右方向(X軸正方向)にトレースしている画素の画素値がTH1未満になるまで繰り返し実行する。上記処理を中心軸C1の全ての点をトレースの起点として繰り返し実行する。
同様に、水平方向連続性検出部232Aは、中心軸C1から、水平方向左方向(X軸負方向)にトレースしている画素の画素値がTH1以上である場合、当該画素の画素値を、例えば、「1」(画素値の取り得る範囲の上限値(8ビットデータ(0〜255)の場合、「255」))にする。この処理を、中心軸C1から、水平方向左方向(X軸負方向)にトレースしている画素の画素値がTH1未満になるまで繰り返し実行する。上記処理を中心軸C1の全ての点をトレースの起点として繰り返し実行する。
なお、トレースする方向は、厳密な水平方向だけでなく、水平方向から所定の角度をなす方向を許容するものとする(略水平とみなせる範囲の方向を含むものとする)。
(第2の方法):
また、水平方向連続性検出部232Aは、以下の方法により水平方向の連続性を検出するようにしてもよい。
水平方向連続性検出部232Aは、中心軸C1から、水平方向右方向(X軸正方向)および水平方向左方向(X軸負方向)のそれぞれの方向に、画素値をトレースする。そして、水平方向連続性検出部232Aは、中心軸C1から、水平方向右方向(X軸正方向)にトレースしている画素の画素値と隣接する画素の画素値との差(トレース方向において隣接する2つの画素の画素値の差)がTH3以下である場合、当該画素の画素値を、例えば、「1」(画素値の取り得る範囲の上限値(8ビットデータ(0〜255)の場合、「255」))にする。この処理を、中心軸C1から、水平方向右方向(X軸正方向)にトレースしている画素においてトレース方向に隣接する画素との画素値の差がTH3を超えるまで繰り返し実行する。上記処理を中心軸C1の全ての点をトレースの起点として繰り返し実行する。
同様に、水平方向連続性検出部232Aは、中心軸C1から、水平方向左方向(X軸負方向)にトレースしている画素の画素値と隣接する画素の画素値との差(トレース方向において隣接する2つの画素の画素値の差)がTH3以下である場合、当該画素の画素値を、例えば、「1」(画素値の取り得る範囲の上限値(8ビットデータ(0〜255)の場合、「255」))にする。この処理を、中心軸C1から、水平方向左方向(X軸負方向)にトレースしている画素においてトレース方向に隣接する画素との画素値がTH3を超えるまで繰り返し実行する。上記処理を中心軸C1の全ての点をトレースの起点として繰り返し実行する。
なお、トレースする方向は、厳密な水平方向だけでなく、水平方向から所定の角度をなす方向を許容するものとする(略水平とみなせる範囲の方向を含むものとする)。
図16に、以上の処理により検出された水平方向の連続性(垂直方向のエッジ成分量が大きい画素の水平方向への連続性)の検出結果画像を示す。
また、図17に、図16の検出結果画像に対して、物体領域検出部24による処理が実行された後の画像を示す。
図17から分かるように、本変形例の物体検出システムでは、図6のような車両を被写体とする画像を入力画像とすると、左右対称である物体(車両)の水平方向の最大輪郭幅(車幅に相当)を適切に検出することができる。
つまり、本変形例の物体検出システムでは、輪郭検出方向と直交する方向(図6の場合の水平方向)に対称性の高い物体の中心軸(輪郭検出方向と平行な軸(対称軸))を検出し、検出した中心軸(対称軸)に基づいて、物体検出処理を行う。したがって、所定の方向(例えば、輪郭検出方向と直交する方向(図6の場合の水平方向))におけるコントラスト差(輝度差)の変化が少なく、上記所定の方向と直交する方向(輪郭検出方向(図6の場合の垂直方向))における輪郭を適切に検出(推定)することが困難な画像であっても、上記処理により、適切に物体の輪郭を検出(推定)することができ、特に、対称性の高い物体の最大幅(輪郭検出方向と直交する方向の最大幅)を精度良く検出することができる。
[第2実施形態]
次に、第2実施形態について、説明する。
図18は、第2実施形態の物体検出システム2000の概略構成図である。
本実施形態の物体検出システム2000は、図18に示すように、第1実施形態の物体検出システム1000において、物体検出装置2を物体検出装置2Aに置換した構成を有している。つまり、本実施形態の物体検出システム2000は、図18に示すように、第1実施形態の物体検出システム1000において、検出対象領域特定部25を追加し、さらに、物体領域検出部24を物体領域検出部24Aに置換した構成を有している。それ以外については、本実施形態の物体検出システム2000は、第1実施形態の物体検出システム1000は同様である。以下では、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本実施形態の物体検出システム2000は、例えば、車両に搭載される。物体検出システム2000の撮像部1は、例えば、車両の前部に装備され、車両の前方の画像(シーン)を撮像する。あるいは、物体検出システム2000の撮像部1は、車両の後部に装備され、車両の後方の画像(シーン)を撮像する。
本実施形態の物体検出システム2000では、例えば、道路等を走行する自動車等を検出対象とする。以下では、物体検出システム2000において、道路を走行する前方の車両(自動車等)を検出対象とする場合を一例として説明する。
検出対象領域特定部25は、画像方向調整部22から出力される画像(画像信号)を入力する。また、検出対象領域特定部25には、撮像部1が設置されている位置に関する情報(カメラ設置位置(撮像部の設置位置)に関する情報)と、撮像部1の画角(あるいは焦点距離)に関する情報とが入力される。
検出対象領域特定部25は、入力された撮像部1の設置位置と、画角(あるいは焦点距離)に関する情報とに基づいて、前方の車両が存在しうる画像領域を特定する。具体的には、検出対象領域特定部25は、入力画像に対して、ハフ変換を行い、消失点を求める。道路を走行する車両の大きさは大体想定できるので、検出対象領域特定部25は、車両の大きさの上限を考慮して、画像上の消失点と画角との関係から、前方の自動車(車両)が存在しうる画像領域を特定する。そして、検出対象領域特定部25は、特定した画像領域(以下、「処理対象画像領域」という。)に関する情報を物体領域検出部24Aに出力する。
なお、検出対象領域特定部25は、入力された画像から道路の白線を検出し、検出した白線の位置も考慮に入れて、前方の自動車(車両)が存在しうる画像領域を特定するようにしてもよい。白線検出処理としては、例えば、特開平2002−175534号に開示されている内容の処理を行うようにしてもよい。
物体領域検出部24Aは、フィルタ処理部23から出力される画像と、検出対象領域特定部25から出力される処理対象画像領域に関する情報とを入力する。物体領域検出部24Aは、処理対象画像領域においてのみ、第1実施形態と同様の処理を実行する。これにより、物体領域検出処理を、前方を走行する車両等のみに対して、実行することが可能となる。
以上のように、物体検出システム2000では、例えば、前方を走行する車両等を撮像した画像を入力画像とし、検出しようとする対象を車両等とする場合、効率良く物体検出処理(輪郭推定処理)を実行することができる。
[第3実施形態]
次に、第3実施形態について、説明する。
図19は、第3実施形態の物体検出システム3000の概略構成図である。
本実施形態の物体検出システム3000は、図19に示すように、第1実施形態の物体検出システム1000において、物体検出装置2を物体検出装置2Bに置換した構成を有している。つまり、本実施形態の物体検出システム3000は、図19に示すように、第1実施形態の物体検出システム1000において、輪郭抽出部26を追加し、さらに、物体領域検出部24を物体領域検出部24Bに置換した構成を有している。それ以外については、本実施形態の物体検出システム2000は、第1実施形態の物体検出システム1000は同様である。以下では、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
輪郭抽出部26は、画像方向調整部22から出力される画像(画像信号)を入力する。輪郭抽出部26は、例えば、Sobelフィルタ等を用いてエッジ抽出処理を実行し、エッジ成分抽出画像を取得する。そして、輪郭抽出部26は、取得したエッジ成分抽出画像を物体領域検出部24Bに出力する。なお、輪郭抽出部26は、水平方向のエッジ成分を抽出するフィルタ(水平方向微分フィルタ)を用いて、エッジ抽出処理を実行するものであってもよい。
物体領域検出部24Bは、フィルタ処理部23から出力される画像(水平方向の連続性の検出結果画像)と、輪郭抽出部26から出力されるエッジ成分抽出画像とを入力する。物体領域検出部24Bは、エッジ成分抽出画像において輪郭成分を明瞭に判別できる部分については、エッジ成分抽出画像を優先して物体の輪郭と判定し、エッジ成分抽出画像において輪郭成分を明瞭に判別できない部分については、フィルタ処理部23から出力される画像(水平方向の連続性の検出結果画像)に基づいて、物体の輪郭を検出(推定)する。
このように、物体検出システム3000では、一般的に用いられるエッジ抽出処理(例えば、Sobelフィルタや水平方向微分フィルタ等による処理)で輪郭を検出できる部分(画像領域)については、(1)当該エッジ抽出処理により検出された輪郭を採用し、(2)一般的に用いられるエッジ抽出処理では輪郭を検出することが困難な部分(画像領域)については、第1実施形態と同様の処理により輪郭を検出(推定)する。
これにより、物体検出システム3000では、あらゆる画像に対して、適切に輪郭を検出(推定)することができる。
[他の実施形態]
上記実施形態および変形例の一部または全部を組み合わせて、物体検出システムを構成するようにしてもよい。
また、上記実施形態では、輝度画像を入力画像とする場合について説明したが、これに限定されることはない。例えば、特定の色情報、例えば、RGB色空間やYCbCr色空間の特定の色成分信号(特定の色成分画像)により、上記実施形態の処理を実行するようにしてもよい。さらに、輝度信号(輝度画像)と特定の色成分信号(色成分信号)とを用いて、上記実施形態の処理を行うようにしてもよい。また、RGB色空間やYCbCr色空間で規定される3次元ベクトルを用いて、上記実施形態と同様の考え方の処理を実行することで、物体の輪郭を検出(推定)するようにしてもよい。
また、輪郭検出方向の設定については、ユーザが入力するようにしてもよいし、例えば、物体検出装置が車両に搭載される場合は、搭載されている撮像部(カメラ)の位置、角度等に基づいて、自動的に設定されるものであってもよい。例えば、輪郭検出方向のデフォルト方向を鉛直方向とし、車両が走行している道路面の傾きを検知した場合、当該傾きに応じて輪郭検出方向を修正するようにしてもよい。また、ハフ変換等を用いて、画像上の消失点を検出し、車両が走行している道路面(水平面)との関係から、道路面(水平面)に直交する方向を特定し、特定した方向を、輪郭検出方向のデフォルト値(デフォルトの方向)として、画像方向調整部に入力するようにしてもよい。
また、上記実施形態において、画像上の水平方向および垂直方向を入れ替えて(逆にして)処理を行うようにしてもよい。例えば、画像方向調整部22において、上記実施形態で示した例と、水平方向と垂直方向とが逆になるように、画像の回転角度を設定し、画像回転処理後の画像に対して、上記実施形態で示した処理を実行するようにしてもよい。つまり、検出対象の性質(例えば、検出対象の形状と特徴等)に応じて、物体検出装置による処理での検出精度が上がるように、画像方向調整部22において、画像の回転角度を設定し、画像回転処理後の画像に対して、上記実施形態で示した処理を実行するようにしてもよい。
また、上記実施形態の物体検出システム、物体検出装置の一部または全部は、集積回路(例えば、LSI、システムLSI等)として実現されるものであってもよい。
上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る物体検出システム、物体検出装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
1000、2000、3000 物体検出システム
2、2A、2B 物体検出装置
23 フィルタ処理部
24 物体領域検出部
231 垂直方向エッジ抽出フィルタ(第1方向輪郭成分抽出部)
232 水平方向連続性検出部(第2方向連続性検出部)
233 中心軸検出部
26 輪郭抽出部

Claims (8)

  1. 入力画像に対して、画像上の第1方向の輪郭成分を抽出する第1方向輪郭成分抽出部と、
    第1方向輪郭成分抽出部により抽出された輪郭成分の前記第1方向と直交する第2方向における連続性を検出する第2方向連続性検出部と、
    前記第2方向連続性検出部により検出された、前記輪郭成分の前記第2方向における連続性に基づいて、画像上の物体の輪郭を検出する物体領域検出部と、
    前記画像の輪郭成分を抽出する輪郭抽出部と、
    備え、
    前記物体領域検出部は、
    (1)前記輪郭抽出部により輪郭成分が抽出された画像領域については、当該輪郭成分に基づいて、前記物体の輪郭を検出し、
    (2)前記輪郭抽出部により輪郭成分が抽出することができない画像領域については、前記第2方向連続性検出部により検出された、前記輪郭成分の前記第2方向における連続性に基づいて、前記第2方向において連続性がある画像領域を第1画像領域として特定し、前記第1画像領域の最右端点および最左端点を検出し、検出した前記最右端点および前記最左端点に基づいて、前記物体の前記第1方向の輪郭線を推定することで前記物体の輪郭を検出する、
    物体検出装置。
  2. 前記画像に含まれ、前記第1方向と平行な対称軸を有する略線対称な物体の前記対称軸を検出する中心軸検出部をさらに備え、
    前記第2方向連続性検出部は、前記中心軸検出部が検出した前記対称軸に基づいて、前記輪郭成分の前記第2方向における連続性を検出する、
    請求項1に記載の物体検出装置。
  3. 前記第1方向は、画像上の垂直方向であり、
    前記第2方向は、画像上の水平方向である、
    請求項1または2に記載の物体検出装置。
  4. 前記第1方向輪郭成分抽出部は、画像上の垂直方向における変化量を取得することにより、前記第1方向の輪郭成分を抽出する、
    請求項に記載の物体検出装置。
  5. 前記第1方向輪郭成分抽出部は、
    前記入力画像の画像上の座標位置(x1,y1)の画素に対して、
    なるフィルタ演算子F1により取得した値F1(x1,y1)と、
    なるフィルタ演算子F2により取得した値F2(x1,y1)と、を用いて、
    Fc1(x1,y1)=clip(F1(x1,y1),d0)
    Fc2(x1,y1)=clip(F2(x1,y1),d0)
    Dout(x1,y1)=k1×(Fc1(x1,y1)+Fc2(x1,y1))
    d0:定数
    k1:係数
    clip(x,d):x<dならば、clip(x,d)=d、x≧dならば、clip(x,d0)=xとなる関数
    または、
    Dout(x1,y1)=max(k2×F1(x1,y1),k2×F2(x1,y1))
    max():要素の最大値をとる関数
    k2:係数
    により取得した値Dout(x1,y1)またはDout(x1,y1)が取り得る範囲の上限値または下限値でクリップ処理した値を、画像上の座標位置(x1,y1)の画素の画素値とすることで、画像上の第1方向の輪郭成分抽出画像を取得する、
    請求項に記載の物体検出装置。
  6. 前記第1方向輪郭成分抽出部は、
    前記入力画像の画像上の座標位置(x1,y1)の画素に対して、
    なるフィルタ演算子F1により取得した値F1(x1,y1)を用いて、
    Dout(x1,y1)=k1×F1(x1,y1)
    k1:係数
    により取得した値Dout(x1,y1)またはDout(x1,y1)が取り得る範囲の上限値または下限値でクリップ処理した値を、画像上の座標位置(x1,y1)の画素の画素値とすることで、画像上の第1方向の輪郭成分抽出画像を取得する、
    請求項に記載の物体検出装置。
  7. 入力画像に対して、画像上の第1方向の輪郭成分を抽出する第1方向輪郭成分抽出ステップと、
    第1方向輪郭成分抽出ステップにより抽出された輪郭成分の前記第1方向と直交する画像上の方向である第2方向における連続性を検出する第2方向連続性検出ステップと、
    前記第2方向連続性検出ステップにより検出された、前記輪郭成分の前記第2方向における連続性に基づいて、画像上の物体の輪郭を検出する物体領域検出ステップと、
    前記画像の輪郭成分を抽出する輪郭抽出ステップと、
    備え、
    前記物体領域検出ステップは、
    (1)前記輪郭抽出ステップにより輪郭成分が抽出された画像領域については、当該輪郭成分に基づいて、前記物体の輪郭を検出し、
    (2)前記輪郭抽出ステップにより輪郭成分が抽出することができない画像領域については、前記第2方向連続性検出ステップにより検出された、前記輪郭成分の前記第2方向における連続性に基づいて、前記第2方向において連続性がある画像領域を第1画像領域として特定し、前記第1画像領域の最右端点および最左端点を検出し、検出した前記最右端点および前記最左端点に基づいて、前記物体の前記第1方向の輪郭線を推定することで前記物体の輪郭を検出する、
    物体検出方法をコンピュータに実行させるプログラム。
  8. 入力画像に対して、画像上の第1方向の輪郭成分を抽出する第1方向輪郭成分抽出部と、
    第1方向輪郭成分抽出部により抽出された輪郭成分の前記第1方向と直交する画像上の方向である第2方向における連続性を検出する第2方向連続性検出部と、
    前記第2方向連続性検出部により検出された、前記輪郭成分の前記第2方向における連続性に基づいて、画像上の物体の輪郭を検出する物体領域検出部と、
    前記画像の輪郭成分を抽出する輪郭抽出部と、
    備え、
    前記物体領域検出部は、
    (1)前記輪郭抽出部により輪郭成分が抽出された画像領域については、当該輪郭成分に基づいて、前記物体の輪郭を検出し、
    (2)前記輪郭抽出部により輪郭成分が抽出することができない画像領域については、前記第2方向連続性検出部により検出された、前記輪郭成分の前記第2方向における連続性に基づいて、前記第2方向において連続性がある画像領域を第1画像領域として特定し、前記第1画像領域の最右端点および最左端点を検出し、検出した前記最右端点および前記最左端点に基づいて、前記物体の前記第1方向の輪郭線を推定することで前記物体の輪郭を検出する、
    集積回路。
JP2013023077A 2013-02-08 2013-02-08 物体検出装置、プログラムおよび集積回路 Expired - Fee Related JP6169366B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013023077A JP6169366B2 (ja) 2013-02-08 2013-02-08 物体検出装置、プログラムおよび集積回路
US14/157,929 US9189701B2 (en) 2013-02-08 2014-01-17 Object detection apparatus, object detection method, storage medium, and integrated circuit
EP14152665.7A EP2765532A3 (en) 2013-02-08 2014-01-27 Object detection apparatus, program, and integrated circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013023077A JP6169366B2 (ja) 2013-02-08 2013-02-08 物体検出装置、プログラムおよび集積回路

Publications (2)

Publication Number Publication Date
JP2014153914A JP2014153914A (ja) 2014-08-25
JP6169366B2 true JP6169366B2 (ja) 2017-07-26

Family

ID=50064399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013023077A Expired - Fee Related JP6169366B2 (ja) 2013-02-08 2013-02-08 物体検出装置、プログラムおよび集積回路

Country Status (3)

Country Link
US (1) US9189701B2 (ja)
EP (1) EP2765532A3 (ja)
JP (1) JP6169366B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6543050B2 (ja) * 2015-03-06 2019-07-10 株式会社デンソーテン 障害物検出装置および障害物検出方法
JP6606369B2 (ja) 2015-07-21 2019-11-13 株式会社Soken 物体検出装置及び物体検出方法
CN110569865B (zh) * 2019-02-01 2020-07-17 阿里巴巴集团控股有限公司 识别车体方向的方法和装置
JP7390743B2 (ja) * 2022-01-05 2023-12-04 株式会社 Sai 物体測定装置及び物体測定方法
JP7214024B1 (ja) 2022-03-09 2023-01-27 三菱電機株式会社 物体位置検出装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3026592B2 (ja) * 1990-10-22 2000-03-27 キヤノン株式会社 輪郭抽出方法及びその装置
DE69232403T2 (de) * 1991-08-06 2002-08-22 Canon K.K., Tokio/Tokyo Dreidimensionales Modellverarbeitungsverfahren und -gerät
US5740274A (en) * 1991-09-12 1998-04-14 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
JP2718391B2 (ja) * 1995-02-20 1998-02-25 日本電気株式会社 線対称図形整形装置
US6567571B1 (en) * 1998-06-24 2003-05-20 Canon Kabushiki Kaisha Image sensing device capable of outputting image signals by blocks and processing circuit which processes image signals by blocks
JP2000069368A (ja) * 1998-08-21 2000-03-03 Sony Corp 輪郭画像生成装置及び方法、キー信号生成装置及び方法並びに記録媒体
JP2001188910A (ja) * 1999-10-22 2001-07-10 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP2002008186A (ja) * 2000-06-23 2002-01-11 Mitsubishi Heavy Ind Ltd 車種識別装置
JP3589293B2 (ja) 2000-12-06 2004-11-17 住友電気工業株式会社 道路の白線検出方法
JP4580117B2 (ja) * 2001-03-23 2010-11-10 名古屋電機工業株式会社 駐車車両の検出装置
US6937765B2 (en) * 2003-03-14 2005-08-30 The Regents Of The University Of California Method for contour extraction for object representation
US7403659B2 (en) * 2003-08-28 2008-07-22 Sarnoff Corporation Method and apparatus for differentiating pedestrians, vehicles, and other objects
JP3956926B2 (ja) * 2003-09-24 2007-08-08 アイシン精機株式会社 路面走行レーン検出装置
JP2005149250A (ja) * 2003-11-18 2005-06-09 Daihatsu Motor Co Ltd 車両検出方法及び車両検出装置
US7672514B2 (en) * 2004-03-02 2010-03-02 Sarnoff Corporation Method and apparatus for differentiating pedestrians, vehicles, and other objects
US7668376B2 (en) * 2004-06-30 2010-02-23 National Instruments Corporation Shape feature extraction and classification
CN101116106B (zh) * 2005-02-23 2011-11-09 富士通株式会社 图像处理方法、图像处理装置以及图像处理系统
CN101029824B (zh) * 2006-02-28 2011-10-26 东软集团股份有限公司 基于车辆特征的车辆定位方法和装置
KR20070118755A (ko) * 2006-06-13 2007-12-18 삼성전자주식회사 의사 윤곽 제거 방법 및 그 장치
JP2008009549A (ja) 2006-06-27 2008-01-17 Yamaguchi Univ 画像処理方法、画像処理装置及び画像処理プログラム
JP2008072696A (ja) * 2006-08-14 2008-03-27 Seiko Epson Corp 合焦情報の視覚化装置、その方法、プログラム及び記録媒体
JP2009163504A (ja) * 2008-01-07 2009-07-23 Panasonic Corp 画像変形方法等
JP4941843B2 (ja) * 2008-02-28 2012-05-30 日本電気株式会社 路面標示画像処理装置、路面標示画像処理方法並びに路面標示画像処理プログラム
JP4586893B2 (ja) * 2008-06-13 2010-11-24 ソニー株式会社 信号処理装置および方法、並びにプログラム
US8125544B2 (en) * 2008-09-02 2012-02-28 Casio Computer Co., Ltd. Image processing apparatus for extracting quadrangle area in image
JP5401257B2 (ja) * 2009-10-23 2014-01-29 クラリオン株式会社 遠赤外線歩行者検知装置
US8159600B2 (en) * 2009-12-07 2012-04-17 Hiok Nam Tay Auto-focus image system
JP5753794B2 (ja) * 2010-01-07 2015-07-22 株式会社日立メディコ 医用画像診断装置と医用画像の輪郭抽出処理方法
JP5683888B2 (ja) * 2010-09-29 2015-03-11 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5820257B2 (ja) * 2011-02-18 2015-11-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5594223B2 (ja) 2011-04-27 2014-09-24 株式会社ダイフク ピッキング設備
JP5826001B2 (ja) * 2011-11-30 2015-12-02 キヤノン株式会社 画像処理装置、及びその制御方法
US8630504B2 (en) * 2012-01-16 2014-01-14 Hiok Nam Tay Auto-focus image system

Also Published As

Publication number Publication date
US9189701B2 (en) 2015-11-17
JP2014153914A (ja) 2014-08-25
US20140226908A1 (en) 2014-08-14
EP2765532A2 (en) 2014-08-13
EP2765532A3 (en) 2017-05-24

Similar Documents

Publication Publication Date Title
JP6169366B2 (ja) 物体検出装置、プログラムおよび集積回路
US8077204B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
CN110675346A (zh) 适用于Kinect的图像采集与深度图增强方法及装置
JP6497162B2 (ja) 画像処理装置および画像処理方法
JP6194604B2 (ja) 認識装置、車両及びコンピュータが実行可能なプログラム
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
RU2012145349A (ru) Способ и устройство обработки изображений для устранения артефактов глубины
CN110659547B (zh) 物体识别方法、装置、车辆和计算机可读存储介质
JP5325800B2 (ja) 画像処理装置、画像撮影装置、画像表示装置、およびプログラム
EP3545464A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
CN103914810A (zh) 用于动态后视镜的图像超分辨率
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
CN107360354B (zh) 拍照方法、装置、移动终端和计算机可读存储介质
JP6907513B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
WO2019156072A1 (ja) 姿勢推定装置
KR101402089B1 (ko) 장애물 검출 장치 및 방법
CN112435278B (zh) 一种基于动态目标检测的视觉slam方法及装置
JP6844223B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
JP5541099B2 (ja) 道路区画線認識装置
JP2007189432A (ja) 車両用撮像装置
JP6140478B2 (ja) 物体検出装置、プログラムおよび集積回路
JP2018147241A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2008108118A (ja) 画像処理装置
JP2018146495A (ja) 物体検出装置、物体検出方法、物体検出プログラム、撮像装置、及び、機器制御システム
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170525

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170628

R150 Certificate of patent or registration of utility model

Ref document number: 6169366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees