JP6570219B2 - Object detection device - Google Patents
Object detection device Download PDFInfo
- Publication number
- JP6570219B2 JP6570219B2 JP2014134873A JP2014134873A JP6570219B2 JP 6570219 B2 JP6570219 B2 JP 6570219B2 JP 2014134873 A JP2014134873 A JP 2014134873A JP 2014134873 A JP2014134873 A JP 2014134873A JP 6570219 B2 JP6570219 B2 JP 6570219B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- linear component
- component
- unit
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、画像処理によって画像から特徴量を抽出し、抽出された特徴量に基づいて画像上での物体検出を行う物体検出装置に関する。 The present invention relates to an object detection apparatus that extracts a feature amount from an image by image processing and detects an object on the image based on the extracted feature amount.
従来、例えばHOG特徴量を利用するもののように、画像の局所的な領域においてエッジの方向と強さを特徴量として抽出し、人や物の検出を行う技術(特許文献1参照)が知られている。 2. Description of the Related Art Conventionally, for example, a technique for detecting a person or an object by extracting the edge direction and strength as a feature amount in a local region of an image, such as using an HOG feature amount (see Patent Document 1). ing.
例えばHOG特徴量を利用して人の検出を行う場合、人の持つ特徴としては縦方向のエッジ成分が多くなるので、縦方向のエッジ成分の抽出が重要となる。しかしながら、人の画像以外に画像として一緒に映っている柱などの構造物の画像についても、同様に縦方向のエッジが多く、画像の局所的な領域で成分を抽出する場合では、人体の成分と柱などの構造物の成分とを間違える可能性が非常に高かった。 For example, when human detection is performed using the HOG feature value, the vertical edge component is important because human vertical features include many vertical edge components. However, for images of structures such as pillars that are shown together as images in addition to human images, there are many vertical edges in the same way, and when extracting components in local areas of the image, human body components There was a very high possibility that the components of structures such as pillars would be mistaken.
本発明は上記した点に鑑みてなされたものであり、目的とする物体(人体を含む)についての画像検出において、画像から抽出される目的物体に関する情報と目的以外の物体に関する情報との混同を抑制して、確実な目的物体についての画像としての検出を可能とする物体検出装置を提供することを目的とする。 The present invention has been made in view of the above points, and in image detection of a target object (including a human body), confusion between information related to a target object extracted from an image and information related to an object other than the target is made. It is an object of the present invention to provide an object detection apparatus that can suppress and detect a certain target object as an image.
上記目的を達成するための物体検出装置は、検出対象の画像から直線成分を検出する直線成分検出部と、直線成分検出部で検出された直線成分のうち、時間差のある画像に基づいて除去すべき直線成分を決定する直線成分除去部と、直線成分除去部において除去されずに残った直線成分に基づいて特徴量を算出する特徴量算出部と、特徴量算出部での算出結果から物体の検出処理を行う検出処理部とを備える。
An object detection apparatus for achieving the above object removes a linear component detection unit that detects a linear component from an image to be detected and a linear component detected by the linear component detection unit based on an image having a time difference. A linear component removing unit that determines a power linear component, a feature amount calculating unit that calculates a feature amount based on a linear component that remains without being removed by the linear component removing unit, and a calculation result in the feature amount calculating unit A detection processing unit that performs detection processing.
上記物体検出装置では、時間差のある画像に基づいて除去すべき直線成分を決定することで、人体等の目的とする物体についての直線成分とそれ以外の物体についての直線成分とを、直線成分除去部において除去することができる。すなわち、目的物体に関する情報と目的以外の物体に関する情報とを分離し、特徴量算出部での算出において、精度の高い結果が期待でき、目的物体の検出をより確実なものにできる。 In the object detection device, by determining a linear component to be removed based on images having a time difference, the linear component for a target object such as a human body and the linear component for other objects are removed. Can be removed. In other words, information related to the target object and information related to the object other than the target are separated, and a high-precision result can be expected in the calculation by the feature amount calculation unit, and the target object can be detected more reliably.
本発明の具体的な側面では、時間差のある画像として、長時間露光画像を作成する長時間露光画像作成部を備える。この場合、特に目的とする物体が例えば人体等のようにある時間内において移動するものであれば、この情報を動かない物の情報から区別することができる。 In a specific aspect of the present invention, a long-time exposure image creation unit that creates a long-time exposure image as an image having a time difference is provided. In this case, if the target object moves within a certain time, such as a human body, this information can be distinguished from the information of the non-moving object.
本発明の別の具体的な側面では、直線成分除去部は、時間差のある複数の画像間において、位置の変化しない直線成分を除去すべき対象として抽出する。この場合、人体等の目的とする物体以外の物体についての直線成分として、特に位置の変化しない、すなわち動かない物体(静止物体)の直線成分を除去対象として捉えることができる。 In another specific aspect of the present invention, the linear component removal unit extracts a linear component whose position does not change between a plurality of images having a time difference as an object to be removed. In this case, as a linear component for an object other than a target object such as a human body, a linear component of an object that does not change its position, that is, an object that does not move (stationary object) can be regarded as a removal target.
本発明のさらに別の側面では、直線成分検出部で検出された直線成分について、角度情報を抽出し、当該角度情報に基づいて直線成分除去部における処理対象とすべき直線成分の選別を行う角度情報選別部を備える。この場合、直線成分除去部での成分除去の前段階として、成分除去の判断対象となりえないものを予め除去して、直線成分除去部での成分除去の処理量を抑制することができる。 In yet another aspect of the present invention, the angle information is extracted from the straight line component detected by the straight line component detection unit, and the straight line component to be processed in the straight line component removal unit is selected based on the angle information. An information selection unit is provided. In this case, as a pre-stage of component removal in the linear component removal unit, components that cannot be determined as component removal can be removed in advance, and the amount of component removal processed in the linear component removal unit can be suppressed.
本発明のさらに別の側面では、角度情報選別部は、角度について設定された閾値を満たす縦方向の成分を有する直線成分を、直線成分除去部における処理対象の直線成分として抽出する。この場合、例えば人体画像についての検出のように縦方向の直線成分抽出が重要である場合には、予め縦方向に関する直線成分のみを抽出した上で、直線成分除去部での成分除去の処理を行うものとすることができる。 In yet another aspect of the present invention, the angle information selection unit extracts a straight line component having a vertical component that satisfies a threshold set for an angle as a straight line component to be processed in the straight line component removal unit. In this case, for example, when it is important to extract a straight line component in the vertical direction as in the detection of a human body image, only the straight line component in the vertical direction is extracted in advance, and the component removal process is performed by the straight line component removing unit. Can be done.
本発明のさらに別の側面では、直線成分検出部は、線分検出を行うラインセグメントディテクターである。この場合、適切な直線成分の抽出を行うことができる。 In still another aspect of the present invention, the linear component detector is a line segment detector that performs line segment detection. In this case, an appropriate linear component can be extracted.
本発明のさらに別の側面では、特徴量算出部は、特徴量としてHOG特徴量を算出する。この場合、目的物体に関する情報を残し、目的以外の物体に関する情報を除去可能な状態でHOG特徴量を算出することで、精度の高いHOG特徴量の算出が期待でき、目的物体の検出をより確実なものにできる。 In still another aspect of the present invention, the feature amount calculation unit calculates a HOG feature amount as the feature amount. In this case, by calculating the HOG feature value in a state in which the information on the target object is left and the information on the object other than the target can be removed, it is possible to expect the calculation of the HOG feature value with high accuracy, and the target object can be detected more reliably. Can be anything.
図1に示すように、本発明に係る物体検出装置100は、情報処理部80と、撮像装置90とを備える。情報処理部80は、CPU10と、画像情報受付部20と、記憶装置30と、表示装置40、入力装置50、バス70等を備える。
As shown in FIG. 1, the
物体検出装置100は、情報処理部80のCPU10等を動作させて、例えば路上に固定カメラとして設置された撮像装置90により撮像された画像から、目的とする物体についての画像検出を行う装置である。本実施形態では、目的とする物体として人体を捉える場合について説明する。すなわち、本実施形態の物体検出装置100は、処理対象の画像中に人体画像が存在するか否かを判定可能な装置となっており、延いては人体検出を行う装置となっている。また、人体以外の各種物体を検出対象とすれば、物体検出装置100は、物体検出装置として機能することになる。
The
物体検出装置100を構成する情報処理部80のうち、CPU10は、バス70を介して、画像情報受付部20、記憶装置30、表示装置40や入力装置50との間で相互にデータの授受が可能になっている。
Among the
撮像装置90は、例えばCMOS、CCD等からなる固体撮像装置を内蔵するものとすることができ、この固体撮像装置で検出された画像は、例えばデジタル画像信号として情報処理部80に出力される。ここでは、上記のように、例えば、路上に固定的に設置されて路上を通過する人間等を撮像対象とする(例えば図4(A)参照)。
The
情報処理部80は、撮像装置90から送信された画像情報を取得し、取得された撮像画像から、例えば図2(A)に示すように、人間の輪郭部分等に相当する複数の直線成分(線分)L1を撮像画像から抽出し、各直線成分L1の特徴から当該撮像画像の画像部分として人体画像が存するか否かを判定する。
The
以下、図1に戻って、情報処理部80を構成する各部について具体的に説明する。CPU10は、画像処理に関する各種制御を行う。特に、CPU10は、画像情報受付部20により撮像装置90から取り込まれた画像情報を記憶装置30に格納し、記憶装置30に格納された画像情報に基づいて、各種画像処理を行う。すなわち、各種処理のための制御を行う制御部である。特に、本実施形態では、情報処理部80は、撮像装置90で取得された画像情報から直線成分を抽出し、抽出された直線成分の中から特徴量(HOG特徴量)を見出し、特徴量に関して学習アルゴリズムによる学習サンプルの解析等を施すことで、人体画像が存在するか否かを判定するものとなっている。なお、検出手法に関しては、例えばHOG特徴量とBoostingと呼ばれる手法を用いた人検出が知られている。
Hereinafter, referring back to FIG. 1, each unit configuring the
画像情報受付部20は、撮像装置90と有線あるいは無線により交信可能となっており、CPU10の制御に従って、撮像装置90によって取得された画像情報を受け付ける。
The image
記憶装置30は、物体検出装置100を動作させる各種プログラム等を記憶しているプログラム領域を有するプログラム記憶部と、入力指示、入力データ、処理結果等を一時格納するデータ領域を有するデータ記憶部とを備える。すなわち、記憶装置30は、画像情報から直線成分を抽出するためのプログラムや、直線成分から特徴量を算出するためのプログラム等の各種プログラムを含むとともに、各種情報を記憶する。特に、本実施形態では、記憶装置30において、特徴量を算出するに際して対象外とすべきデータを除去するためのプログラムが含まれている。また、特徴量については、局所領域における勾配方向をヒストグラム化した特徴量であるHOG特徴量を算出するプログラムが含まれている。記憶装置30の記憶部等についての詳細は、図3に示すブロック図を参照して後述する。
The
表示装置40は、CPU10から入力されるデータに基づいて駆動信号を生成する表示駆動回路と、表示駆動回路から入力される駆動信号に基づいて必要な表示を行う画像表示部等により構成され、CPU10からの指令信号に基づいて必要な表示を行う。
The
入力装置50は、キーボード等から構成され、物体検出装置100を操作するオペレーターの意思を反映した指令信号をCPU10に出力する。つまり、CPU10は、入力装置50を介したオペレーターの指示に基づいて、記憶装置30から所定のプログラムやデータを読み出し、これらプログラム及びデータに基づく各種処理を実行することができる。
The
ここで、上記のように人体画像であるか否かの検出をする場合には、二次画像において種々の方向に延びる直線成分のうち、縦方向についての直線成分に関して特徴量を算出することが重要であるということが一般的に知られている。例えば図2(A)に示すように、画像P1(画像P1は実際に人体画像)の直線成分L1のうち縦方向についての成分として人体に関するもののみが抽出できれば、その成分についての特徴量を算出することで、画像P1が人体画像であるか否かを推定できる。しかしながら、実際の処理においては、例えば図2(B)に示す画像P2のように、縦方向についての直線成分を含む画像であっても、人体画像でない直線成分LL1も存在する。なお、図2(B)の例では、柱状部分の画像P2から縦方向の直線成分LL1が抽出されている。仮に、このような人体画像でないものについての直線成分LL1のデータと人体画像の直線成分L1のデータとが混在した状態で、特徴量を算出しても、人体画像であるか否かの判別を必ずしも正確に行えるとは限らなくなってしまう。本実施形態では、かかる事態を回避すべく、画像処理において、目的とする物体の画像情報以外の画像情報を予め除去可能とすることで、精度の高い特徴量の算出を行い、延いては確実な目的物体の検出を可能としている。 Here, when detecting whether or not the image is a human body image as described above, it is possible to calculate the feature amount with respect to the linear component in the vertical direction among the linear components extending in various directions in the secondary image. It is generally known that it is important. For example, as shown in FIG. 2A, if only the component relating to the human body can be extracted as the component in the vertical direction from the linear component L1 of the image P1 (the image P1 is actually a human body image), the feature amount for that component is calculated. By doing so, it can be estimated whether the image P1 is a human body image. However, in actual processing, there is a linear component LL1 that is not a human body image even if the image includes a linear component in the vertical direction, such as an image P2 shown in FIG. In the example of FIG. 2B, a vertical linear component LL1 is extracted from the columnar image P2. Even if the feature amount is calculated in a state where the data of the linear component LL1 and the data of the linear component L1 of the human body image are mixed for such a non-human body image, it is determined whether the image is a human body image. It will not always be accurate. In the present embodiment, in order to avoid such a situation, image information other than the image information of the target object can be removed in advance in the image processing, so that the feature amount can be calculated with high accuracy, and surely. Target object can be detected.
以下、図3を参照して、画像処理による物体検出の処理を行うための各種プログラムを記憶し、また、各種データを格納する記憶装置30の構成について説明する。
Hereinafter, the configuration of the
図3は、物体検出装置100を構成する情報処理部80のうち、記憶装置30の構成について概念的に説明するためのブロック図である。図示のように、記憶装置30は、各種プログラムを格納するためのプログラム領域を有するプログラム記憶部PMと、各種データを格納するためのデータ領域を有するデータ記憶部DMとで構成されている。
FIG. 3 is a block diagram for conceptually explaining the configuration of the
記憶装置30の構成要素のうち、プログラム記憶部PMは、撮像画像のキャプチャを行うための画像キャプチャプログラムCPと、生の画像データである撮像画像から直線成分(線分)を抽出するためのラインセグメントプログラムLSと、ラインセグメントプログラムLSで抽出された直線成分に基づいてラインセグメント長時間露光画像(以下、単に長時間露光画像ともいう。)を作成するラインセグメント長時間露光画像作成プログラムLEと、直線成分(線分)のうち長時間露光画像における描画対象となる縦方向の成分を抽出するための抽出線分角度設定プログラムASと、長時間露光画像に基づいて選択された直線成分についての特徴量としてHOG特徴量を算出するためのHOG特徴量算出プログラムFCと、算出されたHOG特徴量に基づいて人体画像の存在を検出する人体画像検出プログラムGDとを有する。
Among the components of the
また、HOG特徴量算出プログラムFCには、HOG特徴量を算出するために必要となる画像勾配算出プログラムSCや、勾配方向ヒストグラム算出プログラムHCのほか、算出において除外すべきデータとなる画像勾配データを削除する画像勾配データ削除プログラムDPが含まれている。 The HOG feature quantity calculation program FC includes image gradient data SC that is necessary for calculating the HOG feature quantity and image gradient data that is data to be excluded in the calculation, in addition to the gradient direction histogram calculation program HC. An image gradient data deletion program DP to be deleted is included.
なお、プログラム記憶部PMは、上記のほかにも画像処理等に際して必要となる種々のプログラムを含んでいるものとする。例えば撮像画像の部分画像を切り取るプログラムやHOG特徴量の算出において必要となる正規化処理のプログラム等種々のプログラムが含まれているものとする。 In addition to the above, the program storage unit PM includes various programs necessary for image processing and the like. For example, it is assumed that various programs such as a program for cutting out a partial image of a captured image and a normalization processing program necessary for calculating the HOG feature value are included.
記憶装置30の構成要素のうち、データ記憶部DMは、画像キャプチャプログラムCPでキャプチャされた撮像画像のデータを格納する撮像画像データ記憶部CDと、ラインセグメントプログラムLSで抽出された直線成分(線分)のデータを記憶する直線成分(線分)データ記憶部LDと、ラインセグメント長時間露光画像作成プログラムLEに基づいて作成された長時間露光画像のデータを記憶するラインセグメント長時間露光画像データ記憶部BDと、HOG特徴量算出プログラムFCで算出される各種データを記憶するHOG特徴量データ記憶部FDと、人体画像検出プログラムGDにおける検出結果を記憶する検出データ記憶部DDとを有する。
Among the components of the
以上のうち、HOG特徴量データ記憶部FDは、HOG特徴量の算出のためのデータとして画像勾配データを記憶する画像勾配データ記憶部SDと、画像勾配データ削除プログラムDPに基づいて取捨選択された結果を記憶する画像勾配データ選択結果記憶部CRと、HOG特徴量を示す勾配方向ヒストグラムのデータを記憶する勾配方向ヒストグラムデータ記憶部HDとを含んでいる。 Among the above, the HOG feature amount data storage unit FD has been selected based on the image gradient data storage unit SD that stores image gradient data as data for calculating the HOG feature amount and the image gradient data deletion program DP. It includes an image gradient data selection result storage unit CR for storing results, and a gradient direction histogram data storage unit HD for storing gradient direction histogram data indicating HOG feature values.
プログラム記憶部PMのうち、画像キャプチャプログラムCPは、例えば図4(A)に示すような撮像画像PAをキャプチャし、その画像データが撮像画像データ記憶部CDに記憶される。 In the program storage unit PM, the image capture program CP captures a captured image PA as shown in FIG. 4A, for example, and the image data is stored in the captured image data storage unit CD.
ラインセグメントプログラムLSは、例えば図4(B)に示す画像PBに見られるような線分(直線成分)を、図4(A)の撮像画像PAから抽出するためのプログラムであり、その線分(直線成分)についてのデータが直線成分(線分)データ記憶部LDに記憶される。言い換えると、CPU10は、ラインセグメントプログラムLSを読み出すことで線分検出を行う直線成分検出部であるラインセグメントディテクターとして機能する。
The line segment program LS is a program for extracting, for example, a line segment (straight line component) as seen in the image PB shown in FIG. 4B from the captured image PA in FIG. Data on (straight line component) is stored in the straight line component (line segment) data storage unit LD. In other words, the
ラインセグメント長時間露光画像作成プログラムLEは、データ記憶部LDに記憶された線分(直線成分)を含む画像であって、互いに時間差のある複数の画像を重ね合せたものによって長時間露光画像(図8参照)を作成するためのプログラムである。つまり、CPU10は、ラインセグメント長時間露光画像作成プログラムLEを読み出して、長時間露光画像作成部として機能する。作成された長時間露光画像は、ラインセグメント長時間露光画像データ記憶部BDに記憶される。なお、長時間露光画像の作成処理について詳しくは、図7等を参照して後述する。
The line segment long-exposure image creation program LE is an image including line segments (straight line components) stored in the data storage unit LD, and is a long-exposure image (by overlapping a plurality of images having a time difference with each other). This is a program for creating (see FIG. 8). That is, the
一般的なHOG特徴量の算出に関しては、例えば上記引用文献1等に詳しくある説明やHOG特徴量に関する既知の文献等での説明を繰り返すことになるため、ここでは詳細な説明を省略するが、例えばHOG特徴量算出プログラムFCのうち、画像勾配算出プログラムSCは、HOG特徴量を算出するために必要となる画像勾配データを算出するものであり、図5(A)に一例を示す矩形領域に分割されたブロック画像G1について各ブロック画像G1を構成する画素PXごとに、輝度の勾配強度m(x,y)や勾配方向θ(x,y)を算出するといった算出の処理がなされる。なお、勾配強度m(x,y)及び勾配方向θ(x,y)の定義は、以下の通りである。
ここで、L(x,y)は、各画素での輝度を示す。また、図5(B)は、上記勾配強度m(x,y)を予め定められた勾配方向にヒストグラム化したものを示す一例である。本実施形態では以上のようなHOG特徴量を算出するために、HOG特徴量算出プログラムFCが画像勾配算出プログラムSC及び勾配方向ヒストグラム算出プログラムHCを有するものとなっている。この上で、さらに、HOG特徴量算出プログラムFCは、算出において除外すべきデータとなる画像勾配データを削除する画像勾配データ削除プログラムDPを含んでいる。具体的には、画像勾配データ削除プログラムDPは、HOG特徴量の算出において、ラインセグメントの長時間露光画像でデータのある部分を削除する処理を行っている。これにより、以外の物体についての直線成分以外の情報についての直線成分に関するデータを除去することになる。つまり、CPU10は、記憶装置30から画像勾配データ削除プログラムを読み出して、除去すべき直線成分を除去することで、直線成分除去部として機能する。
For general calculation of the HOG feature amount, for example, the explanation in detail in the cited
Here, L (x, y) indicates the luminance at each pixel. FIG. 5B is an example showing a histogram of the gradient strength m (x, y) in a predetermined gradient direction. In this embodiment, in order to calculate the HOG feature value as described above, the HOG feature value calculation program FC includes an image gradient calculation program SC and a gradient direction histogram calculation program HC. In addition, the HOG feature amount calculation program FC further includes an image gradient data deletion program DP that deletes image gradient data as data to be excluded in the calculation. Specifically, the image gradient data deletion program DP performs a process of deleting a portion of data in the long exposure image of the line segment in the calculation of the HOG feature amount. As a result, data relating to the straight line component for information other than the straight line component for other objects is removed. That is, the
以下、図6のフローチャート等を参照して、本実施形態の物体検出装置100を用いた人体画像検出の処理について説明する。まず、CPU10は、画像情報受付部20を介して撮像装置90から画像情報を取得するとともに、記憶装置30から画像キャプチャプログラムCPを適宜読み出して、撮像画像のキャプチャを行い、図4(A)に例示する入力画像を取得する(ステップS1)。次に、CPU10は、記憶装置30からラインセグメントプログラムLSを読み出して、図4(B)に例示する画像PBに見られるような線分(直線成分)を含んだ画像データを抽出する(ステップS2)。次に、CPU10は、記憶装置30からラインセグメント長時間露光画像作成プログラムLEを読み出して、ステップS2で抽出された画像データに基づいてラインセグメントの長時間露光画像を作成する(ステップS3)。なお、ステップS3における画像処理の詳細は、図7等を参照して後述するが、ステップS3において、目的物体に関する情報と目的以外の物体に関する情報とを分離可能とするデータが取得される。次に、CPU10は、ラインセグメントの長時間露光画像に含まれる直線成分(線分)に基づいて記憶装置30からHOG特徴量算出プログラムFCを読み出して、HOG特徴量を算出する処理を行う(ステップS4)。なお、ステップS4において、ステップS3の結果を利用してノイズとなる不要データの削除を可能にしている。次に、CPU10は、ステップS4において算出されたHOG特徴に基づいて、検出対象となっている撮像画像データ中に人体画像が存在するか否かを判定する(ステップS5)。次に、CPU10は、人体画像の検出終了の指示があるか否かを確認し(ステップS6)、確認されなければ(ステップS6:No)、上記ステップS1〜S6の動作を繰り返す。検出終了の指示があれば(ステップS6:Yes)、終了する。
Hereinafter, a human body image detection process using the
以下、図7及び図8のほか、図9のフローチャートを参照して、図6に示した各種処理のうち、ラインセグメント長時間露光画像作成処理(ステップS3の処理)の一例について説明する。ここで、長時間露光画像とは、互いに時間差のある画像を重ね合せたものとして例えば固定カメラによって同じ箇所を撮影して取得される数秒程度分の画像データを重畳(輝度を加算)させて取得される画像を意味する。ここでは、一例として、同じ箇所を撮影した複数の撮像画像(撮像時間数秒分のデータ)についてステップS2において抽出された直線成分(線分)を含んだ画像データを重ね合わせるものとする。この場合、例えば重ね合わせられた画像において描画されている直線成分について、時間経過において動かない物体(静止物体)のものほどはっきり浮かび上がった状態となる(図8参照)。 Hereinafter, with reference to the flowchart of FIG. 9 in addition to FIGS. 7 and 8, an example of the line segment long-time exposure image creation process (the process of step S3) among the various processes shown in FIG. 6 will be described. Here, the long-exposure image is obtained by superimposing (adding luminance) image data for several seconds obtained by superimposing images with the time difference on each other, for example, by capturing the same part with a fixed camera. Means an image to be played. Here, as an example, it is assumed that image data including the straight line component (line segment) extracted in step S2 is superimposed on a plurality of captured images (data corresponding to several seconds of imaging time) captured at the same location. In this case, for example, with respect to the linear component drawn in the superimposed image, an object that does not move over time (stationary object) is more clearly revealed (see FIG. 8).
さらに、直線成分(線分)については、横方向の成分をあらかじめ削除し、縦方向の成分のみを抽出するものとする。具体的には、図7(A)及び7(B)に示すように、閾値として設定した角度αによって、縦方向の成分であるか横方向の成分であるかを決定する。ここでは、一例として垂直方向を0°として±20°を境界とする。すなわち、図7(A)に示すように、垂直方向について±20°以内すなわち、0°から20°まで、または160°から180°未満までの角度範囲にある直線成分LE1を縦方向の成分とし、図7(B)に示すように、それ以外の角度範囲にある直線成分LE2を横方向の成分とする。本実施形態では、既述のように、人体画像の検出を目的としており、人体画像の検出に際しては、縦方向の成分が重要であるため、図7(A)に示すような縦方向と判断される直線成分LE1のみを取り扱い、図7(B)に示すような横方向と判断される直線成分LE2を除外する。このため、結果的に取得される直線成分は、図8に例示するように、縦方向の直線成分のみを有するものとなる。 Further, for the straight line component (line segment), the horizontal component is deleted in advance, and only the vertical component is extracted. Specifically, as shown in FIGS. 7A and 7B, whether the component is a vertical component or a horizontal component is determined based on the angle α set as the threshold value. Here, as an example, the vertical direction is 0 °, and ± 20 ° is the boundary. That is, as shown in FIG. 7A, the vertical component is a linear component LE1 within ± 20 ° in the vertical direction, that is, in an angle range from 0 ° to 20 ° or from 160 ° to less than 180 °. As shown in FIG. 7B, a linear component LE2 in the other angle range is set as a horizontal component. In the present embodiment, as described above, the purpose is to detect a human body image, and in detecting a human body image, the vertical component is important. Therefore, the vertical direction as shown in FIG. 7A is determined. Only the linear component LE1 to be processed is handled, and the linear component LE2 determined to be in the horizontal direction as shown in FIG. 7B is excluded. For this reason, the linear component acquired as a result has only the linear component of a vertical direction so that it may illustrate in FIG.
以上のような直線成分画縦方向の成分であるか横方向の成分であるかを判定するためのプログラムが、記憶装置30において抽出線分角度設定プログラムASとして格納されている。言い換えると、CPU10は、抽出線分角度設定プログラムASを読み出して直線成分(線分)についての角度情報を抽出し、当該角度情報に基づいて直線成分の選別を行う角度情報選別部として機能するものとなっている。特に、本実施形態では、角度αについて設定された閾値を満たす縦方向の成分を有する直線成分を次段処理であるステップS4のHOG特徴量での処理対象の直線成分として抽出し、横方向の直線成分をステップS3の段階で予め除去している。
A program for determining whether the component is a vertical component or a horizontal component as described above is stored in the
以下、図9のフローチャートを参照して、ラインセグメント長時間露光画像作成処理の一例について詳細に説明する。ここでは、一例として、ステップS2において当該画像中における線分(直線成分)について画像に描画し、描画した画像を重ね合わせることで、図8に示したような長時間露光画像を作成するものとする。 Hereinafter, an example of a line segment long exposure image creation process will be described in detail with reference to the flowchart of FIG. Here, as an example, in step S2, a line segment (straight line component) in the image is drawn on the image, and the drawn images are overlapped to create a long exposure image as shown in FIG. To do.
まず、CPU10は、ステップS2において、同一または略同一の箇所であって時間差をつけて撮像した複数の撮像画像(撮像時間数秒分のデータ)が抽出されると、ラインセグメント長時間露光画像作成プログラムLEを読み出して、長時間露光画像の作成のための各種処理を行う。具体的には、まず、これらの撮像画像の全てについて、線分描画の処理が終了したかを確認し(ステップS101)、終了していなければ(ステップS101:No)、処理対象となる画像(すなわち未描画の画像)を適宜選択し(ステップS102)、ステップS2において当該画像中における線分(直線成分)として抽出された情報を読み出す(ステップS103)。ステップS103において読み出された有限個の線分(直線成分)のうち、適宜最初の処理対象を選択し(ステップS104)、全ての線分(直線成分)について描画対象とすべき成分を取捨判定する処理画終了しているかを確認する(ステップS105)。ステップS105において、終了していないと判断すると(ステップS105:No)、CPU10は、記憶装置30から抽出線分角度設定プログラムASを読み出して、処理対象となっている線分(直線成分)の傾き角度が一定範囲内であるか、すなわち縦方向のものであるか横方向のものであるかを判定する(ステップS106)。ステップS106において、角度が一定範囲内であると判断されると(ステップS106:Yes)、CPU10は、処理対象の線分(直線成分)を描画対象として記憶し(ステップS107)、角度が一定範囲内にないと判断されると(ステップS106:No)、CPU10は、処理対象の線分(直線成分)を描画対象から除外し(ステップS108)、次の処理対象となる線分(直線成分)を選択する(ステップS109)。CPU10は、上記ステップS106からステップS109までの動作を、全ての線分(直線成分)について処理を終えるまで(ステップS105:YES)繰り返す。CPU10は、処理対象の画像に含まれる有限湖の線分(直線成分)の全てについての処理を終えると、ステップS107において記憶された全ての線分を描画する(ステップS110)。ステップS110の処理の後、次の処理対象となる撮像画像があるかを確認し(ステップS101)、ステップS101において全ての撮像画像について線分描画の処理が終了したと判断するまで(ステップS101:Yes)、上記ステップS101からステップS110までの動作を繰り返す。CPU10は、全ての撮像画像について線分描画の処理が終了したと判断すると(ステップS101:Yes)、CPU10は、ラインセグメント長時間露光画像作成プログラムLEに含まれる画像の重ね合わせプログラムを読み出して線分描画された各画像を重ね合わせる(ステップS111)。ステップS111の処理により、図8に例示したラインセグメント長時間露光画像が作成され、ステップS4の処理が終了する。以上の処理によって取得されるラインセグメント長時間露光画像に描画された直線成分(線分)は、画像中において特に位置の変化しない、すなわち時間経過において動かない物体(静止物体)の直線成分のうち縦方向の成分を抽出したものとなる。従って、本実施形態の場合のように人体のように時間経過とともに動く(移動する)ものを検出対象とする場合には、上記のようにして抽出された直線成分についての情報を、次段の処理である特徴量算出の際に除去することで、いわばノイズとなる不要な情報を削減でき、精度の高い結果が期待でき、延いては目的物体の検出をより確実なものにできる。
First, in step S2, when a plurality of captured images (data corresponding to several seconds of imaging time) taken at the same or substantially the same location and with a time difference are extracted, the
以下、図10のフローチャートを参照して、HOG特徴量算出処理(ステップS4の処理)の一例について説明する。まず、CPU10は、記憶装置30のHOG特徴量算出プログラムFCのうち画像勾配算出プログラムを読み出して、図5(A)等を参照して説明したように、入力画像について局所的に分割されたブロック画像から、輝度の勾配に関する算出処理を行う(ステップS201)。次に、CPU10は、画像勾配データ削除プログラムDPを読み出して、上記したステップS4において取得されたラインセグメント長時間露光画像についての直線成分(線分)のデータ分を削除した上で(ステップS202)、CPU10は、勾配方向ヒストグラム算出プログラムHCを読み出して、図5(B)等を参照して説明したように、勾配方向ヒストグラムを作成する(ステップS203)。
Hereinafter, an example of the HOG feature amount calculation process (the process of step S4) will be described with reference to the flowchart of FIG. First, the
なお、図6に示すステップS5の人検出処理では、CPU10は、人体画像検出プログラムGDを読み出し、上記のようにステップS203において作成された勾配方向ヒストグラム等に基づいて、検出の目的物体である人(人体画像)の検出処理を行う検出処理部として、画像処理による人検出を行う。
In the human detection process in step S5 shown in FIG. 6, the
以上のように、本実施形態の物体検出装置100では、CPU10は、ラインセグメント長時間露光画像作成プログラムLEに基づいて作成される時間差のある画像に基づいて除去すべき直線成分を決定することで、人体等の目的とする物体についての直線成分とそれ以外の物体についての直線成分とを判別し、また、CPU10は、直線成分除去部として、画像勾配データ削除プログラムDPを読み出して除去すべき直線成分を除去する。すなわち、目的物体に関する情報と目的以外の物体に関する情報とを分離している。これにより、特徴量算出部であるHOG特徴量算出プログラムFCによるHOG特徴量の算出において、精度の高い結果が期待でき、目的物体の検出をより確実なものにできる。
As described above, in the
この発明は、上記の実施形態又は実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。 The present invention is not limited to the above embodiments or examples, and can be implemented in various modes without departing from the scope of the invention.
上記では、物体検出装置100による検出対象を人(人体画像)としているが、これに限らず、多くの移動する(動きのある)物体を検出対象とすることができる。例えば、車両を検出対象とすることができる。また、人を検出対象とする場合、HOG特徴量としては、縦成分の直線成分の抽出が重要であったため、縦方向の成分についてのみ抽出した上で、人体由来以外のものを除去するものとしたが、車両についての検出を行う場合には、横方向の直線成分を特徴量の解析のために抽出するものとしてもよい。
In the above description, the object to be detected by the
また、上記では、例えば図9のフローチャートでの説明では、画像中における線分(直線成分)について画像に描画するものとしてその一例を示しているが、処理の手順等は図9の場合に限らず種々の方法を選択できる。さらに、目的としては、最終的に除去すべき線分(直線成分)に関するデータを取得できればよく、これが取得できる方法であれば、描画するものに限らずデータだけを取得する方法を適用してもよい。 In the above description, for example, the description in the flowchart of FIG. 9 shows an example in which a line segment (straight line component) in the image is drawn on the image, but the processing procedure is limited to the case of FIG. Various methods can be selected. Furthermore, as a purpose, it is only necessary to acquire data related to a line segment (straight line component) to be finally removed. If this can be acquired, a method of acquiring only data is not limited to a drawing. Good.
また、撮像装置90については、固定的に設置されたカメラとしているが、例えば静止するものと動くものとを区別できる直線成分のデータが取得できれば、多少動くカメラを利用するものとしてもよい。
Further, although the
また、露光時間についても、数秒程度としているが、目的とする直線成分のデータを取得できれば、これ以外の時間差のある画像データを利用するものとしてもよい。 Although the exposure time is about several seconds, other image data having a time difference may be used as long as the target linear component data can be acquired.
さらに、撮像装置90の撮像範囲の対象となっている領域において、予め不要で削除可能であることが決まっている領域の画像データに関しては、直線成分等が抽出されても予め削除しておくものとしてもよい。
Furthermore, in the area that is the target of the imaging range of the
また、上記では、画像勾配データ削除プログラムDPによって除外すべきデータとなる画像勾配データを削除するものとしているが、削除すべきデータを削除するタイミングについては、画像処理の便宜等から種々のタイミングで行うものとすればよい。 In the above description, the image gradient data that is to be excluded by the image gradient data deletion program DP is deleted. However, the timing for deleting the data to be deleted is at various timings for the convenience of image processing. Do what you do.
また、上記では、特徴量の検出手法として、HOG特徴量について分析解析を行うものとしているが、特徴量に関しては、HOG特徴量以外のものを利用することも可能である。 In the above description, the HOG feature amount is analyzed and analyzed as a feature amount detection method. However, a feature amount other than the HOG feature amount may be used.
以上の実施形態で説明された構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎない。従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。 The configurations, shapes, sizes, and arrangement relationships described in the above embodiments are merely schematically shown to the extent that the present invention can be understood and implemented. Therefore, the present invention is not limited to the described embodiments, and can be variously modified without departing from the scope of the technical idea shown in the claims.
20…画像情報受付部、 30…記憶装置、 40…表示装置、 50…入力装置、 70…バス、 80…情報処理部、 90…撮像装置、 100…物体検出装置、 AS…抽出線分角度設定プログラム、 BD…ラインセグメント長時間露光画像データ記憶部、 CD…撮像画像データ記憶部、 CP…画像キャプチャプログラム、 CR…画像勾配データ選択結果記憶部、 DD…検出データ記憶部、 DM…データ記憶部、 DP…画像勾配データ削除プログラム、 FC…特徴量算出プログラム、 FD…特徴量データ記憶部、 GD…人体画像検出プログラム、 HC…勾配方向ヒストグラム算出プログラム、 HD…勾配方向ヒストグラムデータ記憶部、 LD…データ記憶部、 LE…ラインセグメント長時間露光画像作成プログラム、 LS…ラインセグメントプログラム、 PM…プログラム記憶部、 SC…画像勾配算出プログラム、 SD…画像勾配データ記憶部、 L1,LE1,LE2,LL1…直線成分(線分)、 G1…ブロック画像、 P1,P2…画像、 PA…撮像画像、 PB…画像、 PX…画素、 α…角度
DESCRIPTION OF
Claims (6)
前記直線成分検出部で検出された直線成分から抽出した角度情報に基づいて選別された直線成分のうち位置の変化しないものを除去すべき直線成分として決定する直線成分除去部と、
前記直線成分除去部において除去されずに残った直線成分に基づいて特徴量を算出する特徴量算出部と、
前記特徴量算出部での算出結果から物体の検出処理を行う検出処理部と
を備える物体検出装置。 A linear component detector for detecting a linear component from the detection target image;
And a linear component removing unit that determines as a linear component to be remove those which do not change in position of the linear components that are sorted based on the extracted angle information from the line component detected by the linear component detection section,
A feature amount calculation unit that calculates a feature amount based on a linear component that remains without being removed in the linear component removal unit;
An object detection apparatus comprising: a detection processing unit that performs an object detection process from a calculation result of the feature amount calculation unit.
前記角度情報選別部は、角度について設定された閾値を満たす縦方向の成分を有する直線成分を、前記直線成分除去部における処理対象の直線成分として抽出する、請求項1から3までのいずれか一項に記載の物体検出装置。 An angle information selection unit for selecting a linear component to be processed in the linear component removal unit based on the angle information extracted for the linear component detected by the linear component detection unit;
The angle information sorting unit, a line component having a longitudinal component which satisfies the set threshold for the angle, is extracted as a linear component to be processed in said linear component removal unit, one of the Claims 1 to 3 one The object detection device according to item.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014134873A JP6570219B2 (en) | 2014-06-30 | 2014-06-30 | Object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014134873A JP6570219B2 (en) | 2014-06-30 | 2014-06-30 | Object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016012311A JP2016012311A (en) | 2016-01-21 |
JP6570219B2 true JP6570219B2 (en) | 2019-09-04 |
Family
ID=55228972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014134873A Active JP6570219B2 (en) | 2014-06-30 | 2014-06-30 | Object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6570219B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6661082B2 (en) | 2016-03-30 | 2020-03-11 | 株式会社エクォス・リサーチ | Image recognition device and image recognition program |
JP7044504B2 (en) * | 2016-11-21 | 2022-03-30 | 矢崎総業株式会社 | Image processing device, image processing method and image processing program |
CN108055302B (en) * | 2017-12-05 | 2020-10-20 | 竞技世界(北京)网络技术有限公司 | Picture caching processing method and system and server |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004086417A (en) * | 2002-08-26 | 2004-03-18 | Gen Tec:Kk | Method and device for detecting pedestrian on zebra crossing |
JP5880089B2 (en) * | 2012-01-31 | 2016-03-08 | 凸版印刷株式会社 | Comic image data detection apparatus and comic image data detection program |
-
2014
- 2014-06-30 JP JP2014134873A patent/JP6570219B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016012311A (en) | 2016-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9842269B2 (en) | Video processing apparatus, video processing method, and recording medium | |
US20140055826A1 (en) | Handheld device document imaging | |
JP6800628B2 (en) | Tracking device, tracking method, and program | |
JP5722381B2 (en) | Video analysis | |
JP2009186434A (en) | Image inspection device, image inspection method and computer program | |
JP6570370B2 (en) | Image processing method, image processing apparatus, program, and recording medium | |
JP5832910B2 (en) | Image monitoring device | |
JP5699432B2 (en) | Image processing device | |
JP4518139B2 (en) | Image processing device | |
JP5544344B2 (en) | Defect observation method and defect observation apparatus | |
JP5908844B2 (en) | Image processing apparatus and image processing method | |
US8295645B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP2008286725A (en) | Person detector and detection method | |
JP2017199289A5 (en) | ||
JP6570219B2 (en) | Object detection device | |
JP2008117305A (en) | Image processor | |
JP2015040941A5 (en) | ||
JP6638723B2 (en) | Image analysis device, image analysis method, and image analysis program | |
JP2009211122A (en) | Image processor and object estimation program | |
JP2010020581A (en) | Image synthesizing system eliminating unnecessary objects | |
JP2009139133A (en) | Flaw detection method and flaw detector | |
JP6221283B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6326622B2 (en) | Human detection device | |
US11308342B2 (en) | Information processing apparatus, control method, and storage medium | |
JP2010244301A (en) | Moving direction detection device, moving direction detection method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180424 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180925 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181109 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190416 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190628 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190806 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6570219 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |