JP6570219B2 - Object detection device - Google Patents

Object detection device Download PDF

Info

Publication number
JP6570219B2
JP6570219B2 JP2014134873A JP2014134873A JP6570219B2 JP 6570219 B2 JP6570219 B2 JP 6570219B2 JP 2014134873 A JP2014134873 A JP 2014134873A JP 2014134873 A JP2014134873 A JP 2014134873A JP 6570219 B2 JP6570219 B2 JP 6570219B2
Authority
JP
Japan
Prior art keywords
image
linear component
component
unit
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014134873A
Other languages
Japanese (ja)
Other versions
JP2016012311A (en
Inventor
朝靖 北川
朝靖 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Signal Co Ltd
Original Assignee
Nippon Signal Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Signal Co Ltd filed Critical Nippon Signal Co Ltd
Priority to JP2014134873A priority Critical patent/JP6570219B2/en
Publication of JP2016012311A publication Critical patent/JP2016012311A/en
Application granted granted Critical
Publication of JP6570219B2 publication Critical patent/JP6570219B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理によって画像から特徴量を抽出し、抽出された特徴量に基づいて画像上での物体検出を行う物体検出装置に関する。   The present invention relates to an object detection apparatus that extracts a feature amount from an image by image processing and detects an object on the image based on the extracted feature amount.

従来、例えばHOG特徴量を利用するもののように、画像の局所的な領域においてエッジの方向と強さを特徴量として抽出し、人や物の検出を行う技術(特許文献1参照)が知られている。   2. Description of the Related Art Conventionally, for example, a technique for detecting a person or an object by extracting the edge direction and strength as a feature amount in a local region of an image, such as using an HOG feature amount (see Patent Document 1). ing.

例えばHOG特徴量を利用して人の検出を行う場合、人の持つ特徴としては縦方向のエッジ成分が多くなるので、縦方向のエッジ成分の抽出が重要となる。しかしながら、人の画像以外に画像として一緒に映っている柱などの構造物の画像についても、同様に縦方向のエッジが多く、画像の局所的な領域で成分を抽出する場合では、人体の成分と柱などの構造物の成分とを間違える可能性が非常に高かった。   For example, when human detection is performed using the HOG feature value, the vertical edge component is important because human vertical features include many vertical edge components. However, for images of structures such as pillars that are shown together as images in addition to human images, there are many vertical edges in the same way, and when extracting components in local areas of the image, human body components There was a very high possibility that the components of structures such as pillars would be mistaken.

特開2014−81826号公報JP 2014-81826 A

本発明は上記した点に鑑みてなされたものであり、目的とする物体(人体を含む)についての画像検出において、画像から抽出される目的物体に関する情報と目的以外の物体に関する情報との混同を抑制して、確実な目的物体についての画像としての検出を可能とする物体検出装置を提供することを目的とする。   The present invention has been made in view of the above points, and in image detection of a target object (including a human body), confusion between information related to a target object extracted from an image and information related to an object other than the target is made. It is an object of the present invention to provide an object detection apparatus that can suppress and detect a certain target object as an image.

上記目的を達成するため物体検出装置は、検出対象の画像から直線成分を検出する直線成分検出部と、直線成分検出部で検出された直線成分のうち、時間差のある画像に基づいて除去すべき直線成分を決定する直線成分除去部と、直線成分除去部において除去されずに残った直線成分に基づいて特徴量を算出する特徴量算出部と、特徴量算出部での算出結果から物体の検出処理を行う検出処理部とを備える。

An object detection apparatus for achieving the above object removes a linear component detection unit that detects a linear component from an image to be detected and a linear component detected by the linear component detection unit based on an image having a time difference. A linear component removing unit that determines a power linear component, a feature amount calculating unit that calculates a feature amount based on a linear component that remains without being removed by the linear component removing unit, and a calculation result in the feature amount calculating unit A detection processing unit that performs detection processing.

上記物体検出装置では、時間差のある画像に基づいて除去すべき直線成分を決定することで、人体等の目的とする物体についての直線成分とそれ以外の物体についての直線成分とを、直線成分除去部において除去することができる。すなわち、目的物体に関する情報と目的以外の物体に関する情報とを分離し、特徴量算出部での算出において、精度の高い結果が期待でき、目的物体の検出をより確実なものにできる。   In the object detection device, by determining a linear component to be removed based on images having a time difference, the linear component for a target object such as a human body and the linear component for other objects are removed. Can be removed. In other words, information related to the target object and information related to the object other than the target are separated, and a high-precision result can be expected in the calculation by the feature amount calculation unit, and the target object can be detected more reliably.

本発明の具体的な側面では、時間差のある画像として、長時間露光画像を作成する長時間露光画像作成部を備える。この場合、特に目的とする物体が例えば人体等のようにある時間内において移動するものであれば、この情報を動かない物の情報から区別することができる。   In a specific aspect of the present invention, a long-time exposure image creation unit that creates a long-time exposure image as an image having a time difference is provided. In this case, if the target object moves within a certain time, such as a human body, this information can be distinguished from the information of the non-moving object.

本発明の別の具体的な側面では、直線成分除去部は、時間差のある複数の画像間において、位置の変化しない直線成分を除去すべき対象として抽出する。この場合、人体等の目的とする物体以外の物体についての直線成分として、特に位置の変化しない、すなわち動かない物体(静止物体)の直線成分を除去対象として捉えることができる。   In another specific aspect of the present invention, the linear component removal unit extracts a linear component whose position does not change between a plurality of images having a time difference as an object to be removed. In this case, as a linear component for an object other than a target object such as a human body, a linear component of an object that does not change its position, that is, an object that does not move (stationary object) can be regarded as a removal target.

本発明のさらに別の側面では、直線成分検出部で検出された直線成分について、角度情報を抽出し、当該角度情報に基づいて直線成分除去部における処理対象とすべき直線成分の選別を行う角度情報選別部を備える。この場合、直線成分除去部での成分除去の前段階として、成分除去の判断対象となりえないものを予め除去して、直線成分除去部での成分除去の処理量を抑制することができる。   In yet another aspect of the present invention, the angle information is extracted from the straight line component detected by the straight line component detection unit, and the straight line component to be processed in the straight line component removal unit is selected based on the angle information. An information selection unit is provided. In this case, as a pre-stage of component removal in the linear component removal unit, components that cannot be determined as component removal can be removed in advance, and the amount of component removal processed in the linear component removal unit can be suppressed.

本発明のさらに別の側面では、角度情報選別部は、角度について設定された閾値を満たす縦方向の成分を有する直線成分を、直線成分除去部における処理対象の直線成分として抽出する。この場合、例えば人体画像についての検出のように縦方向の直線成分抽出が重要である場合には、予め縦方向に関する直線成分のみを抽出した上で、直線成分除去部での成分除去の処理を行うものとすることができる。   In yet another aspect of the present invention, the angle information selection unit extracts a straight line component having a vertical component that satisfies a threshold set for an angle as a straight line component to be processed in the straight line component removal unit. In this case, for example, when it is important to extract a straight line component in the vertical direction as in the detection of a human body image, only the straight line component in the vertical direction is extracted in advance, and the component removal process is performed by the straight line component removing unit. Can be done.

本発明のさらに別の側面では、直線成分検出部は、線分検出を行うラインセグメントディテクターである。この場合、適切な直線成分の抽出を行うことができる。   In still another aspect of the present invention, the linear component detector is a line segment detector that performs line segment detection. In this case, an appropriate linear component can be extracted.

本発明のさらに別の側面では、特徴量算出部は、特徴量としてHOG特徴量を算出する。この場合、目的物体に関する情報を残し、目的以外の物体に関する情報を除去可能な状態でHOG特徴量を算出することで、精度の高いHOG特徴量の算出が期待でき、目的物体の検出をより確実なものにできる。   In still another aspect of the present invention, the feature amount calculation unit calculates a HOG feature amount as the feature amount. In this case, by calculating the HOG feature value in a state in which the information on the target object is left and the information on the object other than the target can be removed, it is possible to expect the calculation of the HOG feature value with high accuracy, and the target object can be detected more reliably. Can be anything.

本実施形態の物体検出装置の構造の一例を概念的に説明するブロック図である。It is a block diagram which illustrates notionally an example of the structure of the object detection apparatus of this embodiment. (A)は、人体の画像から直線成分を検出する様子を概念的に示す図であり、(B)は、比較例として人体以外の画像から直線成分を検出する様子を概念的に示す図である。(A) is a figure which shows notionally that a straight line component is detected from an image of a human body, and (B) is a figure that conceptually shows a state of detecting a straight line component from an image other than the human body as a comparative example. is there. 物体検出装置のうち記憶装置の構成について概念的に説明するブロック図である。It is a block diagram which illustrates notionally the structure of a memory | storage device among object detection apparatuses. (A)は、撮像された画像の一例を示す図であり、(B)は、(A)の画像から直線成分を抽出した様子を示す図である。(A) is a figure which shows an example of the imaged image, (B) is a figure which shows a mode that the linear component was extracted from the image of (A). (A)は、物体検出装置により特徴量としてHOG特徴量を算出するために、直線成分について画像勾配データを抽出することを概念的に示す図であり、(B)は、(A)に示す抽出された画像勾配データについての勾配方向ヒストグラムを示す図である。(A) is a figure which shows notionally extracting image gradient data about a linear component in order to calculate a HOG feature-value as a feature-value by an object detection apparatus, (B) is shown to (A). It is a figure which shows the gradient direction histogram about the extracted image gradient data. 本実施形態の物体検出装置を用いた人体画像検出の処理について説明するためのフローチャートである。It is a flowchart for demonstrating the process of a human body image detection using the object detection apparatus of this embodiment. (A)及び(B)は、ラインセグメント長時間露光画像の作成処理の対象となる直線成分の選択処理について概念的に説明するための図である。(A) And (B) is a figure for demonstrating notionally the selection process of the linear component used as the object of the production process of a line segment long exposure image. 作成されたラインセグメント長時間露光画像の一例を示す図である。It is a figure which shows an example of the produced line segment long exposure image. 図6のうち、ラインセグメント長時間露光画像作成処理の一例について説明するためのフローチャートである。7 is a flowchart for explaining an example of a line segment long exposure image creation process in FIG. 6. 図6のうち、HOG特徴量算出処理の一例について説明するためのフローチャートである。7 is a flowchart for explaining an example of a HOG feature amount calculation process in FIG. 6.

図1に示すように、本発明に係る物体検出装置100は、情報処理部80と、撮像装置90とを備える。情報処理部80は、CPU10と、画像情報受付部20と、記憶装置30と、表示装置40、入力装置50、バス70等を備える。   As shown in FIG. 1, the object detection device 100 according to the present invention includes an information processing unit 80 and an imaging device 90. The information processing unit 80 includes a CPU 10, an image information receiving unit 20, a storage device 30, a display device 40, an input device 50, a bus 70, and the like.

物体検出装置100は、情報処理部80のCPU10等を動作させて、例えば路上に固定カメラとして設置された撮像装置90により撮像された画像から、目的とする物体についての画像検出を行う装置である。本実施形態では、目的とする物体として人体を捉える場合について説明する。すなわち、本実施形態の物体検出装置100は、処理対象の画像中に人体画像が存在するか否かを判定可能な装置となっており、延いては人体検出を行う装置となっている。また、人体以外の各種物体を検出対象とすれば、物体検出装置100は、物体検出装置として機能することになる。   The object detection device 100 is a device that operates the CPU 10 of the information processing unit 80 and performs image detection on a target object from an image captured by an imaging device 90 installed as a fixed camera on the road, for example. . In the present embodiment, a case where a human body is captured as a target object will be described. That is, the object detection apparatus 100 according to the present embodiment is an apparatus that can determine whether or not a human body image exists in an image to be processed, and thus is an apparatus that performs human body detection. If various objects other than a human body are detected, the object detection device 100 functions as an object detection device.

物体検出装置100を構成する情報処理部80のうち、CPU10は、バス70を介して、画像情報受付部20、記憶装置30、表示装置40や入力装置50との間で相互にデータの授受が可能になっている。   Among the information processing units 80 constituting the object detection device 100, the CPU 10 exchanges data with the image information receiving unit 20, the storage device 30, the display device 40, and the input device 50 via the bus 70. It is possible.

撮像装置90は、例えばCMOS、CCD等からなる固体撮像装置を内蔵するものとすることができ、この固体撮像装置で検出された画像は、例えばデジタル画像信号として情報処理部80に出力される。ここでは、上記のように、例えば、路上に固定的に設置されて路上を通過する人間等を撮像対象とする(例えば図4(A)参照)。   The imaging device 90 can include a solid-state imaging device such as a CMOS or CCD, and an image detected by the solid-state imaging device is output to the information processing unit 80 as a digital image signal, for example. Here, as described above, for example, a person or the like that is fixedly installed on the road and passes through the road is set as an imaging target (see, for example, FIG. 4A).

情報処理部80は、撮像装置90から送信された画像情報を取得し、取得された撮像画像から、例えば図2(A)に示すように、人間の輪郭部分等に相当する複数の直線成分(線分)L1を撮像画像から抽出し、各直線成分L1の特徴から当該撮像画像の画像部分として人体画像が存するか否かを判定する。   The information processing unit 80 acquires the image information transmitted from the imaging device 90 and, from the acquired captured image, for example, as shown in FIG. A line segment L1 is extracted from the captured image, and it is determined from the characteristics of each linear component L1 whether or not a human body image exists as an image portion of the captured image.

以下、図1に戻って、情報処理部80を構成する各部について具体的に説明する。CPU10は、画像処理に関する各種制御を行う。特に、CPU10は、画像情報受付部20により撮像装置90から取り込まれた画像情報を記憶装置30に格納し、記憶装置30に格納された画像情報に基づいて、各種画像処理を行う。すなわち、各種処理のための制御を行う制御部である。特に、本実施形態では、情報処理部80は、撮像装置90で取得された画像情報から直線成分を抽出し、抽出された直線成分の中から特徴量(HOG特徴量)を見出し、特徴量に関して学習アルゴリズムによる学習サンプルの解析等を施すことで、人体画像が存在するか否かを判定するものとなっている。なお、検出手法に関しては、例えばHOG特徴量とBoostingと呼ばれる手法を用いた人検出が知られている。   Hereinafter, referring back to FIG. 1, each unit configuring the information processing unit 80 will be specifically described. The CPU 10 performs various controls related to image processing. In particular, the CPU 10 stores the image information captured from the imaging device 90 by the image information receiving unit 20 in the storage device 30 and performs various image processing based on the image information stored in the storage device 30. That is, it is a control unit that performs control for various processes. In particular, in the present embodiment, the information processing unit 80 extracts a linear component from the image information acquired by the imaging device 90, finds a feature amount (HOG feature amount) from the extracted linear component, and relates to the feature amount. It is determined whether or not a human body image exists by analyzing a learning sample by a learning algorithm. As a detection method, for example, human detection using a method called HOG feature amount and Boosting is known.

画像情報受付部20は、撮像装置90と有線あるいは無線により交信可能となっており、CPU10の制御に従って、撮像装置90によって取得された画像情報を受け付ける。   The image information receiving unit 20 can communicate with the imaging device 90 by wire or wirelessly, and receives image information acquired by the imaging device 90 according to the control of the CPU 10.

記憶装置30は、物体検出装置100を動作させる各種プログラム等を記憶しているプログラム領域を有するプログラム記憶部と、入力指示、入力データ、処理結果等を一時格納するデータ領域を有するデータ記憶部とを備える。すなわち、記憶装置30は、画像情報から直線成分を抽出するためのプログラムや、直線成分から特徴量を算出するためのプログラム等の各種プログラムを含むとともに、各種情報を記憶する。特に、本実施形態では、記憶装置30において、特徴量を算出するに際して対象外とすべきデータを除去するためのプログラムが含まれている。また、特徴量については、局所領域における勾配方向をヒストグラム化した特徴量であるHOG特徴量を算出するプログラムが含まれている。記憶装置30の記憶部等についての詳細は、図3に示すブロック図を参照して後述する。   The storage device 30 includes a program storage unit having a program area for storing various programs for operating the object detection apparatus 100, and a data storage unit having a data area for temporarily storing input instructions, input data, processing results, and the like. Is provided. That is, the storage device 30 includes various programs such as a program for extracting a linear component from image information and a program for calculating a feature amount from the linear component, and stores various information. In particular, in the present embodiment, the storage device 30 includes a program for removing data that should be excluded when calculating the feature value. The feature amount includes a program for calculating a HOG feature amount, which is a feature amount obtained by histogramating the gradient direction in the local region. Details of the storage unit and the like of the storage device 30 will be described later with reference to the block diagram shown in FIG.

表示装置40は、CPU10から入力されるデータに基づいて駆動信号を生成する表示駆動回路と、表示駆動回路から入力される駆動信号に基づいて必要な表示を行う画像表示部等により構成され、CPU10からの指令信号に基づいて必要な表示を行う。   The display device 40 includes a display drive circuit that generates a drive signal based on data input from the CPU 10, an image display unit that performs necessary display based on the drive signal input from the display drive circuit, and the like. Necessary display is performed based on the command signal from.

入力装置50は、キーボード等から構成され、物体検出装置100を操作するオペレーターの意思を反映した指令信号をCPU10に出力する。つまり、CPU10は、入力装置50を介したオペレーターの指示に基づいて、記憶装置30から所定のプログラムやデータを読み出し、これらプログラム及びデータに基づく各種処理を実行することができる。   The input device 50 is composed of a keyboard or the like, and outputs a command signal reflecting the intention of an operator who operates the object detection device 100 to the CPU 10. That is, the CPU 10 can read a predetermined program and data from the storage device 30 based on an operator instruction via the input device 50 and execute various processes based on these programs and data.

ここで、上記のように人体画像であるか否かの検出をする場合には、二次画像において種々の方向に延びる直線成分のうち、縦方向についての直線成分に関して特徴量を算出することが重要であるということが一般的に知られている。例えば図2(A)に示すように、画像P1(画像P1は実際に人体画像)の直線成分L1のうち縦方向についての成分として人体に関するもののみが抽出できれば、その成分についての特徴量を算出することで、画像P1が人体画像であるか否かを推定できる。しかしながら、実際の処理においては、例えば図2(B)に示す画像P2のように、縦方向についての直線成分を含む画像であっても、人体画像でない直線成分LL1も存在する。なお、図2(B)の例では、柱状部分の画像P2から縦方向の直線成分LL1が抽出されている。仮に、このような人体画像でないものについての直線成分LL1のデータと人体画像の直線成分L1のデータとが混在した状態で、特徴量を算出しても、人体画像であるか否かの判別を必ずしも正確に行えるとは限らなくなってしまう。本実施形態では、かかる事態を回避すべく、画像処理において、目的とする物体の画像情報以外の画像情報を予め除去可能とすることで、精度の高い特徴量の算出を行い、延いては確実な目的物体の検出を可能としている。   Here, when detecting whether or not the image is a human body image as described above, it is possible to calculate the feature amount with respect to the linear component in the vertical direction among the linear components extending in various directions in the secondary image. It is generally known that it is important. For example, as shown in FIG. 2A, if only the component relating to the human body can be extracted as the component in the vertical direction from the linear component L1 of the image P1 (the image P1 is actually a human body image), the feature amount for that component is calculated. By doing so, it can be estimated whether the image P1 is a human body image. However, in actual processing, there is a linear component LL1 that is not a human body image even if the image includes a linear component in the vertical direction, such as an image P2 shown in FIG. In the example of FIG. 2B, a vertical linear component LL1 is extracted from the columnar image P2. Even if the feature amount is calculated in a state where the data of the linear component LL1 and the data of the linear component L1 of the human body image are mixed for such a non-human body image, it is determined whether the image is a human body image. It will not always be accurate. In the present embodiment, in order to avoid such a situation, image information other than the image information of the target object can be removed in advance in the image processing, so that the feature amount can be calculated with high accuracy, and surely. Target object can be detected.

以下、図3を参照して、画像処理による物体検出の処理を行うための各種プログラムを記憶し、また、各種データを格納する記憶装置30の構成について説明する。   Hereinafter, the configuration of the storage device 30 that stores various programs for performing object detection processing by image processing and stores various data will be described with reference to FIG. 3.

図3は、物体検出装置100を構成する情報処理部80のうち、記憶装置30の構成について概念的に説明するためのブロック図である。図示のように、記憶装置30は、各種プログラムを格納するためのプログラム領域を有するプログラム記憶部PMと、各種データを格納するためのデータ領域を有するデータ記憶部DMとで構成されている。   FIG. 3 is a block diagram for conceptually explaining the configuration of the storage device 30 in the information processing unit 80 configuring the object detection device 100. As illustrated, the storage device 30 includes a program storage unit PM having a program area for storing various programs and a data storage unit DM having a data area for storing various data.

記憶装置30の構成要素のうち、プログラム記憶部PMは、撮像画像のキャプチャを行うための画像キャプチャプログラムCPと、生の画像データである撮像画像から直線成分(線分)を抽出するためのラインセグメントプログラムLSと、ラインセグメントプログラムLSで抽出された直線成分に基づいてラインセグメント長時間露光画像(以下、単に長時間露光画像ともいう。)を作成するラインセグメント長時間露光画像作成プログラムLEと、直線成分(線分)のうち長時間露光画像における描画対象となる縦方向の成分を抽出するための抽出線分角度設定プログラムASと、長時間露光画像に基づいて選択された直線成分についての特徴量としてHOG特徴量を算出するためのHOG特徴量算出プログラムFCと、算出されたHOG特徴量に基づいて人体画像の存在を検出する人体画像検出プログラムGDとを有する。   Among the components of the storage device 30, the program storage unit PM includes an image capture program CP for capturing a captured image and a line for extracting a linear component (line segment) from the captured image that is raw image data. A segment program LS, a line segment long exposure image creation program LE for creating a line segment long exposure image (hereinafter also simply referred to as a long exposure image) based on the linear components extracted by the line segment program LS, Features of an extracted line segment angle setting program AS for extracting a vertical component to be drawn in a long-time exposure image out of straight line components (line segments), and a straight line component selected based on the long-time exposure image HOG feature quantity calculation program FC for calculating the HOG feature quantity as a quantity, and the calculated HO And a human body image detection program GD for detecting the presence of a human body image based on the feature quantity.

また、HOG特徴量算出プログラムFCには、HOG特徴量を算出するために必要となる画像勾配算出プログラムSCや、勾配方向ヒストグラム算出プログラムHCのほか、算出において除外すべきデータとなる画像勾配データを削除する画像勾配データ削除プログラムDPが含まれている。   The HOG feature quantity calculation program FC includes image gradient data SC that is necessary for calculating the HOG feature quantity and image gradient data that is data to be excluded in the calculation, in addition to the gradient direction histogram calculation program HC. An image gradient data deletion program DP to be deleted is included.

なお、プログラム記憶部PMは、上記のほかにも画像処理等に際して必要となる種々のプログラムを含んでいるものとする。例えば撮像画像の部分画像を切り取るプログラムやHOG特徴量の算出において必要となる正規化処理のプログラム等種々のプログラムが含まれているものとする。   In addition to the above, the program storage unit PM includes various programs necessary for image processing and the like. For example, it is assumed that various programs such as a program for cutting out a partial image of a captured image and a normalization processing program necessary for calculating the HOG feature value are included.

記憶装置30の構成要素のうち、データ記憶部DMは、画像キャプチャプログラムCPでキャプチャされた撮像画像のデータを格納する撮像画像データ記憶部CDと、ラインセグメントプログラムLSで抽出された直線成分(線分)のデータを記憶する直線成分(線分)データ記憶部LDと、ラインセグメント長時間露光画像作成プログラムLEに基づいて作成された長時間露光画像のデータを記憶するラインセグメント長時間露光画像データ記憶部BDと、HOG特徴量算出プログラムFCで算出される各種データを記憶するHOG特徴量データ記憶部FDと、人体画像検出プログラムGDにおける検出結果を記憶する検出データ記憶部DDとを有する。   Among the components of the storage device 30, the data storage unit DM includes a captured image data storage unit CD that stores captured image data captured by the image capture program CP, and a linear component (line) extracted by the line segment program LS. Line segment long-exposure image data that stores data of a long-exposure image created based on a line segment long-exposure image creation program LE It has a storage unit BD, a HOG feature amount data storage unit FD that stores various data calculated by the HOG feature amount calculation program FC, and a detection data storage unit DD that stores detection results in the human body image detection program GD.

以上のうち、HOG特徴量データ記憶部FDは、HOG特徴量の算出のためのデータとして画像勾配データを記憶する画像勾配データ記憶部SDと、画像勾配データ削除プログラムDPに基づいて取捨選択された結果を記憶する画像勾配データ選択結果記憶部CRと、HOG特徴量を示す勾配方向ヒストグラムのデータを記憶する勾配方向ヒストグラムデータ記憶部HDとを含んでいる。   Among the above, the HOG feature amount data storage unit FD has been selected based on the image gradient data storage unit SD that stores image gradient data as data for calculating the HOG feature amount and the image gradient data deletion program DP. It includes an image gradient data selection result storage unit CR for storing results, and a gradient direction histogram data storage unit HD for storing gradient direction histogram data indicating HOG feature values.

プログラム記憶部PMのうち、画像キャプチャプログラムCPは、例えば図4(A)に示すような撮像画像PAをキャプチャし、その画像データが撮像画像データ記憶部CDに記憶される。   In the program storage unit PM, the image capture program CP captures a captured image PA as shown in FIG. 4A, for example, and the image data is stored in the captured image data storage unit CD.

ラインセグメントプログラムLSは、例えば図4(B)に示す画像PBに見られるような線分(直線成分)を、図4(A)の撮像画像PAから抽出するためのプログラムであり、その線分(直線成分)についてのデータが直線成分(線分)データ記憶部LDに記憶される。言い換えると、CPU10は、ラインセグメントプログラムLSを読み出すことで線分検出を行う直線成分検出部であるラインセグメントディテクターとして機能する。   The line segment program LS is a program for extracting, for example, a line segment (straight line component) as seen in the image PB shown in FIG. 4B from the captured image PA in FIG. Data on (straight line component) is stored in the straight line component (line segment) data storage unit LD. In other words, the CPU 10 functions as a line segment detector that is a linear component detection unit that detects a line segment by reading the line segment program LS.

ラインセグメント長時間露光画像作成プログラムLEは、データ記憶部LDに記憶された線分(直線成分)を含む画像であって、互いに時間差のある複数の画像を重ね合せたものによって長時間露光画像(図8参照)を作成するためのプログラムである。つまり、CPU10は、ラインセグメント長時間露光画像作成プログラムLEを読み出して、長時間露光画像作成部として機能する。作成された長時間露光画像は、ラインセグメント長時間露光画像データ記憶部BDに記憶される。なお、長時間露光画像の作成処理について詳しくは、図7等を参照して後述する。   The line segment long-exposure image creation program LE is an image including line segments (straight line components) stored in the data storage unit LD, and is a long-exposure image (by overlapping a plurality of images having a time difference with each other). This is a program for creating (see FIG. 8). That is, the CPU 10 reads the line segment long exposure image creation program LE and functions as a long exposure image creation unit. The created long exposure image is stored in the line segment long exposure image data storage unit BD. Details of the long-exposure image creation process will be described later with reference to FIG.

一般的なHOG特徴量の算出に関しては、例えば上記引用文献1等に詳しくある説明やHOG特徴量に関する既知の文献等での説明を繰り返すことになるため、ここでは詳細な説明を省略するが、例えばHOG特徴量算出プログラムFCのうち、画像勾配算出プログラムSCは、HOG特徴量を算出するために必要となる画像勾配データを算出するものであり、図5(A)に一例を示す矩形領域に分割されたブロック画像G1について各ブロック画像G1を構成する画素PXごとに、輝度の勾配強度m(x,y)や勾配方向θ(x,y)を算出するといった算出の処理がなされる。なお、勾配強度m(x,y)及び勾配方向θ(x,y)の定義は、以下の通りである。

Figure 0006570219
ここで、L(x,y)は、各画素での輝度を示す。また、図5(B)は、上記勾配強度m(x,y)を予め定められた勾配方向にヒストグラム化したものを示す一例である。本実施形態では以上のようなHOG特徴量を算出するために、HOG特徴量算出プログラムFCが画像勾配算出プログラムSC及び勾配方向ヒストグラム算出プログラムHCを有するものとなっている。この上で、さらに、HOG特徴量算出プログラムFCは、算出において除外すべきデータとなる画像勾配データを削除する画像勾配データ削除プログラムDPを含んでいる。具体的には、画像勾配データ削除プログラムDPは、HOG特徴量の算出において、ラインセグメントの長時間露光画像でデータのある部分を削除する処理を行っている。これにより、以外の物体についての直線成分以外の情報についての直線成分に関するデータを除去することになる。つまり、CPU10は、記憶装置30から画像勾配データ削除プログラムを読み出して、除去すべき直線成分を除去することで、直線成分除去部として機能する。 For general calculation of the HOG feature amount, for example, the explanation in detail in the cited reference 1 and the like, and the explanation in the known literature etc. regarding the HOG feature amount will be repeated. For example, the image gradient calculation program SC in the HOG feature amount calculation program FC calculates image gradient data necessary for calculating the HOG feature amount, and the rectangular region shown as an example in FIG. For the divided block image G1, calculation processing such as calculating the gradient intensity m (x, y) and gradient direction θ (x, y) of the luminance is performed for each pixel PX constituting each block image G1. The definitions of the gradient strength m (x, y) and the gradient direction θ (x, y) are as follows.
Figure 0006570219
Here, L (x, y) indicates the luminance at each pixel. FIG. 5B is an example showing a histogram of the gradient strength m (x, y) in a predetermined gradient direction. In this embodiment, in order to calculate the HOG feature value as described above, the HOG feature value calculation program FC includes an image gradient calculation program SC and a gradient direction histogram calculation program HC. In addition, the HOG feature amount calculation program FC further includes an image gradient data deletion program DP that deletes image gradient data as data to be excluded in the calculation. Specifically, the image gradient data deletion program DP performs a process of deleting a portion of data in the long exposure image of the line segment in the calculation of the HOG feature amount. As a result, data relating to the straight line component for information other than the straight line component for other objects is removed. That is, the CPU 10 functions as a linear component removal unit by reading the image gradient data deletion program from the storage device 30 and removing the linear component to be removed.

以下、図6のフローチャート等を参照して、本実施形態の物体検出装置100を用いた人体画像検出の処理について説明する。まず、CPU10は、画像情報受付部20を介して撮像装置90から画像情報を取得するとともに、記憶装置30から画像キャプチャプログラムCPを適宜読み出して、撮像画像のキャプチャを行い、図4(A)に例示する入力画像を取得する(ステップS1)。次に、CPU10は、記憶装置30からラインセグメントプログラムLSを読み出して、図4(B)に例示する画像PBに見られるような線分(直線成分)を含んだ画像データを抽出する(ステップS2)。次に、CPU10は、記憶装置30からラインセグメント長時間露光画像作成プログラムLEを読み出して、ステップS2で抽出された画像データに基づいてラインセグメントの長時間露光画像を作成する(ステップS3)。なお、ステップS3における画像処理の詳細は、図7等を参照して後述するが、ステップS3において、目的物体に関する情報と目的以外の物体に関する情報とを分離可能とするデータが取得される。次に、CPU10は、ラインセグメントの長時間露光画像に含まれる直線成分(線分)に基づいて記憶装置30からHOG特徴量算出プログラムFCを読み出して、HOG特徴量を算出する処理を行う(ステップS4)。なお、ステップS4において、ステップS3の結果を利用してノイズとなる不要データの削除を可能にしている。次に、CPU10は、ステップS4において算出されたHOG特徴に基づいて、検出対象となっている撮像画像データ中に人体画像が存在するか否かを判定する(ステップS5)。次に、CPU10は、人体画像の検出終了の指示があるか否かを確認し(ステップS6)、確認されなければ(ステップS6:No)、上記ステップS1〜S6の動作を繰り返す。検出終了の指示があれば(ステップS6:Yes)、終了する。   Hereinafter, a human body image detection process using the object detection apparatus 100 according to the present embodiment will be described with reference to the flowchart of FIG. 6 and the like. First, the CPU 10 acquires image information from the imaging device 90 via the image information receiving unit 20, reads the image capture program CP from the storage device 30 as appropriate, and captures the captured image, as shown in FIG. An input image to be exemplified is acquired (step S1). Next, the CPU 10 reads the line segment program LS from the storage device 30 and extracts image data including a line segment (straight line component) as seen in the image PB illustrated in FIG. 4B (step S2). ). Next, the CPU 10 reads the line segment long exposure image creation program LE from the storage device 30, and creates a long exposure image of the line segment based on the image data extracted in step S2 (step S3). Details of the image processing in step S3 will be described later with reference to FIG. 7 and the like. In step S3, data that enables separation of information related to the target object and information related to the object other than the target is acquired. Next, the CPU 10 reads the HOG feature value calculation program FC from the storage device 30 based on the straight line component (line segment) included in the long-exposure image of the line segment, and performs a process of calculating the HOG feature value (step). S4). In step S4, unnecessary data that becomes noise can be deleted using the result of step S3. Next, the CPU 10 determines whether or not a human body image exists in the captured image data to be detected based on the HOG feature calculated in step S4 (step S5). Next, the CPU 10 confirms whether or not there is an instruction to end detection of the human body image (step S6). If not confirmed (step S6: No), the operations of steps S1 to S6 are repeated. If there is an instruction to end detection (step S6: Yes), the process ends.

以下、図7及び図8のほか、図9のフローチャートを参照して、図6に示した各種処理のうち、ラインセグメント長時間露光画像作成処理(ステップS3の処理)の一例について説明する。ここで、長時間露光画像とは、互いに時間差のある画像を重ね合せたものとして例えば固定カメラによって同じ箇所を撮影して取得される数秒程度分の画像データを重畳(輝度を加算)させて取得される画像を意味する。ここでは、一例として、同じ箇所を撮影した複数の撮像画像(撮像時間数秒分のデータ)についてステップS2において抽出された直線成分(線分)を含んだ画像データを重ね合わせるものとする。この場合、例えば重ね合わせられた画像において描画されている直線成分について、時間経過において動かない物体(静止物体)のものほどはっきり浮かび上がった状態となる(図8参照)。   Hereinafter, with reference to the flowchart of FIG. 9 in addition to FIGS. 7 and 8, an example of the line segment long-time exposure image creation process (the process of step S3) among the various processes shown in FIG. 6 will be described. Here, the long-exposure image is obtained by superimposing (adding luminance) image data for several seconds obtained by superimposing images with the time difference on each other, for example, by capturing the same part with a fixed camera. Means an image to be played. Here, as an example, it is assumed that image data including the straight line component (line segment) extracted in step S2 is superimposed on a plurality of captured images (data corresponding to several seconds of imaging time) captured at the same location. In this case, for example, with respect to the linear component drawn in the superimposed image, an object that does not move over time (stationary object) is more clearly revealed (see FIG. 8).

さらに、直線成分(線分)については、横方向の成分をあらかじめ削除し、縦方向の成分のみを抽出するものとする。具体的には、図7(A)及び7(B)に示すように、閾値として設定した角度αによって、縦方向の成分であるか横方向の成分であるかを決定する。ここでは、一例として垂直方向を0°として±20°を境界とする。すなわち、図7(A)に示すように、垂直方向について±20°以内すなわち、0°から20°まで、または160°から180°未満までの角度範囲にある直線成分LE1を縦方向の成分とし、図7(B)に示すように、それ以外の角度範囲にある直線成分LE2を横方向の成分とする。本実施形態では、既述のように、人体画像の検出を目的としており、人体画像の検出に際しては、縦方向の成分が重要であるため、図7(A)に示すような縦方向と判断される直線成分LE1のみを取り扱い、図7(B)に示すような横方向と判断される直線成分LE2を除外する。このため、結果的に取得される直線成分は、図8に例示するように、縦方向の直線成分のみを有するものとなる。   Further, for the straight line component (line segment), the horizontal component is deleted in advance, and only the vertical component is extracted. Specifically, as shown in FIGS. 7A and 7B, whether the component is a vertical component or a horizontal component is determined based on the angle α set as the threshold value. Here, as an example, the vertical direction is 0 °, and ± 20 ° is the boundary. That is, as shown in FIG. 7A, the vertical component is a linear component LE1 within ± 20 ° in the vertical direction, that is, in an angle range from 0 ° to 20 ° or from 160 ° to less than 180 °. As shown in FIG. 7B, a linear component LE2 in the other angle range is set as a horizontal component. In the present embodiment, as described above, the purpose is to detect a human body image, and in detecting a human body image, the vertical component is important. Therefore, the vertical direction as shown in FIG. 7A is determined. Only the linear component LE1 to be processed is handled, and the linear component LE2 determined to be in the horizontal direction as shown in FIG. 7B is excluded. For this reason, the linear component acquired as a result has only the linear component of a vertical direction so that it may illustrate in FIG.

以上のような直線成分画縦方向の成分であるか横方向の成分であるかを判定するためのプログラムが、記憶装置30において抽出線分角度設定プログラムASとして格納されている。言い換えると、CPU10は、抽出線分角度設定プログラムASを読み出して直線成分(線分)についての角度情報を抽出し、当該角度情報に基づいて直線成分の選別を行う角度情報選別部として機能するものとなっている。特に、本実施形態では、角度αについて設定された閾値を満たす縦方向の成分を有する直線成分を次段処理であるステップS4のHOG特徴量での処理対象の直線成分として抽出し、横方向の直線成分をステップS3の段階で予め除去している。   A program for determining whether the component is a vertical component or a horizontal component as described above is stored in the storage device 30 as the extracted line segment angle setting program AS. In other words, the CPU 10 functions as an angle information selection unit that reads the extracted line segment angle setting program AS, extracts angle information about the straight line component (line segment), and selects the straight line component based on the angle information. It has become. In particular, in the present embodiment, a straight line component having a vertical component that satisfies the threshold set for the angle α is extracted as a straight line component to be processed in the HOG feature value in step S4, which is the next stage process, and the horizontal direction component is extracted. The linear component is previously removed in the step S3.

以下、図9のフローチャートを参照して、ラインセグメント長時間露光画像作成処理の一例について詳細に説明する。ここでは、一例として、ステップS2において当該画像中における線分(直線成分)について画像に描画し、描画した画像を重ね合わせることで、図8に示したような長時間露光画像を作成するものとする。   Hereinafter, an example of a line segment long exposure image creation process will be described in detail with reference to the flowchart of FIG. Here, as an example, in step S2, a line segment (straight line component) in the image is drawn on the image, and the drawn images are overlapped to create a long exposure image as shown in FIG. To do.

まず、CPU10は、ステップS2において、同一または略同一の箇所であって時間差をつけて撮像した複数の撮像画像(撮像時間数秒分のデータ)が抽出されると、ラインセグメント長時間露光画像作成プログラムLEを読み出して、長時間露光画像の作成のための各種処理を行う。具体的には、まず、これらの撮像画像の全てについて、線分描画の処理が終了したかを確認し(ステップS101)、終了していなければ(ステップS101:No)、処理対象となる画像(すなわち未描画の画像)を適宜選択し(ステップS102)、ステップS2において当該画像中における線分(直線成分)として抽出された情報を読み出す(ステップS103)。ステップS103において読み出された有限個の線分(直線成分)のうち、適宜最初の処理対象を選択し(ステップS104)、全ての線分(直線成分)について描画対象とすべき成分を取捨判定する処理画終了しているかを確認する(ステップS105)。ステップS105において、終了していないと判断すると(ステップS105:No)、CPU10は、記憶装置30から抽出線分角度設定プログラムASを読み出して、処理対象となっている線分(直線成分)の傾き角度が一定範囲内であるか、すなわち縦方向のものであるか横方向のものであるかを判定する(ステップS106)。ステップS106において、角度が一定範囲内であると判断されると(ステップS106:Yes)、CPU10は、処理対象の線分(直線成分)を描画対象として記憶し(ステップS107)、角度が一定範囲内にないと判断されると(ステップS106:No)、CPU10は、処理対象の線分(直線成分)を描画対象から除外し(ステップS108)、次の処理対象となる線分(直線成分)を選択する(ステップS109)。CPU10は、上記ステップS106からステップS109までの動作を、全ての線分(直線成分)について処理を終えるまで(ステップS105:YES)繰り返す。CPU10は、処理対象の画像に含まれる有限湖の線分(直線成分)の全てについての処理を終えると、ステップS107において記憶された全ての線分を描画する(ステップS110)。ステップS110の処理の後、次の処理対象となる撮像画像があるかを確認し(ステップS101)、ステップS101において全ての撮像画像について線分描画の処理が終了したと判断するまで(ステップS101:Yes)、上記ステップS101からステップS110までの動作を繰り返す。CPU10は、全ての撮像画像について線分描画の処理が終了したと判断すると(ステップS101:Yes)、CPU10は、ラインセグメント長時間露光画像作成プログラムLEに含まれる画像の重ね合わせプログラムを読み出して線分描画された各画像を重ね合わせる(ステップS111)。ステップS111の処理により、図8に例示したラインセグメント長時間露光画像が作成され、ステップS4の処理が終了する。以上の処理によって取得されるラインセグメント長時間露光画像に描画された直線成分(線分)は、画像中において特に位置の変化しない、すなわち時間経過において動かない物体(静止物体)の直線成分のうち縦方向の成分を抽出したものとなる。従って、本実施形態の場合のように人体のように時間経過とともに動く(移動する)ものを検出対象とする場合には、上記のようにして抽出された直線成分についての情報を、次段の処理である特徴量算出の際に除去することで、いわばノイズとなる不要な情報を削減でき、精度の高い結果が期待でき、延いては目的物体の検出をより確実なものにできる。   First, in step S2, when a plurality of captured images (data corresponding to several seconds of imaging time) taken at the same or substantially the same location and with a time difference are extracted, the CPU 10 extracts a line segment long-time exposure image creation program. LE is read out and various processes for creating a long exposure image are performed. Specifically, first, it is confirmed whether or not the line drawing process has been completed for all of these captured images (step S101). If not completed (step S101: No), the image ( That is, an undrawn image) is appropriately selected (step S102), and information extracted as a line segment (straight line component) in the image in step S2 is read (step S103). Of the finite number of line segments (straight line components) read out in step S103, the first processing target is appropriately selected (step S104), and all line segments (straight line components) are determined to be drawn. It is confirmed whether the processing image to be completed has been completed (step S105). If it is determined in step S105 that the processing has not ended (step S105: No), the CPU 10 reads the extracted line segment angle setting program AS from the storage device 30, and the inclination of the line segment (linear component) to be processed. It is determined whether the angle is within a certain range, that is, whether the angle is in the vertical direction or the horizontal direction (step S106). If it is determined in step S106 that the angle is within a certain range (step S106: Yes), the CPU 10 stores the line segment (straight line component) to be processed as a drawing target (step S107), and the angle is within the certain range. If it is determined that it is not within (step S106: No), the CPU 10 excludes the line segment (straight line component) to be processed from the drawing target (step S108), and the line segment (straight line component) to be processed next. Is selected (step S109). CPU10 repeats the operation | movement from the said step S106 to step S109 until it completes a process about all the line segments (straight line component) (step S105: YES). CPU10 will draw all the line segments memorize | stored in step S107, if the process about all the line segments (straight line component) of the finite lake contained in the image of a process target is complete | finished (step S110). After the process of step S110, it is confirmed whether there is a captured image to be processed next (step S101), and until it is determined in step S101 that the line drawing process has been completed for all captured images (step S101: Yes), the operations from step S101 to step S110 are repeated. When the CPU 10 determines that the line drawing process has been completed for all the captured images (step S101: Yes), the CPU 10 reads the image overlay program included in the line segment long exposure image creation program LE and reads the line. The respective drawn images are superimposed (step S111). By the process of step S111, the line segment long exposure image illustrated in FIG. 8 is created, and the process of step S4 ends. The straight line component (line segment) drawn in the line segment long exposure image acquired by the above processing is not particularly changed in position in the image, that is, out of the straight line component of an object (stationary object) that does not move with time. The component in the vertical direction is extracted. Therefore, when the detection target is a moving (moving) human body such as the human body as in the case of the present embodiment, the information about the linear component extracted as described above is used as the next stage. By removing at the time of calculating the feature amount, which is a process, it is possible to reduce unnecessary information that becomes noise, so that a highly accurate result can be expected, and the target object can be detected more reliably.

以下、図10のフローチャートを参照して、HOG特徴量算出処理(ステップS4の処理)の一例について説明する。まず、CPU10は、記憶装置30のHOG特徴量算出プログラムFCのうち画像勾配算出プログラムを読み出して、図5(A)等を参照して説明したように、入力画像について局所的に分割されたブロック画像から、輝度の勾配に関する算出処理を行う(ステップS201)。次に、CPU10は、画像勾配データ削除プログラムDPを読み出して、上記したステップS4において取得されたラインセグメント長時間露光画像についての直線成分(線分)のデータ分を削除した上で(ステップS202)、CPU10は、勾配方向ヒストグラム算出プログラムHCを読み出して、図5(B)等を参照して説明したように、勾配方向ヒストグラムを作成する(ステップS203)。   Hereinafter, an example of the HOG feature amount calculation process (the process of step S4) will be described with reference to the flowchart of FIG. First, the CPU 10 reads an image gradient calculation program from the HOG feature amount calculation program FC of the storage device 30 and locally blocks the input image as described with reference to FIG. From the image, a calculation process related to the luminance gradient is performed (step S201). Next, the CPU 10 reads the image gradient data deletion program DP and deletes the data of the linear component (line segment) for the line segment long-time exposure image acquired in step S4 described above (step S202). The CPU 10 reads the gradient direction histogram calculation program HC and creates a gradient direction histogram as described with reference to FIG. 5B and the like (step S203).

なお、図6に示すステップS5の人検出処理では、CPU10は、人体画像検出プログラムGDを読み出し、上記のようにステップS203において作成された勾配方向ヒストグラム等に基づいて、検出の目的物体である人(人体画像)の検出処理を行う検出処理部として、画像処理による人検出を行う。   In the human detection process in step S5 shown in FIG. 6, the CPU 10 reads the human body image detection program GD and, based on the gradient direction histogram created in step S203 as described above, the person who is the detection target object. Human detection by image processing is performed as a detection processing unit that performs detection processing of (human body image).

以上のように、本実施形態の物体検出装置100では、CPU10は、ラインセグメント長時間露光画像作成プログラムLEに基づいて作成される時間差のある画像に基づいて除去すべき直線成分を決定することで、人体等の目的とする物体についての直線成分とそれ以外の物体についての直線成分とを判別し、また、CPU10は、直線成分除去部として、画像勾配データ削除プログラムDPを読み出して除去すべき直線成分を除去する。すなわち、目的物体に関する情報と目的以外の物体に関する情報とを分離している。これにより、特徴量算出部であるHOG特徴量算出プログラムFCによるHOG特徴量の算出において、精度の高い結果が期待でき、目的物体の検出をより確実なものにできる。   As described above, in the object detection apparatus 100 according to the present embodiment, the CPU 10 determines a linear component to be removed based on an image having a time difference created based on the line segment long exposure image creation program LE. The CPU 10 discriminates the straight line component for the target object such as a human body and the straight line component for the other object, and the CPU 10 reads the image gradient data deletion program DP as a straight line component removal unit, and the straight line to be removed. Remove ingredients. That is, the information about the target object and the information about the object other than the target are separated. Thereby, in the calculation of the HOG feature value by the HOG feature value calculation program FC which is the feature value calculation unit, a highly accurate result can be expected, and the detection of the target object can be made more reliable.

この発明は、上記の実施形態又は実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。   The present invention is not limited to the above embodiments or examples, and can be implemented in various modes without departing from the scope of the invention.

上記では、物体検出装置100による検出対象を人(人体画像)としているが、これに限らず、多くの移動する(動きのある)物体を検出対象とすることができる。例えば、車両を検出対象とすることができる。また、人を検出対象とする場合、HOG特徴量としては、縦成分の直線成分の抽出が重要であったため、縦方向の成分についてのみ抽出した上で、人体由来以外のものを除去するものとしたが、車両についての検出を行う場合には、横方向の直線成分を特徴量の解析のために抽出するものとしてもよい。   In the above description, the object to be detected by the object detection device 100 is a person (human body image). However, the present invention is not limited to this, and many moving (moving) objects can be detected. For example, a vehicle can be a detection target. In addition, when a person is a detection target, it is important to extract a vertical linear component as a HOG feature, so that only a vertical component is extracted and then those other than those derived from the human body are removed. However, when detecting the vehicle, the linear component in the horizontal direction may be extracted for analysis of the feature amount.

また、上記では、例えば図9のフローチャートでの説明では、画像中における線分(直線成分)について画像に描画するものとしてその一例を示しているが、処理の手順等は図9の場合に限らず種々の方法を選択できる。さらに、目的としては、最終的に除去すべき線分(直線成分)に関するデータを取得できればよく、これが取得できる方法であれば、描画するものに限らずデータだけを取得する方法を適用してもよい。   In the above description, for example, the description in the flowchart of FIG. 9 shows an example in which a line segment (straight line component) in the image is drawn on the image, but the processing procedure is limited to the case of FIG. Various methods can be selected. Furthermore, as a purpose, it is only necessary to acquire data related to a line segment (straight line component) to be finally removed. If this can be acquired, a method of acquiring only data is not limited to a drawing. Good.

また、撮像装置90については、固定的に設置されたカメラとしているが、例えば静止するものと動くものとを区別できる直線成分のデータが取得できれば、多少動くカメラを利用するものとしてもよい。   Further, although the imaging device 90 is a fixedly installed camera, for example, a camera that moves somewhat may be used as long as linear component data that can distinguish a stationary object from a moving object can be acquired.

また、露光時間についても、数秒程度としているが、目的とする直線成分のデータを取得できれば、これ以外の時間差のある画像データを利用するものとしてもよい。   Although the exposure time is about several seconds, other image data having a time difference may be used as long as the target linear component data can be acquired.

さらに、撮像装置90の撮像範囲の対象となっている領域において、予め不要で削除可能であることが決まっている領域の画像データに関しては、直線成分等が抽出されても予め削除しておくものとしてもよい。   Furthermore, in the area that is the target of the imaging range of the imaging device 90, the image data of the area that is determined to be unnecessary and can be deleted in advance is deleted in advance even if a linear component or the like is extracted. It is good.

また、上記では、画像勾配データ削除プログラムDPによって除外すべきデータとなる画像勾配データを削除するものとしているが、削除すべきデータを削除するタイミングについては、画像処理の便宜等から種々のタイミングで行うものとすればよい。   In the above description, the image gradient data that is to be excluded by the image gradient data deletion program DP is deleted. However, the timing for deleting the data to be deleted is at various timings for the convenience of image processing. Do what you do.

また、上記では、特徴量の検出手法として、HOG特徴量について分析解析を行うものとしているが、特徴量に関しては、HOG特徴量以外のものを利用することも可能である。   In the above description, the HOG feature amount is analyzed and analyzed as a feature amount detection method. However, a feature amount other than the HOG feature amount may be used.

以上の実施形態で説明された構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎない。従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。   The configurations, shapes, sizes, and arrangement relationships described in the above embodiments are merely schematically shown to the extent that the present invention can be understood and implemented. Therefore, the present invention is not limited to the described embodiments, and can be variously modified without departing from the scope of the technical idea shown in the claims.

20…画像情報受付部、 30…記憶装置、 40…表示装置、 50…入力装置、 70…バス、 80…情報処理部、 90…撮像装置、 100…物体検出装置、 AS…抽出線分角度設定プログラム、 BD…ラインセグメント長時間露光画像データ記憶部、 CD…撮像画像データ記憶部、 CP…画像キャプチャプログラム、 CR…画像勾配データ選択結果記憶部、 DD…検出データ記憶部、 DM…データ記憶部、 DP…画像勾配データ削除プログラム、 FC…特徴量算出プログラム、 FD…特徴量データ記憶部、 GD…人体画像検出プログラム、 HC…勾配方向ヒストグラム算出プログラム、 HD…勾配方向ヒストグラムデータ記憶部、 LD…データ記憶部、 LE…ラインセグメント長時間露光画像作成プログラム、 LS…ラインセグメントプログラム、 PM…プログラム記憶部、 SC…画像勾配算出プログラム、 SD…画像勾配データ記憶部、 L1,LE1,LE2,LL1…直線成分(線分)、 G1…ブロック画像、 P1,P2…画像、 PA…撮像画像、 PB…画像、 PX…画素、 α…角度   DESCRIPTION OF SYMBOLS 20 ... Image information reception part 30 ... Memory | storage device 40 ... Display apparatus 50 ... Input device 70 ... Bus | bath 80 ... Information processing part 90 ... Imaging device 100 ... Object detection apparatus AS ... Extraction line segment angle setting Program: BD: Line segment long exposure image data storage unit, CD: Captured image data storage unit, CP: Image capture program, CR: Image gradient data selection result storage unit, DD: Detection data storage unit, DM: Data storage unit DP ... image gradient data deletion program, FC ... feature amount calculation program, FD ... feature amount data storage unit, GD ... human body image detection program, HC ... gradient direction histogram calculation program, HD ... gradient direction histogram data storage unit, LD ... Data storage unit, LE ... Line segment long exposure image creation program, LS ... Line segment program, PM ... Program storage unit, SC ... Image gradient calculation program, SD ... Image gradient data storage unit, L1, LE1, LE2, LL1 ... Linear component (line segment), G1 ... Block image, P1, P2 ... Image, PA ... Image, PB ... Image, PX ... Pixel, α ... Angle

Claims (6)

検出対象の画像から直線成分を検出する直線成分検出部と、
前記直線成分検出部で検出された直線成分から抽出した角度情報に基づいて選別された直線成分のうち位置の変化しないものを除去すべき直線成分として決定する直線成分除去部と、
前記直線成分除去部において除去されずに残った直線成分に基づいて特徴量を算出する特徴量算出部と、
前記特徴量算出部での算出結果から物体の検出処理を行う検出処理部と
を備える物体検出装置。
A linear component detector for detecting a linear component from the detection target image;
And a linear component removing unit that determines as a linear component to be remove those which do not change in position of the linear components that are sorted based on the extracted angle information from the line component detected by the linear component detection section,
A feature amount calculation unit that calculates a feature amount based on a linear component that remains without being removed in the linear component removal unit;
An object detection apparatus comprising: a detection processing unit that performs an object detection process from a calculation result of the feature amount calculation unit.
前記直線成分除去部は、時間差のある画像に基づいて除去すべき直線成分を決定する、請求項1に記載の物体検出装置。   The object detection apparatus according to claim 1, wherein the linear component removal unit determines a linear component to be removed based on an image having a time difference. 前記時間差のある画像として、長時間露光画像を作成する長時間露光画像作成部を備える、請求項2に記載の物体検出装置。   The object detection apparatus according to claim 2, further comprising a long-time exposure image creation unit that creates a long-time exposure image as the image having a time difference. 前記直線成分検出部で検出された直線成分について抽出した前記角度情報に基づいて前記直線成分除去部における処理対象とすべき直線成分の選別を行う角度情報選別部を備え、
前記角度情報選別部は、角度について設定された閾値を満たす縦方向の成分を有する直線成分を、前記直線成分除去部における処理対象の直線成分として抽出する、請求項1からまでのいずれか一項に記載の物体検出装置。
An angle information selection unit for selecting a linear component to be processed in the linear component removal unit based on the angle information extracted for the linear component detected by the linear component detection unit;
The angle information sorting unit, a line component having a longitudinal component which satisfies the set threshold for the angle, is extracted as a linear component to be processed in said linear component removal unit, one of the Claims 1 to 3 one The object detection device according to item.
前記直線成分検出部は、線分検出を行うラインセグメントディテクターである、請求項1からまでのいずれか一項に記載の物体検出装置。 The linear component detection section is a line segment detector that performs line detection, object detection apparatus according to any one of claims 1 to 4. 前記特徴量算出部は、前記特徴量としてHOG特徴量を算出する、請求項1からまでのいずれか一項に記載の物体検出装置。 The object detection device according to any one of claims 1 to 5 , wherein the feature amount calculation unit calculates a HOG feature amount as the feature amount.
JP2014134873A 2014-06-30 2014-06-30 Object detection device Active JP6570219B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014134873A JP6570219B2 (en) 2014-06-30 2014-06-30 Object detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014134873A JP6570219B2 (en) 2014-06-30 2014-06-30 Object detection device

Publications (2)

Publication Number Publication Date
JP2016012311A JP2016012311A (en) 2016-01-21
JP6570219B2 true JP6570219B2 (en) 2019-09-04

Family

ID=55228972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014134873A Active JP6570219B2 (en) 2014-06-30 2014-06-30 Object detection device

Country Status (1)

Country Link
JP (1) JP6570219B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6661082B2 (en) 2016-03-30 2020-03-11 株式会社エクォス・リサーチ Image recognition device and image recognition program
JP7044504B2 (en) * 2016-11-21 2022-03-30 矢崎総業株式会社 Image processing device, image processing method and image processing program
CN108055302B (en) * 2017-12-05 2020-10-20 竞技世界(北京)网络技术有限公司 Picture caching processing method and system and server

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086417A (en) * 2002-08-26 2004-03-18 Gen Tec:Kk Method and device for detecting pedestrian on zebra crossing
JP5880089B2 (en) * 2012-01-31 2016-03-08 凸版印刷株式会社 Comic image data detection apparatus and comic image data detection program

Also Published As

Publication number Publication date
JP2016012311A (en) 2016-01-21

Similar Documents

Publication Publication Date Title
US9842269B2 (en) Video processing apparatus, video processing method, and recording medium
US20140055826A1 (en) Handheld device document imaging
JP6800628B2 (en) Tracking device, tracking method, and program
JP5722381B2 (en) Video analysis
JP2009186434A (en) Image inspection device, image inspection method and computer program
JP6570370B2 (en) Image processing method, image processing apparatus, program, and recording medium
JP5832910B2 (en) Image monitoring device
JP5699432B2 (en) Image processing device
JP4518139B2 (en) Image processing device
JP5544344B2 (en) Defect observation method and defect observation apparatus
JP5908844B2 (en) Image processing apparatus and image processing method
US8295645B2 (en) Image processing apparatus, image processing method, and computer program
JP2008286725A (en) Person detector and detection method
JP2017199289A5 (en)
JP6570219B2 (en) Object detection device
JP2008117305A (en) Image processor
JP2015040941A5 (en)
JP6638723B2 (en) Image analysis device, image analysis method, and image analysis program
JP2009211122A (en) Image processor and object estimation program
JP2010020581A (en) Image synthesizing system eliminating unnecessary objects
JP2009139133A (en) Flaw detection method and flaw detector
JP6221283B2 (en) Image processing apparatus, image processing method, and image processing program
JP6326622B2 (en) Human detection device
US11308342B2 (en) Information processing apparatus, control method, and storage medium
JP2010244301A (en) Moving direction detection device, moving direction detection method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190416

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190628

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190806

R150 Certificate of patent or registration of utility model

Ref document number: 6570219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150