JP5861299B2 - Detection apparatus and detection method - Google Patents

Detection apparatus and detection method Download PDF

Info

Publication number
JP5861299B2
JP5861299B2 JP2011162490A JP2011162490A JP5861299B2 JP 5861299 B2 JP5861299 B2 JP 5861299B2 JP 2011162490 A JP2011162490 A JP 2011162490A JP 2011162490 A JP2011162490 A JP 2011162490A JP 5861299 B2 JP5861299 B2 JP 5861299B2
Authority
JP
Japan
Prior art keywords
detection target
detection
image
sub
classifiers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011162490A
Other languages
Japanese (ja)
Other versions
JP2013025713A (en
Inventor
林 正樹
林  正樹
広和 笠原
広和 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2011162490A priority Critical patent/JP5861299B2/en
Publication of JP2013025713A publication Critical patent/JP2013025713A/en
Application granted granted Critical
Publication of JP5861299B2 publication Critical patent/JP5861299B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、検出装置及び検出方法に関する。   The present invention relates to a detection apparatus and a detection method.

赤外線センサーなどを用いて人体等を検出する装置の開発が行われている。このような装置は、車両周囲に人物等が存在する場合に、その旨を車両の乗員に認識させることなどに用いられる。   An apparatus for detecting a human body using an infrared sensor or the like has been developed. Such a device is used to make a vehicle occupant recognize when a person or the like is present around the vehicle.

特許文献1には、ミリ波の反射波が微弱である人物を車両等と区別して検出するために遠赤外線カメラの撮像画像を補助的に利用することが示されている。特許文献2には、物体の温度に相当する輝度値が閾値の範囲内か否かに基づいて人物を検出することが示されている。   Patent Document 1 discloses that a captured image of a far-infrared camera is used in an auxiliary manner to detect a person having a weak reflected millimeter wave from a vehicle or the like. Patent Document 2 discloses that a person is detected based on whether or not a luminance value corresponding to the temperature of an object is within a threshold range.

特開2010−127717号公報JP 2010-127717 A 特開2006−101384号公報JP 2006-101384 A

上述の手法は、基本的に、人物の温度に近い温度が見つかった場合に人物であると判定している。人物の表面温度はその人物の周囲の温度(環境温度)によって変化する。しかしながら、上述の手法では、環境温度により人物の表面温度が変化することは考慮されていなかった。例えば、夏の人物は薄着となるため表面温度は体温近辺となるが、冬の人物は厚着となるため表面温度は環境温度に近い温度となる。すなわち、季節によっては、検出が困難となる場合がある。   The above-described method basically determines that a person is found when a temperature close to that of the person is found. The surface temperature of a person varies depending on the ambient temperature (environment temperature) of the person. However, in the above-described method, it has not been considered that the surface temperature of the person changes due to the environmental temperature. For example, since the person in the summer is lightly worn, the surface temperature is around the body temperature, while the person in the winter is thickly worn, the surface temperature is close to the environmental temperature. That is, detection may be difficult depending on the season.

また、顔など肌が露出している部分の温度は、季節にかかわらずほぼ一定とみることもできるが、顔の向き、髪型、着衣等により常に撮影されるとは限らないため、有効に検出できるか否かは定かではない。すなわち、検出対象物の温度が環境温度によって変わる場合において、精度良く検出対象物を検知することができないという問題がある。   In addition, the temperature of the part where the skin is exposed, such as the face, can be considered to be almost constant regardless of the season, but it is not always photographed depending on the face direction, hairstyle, clothes, etc., so it can be detected effectively. Whether it can be done is not certain. That is, there is a problem that the detection target cannot be detected with high accuracy when the temperature of the detection target varies depending on the environmental temperature.

本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出精度を向上させることを目的とする。   This invention is made | formed in view of such a situation, and it aims at improving the detection accuracy of a detection target object.

上記目的を達成するための主たる発明は、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
前記識別器は、前記検出対象画像における2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行い、
前記複数のサブ識別器は、前記2つの領域の階調値を入力したときの特徴量に基づく値を出力し、
前記特徴量は、前記2つの領域のうち対応する一方の領域の階調値と、前記2つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表す、
検出装置である。
The main invention for achieving the above object is:
An image generation unit for generating a detection target image including a gradation value corresponding to the output of the sensor, and a detection unit having a learned discriminator used for detecting a detection target from the detection target image,
The classifier includes a plurality of sub classifiers that detect the detection target in the detection target image based on gradation values of two regions in the detection target image,
The detector is
To the plurality of sub classifiers, gradation values of two corresponding areas among the plurality of areas of the detection target image are input, and detection in the detection target image is performed based on outputs of the plurality of sub classifiers There line the detection of an object,
The plurality of sub classifiers output values based on feature values when the gradation values of the two regions are input,
The feature amount is an estimated floor of the one region estimated based on a gradation value of one corresponding region of the two regions and a gradation value of the other region corresponding to the two regions. Represents the difference between the key value and
It is a detection device.

本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。   Other features of the present invention will become apparent from the description of the present specification and the accompanying drawings.

本実施形態における人物検出システム1の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the person detection system 1 in this embodiment. 本実施形態の概要を説明する図である。It is a figure explaining the outline | summary of this embodiment. 参考例の人物検出方法の説明図である。It is explanatory drawing of the person detection method of a reference example. 本実施形態における学習処理のフローチャートである。It is a flowchart of the learning process in this embodiment. 本実施形態における回帰式作成処理のフローチャートである。It is a flowchart of the regression equation creation processing in the present embodiment. クロッピング画像を複数のセルに分割する様子を説明する図である。It is a figure explaining a mode that a cropping image is divided | segmented into a some cell. 本実施形態における特徴量抽出処理のフローチャートである。It is a flowchart of the feature-value extraction process in this embodiment. 本実施形態における人物検出処理(全体画像)のフローチャートである。It is a flowchart of a person detection process (whole image) in this embodiment. 本実施形態における人物検出処理(クロッピング画像)のフローチャートである。It is a flowchart of a person detection process (cropping image) in this embodiment. 探索窓の移動の様子の説明図である。It is explanatory drawing of the mode of a movement of a search window.

本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
前記識別器は、前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
検出装置である。
このように、任意の2つの領域の階調値に基づいて検出対象物の検出を行うサブ識別器を複数有することで、検出精度が良好な1つ又は複数のサブ識別器を用いて検出対象物の検出を行うことができる。そして、検出対象物の検出精度を向上させることができる。
At least the following matters will become clear from the description of the present specification and the accompanying drawings. That is,
An image generation unit that generates a detection target image including a gradation value corresponding to the output of the sensor;
A detection unit having a learned discriminator used for detecting a detection target from the detection target image,
The discriminator has a plurality of sub discriminators that detect the detection target in the detection target image based on gradation values of arbitrary two regions in the detection target image,
The detector is
To the plurality of sub classifiers, gradation values of two corresponding areas among the plurality of areas of the detection target image are input, and detection in the detection target image is performed based on outputs of the plurality of sub classifiers Detect objects
It is a detection device.
In this way, by having a plurality of sub-classifiers that detect a detection target based on the gradation values of any two regions, the detection target is detected using one or a plurality of sub-classifiers with good detection accuracy. An object can be detected. And the detection accuracy of a detection target can be improved.

かかる検出装置であって、前記複数のサブ識別器は、前記2つの領域の階調値を入力したときの特徴量に基づく値を出力し、前記特徴量は、前記2つの領域のうち対応する一方の領域の階調値と、前記2つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表すことが望ましい。
このような構成であれば、学習済みの識別器に2つの領域の階調値を入力すると、その特徴量として、一方の領域の階調値と、他方の領域の階調値に基づいて推定された一方の領域の推定階調値と、の差が求められる。そして、学習済みの識別器において、これらの差は検出対象画像と検出対象物との近似の程度を意味する。よって、このような特徴量に基づく値を出力するようにすることで、検出対象物の検出を精度良く行うことができる。
In this detection apparatus, the plurality of sub-classifiers output values based on feature amounts when the gradation values of the two regions are input, and the feature amounts correspond to the two regions. It is desirable to represent the difference between the tone value of one region and the estimated tone value of the one region estimated based on the tone value of the other region corresponding to the two regions.
With such a configuration, when the gradation values of two regions are input to a learned discriminator, the feature value is estimated based on the gradation value of one region and the gradation value of the other region. A difference from the estimated gradation value of one of the areas is obtained. In the learned classifier, these differences mean the degree of approximation between the detection target image and the detection target. Therefore, the detection target can be detected with high accuracy by outputting a value based on such a feature amount.

また、前記推定階調値と前記他方の領域の階調値との関係が一次式で表される場合において、前記検出対象物を含む複数の学習用画像における前記一方の領域の階調値と前記他方の領域における階調値とを用いた最小二乗法により前記一次式の係数を求めることが望ましい。
このようにすることで、一方の領域の推定階調値と他方の領域の階調値との関係式を、複数の学習用画像に基づいて統計学的に求めることができる。したがって、検出精度を向上させることができる。
Further, when the relationship between the estimated gradation value and the gradation value of the other region is expressed by a linear expression, the gradation value of the one region in the plurality of learning images including the detection target object It is desirable to obtain the coefficient of the linear expression by a least square method using the gradation value in the other region.
By doing in this way, the relational expression between the estimated gradation value of one region and the gradation value of the other region can be obtained statistically based on a plurality of learning images. Therefore, detection accuracy can be improved.

また、前記複数のサブ識別器に、前記学習用画像の対応する前記一方の領域の階調値と前記他方の領域の階調値を入力してそれぞれのサブ識別器の特徴量を求め、前記複数のサブ識別器のうち該特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いる評価式に含めることが望ましい。
特徴量が、一方の領域の階調値と、他方の領域の階調値に基づいて推定された一方の領域の推定階調値と、の差が小さいほど、検出対象画像と検出対象物とが近似していると言えるので、この差の値が小さいサブ識別器ほど良好なサブ識別器ということになる。よって、特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いられる評価式に含めることとすることで、精度良く検出対象物の検出を行うことができる。
Further, the gradation value of the one region and the gradation value of the other region corresponding to the learning image are input to the plurality of sub classifiers to obtain the feature amount of each sub classifier, It is desirable to include a predetermined number in order from the sub-classifier having the smallest feature quantity among the plurality of sub-classifiers in the evaluation formula used for detecting the detection target.
The smaller the difference between the tone value of one region and the estimated tone value of one region estimated based on the tone value of the other region, the smaller the feature amount is between the detection target image and the detection target object. Therefore, a sub-classifier with a smaller difference value is a better sub-classifier. Therefore, the detection target can be detected with high accuracy by including a predetermined number in the evaluation formula used for detection of the detection target in order from the sub classifier having the smallest feature amount.

また、前記複数のサブ識別器のそれぞれに、前記検出対象画像における対応する2つの領域の階調値が入力され、前記複数のサブ識別器の出力の合計値に基づいて前記検出対象画像に検出対象物が含まれているか否かについて判定することが望ましい。
このようにすることで、複数のサブ識別器の出力の合計値に基づいて、検出対象画像に検出対象物が含まれているか否かの判定をすることができる。
Further, gradation values of two corresponding regions in the detection target image are input to each of the plurality of sub classifiers, and detection is performed on the detection target image based on a total value of the outputs of the plurality of sub classifiers. It is desirable to determine whether an object is included.
By doing in this way, based on the total value of the outputs of a plurality of sub classifiers, it can be determined whether or not the detection target object is included in the detection target image.

また、前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定することが望ましい。
このようにすることで、全体画像において複数の検出対象物が存在する場合であっても、それぞれの検出対象物を検出することができる。
Further, the image generation unit generates a plurality of detection target images by cropping a plurality of images from the entire image including the detection target images, and detects the detection target object for each of the plurality of detection target images. It is desirable to specify the position of the detection object in the whole image by performing.
By doing in this way, even if it is a case where a several detection target object exists in a whole image, each detection target object can be detected.

また、前記センサーの出力は、該センサーが検出した温度に応じた出力であることが望ましい。
このようにすることで、温度に応じて検出対象物を検出することができる。
The output of the sensor is preferably an output corresponding to the temperature detected by the sensor.
By doing in this way, a detection target object can be detected according to temperature.

また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成することと、
前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を用いて前記検出対象画像から検出対象物を検出することと、
を含み、
前記検出することは、前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行うことを含む、検出方法である。
このように、任意の2つの領域の階調値に基づいて検出対象物の検出を行うサブ識別器を複数有することで、検出精度が良好な1つ又は複数のサブ識別器を用いて検出対象物の検出を行うことができる。そして、検出対象物の検出精度を向上させることができる。
In addition, at least the following matters will become clear from the description of the present specification and the accompanying drawings. That is,
Generating a detection target image including a gradation value corresponding to the output of the sensor;
Detecting a detection target from the detection target image using a plurality of sub-identifiers that detect the detection target in the detection target image based on gradation values of arbitrary two regions in the detection target image. When,
Including
The detecting includes inputting to the plurality of sub classifiers gradation values of two corresponding areas of the plurality of areas of the detection target image, based on outputs of the plurality of sub classifiers. It is a detection method including detecting a detection target in the detection target image.
In this way, by having a plurality of sub-classifiers that detect a detection target based on the gradation values of any two regions, the detection target is detected using one or a plurality of sub-classifiers with good detection accuracy. An object can be detected. And the detection accuracy of a detection target can be improved.

===実施形態===
図1は、本実施形態における人物検出システム1の概略構成を示すブロック図である。以下に示す実施形態では、人物を検出するシステムとして説明を行うが、検出対象物はこれに限られない。図1には、人物検出システム1に含まれる赤外線カメラ110と、人物検出装置120と、表示装置130が示されている。本実施形態では、赤外線カメラ110と、人物検出装置120と、表示装置130とは、それぞれ別体であり、電気的に接続されているが、これらのうち少なくとも2つが一体の装置であってもよい。
=== Embodiment ===
FIG. 1 is a block diagram showing a schematic configuration of a person detection system 1 in the present embodiment. In the embodiment described below, a system for detecting a person will be described, but the detection target is not limited to this. FIG. 1 shows an infrared camera 110, a person detection device 120, and a display device 130 included in the person detection system 1. In the present embodiment, the infrared camera 110, the person detection device 120, and the display device 130 are separate from each other and are electrically connected. However, at least two of them may be integrated devices. Good.

赤外線カメラ110(センサーに相当)は、中赤外線から遠赤外線の範囲の波長をとらえデジタル値の映像信号を人物検出装置120の画像取得部122に送信する。赤外線カメラ110は、不図示の撮像部とアナログデジタル変換部(A/D変換部)を含む。撮像部は、赤外線カメラ110の受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を人物検出装置120に出力する。A/D変換部は、撮像部で得られたアナログ信号をデジタル信号に変換する機能を有する。   The infrared camera 110 (corresponding to a sensor) captures a wavelength in the range from mid-infrared to far-infrared and transmits a digital video signal to the image acquisition unit 122 of the person detection device 120. The infrared camera 110 includes an imaging unit (not shown) and an analog / digital conversion unit (A / D conversion unit). The imaging unit corresponds to the light receiving element of the infrared camera 110 and outputs a signal corresponding to the light in the infrared region received by the light receiving element to the person detecting device 120. The A / D conversion unit has a function of converting an analog signal obtained by the imaging unit into a digital signal.

ここで、中赤外線は2.5μm〜4.0μmの波長、遠赤外線は4μm〜1000μmの波長を有する赤外光である。本実施形態では、赤外線カメラ110は8〜14μmの波長を検知し、人物の体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればこれに限られない。赤外線カメラ110は、車両のフロントグリル部などに搭載される。そして、自車両(赤外線カメラ110が搭載された車両)から前方方向の環境を撮影する。   Here, the mid-infrared light is infrared light having a wavelength of 2.5 μm to 4.0 μm, and the far infrared light is infrared light having a wavelength of 4 μm to 1000 μm. In the present embodiment, the infrared camera 110 detects a wavelength of 8 to 14 μm and uses a human body temperature as a detection target. However, the infrared camera 110 is not limited to this wavelength and is not limited to this as long as the temperature can be detected. The infrared camera 110 is mounted on a front grill portion of the vehicle. And the environment of the front direction is image | photographed from the own vehicle (vehicle equipped with the infrared camera 110).

人物検出装置120は、画像取得部122と画像メモリー124と制御部126と記憶部128を含む。そして、後述するような処理により、表示装置130に表示するデータを生成する。これら画像取得部122、画像メモリー124、制御部126、及び、記憶部128は、例えば、不図示の中央演算装置(CPU)、ランダムアクセスメモリー(RAM)及びハードディスク(HDD)などにより実現される。   The person detection device 120 includes an image acquisition unit 122, an image memory 124, a control unit 126, and a storage unit 128. And the data displayed on the display apparatus 130 are produced | generated by the process as mentioned later. The image acquisition unit 122, the image memory 124, the control unit 126, and the storage unit 128 are realized by, for example, a central processing unit (CPU), a random access memory (RAM), a hard disk (HDD), and the like (not shown).

画像取得部122は、赤外線カメラ110が得た映像(例えば、15fpsの映像)を取得し、この映像からフレーム画像(全体画像)を取得する。そして、得られた各画像は画像メモリー124に送られる。   The image acquisition unit 122 acquires a video (for example, a 15 fps video) obtained by the infrared camera 110, and acquires a frame image (entire image) from this video. Each obtained image is sent to the image memory 124.

画像メモリー124は、画像取得部122から送られた画像を一時的に記憶する。制御部126は、人物検出処理を行うための演算を行う。具体的な人物検出処理については、後述する。記憶部128は、学習モデルなどのデータ、演算途中の一時ファイル、及び、演算結果等を保存する。   The image memory 124 temporarily stores the image sent from the image acquisition unit 122. The control unit 126 performs a calculation for performing a person detection process. Specific person detection processing will be described later. The storage unit 128 stores data such as a learning model, a temporary file in the middle of calculation, a calculation result, and the like.

表示装置130は、例えば、赤外線画像として得られている自車両前方映像を表示するディスプレイである。表示装置130には、さらに人物の検出結果として、検出された人物を強調表示することもできる。   The display device 130 is, for example, a display that displays a front image of the host vehicle obtained as an infrared image. The display device 130 can also highlight the detected person as a result of detecting the person.

図2は、本実施形態の概要を説明する図である。図2には、本実施形態の人物検出システム1の概要を説明するために、各処理がブロックとして表されている。人物検出システム1は、学習処理と検出処理とを行う。なお、外部メモリー等を記憶部128として用いたり、学習処理によって得られる検出処理に必要なデータを外部から記憶部128に記憶させれば、必ずしも人物検出システム1が学習処理を行わなくてもよい。   FIG. 2 is a diagram for explaining the outline of the present embodiment. In FIG. 2, in order to explain the outline of the person detection system 1 of the present embodiment, each process is represented as a block. The person detection system 1 performs learning processing and detection processing. If the external memory or the like is used as the storage unit 128 or data necessary for the detection process obtained by the learning process is stored in the storage unit 128 from the outside, the person detection system 1 may not necessarily perform the learning process. .

学習処理では、予め用意された学習用クロッピング画像を用いて学習を行い、その学習結果を学習モデルデータベース(記憶部128)に記憶する。学習用クロッピング画像は、学習用に用意された画像であって、必ず人物が含まれている画像である。   In the learning process, learning is performed using a learning cropping image prepared in advance, and the learning result is stored in the learning model database (storage unit 128). The learning cropping image is an image prepared for learning and always includes a person.

検出処理では、赤外線カメラ110から得られた全体画像からクロッピング画像(検出対象画像に相当する)を切り出し、クロッピング画像に人物が含まれているか否かについて前述の学習結果に応じて判定を行う。   In the detection process, a cropped image (corresponding to a detection target image) is cut out from the entire image obtained from the infrared camera 110, and whether or not a person is included in the cropped image is determined according to the learning result described above.

学習処理では、前述の学習用クロッピング画像についてコントラストの調整などの前処理が行われ、学習用クロッピング画像は学習器に渡される。学習器は、前処理後の学習用クロッピング画像に基づいて特徴量を求め、特徴量に基づく学習結果を学習モデルデータベースに記憶する。   In the learning process, preprocessing such as contrast adjustment is performed on the above-described learning cropped image, and the learning cropped image is passed to the learning device. The learning device obtains a feature amount based on the pre-processed learning cropped image, and stores a learning result based on the feature amount in a learning model database.

検出処理では、赤外線カメラ110から得られた全体画像から、部分的に画像をクロッピング(切り出し)し、クロッピング画像を生成する。クロッピング画像についてコントラスト調整などの前処理が行われ、クロッピング画像は識別器に渡される。識別器は、学習結果に応じた複数のサブ識別器を有している。クロッピング画像の階調値が複数のサブ識別器に入力され、これらサブ識別器の出力に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる。   In the detection process, an image is partially cropped from the entire image obtained from the infrared camera 110 to generate a cropped image. Preprocessing such as contrast adjustment is performed on the cropped image, and the cropped image is passed to the discriminator. The classifier has a plurality of sub classifiers according to the learning result. The gradation values of the cropped image are input to a plurality of sub classifiers, and it is determined whether or not a person is included in the cropped image based on the outputs of these sub classifiers.

クロッピング画像は、全体画像から少しずつ位置をずらして画像を切り出すことによって、複数生成される。そして、前述のように、各クロッピング画像について人物が含まれているか否かの判定が行われ、その判定結果は統合される。そして、統合された結果は、全体画像に人物が強調表示されるなどの処理がされた出力画像として表示装置130に出力される。   A plurality of cropped images are generated by shifting the position little by little from the entire image and cutting out the images. Then, as described above, it is determined whether or not a person is included in each cropped image, and the determination results are integrated. The integrated result is output to the display device 130 as an output image that has been processed such that a person is highlighted on the entire image.

図3は、参考例の人物検出方法の説明図である。図3を参照しつつ、参考例としての人物検出方法の概念を説明する。図3には、人物が含まれている画像において人物領域階調値Tfと背景領域階調値Tbが示されている。人物領域階調値Tfと背景領域階調値Tbは、ともに、赤外線カメラにより取得された温度に応じて変換された階調値である。参考例の人物検出方法では、人物領域階調値Tfが所定範囲内の階調値である場合には人物が含まれているものとして人物検出を行うが、この「所定範囲内の階調値」は、背景領域階調値Tbに応じて変化するものとなっている。これは、一般に、人物の温度が、その周辺温度に影響を受けて変化するからである。   FIG. 3 is an explanatory diagram of the person detection method of the reference example. The concept of a person detection method as a reference example will be described with reference to FIG. FIG. 3 shows a person area gradation value Tf and a background area gradation value Tb in an image including a person. The person area gradation value Tf and the background area gradation value Tb are both gradation values converted according to the temperature acquired by the infrared camera. In the human detection method of the reference example, when the person area gradation value Tf is a gradation value within a predetermined range, the person is detected as including a person. "" Changes according to the background area gradation value Tb. This is because the temperature of a person generally changes depending on the ambient temperature.

参考例の人物検出方法では、背景領域階調値Tbに基づいて人物領域階調値が推定される(人物領域推定階調値Tf’)。人物領域推定階調値Tf’は、背景領域階調値Tbの関数として表される。ここで、人物領域階調値Tfと背景領域階調値Tbとは、検出対象画像において所定位置にある領域(セル)、例えば検出対象画像の右上隅の領域と中央付近の領域である。   In the human detection method of the reference example, the person area gradation value is estimated based on the background area gradation value Tb (person area estimated gradation value Tf ′). The person area estimated gradation value Tf ′ is expressed as a function of the background area gradation value Tb. Here, the person area gradation value Tf and the background area gradation value Tb are an area (cell) at a predetermined position in the detection target image, for example, an upper right corner area and an area near the center of the detection target image.

この関数に背景領域階調値Tbを代入して人物領域推定階調値Tf’を得る。そして、この人物領域推定階調値Tf’と実際の人物領域階調値Tfとの差の絶対値が所定範囲に入っているときには、画像に人物が含まれているものと判定する。一方、人物領域推定階調値Tf’と実際の人物領域階調値Tfとの差の絶対値が所定範囲に入っていないときには、画像に人物が含まれていないものと判定する。   By substituting the background area gradation value Tb into this function, the person area estimated gradation value Tf 'is obtained. Then, when the absolute value of the difference between the person area estimated gradation value Tf ′ and the actual person area gradation value Tf is within a predetermined range, it is determined that a person is included in the image. On the other hand, when the absolute value of the difference between the person area estimated gradation value Tf ′ and the actual person area gradation value Tf is not within the predetermined range, it is determined that no person is included in the image.

このような参考例の手法によっても、従来技術と比較して、画像中に人物が含まれているか否かの判定精度を向上することができる。しかしながら、参考例の手法では、人物領域階調値Tfの位置と背景領域階調値Tbとの位置が固定となっている。そして、人物領域階調値Tfのセルの位置と背景領域階調値Tbのセルの位置について、図3に示した位置関係が最適かどうかは定かではない。つまり、参考例の手法では、より精度良く人物の検出を行う余地があるといえる。よって、本実施形態では以下のような学習を行って、より精度良く人物の検出を行うこととしている。   Also by such a method of the reference example, it is possible to improve the determination accuracy of whether or not a person is included in the image, as compared with the conventional technique. However, in the method of the reference example, the position of the person area gradation value Tf and the position of the background area gradation value Tb are fixed. Then, it is not certain whether the positional relationship shown in FIG. 3 is optimal for the position of the person area gradation value Tf cell and the position of the background area gradation value Tb cell. That is, it can be said that there is a room for detecting a person with higher accuracy in the method of the reference example. Therefore, in the present embodiment, the following learning is performed to detect a person with higher accuracy.

図4は、本実施形態における学習処理のフローチャートである。以下、本フローチャートを参照しつつ、学習処理について説明を行う。学習処理が行われるにあたり、前述のように、学習用クロッピング画像が複数用意されている。そして、これら人物が含まれていることが確実な学習用クロッピング画像を用いて学習モデルを構築する。   FIG. 4 is a flowchart of the learning process in the present embodiment. Hereinafter, the learning process will be described with reference to this flowchart. When the learning process is performed, a plurality of learning cropping images are prepared as described above. Then, a learning model is constructed using the learning cropping image that surely includes these persons.

最初に、複数の学習用クロッピング画像(学習画像)の読み込みが行われる(S102)。ここでは、N枚の学習用クロッピング画像が用意されている。そして、これら複数の学習用クロッピング画像のそれぞれについて特徴量抽出処理が行われる(S104)。特徴量抽出処理は、回帰式を用いて行われる。ここでは、まず、この回帰式の作成処理について説明を行う。   First, a plurality of learning cropping images (learning images) are read (S102). Here, N learning cropping images are prepared. Then, a feature amount extraction process is performed for each of the plurality of learning cropping images (S104). The feature amount extraction process is performed using a regression equation. Here, first, the process of creating the regression equation will be described.

図5は、本実施形態における回帰式作成処理のフローチャートである。図6は、クロッピング画像を複数のセル(領域)に分割する様子を説明する図である。学習用クロッピング画像は、回帰式作成処理において、複数のセルに分割される。これらの学習用クロッピング画像は、赤外線カメラ130によって取得された画像であるので、その階調値は温度に関連したものになっている。ここでは、学習用クロッピング画像の複数のセルのうちの2つのセルの階調値(温度を表す)を用いた線形回帰式を求める。   FIG. 5 is a flowchart of regression equation creation processing in the present embodiment. FIG. 6 is a diagram for explaining how a cropped image is divided into a plurality of cells (regions). The learning cropping image is divided into a plurality of cells in the regression equation creation process. Since these learning cropping images are images acquired by the infrared camera 130, the gradation values are related to temperature. Here, a linear regression equation using the gradation values (representing temperature) of two cells among a plurality of cells of the learning cropping image is obtained.

図6には、学習用クロッピング画像が示され、前述のように学習用クロッピング画像が複数のセルに分割されている。そして、左上のセルから右に向かって順にセル番号が割り当てられ、これらのセルの階調値Tが使用される(iはセル番号)。本実施形態では、各セルは複数の画素を含むため、これら画素の階調値の平均値をそのセルの階調値Tとしてもよいし、中間値をそのセルの階調値Tとしてもよい。また、これら個々のセルが1つの画素である場合には、その画素に対応する階調値をそのまま階調値Tとして用いることもできる。 FIG. 6 shows a learning cropping image, and the learning cropping image is divided into a plurality of cells as described above. Then, cell numbers are assigned in order from the upper left cell to the right, and the gradation value T i of these cells is used (i is the cell number). In the present embodiment, since each cell including a plurality of pixels, to the average value of the gradation values of the pixels may be the gradation value T i of the cell, the intermediate value as a gradation value T i of the cell Also good. When these individual cells are one pixel, the gradation value corresponding to the pixel can be used as the gradation value Ti as it is.

図5のステップS202において、変数をiとしたループが構築される。変数iはセル番号であり、増分を1として1からMまで変化させられる。また、ステップS204において、変数をjとしたループが構築される。変数jはセル番号であり、増分を1として1からMまで変化させられる。さらに、ステップS206において、変数をkとしたループが構築される。変数kは学習用クロッピング画像の番号であり、増分を1として1からNまで変化させられる。   In step S202 of FIG. 5, a loop with a variable i is constructed. The variable i is a cell number and can be changed from 1 to M with an increment of 1. In step S204, a loop with a variable j is constructed. The variable j is a cell number and can be changed from 1 to M with an increment of 1. In step S206, a loop with a variable k is constructed. The variable k is the number of the cropping image for learning and can be changed from 1 to N with an increment of 1.

ステップS208において、k番目の学習用クロッピング画像のi番目のセルの階調値Tkiを取得する。次に、ステップS210において、k番目の学習用クロッピング画像のj番目のセルの階調値Tkjを取得する。そして、ステップS212において、kが1だけ増分される。このような処理が、1枚目の学習用画像からN枚目の学習用画像まで繰り返される(S214)。 In step S208, the tone value T ki of the i th cell of the k th learning cropping image is acquired. Next, in step S210, the gradation value Tkj of the jth cell of the kth learning cropping image is acquired. In step S212, k is incremented by 1. Such processing is repeated from the first learning image to the Nth learning image (S214).

次に、得られた階調値TkiとTkjに基づいて、線形回帰式T’=aij+bijの係数aij及びbijが最小二乗法により求められる(S216)。そして、ステップS218において、jが1だけ増分される。 Next, based on the obtained gradation values T ki and T kj , coefficients a ij and b ij of the linear regression equation T j ′ = a ij T i + b ij are obtained by the least square method (S216). In step S218, j is incremented by 1.

このようなjを変数とした処理が、セル番号1からセル番号Mまで繰り返される(S220)。また、ステップS222において、iが1だけ増分される。このようなiを変数とした処理が、セル番号1からセル番号Mまで繰り返される(S224)。このようにすることによって、M本の線形回帰式が得られることになる。 Such processing using j as a variable is repeated from cell number 1 to cell number M (S220). In step S222, i is incremented by one. Such processing using i as a variable is repeated from cell number 1 to cell number M (S224). In this way, M 2 linear regression equations are obtained.

線形回帰式を求められると、これに基づいて特徴量を抽出することができるようになる。
図7は、本実施形態における特徴量抽出処理のフローチャートである。ここでは、1枚の画像から特徴量を計算する手法について説明する。なお、この特徴量抽出処理は、学習処理だけでなく、後述する人物検出処理においても使用される。学習処理では、ステップS102において読み込まれた学習用クロッピング画像の特徴量が抽出されることになる。
When the linear regression equation is obtained, the feature amount can be extracted based on the linear regression equation.
FIG. 7 is a flowchart of the feature amount extraction processing in the present embodiment. Here, a method for calculating a feature amount from one image will be described. This feature amount extraction process is used not only in the learning process but also in the person detection process described later. In the learning process, the feature amount of the learning cropped image read in step S102 is extracted.

ステップS302において、変数をiとしたループが構築される。これにより、変数iは、増分を1として1からMまで変化させられる。次に、i番目のセルの階調値Tを取得する(S304)。 In step S302, a loop with a variable i is constructed. Thereby, the variable i is changed from 1 to M with the increment being 1. Next, to obtain the tone value T i of the i-th cell (S304).

ステップS306において、変数をjとしたループが構築される。これにより、変数jは、増分を1として1からMまで変化させられる。次に、特徴量vijが求められる(S308)。ステップS306によって求められる複数の特徴量の一つ一つがサブ識別器に相当する。 In step S306, a loop with a variable j is constructed. As a result, the variable j is changed from 1 to M with an increment of 1. Next, a feature value v ij is obtained (S308). Each of the plurality of feature amounts obtained in step S306 corresponds to a sub classifier.

特徴量vijは、以下の式により求められる。

ij=T−T
=T−(aij・T+bij

ここで、i及びjはループ内で変化する変数である。また、aij及びbijの値は、前述の線形回帰式の作成において求められている。また、Tは、i番目のセルの階調値であり、Tは、j番目のセルの階調値である。
The feature amount v ij is obtained by the following equation.

v ij = T i −T j
= T i − (a ij · T i + b ij )

Here, i and j are variables that change in the loop. Further, the values of a ij and b ij are obtained in the creation of the linear regression equation described above. T i is the gradation value of the i-th cell, and T j is the gradation value of the j-th cell.

ステップS310において、変数jが1だけ増分される。このような処理が、jを変数としてセル番号1からセル番号Mまで繰り返される(S312)。また、ステップS314において、変数iが1だけ増分される。このような処理が、iを変数としてセル番号1からセル番号Mまで繰り返される(S316)。   In step S310, the variable j is incremented by one. Such a process is repeated from cell number 1 to cell number M with j as a variable (S312). In step S314, the variable i is incremented by 1. Such a process is repeated from cell number 1 to cell number M with i as a variable (S316).

このようにすることで、各線形回帰式を用いた特徴量が得られることになる。すなわち、特徴量v11〜vMMが得られることになり、合計でM個の特徴量が得られることになる。 By doing in this way, the feature-value using each linear regression type will be obtained. That is, feature amounts v 11 to v MM are obtained, and a total of M 2 feature amounts are obtained.

このようにして得られた特徴量に基づいて学習が行われる(S106)。特徴量について考察すると、特徴量vijは、ある一つのセルの実際の階調値T(一方の領域の階調値)と、他のセルの階調値Tに基づいて得られたある一つのセルの推定階調値T’(一方の領域の推定階調値)との差を表す。学習用クロッピング画像を用いて求めたものであるため、これら推定階調値と実際の階調値はほぼ同値であることが望ましい。よって、学習用クロッピング画像を用いたときにおいて、特徴量が小さいときの、2つのセル番号の組み合わせに基づいて、検出対象物がその画像に含まれているか否かを判定することが望ましいことになる。 Learning is performed based on the feature quantity obtained in this way (S106). Considering the feature amount, the feature amount v ij was obtained based on the actual gradation value T j of one cell (the gradation value of one region) and the gradation value T i of the other cell. This represents a difference from an estimated gradation value T j ′ (estimated gradation value of one region) of a certain cell. Since it is obtained using the learning cropping image, it is desirable that the estimated gradation value and the actual gradation value are substantially the same value. Therefore, when the learning cropping image is used, it is desirable to determine whether or not the detection target is included in the image based on the combination of two cell numbers when the feature amount is small. Become.

このような原理によると、学習用クロッピング画像の2つのセルの階調値を入力したときの特徴量が小さいセルの組み合わせを用いて、検出対象物がその画像に含まれているか否かの判定を行うことができる。   According to such a principle, it is determined whether or not a detection target is included in the image by using a combination of cells having a small feature amount when the gradation values of two cells of the learning cropped image are input. It can be performed.

そうすると、判定用の評価値をEとして、

E=w11・v11+w12・v12+・・・+wMM・vMM

という評価式を用いることができる。ここで、wijは、重み付けされた係数である。重み付けされた係数は次のようにして決めることができる。例えば、学習用クロッピング画像を用いたときにおける特徴量vijの値が小さい順にiとjの組み合わせが所定個数だけ選択される。そして、選択されたiとjの組み合わせの重み付け係数wijを「1」とし、選択されなかったiとjの組み合わせの重み付け係数wijを「0」とする。このようにすることにより、特徴量vijが大きいセルの組み合わせについては、評価式から除外し、特徴量vijが小さいセルの組み合わせを評価式に組み入れることができる。
Then, let the evaluation value for determination be E,

E = w 11 · v 11 + w 12 · v 12 +... + W MM · v MM

Can be used. Here, w ij is a weighted coefficient. The weighted coefficient can be determined as follows. For example, a predetermined number of combinations of i and j are selected in ascending order of the feature value v ij when the learning cropping image is used. Then, the weighting coefficient w ij of the selected combination of i and j is set to “1”, and the weighting coefficient w ij of the combination of i and j that is not selected is set to “0”. By doing so, the combination of cells having a large feature value v ij can be excluded from the evaluation formula, and the combination of cells having a small feature value v ij can be incorporated into the evaluation formula.

このようにして、それぞれの重み付け係数wijを求め、評価値Eを求めるための評価式、及び、M個の特徴量の算出式を学習モデルとして出力する(S108)。この学習モデルは、記憶部128に記憶され、後の人物検出処理において使用されることになる。この学習モデルは、学習済みの識別器に相当する。 In this way, each weighting coefficient w ij is obtained, and an evaluation formula for obtaining the evaluation value E and a calculation formula for M 2 feature values are output as a learning model (S108). This learning model is stored in the storage unit 128 and used in the subsequent person detection process. This learning model corresponds to a learned classifier.

なお、ここでは上述のような学習器及び識別器を採用することとしたが、学習器及び識別器はこれに限られず、adaboostを用いることとしてもよい。adaboostを用いる場合、個々の特徴量の算出式を弱識別器に対応させてもよい。また、個々の特徴量から人物検出に適した特徴量を選択し、強識別器を構築してもよい。   Here, the learning device and the discriminator as described above are adopted, but the learning device and the discriminating device are not limited to this, and an adaboost may be used. When using adaboost, each feature quantity calculation formula may be associated with a weak classifier. In addition, a strong classifier may be constructed by selecting a feature quantity suitable for person detection from individual feature quantities.

図8は、本実施形態における人物検出処理(全体画像)のフローチャートである。図8を参照しつつ、赤外線カメラ110から得られた全体画像から人物を検出する処理について説明する。   FIG. 8 is a flowchart of person detection processing (entire image) in the present embodiment. Processing for detecting a person from the entire image obtained from the infrared camera 110 will be described with reference to FIG.

最初に、上述のようにして求められた学習モデルの読み込みが行われる(S402)。これにより、評価値Eを求めるための評価式、及び、M個の特徴量算出式が取得される。これら個々の特徴量算出式で用いられる回帰式の係数aij及びbijは、前述の学習処理により求められている。 First, the learning model obtained as described above is read (S402). Thereby, an evaluation formula for obtaining the evaluation value E and M 2 feature amount calculation formulas are acquired. The coefficients a ij and b ij of the regression equation used in these individual feature amount calculation formulas are obtained by the learning process described above.

赤外線カメラ110は、撮影対象物から放出される赤外線に応じた映像をデジタルデータとして出力する。このような映像から1枚の画像(全体画像)が取得される(S404)。赤外線カメラ110から得られた画像は、温度に応じた階調値が各画素に設定された画像である。つまり、この画像は画素単位で温度情報を有する画像である。   The infrared camera 110 outputs an image corresponding to infrared rays emitted from the object to be photographed as digital data. One image (entire image) is acquired from such a video (S404). The image obtained from the infrared camera 110 is an image in which gradation values corresponding to temperature are set for each pixel. That is, this image is an image having temperature information in units of pixels.

そして、得られた画像について前処理が行われる(S406)。前処理は、例えば、画像のコントラストの調整、及び、リサイズなどの処理である。   Then, preprocessing is performed on the obtained image (S406). Pre-processing is, for example, processing such as image contrast adjustment and resizing.

次に、ステップS408〜ステップS412において、探索窓w(図10参照)を全体画像の範囲内で移動させつつ、人物検出処理(ステップS410)が行われる。具体的には、ステップS408〜ステップS412のループにおいて、探索窓wが一画素分ずつ(又は複数画素分ずつ)動かされながら探索窓wのサイズで画像がクロッピングされ、クロッピング画像に検出対象物である人物が含まれているか否かの判定が行われる。   Next, in steps S408 to S412, the person detection process (step S410) is performed while moving the search window w (see FIG. 10) within the range of the entire image. Specifically, in the loop from step S408 to step S412, the image is cropped at the size of the search window w while the search window w is moved by one pixel (or by a plurality of pixels), and the cropped image is detected with the detection target. A determination is made whether a person is included.

図9は、本実施形態における人物検出処理(クロッピング画像)のフローチャート、つまりステップS410を説明するフローチャートである。この人物検出処理は、各クロッピング画像について適用される。よって、人物検出処理(クロッピング画像)において、最初に、クロッピング画像の読み込みが行われる(S502)。   FIG. 9 is a flowchart for explaining a person detection process (cropping image) in this embodiment, that is, step S410. This person detection process is applied to each cropped image. Therefore, in the person detection process (cropped image), first, the cropped image is read (S502).

次に、読み込まれたクロッピング画像の特徴量の抽出が行われる(S504)。特徴量抽出処理は、図7を用いて説明を行った処理とほぼ同様であり、ステップS308で用いられた線形回帰式の係数aij及びbijの値も、学習用クロッピング画像で得られたものが用いられる。このように特徴量抽出処理を行うことで、クロッピング画像について、評価値Eを求めるための評価式に入力するM個の特徴量が得られることになる。 Next, the feature amount of the read cropped image is extracted (S504). The feature amount extraction process is almost the same as the process described with reference to FIG. 7, and the values of the coefficients a ij and b ij of the linear regression equation used in step S308 are also obtained from the learning cropped image. Things are used. By performing the feature amount extraction processing in this way, M 2 feature amounts to be input to the evaluation formula for obtaining the evaluation value E can be obtained for the cropped image.

次に、求められたM個の特徴量に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる(S506)。具体的には、求められたM個の特徴量が評価式に入力され評価値Eが求められる。そして、この評価値Eが所定値よりも小さいときには、クロッピング画像に人物が含まれていると判定し、このクロッピング画像の全体画像における位置も記憶する。一方、評価値Eが所定値以上のときには、クロッピング画像に人物が含まれていないと判定する。 Next, it is determined whether or not a person is included in the cropped image based on the obtained M 2 feature amounts (S506). Specifically, the obtained M 2 feature quantities are input to the evaluation formula, and the evaluation value E is obtained. When the evaluation value E is smaller than a predetermined value, it is determined that a person is included in the cropped image, and the position of the cropped image in the entire image is also stored. On the other hand, when the evaluation value E is greater than or equal to a predetermined value, it is determined that no person is included in the cropped image.

このような人物検出処理がステップS408〜S412のループにおいて行われることにより、すべてのクロッピング画像についての人物検出処理が完了される。   Such person detection processing is performed in the loop of steps S408 to S412 to complete the person detection processing for all the cropped images.

図10は、探索窓の移動の様子の説明図である。図10には、全体画像において探索窓が移動させられている様子が示されている。このように、探索窓wが全体画像において移動させられつつクロッピングされた画像について前述の人物の検出処理が行われる。このようにして、各クロッピング画像について人物が存在するか否かの判定を行い、人物が検出されたクロッピング画像の位置を記憶することによって、全体画像における人物の位置が特定できる。   FIG. 10 is an explanatory diagram of how the search window moves. FIG. 10 shows how the search window is moved in the entire image. In this way, the above-described person detection process is performed on the image cropped while the search window w is moved in the entire image. In this way, it is determined whether or not a person exists for each cropped image, and the position of the cropped image from which the person is detected is stored, whereby the position of the person in the entire image can be specified.

全体画像における各クロッピング画像についての人物検出処理が完了すると、人物検出装置120に接続された表示装置130に検出結果が表示される(S414)。結果表示は、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むように強調表示させたり、注意を喚起するために画面をフラッシュさせたりして行うことができる。さらに、場合によっては運転支援としてブレーキをかけることをアシストしたり、視覚補助として婦論とライトがダウンライトになっているのをアップライトにしてもよい。   When the person detection process for each cropped image in the entire image is completed, the detection result is displayed on the display device 130 connected to the person detection device 120 (S414). In the result display, the location determined as a pedestrian is highlighted to include the pedestrian, or the screen is flashed to call attention to the front image of the host vehicle obtained as an infrared image. It can be carried out. Further, depending on the case, it may be possible to assist in braking as driving assistance, or as an upright that women's theory and light are downlighted as visual assistance.

このようにして、学習用クロッピング画像に基づいて得られた評価式を用いて人物の検出を行うので、学習用クロッピング画像に含まれる人物によく合致するクロッピング画像について、人物が含まれているものとして精度良く検出を行うことができる。また、上述のようなアルゴリズムは、クロッピング画像における2つの領域の階調値を特徴量算出式に入力するというきわめて単純なものであるので、検出速度を向上させることもできる。   In this way, since the person is detected using the evaluation formula obtained based on the learning cropping image, the cropping image that closely matches the person included in the learning cropping image includes a person. Can be detected with high accuracy. Further, the algorithm as described above is extremely simple in which the gradation values of the two regions in the cropped image are input to the feature amount calculation formula, so that the detection speed can be improved.

1 人物検出システム、
110 赤外線カメラ、120 人物検出装置、130 表示装置、
122 画像取得部、124 画像メモリー、
126 制御部、128 記憶部、
Tb 背景領域階調値、Tf 人物領域階調値
1 person detection system,
110 infrared camera, 120 person detection device, 130 display device,
122 image acquisition unit, 124 image memory,
126 control unit, 128 storage unit,
Tb Background area gradation value, Tf Person area gradation value

Claims (7)

センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
前記識別器は、前記検出対象画像における2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行い、
前記複数のサブ識別器は、前記2つの領域の階調値を入力したときの特徴量に基づく値を出力し、
前記特徴量は、前記2つの領域のうち対応する一方の領域の階調値と、前記2つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表す、
検出装置。
An image generation unit for generating a detection target image including a gradation value corresponding to the output of the sensor, and a detection unit having a learned discriminator used for detecting a detection target from the detection target image,
The classifier includes a plurality of sub classifiers that detect the detection target in the detection target image based on gradation values of two regions in the detection target image;
The detector is
To the plurality of sub classifiers, gradation values of two corresponding areas among the plurality of areas of the detection target image are input, and detection in the detection target image is performed based on outputs of the plurality of sub classifiers There line the detection of an object,
The plurality of sub classifiers output values based on feature values when the gradation values of the two regions are input,
The feature amount is an estimated floor of the one region estimated based on a gradation value of one corresponding region of the two regions and a gradation value of the other region corresponding to the two regions. Represents the difference between the key value and
Detection device.
前記推定階調値と前記他方の領域の階調値との関係が一次式で表される場合において、
前記検出対象物を含む複数の学習用画像における前記一方の領域の階調値と前記他方の領域における階調値とを用いた最小二乗法により前記一次式の係数を求める、請求項1に記載の検出装置。
In the case where the relationship between the estimated gradation value and the gradation value of the other region is expressed by a linear expression,
Obtaining coefficients of said linear equation by the least square method using the tone values in the other region and the gradation values of the one region of the plurality of the learning image including the detected object according to claim 1 Detection device.
前記複数のサブ識別器に、前記学習用画像の対応する前記一方の領域の階調値と前記他方の領域の階調値を入力してそれぞれのサブ識別器の特徴量を求め、前記複数のサブ識別器のうち該特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いる評価式に含める、請求項2に記載の検出装置。 The plurality of sub-classifiers are input with the gradation value of the one region corresponding to the learning image and the gradation value of the other region to obtain a feature amount of each of the plurality of sub-classifiers, The detection apparatus according to claim 2 , wherein a predetermined number of sub-classifiers in order from a sub-classifier having the smallest feature amount is included in an evaluation formula used for detection of a detection target. 前記複数のサブ識別器のそれぞれに、前記検出対象画像における対応する2つの領域の階調値が入力され、前記複数のサブ識別器の出力の合計値に基づいて前記検出対象画像に検出対象物が含まれているか否かについて判定する、請求項1〜3のいずれかに記載の検出装置。 To each of the plurality of sub classifiers, gradation values of corresponding two regions in the detection target image are input, and based on the total value of the outputs of the plurality of sub classifiers, the detection target image is detected. The detection device according to any one of claims 1 to 3, wherein a determination is made as to whether or not. 前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、請求項1〜4のいずれかに記載の検出装置。
The image generation unit generates a plurality of the detection target images by cropping a plurality of images from the entire image including the detection target images,
The detection device according to claim 1 , wherein the detection target object is detected for each of the plurality of detection target images to identify a position of the detection target object in the entire image.
前記センサーの出力は、該センサーが検出した温度に応じた出力である、請求項1〜5のいずれかに記載の検出装置。 The detection device according to claim 1 , wherein the output of the sensor is an output corresponding to a temperature detected by the sensor. センサーの出力に対応する階調値を含む検出対象画像を生成することと、
前記検出対象画像における2つの領域の階調値に基づいて前記検出対象画像における検出対象物の検出を行う複数のサブ識別器を用いて前記検出対象画像から前記検出対象物を検出することと、
を含み、
前記検出することは、前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における前記検出対象物の検出を行うことを含み、
前記複数のサブ識別器は、前記2つの領域の階調値を入力したときの特徴量に基づく値を出力し、
前記特徴量は、前記2つの領域のうち対応する一方の領域の階調値と、前記2つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表す、
検出方法。
Generating a detection target image including a gradation value corresponding to the output of the sensor;
And said detecting the detection target from the detection target image by using a plurality of sub-classifiers for detecting a detection object in the detection target image based on the tone values of the two regions in the detection target image,
Including
The detecting includes inputting to the plurality of sub classifiers gradation values of two corresponding areas of the plurality of areas of the detection target image, based on outputs of the plurality of sub classifiers. It looks including that the detection of the detection object in the detection target image,
The plurality of sub classifiers output values based on feature values when the gradation values of the two regions are input,
The feature amount is an estimated floor of the one region estimated based on a gradation value of one corresponding region of the two regions and a gradation value of the other region corresponding to the two regions. Represents the difference between the key value and
Detection method.
JP2011162490A 2011-07-25 2011-07-25 Detection apparatus and detection method Active JP5861299B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011162490A JP5861299B2 (en) 2011-07-25 2011-07-25 Detection apparatus and detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011162490A JP5861299B2 (en) 2011-07-25 2011-07-25 Detection apparatus and detection method

Publications (2)

Publication Number Publication Date
JP2013025713A JP2013025713A (en) 2013-02-04
JP5861299B2 true JP5861299B2 (en) 2016-02-16

Family

ID=47783955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011162490A Active JP5861299B2 (en) 2011-07-25 2011-07-25 Detection apparatus and detection method

Country Status (1)

Country Link
JP (1) JP5861299B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4482796B2 (en) * 2004-03-26 2010-06-16 ソニー株式会社 Information processing apparatus and method, recording medium, and program
JP4734884B2 (en) * 2004-09-30 2011-07-27 日産自動車株式会社 Person detection apparatus and method
JP2009140369A (en) * 2007-12-07 2009-06-25 Sony Corp Group learning device and group learning method, object detection device and object detection method, and computer program

Also Published As

Publication number Publication date
JP2013025713A (en) 2013-02-04

Similar Documents

Publication Publication Date Title
CN111587437B (en) Activity recognition method using video pipe
US8406470B2 (en) Object detection in depth images
US8345921B1 (en) Object detection with false positive filtering
US20100296706A1 (en) Image recognition apparatus for identifying facial expression or individual, and method for the same
US20030204384A1 (en) High-performance sensor fusion architecture
EP3168810A1 (en) Image generating method and apparatus
TW202021333A (en) Sensor device and signal processing method
JP6095817B1 (en) Object detection device
Nikisins et al. RGB-DT based face recognition
JP2013003787A (en) Object detection device
CN104915943B (en) Method and apparatus for determining main parallax value in disparity map
JP7278088B2 (en) Information processing device, information processing method, and program
CN112801027A (en) Vehicle target detection method based on event camera
KR20150136225A (en) Method and Apparatus for Learning Region of Interest for Detecting Object of Interest
JPWO2012046426A1 (en) Object detection apparatus, object detection method, and object detection program
JP5862261B2 (en) DETECTING DEVICE, DETECTING METHOD, AND VEHICLE
JP5861299B2 (en) Detection apparatus and detection method
JP5834812B2 (en) Detection apparatus and detection method
JP2012247225A (en) Detection apparatus and detection method
JP6296769B2 (en) Object detection device
US20200186782A1 (en) Depth sensing camera system
Rodin et al. Fast glare detection in document images
Apatean et al. Visible-infrared fusion in the frame of an obstacle recognition system
JP6276504B2 (en) Image detection apparatus, control program, and image detection method
KR101403035B1 (en) Apparatus for image exploration of black box using car and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151207

R150 Certificate of patent or registration of utility model

Ref document number: 5861299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350