JP7134716B2 - Image processing device, image processing method and program - Google Patents

Image processing device, image processing method and program Download PDF

Info

Publication number
JP7134716B2
JP7134716B2 JP2018104554A JP2018104554A JP7134716B2 JP 7134716 B2 JP7134716 B2 JP 7134716B2 JP 2018104554 A JP2018104554 A JP 2018104554A JP 2018104554 A JP2018104554 A JP 2018104554A JP 7134716 B2 JP7134716 B2 JP 7134716B2
Authority
JP
Japan
Prior art keywords
image
images
human body
layer
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018104554A
Other languages
Japanese (ja)
Other versions
JP2019049961A5 (en
JP2019049961A (en
Inventor
智彦 黒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US16/117,574 priority Critical patent/US20190080201A1/en
Publication of JP2019049961A publication Critical patent/JP2019049961A/en
Publication of JP2019049961A5 publication Critical patent/JP2019049961A5/ja
Application granted granted Critical
Publication of JP7134716B2 publication Critical patent/JP7134716B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program.

監視カメラは、監視員が２４時間モニタリングしなくても、入力画像から画像解析を行い、人の有無を判別することで、人の侵入の検出や人数のカウントを行う。監視カメラは、入力画像から人体などの特定の物体を検出する場合、パターンマッチング処理により検出を行っている。パターンマッチング処理では、監視カメラは、入力画像を再帰的に縮小した縮小画像の集合である画像ピラミッドを生成し、各縮小画像（レイヤ）でテンプレート画像とのマッチング処理を行うことで、大きさの異なる人体の検出を行う。 Surveillance cameras perform image analysis from input images and determine the presence or absence of people, thereby detecting intrusion of people and counting the number of people, even if a monitor does not monitor for 24 hours. A surveillance camera detects a specific object such as a human body from an input image by pattern matching processing. In pattern matching processing, the surveillance camera generates an image pyramid, which is a collection of reduced images obtained by recursively reducing the input image. Perform different human body detection.

特許文献１では、パターンマッチングに用いる縮小画像のレイヤの優先度を、過去の検出実績に基づいて切り替える手法が開示されている。特許文献２では、領域に対応付けてレイヤの種類を対応づけることで、処理速度を向上させる手法が開示されている。 Japanese Patent Application Laid-Open No. 2002-200001 discloses a method of switching the priority of a layer of a reduced image used for pattern matching based on past detection results. Japanese Patent Application Laid-Open No. 2002-200000 discloses a technique for improving the processing speed by associating layer types with regions.

特許第５９２４９９１号公報Japanese Patent No. 5924991 特許第５７９５９１６号公報Japanese Patent No. 5795916

しかし、全レイヤの縮小画像でパターンマッチング処理を行うと、処理負荷がかかるため、リアルタイムな人体検出処理を行う場合、処理中に次の画像が入力されたら今の画像の人体検出処理を途中で打ち切り、次の画像の人体検出処理を行う必要がある。そのため、人体検出処理を最後まで完了することができず、検出漏れが発生する場合がある。また、シチュエーション上、大きい人体又は小さい人体がいないようなケースの場合でも、全レイヤで処理を行うため、誤検出が発生する場合がある。 However, if the pattern matching process is performed on the reduced images of all layers, the processing load will be heavy. It is necessary to discontinue and perform human body detection processing on the next image. Therefore, the human body detection process cannot be completed to the end, and detection omissions may occur. Moreover, even in cases where there is no large human body or small human body, erroneous detection may occur because processing is performed in all layers.

特許文献１の手法では、画像の撮影環境が著しく変わる環境下の場合、却って検出精度が低下する可能性がある。特許文献２の手法では、奥行きがあるような場所で、大きい人体と小さい人体が混在する場所では、処理速度の向上を図れない。 In the method of Patent Document 1, the detection accuracy may rather deteriorate in an environment where the imaging environment of the image changes significantly. With the technique of Patent Document 2, it is not possible to improve the processing speed in a place with depth and where large and small human bodies coexist.

本発明の目的は、画像の撮影環境が著しく変わる環境下においても、高精度かつ低負荷で特定物を検出することができる画像処理装置、画像処理方法及びプログラムを提供することである。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an image processing apparatus, an image processing method, and a program capable of detecting a specific object with high accuracy and low load even in an environment where the imaging environment of an image changes significantly.

本発明の画像処理装置は、入力された画像を縮小することにより大きさが異なる複数の画像を生成する画像生成手段と、前記入力された画像内の動体を検出する動体検出手段と、前記動体に応じて決定された前記複数の画像の一部または順序に基づいてテンプレート画像のマッチング処理を行うことによって、前記入力された画像内の特定物を検出する特定物検出手段とを有し、前記特定物検出手段は、前記動体検出手段により検出された動体のうちの最大の動体の大きさと最小の動体の大きさに応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行う。 The image processing apparatus of the present invention comprises: image generation means for generating a plurality of images of different sizes by reducing an input image; moving object detection means for detecting a moving object in the input image; specific object detection means for detecting a specific object in the input image by matching a template image based on part or order of the plurality of images determined according to the A specific object detection means detects a template image for a part of the plurality of images according to the size of the maximum moving object and the minimum size of the moving object detected by the moving object detection means. matching process .

本発明によれば、画像の撮影環境が著しく変わる環境下においても、高精度かつ低負荷で特定物を検出することができる。 According to the present invention, it is possible to detect a specific object with high accuracy and low load even under an environment in which the imaging environment of an image changes significantly.

第１の実施形態に係る人体検出システムのブロック構成図である。1 is a block configuration diagram of a human body detection system according to a first embodiment; FIG. 第１の実施形態に係る人体検出装置の縮小画像のレイヤを示す図である。FIG. 4 is a diagram showing layers of reduced images of the human body detection device according to the first embodiment; 第１の実施形態に係る人体検出装置の動体検出を示す図である。It is a figure which shows moving object detection of the human body detection apparatus which concerns on 1st Embodiment. 第１の実施形態に係る人体検出装置の検出スキャン処理を示す図である。FIG. 4 is a diagram showing detection scanning processing of the human body detection device according to the first embodiment; 第１の実施形態に係る画像処理方法を示すフローチャートである。4 is a flow chart showing an image processing method according to the first embodiment; 第２の実施形態に係る人体検出システムのブロック構成図である。FIG. 11 is a block configuration diagram of a human body detection system according to a second embodiment; FIG. 第２の実施形態に係る人体検出装置の消失点検出を示す図である。It is a figure which shows the vanishing point detection of the human body detection apparatus which concerns on 2nd Embodiment. 第２の実施形態に係る人体検出装置の縮小画像のレイヤを示す図である。FIG. 11 is a diagram showing layers of reduced images of the human body detection device according to the second embodiment; 第２の実施形態に係る画像処理方法を示すフローチャートである。9 is a flow chart showing an image processing method according to the second embodiment; 第３の実施形態に係る人体検出システムのブロック構成図である。FIG. 11 is a block configuration diagram of a human body detection system according to a third embodiment; 第３の実施形態に係る画像処理方法を示すフローチャートである。9 is a flow chart showing an image processing method according to the third embodiment; 第４の実施形態に係る人体検出システムのブロック構成図である。FIG. 11 is a block configuration diagram of a human body detection system according to a fourth embodiment; 第４の実施形態に係る人体検出装置の縮小画像のレイヤを示す図である。It is a figure which shows the layer of the reduced image of the human body detection apparatus which concerns on 4th Embodiment. 第４の実施形態に係る画像処理方法を示すフローチャートである。14 is a flow chart showing an image processing method according to the fourth embodiment;

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Preferred embodiments of the present invention are described in detail below with reference to the accompanying drawings. Note that the configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.

（第１の実施形態）
図１は、本発明の第１の実施形態に係る人体検出システム１００の構成例を示すブロック図である。人体検出システム１００は、特定物検出システムであり、入力された画像情報から画像中の人体（特定物）を検出して表示するシステムである。特定物は、人体に限定されない。以下、特定物が人体の例を説明する。人体検出システム１００は、画像入力装置１０１と、人体検出装置１０２と、モニタ装置１０３とを有する。人体検出装置１０２とモニタ装置１０３は、ビデオインターフェースを介して接続されている。画像入力装置１０１は、周囲を撮影して撮影画像を生成する装置であり、カメラ等により構成される。画像入力装置１０１は、撮像された画像情報を人体検出装置１０２へ出力する。 (First embodiment)
FIG. 1 is a block diagram showing a configuration example of a human body detection system 100 according to the first embodiment of the present invention. The human body detection system 100 is a specific object detection system that detects and displays a human body (specific object) in an image from input image information. A specific object is not limited to a human body. An example in which the specific object is a human body will be described below. Human body detection system 100 has image input device 101 , human body detection device 102 , and monitor device 103 . The human body detection device 102 and the monitor device 103 are connected via a video interface. The image input device 101 is a device that captures an image of the surroundings and generates a captured image, and is configured by a camera or the like. The image input device 101 outputs captured image information to the human body detection device 102 .

人体検出装置１０２は、画像処理装置であり、画像入力装置１０１から画像情報が入力されると、画像中の人体の検出処理を行い、検出した結果と処理画像を画像出力部１１２を介して、モニタ装置１０３に出力する。人体検出装置１０２は、画像入力部１０４と、縮小画像生成部１０５と、レイヤ構築部１０６と、動体検出部１０７と、レイヤ決定部１０８と、辞書１０９と、人体検出処理部１１０と、検出結果生成部１１１と、画像出力部１１２とを有する。 The human body detection device 102 is an image processing device. When image information is input from the image input device 101, the human body detection device 102 detects a human body in the image. Output to the monitor device 103 . The human body detection device 102 includes an image input unit 104, a reduced image generation unit 105, a layer construction unit 106, a moving object detection unit 107, a layer determination unit 108, a dictionary 109, a human body detection processing unit 110, and a detection result. It has a generation unit 111 and an image output unit 112 .

画像入力部１０４は、画像入力装置１０１で撮像された画像情報を入力し、縮小画像生成部１０５、動体検出部１０７、及び画像出力部１１２へ出力する。縮小画像生成部１０５は、画像入力部１０４から入力した画像を再帰的に縮小することにより大きさが異なる複数の縮小画像を生成し、元画像と生成した縮小画像をレイヤ構築部１０６へ出力する。レイヤ構築部１０６は、縮小画像生成部１０５から入力した元画像及び各縮小画像から画像ピラミッドを生成し、各画像を処理レイヤとして割り当てたレイヤを構築する。 The image input unit 104 inputs image information captured by the image input device 101 and outputs the information to the reduced image generation unit 105 , the moving object detection unit 107 and the image output unit 112 . Reduced image generation unit 105 generates a plurality of reduced images having different sizes by recursively reducing the image input from image input unit 104 , and outputs the original image and the generated reduced images to layer construction unit 106 . . The layer constructing unit 106 generates an image pyramid from the original image and each reduced image input from the reduced image generating unit 105, and constructs a layer in which each image is assigned as a processing layer.

ここで、図２（Ａ）を用いて、画像ピラミッドのレイヤ構成２０１について説明する。縮小画像生成部１０５は、画像入力部１０４から入力した画像２１０を再帰的に縮小することにより大きさが異なる複数の縮小画像２０４～２０９を生成する。レイヤ構築部１０６は、入力された元画像２１０及び縮小画像２０４～２０９から、画像ピラミッドのレイヤ構成２０１を構築する。レイヤ構築部１０６は、レイヤ構成２０１として、入力された元画像２１０を最底辺とし、その上に元画像２１０を縮小した縮小画像２０９を積み上げ、さらに縮小画像２０９を縮小した縮小画像２０８を積み上げる。同様に、レイヤ構築部１０６は、縮小画像２０８を縮小した縮小画像２０７を積み上げ、縮小画像２０７を縮小した縮小画像２０６を積み上げ、縮小画像２０６を縮小した縮小画像２０５を積み上げ、縮小画像２０５を縮小した縮小画像２０４を積み上げる。レイヤ構築部１０６は、縮小画像を積み上げた画像ピラミッドを生成し、画像ピラミッドの頂点の縮小画像２０４から元画像２１０まで７個の画像を順に、レイヤ０、レイヤ１、レイヤ２、・・・、レイヤ６と割り当てることで、レイヤ構成２０１を構築する。レイヤ構築部１０６は、画像ピラミッドのレイヤ構成２０１として、特に指定が無い限り基本的にはレイヤ０を開始レイヤ、レイヤ６を終了レイヤとして順に処理を行う。レイヤ構築部１０６は、レイヤ構成２０１のレイヤ構成情報をレイヤ決定部１０８へ出力し、レイヤ構成２０１のレイヤ構成情報を人体検出処理部１１０へ出力する。 Here, the layer configuration 201 of the image pyramid will be described with reference to FIG. 2(A). The reduced image generation unit 105 recursively reduces the image 210 input from the image input unit 104 to generate a plurality of reduced images 204 to 209 having different sizes. The layer constructing unit 106 constructs an image pyramid layer structure 201 from the input original image 210 and reduced images 204 to 209 . As a layer configuration 201, the layer building unit 106 places the input original image 210 as the bottom, stacks a reduced image 209 obtained by reducing the original image 210 thereon, and further accumulates a reduced image 208 obtained by reducing the reduced image 209. Similarly, the layer construction unit 106 stacks a reduced image 207 obtained by reducing the reduced image 208, accumulates a reduced image 206 obtained by reducing the reduced image 207, accumulates a reduced image 205 obtained by reducing the reduced image 206, and reduces the reduced image 205. Then, the reduced images 204 are piled up. The layer construction unit 106 generates an image pyramid in which reduced images are stacked, and seven images from the reduced image 204 at the top of the image pyramid to the original image 210 are arranged in order from layer 0, layer 1, layer 2, . By assigning layer 6, a layer configuration 201 is constructed. As the layer structure 201 of the image pyramid, the layer construction unit 106 basically performs processing in order with layer 0 as the start layer and layer 6 as the end layer unless otherwise specified. Layer construction section 106 outputs layer configuration information of layer configuration 201 to layer determination section 108 and outputs layer configuration information of layer configuration 201 to human body detection processing section 110 .

動体検出部１０７は、画像入力部１０４から入力した画像内の動体を検出する。動体検出部１０７は、動体の検出方法として、前回入力された画像と今回入力された画像の差分から画像内の動体を検出するフレーム間差分法を用いる。フレーム間差分法については、公知の技術であるため、詳細な説明を省略する。動体検出部１０７は、検出した各動体の矩形情報をレイヤ決定部１０８へ出力する。 A moving object detection unit 107 detects a moving object in the image input from the image input unit 104 . As a moving object detection method, the moving object detection unit 107 uses an inter-frame difference method for detecting a moving object in an image from the difference between the previously input image and the currently input image. Since the inter-frame difference method is a well-known technique, detailed description thereof will be omitted. Moving object detection section 107 outputs rectangle information of each detected moving object to layer determination section 108 .

レイヤ決定部１０８は、レイヤ構築部１０６から入力したレイヤ構成情報と、動体検出部１０７から入力した画像内の各動体の矩形情報から、レイヤの検出開始位置及び検出終了位置を決定する。ここで、図２（Ｂ）、（Ｃ）及び図３を用いて、レイヤの検出開始位置及び検出終了位置の変更について説明する。 The layer determination unit 108 determines the layer detection start position and detection end position from the layer configuration information input from the layer construction unit 106 and the rectangle information of each moving object in the image input from the moving object detection unit 107 . Here, changing the layer detection start position and detection end position will be described with reference to FIGS.

図３は、動体検出部１０７の動体の検出結果を示す図である。動体検出部１０７は、入力画像２１０内の動体を検出し、検出した各動体の矩形情報をレイヤ決定部１０８へ出力する。レイヤ決定部１０８は、入力画像２１０内の各動体の矩形情報を入力し、入力した矩形情報から最も大きい動体の矩形３０２と最も小さい動体の矩形３０３を特定し、その矩形３０２及び３０３の大きさを取得する。レイヤ決定部１０８は、最も大きい動体の矩形３０２の大きさに応じてレイヤの検出開始位置を決定し、最も小さい動体の矩形３０３の大きさに応じてレイヤの検出終了位置を決定する。 FIG. 3 is a diagram showing the result of moving object detection by the moving object detection unit 107. As shown in FIG. The moving object detection unit 107 detects a moving object in the input image 210 and outputs rectangle information of each detected moving object to the layer determination unit 108 . The layer determining unit 108 receives the rectangle information of each moving object in the input image 210, identifies the largest moving object rectangle 302 and the smallest moving object rectangle 303 from the input rectangle information, and determines the sizes of the rectangles 302 and 303. to get The layer determination unit 108 determines the layer detection start position according to the size of the largest moving object rectangle 302 , and determines the layer detection end position according to the size of the smallest moving object rectangle 303 .

レイヤ決定部１０８は、最も大きい動体の矩形３０２の大きさが、人体検出可能な人体の最大値を下回っている場合、その矩形３０２の大きさに応じてレイヤの検出開始位置を決定する。例えば、レイヤ決定部１０８は、図２（Ｂ）のレイヤ構成２０１に示すように、最も大きい動体の矩形３０２の大きさに応じて、縮小画像２０７のレイヤ３をレイヤの検出開始位置として決定する。これにより、人体検出処理部１１０は、縮小画像２０４、２０５、２０６のレイヤの処理をスキップし、その動体の矩形３０２の大きさの人体検出に適した縮小画像２０７のレイヤから処理を開始する。 If the size of the rectangle 302 of the largest moving object is smaller than the maximum human body detectable, the layer determination unit 108 determines the layer detection start position according to the size of the rectangle 302 . For example, as shown in the layer configuration 201 in FIG. 2B, the layer determination unit 108 determines layer 3 of the reduced image 207 as the layer detection start position according to the size of the largest moving object rectangle 302. . As a result, the human body detection processing unit 110 skips the layer processing of the reduced images 204, 205, and 206, and starts processing from the layer of the reduced image 207 suitable for human body detection with the size of the rectangle 302 of the moving object.

また、レイヤ決定部１０８は、最も小さい動体の矩形３０３の大きさが、人体検出可能な人体の最小値を上回っている場合、その矩形３０３の大きさに応じてレイヤの検出終了位置を決定する。例えば、レイヤ決定部１０８は、図２（Ｃ）のレイヤ構成２０１に示すように、最も小さい動体の矩形３０３の大きさに応じて、縮小画像２０７のレイヤ３をレイヤの検出終了位置として決定する。これにより、人体検出処理部１１０は、その動体の矩形３０３の大きさの人体検出に適した縮小画像２０７のレイヤまでで処理を終了し、縮小画像２０８、２０９及び元画像２１０のレイヤの処理をスキップする。 Further, when the size of the rectangle 303 of the smallest moving object exceeds the minimum value of the human body detectable, the layer determination unit 108 determines the detection end position of the layer according to the size of the rectangle 303. . For example, the layer determination unit 108 determines layer 3 of the reduced image 207 as the layer detection end position according to the size of the smallest moving object rectangle 303, as shown in the layer configuration 201 of FIG. 2C. . As a result, the human body detection processing unit 110 finishes processing up to the layer of the reduced image 207 suitable for human body detection with the size of the rectangle 303 of the moving object, and processes the layers of the reduced images 208 and 209 and the original image 210. skip.

レイヤ決定部１０８は、決定したレイヤの検出開始位置とレイヤの検出終了位置を人体検出処理部１１０へ出力する。辞書１０９は、人体検出用のテンプレート画像を多数辞書として記憶し、人体検出用のテンプレート画像を人体検出処理部１１０へ出力する。人体検出処理部１１０は、レイヤ構築部１０６から入力したレイヤ構成情報と、レイヤ決定部１０８から入力したレイヤの検出開始位置及びレイヤの検出終了位置情報と、辞書１０９から入力した人体検出用のテンプレート画像を使用して、人体検出処理を行う。人体検出処理部１１０は、特定物検出手段であり、各レイヤの画像２０４～２１０の全部又は一部に対してテンプレート画像のマッチング処理を行い、人体（特定物）を検出する。人体検出処理部１１０は、レイヤの検出開始位置の画像から順次処理を行っていき、レイヤの検出終了位置の画像で人体検出処理を終える。 Layer determination section 108 outputs the determined layer detection start position and layer detection end position to human body detection processing section 110 . The dictionary 109 stores many template images for human body detection as a dictionary, and outputs the template images for human body detection to the human body detection processing unit 110 . The human body detection processing unit 110 receives layer configuration information input from the layer building unit 106, layer detection start position and layer detection end position information input from the layer determination unit 108, and a template for human body detection input from the dictionary 109. The image is used to perform human body detection processing. The human body detection processing unit 110 is specific object detection means, and performs template image matching processing on all or part of the images 204 to 210 of each layer to detect a human body (specific object). The human body detection processing unit 110 sequentially performs processing from the image at the detection start position of the layer, and ends the human body detection processing at the image at the detection end position of the layer.

図４は、人体検出処理部１１０が人体を検出する処理を示す図である。人体検出処理部１１０は、各レイヤの画像４０１～４０３に対して人体検出用のテンプレート画像４０４をスキャン４０５の順番でラスタスキャンすることにより、画像４０１～４０３中の人体を検出する。画像４０１～４０３は、図２（Ａ）の大きさが異なる複数の画像２０４～２１０の一部又は全部に対応する。人体検出処理部１１０は、複数の画像４０１～４０３に対してテンプレート画像４０４のマッチング処理を行い、人体を検出する。このように、人体検出処理部１１０は、各レイヤの画像４０１～４０３に対して人体検出処理を行うことにより、小さい画像４０１程大きい人体を検出し、大きい画像４０３程小さい人体を検出することができる。人体検出処理部１１０は、リアルタイムで人体検出処理を行うため、人体検出処理の途中で次の画像が入力された場合、現在行っている画像の人体検出処理を打ち切り、次の画像の人体検出処理を開始する。人体検出処理部１１０は、レイヤの検出開始位置及びレイヤの検出終了位置情報に応じて、複数の画像２０４～２１０のうちの一部の画像に対してテンプレート画像４０４のマッチング処理を行い、人体を検出する。これにより、人体検出時間が短くなり、上記の人体検出処理の打ち切りを防止することができる。人体検出処理部１１０は、検出した人体情報を検出結果生成部１１１へ出力する。 FIG. 4 is a diagram showing a process of detecting a human body by the human body detection processing unit 110. As shown in FIG. The human body detection processing unit 110 detects the human body in the images 401 to 403 by raster-scanning the template image 404 for human body detection on the images 401 to 403 of each layer in the order of scanning 405 . Images 401 to 403 correspond to part or all of the plurality of images 204 to 210 having different sizes in FIG. 2(A). A human body detection processing unit 110 performs matching processing of a template image 404 on a plurality of images 401 to 403 to detect a human body. In this manner, the human body detection processing unit 110 performs human body detection processing on the images 401 to 403 of each layer, so that a smaller image 401 can detect a larger human body, and a larger image 403 can detect a smaller human body. can. Since the human body detection processing unit 110 performs human body detection processing in real time, when the next image is input in the middle of the human body detection processing, the human body detection processing of the current image is terminated and the human body detection processing of the next image is performed. to start. The human body detection processing unit 110 performs matching processing with the template image 404 on some of the plurality of images 204 to 210 according to layer detection start position and layer detection end position information, and detects the human body. To detect. As a result, the human body detection time is shortened, and the termination of the human body detection process can be prevented. The human body detection processing unit 110 outputs the detected human body information to the detection result generation unit 111 .

検出結果生成部１１１は、人体検出処理部１１０から入力した人体情報を基に、人体の矩形情報を生成する。検出結果生成部１１１は、生成した矩形情報を画像出力部１１２へ出力する。画像出力部１１２は、画像入力部１０４から入力した画像と、検出結果生成部１１１から入力した人体の矩形情報を重畳し、人体の矩形情報が重畳された画像をモニタ装置１０３へ出力する。モニタ装置１０３は、人体検出装置１０２の画像出力部１１２から出力された画像を表示する。 The detection result generation unit 111 generates rectangle information of the human body based on the human body information input from the human body detection processing unit 110 . The detection result generation unit 111 outputs the generated rectangle information to the image output unit 112 . The image output unit 112 superimposes the image input from the image input unit 104 on the rectangle information of the human body input from the detection result generation unit 111 , and outputs the image on which the rectangle information of the human body is superimposed to the monitor device 103 . The monitor device 103 displays the image output from the image output unit 112 of the human body detection device 102 .

図５は、第１の実施形態による人体検出システム１００の画像処理方法を示すフローチャートである。人体検出システム１００は、ユーザ操作により起動され、人体検出処理を開始する。初めに、ステップＳ５０１において、画像入力部１０４は、画像入力装置１０１から画像２１０を入力する。次に、ステップＳ５０２において、縮小画像生成部１０５は、画像入力部１０４から入力した画像２１０を再帰的に縮小した縮小画像２０４～２０９を生成する。次に、ステップＳ５０３において、レイヤ構築部１０６は、入力された画像２１０と縮小画像２０４～２０９からレイヤ構成２０１を構築する。次に、ステップＳ５０４において、動体検出部１０７は、画像入力部１０４から入力した画像２１０から動体の検出処理を行い、画像２１０内の動体の矩形の大きさから、最小動体の矩形３０３の大きさと最大動体の矩形３０２の大きさを求める。 FIG. 5 is a flow chart showing an image processing method of the human body detection system 100 according to the first embodiment. The human body detection system 100 is activated by a user operation and starts human body detection processing. First, in step S<b>501 , the image input unit 104 inputs the image 210 from the image input device 101 . Next, in step S502, the reduced image generation unit 105 generates reduced images 204 to 209 by recursively reducing the image 210 input from the image input unit 104. FIG. Next, in step S503, the layer building unit 106 builds a layer structure 201 from the input image 210 and reduced images 204-209. Next, in step S504, the moving object detection unit 107 performs moving object detection processing from the image 210 input from the image input unit 104, and calculates the size of the minimum moving object rectangle 303 from the size of the moving object rectangle in the image 210. The size of the maximum moving object rectangle 302 is obtained.

次に、ステップＳ５０５において、レイヤ決定部１０８は、動体検出部１０７から入力した最大動体の矩形３０２の大きさ（サイズ）が更新されたか否かを判定する。最大動体の矩形のサイズのデフォルト値は、検出可能な最大矩形サイズである。レイヤ決定部１０８は、最大動体の矩形３０２のサイズが更新されたと判定した場合にはステップＳ５０６に処理を進め、最大動体の矩形３０２のサイズが更新されていないと判定した場合にはステップＳ５０７に処理を進める。ステップＳ５０６において、レイヤ決定部１０８は、画像２１０内の最大動体の矩形３０２のサイズから、レイヤの検出開始位置を決定し、レイヤの検出開始位置を更新し、ステップＳ５０７に処理を進める。 Next, in step S505, the layer determination unit 108 determines whether or not the size of the maximum moving object rectangle 302 input from the moving object detection unit 107 has been updated. The default value for the maximum moving object rectangle size is the maximum detectable rectangle size. If the layer determination unit 108 determines that the size of the rectangle 302 of the maximum moving object has been updated, the process proceeds to step S506. Proceed with processing. In step S506, the layer determination unit 108 determines the layer detection start position from the size of the rectangle 302 of the largest moving object in the image 210, updates the layer detection start position, and advances the process to step S507.

ステップＳ５０７において、レイヤ決定部１０８は、動体検出部１０７から入力した最小動体の矩形３０３のサイズが更新されたか否かを判定する。最小動体の矩形のサイズのデフォルト値は、検出可能な最小矩形サイズである。レイヤ決定部１０８は、最小動体の矩形３０３のサイズが更新されたと判定した場合にはステップＳ５０８に処理を進め、最小動体の矩形３０３のサイズが更新されていないと判定した場合にはステップＳ５０９に処理を進める。ステップＳ５０８において、レイヤ決定部１０８は、画像２１０内の最小動体の矩形３０３のサイズから、レイヤの検出終了位置を決定し、レイヤの検出終了位置を更新し、ステップＳ５０９に処理を進める。 In step S507, the layer determination unit 108 determines whether the size of the minimum moving object rectangle 303 input from the moving object detection unit 107 has been updated. The default value for the minimum moving object rectangle size is the minimum detectable rectangle size. If the layer determination unit 108 determines that the size of the minimum moving object rectangle 303 has been updated, the process proceeds to step S508. Proceed with processing. In step S508, the layer determination unit 108 determines the layer detection end position from the size of the minimum moving object rectangle 303 in the image 210, updates the layer detection end position, and advances the process to step S509.

ステップＳ５０９において、人体検出処理部１１０は、レイヤ決定部１０８により決定されたレイヤの検出開始位置及び検出終了位置に応じて、各レイヤの人体検出処理を行う。次に、ステップＳ５１０において、検出結果生成部１１１は、人体検出処理部１１０から入力した人体情報から人体の矩形情報を生成する。次に、ステップＳ５１１において、画像出力部１１２は、画像入力部１０４から入力した画像２１０と、検出結果生成部１１１から入力した人体の矩形情報とを重畳し、人体の矩形情報が重畳された画像をモニタ装置１０３へ出力する。次に、ステップＳ５１２において、モニタ装置１０３は、画像出力部１１２から入力した画像を表示する。 In step S<b>509 , the human body detection processing unit 110 performs human body detection processing for each layer according to the layer detection start position and detection end position determined by the layer determination unit 108 . Next, in step S<b>510 , the detection result generation unit 111 generates human body rectangle information from the human body information input from the human body detection processing unit 110 . Next, in step S511, the image output unit 112 superimposes the image 210 input from the image input unit 104 and the rectangle information of the human body input from the detection result generation unit 111, and generates an image on which the rectangle information of the human body is superimposed. is output to the monitor device 103 . Next, in step S<b>512 , the monitor device 103 displays the image input from the image output unit 112 .

次に、ステップＳ５１３において、人体検出システム１００は、ユーザ操作による不図示の人体検出処理オン／オフスイッチが操作され、人体検出処理の停止操作が行われたか否かを判定する。人体検出システム１００は、停止操作が行われていないと判定した場合にはステップＳ５０１に処理を戻し、停止操作が行われたと判定した場合には人体検出処理を終了する。 Next, in step S513, the human body detection system 100 determines whether or not the human body detection processing on/off switch (not shown) has been operated by the user to stop the human body detection processing. If the human body detection system 100 determines that the stop operation has not been performed, the process returns to step S501, and if it determines that the stop operation has been performed, the human body detection process ends.

なお、動体検出部１０７は、検出された動体に基づき現在の混雑度を検出してもよい。その場合、人体検出処理部１１０は、混雑度が閾値以上である場合には、混雑していると判断し、複数の画像２０４～２１０のすべての画像に対してテンプレート画像のマッチング処理を行う。また、人体検出処理部１１０は、混雑度が閾値以上でない場合には、混雑していないと判断し、レイヤの検出開始位置と検出終了位置に応じて、上記のように、複数の画像２０４～２１０のうちの一部の画像に対してテンプレート画像のマッチング処理を行う。 Note that the moving object detection unit 107 may detect the current congestion degree based on the detected moving object. In this case, if the degree of congestion is equal to or greater than the threshold, the human body detection processing unit 110 determines that there is congestion, and performs template image matching processing on all of the plurality of images 204 to 210 . When the degree of congestion is not equal to or greater than the threshold, the human body detection processing unit 110 determines that there is no congestion, and processes the plurality of images 204 to 204 according to the layer detection start position and detection end position as described above. Template image matching processing is performed on some of the images in 210 .

以上のように、人体検出システム１００は、画像２１０内の最大動体の矩形３０２のサイズと最小動体の矩形３０３のサイズに応じて、レイヤの検出開始位置と検出終了位置を変更する。人体検出処理部１１０は、画像２１０内の最大動体の矩形３０２のサイズと最小動体の矩形３０３のサイズに応じて、複数の画像２０４～２１０のうちの一部の画像に対してテンプレート画像のマッチング処理を行い、人体を検出する。これにより、人体検出システム１００は、画像の撮影環境が著しく変わる環境下においても、高精度かつ低負荷で人体検出を行うことができる。 As described above, the human body detection system 100 changes the layer detection start position and detection end position according to the size of the rectangle 302 of the largest moving object and the size of the rectangle 303 of the smallest moving object in the image 210 . The human body detection processing unit 110 performs template image matching for some of the plurality of images 204 to 210 according to the size of the maximum moving object rectangle 302 and the minimum moving object rectangle 303 in the image 210. Process and detect the human body. As a result, the human body detection system 100 can perform human body detection with high accuracy and low load even in an environment where the image capturing environment changes significantly.

（第２の実施形態）
図６は、本発明の第２の実施形態に係る人体検出システム１００の構成例を示すブロック図である。図６の人体検出システム１００は、図１の人体検出システム１００に対して、動体検出部１０７の代わりに消失点検出部６０７を設けたものである。消失点検出部６０７は、人体検出装置１０２内に設けられ、画像入力部１０４から入力した画像内の遠近法における消失点を検出する。以下、本実施形態が第１の実施形態と異なる点を説明する。 (Second embodiment)
FIG. 6 is a block diagram showing a configuration example of a human body detection system 100 according to the second embodiment of the present invention. The human body detection system 100 in FIG. 6 has a vanishing point detection unit 607 instead of the moving object detection unit 107 in the human body detection system 100 in FIG. The vanishing point detection unit 607 is provided in the human body detection device 102 and detects a vanishing point in the perspective in the image input from the image input unit 104 . Differences of this embodiment from the first embodiment will be described below.

図７は、消失点検出部６０７による消失点の検出方法を説明するための図である。消失点検出部６０７は、画像入力部１０４から画像２１０を入力し、入力画像２１０に対してエッジ検出処理を行い、ハフ変換処理により画像２１０上の直線７０３、７０４、７０５を求める。次に、消失点検出部６０７は、画像２１０内で３本以上の直線７０３～７０５が交差する点を消失点７０２として検出する。エッジ検出処理とハフ変換処理は、公知の技術であるため、詳細な説明を省略する。消失点検出部６０７は、検出した消失点７０２をレイヤ決定部１０８へ出力する。 FIG. 7 is a diagram for explaining a method of detecting a vanishing point by the vanishing point detection unit 607. FIG. A vanishing point detection unit 607 receives the image 210 from the image input unit 104, performs edge detection processing on the input image 210, and obtains straight lines 703, 704, and 705 on the image 210 by Hough transform processing. Next, the vanishing point detection unit 607 detects a point where three or more straight lines 703 to 705 intersect in the image 210 as a vanishing point 702 . Since edge detection processing and Hough transform processing are well-known techniques, detailed description thereof will be omitted. Vanishing point detection section 607 outputs detected vanishing point 702 to layer determination section 108 .

レイヤ決定部１０８は、レイヤ構築部１０６から入力したレイヤ構成２０１と、消失点検出部６０７から入力した消失点７０２から、人体検出処理を行うレイヤの順序を決定する。画像２１０内に消失点７０２が存在する場合、入力画像２１０に大きい人体から小さい人体まで混在する可能性があるため、順次処理を行っていくと、順番が最後となる小さい人体の検出処理で処理が打ち切られ、小さい人体だけ検出漏れが多発する場合がある。そこで、レイヤ決定部１０８は、大きい人体から小さい人体までまんべんなく検出できるように、図８（Ａ）のレイヤ構成２０１に示すように、一つ飛ばしのレイヤの画像２０４、２０６、２０８、２１０の順序で処理を行う検出処理順序を決定する。それに続き、レイヤ決定部１０８は、図８（Ｂ）のレイヤ構成２０１に示すように、図８（Ａ）で飛ばしたレイヤの画像２０５、２０７、２０９の順序で処理を行う検出処理順序を決定する。すなわち、レイヤ決定部１０８は、図８（Ａ）のレイヤ順序で処理を行い、その後、図８（Ｂ）のレイヤ順序で処理を行う検出処理順序を決定する。なお、レイヤ決定部１０８は、画像２１０内に消失点７０２が存在しない場合は、大きい人体を検出するレイヤの画像２０４から小さい人体を検出する画像２１０まで順次処理を行う検出処理順序を決定する。レイヤ決定部１０８は、決定した検出処理順序情報を人体検出処理部１１０へ出力する。 Layer determination section 108 determines the order of layers for human body detection processing based on layer configuration 201 input from layer construction section 106 and vanishing point 702 input from vanishing point detection section 607 . If there is a vanishing point 702 in the image 210, there is a possibility that the input image 210 may include a large human body to a small human body. is truncated, and there are cases where only small human bodies are missed in detection. Therefore, the layer determining unit 108 sets the order of the images 204, 206, 208, and 210 of the layers skipping one, as shown in the layer configuration 201 of FIG. Determines the detection processing order in which processing is performed in . Subsequently, the layer determination unit 108 determines the detection processing order in which the images 205, 207, and 209 of the layers skipped in FIG. 8A are processed in the order shown in the layer configuration 201 in FIG. do. That is, layer determination section 108 determines the detection processing order in which processing is performed in the layer order of FIG. 8A, and then processing is performed in the layer order of FIG. 8B. Note that when the vanishing point 702 does not exist in the image 210, the layer determination unit 108 determines the detection processing order in which the layer image 204 for detecting a large human body to the image 210 for detecting a small human body are sequentially processed. Layer determination section 108 outputs the determined detection processing order information to human body detection processing section 110 .

消失点検出部６０７は、大きい人体と小さい人体が混在するシーンを検出するために設けられているが、これに限定されない。第１の実施形態の動体検出部１０７が、画像２１０内の各動体の大きさから大きい人体と小さい人体が混在するシーンを検出してもよい。 The vanishing point detection unit 607 is provided for detecting a scene in which a large human body and a small human body are mixed, but is not limited to this. The moving body detection unit 107 of the first embodiment may detect a scene in which a large human body and a small human body coexist from the size of each moving body in the image 210 .

人体検出処理部１１０は、レイヤ構築部１０６から入力したレイヤ構成情報と、レイヤ決定部１０８から入力した検出処理順序情報と、辞書１０９から入力した人体検出用のテンプレート画像を使用して人体検出処理を行う。人体検出処理部１１０は、検出処理順序情報に応じたフレームの順序で、第１の実施形態と同様の人体検出処理を行う。その他の構成は、第１の実施形態と同じである。 The human body detection processing unit 110 performs human body detection processing using the layer configuration information input from the layer construction unit 106, the detection processing order information input from the layer determination unit 108, and the template image for human body detection input from the dictionary 109. I do. The human body detection processing unit 110 performs the same human body detection process as in the first embodiment in the frame order according to the detection process order information. Other configurations are the same as those of the first embodiment.

図９は、第２の実施形態による人体検出システム１００の画像処理方法を示すフローチャートである。図９のフローチャートは、図５のフローチャートに対して、ステップＳ５０４～Ｓ５０８の代わりに、ステップＳ９０４～Ｓ９０８を設けたものである。以下、本実施形態が第１の実施形態と異なる点を説明する。 FIG. 9 is a flow chart showing an image processing method of the human body detection system 100 according to the second embodiment. The flowchart of FIG. 9 is obtained by providing steps S904 to S908 in place of steps S504 to S508 in the flowchart of FIG. Differences of this embodiment from the first embodiment will be described below.

初めに、ステップＳ５０１において、画像入力部１０４は、画像入力装置１０１から画像２１０を入力する。次に、ステップＳ５０２において、縮小画像生成部１０５は、画像入力部１０４から入力した画像２１０を再帰的に縮小した縮小画像２０４～２０９を生成する。次に、ステップＳ５０３において、レイヤ構築部１０６は、入力された画像２１０と縮小画像２０４～２０９からレイヤ構成２０１を構築する。 First, in step S<b>501 , the image input unit 104 inputs the image 210 from the image input device 101 . Next, in step S502, the reduced image generation unit 105 generates reduced images 204 to 209 by recursively reducing the image 210 input from the image input unit 104. FIG. Next, in step S503, the layer building unit 106 builds a layer structure 201 from the input image 210 and reduced images 204-209.

次に、ステップＳ９０４において、消失点検出部６０７は、画像入力部１０４から入力した画像２１０内の消失点７０２の検出処理を行う。次に、Ｓ９０５において、レイヤ決定部１０８は、消失点検出部６０７が消失点を検出したか否かを判定する。レイヤ決定部１０８は、消失点検出部６０７が消失点を検出したと判定した場合にはステップＳ９０６に処理を進め、消失点検出部６０７が消失点を検出していないと判定した場合にはステップＳ９０７に処理を進める。 Next, in step S<b>904 , the vanishing point detection unit 607 performs detection processing of the vanishing point 702 in the image 210 input from the image input unit 104 . Next, in S905, the layer determination unit 108 determines whether the vanishing point detection unit 607 has detected a vanishing point. If the layer determination unit 108 determines that the vanishing point detection unit 607 has detected a vanishing point, the process proceeds to step S906. The process proceeds to S907.

ステップＳ９０６において、レイヤ決定部１０８は、消失点検出部６０７により検出された消失点が画像２１０内にあるか否かを判定する。レイヤ決定部１０８は、消失点が画像２１０内にあると判定した場合にはステップＳ９０８に処理を進め、消失点が画像２１０内にないと判定した場合にはステップＳ９０７に処理を進める。 In step S<b>906 , the layer determination unit 108 determines whether or not the vanishing point detected by the vanishing point detection unit 607 exists within the image 210 . If the layer determining unit 108 determines that the vanishing point is within the image 210, the process proceeds to step S908, and if it determines that the vanishing point is not within the image 210, the process proceeds to step S907.

ステップＳ９０７において、レイヤ決定部１０８は、検出処理順序として、大きい人体を検出するレイヤから小さい人体を検出するレイヤへ順次処理する通常検出処理順序を決定し、ステップＳ５０９に処理を進める。 In step S907, the layer determining unit 108 determines, as the detection processing order, the normal detection processing order in which layers are sequentially processed from a layer for detecting a large human body to a layer for detecting a small human body, and the process proceeds to step S509.

ステップＳ９０８において、レイヤ決定部１０８は、検出処理順序として、図８（Ａ）及び（Ｂ）に示すように、一つ飛ばしの順序でレイヤを処理する検出処理順序を決定し、ステップＳ５０９に処理を進める。 In step S908, the layer determination unit 108 determines the detection processing order in which layers are processed in the order of skipping one, as shown in FIGS. proceed.

ステップＳ５０９において、人体検出処理部１１０は、レイヤ決定部１０８により決定されたレイヤの検出処理順序に合わせて、各レイヤの人体検出処理を行う。次に、ステップＳ５１０において、検出結果生成部１１１は、人体検出処理部１１０から入力した人体情報から、人体の矩形情報を生成する。次に、ステップＳ５１１において、画像出力部１１２は、画像入力部１０４から入力した画像２１０と、検出結果生成部１１１から入力した人体の矩形情報とを重畳し、人体の矩形情報が重畳された画像をモニタ装置１０３へ出力する。次に、ステップＳ５１２において、モニタ装置１０３は、画像出力部１１２から入力した画像を表示する。次に、ステップＳ５１３において、人体検出システム１００は、第１の実施形態と同様の処理を行う。 In step S<b>509 , the human body detection processing unit 110 performs human body detection processing for each layer in accordance with the layer detection processing order determined by the layer determination unit 108 . Next, in step S<b>510 , the detection result generation unit 111 generates human body rectangle information from the human body information input from the human body detection processing unit 110 . Next, in step S511, the image output unit 112 superimposes the image 210 input from the image input unit 104 and the rectangle information of the human body input from the detection result generation unit 111, and generates an image on which the rectangle information of the human body is superimposed. is output to the monitor device 103 . Next, in step S<b>512 , the monitor device 103 displays the image input from the image output unit 112 . Next, in step S513, the human body detection system 100 performs the same processing as in the first embodiment.

以上のように、人体検出処理部１１０は、消失点検出部６０７の消失点の検出結果に応じて、異なる順序で複数の画像２０４～２１０に対してテンプレート画像のマッチング処理を行う。人体検出処理部１１０は、消失点が検出されなかった場合には、ステップＳ９０７のように、画像の大きさの順序で複数の画像２０４～２１０に対してテンプレート画像のマッチング処理を行う。また、人体検出処理部１１０は、消失点が検出された場合には、ステップＳ９０８のように、画像の大きさの順序でない順序で複数の画像２０４～２１０に対してテンプレート画像のマッチング処理を行う。これにより、人体検出システム１００は、大きい人体から小さい人体まで混在するような画角に画像入力装置１０１の向きが変わった場合でも、人体の大きさによって人体検出精度がばらつくことを防止できる。 As described above, the human body detection processing unit 110 performs template image matching processing on the plurality of images 204 to 210 in different orders according to the vanishing point detection result of the vanishing point detection unit 607 . If no vanishing point is detected, the human body detection processing unit 110 performs template image matching processing on the plurality of images 204 to 210 in order of image size, as in step S907. Also, when the vanishing point is detected, the human body detection processing unit 110 performs template image matching processing on the plurality of images 204 to 210 in an order other than the order of image size, as in step S908. . Thus, the human body detection system 100 can prevent variations in human body detection accuracy depending on the size of the human body even when the orientation of the image input device 101 is changed to an angle of view that includes a large human body and a small human body.

（第３の実施形態）
図１０は、本発明の第３の実施形態に係る人体検出システム１００の構成例を示すブロック図である。図１０の人体検出システム１００は、図１の人体検出システム１００に対して、動体検出部１０７の代わりに複雑度検出部１００７を設けたものである。複雑度検出部１００７は、人体検出装置１０２内に設けられる。以下、本実施形態が第１の実施形態と異なる点を説明する。 (Third Embodiment)
FIG. 10 is a block diagram showing a configuration example of a human body detection system 100 according to the third embodiment of the invention. Human body detection system 100 in FIG. 10 is similar to human body detection system 100 in FIG. The complexity detection unit 1007 is provided within the human body detection device 102 . Differences of this embodiment from the first embodiment will be described below.

複雑度検出部１００７は、画像入力部１０４から入力した画像２１０に対してエッジ検出処理を行い、画像２１０全体の複雑度を検出する。エッジ検出処理については、公知の技術であるため、詳細な説明を省略する。複雑度検出部１００７は、画像２１０全体の複雑度情報をレイヤ決定部１０８へ出力する。 The complexity detection unit 1007 performs edge detection processing on the image 210 input from the image input unit 104 and detects the complexity of the entire image 210 . Since the edge detection process is a known technique, detailed description thereof will be omitted. The complexity detection unit 1007 outputs complexity information of the entire image 210 to the layer determination unit 108 .

レイヤ決定部１０８は、レイヤ構築部１０６から入力したレイヤ構成情報と、複雑度検出部１００７から入力した複雑度情報から、検出処理を行うレイヤの検出方向を決定する。レイヤ決定部１０８は、画像２１０全体の複雑度が予め決められた閾値以上である場合には、小さい人体が多数いる可能性が高いと判断し、小さい人体を検出するための大きい画像のレイヤから小さい画像のレイヤに向けて順に処理を行う検出方向を決定する。また、レイヤ決定部１０８は、画像２１０全体の複雑度が閾値未満である場合には、大きい人体がいる可能性が高いと判断し、大きい人体を検出するための小さい縮小画像のレイヤから大きい画像のレイヤに向けて順に処理を行う検出方向を決定する。レイヤ決定部１０８は、決定した検出方向情報を人体検出処理部１１０へ出力する。 Layer determination section 108 determines the detection direction of a layer to be subjected to detection processing from the layer configuration information input from layer construction section 106 and the complexity information input from complexity detection section 1007 . When the complexity of the entire image 210 is equal to or greater than a predetermined threshold, the layer determination unit 108 determines that there is a high possibility that there are many small human bodies, and selects from a large image layer for detecting small human bodies. A detection direction is determined for processing in order toward the smaller image layer. In addition, when the complexity of the entire image 210 is less than the threshold, the layer determination unit 108 determines that there is a high possibility that a large human body exists, and the layer of small reduced images for detecting a large human body is changed to a large image. , the direction of detection is determined for each layer. Layer determination section 108 outputs the determined detection direction information to human body detection processing section 110 .

人体検出処理部１１０は、レイヤ構築部１０６から入力したレイヤ構成情報と、レイヤ決定部１０８から入力した検出方向情報と、辞書１０９から入力した人体検出用のテンプレート画像を使用して、人体検出処理を行う。人体検出処理部１１０は、検出方向情報が示すレイヤの検出方向で、各レイヤに対して人体検出処理を行う。その他の構成は、第１の実施形態と同じである。 The human body detection processing unit 110 uses the layer configuration information input from the layer construction unit 106, the detection direction information input from the layer determination unit 108, and the template image for human body detection input from the dictionary 109 to perform human body detection processing. I do. The human body detection processing unit 110 performs human body detection processing on each layer in the layer detection direction indicated by the detection direction information. Other configurations are the same as those of the first embodiment.

図１１は、第３の実施形態による人体検出システム１００の画像処理方法を示すフローチャートである。図１１のフローチャートは、図５のフローチャートに対して、ステップＳ５０４～Ｓ５０８の代わりに、ステップＳ１１０４～Ｓ１１０７を設けたものである。以下、本実施形態が第１の実施形態と異なる点を説明する。 FIG. 11 is a flow chart showing an image processing method of the human body detection system 100 according to the third embodiment. The flowchart of FIG. 11 is obtained by providing steps S1104 to S1107 in place of steps S504 to S508 with respect to the flowchart of FIG. Differences of this embodiment from the first embodiment will be described below.

初めに、ステップＳ５０１において、画像入力部１０４は、画像入力装置１０１から画像２１０を入力する。次に、ステップＳ５０２において、縮小画像生成部１０５は、画像入力部１０４から入力した画像２１０を再帰的に縮小した縮小画像２０４～２０９を生成する。次に、ステップＳ５０３において、レイヤ構築部１０６は、入力された画像２１０と縮小画像２０４～２０９から、レイヤ構成２０１を構築する。 First, in step S<b>501 , the image input unit 104 inputs the image 210 from the image input device 101 . Next, in step S502, the reduced image generation unit 105 generates reduced images 204 to 209 by recursively reducing the image 210 input from the image input unit 104. FIG. Next, in step S503, the layer building unit 106 builds a layer configuration 201 from the input image 210 and reduced images 204-209.

次に、ステップＳ１１０４において、複雑度検出部１００７は、画像入力部１０４から入力した画像２１０に対してエッジ検出処理を行い、画像２１０全体の複雑度を検出する。次に、ステップＳ１１０５において、レイヤ決定部１０８は、複雑度検出部１００７から入力した複雑度が閾値以上であるか否かを判定する。レイヤ決定部１０８は、複雑度が閾値以上である場合には、ステップＳ１１０７に処理を進め、複雑度が閾値以上でない場合には、ステップＳ１１０６に処理を進める。 Next, in step S<b>1104 , the complexity detection unit 1007 performs edge detection processing on the image 210 input from the image input unit 104 to detect the complexity of the entire image 210 . Next, in step S1105, the layer determination unit 108 determines whether or not the complexity input from the complexity detection unit 1007 is equal to or greater than a threshold. If the complexity is greater than or equal to the threshold, layer determination section 108 advances the process to step S1107, and if the complexity is less than or equal to the threshold, advances the process to step S1106.

ステップＳ１１０６において、レイヤ決定部１０８は、大きい人体を検出するための小さい画像のレイヤから大きい画像のレイヤに向けて人体検出を開始する検出方向を決定し、ステップＳ５０９に処理を進める。 In step S1106, the layer determining unit 108 determines a detection direction for starting human body detection from the small image layer for detecting a large human body to the large image layer, and advances the process to step S509.

ステップＳ１１０７において、レイヤ決定部１０８は、小さい人体を検出するための大きい画像のレイヤから小さい画像のレイヤに向けて人体検出を開始する検出方向を決定し、ステップＳ５０９に処理を進める。 In step S1107, the layer determining unit 108 determines a detection direction for starting human body detection from a large image layer to a small image layer for detecting a small human body, and advances the process to step S509.

ステップＳ５０９において、人体検出処理部１１０は、レイヤ決定部１０８により決定されたレイヤの検出方向に合わせて、各レイヤの人体検出処理を行う。次に、ステップＳ５１０において、検出結果生成部１１１は、人体検出処理部１１０から入力した人体情報から、人体の矩形情報を生成する。次に、ステップＳ５１１において、画像出力部１１２は、画像入力部１０４から入力した画像２１０と、検出結果生成部１１１から入力した人体の矩形情報とを重畳し、人体の矩形情報が重畳された画像をモニタ装置１０３へ出力する。次に、ステップＳ５１２において、モニタ装置１０３は、画像出力部１１２から入力した画像を表示する。次に、ステップＳ５１３において、人体検出システム１００は、第１の実施形態と同様の処理を行う。 In step S<b>509 , the human body detection processing unit 110 performs human body detection processing for each layer in accordance with the layer detection direction determined by the layer determination unit 108 . Next, in step S<b>510 , the detection result generation unit 111 generates human body rectangle information from the human body information input from the human body detection processing unit 110 . Next, in step S511, the image output unit 112 superimposes the image 210 input from the image input unit 104 and the rectangle information of the human body input from the detection result generation unit 111, and generates an image on which the rectangle information of the human body is superimposed. is output to the monitor device 103 . Next, in step S<b>512 , the monitor device 103 displays the image input from the image output unit 112 . Next, in step S513, the human body detection system 100 performs the same processing as in the first embodiment.

以上のように、人体検出処理部１１０は、画像２１０の複雑度に応じて、異なる順序で複数の画像２０４～２１０に対してテンプレート画像のマッチング処理を行う。人体検出処理部１１０は、複雑度が閾値以上である場合には、ステップＳ１１０７のように、大きい画像から小さい画像に向けた順序で複数の画像２０４～２１０に対してテンプレート画像のマッチング処理を行う。また、人体検出処理部１１０は、複雑度が閾値以上でない場合には、ステップＳ１１０６のように、小さい画像から大きい画像に向けた順序で複数の画像２０４～２１０に対してテンプレート画像のマッチング処理を行う。人体検出システム１００は、画像２１０全体の複雑度に応じて、レイヤの検出方向を変えることにより、人の数が著しく変わる環境下においても、高精度に人体検出処理を行うことができる。 As described above, the human body detection processing unit 110 performs template image matching processing on the plurality of images 204 to 210 in different orders according to the complexity of the image 210 . When the complexity is equal to or higher than the threshold, the human body detection processing unit 110 performs template image matching processing on the plurality of images 204 to 210 in order from the largest image to the smallest image, as in step S1107. . If the complexity is not equal to or greater than the threshold, the human body detection processing unit 110 performs template image matching processing on the plurality of images 204 to 210 in order from the smallest image to the largest image, as in step S1106. conduct. The human body detection system 100 can perform human body detection processing with high accuracy even in an environment where the number of people changes significantly by changing the layer detection direction according to the complexity of the entire image 210 .

（第４の実施形態）
図１２は、本発明の第４の実施形態に係る人体検出システム１００の構成例を示すブロック図である。図１２の人体検出システム１００は、図１の人体検出システム１００に対して、ズーム装置１２１３を追加で設け、動体検出部１０７の代わりにズーム情報保持部１２０７を設けたものである。ズーム情報保持部１２０７は、人体検出装置１０２内に設けられる。以下、本実施形態が第１の実施形態と異なる点を説明する。 (Fourth embodiment)
FIG. 12 is a block diagram showing a configuration example of a human body detection system 100 according to the fourth embodiment of the invention. The human body detection system 100 of FIG. 12 has a zoom device 1213 added to the human body detection system 100 of FIG. A zoom information holding unit 1207 is provided in the human body detection device 102 . Differences of this embodiment from the first embodiment will be described below.

ズーム装置１２１３は、複数枚のレンズから構成されるレンズユニットを持ち、レンズユニット内の画角調整用のレンズを前後に移動することで、撮像する画像の画角を調整する装置である。ズーム装置１２１３は、複数枚のレンズと、レンズを移動するステッピングモータと、モータ制御用のモータドライバとを有する。ズーム装置１２１３は、ズーム情報をズーム情報保持部１２０７へ出力する。 The zoom device 1213 is a device that has a lens unit composed of a plurality of lenses, and adjusts the angle of view of an image to be captured by moving the angle-of-view adjusting lens in the lens unit back and forth. The zoom device 1213 has a plurality of lenses, a stepping motor for moving the lenses, and a motor driver for motor control. The zoom device 1213 outputs zoom information to the zoom information holding unit 1207 .

ズーム情報保持部１２０７は、ズーム装置１２１３から入力したズーム情報を保持する。ズーム情報保持部１２０７は、保持しているズーム情報をレイヤ決定部１０８へ出力する。 A zoom information holding unit 1207 holds zoom information input from the zoom device 1213 . Zoom information holding section 1207 outputs the held zoom information to layer determination section 108 .

レイヤ決定部１０８は、レイヤ構築部１０６から入力したレイヤ構成情報と、ズーム情報保持部１２０７から入力したズーム情報から、レイヤの検出開始位置及び検出終了位置を決定する。ここで、図１３（Ａ）、（Ｂ）、（Ｃ）を用いて、レイヤの検出開始位置及び検出終了位置の変更について説明する。 The layer determination unit 108 determines the layer detection start position and detection end position from the layer configuration information input from the layer construction unit 106 and the zoom information input from the zoom information storage unit 1207 . Here, changing the layer detection start position and detection end position will be described with reference to FIGS.

例えば、レイヤ決定部１０８は、図１３（Ａ）のレイヤ構成２０１に示すように、ズーム情報のズーム倍率が２倍である場合には、縮小画像２０６のレイヤ２を検出開始位置とし、縮小画像２０８のレイヤ４を検出終了位置とする。人体検出処理部１１０は、ズーム情報のズーム倍率が２倍を示す場合には、複数の画像のうちの第１の範囲の一部の画像２０６～２０８に対してテンプレート画像のマッチング処理を行う。 For example, as shown in the layer configuration 201 of FIG. 13A, when the zoom magnification of the zoom information is 2, the layer determining unit 108 sets layer 2 of the reduced image 206 as the detection start position, and Layer 4 of 208 is set as the detection end position. When the zoom magnification of the zoom information indicates 2×, the human body detection processing unit 110 performs template image matching processing on some images 206 to 208 in the first range among the plurality of images.

次に、ズーム情報がズームアウト方向に制御され、ズーム倍率が２倍から１倍へ変更された場合を説明する。その場合、レイヤ決定部１０８は、現在検出できる人体がズームアウトされてサイズが小さくなったとしても正しく検出できるよう、レイヤの検出開始位置及び検出終了位置をズーム倍率に合わせて下位のレイヤとなるように制御する。例えば、レイヤ決定部１０８は、ズーム情報のズーム倍率が１倍に変更された場合には、図１３（Ｂ）のレイヤ構成２０１に示すように、検出開始位置を縮小画像２０８のレイヤ４に変更し、検出終了位置を画像２１０のレイヤ６に変更する。縮小画像２０４、２０５、２０６、２０７の検出処理は、スキップする。人体検出処理部１１０は、ズーム情報が上記の２倍より小さい１倍を示す場合には、複数の画像のうちの第２の範囲の一部の画像２０８～２１０に対してテンプレート画像のマッチング処理を行う。図１３（Ｂ）の検出範囲の画像２０８～２１０は、図１３（Ａ）の検出範囲の画像２０６～２０８より画像の大きさが大きい範囲である。 Next, a case where the zoom information is controlled in the zoom-out direction and the zoom magnification is changed from 2× to 1× will be described. In this case, the layer determination unit 108 adjusts the layer detection start position and detection end position to a lower layer according to the zoom magnification so that the detection start position and detection end position of the layer can be correctly detected even if the currently detectable human body is zoomed out and reduced in size. to control. For example, when the zoom magnification of the zoom information is changed to 1x, the layer determination unit 108 changes the detection start position to layer 4 of the reduced image 208 as shown in the layer configuration 201 in FIG. and change the detection end position to layer 6 of the image 210 . Detection processing for the reduced images 204, 205, 206, and 207 is skipped. When the zoom information indicates 1.times., which is smaller than 2.0, the human body detection processing unit 110 performs template image matching processing on some of the images 208 to 210 in the second range of the plurality of images. I do. The images 208 to 210 of the detection range in FIG. 13B are larger than the images 206 to 208 of the detection range in FIG. 13A.

次に、ズーム情報がズームイン方向に制御され、ズーム倍率が２倍から４倍へ変更された場合を説明する。レイヤ決定部１０８は、ズーム情報がズームイン方向に制御されると、現在検出できる人体がズームインされてサイズが大きくなっても正しく検出できるよう、レイヤの検出開始位置及び終了位置をズーム倍率に合わせて上位レイヤとなるように制御する。例えば、レイヤ決定部１０８は、ズーム情報のズーム倍率が４倍に変更された場合には、図１３（Ｃ）のレイヤ構成２０１に示すように、検出開始位置を縮小画像２０４のレイヤ０に変更し、検出終了位置を縮小画像２０６のレイヤ２に変更する。画像２０７、２０８、２０９、２１０の検出処理は、スキップする。人体検出処理部１１０は、ズーム情報が上記の２倍より大きい４倍を示す場合には、複数の画像のうちの第３の範囲の一部の画像２０４～２０６に対してテンプレート画像のマッチング処理を行う。図１３（Ｃ）の検出範囲の画像２０４～２０６は、図１３（Ａ）の検出範囲の画像２０６～２０８より画像の大きさが小さい範囲である。その他の構成は、第１の実施形態と同じである。 Next, a case where the zoom information is controlled in the zoom-in direction and the zoom magnification is changed from 2× to 4× will be described. When the zoom information is controlled in the zoom-in direction, the layer determination unit 108 adjusts the detection start position and end position of the layer according to the zoom magnification so that the currently detectable human body can be detected correctly even if it is zoomed in and the size increases. Control to be the upper layer. For example, when the zoom magnification of the zoom information is changed to 4 times, the layer determination unit 108 changes the detection start position to layer 0 of the reduced image 204 as shown in the layer configuration 201 of FIG. and change the detection end position to layer 2 of the reduced image 206 . Detection processing for images 207, 208, 209, and 210 is skipped. When the zoom information indicates four times larger than the above two times, the human body detection processing unit 110 performs template image matching processing on part of the images 204 to 206 in the third range among the plurality of images. I do. Images 204 to 206 of the detection range in FIG. 13C are smaller than the images 206 to 208 of the detection range in FIG. 13A. Other configurations are the same as those of the first embodiment.

図１４は、第４の実施形態による人体検出システム１００の画像処理方法を示すフローチャートである。図１４のフローチャートは、図５のフローチャートに対して、ステップＳ５０４～Ｓ５０８の代わりに、ステップＳ１４０４～Ｓ１４０７を設けたものである。以下、本実施形態が第１の実施形態と異なる点を説明する。 FIG. 14 is a flow chart showing an image processing method of the human body detection system 100 according to the fourth embodiment. The flowchart of FIG. 14 is obtained by providing steps S1404 to S1407 in place of steps S504 to S508 in the flowchart of FIG. Differences of this embodiment from the first embodiment will be described below.

初めに、ステップＳ５０１において、画像入力部１０４は、画像入力装置１０１から画像２１０を入力する。次に、ステップＳ５０２において、縮小画像生成部１０５は、画像入力部１０４から入力した画像２１０を再帰的に縮小した縮小画像２０４～２０９を生成する。次に、ステップＳ５０３において、レイヤ構築部１０６は、入力された画像２１０と縮小画像２０４～２０９から、レイヤ構成２０１を構築する。 First, in step S<b>501 , the image input unit 104 inputs the image 210 from the image input device 101 . Next, in step S502, the reduced image generation unit 105 generates reduced images 204 to 209 by recursively reducing the image 210 input from the image input unit 104. FIG. Next, in step S503, the layer building unit 106 builds a layer configuration 201 from the input image 210 and reduced images 204-209.

次に、ステップＳ１４０４において、ズーム情報保持部１２０７は、ズーム装置１２１３から入力したズーム情報を保持する。次に、ステップＳ１４０５において、レイヤ決定部１０８は、ズーム情報保持部１２０７から入力したズーム情報のズーム位置が更新されたか否かを判定する。レイヤ決定部１０８は、ズーム位置が更新された場合には、ステップＳ１４０６に処理を進め、ズーム位置が更新されていない場合には、ステップＳ５０９に処理を進める。 Next, in step S<b>1404 , the zoom information holding unit 1207 holds the zoom information input from the zoom device 1213 . Next, in step S1405, the layer determination unit 108 determines whether or not the zoom position of the zoom information input from the zoom information holding unit 1207 has been updated. If the zoom position has been updated, layer determination unit 108 advances the process to step S1406, and if the zoom position has not been updated, advances the process to step S509.

ステップＳ１４０６において、レイヤ決定部１０８は、ズーム情報のズーム倍率に応じて、レイヤの検出開始位置を決定し、レイヤの検出開始位置を更新する。次に、ステップＳ１４０７において、レイヤ決定部１０８は、ズーム情報のズーム倍率に応じて、レイヤの検出終了位置を決定し、レイヤの検出終了位置を更新し、ステップＳ５０９に処理を進める。 In step S1406, the layer determination unit 108 determines the layer detection start position according to the zoom magnification of the zoom information, and updates the layer detection start position. Next, in step S1407, the layer determination unit 108 determines the layer detection end position according to the zoom magnification of the zoom information, updates the layer detection end position, and advances the process to step S509.

ステップＳ５０９において、人体検出処理部１１０は、レイヤ決定部１０８により決定されたレイヤの検出開始位置及び検出終了位置に応じて、各レイヤの人体検出処理を行う。次に、ステップＳ５１０において、検出結果生成部１１１は、人体検出処理部１１０から入力した人体情報から、人体の矩形情報を生成する。次に、ステップＳ５１１において、画像出力部１１２は、画像入力部１０４から入力した画像２１０と、検出結果生成部１１１から入力した人体の矩形情報とを重畳し、人体の矩形情報が重畳された画像をモニタ装置１０３へ出力する。次に、ステップＳ５１２において、モニタ装置１０３は、画像出力部１１２から入力した画像を表示する。次に、ステップＳ５１３において、人体検出システム１００は、第１の実施形態と同様の処理を行う。 In step S<b>509 , the human body detection processing unit 110 performs human body detection processing for each layer according to the layer detection start position and detection end position determined by the layer determination unit 108 . Next, in step S<b>510 , the detection result generation unit 111 generates human body rectangle information from the human body information input from the human body detection processing unit 110 . Next, in step S511, the image output unit 112 superimposes the image 210 input from the image input unit 104 and the rectangle information of the human body input from the detection result generation unit 111, and generates an image on which the rectangle information of the human body is superimposed. is output to the monitor device 103 . Next, in step S<b>512 , the monitor device 103 displays the image input from the image output unit 112 . Next, in step S513, the human body detection system 100 performs the same processing as in the first embodiment.

以上のように、人体検出システム１００は、ズーム倍率に応じて、レイヤの検出開始位置と検出終了位置を決め、画像２０４～２１０のうちの一部の画像に対してテンプレート画像のマッチング処理を行い、人体を検出する。これにより、人体検出システム１００は、ズーム倍率を変える制御を行った場合においても、ズームイン／アウトに伴って発生する検出結果の不一致や誤検出を防ぐ高精度の人体検出を行うことができる。 As described above, the human body detection system 100 determines the layer detection start position and detection end position according to the zoom magnification, and performs template image matching processing on some of the images 204 to 210. , to detect the human body. As a result, even when the human body detection system 100 performs control to change the zoom magnification, it is possible to perform high-precision human body detection that prevents inconsistencies in detection results and erroneous detection caused by zooming in and out.

（その他の実施形態）
上述の人体検出装置１０２は、１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The human body detection device 102 described above supplies a program for realizing one or more functions to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. processing is also feasible. It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes are possible within the scope of the gist.

１００ 人体検出システム、１０１ 画像入力装置、１０２ 人体検出装置、１０３ モニタ装置、１０４ 画像入力部、１０５ 縮小画像生成部、１０６ レイヤ構築部、１０７ 動体検出部、１０８ レイヤ決定部、１０９ 辞書、１１０ 人体検出処理部、１１１ 検出結果生成部、１１２ 画像出力部 100 human body detection system 101 image input device 102 human body detection device 103 monitor device 104 image input unit 105 reduced image generation unit 106 layer construction unit 107 moving object detection unit 108 layer determination unit 109 dictionary 110 human body detection processing unit 111 detection result generation unit 112 image output unit

Claims (12)

入力された画像を縮小することにより大きさが異なる複数の画像を生成する画像生成手段と、
前記入力された画像内の動体を検出する動体検出手段と、
前記動体に応じて決定された前記複数の画像の一部または順序に基づいてテンプレート画像のマッチング処理を行うことによって、前記入力された画像内の特定物を検出する特定物検出手段と
を有し、
前記特定物検出手段は、前記動体検出手段により検出された動体のうちの最大の動体の大きさと最小の動体の大きさに応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする画像処理装置。 an image generating means for generating a plurality of images having different sizes by reducing an input image;
a moving object detection means for detecting a moving object in the input image;
specific object detection means for detecting a specific object in the input image by performing template image matching processing based on part or order of the plurality of images determined according to the moving object; ,
The specific object detection means detects a template for a part of the plurality of images according to the size of the maximum moving object and the minimum size of the moving object detected by the moving object detection means. An image processing apparatus characterized by performing image matching processing . 前記特定物検出手段は、前記動体検出手段により検出された動体に基づく混雑度に応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項１に記載の画像処理装置。 The specific object detection means performs template image matching processing on part of the plurality of images according to the degree of congestion based on the moving object detected by the moving object detection means. The image processing apparatus according to claim 1 . 前記特定物検出手段は、前記混雑度が閾値以上である場合には、前記複数の画像のすべての画像に対してテンプレート画像のマッチング処理を行い、前記混雑度が前記閾値以上でない場合には、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項２に記載の画像処理装置。 The specific object detection means performs template image matching processing for all of the plurality of images when the congestion degree is equal to or greater than the threshold, 3. The image processing apparatus according to claim 2 , wherein template image matching processing is performed on some of the plurality of images. さらに、前記入力された画像内の消失点を検出する消失点検出手段を有し、
前記特定物検出手段は、前記消失点の検出結果に応じて、異なる順序で前記複数の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項１に記載の画像処理装置。 further comprising vanishing point detection means for detecting a vanishing point in the input image;
2. The image processing apparatus according to claim 1, wherein said specific object detection means performs template image matching processing on said plurality of images in a different order according to a detection result of said vanishing point. 前記特定物検出手段は、前記消失点が検出されなかった場合には、画像の大きさの順序で前記複数の画像に対してテンプレート画像のマッチング処理を行い、前記消失点が検出された場合には、画像の大きさの順序でない順序で前記複数の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項４に記載の画像処理装置。 When the vanishing point is not detected, the specific object detection means performs template image matching processing on the plurality of images in order of image size, and when the vanishing point is detected, 5. The image processing apparatus according to claim 4 , wherein the template image matching process is performed on the plurality of images in an order other than the order of image size. さらに、前記入力された画像の複雑度を検出する複雑度検出手段を有し、
前記特定物検出手段は、前記複雑度に応じて、異なる順序で前記複数の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項１に記載の画像処理装置。 further comprising complexity detection means for detecting the complexity of the input image;
2. The image processing apparatus according to claim 1, wherein said specific object detection means performs template image matching processing on said plurality of images in different orders according to said complexity. 前記特定物検出手段は、前記複雑度が閾値以上である場合には、大きい画像から小さい画像に向けた順序で前記複数の画像に対してテンプレート画像のマッチング処理を行い、前記複雑度が前記閾値以上でない場合には、小さい画像から大きい画像に向けた順序で前記複数の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項６に記載の画像処理装置。 When the complexity is equal to or greater than the threshold, the specific object detection means performs template image matching processing on the plurality of images in order from the largest image to the smallest image, and 7. The image processing apparatus according to claim 6 , wherein, if not, template image matching processing is performed on the plurality of images in order from the smallest image to the largest image. 前記特定物検出手段は、ズーム手段のズーム情報に応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項１に記載の画像処理装置。 2. The image processing according to claim 1, wherein said specific object detection means performs template image matching processing on some of said plurality of images according to zoom information of said zoom means. Device. 前記特定物検出手段は、
前記ズーム手段のズーム情報が第１のズーム倍率を示す場合には、前記複数の画像のうちの第１の範囲の一部の画像に対してテンプレート画像のマッチング処理を行い、
前記ズーム手段のズーム情報が前記第１のズーム倍率より小さい第２のズーム倍率を示す場合には、前記複数の画像のうちの前記第１の範囲より画像の大きさが大きい第２の範囲の一部の画像に対してテンプレート画像のマッチング処理を行い、
前記ズーム手段のズーム情報が前記第１のズーム倍率より大きい第３のズーム倍率を示す場合には、前記複数の画像のうちの前記第１の範囲より画像の大きさが小さい第３の範囲の一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項８に記載の画像処理装置。 The specific object detection means is
if the zoom information of the zoom means indicates a first zoom magnification, performing template image matching processing on a part of the images in the first range among the plurality of images;
When the zoom information of the zoom means indicates a second zoom magnification smaller than the first zoom magnification, a second range of images larger in size than the first range of the plurality of images is selected. Perform template image matching processing for some images,
When the zoom information of the zoom means indicates a third zoom magnification that is larger than the first zoom magnification, a third range of images smaller in size than the first range among the plurality of images is selected. 9. The image processing apparatus according to claim 8 , wherein template image matching processing is performed on part of the images. 前記特定物は、人体であることを特徴とする請求項１～９のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 9 , wherein the specific object is a human body. 画像生成手段により、入力された画像を縮小することにより大きさが異なる複数の画像を生成する画像生成ステップと、
前記入力された画像内の動体を検出する動体検出ステップと、
前記動体に応じて決定された前記複数の画像の一部または順序に基づいてテンプレート画像のマッチング処理を行うことによって、前記入力された画像内の特定物を検出する特定物検出ステップと
を有し、
前記特定物検出ステップは、前記動体検出ステップで検出された動体のうちの最大の動体の大きさと最小の動体の大きさに応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする画像処理方法。 an image generating step of generating a plurality of images having different sizes by reducing the input image by the image generating means;
a moving body detection step of detecting a moving body in the input image;
and a specific object detection step of detecting a specific object in the input image by performing template image matching processing based on part or order of the plurality of images determined according to the moving object. ,
In the specific object detection step, template detection is performed on a part of the plurality of images according to the size of the maximum moving object and the minimum size of the moving object detected in the moving object detection step. An image processing method characterized by performing image matching processing . コンピュータを、請求項１～１０のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the image processing apparatus according to any one of claims 1 to 10 .
JP2018104554A 2017-09-08 2018-05-31 Image processing device, image processing method and program Active JP7134716B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/117,574 US20190080201A1 (en) 2017-09-08 2018-08-30 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017173374 2017-09-08
JP2017173374 2017-09-08

Publications (3)

Publication Number Publication Date
JP2019049961A JP2019049961A (en) 2019-03-28
JP2019049961A5 JP2019049961A5 (en) 2021-07-26
JP7134716B2 true JP7134716B2 (en) 2022-09-12

Family

ID=65906332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018104554A Active JP7134716B2 (en) 2017-09-08 2018-05-31 Image processing device, image processing method and program

Country Status (1)

Country Link
JP (1) JP7134716B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7394542B2 (en) * 2019-05-30 2023-12-08 キヤノン株式会社 Imaging device, notification device, notification method, and program
JP6893751B2 (en) * 2019-08-19 2021-06-23 東芝情報システム株式会社 Image detection device, image detection method and image detection program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243476A (en) 2000-03-02 2001-09-07 Mitsubishi Heavy Ind Ltd Method and device for monitoring moving body
JP2007135115A (en) 2005-11-14 2007-05-31 Sony Corp Image processor, image processing method, program for image processing method and recording medium with record of program for image processing method
JP2013062688A (en) 2011-09-13 2013-04-04 Canon Inc Image processing apparatus and image processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243476A (en) 2000-03-02 2001-09-07 Mitsubishi Heavy Ind Ltd Method and device for monitoring moving body
JP2007135115A (en) 2005-11-14 2007-05-31 Sony Corp Image processor, image processing method, program for image processing method and recording medium with record of program for image processing method
JP2013062688A (en) 2011-09-13 2013-04-04 Canon Inc Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP2019049961A (en) 2019-03-28

Similar Documents

Publication Publication Date Title
US9313400B2 (en) Linking-up photographing system and control method for linked-up cameras thereof
JP5746937B2 (en) Object tracking device
JP2005210217A (en) Stereoscopic camera
US8577098B2 (en) Apparatus, method and program for designating an object image to be registered
JP2009193421A (en) Image processing device, camera device, image processing method, and program
TWI629550B (en) Image capturing apparatus and image zooming method thereof
JP7134716B2 (en) Image processing device, image processing method and program
CN111917941B (en) Camera picture processing method and camera
US8334919B2 (en) Apparatus and method for digital photographing to correct subject area distortion caused by a lens
CN108810326B (en) Photographing method and device and mobile terminal
CN109391769B (en) Control apparatus, control method, and storage medium
JP2014230002A (en) Image display apparatus, control method and program for image display apparatus
JP6104066B2 (en) Image processing apparatus and image processing method
JP2006253805A (en) Photographing apparatus and method
JP4799367B2 (en) Image reproducing apparatus and method, and imaging apparatus
US9049382B2 (en) Image processing apparatus and image processing method
JP6579764B2 (en) Image processing apparatus, image processing method, and program
JP2018092507A (en) Image processing apparatus, image processing method, and program
JP2006253806A (en) Photographing apparatus and method
JP2011130206A (en) Imaging apparatus, and method of controlling the same
JP6501749B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
US20190080201A1 (en) Image processing apparatus, image processing method, and storage medium
JP2008098739A (en) Imaging apparatus, image processing method used for imaging apparatus and program making computer execute same image processing method
JP6062483B2 (en) Digital camera
JP2020009099A (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R151 Written notification of patent or utility model registration

Ref document number: 7134716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151