JP6602286B2 - Image processing apparatus, image processing method, and program - Google Patents

Image processing apparatus, image processing method, and program Download PDF

Info

Publication number
JP6602286B2
JP6602286B2 JP2016237829A JP2016237829A JP6602286B2 JP 6602286 B2 JP6602286 B2 JP 6602286B2 JP 2016237829 A JP2016237829 A JP 2016237829A JP 2016237829 A JP2016237829 A JP 2016237829A JP 6602286 B2 JP6602286 B2 JP 6602286B2
Authority
JP
Japan
Prior art keywords
moving object
object candidate
image frame
unit
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016237829A
Other languages
Japanese (ja)
Other versions
JP2018092547A (en
Inventor
風斗 本庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016237829A priority Critical patent/JP6602286B2/en
Publication of JP2018092547A publication Critical patent/JP2018092547A/en
Application granted granted Critical
Publication of JP6602286B2 publication Critical patent/JP6602286B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and a program.

近年監視カメラには、撮像した映像中に存在する動体を検出する機能が搭載されている。動体を検出する方式として、現在フレームの画像と過去フレームの画像の差分を取得することによって動体を検出するフレーム間差分方式、及び背景差分方式など、画像差分に基づく動体検出方式が知られている。   In recent years, surveillance cameras are equipped with a function for detecting moving objects present in captured images. As a method for detecting a moving object, a moving object detection method based on an image difference is known, such as an inter-frame difference method for detecting a moving object by acquiring a difference between an image of a current frame and an image of a past frame, and a background difference method. .

画素差分による動体検出方式は人物の検出など特定の目的で利用されることが多い。そのため、サイズが極めて小さい動体等、検出が不要な領域を動体として検出することを防ぐ目的で、画素差分領域を動体として検出するか否かを判定するために画素差分値に閾値を設ける方法がある。このように閾値を設けた場合、実サイズが小さい動体の検出を防ぐことが出来る。一方で、動体の実サイズは大きいが、動体の位置がカメラから遠いため画素差分領域が小さくなるような場合、検出すべき動体が検出されないという問題が生じ得る。   The moving object detection method based on pixel difference is often used for a specific purpose such as detection of a person. Therefore, there is a method of providing a threshold value for the pixel difference value in order to determine whether or not to detect the pixel difference area as a moving object in order to prevent detection of an area that does not need to be detected as a moving object, such as a moving object having a very small size. is there. When the threshold value is provided in this way, it is possible to prevent detection of a moving object having a small actual size. On the other hand, when the actual size of the moving object is large but the pixel difference area becomes small because the position of the moving object is far from the camera, there may be a problem that the moving object to be detected is not detected.

この問題を改善するために、カメラからの実距離の遠近や対象物体の画面上での大小によらず、正確に動体検出の判定を行う方法が提案されている。   In order to improve this problem, there has been proposed a method for accurately determining moving object detection regardless of the distance of the actual distance from the camera or the size of the target object on the screen.

例えば、特許文献１では動体判定の閾値を設けた際に距離が遠いことにより動体が非検知となることを防ぐ方式として、画像中の領域に応じて顕著性検出と画像間差分方式を使い分ける方式が開示されている。   For example, in Patent Document 1, as a method for preventing a moving object from becoming undetected due to a long distance when a moving object determination threshold is provided, a method of using saliency detection and an inter-image difference method in accordance with a region in an image. Is disclosed.

また、特許文献２では検出対象物体の画面上での大小によらず特定の物体を検出する方式として、パターンマッチングを行う際に再帰的に画像の縮小を行い、大きさの異なる複数の同一画像に対して繰り返しマッチングを行う方式が開示されている。   In Patent Document 2, as a method of detecting a specific object regardless of the size of the detection target object on the screen, the image is recursively reduced when performing pattern matching, and a plurality of identical images having different sizes are detected. A method of performing repetitive matching is disclosed.

特開２００７−０６４８９４号公報JP 2007-064894 A 特開２０１３−０６２６８８号公報JP 2013-062688 A

しかしながら、特許文献１の方式では複数の動体検出処理を単一の画像に対して行う必要があり、回路規模が増大する課題がある。また、特許文献２の方式は様々な動体の検出を行うためには多くのパターンを要する上に、再帰的な処理の計算負荷が高くなる課題がある。   However, in the method of Patent Document 1, it is necessary to perform a plurality of moving object detection processes on a single image, and there is a problem that the circuit scale increases. In addition, the method of Patent Document 2 requires many patterns to detect various moving objects, and has a problem of increasing the calculation load of recursive processing.

そこで、本発明は、より正確な動体検出処理を可能にする画像処理技術を提供することを目的とする。   Therefore, an object of the present invention is to provide an image processing technique that enables more accurate moving object detection processing.

上記の目的を達成する本発明の一態様による画像処理装置は、撮像手段で撮像した画像フレームから動体を検出する画像処理装置であって、
フレーム間差分方式又は背景差分方式を用いて、前記撮像手段で撮像した画像フレームにおける画素値の差分を取得する取得手段と、
前記取得手段により取得された前記差分に基づく動体候補領域に対応する被写体までの距離を計測する計測手段と、
第１の画像フレームで検出された前記動体候補領域の位置から、前記第１の画像フレームとは異なる第２の画像フレームで検出された前記動体候補領域の位置までの画素数と、前記計測手段によって計測された前記動体候補領域に対応する被写体までの距離とに基づいて、当該動体候補領域の移動量を算出し、算出した移動量と、閾値との比較結果に基づいて、当該動体候補領域に対応する被写体が動体であるか判定する判定手段と、を備え、
前記判定手段は、
前記計測された距離に従って前記動体候補領域の実サイズを求め、
前記実サイズに基づいて、第１の画像フレームで検出された前記動体候補領域と、前記第１の画像フレームとは異なる第２の画像フレームで検出された前記動体候補領域とが同一であるか判定し、
同一と判定された場合、前記算出した移動量と、前記閾値との比較結果に基づいて、当該動体候補領域に対応する被写体が動体であるか判定することを特徴とする。 An image processing apparatus according to an aspect of the present invention that achieves the above object is an image processing apparatus that detects a moving object from an image frame captured by an imaging unit,
An acquisition unit that acquires a difference between pixel values in an image frame captured by the imaging unit using an inter-frame difference method or a background difference method;
Measuring means for measuring the distance to the subject corresponding to the moving object candidate area based on the difference acquired by the acquiring means;
The number of pixels from the position of the moving object candidate area detected in the first image frame to the position of the moving object candidate area detected in a second image frame different from the first image frame; and the measuring means Based on the distance to the subject corresponding to the moving object candidate area measured by the above, the moving amount of the moving object candidate area is calculated, and based on the comparison result between the calculated moving amount and the threshold value, the moving object candidate area Determining means for determining whether the subject corresponding to is a moving object ,
The determination means includes
Obtaining the actual size of the moving object candidate region according to the measured distance,
Whether the moving object candidate area detected in the first image frame and the moving object candidate area detected in the second image frame different from the first image frame are the same based on the actual size Judgment,
If it is determined that the same, a moving amount of the calculated, based on a result of comparison between the threshold value, the object corresponding to the moving object candidate region is characterized that you determine whether a moving object.

本発明によれば、より正確な動体検出が可能になる。   According to the present invention, more accurate moving object detection is possible.

第１実施形態に係るカメラの機能構成例を示すブロック図。FIG. 3 is a block diagram illustrating an example of a functional configuration of the camera according to the first embodiment. 第１実施形態に係る画像処理部の機能構成例を示すブロック図。FIG. 3 is a block diagram showing an example functional configuration of an image processing unit according to the first embodiment. 複数の撮像光学系を有するカメラによる距離計測の原理を説明する図。The figure explaining the principle of the distance measurement by the camera which has a some imaging optical system. 第１実施形態に係る画像処理部の処理の流れを説明する図。The figure explaining the flow of a process of the image process part which concerns on 1st Embodiment. 第２実施形態に係るカメラの機能構成例を示すブロック図。The block diagram which shows the function structural example of the camera which concerns on 2nd Embodiment. 第２実施形態に係る画像処理部の機能構成例を示すブロック図。The block diagram which shows the function structural example of the image process part which concerns on 2nd Embodiment. 第２実施形態に係る画像処理部の処理の流れを説明する図。The figure explaining the flow of a process of the image process part which concerns on 2nd Embodiment. 第３実施形態に係るカメラの機能構成例を示すブロック図。The block diagram which shows the function structural example of the camera which concerns on 3rd Embodiment. 第３実施形態に係る画像処理部の機能構成例を示すブロック図。The block diagram which shows the function structural example of the image process part which concerns on 3rd Embodiment. 第３実施形態に係る画像処理部の処理の流れを説明する図。The figure explaining the flow of a process of the image process part which concerns on 3rd Embodiment. 動体の判定結果を例示的に説明する図。The figure explaining the determination result of a moving body exemplarily.

以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the components described in this embodiment are merely examples, and the technical scope of the present invention is determined by the scope of the claims, and is not limited by the following individual embodiments. Absent.

（第１実施形態）
以下、図１〜４を参照して、第１実施形態の画像処理装置について説明する。図１は、撮像部として機能するカメラ１０００（監視カメラ）の内部構成を示すブロック図である。図１において、制御部１００１は、例えばＣＰＵにより構成可能であり、カメラ１０００の全体的な制御を行う。 (First embodiment)
The image processing apparatus according to the first embodiment will be described below with reference to FIGS. FIG. 1 is a block diagram illustrating an internal configuration of a camera 1000 (monitoring camera) that functions as an imaging unit. In FIG. 1, the control unit 1001 can be configured by a CPU, for example, and performs overall control of the camera 1000.

記憶部１００２は、データの格納領域として機能する。例えば、記憶部１００２は、制御部１００１が実行するプログラムの格納領域、プログラム実行中におけるワーク領域、検出閾値等の設定値の格納領域として機能することが可能である。また、記憶部１００２は、撮像部１００３が生成する撮像画像の格納領域、圧縮符号化部１００４が生成する画像データの格納領域、画像処理部１００７が取得する動体検出の判定結果、及び検出情報等の格納領域として機能することが可能である。また、カメラ１０００は、後述する計測部１０１３で行うカメラ１０００から被写体までの距離計測を目的として、複数の撮像光学系１００８を有する。   The storage unit 1002 functions as a data storage area. For example, the storage unit 1002 can function as a storage region for a program executed by the control unit 1001, a work region during program execution, and a storage region for setting values such as a detection threshold. In addition, the storage unit 1002 stores a captured image generated by the imaging unit 1003, a storage region of image data generated by the compression encoding unit 1004, a moving object detection determination result acquired by the image processing unit 1007, detection information, and the like. It is possible to function as a storage area. In addition, the camera 1000 includes a plurality of imaging optical systems 1008 for the purpose of measuring the distance from the camera 1000 to the subject performed by a measurement unit 1013 described later.

撮像部１００３は、カメラ１０００の撮像光学系１００８により結像された、被写体の像を撮像して、取得したアナログ信号をデジタルデータに変換した撮像画像を記憶部１００２に出力する。撮像部１００３は、カメラ１０００の複数の撮像光学系１００８により取得した全ての撮像画像を記憶部１００２に出力する。撮像画像が撮像部１００３から記憶部１００２に出力された時、制御部１００１は、撮像部１００３から画像取得イベントを受信する。   The imaging unit 1003 captures an image of a subject formed by the imaging optical system 1008 of the camera 1000 and outputs a captured image obtained by converting the acquired analog signal into digital data to the storage unit 1002. The imaging unit 1003 outputs all captured images acquired by the plurality of imaging optical systems 1008 of the camera 1000 to the storage unit 1002. When the captured image is output from the imaging unit 1003 to the storage unit 1002, the control unit 1001 receives an image acquisition event from the imaging unit 1003.

圧縮符号化部１００４は、撮像部１００３が出力した撮像画像に対してＪＰＥＧ或いはＨ．２６４等の形式に基づき圧縮符号化処理を行うことにより画像データを生成し、記憶部１００２に出力する。   The compression encoding unit 1004 applies JPEG or H.264 to the captured image output by the imaging unit 1003. Image data is generated by performing compression encoding processing based on a format such as H.264, and is output to the storage unit 1002.

通信部１００５は外部の情報処理装置などの外部機器と通信により情報の送受信が可能であり、通信部１００５は閾値設定等の各制御コマンドを外部機器２０００から受信する時、また、各制御コマンドに対するレスポンスや記憶部１００２に格納された画像データ及び動体検出結果等の様々なデータを外部機器２０００へ送信することが可能である。通信部１００５が外部機器２０００からコマンドを取得した場合、制御部１００１は通信部１００５からコマンド受信イベントを受信する。   The communication unit 1005 can transmit and receive information by communication with an external device such as an external information processing apparatus. The communication unit 1005 receives a control command such as a threshold setting from the external device 2000, and also responds to each control command. Various data such as a response and image data stored in the storage unit 1002 and a moving object detection result can be transmitted to the external device 2000. When the communication unit 1005 acquires a command from the external device 2000, the control unit 1001 receives a command reception event from the communication unit 1005.

撮像制御部１００６は制御部１００１の制御により、外部機器２０００から送信された撮像制御コマンド（パン、チルト、或いはズーム）の値に従って、撮像部１００３の撮像範囲を制御する。   The imaging control unit 1006 controls the imaging range of the imaging unit 1003 according to the value of the imaging control command (pan, tilt, or zoom) transmitted from the external device 2000 under the control of the control unit 1001.

画像処理部１００７は、カメラ１０００で撮像した撮像画像の画像フレームから動体を検出する。画像処理部１００７は、記憶部１００２に格納された撮像画像の解析を行い、画像中の動体を検出することが可能である。画像処理部１００７が動体を検出した場合、制御部１００１は画像処理部１００７から動体検出イベントを受信する。   The image processing unit 1007 detects a moving object from an image frame of a captured image captured by the camera 1000. The image processing unit 1007 can analyze the captured image stored in the storage unit 1002 and detect a moving object in the image. When the image processing unit 1007 detects a moving object, the control unit 1001 receives a moving object detection event from the image processing unit 1007.

次に、画像処理部１００７の具体的な構成を説明する。図２は画像処理部１００７の機能構成例を示すブロック図である。取得部１０１１は、第１の画像フレームの画素値と、第１の画像フレームと異なるタイミングの第２の画像フレームの画素値との差分を取得する。例えば、第１の画像フレームとしては、現在画像フレームであり、第１の画像フレームと異なるタイミングの第２の画像フレームとしては、現在画像フレームよりも前に取得された過去画像フレームである。取得部１０１１は、現在画像フレームと、記憶部１００２に格納された過去画像フレームとの間の画素値の差分（画素差分）を取得する。以下の説明では、第１の画像フレームを現在画像フレームとして説明し、第２の画像フレームを過去画像フレームとして説明する。   Next, a specific configuration of the image processing unit 1007 will be described. FIG. 2 is a block diagram illustrating a functional configuration example of the image processing unit 1007. The acquisition unit 1011 acquires the difference between the pixel value of the first image frame and the pixel value of the second image frame at a timing different from that of the first image frame. For example, the first image frame is a current image frame, and the second image frame at a different timing from the first image frame is a past image frame acquired before the current image frame. The acquisition unit 1011 acquires a pixel value difference (pixel difference) between the current image frame and a past image frame stored in the storage unit 1002. In the following description, the first image frame is described as a current image frame, and the second image frame is described as a past image frame.

併合部１０１２は、取得部１０１１により差分が取得された画素を画素差分領域（動体候補領域）として併合する。すなわち、併合部１０１２は、取得部１０１１で取得された複数の画素差分に対して、隣接する画素の画素差分を画素差分領域（動体候補領域）として併合する。併合部１０１２は、画素の併合処理において、取得部１０１１により取得された差分と、所定の閾値との比較結果に基づいて、所定の閾値を超える画素を動体候補領域としてまとめる。これにより、差分の小さい画素を除き、所定の閾値を超える差分の大きい画素を一つのまとまりとした動体候補領域を取得することが可能になる。   The merging unit 1012 merges the pixels from which the difference is acquired by the acquiring unit 1011 as a pixel difference region (moving object candidate region). That is, the merging unit 1012 merges the pixel differences of adjacent pixels into a plurality of pixel differences acquired by the acquiring unit 1011 as a pixel difference region (moving object candidate region). In the pixel merging process, the merging unit 1012 collects pixels that exceed the predetermined threshold as moving object candidate regions based on the comparison result between the difference acquired by the acquiring unit 1011 and the predetermined threshold. As a result, it is possible to obtain a moving object candidate region in which pixels having a large difference exceeding a predetermined threshold are grouped, except for pixels having a small difference.

取得部１０１１により画素差分が取得されている場合に、併合部１０１２は、少なくとも１つの画素差分領域（動体候補領域）を取得する。この場合、併合部１０１２により取得される画素差分領域は１つに限定されるものではなく、併合部１０１２により複数の画素差分領域が取得されることもある。   When the pixel difference is acquired by the acquisition unit 1011, the merging unit 1012 acquires at least one pixel difference region (moving object candidate region). In this case, the pixel difference area acquired by the merging unit 1012 is not limited to one, and a plurality of pixel difference areas may be acquired by the merging unit 1012.

計測部１０１３は、差分が取得された画素をまとめた画素差分領域（動体候補領域）に対応する被写体までの距離を計測する。すなわち、計測部１０１３は、併合部１０１２で生成される画素差分領域とカメラ１０００との距離を計測する。ここで図３を参照して複数の撮像光学系を持つカメラ１０００の計測部１０１３による距離計測方法について説明する。撮像光学系１００８では、レンズ１０２１を通してセンサー１０２２が受光し、被写体１０３０を撮像する。複数の撮像光学系１００８の構成例として、図３では、撮像光学系１００８Ａ、および撮像光学系１００８Ｂが例示されている。撮像光学系１００８Ａは、レンズ１０２１Ａ、センサー１０２２Ａを有し、撮像光学系１００８Ｂは、レンズ１０２１Ｂ、センサー１０２２Ｂを有している。   The measurement unit 1013 measures the distance to the subject corresponding to the pixel difference area (moving object candidate area) in which the pixels from which the differences are acquired are collected. That is, the measuring unit 1013 measures the distance between the pixel difference area generated by the merging unit 1012 and the camera 1000. Here, a distance measurement method by the measurement unit 1013 of the camera 1000 having a plurality of imaging optical systems will be described with reference to FIG. In the imaging optical system 1008, the sensor 1022 receives light through the lens 1021 and images the subject 1030. As a configuration example of the plurality of imaging optical systems 1008, FIG. 3 illustrates an imaging optical system 1008A and an imaging optical system 1008B. The imaging optical system 1008A has a lens 1021A and a sensor 1022A, and the imaging optical system 1008B has a lens 1021B and a sensor 1022B.

撮像光学系１００８Ａ及び撮像光学系１００８Ｂのように複数の撮像光学系を有するカメラ１０００が被写体１０３０を撮像する際に、センサー１０２２Ａが受光する像１０３１Ａとセンサー１０２２Ｂが受光する像１０３１Ｂとの間には視差と呼ばれる位置のずれが生じる。この視差と、二つの撮像光学系１００８Ａと１００８Ｂとの幅を示す基線長１０２４と、撮像光学系１００８Ａ及び１００８Ｂの撮像画角を用いて、三角測量の原理に基づき距離の計測を行う。   When a camera 1000 having a plurality of imaging optical systems, such as the imaging optical system 1008A and the imaging optical system 1008B, captures an image of the subject 1030, there is a gap between an image 1031A received by the sensor 1022A and an image 1031B received by the sensor 1022B. A positional shift called parallax occurs. The distance is measured based on the principle of triangulation using the parallax, the baseline length 1024 indicating the width of the two imaging optical systems 1008A and 1008B, and the imaging field angles of the imaging optical systems 1008A and 1008B.

動体判定部１０１４は、動体候補領域の大きさと、動体候補領域に対応する被写体までの距離とに基づいて、動体候補領域に対応する被写体が動体であるか判定する。動体判定部１０１４は、動体候補領域と、動体候補領域とは異なるタイミングで取得された他の動体候補領域との比較により取得した動体候補領域の移動量、および、動体候補領域の大きさのうち、少なくともいずれか一方と閾値との比較結果に基づいて、動体候補領域に対応する被写体が動体であるか判定する。   The moving object determination unit 1014 determines whether the subject corresponding to the moving object candidate area is a moving object based on the size of the moving object candidate area and the distance to the object corresponding to the moving object candidate area. The moving object determination unit 1014 includes the moving amount of the moving object candidate area acquired by comparing the moving object candidate area with another moving object candidate area acquired at a timing different from the moving object candidate area, and the size of the moving object candidate area. Based on the comparison result between at least one of the threshold values and the threshold value, it is determined whether the subject corresponding to the moving object candidate region is a moving object.

動体判定部１０１４は、併合部１０１２で取得した画素差分領域、及び計測部１０１３で取得した画素差分領域に対するカメラ１０００からの距離を使用して、画素差分領域の動体検出を行う。動体判定部１０１４は、併合部１０１２で取得した画素差分領域について、計測部１０１３で取得した画素差分領域のカメラ１０００までの距離、画素差分領域の画素数、カメラ１０００（撮像部）の画角、記憶部１００２に格納された動体検出結果から、画像差分領域内における動体の実サイズ（大きさ）及び実移動量を計算する。動体判定部１０１４は、記憶部１００２に格納されている検出閾値を使用して、実サイズ（大きさ）、及び実移動量の少なくとも一つ以上に対して動体であるか否かを判定するための閾値処理を行う。動体判定部１０１４で取得された動体検出結果及び検出情報は記憶部１００２に格納される。   The moving object determination unit 1014 detects the moving object in the pixel difference region using the pixel difference region acquired by the merging unit 1012 and the distance from the camera 1000 to the pixel difference region acquired by the measurement unit 1013. For the pixel difference area acquired by the merging unit 1012, the moving object determination unit 1014 includes the distance to the camera 1000 of the pixel difference area acquired by the measurement unit 1013, the number of pixels of the pixel difference area, the angle of view of the camera 1000 (imaging unit), From the moving object detection result stored in the storage unit 1002, the actual size (size) and actual moving amount of the moving object in the image difference area are calculated. The moving object determination unit 1014 uses the detection threshold stored in the storage unit 1002 to determine whether or not the object is a moving object for at least one of the actual size (size) and the actual movement amount. Threshold processing is performed. The moving object detection result and the detection information acquired by the moving object determination unit 1014 are stored in the storage unit 1002.

以上、図１および図２を用いてカメラ１０００の内部構成を例示的に説明したが、カメラ１０００の内部構成は、この例に限定されるものではない。例えば、音声入力部、音声出力部を備えるなど、本発明の要旨の範囲内で、種々の変形及び変更が可能である。   As described above, the internal configuration of the camera 1000 has been exemplarily described with reference to FIGS. 1 and 2, but the internal configuration of the camera 1000 is not limited to this example. For example, various modifications and changes can be made within the scope of the present invention, such as including an audio input unit and an audio output unit.

次に、本実施形態に係る画像処理部１００７の処理を図４のフローチャートを参照して説明する。なお、このフローチャートに従った処理を開始する時点で、記憶部１００２には、現在画像フレームおよび過去画像フレームが格納されているものとする。   Next, the processing of the image processing unit 1007 according to the present embodiment will be described with reference to the flowchart of FIG. It is assumed that the current image frame and the past image frame are stored in the storage unit 1002 when processing according to this flowchart is started.

まず、ステップＳ３０１において、取得部１０１１は、第１の画像フレーム（現在画像フレーム）と第１の画像フレームと異なるタイミングの第２の画像フレーム（過去画像フレーム）との間の画素差分の取得を行う。カメラ１０００は複数の撮像光学系１００８を有するため、記憶部１００２には、複数の現在画像フレームが格納されている。画素差分の検出を行う現在画像フレームと過去画像フレームとの対は少なくとも１つ以上である。尚、取得部１０１１は、２つ以上の現在画像フレームと過去画像フレームとの対から画素差分を取得して動体検出の判定を行うことも可能である。   First, in step S301, the acquisition unit 1011 acquires a pixel difference between a first image frame (current image frame) and a second image frame (past image frame) at a different timing from the first image frame. Do. Since the camera 1000 includes a plurality of imaging optical systems 1008, the storage unit 1002 stores a plurality of current image frames. There are at least one pair of the current image frame and the past image frame for detecting the pixel difference. The acquisition unit 1011 can also determine the moving object detection by acquiring a pixel difference from a pair of two or more current image frames and past image frames.

画素差分を検出するために使用される現在画像フレームと過去画像フレームは、同一の撮像光学系１００８により取得した撮像画像を使用する。例えば、図３に示したように、撮像光学系１００８Ａにより取得した現在画像フレームと過去画像フレームとの対から画素差分を検出して動体検出の判定を行うことが可能である。また、同様に、撮像光学系１００８Ｂにより取得した現在画像フレームと過去画像フレームとの対から画素差分を検出して動体検出の判定を行うことが可能である。また、取得部１０１１は、現在画像フレームとの画素差分を取得するための撮像画像として、直前の画像フレームを使用することや記憶部１００２に保存しておいた過去画像フレームを使用することも可能である。   A captured image acquired by the same imaging optical system 1008 is used for the current image frame and the past image frame used for detecting the pixel difference. For example, as shown in FIG. 3, it is possible to determine the moving object detection by detecting the pixel difference from the pair of the current image frame and the past image frame acquired by the imaging optical system 1008A. Similarly, it is possible to determine the moving object detection by detecting the pixel difference from the pair of the current image frame and the past image frame acquired by the imaging optical system 1008B. The acquisition unit 1011 can also use the previous image frame or a past image frame stored in the storage unit 1002 as a captured image for acquiring a pixel difference from the current image frame. It is.

ステップＳ３０２において、併合部１０１２は、先のステップＳ３０１の処理で差分が検出された画素差分を併合（マージ）し、画素差分領域（動体候補領域）の生成（統合）を行う。併合部１０１２は、ステップＳ３０１で画素差分が検出された場合、隣接する画素を併合して画素差分領域を生成する。併合部１０１２は、隣接する画素を一つの画素差分領域に併合し、隣接していない画素が複数ある場合は画素差分領域を複数生成する。尚、ステップＳ３０１で画素差分が取得されなかった場合、これ以降の処理は行なわない。併合部１０１２は、画素の併合処理において、取得部１０１１により取得された差分と、所定の閾値との比較結果に基づいて、所定の閾値を超える画素を動体候補領域としてまとめる。   In step S302, the merging unit 1012 merges (merges) the pixel differences in which the difference is detected in the process of the previous step S301, and generates (integrates) a pixel difference region (moving object candidate region). When a pixel difference is detected in step S301, the merging unit 1012 merges adjacent pixels to generate a pixel difference region. The merging unit 1012 merges adjacent pixels into one pixel difference area, and generates a plurality of pixel difference areas when there are a plurality of non-adjacent pixels. If no pixel difference is acquired in step S301, the subsequent processing is not performed. In the pixel merging process, the merging unit 1012 collects pixels that exceed the predetermined threshold as moving object candidate regions based on the comparison result between the difference acquired by the acquiring unit 1011 and the predetermined threshold.

ステップＳ３０３において、計測部１０１３は、ステップＳ３０２の処理で取得した画素差分領域（動体候補領域）に対応する被写体までの距離を計測する。撮像部１００３は、異なる複数の撮像光学系１００８（例えば、撮像光学系１００８Ａ、撮像光学系１００８Ｂ）により異なる複数の撮像画像を取得し、記憶部１００２に格納する。計測部１０１３は、記憶部１００２に格納されている複数の現在画像フレームと、複数の撮像光学系の幅を示す基線長（基線長１０２４（図３））と、複数の撮像光学系の撮像画角とを用いて距離計測を行う。計測部１０１３は、併合部１０１２で取得した全ての画素差分領域に対して距離計測を行う。   In step S303, the measurement unit 1013 measures the distance to the subject corresponding to the pixel difference area (moving object candidate area) acquired in the process of step S302. The imaging unit 1003 acquires a plurality of different captured images by using a plurality of different imaging optical systems 1008 (for example, the imaging optical system 1008A and the imaging optical system 1008B) and stores them in the storage unit 1002. The measurement unit 1013 includes a plurality of current image frames stored in the storage unit 1002, a baseline length indicating the width of the plurality of imaging optical systems (baseline length 1024 (FIG. 3)), and captured images of the plurality of imaging optical systems. Distance measurement is performed using corners. The measuring unit 1013 performs distance measurement on all the pixel difference areas acquired by the merging unit 1012.

ステップＳ３０４において、計測部１０１３は、ステップＳ３０２の処理で取得した画素差分領域の実サイズ（大きさ）を取得する。計測部１０１３は、画素差分領域の実サイズを取得する方法の一つとして、ステップＳ３０３で取得した画素差分領域に対するカメラ１０００からの距離（実距離）、及び、画素差分領域の画素数、カメラ１０００（撮像部）の画角（焦点距離）、撮像された画像における総水平画素数及び総垂直画素数を使用して、三角測量の原理を用いて、画素差分領域の実サイズ（大きさ）を算出する。具体的に、計測部１０１３は、以下の演算式（１）、（２）に基づいて、画素差分領域（動体候補領域）の実サイズ（大きさ）の近似値を算出することが可能である。   In step S304, the measurement unit 1013 acquires the actual size (size) of the pixel difference area acquired in the process of step S302. As one method for acquiring the actual size of the pixel difference area, the measurement unit 1013 obtains the distance (actual distance) from the camera 1000 to the pixel difference area acquired in step S303, the number of pixels in the pixel difference area, and the camera 1000. Using the angle of view (focal length) of the (imaging unit), the total number of horizontal pixels and the total number of vertical pixels in the captured image, and using the principle of triangulation, the actual size (size) of the pixel difference area is determined. calculate. Specifically, the measurement unit 1013 can calculate an approximate value of the actual size (size) of the pixel difference region (moving object candidate region) based on the following arithmetic expressions (1) and (2). .

Ｈ(高さ)=((36.0*(画像縦比率/横比率)*実距離)/35mm換算焦点距離)*(画素差分領域の縦画素数/総垂直画素数)・・・（１）
ｗ(幅) =((36.0*実距離)/35mm換算焦点距離)*(画素差分領域の横画素数/総水平画素数)・・・（２）
ステップＳ３０５において、動体判定部１０１４は、ステップＳ３０２で取得した画素差分領域（動体候補領域）とは異なるタイミング（例えば、前回の動体検出処理）で取得された他の動体候補領域に対応する被写体が動体として検出されているか判定する。すなわち、動体判定部１０１４は、直前フレームに対して行った前回の動体検出処理において動体が検出されたか否かを判定する。 H (height) = ((36.0 * (image ratio / width ratio) * actual distance) / 35 mm equivalent focal length) * (number of pixels in the pixel difference area / number of total vertical pixels) (1)
w (width) = ((36.0 * actual distance) / 35mm equivalent focal length) * (number of horizontal pixels in pixel difference area / total number of horizontal pixels) (2)
In step S305, the moving object determination unit 1014 determines that a subject corresponding to another moving object candidate area acquired at a timing different from the pixel difference area (moving object candidate area) acquired in step S302 (for example, the previous moving object detection process). It is determined whether it is detected as a moving object. That is, the moving object determination unit 1014 determines whether or not a moving object has been detected in the previous moving object detection process performed on the immediately preceding frame.

ステップＳ３０５の判定処理において、異なるタイミング（前回の動体検出処理）で他の動体候補領域に対応する被写体が動体として検出されていない場合（Ｓ３０５−Ｎｏ）、動体判定部１０１４は、前回の動体検出処理で画素差分領域は存在しなかったと判定し、実移動量に対する閾値判定（Ｓ３０８）を行わず、処理をステップＳ３０９に進める。動体判定部１０１４は、動体候補領域の大きさと閾値との比較結果に基づく判定処理を行う（Ｓ３０９）。   In the determination process in step S305, when a subject corresponding to another moving object candidate area is not detected as a moving object at a different timing (previous moving object detection process) (S305-No), the moving object determination unit 1014 detects the previous moving object detection. It is determined that the pixel difference area does not exist in the process, the threshold determination (S308) for the actual movement amount is not performed, and the process proceeds to step S309. The moving object determination unit 1014 performs a determination process based on the comparison result between the size of the moving object candidate region and the threshold (S309).

一方、異なるタイミング（前回の動体検出処理）で他の動体候補領域に対応する被写体が動体として検出されている場合（Ｓ３０５−Ｙｅｓ）、動体判定部１０１４は、処理をステップＳ３０６に進める。ステップＳ３０６において、動体判定部１０１４は、直前フレームに対して行った動体検出処理で検出した動体と、今回の画像フレームから取得した画素差分領域とが同一の物体であるか否かを判定する。動体判定部１０１４は、ステップＳ３０３で取得した画素差分領域に対するカメラの距離、及びステップＳ３０４で取得した実サイズ、及び画像中における座標位置を使用して、前回検出した動体と、今回取得した画素差分領域との近似度合（類似度）を取得する。そして、動体判定部１０１４は、取得した近似度合（類似度）に基づいて、動体検出処理で検出した動体と今回の画像フレームから取得した画素差分領域との同一性を判定することが可能である。   On the other hand, when a subject corresponding to another moving object candidate region is detected as a moving object at a different timing (previous moving object detection process) (S305-Yes), the moving object determination unit 1014 advances the process to step S306. In step S306, the moving object determination unit 1014 determines whether the moving object detected in the moving object detection process performed on the immediately preceding frame and the pixel difference area acquired from the current image frame are the same object. The moving object determination unit 1014 uses the camera distance to the pixel difference area acquired in step S303, the actual size acquired in step S304, and the coordinate position in the image, and the previously detected moving object and the pixel difference acquired this time. The degree of approximation (similarity) with the area is acquired. Then, the moving object determination unit 1014 can determine the identity between the moving object detected by the moving object detection process and the pixel difference area acquired from the current image frame based on the acquired approximate degree (similarity). .

ステップＳ３０６の処理で、同一でないと判定した場合には（Ｓ３０６−Ｎｏ）、動体判定部１０１４は、前回の検出処理で画素差分領域は存在しなかったと判定し、実移動量に対する閾値判定（Ｓ３０８）を行わず、処理をステップＳ３０９に進める。一方、ステップＳ３０６の処理で、同一と判定された場合（Ｓ３０６−Ｙｅｓ）、動体判定部１０１４は、処理をステップＳ３０７に進める。   If it is determined in step S306 that they are not the same (S306-No), the moving object determination unit 1014 determines that the pixel difference area does not exist in the previous detection process, and determines the threshold for the actual movement amount (S308). ), And the process proceeds to step S309. On the other hand, when it determines with it being the same by the process of step S306 (S306-Yes), the moving body determination part 1014 advances a process to step S307.

ステップＳ３０７において、動体判定部１０１４は、前回の動体検出処理で得られた動体と、ステップＳ３０２で取得した画素差分領域（動体候補領域）とを用いて、画素差分領域の実移動量を取得する。画素差分領域の実移動量を算出する方法として、前回検出した動体の重心位置とステップＳ３０２で取得した画素差分領域の重心位置との画素距離(移動画素)、及び、前回検出した動体のカメラからの距離、及び、ステップＳ３０３で取得した画素差分領域のカメラからの距離（実距離）、カメラ１０００（撮像部）の画角（焦点距離）、撮像された画像における総水平画素数及び総垂直画素数を使用して、三角測量を用いて算出することが可能である。具体的に、動体判定部１０１４は、以下の演算式（３）、（４）、（５）に基づいて、画素差分領域（動体候補領域）の実移動量の近似値を算出することが可能である。   In step S307, the moving object determination unit 1014 acquires the actual movement amount of the pixel difference area using the moving object obtained in the previous moving object detection process and the pixel difference area (moving object candidate area) acquired in step S302. . As a method of calculating the actual movement amount of the pixel difference area, the pixel distance (moving pixel) between the gravity center position of the moving object detected last time and the gravity center position of the pixel difference area acquired in step S302, and the moving object camera detected last time , The distance (actual distance) from the camera of the pixel difference area acquired in step S303, the angle of view (focal length) of the camera 1000 (imaging unit), the total number of horizontal pixels and the total vertical pixels in the captured image The number can be used to calculate using triangulation. Specifically, the moving object determination unit 1014 can calculate an approximate value of the actual movement amount of the pixel difference area (moving object candidate area) based on the following arithmetic expressions (3), (4), and (5). It is.

Ｄｈ(縦方向)=((36.0*(画像縦比率/横比率)*実距離)/35mm換算焦点距離)*(縦方向の移動画素/総垂直画素数) ・・・（３）
Ｄｗ(横方向)=((36.0*実距離)/35mm換算焦点距離)*(横方向の移動画素/総水平画素数) ・・・（４）
Ｄｄ(奥行き)=画素差分領域のカメラからの距離と前回検出した動体のカメラからの距離の変化量 ・・・（５）
動体判定部１０１４は、異なるタイミングで他の動体候補領域に対応する被写体が動体として検出され、かつ、動体候補領域に対応する被写体と前記他の動体候補領域に対応する被写体が同一である場合、ステップＳ３０８の判定処理を行う。 Dh (vertical direction) = ((36.0 * (image vertical ratio / horizontal ratio) * actual distance) / 35 mm equivalent focal length) * (vertical moving pixels / total number of vertical pixels) (3)
Dw (horizontal direction) = ((36.0 * actual distance) / 35mm equivalent focal length) * (horizontal moving pixel / total number of horizontal pixels) (4)
Dd (depth) = the distance from the camera in the pixel difference area and the amount of change in the distance from the camera of the moving object detected last time (5)
The moving body determination unit 1014 detects a subject corresponding to another moving body candidate region as a moving body at different timings, and the subject corresponding to the moving body candidate region and the subject corresponding to the other moving body candidate region are the same. The determination process in step S308 is performed.

ステップＳ３０８において、動体判定部１０１４は、ステップＳ３０７で取得した画素差分領域の実移動量を基に画素差分領域を動体として検出するか否か、閾値を用いて判定する（実移動量に関する閾値判定処理）。   In step S308, the moving object determination unit 1014 determines whether to detect the pixel difference area as a moving object based on the actual movement amount of the pixel difference area acquired in step S307 (threshold determination regarding the actual movement amount). processing).

実移動量に関する閾値判定処理用の検出閾値として用いられる数値は、動体検出の用途に伴い、移動量の検出を行う最大の移動量、及び移動量の検出を行う最小の移動量のうち少なくとも一つが設定されて、移動量の検出閾値は記憶部１００２に格納される。閾値判定が真の場合（例えば、実移動量が設定された検出閾値を超える場合）、動体判定部１０１４は、処理をステップＳ３０９に進める。一方、閾値判定が偽の場合（例えば、実移動量が設定された検出閾値以下となる場合）、動体判定部１０１４は、処理をステップＳ３１１に進める。   The numerical value used as the detection threshold value for the threshold determination processing regarding the actual movement amount is at least one of the maximum movement amount for detecting the movement amount and the minimum movement amount for detecting the movement amount, according to the use of moving object detection. The movement amount detection threshold value is stored in the storage unit 1002. When the threshold determination is true (for example, when the actual movement amount exceeds the set detection threshold), the moving object determination unit 1014 advances the process to step S309. On the other hand, when the threshold determination is false (for example, when the actual movement amount is equal to or less than the set detection threshold), the moving object determination unit 1014 advances the process to step S311.

ステップＳ３０９において、動体判定部１０１４は、ステップＳ３０４で取得した画素差分領域の実サイズを基に画素差分領域を動体として検出するか否か、閾値を用いて判定する（実サイズに関する閾値判定処理）。   In step S309, the moving object determination unit 1014 determines whether to detect the pixel difference area as a moving object based on the actual size of the pixel difference area acquired in step S304 using a threshold value (threshold value determination process regarding the actual size). .

実サイズに関する閾値判定処理用の検出閾値として用いられる数値は、動体検出の用途に伴い、領域サイズの検出を行う最大のサイズ、及び領域サイズの検出を行う最小のサイズのうち少なくとも一つが設定されて、領域サイズの検出閾値は記憶部１００２に格納される。閾値判定が真の場合（例えば、実サイズが設定された検出閾値以上となる場合）、動体判定部１０１４は、処理をステップＳ３１０に進める。   The numerical value used as the detection threshold for the threshold determination processing for the actual size is set to at least one of the maximum size for detecting the region size and the minimum size for detecting the region size according to the use of moving object detection. The area size detection threshold is stored in the storage unit 1002. When the threshold determination is true (for example, when the actual size is equal to or larger than the set detection threshold), the moving object determination unit 1014 advances the process to step S310.

一方、閾値判定が偽の場合（例えば、実サイズが設定された検出閾値未満となる場合）、動体判定部１０１４は、処理をステップＳ３１１に進める。   On the other hand, when the threshold determination is false (for example, when the actual size is less than the set detection threshold), the moving object determination unit 1014 advances the process to step S311.

ステップＳ３１０において、動体判定部１０１４は、差分領域を動体として検出する。ステップＳ３０８及びＳ３０９の閾値判定で真と判定された画素差分領域について、動体判定部１０１４は動体と判定し、画素差分領域の座標位置、カメラからの距離、実サイズ、実移動量等の数値を記憶部１００２に格納する。また、動体判定部１０１４は、検出した動体の情報を、通信部１００５を介して外部機器２０００に出力する。検出した情報に基づいて、外部機器２０００は警告を発することや、検出情報を画像に重畳する等の方法でユーザーに通知することが可能である。また、ユーザーが対象を選択し、選択された対象の情報のみ通知する等の利用も可能である。   In step S310, the moving object determination unit 1014 detects the difference area as a moving object. For the pixel difference area determined to be true in the threshold determinations in steps S308 and S309, the moving object determination unit 1014 determines that the object is a moving object, and sets values such as the coordinate position of the pixel difference area, the distance from the camera, the actual size, and the actual movement amount. Store in the storage unit 1002. In addition, the moving object determination unit 1014 outputs the detected moving object information to the external device 2000 via the communication unit 1005. Based on the detected information, the external device 2000 can issue a warning or notify the user by a method such as superimposing the detected information on an image. Further, the user can select a target and notify only the information of the selected target.

ステップＳ３１１において、動体判定部１０１４は、未処理の画像差分領域があるか否かを判定する。先のステップＳ３０２の処理において複数の画素差分領域を取得した場合に、動体判定部１０１４は、取得した全ての画素差分領域に対して動体検出判定処理を行ったか否かを判定する。動体検出判定処理を行っていない画素差分領域があれば（Ｓ３１１−Ｙｅｓ）、動体判定部１０１４は、処理をステップＳ３０４に戻し、未判定の画素差分領域について、同様の動体検出判定処理が行われる。全ての画素差分領域について動体検出判定が終了していれば（Ｓ３１１−Ｎｏ）、動体検出処理を終了する。   In step S311, the moving object determination unit 1014 determines whether there is an unprocessed image difference area. When a plurality of pixel difference areas are acquired in the process of the previous step S302, the moving object determination unit 1014 determines whether or not the moving object detection determination process has been performed for all the acquired pixel difference areas. If there is a pixel difference area that has not been subjected to the moving object detection determination process (S311-Yes), the moving object determination unit 1014 returns the process to step S304, and the same moving object detection determination process is performed for the undetermined pixel difference area. . If moving object detection determination is complete | finished about all the pixel difference areas (S311-No), a moving object detection process will be complete | finished.

以上、図４を参照して画像処理部１００７の処理について説明したが、図４に示すフローチャートは、本発明における処理の一例を説明したものである。例えば、ステップＳ３０２において画素を併合する際、隣接する画素だけではなく、併合する画素を所定の範囲内に位置する周辺数画素に拡張する等、本発明の要旨の範囲内で、種々の変形及び変更が可能である。また、動体検知処理の使用用途に応じて、実サイズのみに対して閾値判定を行ったり、もしくは実移動量のみに対して閾値判定を行うことも可能である。実サイズのみに対して閾値判定を行う場合はＳ３０７〜Ｓ３０８までの処理を省略することが可能である。また、実移動量のみに対して閾値判定を行う場合はＳ３０９の処理を省略することが可能である。このように使用用途に応じた動体検出判定処理を行うことにより、判定処理に要する処理負荷を軽減し、より高速な判定結果の出力を可能にすることができる。   The processing of the image processing unit 1007 has been described above with reference to FIG. 4, but the flowchart shown in FIG. 4 illustrates an example of processing in the present invention. For example, when the pixels are merged in step S302, various modifications and changes are made within the scope of the gist of the present invention, such as extending not only the adjacent pixels but also the number of pixels to be merged to a peripheral number of pixels located within a predetermined range. It can be changed. Further, it is possible to perform threshold determination for only the actual size or perform threshold determination only for the actual movement amount depending on the usage of the moving object detection process. When threshold determination is performed for only the actual size, the processing from S307 to S308 can be omitted. In addition, when the threshold determination is performed only on the actual movement amount, the process of S309 can be omitted. As described above, by performing the moving object detection determination process according to the intended use, it is possible to reduce the processing load required for the determination process and to output a higher-speed determination result.

第１実施形態では、現在の画像フレームと過去の画像フレームにより得られる全ての画素差分領域に対して、複数の撮像光学系から得られる画像フレームにおける画素差分領域の差異を用いてカメラからの距離を計測し、カメラからの距離を用いて得られる画素差分領域の実サイズの閾値判定と画素差分領域の実移動量の閾値判定とを行うことで、画素差分領域の動体検出判定を行う。   In the first embodiment, for all the pixel difference areas obtained from the current image frame and the past image frame, the distance from the camera using the difference of the pixel difference areas in the image frames obtained from the plurality of imaging optical systems. The moving object detection determination of the pixel difference region is performed by measuring the threshold value of the actual size of the pixel difference region and the threshold value determination of the actual movement amount of the pixel difference region obtained using the distance from the camera.

これにより、画素差分領域の動体検出判定を、画素差分領域のカメラからの距離に応じて正確に行うことができ、複雑な処理を必要とせずに正確な動体検出が可能になる。   Accordingly, the moving object detection determination in the pixel difference area can be accurately performed according to the distance from the camera in the pixel difference area, and accurate moving object detection can be performed without requiring complicated processing.

図１１は、動体の判定結果を例示的に説明する図である。従来の画像間差分による動体検知方式では、近くに映った、小さな物体Ａ（例えば、葉っぱ等）の揺れ等の動きが動体として検出されないように、画素差分の閾値を設定していた。しかしながら、従来の画素差分の閾値設定では、遠くにある、大きな物体Ｂ（例えば、人など）は、手前の物体Ａと同じくらい動いたとしても、画素差分（画素変化）が少ないため、設定された画素差分の閾値を超えず、動体として検出されない場合も生じ得る。   FIG. 11 is a diagram illustrating an example of a moving object determination result. In the conventional moving object detection method based on the difference between images, the threshold value of the pixel difference is set so that a motion such as a shake of a small object A (for example, a leaf) reflected in the vicinity is not detected as a moving object. However, in the conventional pixel difference threshold setting, a large object B (for example, a person) located far away is set because there is little pixel difference (pixel change) even if it moves as much as the object A in front. It may occur that the threshold value of the pixel difference is not exceeded and is not detected as a moving object.

本実施形態では、動体候補領域の実移動量に対する閾値（例えば、２０ｃｍ）および動体候補領域の大きさに対する閾値（例えば、２０ｃｍ）を設定する。距離が遠い物体Ｂ（例えば、人など）が２０ｃｍを超えて移動する場合には移動量の閾値を超え、かつ、大きさの閾値も超えることになるので、遠くにある、大きな物体Ｂを動体として検出することが可能になる。また、近くに映った、小さな物体Ａ（例えば、葉っぱ等）については、例えば、設定された大きさの閾値２０ｃｍ以下であれば、大きさに対する閾値以下となり、小さな物体Ａは動体として検出されない。本実施形態の構成によれば、撮像部からの距離が遠いために見かけ上の動体差分値が小さくなってしまう動体の検出を正確に行うことが可能となる。   In the present embodiment, a threshold value (for example, 20 cm) for the actual movement amount of the moving object candidate region and a threshold value (for example, 20 cm) for the size of the moving object candidate region are set. When a distant object B (for example, a person) moves over 20 cm, the movement amount threshold is exceeded and the size threshold is also exceeded, so a large object B that is far away is moving. Can be detected. For a small object A (for example, a leaf) reflected in the vicinity, for example, if the threshold value is 20 cm or less, the small object A is not detected as a moving object. According to the configuration of the present embodiment, it is possible to accurately detect a moving object whose apparent moving object difference value is small because the distance from the imaging unit is long.

（第２実施形態）
本発明の第２実施形態に係る画像処理装置を図５〜７を参照して説明する。図５は、撮像部として機能するカメラ１０００（監視カメラ）の内部構成を表すブロック図である。尚、図５の内部構成において、制御部１００１、圧縮符号化部１００４、撮像制御部１００６は、第１実施形態(図１)と同様であるため説明を省略する。 (Second Embodiment)
An image processing apparatus according to a second embodiment of the present invention will be described with reference to FIGS. FIG. 5 is a block diagram illustrating an internal configuration of a camera 1000 (monitoring camera) that functions as an imaging unit. In the internal configuration of FIG. 5, the control unit 1001, the compression encoding unit 1004, and the imaging control unit 1006 are the same as those in the first embodiment (FIG. 1), and thus description thereof is omitted.

記憶部１１０２は、制御部１００１が実行するプログラム格納領域、プログラム実行中のワーク領域、検出閾値等の設定値の格納領域として機能することが可能である。また、記憶部１１０２は、後述する撮像部１１０３が生成する撮像画像の格納領域、後述する距離測定機器２００１から通信部１１０５が入力を受けた距離および方位情報の格納領域として機能することが可能である。更に、記憶部１１０２は、画像処理部１１０７が取得する動体検出の判定結果、及び検出情報等の格納領域として機能することが可能である。   The storage unit 1102 can function as a storage area for program values executed by the control unit 1001, a work area during program execution, and a setting value storage area such as a detection threshold. In addition, the storage unit 1102 can function as a storage region for a captured image generated by the imaging unit 1103 described later, and a storage region for the distance and orientation information received by the communication unit 1105 from the distance measuring device 2001 described later. is there. Further, the storage unit 1102 can function as a storage area for the determination result of the moving object detection acquired by the image processing unit 1107 and the detection information.

撮像部１１０３は、カメラ１０００の撮像光学系１１０８により結像された被写体の像を撮像し、取得したアナログ信号をデジタルデータに変換した撮像画像を記憶部１１０２に出力する。本実施形態において、カメラ１０００は単一の撮像光学系１１０８を有しており、撮像部１１０３はカメラ１０００の撮像光学系１１０８により取得した撮像画像を記憶部１１０２に出力する。撮像画像が撮像部１１０３から記憶部１１０２に出力された時、制御部１００１は、撮像部１１０３から画像取得イベントを受信する。   The imaging unit 1103 captures an image of the subject formed by the imaging optical system 1108 of the camera 1000 and outputs a captured image obtained by converting the acquired analog signal into digital data to the storage unit 1102. In the present embodiment, the camera 1000 has a single imaging optical system 1108, and the imaging unit 1103 outputs a captured image acquired by the imaging optical system 1108 of the camera 1000 to the storage unit 1102. When the captured image is output from the imaging unit 1103 to the storage unit 1102, the control unit 1001 receives an image acquisition event from the imaging unit 1103.

通信部１１０５は外部の情報処理装置などの外部機器と通信により情報の送受信が可能であり、通信部１１０５は閾値設定等の各制御コマンドを外部機器２０００から受信する時、また、各制御コマンドに対するレスポンスや記憶部１１０２に格納された画像データ及び動体検出の要否判定結果等の様々なデータを外部機器２０００へ送信することが可能である。また、通信部１１０５はカメラ１０００に接続された距離測定機器２００１から距離等の情報を受信する時に使用される。距離測定機器２００１として、例えば、赤外線レーダー測距器やミリ波レーダー測距器等を使用することが可能である。通信部１１０５が外部機器２０００からコマンドを取得した場合、制御部１００１は通信部１１０５からコマンド受信イベントを受信する。   The communication unit 1105 can transmit and receive information by communication with an external device such as an external information processing apparatus. The communication unit 1105 receives a control command such as a threshold setting from the external device 2000, and the Various data such as a response, image data stored in the storage unit 1102, and a moving object detection necessity determination result can be transmitted to the external device 2000. The communication unit 1105 is used when receiving information such as distance from the distance measuring device 2001 connected to the camera 1000. As the distance measuring device 2001, for example, an infrared radar range finder or a millimeter wave radar range finder can be used. When the communication unit 1105 acquires a command from the external device 2000, the control unit 1001 receives a command reception event from the communication unit 1105.

画像処理部１１０７は、カメラ１０００で撮像した撮像画像の画像フレームから動体を検出する。画像処理部１１０７は、記憶部１１０２に格納された撮像画像の解析を行い、画像中の動体を検出する。画像処理部１１０７が動体を検出した場合、制御部１００１は画像処理部１１０７から動体検出イベントを受信する。   The image processing unit 1107 detects a moving object from an image frame of a captured image captured by the camera 1000. The image processing unit 1107 analyzes the captured image stored in the storage unit 1102 and detects a moving object in the image. When the image processing unit 1107 detects a moving object, the control unit 1001 receives a moving object detection event from the image processing unit 1107.

図６は、第２実施形態に係る画像処理部１１０７の機能構成例を示すブロック図である。図６に示すブロック図において、取得部１０１１、併合部１０１２、動体判定部１０１４は第１実施形態（図２）と同様であるため、説明を省略する。   FIG. 6 is a block diagram illustrating a functional configuration example of the image processing unit 1107 according to the second embodiment. In the block diagram shown in FIG. 6, the acquisition unit 1011, the merging unit 1012, and the moving body determination unit 1014 are the same as those in the first embodiment (FIG. 2), and thus description thereof is omitted.

設定部１１１３は、画素差分領域に対して距離測定機器２００１で取得した距離を設定する。設定部１１１３は、距離測定機器２００１で取得した複数の距離のうち、カメラ１０００が有する少なくとも一つの撮像光学系の撮像方向に対して距離測定機器の計測方向が近似している計測方向で取得された距離を選択し、選択した距離を画素差分領域（動体候補領域）に対して設定する。例えば、設定部１１１３は、距離測定機器２００１が取得し、記憶部１１０２に格納されている距離情報の中から、併合部１０１２により取得した画素差分領域に適合する距離情報を選定することが可能である。   The setting unit 1113 sets the distance acquired by the distance measuring device 2001 for the pixel difference area. The setting unit 1113 is acquired in a measurement direction in which the measurement direction of the distance measurement device approximates the imaging direction of at least one imaging optical system included in the camera 1000 among the plurality of distances acquired by the distance measurement device 2001. The selected distance is selected, and the selected distance is set for the pixel difference area (moving object candidate area). For example, the setting unit 1113 can select distance information suitable for the pixel difference area acquired by the merging unit 1012 from the distance information acquired by the distance measuring device 2001 and stored in the storage unit 1102. is there.

図５に示したカメラ１０００の内部構成、及び図６に示した処理ブロックは、例示的なものであり、本実施形態の構成は、この例に限定されるものではない。例えば、撮像光学系１１０８の構成として、複数の撮像光学系を設けることが可能である。また、複数の撮像光学系に対応した距離情報を、設定部１１１３を選択することも可能であり、本発明の要旨の範囲内で、種々の変形及び変更が可能である。   The internal configuration of the camera 1000 illustrated in FIG. 5 and the processing blocks illustrated in FIG. 6 are exemplary, and the configuration of the present embodiment is not limited to this example. For example, as the configuration of the imaging optical system 1108, a plurality of imaging optical systems can be provided. The distance information corresponding to a plurality of imaging optical systems can also be selected by the setting unit 1113, and various modifications and changes can be made within the scope of the present invention.

次に、本実施形態に係る画像処理部１１０７の処理を図７のフローチャートを参照して説明する。   Next, processing of the image processing unit 1107 according to the present embodiment will be described with reference to the flowchart of FIG.

ステップＳ４０１において、取得部１０１１は、第１の画像フレーム（現在画像フレーム）と第１の画像フレームと異なるタイミングの第２の画像フレーム（過去画像フレーム）との間の画素差分の取得を行う。記憶部１１０２に格納された第１の画像フレーム（現在画像フレーム）との画素差分を検出するための撮像画像（第２の画像フレーム）として、直前の画像フレームを使用することや記憶部１１０２に保存しておいた過去画像フレームを使用することも可能である。   In step S401, the acquisition unit 1011 acquires a pixel difference between the first image frame (current image frame) and the second image frame (past image frame) at a different timing from the first image frame. As the captured image (second image frame) for detecting the pixel difference from the first image frame (current image frame) stored in the storage unit 1102, the immediately preceding image frame is used or the storage unit 1102 It is also possible to use a saved past image frame.

ステップＳ４０２において、併合部１０１２は、先のステップＳ３０１の処理で差分が検出された画素差分を併合（マージ）し、画素差分領域（動体候補領域）の生成（統合）を行う。併合部１０１２は、ステップＳ３０１で画素差分が検出された場合、隣接する画素を併合して画素差分領域を生成する。併合部１０１２は、隣接する画素を一つの画素差分領域に併合し、隣接していない画素が複数ある場合は画素差分領域を複数生成する。尚、ステップＳ４０１で画素差分が取得されなかった場合、これ以降の処理は行なわない。   In step S402, the merging unit 1012 merges (merges) the pixel differences in which the difference is detected in the process of the previous step S301, and generates (integrates) a pixel difference region (moving object candidate region). When a pixel difference is detected in step S301, the merging unit 1012 merges adjacent pixels to generate a pixel difference region. The merging unit 1012 merges adjacent pixels into one pixel difference area, and generates a plurality of pixel difference areas when there are a plurality of non-adjacent pixels. If no pixel difference is acquired in step S401, the subsequent processing is not performed.

ステップＳ４０３において、設定部１１１３は、先のステップＳ４０２の処理で取得した画素差分領域に対して、距離測定機器で取得した距離のうち適合する距離を選択する（適合処理）。画素差分領域に対して、距離測定機器で取得した距離のうち適合する距離を選択する方法の一つとして、例えば、カメラ１０００の撮像光学系１１０８の撮像方向と距離測定機器２００１の計測方向とを一致させ、距離測定機器で距離を取得した方位と画像フレーム中における画素差分領域の方位が近似しているものを選択する方法がある。ステップＳ４０２の処理で複数画素差分領域を取得している場合には、全ての画素差分領域に対して距離測定機器で取得した距離との適合処理を行う。   In step S403, the setting unit 1113 selects a suitable distance among the distances acquired by the distance measuring device for the pixel difference area acquired in the process of the previous step S402 (adaptation process). As one method for selecting a suitable distance among the distances acquired by the distance measurement device for the pixel difference region, for example, the imaging direction of the imaging optical system 1108 of the camera 1000 and the measurement direction of the distance measurement device 2001 are selected. There is a method of selecting the one in which the azimuth of the pixel difference area in the image frame is approximated with the azimuth obtained by matching and obtaining the distance by the distance measuring device. When multiple pixel difference areas have been acquired in the process of step S402, matching processing with the distance acquired by the distance measuring device is performed on all pixel difference areas.

ステップＳ４０４において、動体判定部１０１４は動体検出判定処理を実行する。ステップＳ４０３の適合処理により取得した距離に基づいて、動体判定部１０１４は画素差分領域の実サイズを取得して、画素差分領域に対する動体検出判定処理を行う。この処理は、第１実施形態(図４、Ｓ３０４〜Ｓ３１１)で説明した処理と同様であるため省略する。図７のフローチャートは、画像処理部１１０７の内部処理を例示するものであり、種々の変更が可能である。例えば、動体検出判定処理では、動体検知処理の使用用途に応じて、実サイズのみに対して閾値判定を行ったり、もしくは実移動量のみに対して閾値判定を行うことも可能である。実サイズのみに対して閾値判定を行う場合はＳ３０７〜Ｓ３０８までの処理を省略することが可能である。また、実移動量のみに対して閾値判定を行う場合はＳ３０９の処理を省略することが可能である。このように使用用途に応じた動体検出判定処理を行うことにより、判定処理に要する処理負荷を軽減し、より高速な判定結果の出力を可能にすることができる。   In step S404, the moving object determination unit 1014 performs a moving object detection determination process. Based on the distance acquired by the adaptation process in step S403, the moving object determination unit 1014 acquires the actual size of the pixel difference area, and performs a moving object detection determination process for the pixel difference area. Since this process is the same as the process described in the first embodiment (FIG. 4, S304 to S311), a description thereof will be omitted. The flowchart in FIG. 7 exemplifies internal processing of the image processing unit 1107, and various changes can be made. For example, in the moving object detection determination process, it is possible to perform threshold determination for only the actual size or perform threshold determination for only the actual movement amount according to the usage of the moving object detection process. When threshold determination is performed for only the actual size, the processing from S307 to S308 can be omitted. In addition, when the threshold determination is performed only on the actual movement amount, the process of S309 can be omitted. As described above, by performing the moving object detection determination process according to the intended use, it is possible to reduce the processing load required for the determination process and to output a higher-speed determination result.

第２実施形態では、現在の画像フレームと過去の画像フレームにより得られる全ての画素差分領域に対して、距離計測機器を用いてカメラからの実距離を計測し、カメラからの実距離を用いて得られる画素差分領域の実サイズの閾値判定と画素差分領域の実移動量の閾値判定とを行うことで、画素差分領域の動体検出判定を行う。これにより、画素差分領域の動体検出判定を、画素差分領域のカメラからの距離に応じて正確に行うことができ、複雑な処理を必要とせずに正確な動体検出が可能になる。例えば、撮像部からの距離が遠いために見かけ上の動体差分値が小さくなってしまう動体の検出を正確に行うことが可能となる。   In the second embodiment, the actual distance from the camera is measured using a distance measuring device for all pixel difference regions obtained from the current image frame and the past image frame, and the actual distance from the camera is used. The moving object detection determination of the pixel difference area is performed by performing threshold determination of the actual size of the obtained pixel difference area and threshold determination of the actual movement amount of the pixel difference area. Accordingly, the moving object detection determination in the pixel difference area can be accurately performed according to the distance from the camera in the pixel difference area, and accurate moving object detection can be performed without requiring complicated processing. For example, it is possible to accurately detect a moving object whose apparent moving object difference value is small because the distance from the imaging unit is long.

（第３実施形態）
本発明の第３実施形態に係る画像処理装置を図８〜１０を参照して説明する。図８は、撮像部として機能するカメラ１０００（監視カメラ）の内部構成を表すブロック図である。尚、図８の内部構成において、制御部１００１、記憶部１００２、圧縮符号化部１００４、通信部１００５、撮像制御部１００６は、第１実施形態(図１)と同様であるため説明を省略する。 (Third embodiment)
An image processing apparatus according to a third embodiment of the present invention will be described with reference to FIGS. FIG. 8 is a block diagram illustrating an internal configuration of a camera 1000 (monitoring camera) that functions as an imaging unit. In the internal configuration of FIG. 8, the control unit 1001, the storage unit 1002, the compression encoding unit 1004, the communication unit 1005, and the imaging control unit 1006 are the same as those in the first embodiment (FIG. 1), and thus description thereof is omitted. .

撮像部１２０３は、カメラ１０００の撮像光学系１２０８により結像された被写体の像を撮像し、取得したアナログ信号をデジタルデータに変換した撮像画像を記憶部１００２に出力する。本実施形態において、カメラ１０００は単一の撮像光学系１２０８を有しており、本実施形態では、単一の撮像光学系１２０８の構成として、二つの位相差のある像を取得できるセンサーを使用する。二つの位相差のある像を取得できるセンサーとして、例えば、各画素を左右２つに分割し、画素の左側と右側とで位相差のある２つの像を取得できるセンサーを使用することが可能である。撮像部１２０３はカメラ１０００の撮像光学系１２０８により取得した撮像画像を記憶部１００２に出力する。撮像画像が記憶部１００２に出力された時、制御部１００１は撮像部１２０３から画像取得イベントを受信する。   The imaging unit 1203 captures an image of a subject formed by the imaging optical system 1208 of the camera 1000 and outputs a captured image obtained by converting the acquired analog signal into digital data to the storage unit 1002. In this embodiment, the camera 1000 has a single imaging optical system 1208. In this embodiment, a sensor capable of acquiring two phase difference images is used as the configuration of the single imaging optical system 1208. To do. As a sensor that can acquire an image with two phase differences, for example, it is possible to use a sensor that can divide each pixel into two left and right and acquire two images with a phase difference between the left and right sides of the pixel. is there. The imaging unit 1203 outputs the captured image acquired by the imaging optical system 1208 of the camera 1000 to the storage unit 1002. When the captured image is output to the storage unit 1002, the control unit 1001 receives an image acquisition event from the imaging unit 1203.

画像処理部１２０７は、カメラ１０００で撮像した撮像画像の画像フレームから動体を検出する。画像処理部１２０７は、記憶部１００２に格納された撮像画像の解析を行い、画像中の動体を検出する。画像処理部１２０７が動体を検出した場合、制御部１００１は画像処理部１２０７から動体検出イベントを受信する。   The image processing unit 1207 detects a moving object from an image frame of a captured image captured by the camera 1000. The image processing unit 1207 analyzes the captured image stored in the storage unit 1002 and detects a moving object in the image. When the image processing unit 1207 detects a moving object, the control unit 1001 receives a moving object detection event from the image processing unit 1207.

図９は、第３実施形態に係る画像処理部１２０７の機能構成例を示すブロック図である。図９に示すブロック図において、取得部１０１１、併合部１０１２、動体判定部１０１４は第１実施形態（図２）と同様であるため、説明を省略する。   FIG. 9 is a block diagram illustrating a functional configuration example of the image processing unit 1207 according to the third embodiment. In the block diagram shown in FIG. 9, the acquisition unit 1011, the merging unit 1012, and the moving body determination unit 1014 are the same as those in the first embodiment (FIG. 2), and thus description thereof is omitted.

計測部１２１３は、併合部１０１２で生成される画素差分領域（動体候補領域）に対して、カメラ１０００からの距離を計測する。撮像部１２０３は単一の撮像光学系１２０８より同時に取得した位相差のある撮像画像を用いて距離を計測する。第１実施形態で説明した複数の撮像光学系を使用する距離計測方法と同様に、画素差分領域（動体候補領域）の位相差、及び、分割した画素における左右の基線長、及び、撮像光学系の撮像画角を用いて、三角測量の原理に基づき距離の計測を行う。計測部１２１３は、三角測量の原理に基づき、記憶部１００２に格納された複数の現在画像フレームを使用して距離の計測を行う。尚、図８に示したカメラ１０００の内部構成、及び図９に示した処理ブロックは、例示的なものであり、本実施形態の構成は、この例に限定されるものではない。   The measurement unit 1213 measures the distance from the camera 1000 for the pixel difference region (moving object candidate region) generated by the merging unit 1012. The imaging unit 1203 measures the distance using captured images having a phase difference acquired simultaneously from a single imaging optical system 1208. Similar to the distance measurement method using the plurality of imaging optical systems described in the first embodiment, the phase difference of the pixel difference area (moving object candidate area), the left and right baseline lengths of the divided pixels, and the imaging optical system The distance is measured based on the principle of triangulation using the imaging angle of view. The measurement unit 1213 performs distance measurement using a plurality of current image frames stored in the storage unit 1002 based on the principle of triangulation. Note that the internal configuration of the camera 1000 illustrated in FIG. 8 and the processing blocks illustrated in FIG. 9 are exemplary, and the configuration of the present embodiment is not limited to this example.

次に、本実施形態に係る画像処理部１２０７の処理を図１０のフローチャートを参照して説明する。   Next, the processing of the image processing unit 1207 according to the present embodiment will be described with reference to the flowchart of FIG.

ステップＳ５０１において、取得部１０１１は、第１の画像フレーム（現在画像フレーム）と第１の画像フレームと異なるタイミングの第２の画像フレーム（過去画像フレーム）との間の画素差分の取得を行う。記憶部１００２には現在画像フレームを複数格納することが可能である。画素差分の検出を行うために使用する現在画像フレームと過去画像フレームとの対は少なくとも１つ以上であり、取得部１０１１は、２つ以上の現在画像フレームと過去画像フレームとの対から画素差分を検出し動体検出の判定を行うことも可能である。また、現在画像フレームとの画素差分を取得するため、記憶部１００２に格納された撮像画像（第２の画像フレーム）として、直前の画像フレームを使用することや記憶部１００２に保存しておいた過去画像フレームを使用することも可能である。   In step S501, the acquisition unit 1011 acquires a pixel difference between the first image frame (current image frame) and the second image frame (past image frame) at a different timing from the first image frame. The storage unit 1002 can store a plurality of current image frames. There are at least one pair of the current image frame and the past image frame used for detecting the pixel difference, and the acquisition unit 1011 calculates the pixel difference from the pair of the two or more current image frames and the past image frame. It is also possible to detect the moving object and determine the moving object. In addition, in order to obtain a pixel difference from the current image frame, the immediately preceding image frame is used or saved in the storage unit 1002 as the captured image (second image frame) stored in the storage unit 1002. It is also possible to use past image frames.

ステップＳ５０２において、併合部１０１２は、先のステップＳ５０１の処理で差分が検出された画素差分を併合（マージ）し、画素差分領域（動体候補領域）の生成（統合）を行う。併合部１０１２は、ステップＳ５０１で画素差分が検出された場合、隣接する画素を併合して画素差分領域を生成する。併合部１０１２は、隣接する画素を一つの画素差分領域に併合し、隣接していない画素が複数ある場合は画素差分領域を複数生成する。尚、ステップＳ５０１で画素差分が取得されなかった場合、これ以降の処理は行なわない。   In step S <b> 502, the merging unit 1012 merges (merges) the pixel differences whose differences are detected in the processing of the previous step S <b> 501, and generates (integrates) pixel difference areas (moving object candidate areas). When a pixel difference is detected in step S501, the merging unit 1012 merges adjacent pixels to generate a pixel difference region. The merging unit 1012 merges adjacent pixels into one pixel difference area, and generates a plurality of pixel difference areas when there are a plurality of non-adjacent pixels. If no pixel difference is acquired in step S501, the subsequent processing is not performed.

ステップＳ５０３において、計測部１２１３は、先のステップＳ５０２の処理で取得した画素差分領域に対してカメラ１０００からの距離を取得する。撮像部１２０３は、単一の撮像光学系１２０８により同時に取得され、記憶部１００２に格納された位相差のある複数の現在画像フレームを使用して距離計測を行う。ステップＳ５０２の処理で複数の画素差分領域が取得されている場合、計測部１２１３は、全ての画素差分領域に対して距離測定を行う。   In step S503, the measurement unit 1213 acquires the distance from the camera 1000 with respect to the pixel difference region acquired in the process of the previous step S502. The imaging unit 1203 performs distance measurement using a plurality of current image frames having phase differences that are simultaneously acquired by a single imaging optical system 1208 and stored in the storage unit 1002. When a plurality of pixel difference areas are acquired in the process of step S502, the measurement unit 1213 performs distance measurement on all the pixel difference areas.

ステップＳ５０４において、動体判定部１０１４は動体検出判定処理を実行する。ステップＳ５０３で取得した距離に基づいて、動体判定部１０１４は画素差分領域（動体候補領域）の実サイズを取得して、画素差分領域に対する動体検出判定処理を行う。この処理は、第１実施形態(図４、Ｓ３０４〜Ｓ３１１)で説明した処理と同様であるため省略する。図９のフローチャートは、画像処理部１２０７の内部処理を例示するものであり、種々の変更が可能である。   In step S504, the moving object determination unit 1014 executes a moving object detection determination process. Based on the distance acquired in step S503, the moving object determination unit 1014 acquires the actual size of the pixel difference area (moving object candidate area) and performs moving object detection determination processing on the pixel difference area. Since this process is the same as the process described in the first embodiment (FIG. 4, S304 to S311), a description thereof will be omitted. The flowchart in FIG. 9 exemplifies internal processing of the image processing unit 1207, and various changes can be made.

第３実施形態では、現在の画像フレームと過去の画像フレームにより得られる全ての画素差分領域に対して、単一の撮像光学系から同時に得られる位相差のある複数の画像フレームを用いてカメラからの実距離を計測する。カメラからの実距離を用いて得られる画素差分領域の実サイズの閾値判定と実移動量の閾値判定とを行うことで、画素差分領域の動体検出判定を行う。これにより、画素差分領域の動体検出判定を、画素差分領域のカメラからの距離に応じて正確に行うことができ、複雑な処理を必要とせずに正確な動体検出が可能になる。例えば、撮像部からの距離が遠いために見かけ上の動体差分値が小さくなってしまう動体の検出を正確に行うことが可能となる。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   In the third embodiment, for all the pixel difference areas obtained from the current image frame and the past image frame, a plurality of image frames having a phase difference obtained simultaneously from a single imaging optical system are used. Measure the actual distance. The moving object detection determination of the pixel difference area is performed by performing the threshold determination of the actual size of the pixel difference area and the threshold determination of the actual movement amount obtained using the actual distance from the camera. Accordingly, the moving object detection determination in the pixel difference area can be accurately performed according to the distance from the camera in the pixel difference area, and accurate moving object detection can be performed without requiring complicated processing. For example, it is possible to accurately detect a moving object whose apparent moving object difference value is small because the distance from the imaging unit is long. As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these Examples, A various deformation | transformation and change are possible within the range of the summary.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１０００：カメラ、１００７：画像処理装置、１００８：撮像光学系、１０１１：取得部、１０１２：併合部、１０１３：計測部、１０１４：動体判定部   1000: camera, 1007: image processing apparatus, 1008: imaging optical system, 1011: acquisition unit, 1012: merging unit, 1013: measurement unit, 1014: moving object determination unit

Claims (12)

撮像手段で撮像した画像フレームから動体を検出する画像処理装置であって、
フレーム間差分方式又は背景差分方式を用いて、前記撮像手段で撮像した画像フレームにおける画素値の差分を取得する取得手段と、
前記取得手段により取得された前記差分に基づく動体候補領域に対応する被写体までの距離を計測する計測手段と、
第１の画像フレームで検出された前記動体候補領域の位置から、前記第１の画像フレームとは異なる第２の画像フレームで検出された前記動体候補領域の位置までの画素数と、前記計測手段によって計測された前記動体候補領域に対応する被写体までの距離とに基づいて、当該動体候補領域の移動量を算出し、算出した移動量と、閾値との比較結果に基づいて、当該動体候補領域に対応する被写体が動体であるか判定する判定手段と、を備え、
前記判定手段は、
前記計測された距離に従って前記動体候補領域の実サイズを求め、
前記実サイズに基づいて、第１の画像フレームで検出された前記動体候補領域と、前記第１の画像フレームとは異なる第２の画像フレームで検出された前記動体候補領域とが同一であるか判定し、
同一と判定された場合、前記算出した移動量と、前記閾値との比較結果に基づいて、当該動体候補領域に対応する被写体が動体であるか判定することを特徴とする画像処理装置。 An image processing apparatus that detects a moving object from an image frame captured by an imaging unit,
An acquisition unit that acquires a difference between pixel values in an image frame captured by the imaging unit using an inter-frame difference method or a background difference method;
Measuring means for measuring the distance to the subject corresponding to the moving object candidate area based on the difference acquired by the acquiring means;
The number of pixels from the position of the moving object candidate area detected in the first image frame to the position of the moving object candidate area detected in a second image frame different from the first image frame; and the measuring means Based on the distance to the subject corresponding to the moving object candidate area measured by the above, the moving amount of the moving object candidate area is calculated, and based on the comparison result between the calculated moving amount and the threshold value, the moving object candidate area Determining means for determining whether the subject corresponding to is a moving object ,
The determination means includes
Obtaining the actual size of the moving object candidate region according to the measured distance,
Whether the moving object candidate area detected in the first image frame and the moving object candidate area detected in the second image frame different from the first image frame are the same based on the actual size Judgment,
If it is determined that the same, a moving amount of the calculated, based on a result of comparison between the threshold value, the image processing apparatus the subject corresponding to the moving object candidate region characterized that you determine whether a moving object. 前記取得手段により取得された差分と、所定の閾値との比較結果に基づいて、前記所定の閾値を超える画素を前記動体候補領域としてまとめる併合手段を更に備えることを特徴とする請求項１に記載の画像処理装置。   2. The merger according to claim 1, further comprising a merging unit that collects pixels that exceed the predetermined threshold as the moving object candidate region based on a comparison result between the difference acquired by the acquiring unit and a predetermined threshold. Image processing apparatus. 前記判定手段は、前記動体候補領域の大きさに更に基づいて、前記動体候補領域に対応する被写体が動体であるか判定する
ことを特徴とする請求項１または２に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the determination unit determines whether the subject corresponding to the moving object candidate area is a moving object based further on the size of the moving object candidate area. 前記判定手段は、前記動体候補領域の大きさが閾値を超える場合、前記動体候補領域に対応する被写体を動体として判定することを特徴とする請求項３に記載の画像処理装置。   The image processing apparatus according to claim 3, wherein the determination unit determines a subject corresponding to the moving object candidate area as a moving object when the size of the moving object candidate area exceeds a threshold value. 前記判定手段は、前記動体候補領域の移動量が閾値を超え、かつ、前記動体候補領域の大きさが閾値を超える場合、前記動体候補領域に対応する被写体を動体として判定することを特徴とする請求項４に記載の画像処理装置。 The determination unit determines a subject corresponding to the moving object candidate area as a moving object when a moving amount of the moving object candidate area exceeds a threshold and a size of the moving object candidate area exceeds a threshold. The image processing apparatus according to claim 4 . 前記計測手段は、複数の撮像光学系を有する前記撮像手段から同じタイミングで取得した複数の画像フレームにおける、前記動体候補領域の位置の差異を使用して、前記距離を計測することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 The measuring unit measures the distance using a difference in position of the moving object candidate region in a plurality of image frames acquired at the same timing from the imaging unit having a plurality of imaging optical systems. the image processing apparatus according to any one of claims 1 to 5. 前記動体候補領域に対して距離測定機器で取得した距離を設定する設定手段を更に備え、
前記設定手段は、前記距離測定機器で取得した複数の距離のうち、前記撮像手段が有する少なくとも一つの撮像光学系の撮像方向に対して前記距離測定機器の計測方向が近似している計測方向で取得された距離を選択し、当該距離を前記動体候補領域に対して設定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 Further comprising setting means for setting a distance acquired by a distance measuring device for the moving object candidate region;
The setting means is a measurement direction in which the measurement direction of the distance measurement device approximates the image pickup direction of at least one image pickup optical system of the image pickup means among a plurality of distances acquired by the distance measurement device. select the capture distance, the image processing apparatus according to the distance to any one of claims 1 to 5, characterized in that set for the moving object candidate region. 前記計測手段は、単一の撮像光学系を有する前記撮像手段から同じタイミングで取得した位相差のある複数の画像フレームにおける、前記動体候補領域の位置の差異を使用して、前記距離を計測することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 The measuring unit measures the distance using a difference in position of the moving object candidate region in a plurality of image frames having a phase difference acquired at the same timing from the imaging unit having a single imaging optical system. the image processing apparatus according to any one of claims 1 to 5, characterized in that. 前記動体候補領域の大きさとの比較に用いる閾値には、領域サイズの検出を行う最大のサイズ、及び、領域サイズの検出を行う最小のサイズのうち少なくとも一つが設定されていることを特徴とする請求項４または５に記載の画像処理装置。 The threshold used for comparison with the size of the moving object candidate region is set to at least one of a maximum size for detecting the region size and a minimum size for detecting the region size. The image processing apparatus according to claim 4 or 5 . 前記移動量との比較に用いる閾値には、移動量の検出を行う最大の移動量、及び移動量の検出を行う最小の移動量のうち少なくとも一つが設定されていることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。 The threshold value used for the comparison with the movement amount is set to at least one of a maximum movement amount for detecting the movement amount and a minimum movement amount for detecting the movement amount. The image processing apparatus according to any one of 1 to 9 . 撮像手段で撮像した画像フレームから動体を検出する画像処理装置の画像処理方法であって、
取得手段が、フレーム間差分方式又は背景差分方式を用いて、前記撮像手段で撮像した画像フレームにおける画素値の差分を取得する取得工程と、
計測手段が、前記取得手段により取得された前記差分に基づく動体候補領域に対応する被写体までの距離を計測する計測工程と、
判定手段が、第１の画像フレームで検出された前記動体候補領域の位置から、前記第１の画像フレームとは異なる第２の画像フレームで検出された前記動体候補領域の位置までの画素数と、前記計測手段によって計測された前記動体候補領域に対応する被写体までの距離とに基づいて、当該動体候補領域の移動量を算出し、算出した移動量と、閾値との比較結果に基づいて、当該動体候補領域に対応する被写体が動体であるか判定する判定工程と、を有し、
前記判定工程では、
前記計測された距離に従って前記動体候補領域の実サイズを求め、
前記実サイズに基づいて、第１の画像フレームで検出された前記動体候補領域と、前記第１の画像フレームとは異なる第２の画像フレームで検出された前記動体候補領域とが同一であるか判定し、
同一と判定された場合、前記算出した移動量と、前記閾値との比較結果に基づいて、当該動体候補領域に対応する被写体が動体であるか判定することを特徴とする画像処理方法。 An image processing method of an image processing apparatus for detecting a moving object from an image frame imaged by an imaging means,
An acquisition unit that acquires a difference between pixel values in an image frame captured by the imaging unit using an inter-frame difference method or a background difference method;
A measuring step for measuring a distance to a subject corresponding to the moving object candidate region based on the difference acquired by the acquiring unit;
The determination means includes the number of pixels from the position of the moving object candidate area detected in the first image frame to the position of the moving object candidate area detected in a second image frame different from the first image frame. Then, based on the distance to the subject corresponding to the moving object candidate region measured by the measuring means, the moving amount of the moving object candidate region is calculated, and based on the comparison result between the calculated moving amount and the threshold value, possess the subject corresponding to the moving object candidate region is a determination step whether the moving object, and
In the determination step,
Obtaining the actual size of the moving object candidate region according to the measured distance,
Whether the moving object candidate area detected in the first image frame and the moving object candidate area detected in the second image frame different from the first image frame are the same based on the actual size Judgment,
If it is determined that the same, a moving amount of the calculated, based on a result of comparison between the threshold value, the image processing method of the subject corresponding to the moving object candidate region is characterized that you determine whether a moving object. 撮像手段で撮像した画像フレームから動体を検出する画像処理装置の画像処理方法を、コンピュータに実行させるプログラムであって、前記画像処理方法が、
取得手段が、フレーム間差分方式又は背景差分方式を用いて、前記撮像手段で撮像した画像フレームにおける画素値の差分を取得する取得工程と、
計測手段が、前記取得手段により取得された前記差分に基づく動体候補領域に対応する被写体までの距離を計測する計測工程と、
判定手段が、第１の画像フレームで検出された前記動体候補領域の位置から、前記第１の画像フレームとは異なる第２の画像フレームで検出された前記動体候補領域の位置までの画素数と、前記計測手段によって計測された前記動体候補領域に対応する被写体までの距離とに基づいて、当該動体候補領域の移動量を算出し、算出した移動量と、閾値との比較結果に基づいて、当該動体候補領域に対応する被写体が動体であるか判定する判定工程と、を有し、
前記判定工程では、
前記計測された距離に従って前記動体候補領域の実サイズを求め、
前記実サイズに基づいて、第１の画像フレームで検出された前記動体候補領域と、前記第１の画像フレームとは異なる第２の画像フレームで検出された前記動体候補領域とが同一であるか判定し、
同一と判定された場合、前記算出した移動量と、前記閾値との比較結果に基づいて、当該動体候補領域に対応する被写体が動体であるか判定することを特徴とするプログラム。 A program that causes a computer to execute an image processing method of an image processing apparatus that detects a moving object from an image frame captured by an imaging unit, the image processing method comprising:
An acquisition unit that acquires a difference between pixel values in an image frame captured by the imaging unit using an inter-frame difference method or a background difference method;
A measuring step for measuring a distance to a subject corresponding to the moving object candidate region based on the difference acquired by the acquiring unit;
The determination means includes the number of pixels from the position of the moving object candidate area detected in the first image frame to the position of the moving object candidate area detected in a second image frame different from the first image frame. Then, based on the distance to the subject corresponding to the moving object candidate region measured by the measuring means, the moving amount of the moving object candidate region is calculated, and based on the comparison result between the calculated moving amount and the threshold value, possess the subject corresponding to the moving object candidate region is a determination step whether the moving object, and
In the determination step,
Obtaining the actual size of the moving object candidate region according to the measured distance,
Whether the moving object candidate area detected in the first image frame and the moving object candidate area detected in the second image frame different from the first image frame are the same based on the actual size Judgment,
If it is determined that the same, a moving amount of the calculated, based on a result of comparison between the threshold value, the program object corresponding to the moving object candidate region characterized that you determine whether a moving object.
JP2016237829A 2016-12-07 2016-12-07 Image processing apparatus, image processing method, and program Active JP6602286B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016237829A JP6602286B2 (en) 2016-12-07 2016-12-07 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016237829A JP6602286B2 (en) 2016-12-07 2016-12-07 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2018092547A JP2018092547A (en) 2018-06-14
JP6602286B2 true JP6602286B2 (en) 2019-11-06

Family

ID=62565647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016237829A Active JP6602286B2 (en) 2016-12-07 2016-12-07 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP6602286B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114398119B (en) * 2021-12-21 2023-03-14 深圳市易图资讯股份有限公司 Intelligent information system and method for multi-person real-time synchronous control of smart city
CN117132669A (en) * 2022-10-10 2023-11-28 深圳市Tcl云创科技有限公司 Image frame sequence processing method, device, computer equipment and storage medium
CN117876380B (en) * 2024-03-13 2024-05-14 昆明昊拜农业科技有限公司 Tobacco leaf environment temperature and humidity and microlayer difference prediction method and system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06300526A (en) * 1993-04-15 1994-10-28 Advantest Corp Monitor device for dynamic object
JP2001338302A (en) * 2000-05-29 2001-12-07 Nikon Corp Monitoring device
JP3969984B2 (en) * 2001-09-25 2007-09-05 ダイハツ工業株式会社 Recognition method for moving objects
JP5402625B2 (en) * 2009-09-29 2014-01-29 パナソニック株式会社 Vehicle detection apparatus using stereo image processing
JP6278503B2 (en) * 2013-08-29 2018-02-14 キヤノン株式会社 Imaging apparatus, control method, and program
JP6452481B2 (en) * 2015-02-09 2019-01-16 キヤノン株式会社 Image processing apparatus and control method thereof

Also Published As

Publication number Publication date
JP2018092547A (en) 2018-06-14

Similar Documents

Publication Publication Date Title
CN107438173B (en) Video processing apparatus, video processing method, and storage medium
JP6509027B2 (en) Object tracking device, optical apparatus, imaging device, control method of object tracking device, program
JP6138861B2 (en) Distance calculation device
JP6141079B2 (en) Image processing system, image processing apparatus, control method therefor, and program
CN106488115B (en) For tracking and sensing the control device and method of the image sensing apparatus of tracking target
US20150036886A1 (en) Distance Calculator and Distance Calculation Method
JP5484184B2 (en) Image processing apparatus, image processing method, and program
WO2013132951A1 (en) Distance calculation device and distance calculation method
JP4042750B2 (en) Image processing apparatus, computer program, and image processing method
JPWO2013054499A1 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2002298142A (en) Person image detecting method, storage medium recording program for executing the method, person image detecting device, and image pick-up device having this device
US20090207260A1 (en) Image pickup apparatus and image pickup method
JP6602286B2 (en) Image processing apparatus, image processing method, and program
JP2019078880A (en) Control device, imaging apparatus, control method, and program
JP3988574B2 (en) Image processing device
US9906724B2 (en) Method and device for setting a focus of a camera
JP6585668B2 (en) Object detection device
WO2018037479A1 (en) Image processing device, stereo camera device, and image processing method
JP2012018013A (en) Ranging device and imaging apparatus
WO2021124657A1 (en) Camera system
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
JPH09145368A (en) Moving and tracing method for object by stereoscopic image
JP2007233487A (en) Pedestrian detection method, device, and program
JP4269781B2 (en) Optical flow detection system, detection method and detection program
JP2018092507A (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191008

R151 Written notification of patent or utility model registration

Ref document number: 6602286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151