JP7346535B2 - Object detection method and object detection system for images - Google Patents
Object detection method and object detection system for images Download PDFInfo
- Publication number
- JP7346535B2 JP7346535B2 JP2021206538A JP2021206538A JP7346535B2 JP 7346535 B2 JP7346535 B2 JP 7346535B2 JP 2021206538 A JP2021206538 A JP 2021206538A JP 2021206538 A JP2021206538 A JP 2021206538A JP 7346535 B2 JP7346535 B2 JP 7346535B2
- Authority
- JP
- Japan
- Prior art keywords
- range
- foreground
- background
- current image
- trend
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 49
- 239000013598 vector Substances 0.000 claims description 162
- 238000000034 method Methods 0.000 claims description 111
- 238000012417 linear regression Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 description 37
- 230000003287 optical effect Effects 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 9
- 230000002265 prevention Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241001533104 Tribulus terrestris Species 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Description
本開示は、概して、映像に対するオブジェクト検出方法及びオブジェクト検出システムに関する。 TECHNICAL FIELD The present disclosure generally relates to an object detection method and object detection system for video.
人工知能の急速な発展に伴い、人工知能は、多くの分野で顔認識、ゴミ分類、車両認識、及び他の行為に使用することができる。いくつかの用途では、映像に対するオブジェクト認識を実施する必要さえある。例えば、特許文献１には、画像に対するオブジェクト追跡方法が開示されている。 With the rapid development of artificial intelligence, artificial intelligence can be used in facial recognition, garbage classification, vehicle recognition, and other acts in many fields. In some applications, it is even necessary to perform object recognition on the video. For example, Patent Document 1 discloses an object tracking method for images.
しかしながら、画像に対するオブジェクト認識は、多くのコンピューティングリソースを必要とし、その結果として、ハードウェアを配備する多額のコストが必要となる。とりわけ映像の場合、このオブジェクト認識は膨大なコンピューティングリソースを必要とする。少なくとも毎秒６０フレームの取り込み速度に追いつくためには、多額のハードウェアコストが分配される必要がある。このため、人工知能技術は現在、映像用途で広く普及させることが困難となっている。オブジェクト認識や多額のコンピューティングコストの消費によって発生する膨大なコンピューティング要件をどのように低減するか、そしてオブジェクト検出の速度をどのように加速させるかが、現在重要なトピックとなっている。 However, object recognition for images requires a lot of computing resources, resulting in a high cost of deploying hardware. Particularly in the case of video, this object recognition requires enormous computing resources. To keep up with ingest rates of at least 60 frames per second, significant hardware costs need to be allocated. For this reason, it is currently difficult for artificial intelligence technology to be widely used in video applications. How to reduce the huge computing requirements caused by object recognition and the consumption of large computing costs, and how to accelerate the speed of object detection are currently important topics.
本開示は、映像に対するオブジェクト検出方法及びオブジェクト検出システムに関する。 The present disclosure relates to an object detection method and an object detection system for images.
一実施形態によれば、映像に対するオブジェクト検出方法が提供される。本オブジェクト検出方法は、以下のステップを含む。複数の連続画像のうちの現在画像が受信される。現在画像内のオブジェクト選択範囲をフィルタリングすることにより、背景範囲が取得される。オブジェクト選択範囲に対応する複数の選択範囲動きベクトルと、背景範囲に対応する複数の背景動きベクトルとの複数の類似度を比較し、これによって、オブジェクト選択範囲内のオブジェクト前景範囲及びオブジェクト背景範囲が取得される。オブジェクト前景範囲に対応する複数のオブジェクト前景動きベクトルの数と、オブジェクト背景範囲に対応する複数のオブジェクト背景動きベクトルの数とが比較される。オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの数がオブジェクト背景範囲に対応するオブジェクト背景動きベクトルの数よりも多い場合、オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの前景動き傾向が算出される。現在画像内のオブジェクト選択範囲は、オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの前景動き傾向、又は背景範囲に対応する背景動きベクトルの背景動き傾向に従って更新される。 According to one embodiment, a method for detecting objects in video is provided. The object detection method includes the following steps. A current image of a plurality of consecutive images is received. The background range is obtained by filtering the object selection range in the current image. A plurality of similarities between a plurality of selection range motion vectors corresponding to the object selection range and a plurality of background motion vectors corresponding to the background range are compared, and thereby the object foreground range and the object background range within the object selection range are determined. be obtained. A number of object foreground motion vectors corresponding to the object foreground extent and a number of object background motion vectors corresponding to the object background extent are compared. If the number of object foreground motion vectors corresponding to the object foreground range is greater than the number of object background motion vectors corresponding to the object background range, a foreground motion trend of the object foreground motion vectors corresponding to the object foreground range is calculated. The object selection range in the current image is updated according to the foreground motion trend of the object foreground motion vector corresponding to the object foreground range or the background motion trend of the background motion vector corresponding to the background range.
別の実施形態によれば、映像に対するオブジェクト検出システムが提供される。本オブジェクト検出システムは、受信部と、範囲定義部と、比較部と、傾向分析部と、更新部と、を備える。受信部は、複数の連続画像のうちの現在画像を受信するように構成されている。範囲定義部は、受信部に接続されている。範囲定義部は、現在画像内のオブジェクト選択範囲をフィルタリングして背景範囲を取得し、かつオブジェクト選択範囲に対応する複数の選択範囲動きベクトルと、背景範囲に対応する複数の背景動きベクトルとの複数の類似度を比較し、これによって、オブジェクト選択範囲内のオブジェクト前景範囲及びオブジェクト背景範囲を取得するように構成されている。比較部は、範囲定義部に接続されている。比較部は、オブジェクト前景範囲に対応する複数のオブジェクト前景動きベクトルの数と、オブジェクト背景範囲に対応する複数のオブジェクト背景動きベクトルの数とを比較するように構成されている。傾向分析部は、比較部及び範囲定義部に接続されている。オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの数がオブジェクト背景範囲に対応するオブジェクト背景動きベクトルの数よりも多い場合、傾向分析部は、オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの前景動き傾向を算出する。更新部は、傾向分析部及び比較部に接続されている。更新部は、オブジェクト前景範囲に対応するオブジェクト前景動きベクトルの前景動き傾向、又は背景範囲に対応する背景動きベクトルの背景動き傾向に従って、現在画像内のオブジェクト選択範囲を更新するように構成されている。 According to another embodiment, an object detection system for video is provided. The object detection system includes a receiving section, a range defining section, a comparing section, a trend analyzing section, and an updating section. The receiving unit is configured to receive a current image of the plurality of consecutive images. The range definition section is connected to the reception section. The range definition unit filters the object selection range in the current image to obtain a background range, and calculates a plurality of selection range motion vectors corresponding to the object selection range and a plurality of background motion vectors corresponding to the background range. and thereby obtain an object foreground range and an object background range within the object selection range. The comparison section is connected to the range definition section. The comparison unit is configured to compare the number of the plurality of object foreground motion vectors corresponding to the object foreground range and the number of the plurality of object background motion vectors corresponding to the object background range. The trend analysis section is connected to the comparison section and the range definition section. If the number of object foreground motion vectors corresponding to the object foreground range is greater than the number of object background motion vectors corresponding to the object background range, the trend analysis unit determines the foreground motion trend of the object foreground motion vectors corresponding to the object foreground range. calculate. The update section is connected to the trend analysis section and the comparison section. The update unit is configured to update the object selection range in the current image according to a foreground motion trend of an object foreground motion vector corresponding to the object foreground range or a background motion trend of a background motion vector corresponding to the background range. .
以下の発明を実施するための形態では、説明を目的として、開示している実施形態についての完全な理解をもたらすために、多数の具体的な詳細事項を記載している。しかしながら、これらの具体的な詳細事項がなくても１つ又は複数の実施形態が実践され得ることは明らかであろう。他の例では、図面を簡略化するために、周知の構造及び装置が概略的に示されている。 The following detailed description sets forth numerous specific details for purposes of explanation and to provide a thorough understanding of the disclosed embodiments. However, it may be apparent that one or more embodiments may be practiced without these specific details. In other instances, well-known structures and devices are shown schematically in order to simplify the drawings.
一実施形態による、複数の連続画像に対するオブジェクト検出のプロセスを示す図１を参照されたい。これらの連続画像は、画像キャプチャ装置１００によってキャプチャされ、時系列に並べられる。これらの画像の数は制限されていない。図１には、画像ＩＭ０～ＩＭ６の７枚の画像が示されている。以下で述べている連続画像は、一例として画像ＩＭ０～ＩＭ６をキャプチャしたものである。画像ＩＭ０は画像ＩＭ１よりも先にキャプチャされ、画像ＩＭ１は画像ＩＭ２よりも先にキャプチャされ、以下同様となる。画像キャプチャ装置１００は、カメラ、携帯電話、又はタブレットなどの画像キャプチャ機能を有する装置とすることができる。これらの画像ＩＭ０～ＩＭ６は、画像キャプチャ装置１００からリアルタイムで取得され得る一方、画像ＩＭ０～ＩＭ６は、オフラインでストレージ装置又はクラウドストレージセンタからも取得され得る。画像キャプチャ装置１００は、通常、毎秒６０フレーム又は１２０フレームの速度で画像ＩＭ０～ＩＭ６をキャプチャしている。画像キャプチャ装置１００が画像ＩＭ０～ＩＭ６をキャプチャしているとき、この画像キャプチャ装置１００は携帯型又は固定型であり得る。 Please refer to FIG. 1, which illustrates the process of object detection for multiple consecutive images, according to one embodiment. These consecutive images are captured by the image capture device 100 and arranged in chronological order. The number of these images is not limited. FIG. 1 shows seven images IM0 to IM6. The continuous images described below are images IM0 to IM6 captured as an example. Image IM0 is captured before image IM1, image IM1 is captured before image IM2, and so on. Image capture device 100 can be a device with image capture capabilities, such as a camera, a mobile phone, or a tablet. These images IM0-IM6 may be obtained in real time from the image capture device 100, while images IM0-IM6 may also be obtained offline from a storage device or cloud storage center. Image capture device 100 typically captures images IM0-IM6 at a rate of 60 or 120 frames per second. When image capture device 100 is capturing images IM0-IM6, image capture device 100 may be portable or stationary.
画像キャプチャ装置１００が画像ＩＭ０～ＩＭ６をキャプチャした後、画像ＩＭ０～ＩＭ６に対して少なくとも１つのオブジェクトに対するオブジェクト検出を実施して、画像ＩＭ０～ＩＭ６内にそれぞれ位置する少なくとも１つのオブジェクトの位置が取得され得る。画像ＩＭ０～ＩＭ６がキャプチャされているとき、オブジェクトは移動状態又は静止状態にあり得るので、画像ＩＭ０～ＩＭ６のそれぞれにおけるオブジェクトの位置は、同じでもあり得るし、又は異なることもあり得る。オブジェクト検出中、このオブジェクト検出がリアルタイムで実施されるかオフラインで実施されるかにかかわらず、画像ＩＭ０～ＩＭ６のそれぞれが人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）オブジェクト認識アルゴリズムに従って検出される場合、その検出は膨大なコンピューティングリソースを必要とすることになる。 After the image capture device 100 captures the images IM0 to IM6, object detection is performed for at least one object on the images IM0 to IM6, and the position of at least one object located in each of the images IM0 to IM6 is obtained. can be done. Since the object may be moving or stationary when images IMO-IM6 are being captured, the position of the object in each of images IMO-IM6 may be the same or different. During object detection, whether this object detection is performed in real time or offline, if each of images IM0 to IM6 is detected according to an artificial intelligence (AI) object recognition algorithm, the detection would require enormous computing resources.
図１に示すように、本実施形態の連続画像ＩＭ０～ＩＭ６では、オブジェクト認識手順Ｐ１によって検出する必要があるのはこれらの画像の一部のみであり、残りの画像はオブジェクト推定手順Ｐ２によって検出され得る。このオブジェクト認識手順Ｐ１は、ＡＩオブジェクト認識アルゴリズムを用いてオブジェクトのオブジェクト選択範囲を検出するために使用される。例えば、画像ＩＭ０～ＩＭ２には猫の図が含まれており、当該オブジェクトＯＢは、図示された猫の頭部として定義される。本オブジェクト検出方法では、画像ＩＭ０に対してのみオブジェクト認識手順Ｐ１が実施され、これによってオブジェクト選択範囲ＢＸ０が取得される。このオブジェクト選択範囲ＢＸ０は、猫の頭部を１つのボックス内で囲んでいる。このＡＩオブジェクト認識アルゴリズムは、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）アルゴリズム、ｋ近傍分類（ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ：ＫＮＮ）アルゴリズム、又はサポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）アルゴリズムである。 As shown in FIG. 1, in the continuous images IM0 to IM6 of this embodiment, only a part of these images needs to be detected by the object recognition procedure P1, and the remaining images are detected by the object estimation procedure P2. can be done. This object recognition procedure P1 is used to detect an object selection range of an object using an AI object recognition algorithm. For example, images IM0 to IM2 include illustrations of cats, and the object OB is defined as the head of the illustrated cat. In this object detection method, the object recognition procedure P1 is performed only on the image IM0, thereby obtaining the object selection range BX0. This object selection range BX0 surrounds the cat's head within one box. This AI object recognition algorithm is, for example, a convolutional neural network (CNN) algorithm, a k-nearest neighbor classification (KNN) algorithm, or a support vector machine (Support Vector Machine). e: SVM) algorithm.
また、オブジェクト推定手順Ｐ２を使用して、画像ＩＭ１及びＩＭ２内の一部のピクセルの動きベクトルやオプティカルフローを介した、オブジェクトＯＢのオブジェクト選択範囲ＢＸ１、ＢＸ２が推定され、かつ補正される。このオプティカルフローは、１×１ピクセルごとの動きを表している。複数のピクセル（例えば、４×４、４×８、８×８ピクセルなど）の動きは動きベクトルと呼ばれている。この動きベクトルは、ストリーミング画像内の類似のピクセル領域を検出するために使用されることが多い。通常、連続画像ＩＭ１及びＩＭ２内のオブジェクトＯＢの変位量はそれ程変化しないので、オブジェクト推定手順Ｐ２でこの特徴を使用して、オブジェクトＯＢのオブジェクト選択範囲ＢＸ１、ＢＸ２が推定され、かつ修正され得る。画像ＩＭ０に対してオブジェクト認識手順Ｐ１を実施してオブジェクト選択範囲ＢＸ０が取得された後、この画像ＩＭ０のオブジェクト選択範囲ＢＸ０に従って、画像ＩＭ１に対してオブジェクト推定手順Ｐ２が実施され、次いでこの画像ＩＭ１のオブジェクト選択範囲ＢＸ１に従って、画像ＩＭ２に対してオブジェクト推定手順Ｐ２が実施される。画像ＩＭ０～ＩＭ２内のオブジェクトＯＢのオブジェクト選択範囲ＢＸ０、ＢＸ１、ＢＸ２がそれぞれ取得され得、次いでこれらのオブジェクト選択範囲ＢＸ０、ＢＸ１、ＢＸ２に従って画像ＩＭ１～ＩＭ２内のオブジェクトＯＢの位置が把握され得る。以上を踏まえて、画像ＩＭ３～ＩＭ６において、一部の画像ＩＭ３～ＩＭ６に対してオブジェクト認識手順Ｐ１が実施され得、次いで画像ＩＭ３～ＩＭ６のその他に対してオブジェクト推定手順Ｐ２が実施され得る。例えば、画像ＩＭ３及びＩＭ４に対して推定手順Ｐ２が実施され得、画像ＩＭ５に対してオブジェクト認識手順Ｐ１が実施され得、その後画像ＩＭ６に対してオブジェクト推定手順Ｐ２が実施されてもよい。 Furthermore, using the object estimation procedure P2, the object selection ranges BX1 and BX2 of the object OB are estimated and corrected via the motion vectors and optical flows of some pixels in the images IM1 and IM2. This optical flow represents movement for each 1×1 pixel. The motion of multiple pixels (eg, 4x4, 4x8, 8x8 pixels, etc.) is called a motion vector. This motion vector is often used to detect similar pixel regions within streaming images. Since the amount of displacement of the object OB in the consecutive images IM1 and IM2 usually does not change much, this feature can be used in the object estimation procedure P2 to estimate and modify the object selection range BX1, BX2 of the object OB. After object recognition procedure P1 is performed on image IM0 to obtain object selection range BX0, object estimation procedure P2 is performed on image IM1 according to object selection range BX0 of image IM0, and then object estimation procedure P2 is performed on image IM1. An object estimation procedure P2 is performed on the image IM2 according to the object selection range BX1. Object selection ranges BX0, BX1, and BX2 of object OB in images IM0 to IM2 can be obtained, respectively, and then the position of object OB in images IM1 to IM2 can be determined according to these object selection ranges BX0, BX1, and BX2. Based on the above, the object recognition procedure P1 can be performed on some of the images IM3-IM6, and then the object estimation procedure P2 can be performed on the other images IM3-IM6. For example, estimation procedure P2 may be performed on images IM3 and IM4, object recognition procedure P1 may be performed on image IM5, and then object estimation procedure P2 may be performed on image IM6.
両者を比較すると、オブジェクト認識手順Ｐ１が必要とするコンピューティングリソースはより多くなり、オブジェクト推定手順Ｐ２が必要とするコンピューティングリソースはより少なくなる。連続画像ＩＭ０～ＩＭ６では、オブジェクト認識手順Ｐ１とオブジェクト推定手順Ｐ２とが交互に実施されている。このようにして、膨大なコンピューティングリソースを消費することなく、オブジェクト検出を達成することができる。オブジェクト認識手順Ｐ１は、一定の時間間隔ごとに実施することもできるし、一定数の画像ごとに実施することもできる。あるいは、オブジェクト推定手順Ｐ２が実施された後、オブジェクト選択範囲ＢＸ１又はＢＸ２の変位量が大きすぎること、オブジェクト選択範囲ＢＸ１又はＢＸ２のサイズが変化しすぎること、又はオブジェクトＯＢの状態が急変したこと（例えば、静止状態から移動状態へ）が判明した場合、オブジェクト推定手順Ｐ２を実施するステップは、オブジェクト認識手順Ｐ１を実施するステップによって置き換えられ得る。本実施形態のオブジェクト検出方法では、オブジェクト認識手順Ｐ１とオブジェクト推定手順Ｐ２とが交互に実施されている。オブジェクト認識手順Ｐ１を実施する必要があるのは、一部の画像においてのみである（例えば、図１では、画像ＩＭ０に対してオブジェクト認識手順Ｐ１のみが実施される）が、依然として一定レベルの精度を維持することができる。 Comparing the two, the object recognition procedure P1 requires more computing resources, and the object estimation procedure P2 requires fewer computing resources. In the continuous images IM0 to IM6, the object recognition procedure P1 and the object estimation procedure P2 are performed alternately. In this way, object detection can be achieved without consuming huge computing resources. The object recognition procedure P1 can be performed at regular time intervals or for each fixed number of images. Alternatively, after the object estimation procedure P2 is performed, the amount of displacement of the object selection range BX1 or BX2 is too large, the size of the object selection range BX1 or BX2 changes too much, or the state of the object OB suddenly changes ( For example, from a stationary state to a moving state), the step of performing the object estimation procedure P2 may be replaced by the step of performing the object recognition procedure P1. In the object detection method of this embodiment, the object recognition procedure P1 and the object estimation procedure P2 are performed alternately. Although it is necessary to perform the object recognition procedure P1 only on some images (e.g., in Figure 1, only the object recognition procedure P1 is performed on the image IM0), it is still necessary to perform the object recognition procedure P1 at a certain level of accuracy. can be maintained.
一実施形態による、映像に対するオブジェクト検出システム１０００のブロック図を示す図２を参照されたい。オブジェクト検出システム１０００は、受信部１０１と、オブジェクト認識判定部１０２と、オブジェクト認識部１０３と、オブジェクト選択部１０５と、範囲定義部１０６と、比較部１０９と、傾向分析部１１０と、更新部１１１と、精度判定部１１３と、を備える。オブジェクト認識判定部１０２は、受信部１０１、オブジェクト認識部１０３及びオブジェクト選択部１０５に接続されている。範囲定義部１０６は、比較部１０９及びオブジェクト選択部１０５に接続されている。傾向分析部１１０は、範囲定義部１０６、比較部１０９及び更新部１１１に接続されている。精度判定部１１３は、オブジェクト認識部１０３及び更新部１１１に接続されている。受信部１０１は、例えば、画像キャプチャ装置１００から画像ＩＭ０～ＩＭ６を受信したり、ストレージ装置から画像ＩＭ０～ＩＭ６を受信したりしている。オブジェクト認識判定部１０２は、画像ＩＭ０～ＩＭ６のそれぞれに対して、オブジェクト認識手順Ｐ１又はオブジェクト推定手順Ｐ２のいずれかを実施する必要があるかどうかを判定するために使用されている。現在画像は、現在時点でオブジェクト検出が実施されている画像ＩＭ０～ＩＭ６のうちの１つとして定義される。先行画像は、現在画像に先行する画像として定義される。先行時点で、この先行画像は、オブジェクト認識手順Ｐ１を介して検出され、これによって当該オブジェクトのオブジェクト選択範囲が取得され得、あるいはこの先行画像は、オブジェクト推定手順Ｐ２を介して検出され、これによっても当該オブジェクトのオブジェクト選択範囲が取得され得る。同様に、現在時点で、この現在画像は、オブジェクト認識手順Ｐ１を介して検出され、これによって当該オブジェクトのオブジェクト選択範囲が取得され得、あるいはこの現在画像は、オブジェクト推定手順Ｐ２を介して検出され、これによっても当該オブジェクトのオブジェクト選択範囲が取得され得る。 Please refer to FIG. 2, which shows a block diagram of an object detection system 1000 for video, according to one embodiment. The object detection system 1000 includes a receiving section 101, an object recognition determining section 102, an object recognizing section 103, an object selecting section 105, a range defining section 106, a comparing section 109, a trend analyzing section 110, and an updating section 111. and an accuracy determination unit 113. The object recognition determination section 102 is connected to the reception section 101, the object recognition section 103, and the object selection section 105. The range definition section 106 is connected to the comparison section 109 and the object selection section 105. The trend analysis section 110 is connected to the range definition section 106, the comparison section 109, and the update section 111. The accuracy determination section 113 is connected to the object recognition section 103 and the update section 111. The receiving unit 101 receives, for example, images IM0 to IM6 from the image capture device 100 and images IM0 to IM6 from a storage device. The object recognition determining unit 102 is used to determine whether it is necessary to perform either the object recognition procedure P1 or the object estimation procedure P2 for each of the images IM0 to IM6. The current image is defined as one of the images IM0-IM6 on which object detection is currently being performed. A predecessor image is defined as an image that precedes the current image. At a prior point in time, this prior image may be detected via an object recognition procedure P1, whereby an object selection range of the object in question may be obtained, or this prior image may be detected via an object estimation procedure P2, thereby The object selection range of the object can also be obtained. Similarly, at this point in time, this current image may be detected via an object recognition procedure P1, whereby an object selection range of the object in question may be obtained, or this current image may be detected via an object estimation procedure P2. , this also allows the object selection range of the object to be obtained.
図１及び図２に示すように、連続画像ＩＭ０～ＩＭ６において、現在時点では、画像ＩＭ１が現在画像として定義され、画像ＩＭ０が先行画像として定義される。現在時点で、オブジェクト認識判定部１０２は、画像ＩＭ１に対して、オブジェクト認識手順Ｐ１又はオブジェクト推定手順Ｐ２の実施に関する判定を行う。一方、先行時点では、画像ＩＭ０は現在画像として定義され、また、画像ＩＭ１は次画像として定義される。先行時点で、オブジェクト認識判定部１０２は、画像ＩＭ０に対して、オブジェクト認識手順Ｐ１又はオブジェクト推定手順Ｐ２の実施に関する判定を行う。一方、次時点では、画像ＩＭ１は先行画像として定義され、また、画像ＩＭ２は現在画像として定義される。画像ＩＭ２～ＩＭ６の現在画像、先行画像及び次画像は、上記と同様に定義され得るため、その類似点については繰り返さない。 As shown in FIGS. 1 and 2, among the consecutive images IM0 to IM6, at the current point in time, image IM1 is defined as the current image, and image IM0 is defined as the preceding image. At the current point in time, the object recognition determination unit 102 makes a determination regarding implementation of the object recognition procedure P1 or the object estimation procedure P2 on the image IM1. On the other hand, at the previous time point, image IM0 is defined as the current image, and image IM1 is defined as the next image. At the preceding point in time, the object recognition determination unit 102 makes a determination regarding implementation of the object recognition procedure P1 or the object estimation procedure P2 on the image IM0. On the other hand, at the next time point, image IM1 is defined as the previous image, and image IM2 is defined as the current image. The current image, previous image, and next image of images IM2-IM6 may be defined similarly as above, so the similarities will not be repeated.
図１及び図２に示すように、オブジェクト認識部１０３はオブジェクト認識判定部１０２に接続されている。このオブジェクト認識判定部１０２は、画像ＩＭ０～ＩＭ６のそれぞれに対して、オブジェクト認識手順Ｐ１又はオブジェクト推定手順Ｐ２のいずれかを異なる時点で実施する必要があるかどうかを判定している。オブジェクト認識手順Ｐ１を実施する必要のある画像ＩＭ０～ＩＭ６の一部は、このオブジェクト認識手順Ｐ１を実施するためにオブジェクト認識部１０３に送信され、次いでオブジェクトＯＢのオブジェクト選択範囲が取得される。例えば、画像ＩＭ０に対してオブジェクト認識手順Ｐ１を実施する必要がある、即ち、画像ＩＭ０に対してオブジェクト推定手順Ｐ２を実施する必要がないとオブジェクト認識判定部１０２が判定した場合、オブジェクト認識判定部１０２は、画像ＩＭ０をオブジェクト認識部１０３に送信し、次いでオブジェクト認識部１０３は、画像ＩＭ０に対してオブジェクト認識手順Ｐ１を実施して、画像ＩＭ０におけるオブジェクトＯＢのオブジェクト選択範囲ＢＸ０を取得する。例えば、画像ＩＭ１に対してオブジェクト認識手順Ｐ１を実施する必要がない、即ち、画像ＩＭ１に対してオブジェクト推定手順Ｐ２を実施する必要があるとオブジェクト認識判定部１０２が判定した場合、オブジェクト認識判定部１０２は、画像ＩＭ１をオブジェクト選択部１０５に送信し、次いでオブジェクト選択部１０５は、画像ＩＭ１に対してオブジェクト推定手順Ｐ２を実施して、画像ＩＭ１におけるオブジェクトＯＢのオブジェクト選択範囲ＢＸ１を取得する。 As shown in FIGS. 1 and 2, the object recognition section 103 is connected to the object recognition determination section 102. The object recognition determination unit 102 determines whether it is necessary to perform either the object recognition procedure P1 or the object estimation procedure P2 at different times for each of the images IM0 to IM6. A portion of the images IM0 to IM6 on which the object recognition procedure P1 needs to be performed is sent to the object recognition unit 103 in order to perform the object recognition procedure P1, and then the object selection range of the object OB is obtained. For example, if the object recognition determination unit 102 determines that it is necessary to perform the object recognition procedure P1 on the image IM0, that is, it is not necessary to perform the object estimation procedure P2 on the image IM0, the object recognition determination unit 102 transmits the image IM0 to the object recognition unit 103, and then the object recognition unit 103 performs the object recognition procedure P1 on the image IM0 to obtain the object selection range BX0 of the object OB in the image IM0. For example, if the object recognition determination unit 102 determines that it is not necessary to perform the object recognition procedure P1 on the image IM1, that is, it is necessary to perform the object estimation procedure P2 on the image IM1, the object recognition determination unit 102 transmits the image IM1 to the object selection unit 105, and then the object selection unit 105 performs an object estimation procedure P2 on the image IM1 to obtain an object selection range BX1 of the object OB in the image IM1.
オブジェクト選択部１０５、範囲定義部１０６、比較部１０９、傾向分析部１１０、更新部１１１及び精度判定部１１３は、オブジェクト推定手順Ｐ２を実施するために使用されている。これらの構成要素は、独立した個々の装置であってもよく、又は同じ装置にこれらが組み込まれてもよい。これらの構成要素は、例えば、回路、チップ、回路基板、プログラムコード、又は、プログラムコードを記憶するストレージ装置である。以下は、各構成要素の動作について詳述するフローチャートである。 The object selection unit 105, the range definition unit 106, the comparison unit 109, the trend analysis unit 110, the update unit 111, and the accuracy determination unit 113 are used to implement the object estimation procedure P2. These components may be independent individual devices or they may be incorporated into the same device. These components are, for example, circuits, chips, circuit boards, program codes, or storage devices that store program codes. Below is a flowchart detailing the operation of each component.
図２～図１２を参照されたい。図３Ａ～図３Ｂは、一実施形態による、映像に対するオブジェクト検出方法のフローチャートを示す。図４～図１２は、図３のステップを示す。この映像は、例えば、ドライビングレコーダのドライブ映像である。本実施形態では、第１の時点が現在時点として定義されており、また、画像ＩＭ０～ＩＭ６のうち、画像ＩＭ０が現在画像ＩＭ０*として定義されている。ステップＳ１０１で、受信部１０１は図３Ａ及び図４に示すように、第１の時点において、画像ＩＭ０～ＩＭ６のうちＩＭ０を受信する。以下、画像ＩＭ０を現在画像ＩＭ０*と呼んでいる。本ステップでは、受信部１０１は、画像キャプチャ装置１００から、又はストレージ装置若しくはクラウドストレージセンタから現在画像ＩＭ０*を受信してもよい。 Please refer to FIGS. 2-12. 3A-3B illustrate a flowchart of a method for detecting objects on video, according to one embodiment. 4-12 illustrate the steps of FIG. 3. This video is, for example, a drive video from a driving recorder. In this embodiment, the first time point is defined as the current time point, and among the images IM0 to IM6, the image IM0 is defined as the current image IM0 * . In step S101, the receiving unit 101 receives IM0 among images IM0 to IM6 at a first time point, as shown in FIGS. 3A and 4. Hereinafter, image IM0 will be referred to as current image IM0 * . In this step, the receiving unit 101 may receive the current image IM0 * from the image capture device 100, or from a storage device or a cloud storage center.
次いで、ステップＳ１０２で、オブジェクト認識判定部１０２は、現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要があるかどうかを判定する。現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要がある、即ち「はい」であるとオブジェクト認識判定部１０２が判定した場合、このオブジェクト認識判定部１０２は、現在画像ＩＭ０*をオブジェクト認識部１０３に送信し、本プロセスはステップＳ１０３へと進む。 Next, in step S102, the object recognition determination unit 102 determines whether it is necessary to perform the object recognition procedure P1 on the current image IM0 * . When the object recognition determining unit 102 determines that it is necessary to perform object recognition procedure P1 on the current image IM0 * , that is, “yes”, the object recognition determining unit 102 recognizes the current image IM0 * as an object. 103, and the process proceeds to step S103.
一実施形態では、オブジェクト認識判定部１０２は、所定の許容経過時間に従って、現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要があるかどうかを判定してもよい。この所定の許容経過時間の値はこれに限定されず、ユーザの設定に応じて調整され得る。オブジェクト推定手順Ｐ２が所定の許容経過時間にわたって実施された後、現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要があると判定される。 In one embodiment, the object recognition determination unit 102 may determine whether it is necessary to perform the object recognition procedure P1 on the current image IMO * according to a predetermined allowed elapsed time. The value of this predetermined allowable elapsed time is not limited to this, and can be adjusted according to the user's settings. After the object estimation procedure P2 has been performed for a predetermined allowed elapsed time, it is determined that it is necessary to perform the object recognition procedure P1 on the current image IMO * .
あるいは、別の実施形態では、オブジェクト認識判定部１０２は実行画像の許容数に応じて、現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要があるかどうかを判定してもよい。これらの実行画像の許容数の値はこれに限定されず、ユーザの設定に応じて調整され得る。オブジェクト推定手順Ｐ２で許容数の実行画像が実行された後、現在画像ＩＭ０*に対してオブジェクト認識手順Ｐ１を実施する必要があると判定される。 Alternatively, in another embodiment, the object recognition determination unit 102 may determine whether it is necessary to perform the object recognition procedure P1 on the current image IM0 * , depending on the allowable number of execution images. The value of the permissible number of these execution images is not limited to this, and can be adjusted according to the user's settings. After a permissible number of execution images have been executed in the object estimation procedure P2, it is determined that it is necessary to perform the object recognition procedure P1 on the current image IM0 * .
ステップＳ１０３で、オブジェクト認識部１０３は図４に示すように、オブジェクト認識判定部１０２から現在画像ＩＭ０*を受信し、次いでオブジェクト認識手順Ｐ１を実施して、現在画像ＩＭ０*におけるオブジェクト選択範囲ＢＸ０*を取得する。オブジェクト認識部１０３は、ＡＩオブジェクト認識アルゴリズムを用いて、現在画像ＩＭ０*におけるオブジェクトＯＢのオブジェクト選択範囲ＢＸ０*を検出する。ＡＩオブジェクト認識アルゴリズムを用いて、オブジェクト認識部１０３は、現在画像ＩＭ０*内のオブジェクトＯＢを正確に検出し、次いで、現在画像ＩＭ０*（画像ＩＭ０）内のオブジェクトＯＢの位置を把握できるように、オブジェクト選択範囲ＢＸ０*にマークを付すことができる。その後、オブジェクト認識部１０３はステップＳ１０４を実行して、現在画像ＩＭ０*（画像ＩＭ０）におけるオブジェクト選択範囲ＢＸ０*を出力する。本実施形態では、このオブジェクト選択範囲ＢＸ０*は、例えば正方形のオブジェクトボックスである。 In step S103, the object recognition unit 103 receives the current image IM0 * from the object recognition determination unit 102, as shown in FIG . get. The object recognition unit 103 uses an AI object recognition algorithm to detect the object selection range BX0 * of the object OB in the current image IM0 * . Using the AI object recognition algorithm, the object recognition unit 103 accurately detects the object OB in the current image IM0 * , and then grasps the position of the object OB in the current image IM0 * (image IM0). A mark can be added to the object selection range BX0 * . Thereafter, the object recognition unit 103 executes step S104 and outputs the object selection range BX0 * in the current image IM0 * (image IM0). In this embodiment, this object selection range BX0 * is, for example, a square object box.
一実施形態では、オブジェクト認識部１０３は、現在画像ＩＭ０*全体を検出してもよい。あるいは、別の実施形態では、オブジェクト認識部１０３は、現在画像ＩＭ０*から部分画像領域を選択し、次いでこの部分画像領域に対してオブジェクト認識手順Ｐ１を実施してもよい。 In one embodiment, the object recognition unit 103 may detect the entire current image IMO * . Alternatively, in another embodiment, the object recognition unit 103 may select a partial image region from the current image IM0 * and then perform the object recognition procedure P1 on this partial image region.
ステップＳ１０３～Ｓ１０４は、オブジェクト認識手順Ｐ１を実施するために実行され、ステップＳ１０５～Ｓ１１３は、オブジェクト推定手順Ｐ２を実施するために実行される。 Steps S103 to S104 are executed to implement the object recognition procedure P1, and steps S105 to S113 are executed to implement the object estimation procedure P2.
一実施形態では、第２の時点が現在時点として定義されており、第１の時点が先行時点として定義されている。第２の時点は第１の時点よりも後になる。画像ＩＭ０～ＩＭ６のうちの画像ＩＭ１が現在画像ＩＭ１*として定義されており、また、画像ＩＭ０が先行画像として定義されている。ステップＳ１０１～ステップＳ１０２において、受信部１０１は、画像ＩＭ０～ＩＭ６のうち画像ＩＭ１を受信する。以下、画像ＩＭ１を現在画像ＩＭ１*と呼んでいる。オブジェクト認識判定部１０２は、現在画像ＩＭ１*に対してオブジェクト認識手順Ｐ１を実施する必要があるかどうかを判定する。現在画像ＩＭ１*に対してオブジェクト認識手順Ｐ１を実施する必要がない、即ち「いいえ」であるとオブジェクト認識判定部１０２が判定した場合、このオブジェクト認識判定部１０２は、現在画像ＩＭ１*をオブジェクト選択部１０５に送信し、本プロセスはステップＳ１０５へと進む。 In one embodiment, the second point in time is defined as the current point in time and the first point in time is defined as the previous point in time. The second time point is later than the first time point. Image IM1 among images IM0 to IM6 is defined as current image IM1 * , and image IM0 is defined as a preceding image. In steps S101 and S102, the receiving unit 101 receives image IM1 among images IM0 to IM6. Hereinafter, image IM1 will be referred to as current image IM1 * . The object recognition determining unit 102 determines whether it is necessary to perform the object recognition procedure P1 on the current image IM1 * . When the object recognition determining unit 102 determines that there is no need to perform the object recognition procedure P1 on the current image IM1 * , that is, “No”, the object recognition determining unit 102 selects the current image IM1 * as an object. 105, and the process proceeds to step S105.
ステップＳ１０５で、オブジェクト選択部１０５は図５に示すように、オブジェクト認識判定部１０２から現在画像ＩＭ１*を受信し、次いでオブジェクト推定手順Ｐ２を実施する。オブジェクト認識判定部１０２は先行画像（画像ＩＭ０）に従って、現在画像ＩＭ１*におけるオブジェクト選択範囲ＢＸ１*を取得する。図５の左側が先行画像（画像ＩＭ０）であり、図５の右側が現在画像ＩＭ１*（画像ＩＭ１）である。画像ＩＭ０では、先行時点（第１の時点）におけるオブジェクトＯＢのオブジェクト選択範囲ＢＸ０*が範囲指定されている。本ステップでは、現在画像ＩＭ１*におけるオブジェクトＯＢのオブジェクト選択範囲ＢＸ１*は、先行画像（画像ＩＭ０）のオブジェクト選択範囲ＢＸ０*に従って直接的に推定されており、また、ステップＳ１０６～Ｓ１１３を実行して、オブジェクト選択範囲ＢＸ１*が調整される。別の実施形態では、図５の先行画像（画像ＩＭ０）におけるオブジェクト選択範囲ＢＸ０*は、オブジェクト推定手順Ｐ２を実施することによって取得されてもよい。 In step S105, the object selection unit 105 receives the current image IM1 * from the object recognition determination unit 102, as shown in FIG. 5, and then performs the object estimation procedure P2. The object recognition determination unit 102 obtains the object selection range BX1 * in the current image IM1 * according to the preceding image (image IM0). The left side of FIG. 5 is the preceding image (image IM0), and the right side of FIG. 5 is the current image IM1 * (image IM1). In the image IM0, the object selection range BX0 * of the object OB at the preceding time point (first time point) is specified. In this step, the object selection range BX1 * of the object OB in the current image IM1 * is directly estimated according to the object selection range BX0 * of the preceding image (image IM0), and steps S106 to S113 are executed. , object selection range BX1 * is adjusted. In another embodiment, the object selection range BX0 * in the preceding image (image IM0) of FIG. 5 may be obtained by performing an object estimation procedure P2.
次いでステップＳ１０６で、範囲定義部１０６は図６に示すように、現在画像ＩＭ１*内のオブジェクト選択範囲ＢＸ１*をフィルタリングすることにより、背景範囲ＢＧを取得する。本ステップでは、範囲定義部１０６は、例えば、オブジェクト選択範囲ＢＸ１*によってカバーされている範囲（即ち、図６のオブジェクト選択範囲ＢＸ１*の黒塗りされた部分）を除外し、オブジェクト選択範囲ＢＸ１*外の範囲のみを保持する。通常、連続画像ＩＭ０～ＩＭ６では、画像ＩＭ０～ＩＭ６のそれぞれにおける背景範囲ＢＧは変化しないことが多い（又は、動き変化量が少ない）。この背景範囲ＢＧに動き変化があったとしても、その変化は動的変位に基づくものではなく、画像キャプチャ装置１００の動きによって生じる受動的変位に基づくものであることが多い。このオブジェクトＯＢは、動的変位をより生じやすい。ステップＳ１０６でオブジェクト選択範囲ＢＸ１*を除去した後、背景範囲ＢＧの受動的変位の解析が実施され得る。 Next, in step S106, the range definition unit 106 obtains the background range BG by filtering the object selection range BX1 * in the current image IM1 * , as shown in FIG. In this step, the range definition unit 106, for example, excludes the range covered by the object selection range BX1 * (that is, the blacked out part of the object selection range BX1 * in FIG. 6), and excludes the range covered by the object selection range BX1 * . Keep only the outer range. Usually, in the continuous images IM0 to IM6, the background range BG in each of the images IM0 to IM6 often does not change (or the amount of change in motion is small). Even if there is a movement change in this background range BG, the change is often not based on dynamic displacement but on passive displacement caused by the movement of image capture device 100. This object OB is more prone to dynamic displacement. After removing the object selection range BX1 * in step S106, an analysis of the passive displacement of the background range BG may be performed.
次いで、ステップＳ１０７で、傾向分析部１１０は図７及び図８に示すように、現在画像ＩＭ１*における背景範囲ＢＧに対応する複数の背景動きベクトルＭＶｂの背景動き傾向ＴＤｂを、多数決アルゴリズム、投票アルゴリズム、線形回帰アルゴリズム、又は補間アルゴリズムを用いて算出する。現在画像ＩＭ１*の背景動きベクトルＭＶｂは、現在画像ＩＭ１*と先行画像との間の背景範囲ＢＧに対応するピクセルの動きベクトル、即ち、背景範囲ＢＧにおけるオプティカルフローの変位量である。背景動き傾向ＴＤｂは、背景範囲ＢＧに対応するオプティカルフローの変位量の傾向である。図７の実施例では、現在画像ＩＭ１*の背景範囲ＢＧには、看板Ｂ１、衝突防止バーＢ２、などの固定オブジェクトの画像が含まれている。現在画像ＩＭ１*における背景範囲ＢＧの受動的変位は、主として画像キャプチャ装置１００が前進することに起因しているため、現在画像ＩＭ１*の背景動きベクトルＭＶｂは、一定の変化傾向を有する。図８に示すように、現在画像ＩＭ１*の背景範囲ＢＧに対応する背景動きベクトルＭＶｂの変位量を、Ｘ軸方向（例えば、現在画像ＩＭ１*の水平方向）に示す。図８を参照すると、変位量の変化傾向が求められ得る。傾向分析部１１０は、背景動きベクトルＭＶｂに従って、Ｘ軸方向におけるオプティカルフローの変位量に対応する変位量傾向線を生成することができる。この変位量傾向線は、背景動き傾向ＴＤｂである。この背景動き傾向ＴＤｂは、複数の二次元座標値を含む。第１の寸法値は、現在画像ＩＭ１*におけるＸ軸方向の位置点を表し、また、第２の寸法値は、オブジェクトＯＢのオブジェクト選択範囲ＢＸ１*を調整する際の、その後の調整量を表す。一方、背景動きベクトルＭＶｂも、Ｙ軸方向（例えば、現在画像ＩＭ１*の垂直方向）に一定の変化傾向を有する。傾向分析部１１０は、ここには図示されていない背景動きベクトルＭＶｂに従って、Ｙ軸方向におけるオプティカルフローの変位量に対応する別の背景動き傾向を生成することができる。 Next, in step S107, as shown in FIGS. 7 and 8, the trend analysis unit 110 calculates the background motion trend TDb of the plurality of background motion vectors MVb corresponding to the background range BG in the current image IM1 * using a majority algorithm or a voting algorithm. , a linear regression algorithm, or an interpolation algorithm. The background motion vector MVb of the current image IM1 * is a motion vector of pixels corresponding to the background range BG between the current image IM1 * and the preceding image, that is, the amount of displacement of optical flow in the background range BG. The background movement tendency TDb is a tendency of the displacement amount of the optical flow corresponding to the background range BG. In the example of FIG. 7, the background range BG of the current image IM1 * includes images of fixed objects such as a signboard B1 and a collision prevention bar B2. Since the passive displacement of the background range BG in the current image IM1 * is mainly caused by the image capture device 100 moving forward, the background motion vector MVb of the current image IM1 * has a certain tendency to change. As shown in FIG. 8, the amount of displacement of the background motion vector MVb corresponding to the background range BG of the current image IM1 * is shown in the X-axis direction (for example, in the horizontal direction of the current image IM1 * ). Referring to FIG. 8, a change trend in the amount of displacement can be determined. The trend analysis unit 110 can generate a displacement trend line corresponding to the displacement amount of the optical flow in the X-axis direction according to the background motion vector MVb. This displacement amount trend line is the background movement trend TDb. This background movement tendency TDb includes a plurality of two-dimensional coordinate values. The first dimension value represents the position point in the X-axis direction in the current image IM1 * , and the second dimension value represents the subsequent adjustment amount when adjusting the object selection range BX1 * of the object OB. . On the other hand, the background motion vector MVb also has a certain tendency to change in the Y-axis direction (for example, in the vertical direction of the current image IM1 * ). The trend analysis unit 110 can generate another background motion trend corresponding to the amount of displacement of the optical flow in the Y-axis direction, according to the background motion vector MVb, which is not shown here.
傾向分析部１１０は、背景動きベクトルＭＶｂをデフォルトの外れ値と比較して、背景動きベクトルＭＶｂのうちでこのデフォルトの外れ値以上となる一部を除外することができる。背景動きベクトルＭＶｂのうちの１つがデフォルトの外れ値以上であった場合、この背景動きベクトルＭＶｂの変位量が背景動きベクトルＭＶｂのうちの他のものと比較して、より大きくなっていることを意味する。このデフォルトの外れ値の値は、ユーザ設定に応じて調整され得る。傾向分析部１１０は、デフォルトの外れ値よりも小さい背景動きベクトルＭＶｂに従って、背景範囲ＢＧに対応する背景動きベクトルＭＶｂの背景動き傾向ＴＤｂを算出し、これによって、前景動き傾向ＴＤｂを算出する際の精度を高めるようにしている。 The trend analysis unit 110 can compare the background motion vector MVb with a default outlier and exclude a portion of the background motion vector MVb that is greater than or equal to the default outlier. If one of the background motion vectors MVb is greater than or equal to the default outlier, this indicates that the displacement amount of this background motion vector MVb is larger than the other background motion vectors MVb. means. This default outlier value may be adjusted according to user settings. The trend analysis unit 110 calculates the background motion trend TDb of the background motion vector MVb corresponding to the background range BG according to the background motion vector MVb smaller than the default outlier, and thereby calculates the background motion trend TDb when calculating the foreground motion trend TDb. I'm trying to improve accuracy.
一実施形態では、背景範囲ＢＧは図９に示すように、空、建物、道路及び他の背景を含んでいてもよい。傾向分析部１１０は、個々の背景に応じて背景範囲ＢＧをいくつかの背景範囲ブロックＢＫへとトリミングし、次いで背景範囲ブロックＢＫのそれぞれについて対応する背景動きベクトルＭＶｂを求めることができる。次いで、傾向分析部１１０は、それぞれの背景動きベクトルＭＶｂに従って、対応する背景動き傾向を生成する。図９は、４つの背景範囲ブロックＢＫの一例を示す。 In one embodiment, the background range BG may include the sky, buildings, roads, and other backgrounds, as shown in FIG. The trend analysis unit 110 can trim the background range BG into several background range blocks BK according to the individual backgrounds, and then determine the corresponding background motion vector MVb for each of the background range blocks BK. The trend analysis unit 110 then generates a corresponding background motion trend according to each background motion vector MVb. FIG. 9 shows an example of four background range blocks BK.
次いで、ステップＳ１０８で、範囲定義部１０６は図１０に示すように、オブジェクト選択範囲ＢＸ１*に対応する複数の選択範囲動きベクトルＭＶと、背景範囲ＢＧに対応する背景動きベクトルＭＶｂとの複数の類似度を比較し、これによって、オブジェクト選択範囲ＢＸ１*内のオブジェクト前景範囲ＦＮ及びオブジェクト背景範囲ＢＮを取得するようにしている。これら選択範囲動きベクトルＭＶのそれぞれは、現在画像ＩＭ１*と先行画像との間のオブジェクト選択範囲ＢＸ１*内の各ピクセルに対応する動きベクトル、即ち、オブジェクト選択範囲ＢＸ１*における各オプティカルフローの変位量を表す。詳細には、オブジェクト選択範囲ＢＸ１*に対応する選択範囲動きベクトルＭＶと、背景範囲ＢＧに対応する背景動きベクトルＭＶｂとの類似度を比較する際に、選択範囲動きベクトルＭＶのうちの少なくとも１つがこの背景動きベクトルＭＶｂの背景動き傾向ＴＤｂと類似していない場合、範囲定義部１０６は、この少なくとも１つの選択範囲動きベクトルＭＶをオブジェクト前景動きベクトルＭＶｆとして定義する。オブジェクト選択範囲ＢＸ１*における少なくとも１つのオブジェクト前景動きベクトルＭＶｆの範囲は、オブジェクト前景範囲ＦＮとして定義される。一方、オブジェクト選択範囲ＢＸ１*におけるオブジェクト前景動きベクトルＭＶｆの範囲によってカバーされない残りの範囲は、オブジェクト背景範囲ＢＮとして定義され得る。このオブジェクト背景範囲ＢＮは、複数のオブジェクト背景動きベクトルＭＶｂ２を含む。これらのオブジェクト背景動きベクトルＭＶｂ２は、その比較結果が 「類似している」 選択範囲動きベクトルＭＶの一部である。 Next, in step S108, as shown in FIG. 10, the range definition unit 106 determines a plurality of similarities between the plurality of selection range motion vectors MV corresponding to the object selection range BX1 * and the background motion vector MVb corresponding to the background range BG. The object foreground range FN and object background range BN within the object selection range BX1 * are obtained. Each of these selection range motion vectors MV is a motion vector corresponding to each pixel within the object selection range BX1 * between the current image IM1 * and the previous image, that is, the displacement amount of each optical flow in the object selection range BX1 *. represents. Specifically, when comparing the degree of similarity between the selection range motion vector MV corresponding to the object selection range BX1 * and the background motion vector MVb corresponding to the background range BG, at least one of the selection range motion vectors MV is If the background motion vector MVb is not similar to the background motion trend TDb, the range definition unit 106 defines the at least one selection range motion vector MV as an object foreground motion vector MVf. The range of at least one object foreground motion vector MVf in the object selection range BX1 * is defined as the object foreground range FN. On the other hand, the remaining range not covered by the range of the object foreground motion vector MVf in the object selection range BX1 * may be defined as the object background range BN. This object background range BN includes a plurality of object background motion vectors MVb2. These object background motion vectors MVb2 are part of the selection range motion vectors MV whose comparison results are "similar".
図１０の実施例では、現在画像ＩＭ１*のオブジェクト選択範囲ＢＸ１*には、衝突防止バーＢ２及びオブジェクトＯＢが含まれている。衝突防止バーＢ２は受動的変位を有し、オブジェクトＯＢは動的変位を有する。オブジェクト選択範囲ＢＸ１*内の衝突防止バーＢ２及び背景範囲ＢＧは受動的変位を有するので、範囲定義部１０６は、オブジェクト選択範囲ＢＸ１*に対応する選択範囲動きベクトルＭＶと、背景動きベクトルＭＶｂの背景動き傾向ＴＤｂとを比較し、これによって、背景動きベクトルＭＶｂと類似していないオブジェクト前景動きベクトルＭＶｆを検出することができる。背景動きベクトルＭＶｂと類似している選択範囲動きベクトルＭＶの一部は、オブジェクト背景動きベクトルＭＶｂ２として定義され得る。このようにして、オブジェクト選択範囲ＢＸ１*において、背景動きベクトルＭＶｂと類似していない選択範囲動きベクトルＭＶの一部（即ち、オブジェクト前景動きベクトルＭＶｆ）を使用して、オブジェクト前景範囲ＦＮが定義され得る。図１０の右側に示すように、オブジェクト前景範囲ＦＮは、オブジェクト選択範囲ＢＸ１*内に位置している。オブジェクト選択範囲ＢＸ１*は、オブジェクト前景範囲ＦＮを含む。オブジェクト選択範囲ＢＸ１*によってカバーされている範囲は、オブジェクト前景範囲ＦＮによってカバーされている範囲よりも大きい。 In the example of FIG. 10, the object selection range BX1 * of the current image IM1 * includes the collision prevention bar B2 and the object OB. The anti-collision bar B2 has a passive displacement and the object OB has a dynamic displacement. Since the collision prevention bar B2 and the background range BG in the object selection range BX1 * have passive displacement, the range definition unit 106 defines the selection range motion vector MV corresponding to the object selection range BX1 * and the background of the background motion vector MVb. The motion trend TDb is compared with the object foreground motion vector MVf which is dissimilar to the background motion vector MVb. The part of the selection motion vector MV that is similar to the background motion vector MVb may be defined as the object background motion vector MVb2. In this way, in the object selection range BX1 * , the object foreground range FN is defined using the part of the selection range motion vector MV that is dissimilar to the background motion vector MVb (i.e., the object foreground motion vector MVf). obtain. As shown on the right side of FIG. 10, the object foreground range FN is located within the object selection range BX1 * . The object selection range BX1 * includes the object foreground range FN. The range covered by object selection range BX1 * is larger than the range covered by object foreground range FN.
一実施形態では、範囲定義部１０６は、背景範囲ＢＧに対応する背景動きベクトルＭＶｂと、この背景動きベクトルＭＶｂから生成される背景動き傾向ＴＤｂとを比較することもできる。背景動きベクトルＭＶｂのうちの少なくとも１つが背景動き傾向ＴＤｂと類似していない場合、範囲定義部１０６は、この少なくとも１つの背景動きベクトルＭＶｂを選択して、新規のオブジェクト選択範囲ＢＸＮを取得する。この新規のオブジェクト選択範囲ＢＸＮは、現在画像ＩＭ１*内の新規のオブジェクトを示す。このオブジェクトは先行画像内にまだ出現していないか、又は先行画像内に完全には出現していないため、オブジェクト認識手順Ｐ１又はオブジェクト推定手順Ｐ２を用いてもこのオブジェクトが検出され得ず、したがって、このオブジェクトもここには図示されていない。 In one embodiment, the range definition unit 106 can also compare the background motion vector MVb corresponding to the background range BG and the background motion trend TDb generated from this background motion vector MVb. If at least one of the background motion vectors MVb is not similar to the background motion trend TDb, the range definition unit 106 selects this at least one background motion vector MVb to obtain a new object selection range BXN. This new object selection range BXN indicates a new object within the current image IM1 * . Since this object has not yet appeared in the previous image or has not completely appeared in the previous image, this object cannot be detected using object recognition procedure P1 or object estimation procedure P2, and therefore , this object is also not shown here.
その後、図３Ｂに示すように、ステップＳ１０９で比較部１０９は、現在画像ＩＭ１*において、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの数と、オブジェクト背景範囲ＢＮに対応するオブジェクト背景動きベクトルＭＶｂ２の数とを比較する。オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの数がオブジェクト背景範囲ＢＮに対応するオブジェクト背景動きベクトルＭＶｂ２の数よりも多い場合、本プロセスはステップＳ１１０へと進み、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの数がオブジェクト背景範囲ＢＮに対応するオブジェクト背景動きベクトルＭＶｂ２の数よりも少ない場合、本プロセスはステップＳ１１２へと進む。オブジェクト前景動きベクトルＭＶｆのそれぞれは、現在画像ＩＭ１*と先行画像との間のオブジェクト前景範囲ＦＮ内の各ピクセルに対応する動きベクトルを表し、これは即ち、オブジェクト前景範囲ＦＮにおける各オプティカルフローの変位量を表す。例えば、図１０の右側に示すように、オブジェクト選択範囲ＢＸ１*は、オブジェクト前景範囲ＦＮ及びオブジェクト背景範囲ＢＮを含む。選択範囲動きベクトルＭＶは、オブジェクト前景動きベクトルＭＶｆ及びオブジェクト背景動きベクトルＭＶｂ２を含む。オブジェクト前景動きベクトルＭＶｆはオブジェクト前景範囲ＦＮ内に位置し、オブジェクト背景動きベクトルＭＶｂ２はオブジェクト背景範囲ＢＮ内に位置し、かつオブジェクト前景範囲ＦＮの外側にある。 Thereafter, as shown in FIG. 3B, in step S109, the comparison unit 109 calculates, in the current image IM1 * , the number of object foreground motion vectors MVf corresponding to the object foreground range FN and the number of object background motion vectors corresponding to the object background range BN. Compare with the number of MVb2. If the number of object foreground motion vectors MVf corresponding to the object foreground range FN is greater than the number of object background motion vectors MVb2 corresponding to the object background range BN, the process proceeds to step S110 and the number of object foreground motion vectors MVf corresponding to the object foreground range FN is If the number of object foreground motion vectors MVf is less than the number of object background motion vectors MVb2 corresponding to the object background range BN, the process proceeds to step S112. Each of the object foreground motion vectors MVf represents a motion vector corresponding to each pixel in the object foreground range FN between the current image IM1 * and the previous image, which means that the displacement of each optical flow in the object foreground range FN represents quantity. For example, as shown on the right side of FIG. 10, the object selection range BX1 * includes an object foreground range FN and an object background range BN. The selection range motion vector MV includes an object foreground motion vector MVf and an object background motion vector MVb2. The object foreground motion vector MVf is located within the object foreground range FN, and the object background motion vector MVb2 is located within the object background range BN and outside the object foreground range FN.
ステップＳ１１０で、傾向分析部１１０は、現在画像ＩＭ１＊において、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの前景動き傾向ＴＤｆを算出する。この前景動き傾向ＴＤｆは、オブジェクト前景範囲ＦＮに対応するオプティカルフローの変位量を示す変位量の傾向である。本ステップでは、オブジェクト前景動きベクトルＭＶｆがオブジェクト選択範囲ＢＸ１における過半数であると傾向分析部１１０が判定するので、オブジェクトＯＢが動的変位を有することが立証され得る。したがって、オブジェクト選択範囲ＢＸ１における受動的変位（即ち、オブジェクト選択範囲ＢＸ１における背景範囲ＢＧに対応する背景動きベクトルＭＶｂ）はノイズと見なされて、フィルタリングされ得る。前景動き傾向ＴＤｆを算出する際に、傾向分析部１１０が必要とするのは、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆを考慮することのみになる。 In step S110, the trend analysis unit 110 calculates the foreground movement trend TDf of the object foreground motion vector MVf corresponding to the object foreground range FN in the current image IM1*. This foreground movement tendency TDf is a tendency of the amount of displacement indicating the amount of displacement of the optical flow corresponding to the object foreground range FN. In this step, since the trend analysis unit 110 determines that the object foreground motion vector MVf is the majority in the object selection range BX1, it can be proven that the object OB has a dynamic displacement. Therefore, the passive displacement in the object selection range BX1 (ie, the background motion vector MVb corresponding to the background range BG in the object selection range BX1) can be considered as noise and filtered. When calculating the foreground motion trend TDf, the trend analysis unit 110 only needs to consider the object foreground motion vector MVf corresponding to the object foreground range FN.
現在画像ＩＭ１*内のオブジェクト前景動きベクトルＭＶｆのＸ軸方向における変位量を示す図１１を参照されたい。この図１１から、変位量の変化傾向が把握され得る。傾向分析部１１０は、オブジェクト前景動きベクトルＭＶｆに従って、Ｘ軸方向におけるオプティカルフローの変位量に対応する変位量傾向線を生成することができる。この変位量傾向線は、前景動き傾向ＴＤｆである。この前景動き傾向ＴＤｆは、複数の二次元座標値を含む。第１の寸法値は、現在画像ＩＭ１*におけるＸ軸方向の位置点を表す。第２の寸法値は、オブジェクトＯＢのオブジェクト選択範囲ＢＸ１*を調整する際に、Ｘ軸方向の位置点に対して調整が必要な変位量を表す。一方、オブジェクト前景動きベクトルＭＶｆも、Ｙ軸方向に一定の変化傾向を有する。傾向分析部１１０は、ここには図示されていない背景動きベクトルＭＶｂに基づいて、Ｙ軸方向におけるオプティカルフローの変位量に対応する別の前景動き傾向を生成することができる。傾向分析部１１０は、Ｘ軸方向及びＹ軸方向に対応するオブジェクト前景動きベクトルＭＶｆの変位量の変化傾向に従って、前景動き傾向ＴＤｆを算出することができる。 Please refer to FIG. 11, which shows the amount of displacement of the object foreground motion vector MVf in the current image IM1 * in the X-axis direction. From this FIG. 11, it is possible to grasp the change tendency of the displacement amount. The trend analysis unit 110 can generate a displacement trend line corresponding to the displacement amount of the optical flow in the X-axis direction according to the object foreground motion vector MVf. This displacement amount trend line is the foreground movement trend TDf. This foreground movement tendency TDf includes a plurality of two-dimensional coordinate values. The first dimension value represents a position point in the X-axis direction in the current image IM1 * . The second dimension value represents the amount of displacement that needs to be adjusted with respect to the position point in the X-axis direction when adjusting the object selection range BX1 * of the object OB. On the other hand, the object foreground motion vector MVf also has a certain tendency to change in the Y-axis direction. The trend analysis unit 110 can generate another foreground motion trend corresponding to the amount of displacement of the optical flow in the Y-axis direction based on the background motion vector MVb, which is not shown here. The trend analysis unit 110 can calculate the foreground movement trend TDf according to the change trend of the displacement amount of the object foreground motion vector MVf corresponding to the X-axis direction and the Y-axis direction.
一実施形態では、この傾向分析部１１０は、多数決アルゴリズム、投票アルゴリズム、線形回帰アルゴリズム、又は補間アルゴリズムを用いて、オブジェクト前景範囲ＦＮに対応する動きベクトルＭＶｆの前景動き傾向ＴＤｆを算出する。 In one embodiment, the trend analysis unit 110 uses a majority voting algorithm, a voting algorithm, a linear regression algorithm, or an interpolation algorithm to calculate the foreground motion trend TDf of the motion vector MVf corresponding to the object foreground range FN.
別の実施形態では、傾向分析部１１０は、オブジェクト前景動きベクトルＭＶｆをデフォルトの外れ値と比較して、前景動きベクトルＭＶｆのうちでこのデフォルトの外れ値以上となる一部を除外してもよい。オブジェクト前景動きベクトルＭＶｆのうちの１つがデフォルトの外れ値以上であった場合、この前景動きベクトルＭＶｆの変位量が前景動きベクトルＭＶｆのうちの他のものと比較して、より大きくなっていることを意味する。このデフォルトの外れ値は、ユーザ設定に応じて調整され得る。傾向分析部１１０は、デフォルトの外れ値よりも小さいオブジェクト前景動きベクトルＭＶｆに従って、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの前景動き傾向ＴＤｆを算出し、これによって、前景動き傾向を算出する際の精度を高めるようにしている。 In another embodiment, the trend analysis unit 110 may compare the object foreground motion vector MVf with a default outlier and exclude a portion of the foreground motion vector MVf that is greater than or equal to the default outlier. . If one of the object foreground motion vectors MVf is equal to or greater than the default outlier, the amount of displacement of this foreground motion vector MVf is larger than that of the other foreground motion vectors MVf. means. This default outlier may be adjusted according to user settings. The trend analysis unit 110 calculates the foreground movement trend TDf of the object foreground motion vector MVf corresponding to the object foreground range FN according to the object foreground motion vector MVf that is smaller than the default outlier, and thereby calculates the foreground movement tendency. We are trying to improve the accuracy.
一実施形態では、傾向分析部１１０は、前景動き傾向ＴＤｆを算出するために、所定の距離範囲条件又はオブジェクトの特性条件に従って、オブジェクト前景動きベクトルＭＶｆの一部を選択してもよい。この所定の距離範囲条件及びオブジェクトの特性条件は、ユーザ設定に応じて調整され得る。例えば、ある画像のオブジェクト前景範囲は、人間の骨格を含んでいてもよい。人間の骨格におけるほとんどのノードは骨格の関節にあり（例えば、手首、肘など）、それらの数は少ないため、手首と肘との間の結合範囲を使用してオブジェクト前景動きベクトルＭＶｆの一部を選択し、これによって、前景動き傾向ＴＤｆを算出することができる。これらのノードの数はオブジェクトの特性条件として定義され得、また、手首と肘との間の結合範囲は、所定の距離範囲条件として定義され得る。 In one embodiment, the trend analysis unit 110 may select a portion of the object foreground motion vector MVf according to a predetermined distance range condition or object characteristic condition to calculate the foreground motion trend TDf. This predetermined distance range condition and object characteristic condition can be adjusted according to user settings. For example, the object foreground range of an image may include a human skeleton. Since most nodes in the human skeleton are located at the joints of the skeleton (e.g. wrist, elbow, etc.) and their number is small, we use the coupling range between the wrist and elbow to form part of the object foreground motion vector MVf. , and thereby the foreground movement tendency TDf can be calculated. The number of these nodes may be defined as a property condition of the object, and the coupling range between the wrist and elbow may be defined as a predetermined distance range condition.
ステップＳ１１０を実行した後、本プロセスはステップＳ１１１へと進む。更新部１１１は、オブジェクト前景範囲ＦＮに対応するオブジェクト前景動きベクトルＭＶｆの前景動き傾向ＴＤｆに従って、現在画像ＩＭ１*のオブジェクト選択範囲ＢＸ１*を更新する。詳細には、更新部１１１は、現在画像ＩＭ１*におけるオブジェクト前景動きベクトルＭＶｆの位置と前景動き傾向ＴＤｆの二次元座標値とを比較して、その位置に対応して調整する必要のある変位量を求める。その後、更新部１１１は、その変位量に応じて位置を移動させることで、オブジェクトＯＢのオブジェクト選択範囲ＢＸ１*の最終位置を求めることができる。図１２に示すように、更新されたオブジェクト選択範囲ＢＸ１*は、前景動き傾向ＴＤｆに従って右方に移動している。更新部１１１は、オブジェクト前景範囲ＦＮ内の座標点Ｃ（４、３）を、図１１の前景動き傾向ＴＤｆにマッピングする。Ｘ軸方向の位置点が４であるため、更新部１１１は前景動き傾向ＴＤｆ上の座標点Ｐ（４、５）に従って、位置点４の調整に必要となる変位量が５であると判定する。その結果、更新部１１１は、座標点Ｃ（４、３）を座標点Ｃ’（９、３）へと移動させ、次いでオブジェクト前景範囲ＦＮ内の他の位置点（Ｘ軸方向及びＹ軸方向を含む）も、上記の類推に従う。更新部１１１はこのようにして、現在画像ＩＭ１*のオブジェクト選択範囲ＢＸ１*を更新する。更新部１１１は、現在画像ＩＭ１*内のオブジェクトＯＢの位置を示すために、現在画像ＩＭ１*内で動的に変位させたオブジェクトＯＢに対して正確にラベル付けすることができる。 After performing step S110, the process proceeds to step S111. The updating unit 111 updates the object selection range BX1 * of the current image IM1 * according to the foreground motion trend TDf of the object foreground motion vector MVf corresponding to the object foreground range FN. Specifically, the updating unit 111 compares the position of the object foreground motion vector MVf in the current image IM1 * with the two-dimensional coordinate value of the foreground movement tendency TDf, and calculates the amount of displacement that needs to be adjusted in accordance with the position. seek. Thereafter, the updating unit 111 can determine the final position of the object selection range BX1 * of the object OB by moving the position according to the amount of displacement. As shown in FIG. 12, the updated object selection range BX1 * has moved to the right according to the foreground movement tendency TDf. The updating unit 111 maps the coordinate point C (4, 3) within the object foreground range FN to the foreground movement trend TDf in FIG. 11 . Since the position point in the X-axis direction is 4, the updating unit 111 determines that the amount of displacement necessary for adjusting position point 4 is 5 according to the coordinate point P (4, 5) on the foreground movement tendency TDf. . As a result, the update unit 111 moves the coordinate point C (4, 3) to the coordinate point C' (9, 3), and then moves the coordinate point C (4, 3) to the coordinate point C' (9, 3), and then moves the coordinate point C (4, 3) to the coordinate point C' (9, 3), and then moves the coordinate point C (4, 3) to the coordinate point C' (9, 3), and then moves the coordinate point C (4, 3) to the coordinate point C' (9, ) also follow the above analogy. In this way, the updating unit 111 updates the object selection range BX1 * of the current image IM1 * . The updating unit 111 may accurately label the dynamically displaced object OB within the current image IM1 * to indicate the position of the object OB within the current image IM1 * .
ステップＳ１０９で、オブジェクト前景動きベクトルＭＶｆがオブジェクト選択範囲ＢＸ１における過半数ではない場合、オブジェクト選択範囲ＢＸ１内のオブジェクトＯＢも固定オブジェクトである（例えば、当該車両は停止状態にある）ことを意味するため、本プロセスはステップＳ１１２へと進む。ステップＳ１１２で、更新部１１１は、背景範囲ＢＧに対応する背景動きベクトルＭＶｂの背景動き傾向ＴＤｂに従って、現在画像ＩＭ１のオブジェクト選択範囲ＢＸ１を更新する。本ステップは、上記のステップＳ１１１と同様である。ステップＳ１１１のオブジェクト前景動きベクトルＭＶｆを背景動きベクトルＭＶｂに置き換えており、したがって、これに関する説明は省略する。 In step S109, if the object foreground motion vector MVf is not the majority in the object selection range BX1, this means that the object OB in the object selection range BX1 is also a fixed object (for example, the vehicle is in a stopped state). The process proceeds to step S112. In step S112, the updating unit 111 updates the object selection range BX1 of the current image IM1 according to the background motion trend TDb of the background motion vector MVb corresponding to the background range BG. This step is similar to step S111 above. The object foreground motion vector MVf in step S111 is replaced with the background motion vector MVb, and therefore, a description thereof will be omitted.
ステップＳ１１１又はＳ１１２を実行した後、本プロセスはステップＳ１１３へと進む。ステップＳ１１３で、精度判定部１１３は、オブジェクト選択範囲ＢＸ１*がある精度条件を満たしているかどうかを判定する。この精度条件とは、例えば、オブジェクト選択範囲ＢＸ１*の位置変化が所定の程度未満となる必要があること、オブジェクト選択範囲ＢＸ１*の面積変化が所定の程度未満となる必要があること、及びオブジェクト前景動きベクトルＭＶｆの変化率が所定の程度未満となる必要があることを指す。この所定の程度は、ユーザ設定に応じて調整され得る。オブジェクト推定手順Ｐ２の結果がこの精度条件を満たすことができない（即ち、上記変化量が所定の程度を超えている）場合、オブジェクト推定手順Ｐ２によって取得されたオブジェクト選択範囲ＢＸ１*は出力されず、代わりにオブジェクト認識手順Ｐ１が実施され、これによってオブジェクト選択範囲ＢＸ１*が取得され、かつ出力される。その一方で、オブジェクト認識部１０３は、現在画像ＩＭ１*において当該精度条件を満たしていない部分に基づいて部分画像領域を選択し、この部分画像領域に基づいて、オブジェクト認識手順Ｐ１を実施することもできる。 After performing step S111 or S112, the process proceeds to step S113. In step S113, the accuracy determining unit 113 determines whether the object selection range BX1 * satisfies a certain accuracy condition. These accuracy conditions include, for example, the change in the position of the object selection range BX1 * needs to be less than a predetermined degree, the change in area of the object selection range BX1 * needs to be less than a predetermined degree, and This indicates that the rate of change of the foreground motion vector MVf needs to be less than a predetermined level. This predetermined degree may be adjusted depending on user settings. If the result of the object estimation procedure P2 cannot satisfy this accuracy condition (that is, the amount of change exceeds a predetermined degree), the object selection range BX1 * obtained by the object estimation procedure P2 is not output, Instead, an object recognition procedure P1 is performed, whereby an object selection range BX1 * is obtained and output. On the other hand, the object recognition unit 103 may select a partial image region based on a portion of the current image IM1 * that does not satisfy the accuracy condition, and perform the object recognition procedure P1 based on this partial image region. can.
オブジェクト選択範囲ＢＸ１が当該精度条件を満たしていない場合には、本プロセスはステップＳ１０３に戻る。オブジェクト認識部１０３は、現在画像ＩＭ１*に対してオブジェクト認識手順Ｐ１を実施することにより、別の新規のオブジェクト選択範囲ＢＸＵを生成し、次いでこの別の新規オブジェクト選択範囲ＢＸＵに従ってオブジェクト推定手順Ｐ２を実施することにより、元のオブジェクト選択範囲ＢＸ１*を更新して置き換えている一方、オブジェクト選択範囲ＢＸ１*が当該精度条件を満たしている場合は、オブジェクト選択範囲ＢＸ１*が出力される。 If the object selection range BX1 does not satisfy the accuracy condition, the process returns to step S103. The object recognition unit 103 generates another new object selection range BXU by performing the object recognition procedure P1 on the current image IM1 * , and then performs the object estimation procedure P2 according to this other new object selection range BXU. By executing this, the original object selection range BX1 * is updated and replaced, and if the object selection range BX1 * satisfies the accuracy condition, the object selection range BX1 * is output.
受信部１０１は、画像ＩＭ１のオブジェクトを追跡した後、第３の時点で連続画像ＩＭ０～ＩＭ６内の画像ＩＭ２を受信する。この時点で、画像ＩＭ２は現在画像として定義され、また、画像ＩＭ１は先行画像として定義される。次いで、本オブジェクト検出システムは、画像ＩＭ２に対してステップＳ１０１～Ｓ１１３を実行する。画像ＩＭ３～ＩＭ６は、類推によって検出され得る。画像ＩＭ３～ＩＭ６のそれぞれにおいて、オブジェクトＯＢのオブジェクト選択範囲を正確に検出することにより、連続画像のオブジェクト検出が完了され得る。 After tracking the object in image IM1, receiving unit 101 receives image IM2 among consecutive images IM0 to IM6 at a third time point. At this point, image IM2 is defined as the current image and image IM1 is defined as the previous image. Next, the present object detection system executes steps S101 to S113 on image IM2. Images IM3-IM6 can be detected by analogy. By accurately detecting the object selection range of object OB in each of images IM3 to IM6, object detection of successive images can be completed.
一実施形態では、本オブジェクト検出方法は、あらゆる不規則形状のオブジェクトに適用され得る。このオブジェクト選択範囲は、例えば、オブジェクトＯＢの先端とすることができる。本出願では、このオブジェクト選択範囲は不規則形状となっている。つまり、オブジェクト選択範囲の形状は限定されるものではなく、ユーザの設定に応じて調整され得る。 In one embodiment, the object detection method may be applied to any irregularly shaped object. This object selection range can be, for example, the tip of the object OB. In this application, this object selection range has an irregular shape. In other words, the shape of the object selection range is not limited and can be adjusted according to the user's settings.
上述した様々な実施形態によれば、オブジェクト認識手順とオブジェクト推定手順とは交互に実施され、その結果、多くのコンピューティングリソースを消費することなく、連続画像におけるオブジェクト検出が一定の精度レベルで維持され得る。このように、ＡＩ技術は、多額のハードウェアコストをかけることなく、連続画像において広く促進され得る。 According to the various embodiments described above, the object recognition procedure and the object estimation procedure are performed alternately, so that object detection in successive images is maintained at a constant level of accuracy without consuming significant computing resources. can be done. In this way, AI techniques can be widely promoted in continuous images without incurring significant hardware costs.
開示している実施形態に対して様々な修正及び変形をなすことが可能であることは、当業者には明らかであろう。本明細書及び実施例は例示としてのみ考慮され、本開示の真の範囲は、以下の特許請求の範囲及びそれらの均等物によって示されることが意図される。 It will be apparent to those skilled in the art that various modifications and variations can be made to the disclosed embodiments. It is intended that the specification and examples be considered as exemplary only, with a true scope of the disclosure being indicated by the following claims and their equivalents.
Claims (24)
前記現在画像内のオブジェクト選択範囲をフィルタリングすることにより、背景範囲を取得するステップと、
前記オブジェクト選択範囲に対応する複数の選択範囲動きベクトルと、前記背景範囲に対応する複数の背景動きベクトルとの複数の類似度を比較し、これによって、前記オブジェクト選択範囲内のオブジェクト前景範囲及びオブジェクト背景範囲を取得するステップであって、
前記オブジェクト前景範囲は、複数のオブジェクト前景動きベクトルを有し、
前記オブジェクト背景範囲は、複数のオブジェクト背景動きベクトルを有する、
ステップと、
前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数と、前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数とを比較するステップと、
前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数が前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数よりも多い場合、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前景動き傾向を算出するステップと、
前記現在画像内の前記オブジェクト選択範囲を、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前記前景動き傾向、又は前記背景範囲に対応する前記背景動きベクトルの背景動き傾向に従って更新するステップと、
を含む、映像に対するオブジェクト検出方法。 receiving a current image of the plurality of consecutive images;
obtaining a background range by filtering an object selection range in the current image;
A plurality of similarities between a plurality of selected range motion vectors corresponding to the object selection range and a plurality of background motion vectors corresponding to the background range are compared, whereby the object foreground range and the object within the object selection range are compared. a step of obtaining a background range,
the object foreground range has a plurality of object foreground motion vectors;
the object background range has a plurality of object background motion vectors;
step and
comparing the number of object foreground motion vectors corresponding to the object foreground range and the number of object background motion vectors corresponding to the object background range;
a foreground motion trend of the object foreground motion vectors corresponding to the object foreground range, if the number of the object foreground motion vectors corresponding to the object foreground range is greater than the number of object background motion vectors corresponding to the object background range; a step of calculating
updating the object selection range in the current image according to the foreground motion trend of the object foreground motion vector corresponding to the object foreground range or the background motion trend of the background motion vector corresponding to the background range;
Object detection method for video including.
前記現在画像に対して前記オブジェクト認識手順を実施する必要がない場合、前記連続画像のうちの先行画像に従って、前記現在画像における前記オブジェクト選択範囲を取得するステップと、
を含む、請求項１に記載の映像に対するオブジェクト検出方法。 determining whether an object recognition procedure needs to be performed on the current image;
if it is not necessary to perform the object recognition procedure on the current image, obtaining the object selection range in the current image according to a preceding image of the successive images;
The method of detecting an object for an image according to claim 1, comprising:
前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数が前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数よりも少ない場合、前記背景動き傾向に従って前記現在画像内の前記オブジェクト選択範囲が更新される、請求項１に記載の映像に対するオブジェクト検出方法。 If the number of object foreground motion vectors corresponding to the object foreground range is greater than the number of object background motion vectors corresponding to the object background range, the object selection range in the current image is updated according to the foreground motion trend. is,
If the number of object foreground motion vectors corresponding to the object foreground range is less than the number of object background motion vectors corresponding to the object background range, the object selection range in the current image is updated according to the background motion trend. 2. The method for detecting an object in a video according to claim 1.
前記オブジェクト選択範囲がある精度条件を満たしているかどうかを判定するステップと、
前記オブジェクト選択範囲が前記精度条件を満たしていない場合には、前記オブジェクト認識手順を実施することにより、前記現在画像内の前記オブジェクト選択範囲を更新するステップと、
をさらに含む、請求項２に記載の映像に対するオブジェクト検出方法。 After performing the step of updating the object selection within the current image, the object detection method comprises:
determining whether the object selection range satisfies a certain accuracy condition;
updating the object selection in the current image by performing the object recognition procedure if the object selection does not meet the accuracy condition;
The method of detecting an object in an image according to claim 2 , further comprising:
前記受信部に接続されている範囲定義部であって、前記範囲定義部が、前記現在画像内のオブジェクト選択範囲をフィルタリングして背景範囲を取得し、かつ前記オブジェクト選択範囲に対応する複数の選択範囲動きベクトルと、前記背景範囲に対応する複数の背景動きベクトルとの複数の類似度を比較し、これによって、前記オブジェクト選択範囲内のオブジェクト前景範囲及びオブジェクト背景範囲を取得するように構成され、
前記オブジェクト前景範囲は、複数のオブジェクト前景動きベクトルを有し、
前記オブジェクト背景範囲は、複数のオブジェクト背景動きベクトルを有する、
範囲定義部と、
前記範囲定義部に接続されている比較部であって、前記比較部が、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数と、前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数とを比較するように構成されている、比較部と、
前記比較部及び前記範囲定義部に接続されている傾向分析部であって、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの数が前記オブジェクト背景範囲に対応する前記オブジェクト背景動きベクトルの数よりも多い場合、前記傾向分析部が、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前景動き傾向を算出する、傾向分析部と、
前記傾向分析部及び前記比較部に接続されている更新部であって、前記更新部が、前記オブジェクト前景範囲に対応する前記オブジェクト前景動きベクトルの前記前景動き傾向、又は前記背景範囲に対応する前記背景動きベクトルの背景動き傾向に従って、前記現在画像内の前記オブジェクト選択範囲を更新するように構成されている、更新部と、
を備える、映像に対するオブジェクト検出システム。 a receiving unit configured to receive a current image of the plurality of consecutive images;
a range definition unit connected to the receiving unit, the range definition unit filtering an object selection range in the current image to obtain a background range, and a plurality of selections corresponding to the object selection range; and configured to compare a plurality of similarities between a range motion vector and a plurality of background motion vectors corresponding to the background range, thereby obtaining an object foreground range and an object background range within the object selection range. ,
the object foreground range has a plurality of object foreground motion vectors;
the object background range has a plurality of object background motion vectors;
A range definition part,
a comparison unit connected to the range definition unit, the comparison unit configured to calculate the number of object foreground motion vectors corresponding to the object foreground range and the number of object background motion vectors corresponding to the object background range; a comparison section configured to compare the
a trend analysis unit connected to the comparison unit and the range definition unit, wherein the number of the object foreground motion vectors corresponding to the object foreground range is greater than the number of the object background motion vectors corresponding to the object background range; a trend analysis unit, where the trend analysis unit calculates a foreground movement trend of the object foreground motion vector corresponding to the object foreground range;
an updating section connected to the trend analysis section and the comparison section, wherein the updating section is configured to update the foreground motion trend of the object foreground motion vector corresponding to the object foreground range, or the foreground movement trend of the object foreground motion vector corresponding to the object foreground range; an updating unit configured to update the object selection in the current image according to a background motion trend of a background motion vector;
An object detection system for images.
前記受信部及び前記オブジェクト認識部に接続されているオブジェクト認識判定部であって、前記オブジェクト認識判定部は、前記現在画像に対して前記オブジェクト認識部が前記オブジェクト認識手順を実施する必要があるかどうかを判定するように構成されている、オブジェクト認識判定部と、
前記オブジェクト認識判定部及び前記範囲定義部に接続されているオブジェクト選択部であって、前記現在画像に対して、前記オブジェクト認識部が前記オブジェクト認識手順を実施する必要がない場合、前記オブジェクト選択部が、前記連続画像のうちの先行画像に従って、前記現在画像における前記オブジェクト選択範囲を取得する、オブジェクト選択部と、
をさらに備える、請求項１３に記載の映像に対するオブジェクト検出システム。 an object recognition unit configured to perform an object recognition procedure;
An object recognition determination unit connected to the reception unit and the object recognition unit, the object recognition determination unit determining whether the object recognition unit needs to perform the object recognition procedure on the current image. an object recognition determination unit configured to determine whether the
an object selection section connected to the object recognition determination section and the range definition section, when the object recognition section does not need to perform the object recognition procedure on the current image; an object selection unit that obtains the object selection range in the current image according to a preceding image among the consecutive images;
The object detection system for images according to claim 13, further comprising:
前記精度判定部に接続されているオブジェクト認識部であって、前記オブジェクト選択範囲が前記精度条件を満たしていない場合には、前記オブジェクト認識部が前記オブジェクト認識手順を実施することにより、前記現在画像内の前記オブジェクト選択範囲を更新する、オブジェクト認識部と、
をさらに備える、請求項１４に記載の映像に対するオブジェクト検出システム。 an accuracy determining unit connected to the updating unit, the accuracy determining unit being configured to determine whether the object selection range satisfies a certain accuracy condition;
An object recognition unit connected to the accuracy determination unit, when the object selection range does not satisfy the accuracy condition, the object recognition unit executes the object recognition procedure to determine whether the current image an object recognition unit that updates the object selection range in the
The object detection system for images according to claim 14 , further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021206538A JP7346535B2 (en) | 2021-12-20 | 2021-12-20 | Object detection method and object detection system for images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021206538A JP7346535B2 (en) | 2021-12-20 | 2021-12-20 | Object detection method and object detection system for images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023091670A JP2023091670A (en) | 2023-06-30 |
| JP7346535B2 true JP7346535B2 (en) | 2023-09-19 |
Family
ID=86941732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021206538A Active JP7346535B2 (en) | 2021-12-20 | 2021-12-20 | Object detection method and object detection system for images |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7346535B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018508078A (en) | 2015-03-12 | 2018-03-22 | クアルコム，インコーポレイテッド | System and method for object tracking |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05227463A (en) * | 1992-02-15 | 1993-09-03 | Sony Corp | Picture processor |
-
2021
- 2021-12-20 JP JP2021206538A patent/JP7346535B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018508078A (en) | 2015-03-12 | 2018-03-22 | クアルコム，インコーポレイテッド | System and method for object tracking |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023091670A (en) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10636164B2 (en) | Object detection method and apparatus based on dynamic vision sensor | |
| US9674442B2 (en) | Image stabilization techniques for video surveillance systems | |
| US8270733B2 (en) | Identifying anomalous object types during classification | |
| CN111798487B (en) | Target tracking method, apparatus and computer readable storage medium | |
| US8630454B1 (en) | Method and system for motion detection in an image | |
| US8270732B2 (en) | Clustering nodes in a self-organizing map using an adaptive resonance theory network | |
| CN110084299B (en) | Target detection method and device based on multi-head fusion attention | |
| CN109033955B (en) | Face tracking method and system | |
| JP2018508078A (en) | System and method for object tracking | |
| JP7438684B2 (en) | Image processing device, image processing method, and program | |
| JP7525990B2 (en) | Main subject determination device, imaging device, main subject determination method, and program | |
| Jiang et al. | A 500-fps pan-tilt tracking system with deep-learning-based object detection | |
| JP7053057B2 (en) | Mobile tracking device and mobile tracking method | |
| JP2020119447A (en) | Image processing system, image processing method, and program | |
| JP2019194758A (en) | Information processing device, information processing method, and program | |
| Delibasoglu et al. | Motion detection in moving camera videos using background modeling and FlowNet | |
| JP7346535B2 (en) | Object detection method and object detection system for images | |
| CN113536901A (en) | Target capturing method and related device | |
| CN111652907B (en) | Multi-target tracking method and device based on data association and electronic equipment | |
| Agarwal et al. | Six object tracking algorithms: A comparative study | |
| EP4198918A1 (en) | Object detection method and object detection system for video | |
| TWI790078B (en) | Object detection method and object detection system for video | |
| JP2008085491A (en) | Image processor, and image processing method thereof | |
| WO2009096208A1 (en) | Object recognition system, object recognition method, and object recognition program | |
| JP5390363B2 (en) | Feature detection device, program for causing computer to execute feature detection, and computer-readable recording medium recording the program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230906 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7346535 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |