JP3612227B2 - Object extracting apparatus - Google Patents

Object extracting apparatus Download PDF

Info

Publication number
JP3612227B2
JP3612227B2 JP189199A JP189199A JP3612227B2 JP 3612227 B2 JP3612227 B2 JP 3612227B2 JP 189199 A JP189199 A JP 189199A JP 189199 A JP189199 A JP 189199A JP 3612227 B2 JP3612227 B2 JP 3612227B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
object
frame
image
background
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP189199A
Other languages
Japanese (ja)
Other versions
JP2000082145A (en )
Inventor
陽子 三本杉
孝 井田
敏明 渡邊
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は画像の物体抽出装置に関し、特に入力動画像から目的とする物体の位置を検出して動物体の追跡/抽出を行う物体抽出装置に関する。 The present invention relates to the object extracting apparatus of the image relates to an object extracting unit that performs tracking / extraction of a moving object by detecting the position of an object of interest, especially from the input moving image.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
従来より、動画像中の物体を追跡/抽出するためのアルゴリズムが考えられている。 Conventionally, it has been proposed algorithms for tracking / extracting an object in a moving image. これは、様々な物体と背景が混在する画像からある物体だけを抽出するための技術である。 This is a technique for extracting only an object from an image in which the various objects and the background are mixed. この技術は、動画像の加工や編集に有用であり、例えば、動画像から抽出した人物を別の背景に合成することなどができる。 This technique is useful for processing and editing of moving images, for example, can such be synthesized a person extracted from the moving image to another background.
【0003】 [0003]
物体抽出に使用される方法としては、時空間画像領域分割(越後、飯作、「ビデオモザイクのための時空間画像領域分割」、1997年電子情報通信学会情報・システムソサイエティ大会、D−12−81、p.273、1997年9月)を利用した領域分割技術が知られている。 The methods used for object extraction, the spatio-temporal image region division (Echigo, rice work, "spatial image region division time for video mosaic", IEICE Information System Society Conference 1997, D-12- 81, p.273, region segmentation technique using a September 1997) is known.
【0004】 [0004]
この時空間画像領域分割を用いた領域分割方法では、動画像の1フレーム内のカラーテクスチャによる小領域の分割を行ない、フレーム間の動きの関係を使ってその領域を併合する。 The area dividing method using the spatio-temporal image region division performs the division of small regions by the color texture in one frame of a moving image, merging the regions with the relation of motion between frames. フレーム内の画像を分割する際には、初期分割を与える必要があり、それによって分割結果が大きく左右されるという問題がある。 When dividing the image in the frame, it is necessary to provide an initial division, there is thereby a problem that the segmentation result is greatly affected. そこで、これを逆に利用して、この時空間画像領域分割を用いた領域分割法では、別のフレームで初期分割を変えて、結果的に異なる分割結果を得て、フレーム間の動きで矛盾する分割を併合するという手法をとっている。 Therefore, by using this Conversely, in a region division method using the spatio-temporal image region division, to obtain by changing the initial split in another frame, resulting in a different division result, inconsistency in motion between frames It has taken the approach of merging the division to be.
【0005】 [0005]
しかし、この手法を動画像中の物体の追跡および抽出にそのまま適用すると、動きベクトルが、目的とする動物体以外の余分な動きに影響されてしまい、信頼度が十分でないことが多く、誤った併合を行なう点が問題となる。 However, when it is applied the method to track and extraction of an object in a moving picture, motion vectors, will be affected by the extra movement other than an animal body for the purpose, often reliability is not sufficient, incorrect that performs merging is problematic.
【0006】 [0006]
また、特開平8−241414号公報には、複数の動物体検出装置を併用した動物体検出・追跡装置が開示されている。 JP-A-8-241414, combination with moving object detecting and tracking apparatus a plurality of moving object detection device is disclosed. この従来の動物体検出・追跡装置は、例えば監視カメラを用いた監視システムなどに用いられるものであり、入力動画像から動物体を検出してその追跡を行う。 The conventional moving object detecting and tracking apparatus is, for example, those used such as surveillance system using a surveillance camera, to detect to the track a moving object from the input moving image. この動物体検出・追跡装置においては、入力動画像は、画像分割部、フレーム間差分型動物体検出部、背景差分型動物体検出部、動物体追跡部にそれぞれ入力される。 In this moving object detecting and tracking apparatus includes an input moving image, the image dividing section, differential-moving object detection unit between frames, the background difference type moving object detection unit, are input to the object tracking unit. 画像分割部では、入力動画像が予め定められた大きさのブロックに分割される。 The image dividing unit, an input video image is divided into blocks of a predetermined size. 分割結果は、フレーム間差分型動物体検出部、および背景差分型動物体検出部にそれぞれ送られる。 Division result is sent Differential moving object detection unit inter-frame, and the background difference type moving object detection unit, respectively. フレーム間差分型動物体検出部では、分割結果毎に、フレーム間差分を用いて入力動画像中の動物体が検出される。 The differential-type moving object detection unit between frames, for each divided result, moving object in the input moving image by using the difference between frames is detected. この場合、フレーム間差分を取る際のフレーム間隔は、動物体の移動速度に影響されずにその動物体を検出できるようにするために、背景差分型動物体検出部の検出結果に基づいて設定される。 Setting this case, the frame interval when taking a difference between frames, in order to be able to detect the moving object without being influenced by the moving speed of the moving object, based on a detection result of the background difference type moving object detection unit It is. 背景差分型動物体検出部では、これまでに入力された動画像を用いて分割結果毎に作成した背景画像と動物体との差分を取ることにより、動物体が検出される。 Background Differential moving object detection unit, by taking the difference between the background image and moving object created for each of the divided results by using the moving image input so far, the animal body is detected. 統合処理部では、フレーム間差分型動物体検出部および背景差分型動物体検出部それぞれの検出結果が統合されて、動物体の動き情報が抽出される。 The integration processing unit, the inter-frame difference type moving object detection unit and the background difference type moving object detection unit of each detection result is integrated, the motion information of a moving object is extracted. 各フレームで物体を抽出した後、動物体追跡部では、フレーム間において対応する動物体同士の対応付けが行われる。 After extracting an object in each frame, the object tracking unit, the association of the corresponding animal bodies between frame.
【0007】 [0007]
この構成においては、フレーム間差分のみならず、背景差分をも用いて動物体の検出を行っているため、フレーム間差分だけを用いる場合に比べ検出精度は高くなる。 In this configuration, not only the difference between frames, because a detection of a moving object by using also the background difference, detection accuracy compared to using only the difference between frames is high. しかし、入力動画像全体を対象としてその画像の中から動きのある物体をフレーム間差分および背景差分によって検出する仕組みであるため、フレーム間差分および背景差分それぞれの検出結果は、目的とする動物体以外の余分な動きに影響されてしまい、背景に複雑な動きがある画像ではうまく目的とする動物体を抽出・追跡できないという問題がある。 However, since the moving objects from the image as for the entire input moving image is a mechanism for detecting by the inter-frame difference and background difference, each frame difference and background difference detection result, animal body for the purpose will be affected extra movement other than, it is impossible to extract and track a moving object to be successfully object in the image that have a complex motion in the background.
【0008】 [0008]
また、別の物体抽出技術としては、複数のフレームを用いてまず背景画像を生成し、その背景画像と入力画像の画素値の差分が大きい領域を物体として抽出する方法も知られている。 As another object extraction technology, first generates a background image by using a plurality of frames, it is also known a method of extracting a region having a large difference from the pixel value of the input image and the background image as an object.
【0009】 [0009]
この背景画像を用いる物体抽出の既存の技術一例が、例えば、特開平8−55222号公報の「移動物体検出装置および背景抽出装置ならびに放置物体検出装置」に開示されている。 Existing techniques an example of object extraction using this background image, for example, disclosed in "moving object detection device and the background extraction device and left object detecting apparatus" of Japanese Patent 8-55222 discloses.
【0010】 [0010]
現処理フレームの画像信号は、1フレーム分の画像を蓄えるフレームメモリ、第1の動き検出手段、第2の動き検出手段、スイッチに入力される。 Image signal of the current processing frame, a frame memory for storing the image for one frame, the first motion detection means, the second motion detection means, are inputted to the switch. フレームメモリからは、1フレーム前の画像信号が読み出され、第1の動き検出手段に入力される。 From the frame memory, the image signal of the immediately previous frame is read out and input to the first motion detection means. 一方、背景画像を保持するために用意されたフレームメモリからは、その時点までに生成されている背景画像信号が読み出され、第2の動き検出手段と、スイッチに入力される。 On the other hand, from the frame memory is provided for holding the background image, the background image signal is read out have been generated up to that point, the second motion detection means, are inputted to the switch. 第1の動き検出手段と第2の動き検出手段では、各々入力される2つの画像信号の差分値などを用いて物体領域および物体領域が抽出され、いずれも論理演算回路に送られる。 In the first motion detection means and the second motion detecting means, the object region and the object region is extracted by using a difference value between two image signals, each input, both sent to the logic operation circuit. 論理演算回路では、入力される2つの画像の論理積がとられ、それが最終的な物体領域として出力される。 The logical operation circuit, a logical product of the two images to be input is taken, it is output as a final object region. また、物体領域は、スイッチにも送られる。 Also, the object region is also sent to the switch. スイッチでは、物体領域によって、物体領域に属する画素については、背景画素信号が選択され、逆に、物体領域に属さない画素については、現処理フレームの画像信号が選択され、上書き信号としてフレームメモリに送られ、フレームメモリの画素値が上書きされる。 The switch by an object region, for the pixels belonging to the object area, a background pixel signal is selected, on the contrary, for the pixels that do not belong to the object region, the image signal of the current processing frame is selected, the frame memory as override signal sent, pixel values ​​of the frame memory is overwritten.
【0011】 [0011]
この手法では、特開平8−55222号公報に示されている様に、処理が進行するにつれて、次第に背景画像が正しくなっていき、やがては、物体が正しく抽出されるようになる。 In this approach, as shown in JP-A-8-55222, as the process progresses, gradually background image will become properly, eventually, so the object is correctly extracted. しかし、動画像シーケンスの初めの部分においては背景画像に物体が混入しているために、物体の抽出精度が悪い。 However, because it is contaminated with an object in the background image in the beginning of the moving picture sequence, poor object extraction accuracy. また、物体の動きが小さい場合には、いつまでたっても、その物体の画像が背景画像の中に残り、抽出精度は高くならない。 Further, when the motion of the object is small, even after forever image of the object remains in the background image, extraction accuracy is not high.
【0012】 [0012]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
上述したように、従来の物体抽出/追跡方法では、入力動画像全体を対象としてその画像の中から動きのある物体を検出する仕組みであるため、目的とする動物体以外の余分な動きに影響を受けてしまい、目的の動物体を精度良く抽出・追跡することができないという問題があった。 As described above, in the conventional object extraction / tracking method, among the image as for the entire input moving image is a mechanism to detect an object in motion, it affects the extra movement other than an animal body for the purpose receiving will be, there is a problem that can not be accurately extracted and tracking a moving object of interest.
【0013】 [0013]
また、背景画像を用いる物体抽出法では、動画像シーケンスの初めの部分において抽出精度が悪く、また、物体の動きが小さい場合には、いつまでも背景画像が完成しないために抽出精度が良くならないという問題点があった。 Also, a problem that the object extraction method using a background image, poor extraction accuracy in the beginning of the moving picture sequence, also when the motion of the object is small, extraction accuracy is not good for the background image is not completed forever there was a point.
【0014】 [0014]
本発明は、目的の物体以外の周囲の余分な動きに影響を受けずにその物体の抽出/追跡を精度良く行うことが可能な動画像の物体抽出装置を提供することを目的とする。 The present invention aims at providing an object extraction device of the moving image that can be accurately extracted / tracking of the object without being affected extra movement around the non-target object.
【0015】 [0015]
また、本発明は、背景画像を精度良く決定できるようにして、物体の動きの大小によらずに、且つ動画像シーケンスの初めの部分も最後の部分と同様に高い抽出精度が得られる物体抽出装置を提供することを目的とする。 Further, the present invention is to allow accurately determine the background image, the object regardless of the magnitude of motion of the object, and also beginning of the moving picture sequence is the last part as well as high extraction accuracy can be obtained extract and to provide a device.
【0016】 [0016]
【課題を解決するための手段】 In order to solve the problems]
本発明は、物体抽出対象となる現フレームと、この現フレームに対し時間的に異なる第1の参照フレームとの差分に基づいて、前記現フレームと前記第1の参照フレームに共通の第1の背景領域を決定し、前記現フレームと、この現フレームに対し時間的に異なる第2の参照フレームとの差分に基づいて、前記現フレームと前記第2の参照フレームに共通の第2の背景領域を決定する背景領域決定手段と、前記現フレームの図形内画像の中で、前記第1の背景領域と前記第2の背景領域のどちらにも属さない領域を、物体領域として抽出する手段と、静止している物体領域を検出する物体静止検出手段とを具備する物体抽出装置を提供する。 The present invention includes a current frame to be the object extraction target, based on the difference between the different first reference frame temporally for this present frame, said common to the current frame first reference frame first determining a background region, said the current frame, based on the difference between the current time to a different second reference frame relative to the frame, a common second background region in the second reference frame and the current frame and a background area determining means for determining, said in figure within the image of the current frame, a region which does not belong to either of the said first background region second background area, it means for extracting as an object region, providing an object extraction apparatus comprising an object still detection means for detecting an object area which is stationary.
【0017】 [0017]
この物体抽出装置においては、物体抽出対象の現フレーム毎に二つの参照フレームが用意され、その現フレームと第1の参照フレームとの間の第1の差分画像により、現フレームと第1の参照フレームとで共通に用いられている第1の共通背景領域が決定され、また現フレームと第2の参照フレームとの間の第2の差分画像により、現フレームと第2の参照フレームとで共通に用いられている第2の共通背景領域が決定される。 In the object extraction apparatus, two reference frames are prepared for each current frame of the object extraction target, a by first difference image, a first reference and the current frames between the current frame and the first reference frame first common background region which is used in common to the frame is determined, and by the second differential image between the current frame and the second reference frame, common to the current frame and the second reference frame second common background region used in the is determined. 第1および第2のどちらの差分画像にも現フレーム上の物体領域が共通に含まれているため、第1の共通背景領域と第2の共通背景領域のどちらにも属さない領域の中で、現フレームの図形内画像に含まれる領域を検出することにより、現フレーム上の物体領域が抽出される。 Since the object region on the current frame in the first and second one of the difference image is included in the common, in the first common background region and either do not belong area of ​​the second common background region , by detecting the area included in the graphic in the image of the current frame, the object region on the current frame is extracted. この物体領域が静止物体に相当する場合には、前の物体領域と現物体領域とに差分が存在しないとき静止物体領域が検出される。 If this object region corresponds to a stationary object, the stationary object region when there is no difference in the previous object region and actual body region is detected.
【0018】 [0018]
このようにして、時間的に異なる参照フレームに基づいて決定された複数の共通背景領域にいずれにも属さない領域を抽出対象物体と決定して物体の追跡を行うことにより、目的の物体以外の周囲の余分な動きに影響を受けずに、目的の物体を精度良く抽出・追跡することが可能となる。 In this way, by performing the tracking of the object to determine the extracted object region that does not belong to any multiple of a common background area determined based on a reference frame temporally different, other than an object of interest without being affected extra movement around, it is possible to accurately extract and track objects of interest.
【0019】 [0019]
また、前記第1および第2の各参照フレームと前記現フレームとの間で背景の動きが相対的に零となるように、前記各参照フレームまたは現フレームの背景の動きを補正する背景補正手段をさらに具備することが好ましい。 Further, wherein the first and second respective reference frames as motion of the background between the current frame is relatively zero, background correction means for correcting the motion of the background of each reference frame or the current frame preferably further comprises a. この背景補正手段を図形設定手段の入力段、あるいは背景領域決定手段の入力段のいずれかに設けることにより、例えばカメラをパンした時などのように背景映像が連続するフレーム間で徐々に変化するような場合であってもそれらフレーム間で背景映像を擬似的に一定にすることができる。 Input stage of figure setting means of this background correction means or by providing any of the input stage of the background area determining means gradually changes between frames background image are continuous, such as when the pan, for example, a camera can be quasi constant background image among the a even those frames when such. よって、現フレームと第1または第2の参照フレームとの差分を取ることによって、それらフレーム間で背景を相殺することが可能となり、背景変化に影響されない共通背景領域検出処理および物体領域抽出処理を行うことができる。 Therefore, by taking the difference between the current frame and the first or second reference frame, it is possible to offset the background between these frames, a common background area detecting process and the object area extracting process is not affected by background change It can be carried out. 背景補正手段は動き補償処理によって実現できる。 Background correction means can be realized by the motion compensation process.
【0020】 [0020]
また、前記背景領域決定手段は、前記現フレームと前記第1または第2の参照フレームとの差分画像の中で、前記現フレームの図形内画像または前記第1または第2の参照フレームの図形内画像に属する領域の輪郭線近傍における各画素の差分値を検出する手段と、前記輪郭線近傍の各画素の差分値を用いて、前記共通の背景領域と判定すべき差分値を決定する手段とを具備し、この決定された差分値を背景/物体領域判定のためのしきい値として使用して、前記差分画像から前記共通の背景領域を決定するように構成することが好ましい。 Also, the background area determining means, said in the difference image between the current frame the first or second reference frame, figure within the image of the current frame or the first or shape of the second reference frame means for detecting a difference value of each pixel in the contour near the areas belonging to the image, using the difference values ​​of each pixel of the contour vicinity, means for determining a difference value to be determined and the common background region comprising a, using the determined difference value as a threshold value for background / object region determination, it is preferably configured to determine the common background region from the difference image. このように輪郭線近傍における各画素の差分値に着目することにより、差分画像全体を調べることなく、容易にしきい値を決定することが可能となる。 By thus focusing on the difference value of each pixel in the contour vicinity, without examining the entire difference image, it becomes possible to easily determine the threshold.
【0021】 [0021]
また、前記図形設定手段は、前記参照フレームの図形内画像を複数のブロックに分割する手段と、複数のブロックそれぞれについて、前記入力フレームとの誤差が最小となる前記入力フレーム上の領域を探索する手段と、探索された複数の領域を囲む図形を前記入力フレームに設定する手段とから構成することが好ましい。 Moreover, the figure setting means includes means for dividing the graphic in the image of the reference frame into a plurality of blocks, for each of a plurality of blocks, an error between the input frame is searched a region on the input frame having the minimum it is preferable to form a unit, a graphic surrounding the searched plurality of regions and means for setting the input frame. これにより、初期設定された図形の形状や大きさによらず、対象となる入力フレームに最適な新たな図形を設定することが可能となる。 Thus, regardless of the shape and size of the initially set shape, it is possible to set an optimum new shapes to the input frame of interest.
【0022】 [0022]
また、本発明は、既に物体領域を抽出したフレームから、物体抽出対象となる現フレーム上の物体の位置または形状を予測する予測手段と、この予測手段によって予測された現フレーム上の物体の位置または形状に基づいて、前記背景領域決定手段によって使用すべき前記第1および第2の参照フレームを選択する手段とをさらに具備する。 Further, the present invention is already from the frame extracting the object area, and predicting means for predicting the position or shape of an object on the current frame to be the object extraction target, a position of an object on the current frame is predicted by the prediction means or based on the shape, further comprising means for selecting said first and second reference frames to be used by the background area determining means.
【0023】 [0023]
このように、使用すべき参照フレームとして適切なフレームを選択することにより、常に良好な抽出結果を得ることが可能となる。 Thus, by selecting the appropriate frame as a reference frame to be used, it is possible to always obtain a good extraction results.
【0024】 [0024]
ここで、O ,O ,O currをそれぞれ参照フレームf ,f 及び抽出対象の現フレームfcurrの物体とすると、正しく物体の形状を抽出するための最適な参照フレームf ,f とは、 Here, O i, O j, O curr reference each frame f i, f j and when the object of the current frame fcurr to be extracted, for correctly extracting the shape of an object optimal reference frame f i, f j the,
(O ∩O )⊆ O curr (O i ∩O j) ⊆ O curr
を満たすフレーム、つまり、O ,O の交わり部分がO curr内に属するようなフレームf ,f である。 Frames satisfying, i.e., O i, O j of intersection frame f i as fall within the O curr, it is f j.
【0025】 [0025]
また、本発明は、互いに異なる方法によって物体抽出を行う複数の物体抽出手段を設け、これら物体抽出手段を選択的に切替ながら物体抽出を行うことを特徴とする。 Further, the present invention is provided with a plurality of object extraction means for performing object extracted by different methods from each other, and performing a selective switching while object extracting these object extraction means. この場合、現フレームと、この現フレームとは時間的にずれた少なくとも2つの参照フレームそれぞれの差分を用いて物体抽出を行う第1の物体抽出手段と、フレーム間予測を使用して既に物体抽出が行われたフレームから現フレームの物体領域を予測することにより物体抽出を行う第2の物体抽出手段とを組み合わせて使用することが望ましい。 In this case, the current frame, a first object extraction means for performing object extraction using at least two reference frames, respectively difference between the current frame shifted in time, already object extracted using inter-frame prediction it is desirable to use a combination of a second object extraction unit that performs object extraction by predicting the object region of the current frame from a frame is performed. これにより、物体が部分的に静止していて参照フレームとの差分が検出できないときでも、フレーム間予測を用いた物体抽出手段によってそれを補うことが可能となる。 Accordingly, even when the object can not be detected difference between the reference frame be stationary part, it is possible to make up for it by the object extracting means using the inter-frame prediction.
【0026】 [0026]
また、複数の物体抽出手段を設けた場合には、物体抽出対象となる現フレームから、その少なくとも一部の領域についての画像の特徴量を抽出する手段をさらに具備し、前記抽出された特徴量に基づいて、前記複数の物体抽出手段を切り替えることが好ましい。 In the case where a plurality of object extraction means, from the current frame to be the object extraction target, at least further comprising means for extracting a feature value of the image of the partial region, the extracted feature based on, it is preferable to switch the plurality of object extraction means.
【0027】 [0027]
例えば、背景の動きがあるかどうか予めわかるならば、その性質を使った方がよい。 For example, if understood in advance whether there is a motion of the background, it is better to use its properties. 背景の動きがある場合は、背景動き補償を行なうが、完全に補償できるとは限らない。 If there is motion in the background, it performs the background motion compensation, can not always be completely compensated. 複雑な動きをするフレームではほとんど補償できないこともある。 In the frame of the complex movement may not be able to most compensation. このようなフレームは、背景動き補償の補償誤差量によって予め選別できるので、参照フレーム候補にしないなどの工夫が可能である。 Such a frame, it is possible to advance selected by the compensation error amount of background motion compensation, not in the reference frame candidate is capable of devising such. しかし、背景の動きがない場合は、この処理は不必要である。 However, if there is no motion of the background, this process is unnecessary. 別の物体が動いていると、誤った背景動き補償を行なったり、参照フレーム候補から外れたりして参照フレーム選択条件に最適なフレームであっても選ばれず、抽出精度が落ちることがあるからである。 In the another object is moving, or performs an incorrect background motion compensation, also not chosen a best frame to come off from the reference frame candidate to the reference frame selection condition, because there may extract less accurate is there. また、一つの画像中にも多様な性質が混在していることがある。 Further, there is that one diverse nature even during image are mixed. 物体の動きやテクスチャも部分的に異なり、同じ追跡・抽出方法及び装置やパラメータではうまく抽出できないことがある。 Also partially different object motion and texture, it may not be extracted satisfactorily with the same tracking and extraction method and apparatus and parameters. 従って、ユーザが画像中の特殊な性質を持つ一部を指定したり、画像中の違いを自動的に特徴量として検出し、その特徴量に基づいて、例えばフレーム内のブロック単位などで部分的に追跡・抽出方法を切替えて抽出したり、パラメータを変更した方がよい。 Therefore, to specify the part that has special properties users in the image, it detects a difference in the image as automatic feature amount, based on the feature amount, for example, partially in such blocks in a frame and extract switches the tracking and extraction methods, it is better to change the parameters.
【0028】 [0028]
このようにして、画像の特徴量に基づいて、複数の物体抽出手段を切替えれば、様々な画像中の物体の形状を精度良く抽出することが可能になる。 In this way, based on the feature amount of the image, be switched a plurality of object extraction unit, it is possible to accurately extract the shape of the object in the different images.
【0029】 [0029]
また、現フレームと、この現フレームと時間的にずれた少なくとも2つの参照フレームとの差分を用いた第1の物体抽出手段と、フレーム間予測を使用した第2の物体抽出手段とを組み合わせて使用する場合には、第2の物体抽出手段による予測誤差が所定の範囲内であるときは、第2の物体抽出手段による抽出結果が物体領域として使用され、予測誤差が所定の範囲を越えたときは第1の物体抽出手段による抽出結果が物体領域として使用されるように、予測誤差量に基づいて、フレーム内のブロック単位で第1および第2の物体抽出手段を選択的に切り替えて使用することが望ましい。 Further, by combining the current frame, a first object extraction means using a difference between at least two reference frames shifted the temporally current frame, and a second object extraction means using inter-frame prediction If used, when the prediction error due to the second object extraction unit is within a predetermined range, the extraction result by the second object extraction unit is used as the object region, the prediction error exceeds a predetermined range as extraction result by the first object extraction unit is used as the object region when, based on the prediction error amount, selectively switches using the first and second object extraction unit in blocks in a frame it is desirable to.
【0030】 [0030]
また、第2の物体抽出手段は、参照フレームと物体抽出対象となる現フレームとの間のフレーム間隔が所定フレーム以上あくように入力フレーム順とは異なる順序でフレーム間予測を行うことを特徴とする。 The second object extraction unit, and wherein the frame interval between the current frame as a reference frame and the object extraction target performs inter-frame prediction in a different order than the input frame order to scum than a predetermined frame to. これにより、入力フレーム順でフレーム間予測を順次行う場合に比べフレーム間の動き量が大きくなるため、予測精度を向上でき、結果的に抽出精度を高めることが可能となる。 Accordingly, since the amount of movement between frames than in the case of sequentially performing inter-frame prediction in the input frame order is large, can improve the prediction accuracy, it is possible to enhance the results in extraction accuracy.
【0031】 [0031]
すなわち、フレームの間隔によっては動きが小さ過ぎたり、複雑過ぎて、フレーム間予測による形状予測手法では対応できないことがある。 That, too small to move by the distance of the frame, too complex, it may not be compatible with the shape prediction method according to inter-frame prediction. 従って、例えば形状予測の誤差が閾値以下にならない場合は、予測に用いる抽出済みフレームとの間隔をあけることにより、予測精度が上がり、結果的に抽出精度が向上する。 Thus, for example, when the error of shape prediction does not become less than the threshold value, by spacing the already extracted frame used for prediction, raise the prediction accuracy is improved resulting in extraction accuracy. また、背景に動きがある場合は、参照フレーム候補は抽出フレームとの背景動きを求め補償するが、背景の動きがフレームの間隔によっては小さ過ぎたり複雑過ぎたりして、背景動き補償が精度良くできない場合がある。 Also, if there is motion in the background, the reference frame candidate is compensated sought background motion of the extraction frame, or too complicated or too small by a distance between a motion of the background frame, the background motion compensation accurately there is a case that can not be. この場合もフレーム間隔をあけることによって動き補償精度を上げることができる。 It is possible to increase the motion compensation accuracy by opening the frame interval In this case. このようにして抽出フレームの順序を適応的に制御すれば、より確実に物体の形状を抽出することが可能になる。 In this way, adaptively control the order of extraction frames, it is possible to extract a more reliable shape of an object.
【0032】 [0032]
また、本発明は、動画像データと、その動画像データを構成する複数フレーム内の所定フレーム上における物体領域を表すシェイプデータとを入力し、そのシェイプデータを用いて前記動画像データから物体領域を抽出する物体抽出装置において、前記動画像データが記録されている記憶装置から前記動画像データを読み出し、前記シェイプデータを動き補償することにより、前記読み出した動画像データを構成する各フレーム毎にシェイプデータを生成する手段と、前記生成されたシェイプデータによって決定される各フレームの背景領域の画像データを背景メモリ上に逐次上書きすることによって、前記動画像データの背景画像を生成する手段と、前記動画像データが記録されている記憶装置から前記動画像データを再度読み出し、前記 Further, the present invention inputs the moving image data and shape data representing the object area on a given frame within the plurality of frames constituting the moving image data, the object region from the moving image data using the shape data in the object extracting apparatus for extracting, from said storage device the moving image data is recorded reads moving image data, by motion compensating the shape data, each frame constituting the read moving picture data means for generating a shape data, by sequentially overwritten on the background memory image data of the background area of ​​each frame is determined by the generated shape data, means for generating a background image of the moving image data, read from the storage device the video data is recorded again the moving image data, wherein み出した動画像データを構成する各フレーム毎に前記背景メモリ上に蓄積されている背景画像の対応する画素との差分を求め、差分の絶対値が所定のしきい値よりも大きい画素を物体領域として決定する手段とを具備する。 Obtains the difference between corresponding pixels of the background image stored on the background memory for each frame of the moving image data that has issued viewed object absolute value of the difference is larger pixels than a predetermined threshold value and means for determining the area.
【0033】 [0033]
この物体抽出装置においては、記憶装置からの動画像データを読み出す1回目のスキャン処理にて、背景画像が背景メモリ上に生成される。 In this object extraction apparatus, at first scanning process of reading moving image data from the storage device, the background image is generated on the background memory. 次いで、2回目のスキャン処理が行われ、1回目のスキャンで完成された背景画像を用いた物体領域の抽出が行われる。 Then, the scanning process of the second time is performed, the extraction of the object region using a background image that has been completed by the first scan is performed. このようにして、動画像データが記憶装置に蓄積されていることを利用して動画像データを2回スキャンすることにより、動画像シーケンスの最初から十分に高い精度で物体領域を抽出することが可能となる。 In this way, by twice scanning moving image data by using the fact that the moving image data stored in the storage device, to extract an object area with sufficiently high accuracy from the first moving picture sequence It can become.
【0034】 [0034]
また、本発明は、前記各フレームのシェイプデータによって決定される物体領域と、前記背景画像との差分の絶対値に基づいて決定される物体領域のいずれかを物体抽出結果として選択的に出力する手段をさらに具備する。 Further, the present invention is the an object region determined by the shape data of each frame, selectively outputs as the object extraction result one of the object region is determined based on the absolute value of the difference between the background image further comprising means. 画像によっては、1スキャン目で得たシェイプデータによって決定される物体領域の方が、2スキャン目で、背景画像との差分を利用して得た物体領域よりも抽出精度が高い場合がある。 Some images towards the object region determined by the shape data obtained by the first scanning is at second scanning, it may be high extraction accuracy than the object region obtained by utilizing the difference between the background image. したがって、1スキャン目で得た物体領域と2スキャン目で得た物体領域とを選択的に出力できるようにすることにより、さらに抽出精度の向上を図ることが可能となる。 Therefore, by such a object region and the object region obtained by the second scanning was obtained in the first scanning can be selectively output, it is possible to further improve the extraction accuracy.
【0035】 [0035]
また、本発明は、動画像データと、この動画像データを構成する複数のフレーム内の所定フレーム上の物体領域を表すシェイプデータとを入力し、前記シェイプデータが与えられたフレームあるいは既にシェイプデータを求めたフレームを参照フレームとして使用することにより、前記各フレームのシェイプデータを逐次求めていく物体抽出装置であって、現処理フレームをブロックに分割する手段と、前記ブロック毎に、画像データの図柄が相似であり、且つ面積が現処理ブロックよりも大きい相似ブロックを前記参照フレームから探索する手段と、前記参照フレームから相似ブロックのシェイプデータを切り出して縮小したものを、前記現処理フレームの各ブロックに貼り付ける手段と、前記貼り付けられたシェイプデータを現処理フレ Further, the present invention includes a moving image data, and inputs the shape data representing the object region on a given frame within the plurality of frames constituting the moving image data, frame the shape data is given, or already Shape Data by using as a reference frame to frame was determined, the a sequential determined will the object extracting apparatus the shape data of each frame, means for dividing the current processing frame into blocks, for each of the blocks, the image data symbol is similar, and means for area to explore greater similar block than currently processed block from the reference frame, those reduced by cutting the shape data of similar block from the reference frame, each of the currently processed frame means for pasting the block, the currently processed frame the pasted shape data ムのシェイプデータとして出力する手段とを具備する。 And means for outputting a beam shape data.
【0036】 [0036]
この物体抽出装置においては、物体抽出対象の現フレームの各ブロック毎に、画像データ(テクスチャ)の図柄が相似であり、且つ面積が現処理ブロックよりも大きい相似ブロックの探索処理と、探索された相似ブロックのシェイプデータを切り出して縮小したものを現処理フレームのブロックに貼り付ける処理とが行われる。 In the object extraction device, for each block of the current frame of the object extraction target, the symbol image data (texture) and are similar, and the area and the search processing of large similar block than the current processing block, is searched those that were reduced by cutting out the shape data of similar blocks and processing paste it into block of the current processing frame is carried out. このように現処理ブロックよりも大きい相似ブロックのシェイプデータを縮小して張り付けることにより、シェイプデータで与えられる物体領域の輪郭線がずれていてもそれを正しい位置に補正することが可能となる。 By thus pasting by reducing the shape data of large similar block than the current processing block, it is possible to correct it be offset contour line of the object region given by the shape data in the correct position . したがって、例えばユーザがマウスなどで最初のフレーム上の物体領域の輪郭を大まかになぞったものをシェイプデータとして与えるだけで、以降の入力フレーム全てにおいて物体領域を高い精度で抽出することが可能となる。 Thus, for example, a user only gives those traced roughly the contour of the object region on the first frame in the mouse as the shape data, it is possible to extract an object area with high accuracy in the input frame all subsequent .
【0037】 [0037]
また、本発明は、画像データと、その画像の物体領域を表すシェイプデータを入力し、そのシェイプデータを用いて前記画像データから物体領域を抽出する物体抽出装置において、前記シェイプデータの輪郭部分にブロックを設定し、各ブロック毎に、前記画像データの図柄が相似であり、且つ前記ブロックよりも大きい相似ブロックを同じ画像の中から探索する手段と、前記各ブロックのシェイプデータを各々の前記相似ブロックのシェイプデータを縮小したもので置き換える手段と、前記置き換えを所定の回数だけ繰り返す手段と、前記置き換えを繰り返されたシェイプデータを補正されたシェイプデータとして出力する手段とを具備する。 Further, the present invention includes an image data, and inputs the shape data representing the object area of ​​the image, the object extracting apparatus for extracting an object area from the image data by using the shape data, the contour portion of the shape data set block, for each block, a symbol is similar to the image data, and means for searching from the same image larger similar block than the block, the similarity of each of the shape data of each block comprising means for replacing in those reduced shape data of the block, and means for repeating the replacing predetermined number of times, and means for outputting the corrected shape data shape data repeated replacing the.
【0038】 [0038]
このようにフレーム内のブロックマッチングによって、相似ブックを用いた置き換え処理を行うことにより、シェイプデータによって与えられる輪郭線を正しい位置に補正することが可能となる。 By block matching in this manner in a frame, by performing replacement processing using the similar books, it is possible to correct the contour given by the shape data to the correct position. また、フレーム内のブロックマッチングであるので相似ブックの探索および置き換えを同一ブロックについて繰り返し行うことができ、これにより補正精度をさらに高めることが可能となる。 Further, since the block matching within a frame can be repeated search for similarity book and replace the same block, it is possible to further increase the correction accuracy by this.
【0039】 [0039]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
図1には、本発明の第1実施形態に係る動画像の物体追跡/抽出装置の全体の構成が示されている。 FIG. 1 shows the overall configuration of the object tracking / extracting apparatus of a moving image according to a first embodiment of the present invention. この物体追跡/抽出装置は、入力動画像信号から目的とする物体の動きを追跡するためのものであり、初期図形設定部1と、物体追跡・抽出部2とから構成されている。 The object tracking / extracting apparatus is for tracking the movement of an object of interest from the input moving image signal, an initial figure setting unit 1, and a object tracking and extraction section 2. 初期図形設定部1は、外部からの初期図形設定指示信号a0に基づいて、追跡/抽出対象となる目的の物体を囲むような図形を入力動画像信号a1に対して初期設定するために使用され、初期図形設定指示信号a0によって例えば長方形、円、楕円などの任意の形状の図形が目的の物体を囲むように入力動画像信号a1の初期フレーム上に設定される。 Initial figure setting unit 1, based on the initial shape setting instruction signal a0 from the outside, it is used to initialize the graphic that surrounds the object object to be tracked / extraction target on the input moving image signal a1 , for example, rectangular by the initial figure setting instruction signals a0, circle, figure having an arbitrary shape such as an ellipse is set on the initial frame of the input moving image signal a1 to surround the target object. 初期図形設定指示信号a0の入力方法としては、例えば入力動画像信号a1を表示する画面上に利用者がペンやマウスなどのポインティングデバイスを用いて図形そのものを直接書き込んだり、あるいはそれらポインティングデバイスを用いて入力する図形の位置や大きさを指定するなどの手法を用いることができる。 The input method of the initial figure setting instruction signals a0, writes graphic itself directly, or they pointing device used with a pointing device such as a user's pen or mouse for example on the screen to display the input video signal a1 techniques such as specifying the position and size of a figure to be input Te may be used. これにより、目的の物体が現れる初期フレーム画像上において、追跡/抽出対象となる物体を外部から容易に指示することが可能となる。 Thus, in the initial frame image target object appears, it is possible to easily instruct the object of tracking / extraction object from the outside.
【0040】 [0040]
また、ユーザによる図形入力ではなく、図形の初期設定は、通常のフレーム画像を解析する処理によって例えば人や動物の顔、体の輪郭などを検出し、それを囲むように図形を自動設定することによっても実現できる。 Further, instead of the graphical input by the user, the initial setting of the figure, the normal frame image processing, for example, by a human or an animal's face for analyzing and body contour is detected and automatically set the figure so as to surround it It can also be realized by.
【0041】 [0041]
物体追跡・抽出部2は、初期図形設定部1で設定された図形内に含まれる図形内画像を基準として物体の追跡および抽出を行う。 Object tracking and extraction section 2 performs tracking and extraction of object shapes in images included in the initial figure setting section 1 set in shapes in as a reference. この場合、動物体の追跡・抽出処理では、図形で指定された物体に着目してその物体の動きが追跡される。 In this case, in tracking and extraction of a moving object, the motion of the object is tracked by focusing on the object specified in the figure. 従って、目的とする動物体以外の周囲の余分な動きに影響を受けずに目的とする動物体の抽出/追跡を行える。 Thus, enabling the extraction / tracking of a moving object of interest without being affected extra movement around other than an animal body for the purpose.
【0042】 [0042]
図2には、物体追跡・抽出部2の好ましい構成の一例が示されている。 Figure 2 is an example of a preferred configuration of the object tracking and extraction section 2 is shown.
【0043】 [0043]
この物体追跡・抽出部は、図示のように、メモリ(M)11,14、図形設定部11、背景領域決定部12、および物体抽出部13から構成されている。 The object tracking and extraction unit, as illustrated, the memory (M) 11, 14, figure setting unit 11, and a background region determining unit 12 and the object extraction unit 13,.
【0044】 [0044]
図形設定部11は、これまでに入力および図形設定した任意のフレームを参照フレームとして使用しながら入力フレームに対して順次図形を設定するために使用される。 Figure setting unit 11 is used to set the sequential figures for the input frame while using any frame type and figure setting so far as the reference frame. この図形設定部11は、現フレーム画像101、参照フレームの図形内画像およびその位置103と、参照フレームの物体抽出結果106を入力し、現フレームの任意の図形で囲まれた領域内を表す画像102を出力する。 The figure setting section 11, the current frame image 101, a graphic in the image and its position 103 of the reference frame, enter the object extraction results 106 of the reference frame, an image representing a region surrounded by the arbitrary figure of the current frame to output 102. すなわち、図形設定部11による図形設定処理では、参照フレームの図形内画像103と現フレーム画像101との相関に基づいて、参照フレームの図形内画像103との誤差が最小となる現フレーム画像上の領域が探索され、その領域を囲むような図形が現フレーム画像101に対して設定される。 That is, in the figure setting processing by the figure setting section 11, a figure in an image 103 of the reference frame based on the correlation between the current frame image 101, the error between the shapes in the image 103 of the reference frame of the current frame image with the minimum region is searched, figure that surrounds the area is set for the current frame image 101. 設定する図形は、長方形、円、楕円、エッジで囲まれた領域、など、何でも良い。 Figure to be set, rectangle, circle, ellipse, a region surrounded by the edge, etc., it is anything. 以下では、簡単のために長方形の場合について述べる。 In the following, we describe the case of a rectangular for simplicity. また、図形設定部11の具体的な構成については、図5を参照して後述する。 Further, a specific configuration of the figure setting section 11 will be described later with reference to FIG. なお、物体を囲む図形を用いない場合は、図形内画像は全画像とし、位置を入出力する必要がない。 In the case of not using the graphic surrounding the object, the graphic in the image as a whole image, there is no need to input the position.
【0045】 [0045]
メモリ10には、これまでに入力および図形設定されたフレームが少なくとも3つ程度保持される。 The memory 10, which frames inputted and figure setting up is held extent at least three. 保持される情報は、図形設定されたフレームの画像、設定された図形の位置や形状、図形内の画像などである。 Information held in the image of the frame shape setting, the position and shape of the set figure is an image in graphic. また、入力フレームの画像全体ではなく、その図形内画像だけを保持するようにしても良い。 Also, not the entire image of the input frame, may be held only the figure in the image.
【0046】 [0046]
背景領域決定部12は、物体抽出対象の現フレーム毎にその現フレームとは時間的に異なるフレームの中の少なくとも二つの任意のフレームを参照フレームとして使用し、各参照フレーム毎に現フレームとの差分を取ることによってそれら各参照フレームと現フレーム間の共通の背景領域を決定する。 Background region determining unit 12, and the current frame for each current frame of the object extraction target used as a reference frame at least two arbitrary frame in different frames in time, a current frame for each reference frame determining a common background areas between their respective reference frames and the current frame by taking the difference. この背景領域決定部12は、メモリ10で保持された、現フレームの任意の図形内画像およびその位置102と、少なくとも2つのフレームの任意の図形内画像およびその位置103と、該少なくとも2つのフレームの物体抽出結果106を入力し、現フレームと該少なくとも2つのフレームそれぞれの図形内画像との共通の背景領域104を出力する。 The background area determining section 12, which is held in the memory 10, any shapes within the image and its location 102 of the current frame, and any shapes within the image and its position 103 of the at least two frames, two frames the at least enter the object extraction results 106, and outputs a common background region 104 between two frames each figure in the image even current frame and the at. すなわち、参照フレームとして第1および第2の2つのフレームを使用する場合には、現フレームと第1の参照フレームとの間のフレーム間差分を取ることなどによって得られた第1の差分画像により、現フレームと第1の参照フレームのどちらにおいても背景領域として用いられている共通の第1の背景領域が決定されると共に、現フレームと第2の参照フレームとの間のフレーム間差分を取ることなどによって得られた第2の差分画像により、現フレームと第2の参照フレームのどちらにおいても背景領域として用いられている共通の第2の背景領域が決定されることになる。 That is, as a reference frame when using the first and second two frames, the first difference image obtained such as by taking the inter-frame difference between a current frame and a first reference frame , with a common first background region is used as a background region in both the current frame and the first reference frame is determined, taking the inter-frame difference between a current frame and a second reference frame the second difference image obtained such as by, so that the common second background region which is used as a background region in both the current frame and the second reference frame is determined. この背景領域決定部12の具体的な構成は、図4を参照して後述する。 Specific configuration of the background area determining section 12 will be described later with reference to FIG. また、背景メモリを使って、共通の背景を得る手法もある。 In addition, there is by using a background memory, also a method for obtaining a common background.
【0047】 [0047]
なお、物体を囲む図形を用いない場合は、図形内画像は全画像とし、位置を入出力する必要がない。 In the case of not using the graphic surrounding the object, the graphic in the image as a whole image, there is no need to input the position.
【0048】 [0048]
物体抽出部13は、背景領域決定部12にて決定された共通の背景領域を用いて現フレームの図形内画像から物体領域のみを抽出するために使用され、該現フレームと少なくとも2つのフレームそれぞれとの共通の背景領域104を入力し、現フレームの物体抽出結果106を出力する。 Object extraction unit 13 is used to extract only the object region from the shape in the image of the current frame by using a common background region determined by the background area determining section 12, each of the at least two frames and the developing frame enter the common background region 104, and outputs the object extraction results 106 of the current frame. 第1および第2の差分画像のどちらにも現フレーム上の物体領域が共通に含まれているため、第1の共通背景領域と第2の共通背景領域のどちらにも属さない領域の中で、現フレームの図形内画像に含まれる領域を検出することにより、現フレーム上の物体領域が抽出される。 Since the object region on the current frame to either of the first and second difference images are included in a common, in the first common background region and either do not belong area of ​​the second common background region , by detecting the area included in the graphic in the image of the current frame, the object region on the current frame is extracted. これは、共通の背景領域以外の領域が物体領域の候補となることを利用している。 This is a region other than the common background region is based on the fact that a candidate of the object region. つまり、第1の差分画像上においては第1の共通背景領域以外の領域が物体領域候補となり、第2の差分画像上においては第2の共通背景領域以外の領域が物体領域候補となるので、2つの物体領域候補の重複する領域を、現フレームの物体領域と判定することができる。 That is, in the first differential image region other than the first common background region becomes an object region candidate, in the second difference image because the region other than the second common background region becomes the object region candidate, overlapping regions of the two object region candidates can be determined that the object region of the current frame. 物体抽出結果106としては、物体領域の位置や形状を示す情報を使用することができる。 The object extraction result 106, it is possible to use the information indicating the position and shape of the object region. また、その情報を用いて実際に現フレームから物体領域の画像を取り出すようにしても良い。 Moreover, in practice it may be taken out the image of the object region from the current frame by using the information.
【0049】 [0049]
メモリ14は、少なくとも2つの物体抽出結果を保持し、既に抽出されている結果をフイードバックして抽出精度をあげるために用いられる。 Memory 14 holds at least two object extraction results, used to increase the extraction accuracy by feedback the results that have already been extracted.
【0050】 [0050]
ここで、図8を参照して、本実施形態で用いられる物体抽出・追跡処理の方法について説明する。 Referring now to FIG. 8, a description will be given of a method of object extraction and tracking process used in this embodiment.
【0051】 [0051]
ここでは、時間的に連続する3つのフレームf(i−1),f(i),f(i+1)を用いて、現フレームf(i)から物体を抽出する場合を例示して説明する。 Here, temporally successive three frames f (i-1), f (i), with f (i + 1), will be exemplified a case of extracting the object from the current frame f (i).
【0052】 [0052]
まず、前述の図形設定部11によって図形設定処理が行われる。 First, figure setting process is performed by the figure setting unit 11 described above. 3つのフレームf(i−1),f(i),f(i+1)についてもそれぞれ任意の参照フレームを使用することにより図形設定処理が行われ、そのフレーム上の物体を囲むように長方形R(i−1),R(i),R(i+1)が設定される。 Three frames f (i-1), f (i), f (i + 1) figure setting process by using any of the reference frame each also takes place, so as to surround the object on the frame rectangle R ( i-1), R (i), R (i + 1) is set. なお、長方形の図形R(i−1),R(i),R(i+1)は位置および形状の情報であり、画像として存在するものではない。 Incidentally, rectangular shapes R (i-1), R (i), R (i + 1) is the information on the position and shape, it does not exist as an image.
【0053】 [0053]
次に、背景領域決定部12にて共通背景領域が決定される。 Next, the common background region is determined by the background area determining section 12.
【0054】 [0054]
この場合、まず、現フレームf(i)と第1の参照フレームf(i−1)との間のフレーム間差分が取られ、第1の差分画像fd(i−1,i)が求められる。 In this case, first, the inter-frame difference between the current frame f (i) and the first reference frame f (i-1) is taken, the first difference image fd (i-1, i) is determined . 同様にして、現フレームf(i)と第2の参照フレームf(i+1)との間のフレーム間差分も取られ、第2の差分画像fd(i,i+1)が求められる。 Similarly, inter-frame difference between the current frame f (i) and the second reference frame f (i + 1) is also taken, the second difference image fd (i, i + 1) is obtained.
【0055】 [0055]
第1の差分画像fd(i−1,i)を得ることにより、現フレームf(i)と第1の参照フレームf(i−1)とで共通の画素値を持つ部分については画素値が相殺されるためその画素の差分値は零となる。 By obtaining a first difference image fd (i-1, i), the pixel value to the portion having a common pixel value de and the current frame f (i) and the first reference frame f (i-1) difference value of the pixel to be offset is zero. したがって、フレームf(i−1)とf(i)の背景がほぼ同様であれば、基本的には、第1の差分画像fd(i−1,i)には、長方形R(i−1)の図形内画像と、長方形R(i)の図形内画像とのORに相当する画像が残ることになる。 Thus, if substantially the same background frame f (i-1) and f (i) is, basically, the first difference image fd (i-1, i), a rectangle R (i-1 ) and the figure in the image, an image corresponding to the OR of the figure within the image of the rectangle R (i) remains. この残存画像を囲む図形は、図示のように、多角形Rd(i−1,i)=R(i−1) OR R(i)となる。 Figure surrounding the remaining images, as shown, the polygonal Rd (i-1, i) = R (i-1) OR R (i). 現フレームf(i)と第1の参照フレームf(i−1)の共通の背景領域は、多角形Rd(i−1,i)内の実際の物体領域(ここでは、2つの丸を一部重ねた結果得られる8の字の形状をした領域)以外の全領域となる。 Common background region of the current frame f (i) and the first reference frame f (i-1), the actual object area (here in the polygon Rd (i-1, i), the two round one It becomes to have a figure eight shape parts result of extensive obtained region) other than the entire area.
【0056】 [0056]
また、第2の差分画像fd(i,i+1)についても、長方形R(i)の図形内画像と、長方形R(i+1)の図形内画像とのORに相当する画像が残ることになる。 The second difference image fd (i, i + 1) for even, and the figure in the rectangular image R (i), a rectangle R (i + 1) is an image corresponding to the OR of a figure in an image remain that of. この残存画像を囲む図形は、図示のように、多角形Rd(i,i+1)=R(i) OR R(i+1)となる。 Figure surrounding the remaining images, as illustrated, the polygon Rd (i, i + 1) = a R (i) OR R (i + 1). 現フレームf(i)と第2の参照フレームf(i+1)の共通の背景領域は、多角形Rd(i,i+1)内の実際の物体領域(ここでは、2つの丸を一部重ねた結果得られる8の字の形状をしたもの)以外の全領域となる。 Results common background region of the current frame f (i) and the second reference frame f (i + 1) is polygonal Rd (i, i + 1) the actual object region (here in, of repeated two round part shaped in the form of 8 obtained becomes what was) other than the entire area.
【0057】 [0057]
この後、第1の差分画像fd(i−1,i)から現フレームf(i)と第1の参照フレームf(i−1)の共通の背景領域を決定する処理が行われる。 Thereafter, the process of determining a common background region of the first difference image fd (i-1, i) from the current frame f (i) the first reference frame f (i-1) is performed.
【0058】 [0058]
共通背景領域・物体領域の判定のためのしきい値となる差分値が必要になる。 Difference value which is a threshold value for determining the common background region, the object region is required. これは、ユーザーが与えてもよいし、画像のノイズや性質を検出して自動設定してもよい。 This may be given user, it may be automatically set by detecting the noise and the nature of the image. その場合、一画面で一つのしきい値でなくとも、画像中の部分的な性質に応じて部分的に決定してもよい。 In that case, if not one of the threshold on one screen may be partially determined according to the partial nature of the image. 画像の性質は、エッジの強さや差分画素の分散などが考えれれる。 Nature of the image, such as the dispersion of strength and difference pixel edge is being considered. また、物体を追跡する図形を用いて求めることもできる。 It can also be determined using a figure for tracking an object.
【0059】 [0059]
この場合、共通背景領域/物体領域の判定のためのしきい値となる差分値が求められ、しきい値以下の差分値を持つ画素の領域が共通背景領域として決定される。 In this case, common difference value as a threshold value for determining the background region / object region is obtained, the region of pixels with the following difference value threshold is determined as a common background region. このしきい値は、第1の差分画像fd(i−1,i)の多角形Rd(i−1,i)の外側の一ライン、つまり多角形Rd(i−1,i)の輪郭線上に沿った各画素の差分値のヒストグラムを用いて決定することができる。 This threshold is outside one line of the polygon of the first difference image fd (i-1, i) Rd (i-1, i), i.e. contour polygon Rd (i-1, i) it can be determined using a histogram of the difference values ​​of each pixel along the. ヒストグラムの横軸は画素値(差分値)、縦軸はその差分値を持つ画素数である。 The horizontal axis of the histogram pixel values ​​(difference values), and the vertical axis represents the number of pixels having a difference value. たとえば、画素数が多角形Rd(i−1,i)からなる枠線上に存在する全画素数の半分となるような差分値が、前述のしきい値として決定される。 For example, the number of pixels is a difference value such that half of the total number of pixels present on the frame lines consisting of polygonal Rd (i-1, i) is determined as above threshold. このようにしきい値を決定することにより、第1の差分画像fd(i−1,i)全体にわたって画素値の分布を調べることなく、容易にしきい値を決定することが可能となる。 By determining in this way the threshold, the first difference image fd (i-1, i) without examining the distribution of pixel values ​​over the entire, it becomes possible to easily determine the threshold.
【0060】 [0060]
次に、このしきい値を用いて、第1の差分画像fd(i−1,i)の多角形Rd(i−1,i)内における共通背景領域が決定される。 Then, by using this threshold, the common background region in the polygon Rd (i-1, i) in the first difference image fd (i-1, i) is determined. 共通背景領域以外の領域はオクルージョンを含んだ物体領域となる。 Regions other than the common background region is an object region including the occlusion. これにより、多角形Rd(i−1,i)内の領域は背景領域と物体領域に2分され、背景領域の画素値が“0”、物体領域の画素値が“1”の2値画像に変換される。 Thus, the region in the polygon Rd (i-1, i) is 2 minutes to the background region and the object region, the binary image of the pixel values ​​of the background area is "0", the pixel value of the object area is "1" It is converted to.
【0061】 [0061]
第2の差分画像fd(i,i+1)についても、同様にして、現フレームf(i)と第2の参照フレームf(i+1)の共通の背景領域を決定する処理が行われ、多角形Rd(i,i+1)内の領域が画素値“0”の背景領域と、画素値“1”の物体領域に変換される。 The second difference image fd (i, i + 1) for even, in the same manner, the process of determining a common background region of the current frame f (i) and the second reference frame f (i + 1) is performed, a polygon Rd (i, i + 1) regions within and a background area of ​​the pixel value of "0" is converted into the object area of ​​the pixel value of "1".
【0062】 [0062]
この後、物体抽出部13による物体抽出力が行われる。 Thereafter, the object extraction force by the object extraction unit 13 is performed.
【0063】 [0063]
ここでは、第1および第2の差分画像との間で、多角形Rd(i−1,i)内の2値画像と多角形Rd(i,i+1)内の2値画像とのAND処理を画素毎に行う演算処理が行われ、これによってオクルージヨン入りの物体の交わりが求められ、現フレームf(i)上の物体O(i)が抽出される。 Here, between the first and second difference image, the polygon Rd (i-1, i) 2 binary image and polygon Rd (i, i + 1) in the AND processing of a binary image in performed arithmetic processing performed for each pixel, thereby prompts the intersection of the object Okurujiyon containing the object O on the current frame f (i) (i) is extracted.
【0064】 [0064]
なお、ここでは、フレーム差分画像内の物体領域以外の他の全ての領域を共通背景領域として求める場合について説明したが、各フレームから図形内画像だけを取り出し、フレーム上での各図形内画像の位置を考慮してそれら図形内画像同士の差分演算を行うようにしてもよく、この場合には、図形外の背景領域を意識することなく、多角形Rd(i−1,i)内、および多角形Rd(i,i+1)内の共通背景領域だけが決定されることになる。 Here, the description has been given of the case of obtaining all regions other than the object region in the frame difference image as a common background region, only the extraction shapes in an image from each frame, in each figure in the image on the frame position may be performed difference operation between the image they figures in mind, in this case, without being aware of the shapes outside the background region, the polygon Rd (i-1, i) in, and polygon Rd (i, i + 1) by a common background region in is to be determined.
【0065】 [0065]
このように、本実施形態では、 Thus, in this embodiment,
1)現フレームとこの現フレームに対し時間的に異なる第1および第2の少なくとも2つの参照フレームそれぞれとの差分画像を求めることにより、現フレームと第1参照フレーム間の図形内画像のORと、現フレームと第2参照フレーム間の図形内画像のORとを求め、 1) by obtaining a difference image between each current frame and at least two reference frames for this current frame temporally different first and second, and figure in the image between the current frame and the first reference frame OR obtains an OR of the graphic in the image between the present frame and the second reference frame,
2)それら図形内画像のOR処理により得られた差分画像をAND処理し、これによって、現フレームの図形内画像から目的の物体領域を抽出するという、図形内画像に着目したORAND法による物体抽出が行われる。 2) AND processing the difference image obtained by OR operation of those figures in the image, thereby, of extracting an object area of ​​the object from the graphic in the image of the current frame, the object extraction by ORAND method that focuses on the graphic in the image It is carried out.
【0066】 [0066]
また、現フレームと2つの参照フレームとの時間関係は前述の例に限らず、例えば、現フレームf(i)に対して時間的に先行する2つのフレームf(i−m),f(i−n)を参照フレームとして使用したり、時間的に連続する2つのフレームf(i+m),f(i+n)を参照フレームとして使用することも可能である。 The time relationship between the current frame and two reference frames is not limited to the example described above, for example, two frames f temporally precedes the current frame f (i) (i-m), f (i or use -n) as the reference frame, temporally successive two frames f (i + m), it is also possible to use as a reference frame f (i + n).
【0067】 [0067]
例えば、図8において、フレームf(i−1),f(i)を参照フレームとして使用し、これら参照フレームそれぞれとフレームf(i+1)との差分を取って、それら差分画像に対して同様の処理を行えば、フレームf(i+1)から物体を抽出することができる。 For example, in FIG. 8, the frame f (i-1), f (i) is used as a reference frame, taking the difference between these reference frames respectively a frame f (i + 1), similar to their difference image by performing the process, it is possible to extract the object from frame f (i + 1).
【0068】 [0068]
図3には、物体追跡・抽出部2の第2の構成例が示されている。 Figure 3 shows a second configuration example of the object tracking and extraction section 2 is shown.
【0069】 [0069]
図2の構成との主な違いは、背景動き削除部21が設けられている点である。 The main difference from the configuration of FIG. 2 is that the background motion deleting unit 21 is provided. この背景動き削除部21は、各参照フレームと現フレームとの間で背景の動きが相対的に零となるように背景の動きを補正するために使用される。 The background motion deleting unit 21, the background motion between each reference frame and the current frame is used to correct the motion of the background so that relatively zero.
【0070】 [0070]
以下、図3の装置について、具体的に説明する。 DETAILED DESCRIPTION The apparatus of FIG. 3 will be specifically described.
【0071】 [0071]
背景動き削除部21は、現フレーム201と時間的にずれた少なくとも2つのフレームの任意の図形内画像およびその位置206を入力し、時間的にずれた少なくとも2つのフレームの背景の動きを削除した画像202を出力する。 Background motion deleting unit 21 receives the arbitrary figure in an image and its position 206 of the at least two frames offset the current frame 201 in time, to remove the motion of the background of at least two frames temporally shifted and it outputs the image 202. この背景動き削除部21の具体的な構成例については、図6で後述する。 A specific configuration example of the background motion deleting unit 21 will be described later in FIG.
【0072】 [0072]
図形設定部22は、図2の図形設定部11に対応し、現フレーム201と、該背景の動きを削除した少なくとも2つの画像202と、画像202の物休抽出結果206を入力し、現フレームおよび該少なくとも2つの画像202の、任意の図形に囲まれた領域内を表す画像203を出力する。 Figure setting section 22 corresponds to the figure setting unit 11 of FIG. 2, enter the current frame 201, and at least two images 202 to remove the movement of the background, an object deactivation extraction result 206 of the image 202, the current frame and the at least two images 202, and outputs an image 203 representing the the region surrounded by the arbitrary figure.
【0073】 [0073]
メモリ26は、任意の図形内画像とその位置を保持する。 Memory 26 retains its position as an arbitrary figure in the image.
【0074】 [0074]
背景領域決定部23は、図2の背景領域決定部12に対応し、該任意の図形内画像およびその位置203と、画像202の物体抽出結果206を入力し、現フレームと該少なくとも2つの画像202との共通の背景領域204を出力する。 Background area determining section 23 corresponds to the background region determination section 12 of FIG. 2, with the arbitrary figure in an image and its position 203, enter the object extraction results 206 of the image 202, the two images even current frame and the at and it outputs a common background region 204 and 202. 物体抽出部24は、図2の物体抽出部13に対応し、該現フレームと少なくとも2つの画像との共通の背景領域204を入力し、現フレームの物体抽出結果205を出力する。 Object extraction unit 24 corresponds to the object extraction unit 13 of FIG. 2, enter a common background region 204 with at least two images and the developing frame, and outputs the object extraction results 205 of the current frame. メモリ25は、少なくとも2つの物体抽出結果を保持する。 Memory 25 holds at least two object extraction results. これは、図2のメモリ14に相当する。 This corresponds to the memory 14 of FIG.
【0075】 [0075]
このように背景動き削除部21を設けることにより、例えばカメラをパンした時などのように背景映像が連続するフレーム間で徐々に変化するような場合であってもそれらフレーム間で背景映像を擬似的に一定にすることができる。 The provision of the background motion deletion section 21, the pseudo background image among even those frames even when such changes gradually between frames background image are continuous, such as when the pan, for example, a camera it can be made constant. よって、現フレームと参照フレームとの差分を取った時に、それらフレーム間で背景を相殺することが可能となり、背景変化に影響されない共通背景領域検出処理および物体領域抽出処理を行うことができる。 Therefore, when taking the difference between the reference frame and the current frame, it is possible to offset the background between these frames, it is possible to perform common background area detecting process and the object area extracting process is not affected by the background change.
【0076】 [0076]
なお、背景動き削除部21を背景領域決定部23の入力段に設け、これにより参照フレームの背景の動きを現フレームに合わせて削除するようにしても良い。 Note that a background motion deleting unit 21 to the input stage of the background area determining section 23, thereby the motion of the background of the reference frame may be deleted in accordance with the current frame.
【0077】 [0077]
図4(a)には、背景領域決定部12(または23)の具体的な構成利一例が示されている。 FIG. 4 (a), there is shown a specific configuration Toshikazu example of the background area determining section 12 (or 23).
【0078】 [0078]
変化量検出部31は、現フレームと前述の第1および第2の参照フレームとの差分を取るために使用され、現フレームと、時間的にずれたフレームの任意の図形内画像およびその位置302と、時間的にずれたフレームの物体抽出結果301を入力し、現フレームと時間的にずれたフレームの任意の図形内画像間の変化量303を出力する。 Change amount detector 31 is used to take the difference between the first and second reference frames above the current frame, the current frame, any shapes within the image and its position of the frame offset in time 302 If, enter the object extraction results 301 of a frame offset in time, and outputs the change amount 303 between any shapes within the image frame shifted in time with the current frame. 変化量は、例えば、フレーム間の輝度差分や色の変化、オプティカルフロー、などを用いることができる。 The amount of change can be used, for example, changes in brightness differences or color between frames, optical flow, and the like. 時間的にずれたフレームの物体抽出結果を使えば、フレーム間で物体が変化しない場合でも物体は抽出できる。 With the object extraction result of a frame offset in time, the object even if the object does not change between frames can be extracted. 例えば、変化量をフレーム間差分とすると、物体に属するフレーム間差分ゼロの部分は、物体が静止しているということなので、時間的にずれたフレームの物体抽出結果と同じになる。 For example, if the variation and inter-frame difference, the portion of the frame difference zero belonging to objects, it means that the object is stationary, the same as the object extraction result of a frame offset in time.
【0079】 [0079]
代表領域決定部32では、現フレームの任意の図形内画像およびその位置302を入力し、任意の図形内画像の背景を代表領域304として出力する。 In the representative region determination unit 32 inputs the arbitrary figure in an image and its position 302 of the current frame, and outputs the background of any shape within the image as a representative region 304. 代表領域は、任意の図形内で最も背景が多いと予想される領域を選ぶ。 Representative region chooses an area that is expected to most background often in any figure. 例えば、図8で説明した差分画像上の図形の輪郭線などのように、図形内の最も外側に帯状の領域を設定する。 For example, such as contour shapes on the difference image described in FIG 8, it sets the band-like region to the outermost within the graphic. 図形は物体を囲むように設定されるので、背景となる可能性が高い。 Since graphics are set to surround the object is likely to be a background.
【0080】 [0080]
背景変化量決定部33では、代表領域304と、該変化量303を入力し、背景を判定する変化量305を出力する。 Background variation determining section 33, a representative region 304, type the variation amount 303, and outputs the change amount 305 determines background. 背景変化量の決定は、図8で説明したように代表領域の差分値の変化量のヒストグラムをとり、例えば、全体の両素数の半分(過半数)以上の画素数に相当する変化量、つまり差分値をもつ領域を背景領域と決定する。 Background variation determination takes a histogram of the amount of change of the difference value of the representative area as described in FIG. 8, for example, the variation corresponding to the number of pixels halves (majority) or the whole of both prime, that is the difference the regions with a value determined as a background area.
【0081】 [0081]
代表領域の背景決定部34では、背景の変化量305を入力し、代表領域の背景306を判定し、出力する。 Background determination unit 34 of the representative area, enter the amount of change 305 in the background, to determine the background 306 of a representative area, and outputs. 代表領域の背景領域の決定は、先に決定した背景変化量かどうかで判定する。 The determination of the background region of the representative region is checked by whether the background variation was determined earlier. 背景領域決定部35では、変化量303と、背景判定のしきい値305と、代表領域の背景306を入力し、代表領域以外の領域の背景307を出力する。 Background region determination unit 35, the change amount 303, a threshold 305 of background determination, enter the background 306 of a representative area, and outputs the background 307 in the region other than the representative region. 代表領域以外の背景領域の決定は、代表領域から成長法で行う。 Determination of the background area other than the representative region is carried out in a deposition method using a representative region. 例えば、決定済みの画素と図形の内部方向に隣接する未決定画素が、背景変化量と一致すれば、背景と決定する。 For example, undetermined pixels adjacent to the inside direction of the determined pixel and figure, if consistent with the background variation is determined as the background. 背景と隣接しない画素や、背景変化量と一致しない画素は、背景以外と判定される。 Pixels and not adjacent to the background, the pixels that do not match the background variation, it is determined that other than the background. また、単純に先に決定した背景変化量かどうかで判定してもよい。 Further, it may simply be determined by whether the background variation was determined earlier. このようにして、差分画像上の図形の輪郭線から内周に向かって絞り込みを行うことにより、図形内画像の中でどこまでが背景領域であるかを決定することができる。 In this way, by performing narrowing toward the inner periphery from the contour of the figure on the difference image, far in figure within the image can determine whether a background region.
【0082】 [0082]
また、逆に、図形の輪郭線から外側に向かって図形からはみ出した物体領域を検出する。 Conversely, it detects the object region protruding from the graphic outwardly from the contour of the figure. 例えば、背景以外と決定された画素と図形の外側方向に隣接売る未決定画素が、背景変化量と一致しなければ、背景以外と決定する。 For example, sell adjacent to the outside direction of the pixels and the figure determined to other than the background undetermined pixels, should match the background variation, determines that other than the background. 背景以外の画素と隣接しない画素や背景変化量と一致する画素は背景と判定される。 Pixels that match the pixel or a background change amount which is not adjacent to the pixel other than the background is determined as the background. このようにして差分画像上の図形の輪郭線から外側に向かって広げることにより、図形外の画像のどこまでが背景外領域であるかを決定することができる。 By widening this manner outwardly from the contour of the figure on the difference image, far figure out the image can be determined whether the background outside area. この場合は、図形外でも変化量を求める必要があるので、任意の図形を数画素太くして充分物体がはみ出さない図形を新たに設定して、その内部で変化量を求めるか、単純にフレーム全体で変化量を求めてもよい。 In this case, since it is necessary to obtain the amount of change in shape outside, and newly set the shape not protruding sufficiently object thickened several pixels of any shape, or determine the amount of change therein, simply it may be obtained variation across frames. また、図形内部だけ変化量を求めておき、図形外部の判定の時に随時変化量を求めながら上記処理を行ってもよい。 Alternatively, it is acceptable to determine the only variation inside graphics, it may be subjected to the process while seeking at any time change amount when the determination of the shape outside. 当然、物体が図形をはみ出さない場合は、例えば、輪郭線上に背景以外の画素がない場合は、図形外部の処理を行う必要がない。 Of course, if the object does not protrude shapes, for example, if there are no pixels other than the background on the contour line it is not required to perform a graphic external processing.
【0083】 [0083]
ところで、現フレームと参照フレームとの間で物体または物体の一部が静止している場合、現フレームと参照フレームとの差分が検出されず、物体の形状が正しく抽出されない場合がある。 Incidentally, when part of an object or objects between the reference frame and the current frame is stationary, not detected difference between the reference frame and the current frame, there is a case where the shape of the object may not be correctly extracted. そこで、既に抽出されている参照フレームを使って現フレームの物体を検出する方法を図4(b)を参照して説明する。 Therefore, a method for detecting the already object of the current frame using the reference frame are extracted with reference to FIG. 4 (b).
【0084】 [0084]
図4(b)は、静止物体領域検出部37を備えた背景領域決定部12(または23)を示している。 FIG. 4 (b) shows a background region determination section 12 (or 23) having a still object region detection unit 37. これによると、変化量検出部31は現フレームの図形内画像及びその位置と、時間的にずれた少なくとも2つのフレームの任意の図形内画像及びその位置311を入力とし、現フレームと参照フレームの図形内画像の変化量313を検出する。 According to this, the change amount detector 31 as an input and the figure in the image and its position in the current frame, any graphic in the image and position 311 of the at least two frame offset in time, the reference frame and the current frame detecting a change amount 313 of the graphic in the image.
【0085】 [0085]
形状予測部36は、現フレームの図形内画像及びその位置と、時間的にずれた少なくとも2つのフレームの任意の図形内画像及びその位置311と、既に抽出されたフレームの画像及び物体形状317とを入力とし、現フレームと時間的にずれたフレームのうち未だ物体が抽出されていないフレームについては物体の形状312を予測し、出力する。 Shape prediction unit 36, and the figure in the image and its position in the current frame, any graphic in the image and position 311 of the at least two frame offset in time, the image and object shape 317 of the frame that have already been extracted the as input to predict the object shape 312 for a frame that has not yet been extracted object among frames shifted in manner and the current frame time, and outputs.
【0086】 [0086]
静止物体領域決定部37は予測した物体形状312と、参照フレームと現フレームとの変化量313と、既に抽出されたフレームの物体形状317を入力とし、少なくとも2つのフレームから現フレームに対して静止している物体領域314を決定する。 Stationary stationary object region determination unit 37 and the object shape 312 predicted reference frame and the change amount 313 of the current frame, already receives the object shape 317 of frames extracted, for the current frame from at least two frames determining the object region 314 that is.
【0087】 [0087]
背景領域決定部35は少なくとも2つのフレームに関する、現フレームに対して静止している物体領域314と、参照フレームと現フレームとの変化量313とを入力とし、少なくとも2つのフレームと現フレームとのそれぞれの共通の背景領域316を決定し、出力する。 Background area determining section 35 for at least two frames, the object region 314 which is stationary with respect to the current frame, a reference frame and the change amount 313 of the current frame as input, with at least two frames and the current frame each common background region 316 determines and outputs.
【0088】 [0088]
まず、参照フレームの物体が抽出されている場合は、現フレームで参照フレームとのフレーム間差分がゼロの領域について、参照フレームでは同じ位置の領域が物体の一部であれば、現フレームでのその領域は静止した物体の一部として抽出できる。 First, if the object reference frame has been extracted, the region inter-frame difference is zero between the reference frame in the current frame, the region of the same position in the reference frame if the part of the object, in the current frame the area can be extracted as part of the object stationary. 逆に、その領域が参照フレームでは、背景の一部であれば、現フレームでのその領域は背景となる。 Conversely, in the area reference frame, if part of the background, the area of ​​the current frame is a background.
【0089】 [0089]
しかし、参照フレームの物体が未だ抽出されていない場合、静止した物体または物体の一部は上記方法では抽出できない。 However, if the object reference frame has not yet been extracted, a part of the stationary objects or the object can not be extracted by the above method. その場合、既に物体が抽出されている他のフレームを用いて、未だ抽出されていない参照フレームの物体形状を予測して、物体の一部であるかどうかを判定することができる。 In that case, already using the other frame being extracted objects, to predict the shape of the object reference frame has not yet been extracted, it can be determined whether the part of the object. 予測の方法は、画像の符号化でよく用いられるブロックマッチング法やアフェイン変換法などを用いる。 The method of prediction, the like used may be the coding of the image block matching method or Afein transformation method.
【0090】 [0090]
一例として、図13で示すようなブロックマッチング法が考えられる。 As an example, a block matching method can be considered as shown in Figure 13. このようにして物体の形状が予測されれば、フレーム間差分が検出されない領域について静止した物体の一部か、背景かを判定することが可能となる。 If this manner predicted shape of the object, or part of the object which inter-frame difference is stationary for the region is not detected, it is possible to determine the background.
【0091】 [0091]
物体を囲む図形を用いない場合は、図形内画像は全画像とし、位置を入出力する必要がない。 If not using the graphic surrounding the object, the graphic in the image as a whole image, there is no need to input the position. この形状予測は、参照フレームを選択する場合の形状予測と同じものを使うことができる。 The shape prediction can be used the same as the shape prediction in selecting a reference frame. また、別の物体抽出法と切り換える実施例では、別の物体抽出法で得た物体形状を用いることができる。 Further, in the embodiment of switching to another object extraction method, and a object shape obtained by another object extraction method.
【0092】 [0092]
図5には、図形設定部11(または22)の具体的な構成の一例が示されている。 5 shows an example of a specific configuration of figure setting unit 11 (or 22) is shown.
【0093】 [0093]
分割部41では、現フレームと時間的にずれたフレームの任意の図形内画像とその位置402を入力し、分割された該画像403を出力する。 The dividing portion 41 inputs the arbitrary figure in an image and its position 402 of the frame shifted in manner and the current frame time, and outputs the divided the image 403. 任意の図形内画像の分割は、2等分、4等分、でもよいし、エッジを検出し、エッジにそった分割をおこなってもよい。 Dividing the arbitrary figure in the image, two equal parts, four equal parts, but to better detect the edges may perform split along the edge. 以下、簡単に、2等分とし、分割された図形は、ブロックと呼ぶことにする。 Hereinafter, briefly, a bisector, divided figure will be referred to as block. 動き検出部42では、該分割された任意の図形内画像とその位置403と、現フレームの任意の図形内画像とその位置401を入力し、該分割された画像の動きと誤差404を出力する。 The motion detection unit 42, an optional graphic in the image that is the divided and its location 403, and inputs the position 401 and any graphics in the image of the current frame, and outputs the movement of the divided image and the error 404 . ここでは、ブロックが現フレームに対応する位置を、誤差が最小になるよう探索し、動きと誤差を求める。 Here, the position where the block corresponding to the current frame, is searched so that the error is minimized, obtaining motion and error. 分割判定部43では、該動きと誤差404と、時間的にずれたフレームの物体抽出結果407を入力し、時間的にずれたフレームの任意の図形内画像を分割するか否かの判定結果406と、分割しない場合、動き405を出力する。 The division determination unit 43, and the movement and the error 404, whether to enter the object extraction results 407 of a frame offset in time, divide the arbitrary figure within the image frame which temporally deviation determination result 406 and the case is not divided, and outputs a motion 405. ここでは、時間的にずれたフレームの物体抽出結果が分割されたブロック内に含まれていなければ、そのブロックは図形内から削除する。 Here, the object extraction result of a frame offset in time must be included in the block divided, the block is deleted from the figure. そうでなけれは、求めた誤差から、誤差が閾値以上であれば、更に分割し、動きを求め直す。 Otherwise, from the obtained error, if the error is the threshold value or more, further divided, re seek movement. そうでなければ、ブロックの動きを決定する。 Otherwise, to determine the movement of the block. 図形決定部44は、動き405を入力とし、現フレームの図形内画像とその位置407を出力する。 Graphic determination unit 44 inputs the motion 405, and outputs the graphic in the image and its position 407 of the current frame. ここでは、図形決定部44は、各ブロックの、現フレームへの位置対応を求め、対応した位置のブロックを全て含むように、新しい図形を決定する。 Here, the graphic determination unit 44 of the blocks, obtains the position corresponding to the current frame, so as to include all the blocks of the corresponding positions, to determine a new shape. 新しい図形は、全ブロックの結びつきも良く、全てのブロックを含むような長方形や円でもよい。 New shape, ties may be of all blocks may be rectangular or circle to include all blocks.
【0094】 [0094]
このようにして、参照フレームの図形内画像を複数のブロックに分割し、複数のブロックそれぞれについて現フレームとの誤差が最小となる領域を探索し、そして探索された複数の領域を囲む図形を現フレームに設定することにより、初期設定された図形の形状や大きさによらず、図形設定対象となる入力フレームに対して最適な形状の新たな図形を設定することが可能となる。 In this way, the figure in the image of the reference frame is divided into a plurality of blocks, the error between the current frame to search for the area to be minimized for each of a plurality of blocks, and a graphic surrounding the searched plurality of regions present by setting the frame, initially set regardless of the shape and size of the figure, it is possible to set a new figure optimum shape with respect to an input frame as a graphic set.
【0095】 [0095]
なお、図形設定に用いる参照フレームは既に図形が設定されていて且つ現フレームと時間的にずれたフレームであればよく、通常の符号化技術で前方向予測と後方向予測とが使用されていることと同様、現フレームよりも時間的に後のフレームを図形設定のための参照フレームとして用いることも可能である。 Incidentally, it may be a reference frame frame shifted already manner and and the current frame have been set the graphic time used for graphic setting, and the forward prediction and backward prediction in a conventional encoding technique is used as well as, it is also possible to use as a reference frame for the graphic set frame after in time than the current frame.
【0096】 [0096]
図6には、背景動き削除部21の具体的な構成の一例が示されている。 Figure 6 is an example of a specific configuration of the background motion deletion unit 21 are shown.
【0097】 [0097]
代表背景領域設定部51は、時間的にずれた任意の図形内画像とその位置501を入力とし、代表背景領域503を出力する。 Representative background region setting unit 51 arbitrary figure in an image offset in time and inputs the position 501, and outputs the representative background region 503. 代表背景領域とは、任意の図形内のグローバルな動き、つまり図形内における背景の動きを代表して表す領域で、例えば、任意の図形を長方形にした場合、図7に示すような、長方形を囲む数画素幅の帯状の枠領域を設定する。 The representative background regions, global motion in any shape, i.e. in the region collectively represents the motion of the background in the figure, for example, when the arbitrary shape to a rectangle, as shown in FIG. 7, a rectangular setting the strip-shaped frame region of several pixels wide surrounding. また、図形内の外側の数画素を使っても良い。 Further, there may be used the number of pixels in the outer in the figure. 動き検出部52では、現フレーム502と、該代表背景領域503を入力し、動き504を出力する。 The motion detection unit 52, the current frame 502, enter the surrogate table background area 503, and outputs a motion 504. 先の例を用いると、長方形周囲の帯状の枠領域の現フレームに対する動きを検出する。 Using the previous example, to detect the motion for the current frame of the band-shaped frame region of the rectangle surrounding. 枠領域をーつの領域として検出しても良い。 It may detect a frame region as an area of ​​Tsu. また、図7のように、複数のブロックに分割して動きを求め、各々の平均動きを出力しても良いし、最も多い動きを出力しても良い。 Further, as shown in FIG. 7, obtains motion is divided into a plurality of blocks, may output the average motion of each may output the largest motion.
【0098】 [0098]
動き補償部53では、該時間的にずれたフレーム501と、該動き504を入力とし、動き補償画像505を出力する。 The motion compensation unit 53, a frame 501 shifted in the time as input the motion 504, and outputs the motion compensation image 505. 先に求めた動きを使って、時間的にずれたフレームの動きを現フレームに合わせて削除する。 Using the movement the previously obtained, to delete in accordance with the current frame the movement of the frame offset in time. 動き補償は、ブロックマッチング動き補償またはアフィン変換を使った動き補償でもよい。 Motion compensation may be a motion compensation using the block matching motion compensation or an affine transformation.
【0099】 [0099]
なお、動き削除は、図形内の背景に対してのみならず、フレーム全体に対して行うようにしても良い。 Incidentally, motion deleted, not against the background of the graphics only, may be performed for the entire frame.
【0100】 [0100]
以上のように、本実施形態においては、(1)物体の輪郭ではなく、その物体を大まかに囲む図形を用いて物体を追跡していくこと、(2)現フレームに任意の図形を設定し、現フレームと少なくとも2つのフレームそれぞれの図形内画像との共通の背景領域を決定し、現フレームの物体を抽出すること、(3)該時間的にずれた少なくとも2つのフレームの背景の動きを削除すること、(4)任意の図形内画像間の変化量を検出し、代表領域を決定し、現フレームと少なくとも2つのフレームの図形内画像とその位置の、背景に対応する変化量を決定し、変化量と代表領域との関係から背景かどうかを判定すること、(5)図形内画像を分割し、任意の図形内画像又は分割された図形内画像の一部の動きを検出し、任意の図形内画像又は分 As described above, in the present embodiment, (1) rather than a contour of an object, to continue to track the object using a figure surrounding the object roughly sets the arbitrary figure in the current frame (2) to determine a common background region of the at least two frames each graphic in the image and the current frame, extracting the object of the current frame, and (3) the motion of the background of at least two frames the time-shift deleting, (4) detecting the variation between any shapes within the image, and determining a representative area, determines that the current frame and at least two frame shapes in the image of that position, the change amount corresponding to the background and, determining whether the background from the relationship between the variation amount and the representative area, (5) dividing the figure in an image, detecting a portion of the motion of the arbitrary figure in an image or a divided shape in an image, in any graphic images or minutes された図形内画像の一部を分割するか否かを判定し、現フレームの任意の図形内画像と位置を決定すること、(6)背景を代表する領域を設定し、背景の動きを検出し、該時間的にずれたフレームの背景の動きを削除した画像を作ることにより、目的の物体以外の周囲の余分な動きに影響を受けずに、且つ比較的簡単な処理で、目的の物体を精度良く抽出・追跡することが可能となる。 Has been determined whether to split a part of the graphic in the image, determining the position and arbitrary figure in the image of the current frame, and sets an area representative of (6) background, it detects a motion of the background and, by making the image deleting the motion of the background of the frame offset in the time, without being affected extra movement around the non-target object, and a relatively simple process, the object of interest it is possible to accurately extract and track.
【0101】 [0101]
また、本実施形態の物体抽出・追跡処理の手順はソフトウェア制御によって実現することもできる。 Also, the procedure object extraction and tracking process of the present embodiment can also be realized by software control. この場合でも、基本的な手順は全く同じであり、図形の初期設定を行った後に、入力フレームに対して順次図形設定処理を行い、この図形設定処理と並行してあるいは図形設定処理完了後に、背景領域決定処理、物体抽出処理を行えばよい。 In this case, the basic procedure is exactly the same, after the initial setting of the figure, sequentially performs a figure setting processing for the input frame, after parallel with this figure setting process or figure setting processing is completed, background area decision process may be performed object extraction processing.
【0102】 [0102]
次に、本発明の第2実施形態を説明する。 Next, a second embodiment of the present invention.
【0103】 [0103]
前述の第1実施形態では、ORAND法による一つの物体抽出手段のみを備えていたが、入力画像によってはその手段だけでは十分な抽出性能が得られないこともある。 In the first embodiment described above, but equipped with only one object extraction means by ORAND method, the input image may not sufficient extraction performance is obtained only the means. また、第1実施形態のORAND法では、物体抽出対象となる現フレームと、この現フレームに対し時間的に異なる第1の参照フレームとの差分に基づいて共通の背景を設定し、また別の現フレームと時間的に異なる第2の参照フレームとの差分に基づいて共通の背景を設定している。 Further, in the ORAND method of the first embodiment, the current frame to be the object extraction target, it sets a common background based on the difference between the current frame temporally different first reference frame to also separate It is set a common background based on a difference between different second reference frame to the current frame and the temporal. しかし、この第1及び第2の参照フレームの選択方法は特に与えられていない。 However, the selection method of the first and second reference frame has not been given particularly. 第1及び第2の参照フレームの選択によっては、物体の抽出結果に大きな差が生まれ、良好な結果を得られないことがあり得る。 Dependent on the selection of the first and second reference frame, have a significant effect on the object extraction results, we are possible that not obtain good results.
【0104】 [0104]
そこで、本第2実施形態では、入力画像によらずに物体を高精度に抽出できるように第1実施形態を改良している。 Accordingly, in the second embodiment, by improving the first embodiment so that we can extract the object with high accuracy regardless of the input image.
【0105】 [0105]
まず、図9のブロック図を用いて、第2実施形態に係る物体追跡/抽出装置の第1の構成例について説明をする。 First, with reference to the block diagram of FIG. 9, the description will be given of a first exemplary configuration of the object tracking / extracting apparatus according to the second embodiment.
【0106】 [0106]
以下では、第1実施形態の物体追跡/抽出部2に対応する構成のみについて説明する。 Hereinafter, only the description will be given of a configuration corresponding to the object tracking / extracting section 2 of the first embodiment.
【0107】 [0107]
図形設定部60は、図2で説明した第1実施形態の図形設定部11と同じものであり、フレーム画像601と、初期フレームまたは既に他の入力フレームに対して設定した図形602とを入力とし、フレーム画像601に図形を設定して出力する。 Figure setting section 60 is the same as the figure setting unit 11 of the first embodiment described in FIG. 2, a frame image 601, the initial frame or already as input and the figure 602 set for the other input frames , and it outputs the set shapes to the frame image 601. スイッチ部SW61は、既に行われた物体抽出の結果605を入力とし、それに基づいて、使用すべき物体抽出部を切り替えるための信号604を出力する。 Switch unit SW61 are already receives the object extraction results 605 made, based thereon, and outputs a signal 604 for switching the object extraction unit should be used.
【0108】 [0108]
物体追跡・抽出部62は、図示のように第1乃至第Kの複数の物体追跡・抽出部から構成されている。 Object tracking and extraction unit 62 is constituted by a plurality of object tracking and extraction of the first to K as shown. これら物体追跡・抽出部はそれぞれ異なる手法で物体抽出を行う。 Performing object extraction in different ways these object tracking and extraction unit, respectively. 物体追跡・抽出部62の中には、第1実施形態で説明したORAND法を用いるものが少なくとも含まれている。 Some object tracking and extraction unit 62, those using ORAND method described in the first embodiment is included at least. また、別の方法による物体追跡・抽出部としては、例えばブロックマッチングによる形状予測法を用いたものや、アフィン変換による物体形状予測などを使用することができる。 As the object tracking-extractor according to another method, can be used, for example those using a shape prediction method using block matching or the like object shape predicted by the affine transformation. これら形状予測では、既に物体抽出されたフレームと現フレームとのフレーム間予測により現フレーム上の物体領域の位置または形状が予測され、その予測結果に基づいて現フレームの図形内画像603から物体領域が抽出される。 These shape prediction, the position or shape of the object region on the current frame is predicted by already inter-frame prediction of the current frame and the frame that is the object extracted, the object area from the graphic in the image 603 of the current frame based on the prediction result There are extracted.
【0109】 [0109]
ブロックマッチングによる形状予測の一例を図13に示す。 An example of a shape prediction by block matching is shown in FIG. 13. 現フレームの図形内画像は図示のように同じ大きさのブロックに分割される。 Figure within the image of the current frame is divided into blocks of the same size as shown. 各ブロック毎に絵柄(テクスチャ)が最も類似したブロックが、既に物体の形状及び位置が抽出されている参照フレームから探索される。 Pattern (texture) in each block is most similar block is already searched from the reference frame to the shape and position of the object is extracted. この参照フレームについては、物体領域を表すシェイプデータが既に生成されている。 This reference frame shape data representing the object area has already been generated. シェイプデータは、物体領域に属する画素の画素値を“255”、それ以外の画素値を“0”で表したものである。 Shape data, the pixel values ​​of the pixels belonging to the object region "255" is a representation other pixel values ​​"0". この探索されたブロックに対応するシェイプデータが、現フレームの対応するブロック位置に張り付けられる。 Shape data corresponding to the searched block is affixed to the corresponding block position of the current frame. このようなテクスチャの探索およびシェイプデータの張り付け処理を現フレームの図形内画像を構成する全ブロックについて行うことにより、現フレームの図形内画像は、物体領域と背景領域を区別するシェイプデータによって埋められる。 By performing for all the blocks constituting the graphics in the image of the current frame affixed processing search and shape data for such texture, shape the image of the current frame is filled by the distinguishing shape data of the object area and the background area . よって、このシェイプデータを用いることにより、物体領域に対応する画像(テクスチャ)を抽出することができる。 Therefore, by using this shape data, it is possible to extract an image (texture) corresponding to the object region.
【0110】 [0110]
スイッチ部SW61は、例えば第1の物体追跡抽出部と同様の操作を行ない、抽出精度が良い場合は第1の物体追跡抽部を選ぶよう切り替え、そうでない場合は別の物体追跡抽出部を選ぶよう切り替える。 Switch unit SW61, for example performs the same operation as the first object tracking extraction unit, if the extraction accuracy is good switching to choose the first object tracking 抽部, otherwise choose another object tracking extractor Yo switched. 例えば、第1の物体追跡抽出部が、ブロックマッチングによる物体形状予測手段であるとすれば、マッチング誤差の大きさによって物体追跡抽出部の切り替えを制御すればよい。 For example, a first object tracking extraction unit, if an object shape prediction unit by block matching, may be controlled to switch the object tracking extraction unit according to the size of the matching error. また、アフィン変換による物体形状予測であれば、アフィン変換係数の推定誤差の大きさによって物体追跡抽出部を切り替えることができる。 Further, if the object shape predicted by the affine transformation, it is possible to switch the object tracking extraction unit according to the size of the estimation error of affine transform coefficients. スイッチ部SW61での切替の単位は、フレーム単位ではなく、フレーム内の小領域、例えばブロック毎や、輝度や色に基づいて分割した領域毎である。 Unit of switching of the switch unit SW61 is not a frame unit, a small region within a frame, and for example each block, is every regions divided on the basis of the luminance and color. これにより、使用する物体抽出法をよりきめ細かに選択することが出来、抽出精度を高めることができる。 This makes it possible to be able to select the object extraction method using more finely, increase the extraction accuracy.
【0111】 [0111]
図10には、第2実施形態に係る動画像物体追跡/抽出装置の第2の例が示されている。 Figure 10 is a second example of a moving image object tracking / extracting apparatus according to the second embodiment.
【0112】 [0112]
図形設定部70は図2で説明した第1実施形態の図形設定部11と同じものであり、画像701と、初期フレームまたは既に他の入力フレームに対して設定した図形702とを入力し、フレーム画像701に図形を設定して出力する。 The figure setting section 70 is the same as the figure setting unit 11 of the first embodiment described in FIG. 2, type images 701, the initial frame or already and the figure 702 set for other input frames, frame sets and outputs the graphic in the image 701.
【0113】 [0113]
第2の物体追跡・抽出部71は、ブロックマッチング法やアフィン変換などの形状予測によって物体領域を抽出するために使用され、図形設定部70から出力される現フレームの図形内画像703と、既に抽出されている別の参照フレーム上の物体の形状及び位置707を入力とし、現フレームの図形内画像703から物体の形状及び位置を予測する。 The second object tracking and extraction unit 71 is used to extract the object region by the shape prediction of block matching method or affine transformation, a figure in an image 703 of the current frame outputted from the graphic setting unit 70, already the object of the shape and position 707 on another reference frame that is extracted as input to predict the shape and position of the object from the graphic in the image 703 of the current frame.
【0114】 [0114]
参照フレーム選択部72は、第2の物体追跡・抽出部71によって予測された現フレームの物体の予測形状及び位置704と、既に抽出されている物体の形状及び位置707とを入力し、少なくとも2つの参照フレームを選択する。 Reference frame selection unit 72 receives a second object tracking of objects in the current frame predicted by-extracting unit 71 predicted shape and position 704, of the object that is already extracted the shape and position 707, at least 2 to select One of the reference frame. ここで、参照フレームの選択方法について説明する。 Here, the selection method of the reference frame will be described.
【0115】 [0115]
,O ,O currは各々フレームi,j及び抽出中のフレームcurrの物体とする。 O i, O j, O curr each frame i, the object frame curr of j and during extraction. 2つの時間的に異なる参照フレームf ,f との差分d ,d を取って、これら差分をAND処理して現フレームf currの物体を抽出すると、抽出したい物体O curr以外に、物体O ,O の重なり部分が時間的に異なるフレームのAND処理により抽出される。 Two temporally different reference frames f i, the difference d i between f j, taking d j, when extracting the object of these differences to AND processing the current frame f curr, extracted in addition to the object O curr to be, object O i, the overlapping portion of the O j are extracted by aND processing of different frames in time. 勿論、O ∩ O =φ、つまり物体O ,O Of course, O i ∩ O j = φ , that is the object O i, O j の重なり部分が存在せず、物体O ,O の重なりが空集合となる場合には問題ない。 There is no overlapping portion of, no problem when the object O i, the O j overlap becomes an empty set.
【0116】 [0116]
しかし物体O ,O の重なり部分が存在し(O ∩ O ≠φ)、かつ、この重なり部分が抽出したい物体の外部に存在する場合は、O currと、O ∩ O の二つが抽出結果として残る。 But there is overlapping portion of the object O i, O j (O i ∩ O j ≠ φ), and, when present in an external object to be extracted is the overlapping portion, and O curr, the O i ∩ O j two remains as extraction results.
【0117】 [0117]
この場合、図14(a)のように、O currの背景領域(O curr  ̄)と、物体Oi と、O との全ての共通領域が存在しない場合{O curr In this case, as shown in FIG. 14 (a), the the O curr background region and (O curr ¯), and the object Oi, all cases where the common area does not exist {O curr ¯ and O j ∩ (O ∩ O )=φ}であれば、問題はない。 If ∩ (O i ∩ O j) = φ}, there is no problem. しかし、図14(b)のように、O currの背景領域(O curr  ̄)と、物体O と、O との全ての共通領域が存在する場合{O curr  ̄ ∩ (O ∩ O )≠φ}は、O currが斜線で示すような誤った形状で抽出される。 However, as shown in FIG. 14 (b), O curr the background region and (O curr ¯), and the object O i, if all of the common area between O j exists {O curr ¯ ∩ (O i ∩ O j)φ} is, O curr is extracted at the wrong shape shown by oblique lines.
【0118】 [0118]
従って、正しく物体の形状を抽出する最適な参照フレームf ,f とは、 Therefore, the optimal reference frame f i to correctly extract the shape of the object, and f j is
(O ∩ O )∩ O curr …(1) (O i ∩ O j) ∩ O curr ... (1)
を満たすフレーム、つまり、O ,O の重なり部分がO curr内に属するようなフレームf ,f である(図14(a))。 Frames satisfying, i.e., a O i, O j of the overlapping portion is frame f i as fall within the O curr, f j (FIG. 14 (a)).
【0119】 [0119]
また、2つ以上の参照フレームを選ぶ場合は、 Also, when choosing two or more reference frames,
(O ∩ O ∩…∩O )∩ O curr …(2) (O i ∩ O j ∩ ... ∩O k) ∩ O curr ... (2)
となる。 To become.
【0120】 [0120]
したがって、物体抽出対象となる現フレーム上の物体の位置または形状の予測結果に基づいて、(1)式または(2)式を満足するような参照フレームを選択することにより、確実に物体の形状を抽出することが可能になる。 Therefore, on the basis of the object position or shape of the prediction result on the current frame to be the object extraction target, by selecting the reference frame that satisfies the expression (1) or (2), of reliably object shape it is possible to extract.
【0121】 [0121]
第1の物体追跡・抽出部73では、参照フレーム選択部72で選択された少なくとも2つの参照フレーム705と、現画像701を入力し、ORAND法により物体を抽出してその形状及び位置706を出力する。 In the first object tracking and extraction unit 73, and at least two reference frames 705 selected in the reference frame selecting unit 72 receives the current image 701, and outputs the shape and position 706 extracts the object by ORAND method to.
【0122】 [0122]
メモリ74には、抽出された物体形状及び位置706が保持されている。 The memory 74, the object shape and position 706 extracted is held.
【0123】 [0123]
図11には、第2実施形態に係る物体追跡/抽出装置の第3の構成例が示されている。 11 is a third configuration example of the object tracking / extracting apparatus according to the second embodiment.
【0124】 [0124]
この物体追跡/抽出装置は、図示のように、図形設定部80、第2の物体追跡・抽出部81、スイッチ部SW82、および第1の物体抽出部83から構成されている。 The object tracking / extracting apparatus, as shown, figure setting unit 80, the second object tracking and extraction unit 81, and a switch unit SW82, and the first object extraction unit 83. 図形設定部80、第2の物体追跡・抽出部81、および第1の物体抽出部83は、それぞれ図10の図形設定部70、第2の物体追跡・抽出部71、および第1の物体抽出部73に対応している。 Figure setting unit 80, the second object tracking and extraction unit 81, and the first object extraction unit 83, figure setting unit 70, respectively, in FIG 10, the second object tracking and extraction unit 71, and the first object extraction It corresponds to the part 73. 本例では、スイッチ部SW82によって、第2の物体追跡・抽出部81の抽出結果と第1の物体抽出部83の抽出結果が選択的に使用される。 In this example, the switch unit SW82, extraction results and the extraction result of the first object extraction unit 83 of the second object tracking and extraction unit 81 are selectively used.
【0125】 [0125]
すなわち、図形設定部80では、画像801と初期図形の形状及び位置802を入力し、図形の形状及び位置803を出力する。 That is, in the figure setting section 80 inputs the shape and position 802 of the image 801 and the initial shape, outputs the shape and position 803 of the figure. 第2の物体追跡・抽出部81では、図形の形状及び位置803と、既に抽出されている物体の形状及び位置806を入力し、未だ抽出されていない物体の予測形状及び位置804を予測し、出力する。 In the second object tracking and extraction unit 81 predicts the shape and position 803 of the figure, already entered the shape and position 806 of the object being extracted, the object of the predicted shape and position 804 that has not yet been extracted, Output. スイッチ部SW82では、第2の物体抽出部で予測された物体の形状及び位置804を入力し、第1の物体追跡・抽出部を行なうかどうかを切り替える信号805を出力する。 In the switch unit SW82, a second object extraction predicted object in part shape and position 804, and outputs a signal 805 for switching whether to perform a first object tracking and extraction unit. 物体追跡・抽出部83では、既に抽出されている物体の形状及び位置806と、未だ抽出されていない物体の予測形状及び位置804を入力し、物体の形状及び位置805を決定し、出力する。 In the object tracking and extraction block 83, the object of the shape and position 806 that has already been extracted, type the predicted shape and position 804 of the object that has not yet been extracted, to determine the object shape and position 805, and outputs.
【0126】 [0126]
スイッチ部SW82での切替の単位は、上記で述べた例と同様にブロック毎に切り替えても良いし、輝度や色に基づいて分割した領域毎に切り替えても良い。 Unit of switching of the switch unit SW82 may be switched similarly for each block in the example described above may be switched for each region divided on the basis of the luminance and color. 切替を判断する方法として、例えば物体予測したときの予測誤差を用いることができる。 As a method of determining the switching, it is possible to use a prediction error when for example the object predicted. すなわち、フレーム間予測を用いて物体抽出を行う第2の物体追跡・抽出部81における予測誤差が所定のしきい値以下の場合には、第2の物体追跡・抽出部81によって得られた予測形状が抽出結果として使用されるようにスイッチ部SW82による切替が行われ、第2の物体追跡・抽出部81における予測誤差が所定のしきい値を越えた場合には、第1の物体追跡・抽出部83によってORAND法にて物体抽出が行われるようにスイッチ部SW82による切替が行われ、その抽出結果が外部に出力される。 That is, when the prediction error in the second object tracking and extraction unit 81 which performs object extraction by using inter-frame prediction is less than a predetermined threshold, the prediction obtained by the second object tracking and extraction unit 81 shape extraction result switching by the switch unit SW82 is performed to be used as, in the case where the prediction error in the second object tracking and extraction unit 81 exceeds a predetermined threshold value, tracking and the first object object extraction with ORAND method by the extracting unit 83 is performed is switched by the switch unit SW82 to take place, the extraction result is output to the outside.
【0127】 [0127]
図15は、予測の単位となるブロック毎にマッチング誤差に基づいて、使用する抽出部を切り替えた場合の抽出結果の例を示している。 Figure 15 is based on the matching error for each block as a unit of prediction shows an example of extraction results of the case of switching the extraction unit to be used.
【0128】 [0128]
ここで、網目で示した領域は第2の物体追跡・抽出部81による予測で得られた物体形状であり、斜線で示した領域は第1の物体追跡・抽出部83によって得られた物体形状である。 Here, the region indicated by the network is the object shape obtained in the prediction by the second object tracking and extraction unit 81, the object shape region shown by oblique lines obtained by the first object tracking and extraction block 83 it is.
【0129】 [0129]
図12には、本第2実施形態に係る動画像物体追跡/抽出装置の第4の構成例が示されている。 Figure 12, a fourth configuration example of a moving image object tracking / extracting apparatus according to the second embodiment.
【0130】 [0130]
この物体追跡/抽出装置は、図11の構成に加え、図10の参照フレーム選択部を追加したものである。 The object tracking / extracting apparatus, in addition to the configuration of FIG. 11, with the addition of a reference frame selector of FIG.
【0131】 [0131]
図形設定部90では、画像901と初期図形の形状及び位置902を入力し、図形の形状及び位置903を出力する。 The figure setting section 90 inputs the shape and position 902 of the image 901 and the initial shape, outputs the shape and position 903 of the figure. 第2の物体追跡・抽出部91では、図形の形状及び位置903と、既に抽出されている物体の形状及び位置908を入力し、未だ抽出されていない物体の予測形状及び位置904を予測し、出力する。 In the second object tracking and extraction unit 91 predicts the shape and position 903 of the figure, already entered the shape and position 908 of the object being extracted, the object of the predicted shape and position 904 that has not yet been extracted, Output. スイッチ部SW92は、その予測した物体の形状及び位置904を入力とし、予測物体の精度が良いか否かを判断し、第2の物体抽出部で抽出された物体の出力を切り替える信号905を出力する。 Switch unit SW92 receives as input the shape and position 904 of the object and its prediction, the prediction object accuracy to determine good or not, outputs a signal 905 for switching the output of the object extracted by the second object extraction unit to. 参照フレーム選択部93は、未だ抽出されていない物体の予測形状及び位置904と既に抽出されている物体の形状及び位置908を入力とし、少なくとも2つの参照フレームの物体または予測物体の形状及び位置906を選択し、出力する。 Reference frame selection unit 93, the object of the shape and position 908 that is already extracted the predicted shape and position 904 of the object that has not yet been extracted as an input, the shape and position of an object or predicted object of at least two reference frames 906 It is selected and output. 物体追跡・抽出部94は、現画像901と、少なくとも2つの参照フレームの物体又は予測物体の形状及び位置906を入力とし、物体を抽出して、その形状及び位置907を出力する。 Object tracking and extraction unit 94 includes a current image 901, as an input the shape and position 906 of the object or prediction object of at least two reference frames, to extract an object, and outputs the shape and position 907. メモリ95は、抽出した物体の形状及び位置907と、その予測した物体の形状及び位置904いずれかを保持する。 Memory 95, the object of the shape and position 907 extracted, retains one shape and position 904 of the object and its prediction.
【0132】 [0132]
以下、図16を参照して、本例における物体追跡/抽出方法の手順を説明する。 Referring to FIG. 16, the procedure of the object tracking / extraction method in this embodiment.
【0133】 [0133]
(ステップS1) (Step S1)
参照フレームの候補としては、現フレームと時間的にずれたフレームが予め設定される。 The candidate reference frames, frame shifted in time with the current frame is set in advance. これは現フレーム以外の全てのフレームでも良いし、現フレーム前後の数フレームと限定してもよい。 This may be in all of the frames other than the current frame, it may be limited to the number of frames before and after the current frame. 例えば、初期フレームと、現フレームより前3フレーム、現フレームより後1フレームの合計5フレームに限定する。 For example, the initial frame, three frames before the current frame, to limit a total of 5 frames of one frame after the current frame. ただし、前フレームが3フレームない場合はその分後のフレームの候補を増やし、後フレームが1フレームない場合はその分前4フレームを候補とする。 However, if the previous frame is not three frames increase the candidate frame after that amount, if the rear frame is not 1 the frame is a candidate for correspondingly pre-4 frame.
【0134】 [0134]
(ステップS2) (Step S2)
まず、ユーザが初期フレームに抽出したい物体を書こむ図形を例えば長方形で設定する。 First, the user sets a non-graphic write an object to be extracted in the initial frame for example rectangular. 以降のフレームの図形は初期設定の図形をブロックに分割し、マッチングを取って対応する位置にブロックを張り付ける。 It figures subsequent frame divides the graphic initialization block, pasting blocks in corresponding positions taking matching. 全ての張り付けたブロックを含むように新たに長方形を設定することで物体を追跡する。 Tracking objects by setting a new rectangle to include all pasted block. 全ての参照フレーム候補に物体追跡の図形を設定する。 To set the shape of the object tracking for all candidate reference frames. 物体が抽出される度にそれを使って先のフレームの物体追跡図形を求め直すほうが抽出エラーを防ぐことができる。 It is possible to prevent the extraction error should again seek object tracking figure of the previous frame with it each time the object is extracted. また、ユーザは初期フレームの物体形状を入力する。 Further, the user inputs the object shape of the initial frame.
【0135】 [0135]
以下、抽出するフレームは現フレームとし、現フレームより前のフレームは物体が既に抽出されており、先のフレームは抽出されていないとする。 Hereinafter, a frame to be extracted is set to the current frame, prior to the current frame frame are objects already extracted, the previous frame is not to be extracted.
【0136】 [0136]
(ステップS3) (Step S3)
参照フレーム候補の図形の周辺に適当な領域を設定し、現フレームとの背景の動きを検出して参照フレームの図形内の背景を削除する。 Set the appropriate region around the figure of the reference frame candidate, and deletes the background in the figure of the reference frame to detect a motion of the background of the current frame. 背景の動きを検出する方法として、図形の周囲数画素の幅の領域を設定し、この領域を現フレームに対してマッチングを取り、マッチング誤差が最小となる動きベクトルを背景の動きとする。 As a method for detecting the motion of the background, and sets an area having a width of around the number of pixels of the figure, take matching this region with respect to the current frame, the motion of the background motion vector matching error is minimum.
【0137】 [0137]
(ステップS4) (Step S4)
背景動き削除時の動きベクトル検出誤差が大きい参照フレームは候補から外すことにより、背景動き削除が適当でない場合の抽出エラーを防ぐことができる。 Reference frame motion vector detection error is large at the time of background motion deleted by removing from the candidate, it is possible to prevent the extraction errors when background motion deletion is not appropriate. また、参照フレーム候補が減った場合、新たに参照フレーム候補を選び直してもよい。 In addition, if the reference frame candidate has decreased, it may be re-select a new reference frame candidate. 新たに付け加えた参照フレーム候補の図形設定や背景動き削除が行なわれていない場合は、新たに図形設定および背景動き削除を行なう必要がある。 If figure setting or background motion deleting new reference frame candidate added is not performed, it is necessary to perform a new figure setting and background motion removed.
【0138】 [0138]
(ステップS5) (Step S5)
次に、未だ物体が抽出されていない現フレームと、現フレームより先の参照フレームの候補の物体形状を予測する。 Next, the current frame that has not yet been extracted object, to predict the shape of the object candidates in the previous reference frame from the current frame. 現フレーム又は先の参照フレームの候補に設定された長方形を例えばブロックに分割して既に物体が抽出されているフレーム(前のフレーム)とマッチングを取り、対応する物体形状を張り付けて物体形状を予測する。 The current frame or the previous frame candidate already object by dividing the set rectangular for example into blocks of the reference frame is extracted (previous frame) takes the matching predicted object shape pasted corresponding object shape to. 物体が抽出される度にそれを使って先のフレームの物体予測をやり直すほうが抽出エラーを防ぐことができる。 It is possible to prevent the extraction errors better with it each time the object is extracted again an object prediction of the previous frame.
【0139】 [0139]
(ステップS6) (Step S6)
この時、予測誤差が小さいブロックは、予測した形状を抽出結果としてそのまま出力する。 At this time, the block prediction error is small, and outputs it as an extraction result predicted shape. また物体形状の予測をブロック単位で処理を行なうとマッチング誤差によりブロック歪みが生じる場合があるので、それを消去するようなフィルターをかけ、全体の物体形状を滑らかにしてもよい。 Since there is a case where the performing processing to predict the object shape in units of blocks the block distortion by the matching error, multiplied by the filter as to erase it, may be smooth overall object shape.
【0140】 [0140]
物体追跡及び物体形状予測の時に行なう長方形の分割は、固定ブロックサイズで行なっても良いし、マッチング閾値によって階層的ブロックマッチングによって行なっても良い。 Division of the rectangle to be performed when the object tracking and object shape prediction may be performed in a fixed block size may be performed by hierarchical block matching by matching threshold.
【0141】 [0141]
予測誤差が大きいブロックについては、以下の処理を行う。 For block prediction error is large, the following processing is performed.
【0142】 [0142]
(ステップS7) (Step S7)
参照フレームの候補から仮の参照フレームを設定し、各々の組合せについて、式(1)又は式(2)を満たす参照フレームのセットを選ぶ。 Set the candidate tentative reference frame from the reference frame, for each combination of, choosing a set of reference frames satisfying Equation (1) or Formula (2). 全参照フレーム候補のどの組合せも式(1)又は式(2)を満たさなかった場合、O 内の画素数が最小のものを選ぶのがよい。 If any combination even that did not satisfy Expression (1) or Formula (2) of all the reference frame candidate, it is preferable number of pixels in O i O j chooses smallest. また、背景動き削除時の動きベクトル検出誤差がなるべく小さいフレームを選ぶように、参照フレーム候補の組合せを考慮するほうがよい。 Moreover, as a motion vector detection error at the time of background motion remove chooses as small as possible frame, it is better to consider the combination of the reference frame candidate. 具体的には、式(1)又は式(2)による条件が同じ参照フレームセットがあるばあい、背景動き削除時の動きベクトル検出誤差が小さい方を選ぶ、などの方法がある。 Specifically, when the condition according to equation (1) or Formula (2) have the same reference frame set, choose whichever motion vector detection error at the time of background motion deletion is small, there is a method such. 以下、参照フレームは2フレーム選択されたとする。 Hereinafter, the reference frame is assumed that the two frames selected.
【0143】 [0143]
(ステップS8) (Step S8)
参照フレームが選択されると、現フレームとのフレーム間差分を求め、設定された図形内のフレーム間差分に注目する。 With reference frame is selected, it obtains a difference between frames of the current frame, to focus on inter-frame difference in the set figure. 設定された図形の外側1ライン画素の差分の絶対値のヒストグラムを求め、多く現れる差分の絶対値を背景領域の差分値とし、設定された図形外側の1ライン画素の背景画素を決定する。 A histogram of the absolute value of the difference between the outer 1 line pixel of the set figure, the absolute value of a number appearing difference and the difference value in the background area, to determine the background pixels of one line pixel graphic outer set. 設定された図形外側の1ライン画素の背景画素から内側に向けて、隣接する背景領域の差分値をもつ画素を背景画素と決定し、背景画素でないと判定されるまで順次続ける。 And from the background pixels of one line pixel of the set shapes outside inwardly, the pixels having a difference value of adjacent background region is determined as a background pixel, sequentially continued until it is determined not to be a background pixel. この背景画素は、現フレームと一つの参照フレームとの共通の背景領域となる。 The background pixel is a common background region of the current frame and one reference frame. この時、ノイズの影響で背景領域とそれ以外の部分の境界が不自然であることがあるので、境界を滑らかにするフィルターや、余分やノイズ領域を削除するフィルターをかけてもよい。 In this case, since the boundary between the background region and other portions under the influence of the noise is to be unnatural, filters and to smooth the boundary may be a filtered to remove excess or noise region.
【0144】 [0144]
(ステップS9) (Step S9)
各々の参照フレームに対して共通の背景領域が求まると、二つの共通背景領域に含まれない領域を検出し、それを物体領域として抽出する。 When common background region is determined for each reference frame, and detects an area that is not included in the two common background region, it is extracted as an object area. 先に予測した物体の形状を用いない部分について、ここでの結果を出力し、物体全体の形状を出力する。 The portion without using the shape of the object predicted earlier, and outputs the result of this case, and outputs the shape of the entire object.
【0145】 [0145]
共通の背景から求めた形状を用いる部分と先に予測した物体形状を用いる部分の整合性が取れない場合、最後にフィルターをかけて出力結果を見ために良いものにできる。 If the consistency of the part using the object shape predicted in part and previously used a shape determined from the common background is not taken, it can be made good to look at the output end over the filter.
【0146】 [0146]
以上説明したように、本第2実施形態によれば、入力画像によらずに物体を精度良く抽出できる。 As described above, according to the second embodiment, the object can be accurately extracted regardless of the input image. 又は、物体抽出に適した参照フレームを選択することができる。 Or you may select a reference frame suitable for object extraction.
【0147】 [0147]
次に、本発明の第3実施形態を説明する。 Next, a third embodiment of the present invention.
【0148】 [0148]
まず、図17のブロック図を用いて、第3実施形態に係る物体追跡/抽出装置の第1の例を説明をする。 First, with reference to the block diagram of FIG. 17, a first example of object tracking / extracting apparatus according to a third embodiment will be described.
【0149】 [0149]
ここでは、物体抽出対象となる現フレームから、その少なくとも一部の領域についての画像の特徴量を抽出し、その特徴量に基づいて複数の物体抽出手段を切り替える構成が採用されている。 Here, from the current frame to be the object extraction target, and extracts the feature amount of the image for at least a part of the area, configured to switch between a plurality of object extraction means based on the feature amount is employed.
【0150】 [0150]
すなわち、本物体追跡/抽出装置は、図示のように、図形設定部110、特徴量抽出部111、スイッチ部SW112、複数の物体追跡・抽出部113、およびメモリ114から構成されている。 In other words, real object tracking / extracting device, as shown, figure setting unit 110, the feature extraction unit 111, and a switch portion SW 112, a plurality of object tracking and extraction unit 113, and memory 114. 図形設定部110、スイッチ部SW112、複数の物体追跡・抽出部113は、それぞれ第2実施形態で説明した図9の図形設定部60、スイッチ部SW61、および複数の物体追跡・抽出部62と同じであり、特徴量抽出部111によって抽出された現フレームの画像の特徴量に基づいて、使用する物体追跡・抽出部の切替が行われる点が異なっている。 Figure setting unit 110, the switch portion SW 112, a plurality of object tracking and extraction unit 113, respectively figure setting section 60 of FIG. 9 described in the second embodiment, the same as the switch unit SW61 and a plurality of object tracking and extraction unit 62, , and the based on the feature amount of the image of the current frame extracted by the feature amount extraction unit 111, and differs in that switching of object tracking and extraction section to be used is performed.
【0151】 [0151]
図形設定部110は、抽出フレーム1101と、ユーザ設定による初期図形1102と、既に抽出されたフレームの抽出結果1106を入力とし、抽出フレームに図形を設定してその図形を出力する。 Figure setting unit 110, an extraction frame 1101, an initial graphical 1102 set by the user, already receives the extraction result 1106 of frames extracted, by setting the shape and outputs the figure the extraction frame. 図形は長方形、円、楕円、など幾何図形でもよいし、ユーザが物体形状を図形設定部110に入力してもよい。 Graphic rectangle, circle, ellipse, may be a geometry such, the user may input the object shape in the figure setting section 110. その場合、図形は精密な形状でなくても、大まかな形状でもよい。 In that case, figure not be a precise shape, or a rough shape. 特徴量検出部111は、図形が設定された抽出フレーム1103と、既に抽出されたフレームの抽出結果1106とを入力とし、特徴量1104を出力する。 Feature amount detection unit 111, an extraction frame 1103 a shape is set already as input and extraction result 1106 of frames extracted, and outputs the feature amount 1104. スイッチ部SW112は、特徴量1104と、既に抽出されたフレームの抽出結果1106とを入力とし、図形が設定された抽出フレーム1103の物体追跡・抽出部への入力を制御する。 Switch unit SW112 includes a feature quantity 1104, already receives the extraction result 1106 of frames extracted, it controls the input to the object tracking and extraction of the extraction frame 1103 a shape is set.
【0152】 [0152]
スイッチ部SW112は、画像全体に対して特徴量を得た場合は、画像の性質を検出し、画像に対して適当な物体追跡・抽出部への入力の制御に用いることができる。 Switch unit SW112, if obtaining the feature amount for the entire image to detect the properties of the image, can be used to control the input to the appropriate object tracking and extraction unit to the image. 図形内部は適当な大きさに分割され、特徴量は各分割図形毎に与えても良い。 Graphic inside is divided into an appropriate size, the feature amount may be given to each divided figure. 特徴量は分散や輝度勾配、エッジ強度などであり、この場合は、これらを自動的に算出することができる。 Feature amount and the like dispersed and brightness gradient, edge intensity, in this case, can be calculated automatically turn them. また、人間が視覚的に認知した物体の性質がユーザによってスイッチ部W112に与えられてもよい。 Also, the nature of the human being visually recognized object may be provided to the switch unit W112 by the user. 例えば、目的とする物体が人物であれば、エッジが不鮮明な髪の毛を指定して抽出時のパラメータが特別に選ばれ、前処理にエッジ補正してから抽出されてもよい。 For example, if the object is a person of interest, an edge is selected is a special parameter when extracted by specifying a blurred hair, may be extracted from the edge correction in the pre-treatment.
【0153】 [0153]
特徴量は、設定された図形内部(物体及びその周辺)に関してだけでなく、図形外部(背景部)に関する特徴量でも良い。 Feature amount, not only with respect to internal patterns set (object and its periphery), may be a feature amount relating to figure external (background portion).
【0154】 [0154]
複数(第1〜k)の物体追跡・抽出部113の各々では、図形が設定された抽出フレーム1103と、既に抽出されたフレームの抽出結果1106とを入力とし、物体を追跡・抽出した結果1105を出力する。 In each of object tracking and extraction section 113 of the plurality (first 1 to k), the result figure the extraction frame 1103 that is set already as input and extraction result 1106 of frames extracted, and tracking and extracting an object 1105 to output.
【0155】 [0155]
複数の物体追跡・抽出部113は、ORAND法を使用して物体を抽出するもの、クロマキーを使用して物体を抽出するもの、ブロックマッチングやアフィン変換によって物体を抽出するものなどを含む。 A plurality of object tracking and extraction unit 113 includes extracts a object using ORAND method, which extracts an object by using the chromakey, and extracts a object by block matching and affine transformation.
【0156】 [0156]
なお、実施形態1では、設定された図形の周囲の画素値のフレーム間差分のヒストグラムを用いて、背景画素が決定されているが、単純に、フレーム間差分が閾値以下の画素が背景画素と決定されても良い。 In the first embodiment, using the histogram of the inter-frame difference of the pixel values ​​around the set figure, but the background pixel is determined, simply, the following pixel frame difference threshold and the background pixel it may be determined. また、実施形態1では、設定された図形から図形内部に向かって背景画素(差分値が一定値以下)が決定されているが、図形から図形外部へ向けて物体画素(差分値が一定値以上)も決定されても良いし、任意の操作順でもよい。 In the first embodiment, although background pixels toward the inside shape from the set figures (difference value is below a predetermined value) are determined, the object pixel toward the figure to figure outside (the difference value is above a certain value ) also may be determined may be any operation order.
【0157】 [0157]
メモリ114は、物体を追跡・抽出した結果1105を入力とし、それを保持する。 Memory 114 inputs the result 1105 track and extract an object, hold it.
【0158】 [0158]
以下、画像の性質を示す特徴量によって、追跡/抽出方法を切替えると、よりよい抽出結果が得られる理由について説明する。 Hereinafter, the feature amount indicating the nature of the image, when switching the tracking / extraction method will be described why a better extraction results.
【0159】 [0159]
例えば、背景の動きがあるかどうか予め分かるならば、その性質を使った方がよい。 For example, if understood in advance whether there is a motion of the background, it is better to use its properties. 背景の動きがある場合は、背景動き補償が行なわれるが、完全に補償できるかわからない。 If there is motion in the background, but the background motion compensation is performed, I do not know can be completely compensated. 複雑な動きをするフレームではほとんど動き補償できない。 Can hardly motion compensation in the frame of a complex movement. このようなフレームは、背景動き補償の補償誤差で予め分かるので、参照フレーム候補にしないなど工夫が可能である。 Such a frame, since previously seen by the compensation error of the background motion compensation, such as not in the reference frame candidate is possible contrivance. しかし、背景の動きがない場合は、この処理は不必要である。 However, if there is no motion of the background, this process is unnecessary. 別の物体が動いていると、誤った背景動き補償が行なわれたり、そのフレームは参照フレーム候補から外れたりして参照フレーム選択条件に最適なフレームであっても選ばれず、抽出精度が落ちることがある。 If another object is moving, accidentally background motion compensation is performed with, the frame is not selected even optimal frame in the reference frame selection criteria or disconnected from the reference frame candidate, the extraction accuracy drops there is.
【0160】 [0160]
また、一つの画像中にも多様な性質が混在している。 Furthermore, the diverse nature also in a single image are mixed. 物体の動きやテクスチャも部分的に異なり、同じ追跡・抽出方法及び装置やパラメータではうまく物体が抽出できないことがある。 Also partially different object motion and texture, it may not be extracted is well object with the same tracking and extraction method and apparatus and parameters. 従って、ユーザが画像中の特殊な性質を持つ一部を指定したり、画像中の違いを自動的に特徴量として検出して、部分的に追跡・抽出方法を切替えて物体を抽出したり、パラメータを変更した方がよい。 Therefore, to specify the part that has special properties users in the image, by detecting the difference in the image as automatic feature quantity, and extract an object by switching the partial tracking and extraction method, it is better to change the parameters.
【0161】 [0161]
このようにして、複数の物体の追跡・抽出手段を切替えれば、様々な画像中の物体の形状を精度良く抽出することが可能になる。 In this manner, be switched to tracking and extraction means of a plurality of objects, it is possible to accurately extract the shape of the object in the different images.
【0162】 [0162]
次に、図18のブロック図を用いて、第3実施形態に係る動画像物体追跡/抽出装置の第2の構成例について説明する。 Next, with reference to the block diagram of FIG. 18, a description of a second configuration example of a moving image object tracking / extracting apparatus according to the third embodiment.
【0163】 [0163]
図形設定部120は、抽出フレーム1201と、ユーザ設定による初期図形1202と、既に抽出されたフレームの抽出結果1207を入力とし、抽出フレームに図形を設定して出力する。 Figure setting section 120, an extraction frame 1201, an initial graphical 1202 set by the user, already receives the extraction result 1207 of frames extracted, and outputs the set shapes to extraction frame. 第2の物体追跡・抽出部121は、ブロックマッチング法やアフィン変換などの形状予測によって物体領域を抽出するために使用され、図形が設定された抽出フレーム1203と、既に抽出されたフレームの抽出結果1207を入力とし、物体の追跡・抽出結果1204を出力する。 The second object tracking and extraction unit 121 is used to extract the object region by the shape prediction of block matching method or affine transformation, the extraction frame 1203 a shape is set, the frame extraction result of the already extracted 1207, and outputs an tracking and extraction result 1204 of the object.
【0164】 [0164]
特徴量抽出部122は、物体の追跡・抽出結果1204を入力とし、物体の特徴量1205をスイッチ部SW123に出力する。 Feature amount extraction unit 122 inputs the tracking and extraction result 1204 of an object, and outputs the feature amount 1205 of the object to the switch SW123. スイッチ部SW123は、物体の特徴量1205を入力として、第一の物体追跡・抽出部への物体の追跡・抽出結果1204の入力を制御する。 Switch unit SW123 as inputs the feature quantity 1205 of an object, controls the input of the first object tracking and object tracking and extraction into the extraction unit results 1204. 例えば、第2の物体追跡・抽出部121でブロックマッチング法により物体形状が追跡・抽出された場合、特徴量をマッチング誤差として、このマッチング誤差が小さい部分は第2の物体追跡・抽出部121による予測形状の抽出結果として出力される。 For example, if the object shape by the block matching method in the second object tracking and extraction unit 121 is tracking and extracting the feature amount as a matching error, part the matching error is small due to the second object tracking and extraction section 121 It is outputted as the extraction result of the predicted shape. また他の特徴量として、ブロック毎に輝度勾配や分散、テクスチャの複雑さを表すパラメータ(フラクタル次元など)がある。 As another feature quantity, the brightness gradient and dispersion for each block, a parameter (such as fractal dimension) representing the complexity of texture. 輝度勾配を用いた場合、輝度勾配がほとんどないブロックに対しては、ORAND法による第1の物体追跡・抽出部124の結果が使用されるように第一の物体追跡・抽出部への入力が制御される。 When using the luminance gradient for the little block luminance gradient, is input to the first object tracking and extraction unit as a result of the first object tracking and extraction unit 124 is used by ORAND method It is controlled. またエッジ検出をして、エッジの有無や強度を特徴量とした場合、エッジのない所、弱い所では第1の物体追跡・抽出部124の結果が使用されるように第一の物体追跡・抽出部への入力が制御される。 Also by the edge detection, if the existence and strength of the edge and the feature amount, where there is no edge, while low at first object tracking and as a result of the first object tracking and extraction unit 124 is used input to the extraction unit is controlled. このように、画像の一部分であるブロック単位や領域単位で、切替の制御が変えられる。 Thus, in block units and area unit is a portion of an image, control of the switching is changed. 切替の閾値を大きくしたり小さくしたりすることで、適応的な制御ができる。 By increase or decrease the threshold value of the switching, it is adaptive control.
【0165】 [0165]
第1の物体追跡・抽出部124は、抽出フレーム1201と、物体の追跡・抽出結果1204と、既に抽出されたフレームの抽出結果1207を入力とし、抽出フレームの追跡・抽出結果1206をメモリ125に出力する。 The first object tracking and extraction unit 124, an extraction frame 1201, a tracking and extraction result 1204 of the object, already receives the extraction result 1207 of frames extracted, the tracking and extraction result 1206 of the extraction frame memory 125 Output.
メモリ125は、抽出フレームの追跡・抽出結果1206を入力とし、保持する。 Memory 125, a tracking and extraction result 1206 of the extracted frame as input, holds.
【0166】 [0166]
次に、図19のブロック図を用いて、本第3実施形態に係る物体追跡/抽出装置の第3の構成例をする。 Next, with reference to the block diagram of FIG. 19, the third configuration example of the object tracking / extracting apparatus according to the third embodiment.
【0167】 [0167]
この物体追跡/抽出装置は、図18の構成に加え、第2実施形態で説明した参照フレーム選択部を追加したものである。 The object tracking / extracting apparatus, in addition to the configuration of FIG. 18, with the addition of a reference frame selector described in the second embodiment. すなわち、この物体追跡/抽出装置は、図示のように、図形設定部130、第2の物体追跡・抽出部131、特徴量抽出部132、スイッチ部SW133、参照フレーム選択部134、第1の物体追跡・抽出部135、およびメモリ136から構成されている。 That is, the object tracking / extracting apparatus, as shown, figure setting unit 130, a second object tracking and extraction unit 131, the feature extraction unit 132, the switch unit SW133, the reference frame selector 134, a first object and a tracking and extraction unit 135, and a memory 136.
【0168】 [0168]
図形設定部130では、抽出フレーム1301と、ユーザ設定による初期図形1302と、既に抽出されたフレームの抽出結果1308を入力とし、抽出フレームに図形を設定して出力する。 In figure setting unit 130, an extraction frame 1301, an initial graphical 1302 set by the user, already receives the extraction result 1308 of frames extracted, and outputs the set shapes to extraction frame. 第2の物体追跡・抽出部131は、ブロックマッチング法やアフィン変換などの形状予測によって物体領域を抽出するためのものであり、図形を設定された抽出フレーム1303と、既に抽出されたフレームの抽出結果1308を入力とし、物体の追跡・抽出結果1304を出力する。 The second object tracking and extraction unit 131 is for extracting the object region by the shape prediction of block matching method or affine transformation, extraction and extraction frame 1303 which is set the shape, the frames that have already been extracted results 1308 as input, and outputs a track-extraction result 1304 of the object.
【0169】 [0169]
特徴量抽出部132は、物体の追跡・抽出結果1304を入力とし、物体の特徴量1305を出力する。 Feature amount extraction unit 132 inputs the tracking and extraction result 1304 of an object, and outputs the feature amount 1305 of the object. スイッチ部SW133は、物体の特徴量1305を入力とし、第1の物体追跡・抽出部135への物体の追跡・抽出結果1304の入力を制御する。 Switch unit SW133 inputs the feature quantity 1305 of the object, to control the input of the first object tracking and extraction unit object tracking and extraction results 1304 to 135.
【0170】 [0170]
参照フレーム選択部134は、第1の物体追跡・抽出部135への物体の追跡・抽出結果1304と、既に抽出されたフレームの抽出結果1308を入力とし、参照フレーム1306を出力する。 Reference frame selection unit 134, the tracking and extraction result 1304 of the object to the first object tracking and extraction unit 135, already receives the extraction result 1308 of frames extracted, and outputs the reference frame 1306.
【0171】 [0171]
物体の特徴の一例として、動きの複雑さがある。 As an example of the features of the object, there is the complexity of the motion. 第2の物体追跡・抽出部131でブロックマッチング法により物体を追跡・抽出する場合、マッチング誤差が大きい部分に対して、第1の物体抽出結果が出力される。 If you want to track and extracting an object by a block matching method in the second object tracking and extraction unit 131, for the partial matching error is large, the first object extraction result is output. 部分的に複雑な動きがあると、その部分はマッチング誤差が大きくなり、第1の物体追跡・抽出部135で抽出されることになる。 If there is a partially complex movement, that portion matching error increases, will be extracted by the first object tracking and extraction unit 135. 従って、このマッチング誤差を特徴量として第1の物体追跡・抽出部135で用いる参照フレームの選択方法が切替えられる。 Therefore, the selection method of the reference frame using this matching error in the first object tracking and extraction section 135 as the feature amount is changed. 具体的には物体形状全体ではなく、第1の物体追跡・抽出部135で抽出する部分だけについて第2実施形態で説明した式(1)または(2)の選択条件を満たすように参照フレームの選択方法を選ぶのがよい。 Specifically, rather than the entire object shape, the portion only for the reference frame so as to satisfy the selection criteria of the described formula (1) or (2) in the second embodiment to extract a first object tracking and extraction section 135 good to choose a selection method.
【0172】 [0172]
背景の特徴量の例は、1)背景が静止している画像である、2)ズームがある、3)パーンがあるという情報等である。 Examples of the feature quantity of the background, 1) is an image background is stationary, 2) a zoom, 3) is information such that panning is. この特徴量はユーザが入力しても良いし、カメラから得たパラメータが特徴量として入力されても良い。 The characteristic amount may be input by the user, the parameters may be input as the feature amount obtained from the camera. 背景の特徴量としては、背景の動きベクトル、背景動き補正画像の精度、背景の輝度分布、テクスチャ、エッジなどがある。 The feature quantity of the background, the motion vector of the background, the accuracy of the background motion compensation image, the luminance distribution of the background, texture, edges, and the like. 例えば背景動き補正画像の精度を背景動き補正画像と補正前画像との差分平均を特徴量として、参照フレーム選択方法が制御できる。 For example the accuracy of the background motion compensation image as the feature quantity difference average of the background motion compensation image and the image before correction, the reference frame selection method can be controlled. 制御例としては、差分平均が非常に多い場合、そのフレームは参照フレームの候補にしなかったり、そのフレームの選択順位を下げてフレームを選んだりできる。 As control examples, when the difference average is very large, the frame or not the candidate reference frames, can or choose the frame to lower the selection order of the frame. 背景が静止している場合や、背景動き補正がすべてのフレームについて完全であると差分がゼロとなる。 And when the background is stationary, it becomes the difference is zero and the background motion compensation is complete for all the frames. 参照フレーム選択法は、第2実施形態と同じ方法を用いることができる。 Reference frame selection method, it is possible to use the same method as the second embodiment.
【0173】 [0173]
第1の物体追跡・抽出部135は、抽出フレーム1301と、参照フレーム1306と、既に抽出されたフレームの抽出結果1308を入力とし、ORAND法により抽出フレームの追跡・抽出結果1307をメモリ135に出力する。 The first object tracking and extraction unit 135, an extraction frame 1301, a reference frame 1306, already receives the extraction result 1308 of frames extracted, output tracking and extraction result 1307 of the extraction frame memory 135 by ORAND method to. メモリ135は、抽出フレームの追跡・抽出結果1307を入力し、保持する。 Memory 135 receives the tracking and extraction result 1307 of the extraction frame, it holds.
【0174】 [0174]
次に、図22を用いて、先に挙げた例のうち、第2の物体追跡・抽出部からの出力から特徴量を得て、それによって複数の参照フレーム選択部を切替える例を第4の構成例として説明する。 Next, with reference to FIG. 22, among the examples given above, the output from the second object tracking and extraction unit obtains a feature amount, thereby an example of switching a plurality of reference frame selector of the fourth It described as configuration examples.
【0175】 [0175]
図形設定部160は、抽出フレーム1601と、ユーザが設定した初期図形1602と、既に物体が抽出されたフレーム1608を入力とし、設定図形1603を出力する。 Figure setting unit 160, an extraction frame 1601, an initial graphical 1602 set by the user, already receives the frame 1608 which the object has been extracted, and outputs a set figure 1603. 第2の物体追跡・抽出部161は、ブロックマッチング法やアフィン変換などの形状予測によって物体領域を抽出するために使用され、設定図形1603と、既に物体が抽出されたフレーム1608を入力とし、物体追跡・抽出結果1604を出力する。 The second object tracking and extraction unit 161 is used to extract the object region by the shape prediction of block matching method or affine transformation, a set figure 1603, an already entered the frame 1608 which the object has been extracted, the object and it outputs a track-extraction results 1604. 特徴量検出部163は、物体追跡・抽出結果1604を入力とし、特徴量1605をスイッチ部SW164に出力する。 Features detecting unit 163 inputs the object tracking and extraction result 1604, and outputs the feature amount 1605 to the switch SW164. スイッチ部SW164は、特徴量1605を入力し、参照フレーム選択部への物体追跡・抽出結果1604の入力を制御する。 Switch unit SW164 receives the feature quantity 1605 controls input object tracking, extraction result 1604 to the reference frame selection unit.
【0176】 [0176]
複数の参照フレーム選択部165は、物体追跡・抽出結果1604と、既に物体が抽出されたフレーム1608を入力とし、少なくとも2つの参照フレーム1606を出力する。 A plurality of reference frame selection unit 165, the object tracking and extraction results 1604, already receives the frame 1608 which the object has been extracted, and outputs at least two reference frames 1606.
【0177】 [0177]
第1の物体追跡・抽出部166は、ORAND法により物体抽出を行うために使用され、参照フレーム1696と、抽出フレーム1601を入力とし、物体の追跡・抽出結果1607をメモリ167に出力する。 The first object tracking and extraction unit 166 is used to perform object extraction by ORAND method, a reference frame 1696, the frame extraction 1601, and outputs an tracking and extraction result 1607 of the object in the memory 167. メモリ167は、物体の追跡・抽出結果1607を入力とし、保持する。 Memory 167 inputs the tracking and extraction result 1607 of the object held.
【0178】 [0178]
次に、ブロック図23を用いて、先に述べた例のうち、背景の情報を得て、背景動き補正の誤差によって複数の参照フレーム選択部の入力を制御する例について説明する。 Next, with reference to the block diagram 23, of the example described above, with the information of the background, an example of controlling the input of a plurality of reference frame selector by the error of the background motion compensation.
【0179】 [0179]
図形設定部170は、抽出フレーム1701と、ユーザが設定した初期図形1702と、既に物体が抽出されたフレーム1710を入力とし、設定図形1703を出力する。 Figure setting section 170, an extraction frame 1701, an initial graphical 1702 set by the user, already receives the frame 1710 which the object has been extracted, and outputs a set figure 1703. 第2の物体追跡・抽出部171は、設定図形1703と、既に物体が抽出されたフレーム1710を入力とし、物体の追跡・抽出結果1704を出力する。 The second object tracking and extraction unit 171, a set figure 1703, already receives the frame 1710 which the object has been extracted, and outputs a track-extraction result 1704 of the object. スイッチ部SW172では、ユーザが指定した背景の情報1705を入力し、背景動き補正部173への抽出フレーム1701の入力を制御する。 In the switch unit SW172, enter the information 1705 of the background specified by the user, it controls the input of the extraction frame 1701 to the background motion compensation unit 173.
【0180】 [0180]
背景動き補正部173は、抽出フレーム1701と、既に物体が抽出されたフレーム1710を入力とし、背景動きを補正したフレーム1706を出力する。 Background motion compensation unit 173, an extraction frame 1701, already receives the frame 1710 which the object has been extracted, and outputs the frame 1706 obtained by correcting the background motion.
【0181】 [0181]
背景特徴量検出部174は、抽出フレーム1701と、背景動きを補正したフレーム1706を入力とし、背景の特徴量1707をスイッチ部SW175へ出力する。 Background features detecting unit 174, an extraction frame 1701, an input frame 1706 obtained by correcting the background motion and outputs the feature amount 1707 of the background to the switch unit SW175. このスイッチ部SW175は、背景の特徴量1707を受け、参照フレーム選択部176への物体の追跡・抽出結果1704の入力を制御する。 The switch unit SW175 receives the feature value 1707 of the background, and controls the tracking and input of extraction result 1704 of an object to a reference frame selector 176. 参照フレーム選択部176は、物体の追跡・抽出結果1704と、既に物体が抽出されたフレーム1710を入力し、少なくとも2つの参照フレーム1708を出力する。 Reference frame selection unit 176, the tracking and extraction result 1704 of the object, already entered the frame 1710 which the object has been extracted, and outputs at least two reference frames 1708.
【0182】 [0182]
第1の物体追跡・抽出部177は、少なくとも2つの参照フレーム1708と、抽出フレーム1701を入力とし、物体の追跡・抽出結果1709をメモリ178に出力する。 The first object tracking and extraction unit 177, and at least two reference frames 1708, the extracted frame 1701, and outputs an tracking and extraction result 1709 of the object in the memory 178. メモリ178は、物体の追跡・抽出結果1709を受け、保持する。 Memory 178 receives the tracking-extraction result 1709 of the object held.
【0183】 [0183]
次に、図20のブロック図を用いて、本第3実施形態に係る物体追跡/抽出装置の第5の構成例を説明する。 Next, with reference to the block diagram of FIG. 20, illustrating a fifth configuration example of the present object tracking / extracting apparatus according to the third embodiment.
【0184】 [0184]
抽出フレーム出力制御部140は、画像1401と抽出するフレームの順序1405を入力とし、抽出フレーム1402を出力する。 Extracting frame output control unit 140 inputs the order 1405 of a frame to be extracted with the image 1401, and outputs the extracted frame 1402. フレーム順序制御部141は、ユーザが与えたフレーム順序に関する情報1405を入力とし、フレーム順序1406を出力する。 Frame sequence control unit 141 inputs the information 1405 about the frame order in which the user has given, and outputs the frame sequence 1406. 物体追跡・抽出装置142は、動画像信号から目的とする物体の抽出/追跡を行なう物体追跡/抽出方法及び装置であり、抽出フレーム1402を入力とし、追跡・抽出結果1403を追跡・抽出結果出力制御部143に出力する。 Object tracking and extraction device 142 is a object tracking / extracting method and apparatus for extracting / tracing of the object of interest from the moving picture signal, the extracted frame 1402 as an input, tracking and extraction result outputs tracking and extraction results 1403 and outputs it to the control unit 143. 追跡・抽出結果出力制御部143は、追跡・抽出結果1403と、フレーム順序1406を入力とし、フレーム順序を画像1401の順序に並び変えて出力する。 Tracking and extraction result output control section 143, the tracking and extraction result 1403, and an input frame sequence 1406, and outputs rearranges the frame order in the order of image 1401.
【0185】 [0185]
フレームの順序は、ユーザが与えても良いし、物体の動きに応じて適応的に決定しても良い。 The order of the frame, the user may give, may be adaptively determined according to the movement of an object. 物体の動きが検出しやすいフレーム間隔が決定され、物体が抽出される。 Motion detected easily frame interval of the object is determined, the object is extracted. すなわち、参照フレームと物体抽出対象となる現フレームとの間のフレーム間隔が少なくとも2フレーム以上となるように入力フレーム順とは異なる順序で物体抽出処理が行われるようにフレーム順の制御が行われる。 That is, the frame interval is an object extraction process in a different order frame order of control is performed as is performed with the input frame order to be at least 2 or more frames between the current frame as a reference frame and the object extraction target . これにより、入力フレーム順にフレーム間予測による形状予測や、ORAND演算を行う場合に比べ、予測精度を向上でき、結果的に抽出精度を高めることが可能となる。 Thus, the shape prediction or inter-frame prediction in the order input frame, compared with the case in which the ORAND operation, can improve the prediction accuracy, it is possible to enhance the results in extraction accuracy. ORAND法の場合には適切な参照フレームを選択することによって抽出精度を高めることが可能となるため、ブロックマッチングなどによるフレーム間予測による形状予測法について特に効果がある。 It becomes possible to improve the extraction accuracy by selecting the appropriate reference frames in the case of ORAND method is particularly effective for shape prediction method according to the inter-frame prediction using block matching.
【0186】 [0186]
すなわち、フレームの間隔によっては動きが小さ過ぎたり、複雑過ぎて、フレーム間予測による形状予測手法では対応できないことがある。 That, too small to move by the distance of the frame, too complex, it may not be compatible with the shape prediction method according to inter-frame prediction. 従って、例えば形状予測の誤差が閾値以下にならない場合は、予測に用いる抽出済みフレームとの間隔をあけることにより、予測精度が上がり、結果的に抽出精度が向上する。 Thus, for example, when the error of shape prediction does not become less than the threshold value, by spacing the already extracted frame used for prediction, raise the prediction accuracy is improved resulting in extraction accuracy. また、背景に動きがある場合は、参照フレーム候補は抽出フレームとの背景動きを求め補償するが、背景の動きがフレームの間隔によっては小さ過ぎたり複雑過ぎたりして、背景動き補償が精度良くできない場合がある。 Also, if there is motion in the background, the reference frame candidate is compensated sought background motion of the extraction frame, or too complicated or too small by a distance between a motion of the background frame, the background motion compensation accurately there is a case that can not be. この場合もフレーム間隔をあけることによって動き補償精度を上げることができる。 It is possible to increase the motion compensation accuracy by opening the frame interval In this case. このようにして抽出フレームの順序を適応的に制御すれば、より確実に物体の形状を抽出することが可能になる。 In this way, adaptively control the order of extraction frames, it is possible to extract a more reliable shape of an object.
【0187】 [0187]
次に、図21のブロック図を用いて、本第3実施形態に係る物体追跡/抽出装置の第6の例を説明をする。 Next, with reference to the block diagram of FIG. 21, a sixth example of the object tracking / extracting apparatus according to the third embodiment will be described.
【0188】 [0188]
抽出フレーム出力制御部150は、画像1501と抽出するフレームの順序1505を入力とし、抽出フレーム1502を出力する。 Extracting frame output control unit 150 inputs the order 1505 of a frame to be extracted with the image 1501, and outputs the extracted frame 1502. フレーム順序制御部151は、ユーザが与えたフレーム順序に関する情報1505を入力とし、フレーム順序1506を出力する。 Frame sequence control unit 151 inputs the information 1505 about the frame order in which the user has given, and outputs the frame sequence 1506. すなわち、フレーム順序制御部151は、フレーム間隔が与えられ、フレームの抽出順序を決定する。 That is, the frame sequence control unit 151 is supplied with the frame interval to determine the extraction order of the frames. 複数の物体追跡/抽出装置152は、動画像信号から目的とする物体の抽出/追跡を行なう物体追跡/抽出方法及び装置であり、フレーム順序1506にしたがって抽出フレーム1502の入力が制御され、追跡・抽出結果1503を出力する。 A plurality of object tracking / extracting apparatus 152 is an object tracking / extracting method and apparatus for extracting / tracing of the object of interest from the moving picture signal, the input of the extraction frame 1502 is controlled according to the frame sequence 1506, track and and it outputs the extracted result 1503. 追跡・抽出結果出力制御部153は、追跡・抽出結果1503と、フレーム順序1506を入力とし、それを画像1501の順序に並び変えて出力する。 Tracking and extraction result output control section 153, the tracking and extraction result 1503, and an input frame sequence 1506, and outputs the rearranged it in the order of image 1501.
【0189】 [0189]
飛ばされた間のフレームは、既に抽出されたフレームから内挿しても良いし、参照フレーム候補の選び方を変えて同じアルゴリズムで抽出しても良い。 The frame while skipped, already may be interpolated from frames extracted may be extracted by changing the selection of the reference frame candidate with the same algorithm.
【0190】 [0190]
ここで、図25を用いて、図21の物体の追跡/抽出装置の処理の例について説明する。 Here, with reference to FIG. 25, an example of a process of tracking / extracting apparatus of the object of Figure 21.
【0191】 [0191]
図25で、斜線で示すフレームは2フレーム間隔開けて先に抽出するフレームである。 In Figure 25, a frame indicated by hatching is a frame to be extracted ahead spaced 2 frame intervals. 飛ばされたフレームは第2の物体追跡・抽出装置によって抽出される。 The skipped frame are extracted by the second object tracking and extraction device. 図25のように両脇のフレームが抽出された後に、両脇のフレームの抽出結果から内挿して物体形状を求めてもよい。 After frame: both sides are extracted as shown in Figure 25, it may be determined object shape by interpolation from the extraction result of both sides of the frame. また、閾値などのパラメータを変えたり、これら両脇のフレームを参照フレーム候補に加えて、両脇のフレームと同じ方法で抽出してもよい。 Also, changing the parameters such as threshold, the addition of these two sides of the frame in the reference frame candidate, may be extracted in the same way as both sides of the frame.
【0192】 [0192]
次に、図24のブロック図を用いて、物体追跡・抽出装置の他の構成例を説明する。 Next, with reference to the block diagram of FIG. 24, illustrating another configuration example of object tracking and extraction device.
【0193】 [0193]
スイッチ部SW182は、ユーザが指定した背景の情報1805を入力とし、背景動き補正部183への抽出フレーム1801の入力を制御する。 Switch unit SW182 receives as input information 1805 background specified by the user, it controls the input of the extraction frame 1801 to the background motion compensation unit 183. 背景動き補正部183は、抽出フレーム1801と、既に物体が抽出されたフレーム1811を入力とし、背景動きを補正したフレーム1806を出力する。 Background motion compensation unit 183, an extraction frame 1801, already receives the frame 1811 which the object has been extracted, and outputs the frame 1806 obtained by correcting the background motion. 背景特徴量検出部184は、抽出フレーム1801と、背景動きを補正したフレーム1806を入力とし、背景の特徴量1807を出力する。 Background features detecting unit 184, an extraction frame 1801, an input frame 1806 obtained by correcting the background motion and outputs the feature amount 1807 of the background. スイッチ部SW187は、背景の特徴量1807を入力とし、参照フレーム選択部188への物体の追跡・抽出結果1804の入力を制御する。 Switch unit SW187 inputs the feature quantity 1807 of the background, and controls the input of the tracking and extraction result 1804 of an object to a reference frame selector 188. 図形設定部180は、抽出フレーム1801と既に物体が抽出されたフレーム1811並びにユーザが設定した初期図形1802を入力とし、図形を設定した抽出フレーム1803を出力する。 Figure setting unit 180, an extraction frame 1801 as an initial figure 1802 already set the frame 1811 and user object is extracted as an input, and outputs the extracted frame 1803 set the shape. 第二の物体追跡・抽出部185は、図形を設定した抽出フレーム1803と既に物体が抽出されたフレーム1811を入力とし、物体追跡・抽出結果1804を出力する。 The second object tracking and extraction section 185 inputs the frame 1811 already object is extracted and the extracted frame 1803 set the shape, outputs the object tracking-extraction results 1804. 特徴量検出部185は、物体追跡・抽出結果1804を入力とし、特徴量1808を出力する。 Features detecting unit 185 inputs the object tracking and extraction result 1804, and outputs the feature amount 1808. スイッチ部SW186は、特徴量1808を入力とし、参照フレーム選択部への物体追跡・抽出結果1804の入力を制御する。 Switch unit SW186 inputs the feature quantity 1808 controls input object tracking, extraction result 1804 to the reference frame selection unit. 参照フレーム選択部188は、物体追跡・抽出結果1804と、既に物体が抽出されたフレーム1811を入力とし、少なくとも2つの参照フレーム1809を出力する。 Reference frame selection unit 188, the object tracking and extraction results 1804, already receives the frame 1811 which the object has been extracted, and outputs at least two reference frames 1809.
【0194】 [0194]
第一の物体追跡・抽出部189は、少なくとも2つの参照フレーム1809と、抽出フレーム1801を入力とし、物体の追跡・抽出結果1810をメモリ190に出力する。 The first object tracking and extraction unit 189, and at least two reference frames 1809, the extracted frame 1801, and outputs an tracking and extraction result 1810 of the object in the memory 190. メモリ190は、物体の追跡・抽出結果1810を保持する。 Memory 190 holds the tracking and extraction result 1810 of the object.
【0195】 [0195]
処理の流れは以下のようになる。 Process flow is as follows.
【0196】 [0196]
ユーザが初期フレームにおいて抽出したい物体を大まかに囲む。 User roughly surround the object to be extracted in the initial frame. 以降のフレームの長方形は既に抽出された物体を囲む長方形を上下左右に数画素広げて設定する。 Rectangular subsequent frame is set to expand the number of pixels of the rectangle vertically and horizontally enclosing the object already extracted. この長方形をブロックに分割し、抽出済みのフレームとマッチングを取って対応する位置に抽出済み物体の形状を張り付ける。 It divides the rectangle into blocks, taking already extracted frame matching pasting shape already extracted object in the corresponding position. この処理によって得られた物体形状(予測物体形状)が大まかな物体を表す。 Object shape obtained by this process (predicted object shape) represents a rough object. 予測の精度がある閾値以下にならない場合、別のフレームから予測を直してより予測精度を上げるように処理しても良い。 When not below a certain accuracy of the prediction threshold may be treated so as to increase the more predictable accuracy mended prediction from another frame.
【0197】 [0197]
予測精度が良い場合、この予測形状全部又は一部をそのまま抽出結果として出力する。 If the prediction accuracy is good, it outputs the predicted shape all or part as it is as an extraction result. この方法は、物体を追跡しつつ、物体も抽出できる。 This method, while tracking an object, the object can be extracted.
【0198】 [0198]
物体追跡及び物体形状予測の時に行なうブロック化は、長方形を固定ブロックサイズで分割しても良いし、マッチング閾値によって階層的ブロックマッチングによって行なっても良い。 Blocking carried out when the object tracking and object shape prediction may be divided rectangular in fixed block size may be performed by hierarchical block matching by matching threshold. フレームを固定のサイズで分割し、物体を含むブロックだけを用いても良い。 Dividing the frame in a fixed size, it may be used only block including an object.
【0199】 [0199]
予測が悪い場合を考えて、物体予測形状を数画素分拡張して、予測エラーによる凹凸や穴が修正される。 Consider the case prediction is poor, and extended by several pixels the object predicted shape is modified irregularities and holes by the prediction error. この方法で全ての参照フレーム候補に予測物体形状が設定される。 Predicted object shape to all of the reference frame candidate in this way is set. 物体が抽出される度にその物体を使って先のフレームの物体追跡図形が求め直されそれにより抽出エラーが防がれる。 Object is an object tracking figure is re determined extracted error by its frame ahead with the object each time it is extracted is prevented. この追跡図形が物体を囲むように設定された追跡図形とする。 This tracking figure and tracking patterns set so as to surround the object.
【0200】 [0200]
以下、抽出フレームより前のフレームについては物体が既に抽出されており、先のフレームについては物体が抽出されていないものとする。 Hereinafter, the previous frame from the frame extraction the object has already been extracted, the previous frame shall not extracted object.
【0201】 [0201]
参照フレームの候補は、一定間隔おきに抽出するフレームに対して時間的に一定間隔毎にずれた前後5フレームとする。 Candidate reference frames, and the front and rear 5 frame offset for each temporally constant distance from the frame to be extracted at a constant intervals. 参照フレームの候補は、例えば、初期フレームと現フレームより前3フレーム、現フレームより後1フレーム、の合計5フレームのように限定する。 Candidate reference frames, for example, three frames before the current frame and the initial frame, to limit as 1 frame, a total of five frames after the current frame. ただし、前フレームが3フレームない場合はその分後のフレームの候補を増やし、後フレームが1フレームない場合はその分前4フレームを候補とする。 However, if the previous frame is not three frames increase the candidate frame after that amount, if the rear frame is not 1 the frame is a candidate for correspondingly pre-4 frame.
【0202】 [0202]
参照フレーム候補の物体の周辺に適当な領域が設定され、この領域と現フレームとの背景の動きが検出され、これにより参照フレームの図形内の背景が削除される。 Referring appropriate region around the object frame candidate is set, the area and the motion of the background of the current frame is detected, thereby the background in the figure of the reference frame is deleted. 背景の動きを検出する方法として、物体を除いた全領域で現フレームに対してマッチングを取り、マッチング誤差が最小となる動きベクトルが背景の動きと判定される。 As a method for detecting the motion of the background, take the matching for the current frame in all areas except the object, the motion vector is determined as the movement of the background matching error is minimum.
【0203】 [0203]
背景動き削除時の動きベクトル検出誤差が大きい参照フレームは候補から外すことにより、背景動き削除が適当でない場合の抽出エラーを防ぐことができる。 Reference frame motion vector detection error is large at the time of background motion deleted by removing from the candidate, it is possible to prevent the extraction errors when background motion deletion is not appropriate. また、参照フレーム候補が減った場合、新たに参照フレーム候補を選び直してもよい。 In addition, if the reference frame candidate has decreased, it may be re-select a new reference frame candidate. 新たに付け加えた参照フレーム候補の図形設定や背景動き削除が行なわれていない場合は、新たに図形設定や背景動き削除を行なう必要がある。 If figure setting or background motion deleting new reference frame candidate added is not performed, it is necessary to perform a new figure setting or background motion removed.
【0204】 [0204]
予め背景の動きがないと分かる場合は、この処理は行なわない。 If you know in advance motion of the background is not, this process is not performed.
【0205】 [0205]
参照フレームの候補から仮の参照フレームを設定し、これらフレームの組合せについて、第2実施形態の式(1)又は式(2)を満たす参照フレームのセットを選ぶ。 Set the provisional reference frame from the candidate reference frames, the combination of these frames, selecting a set of reference frames that satisfy the equation of the second embodiment (1) or Formula (2). 全参照フレーム候補のどの組合せも式(1)又は式(2)を満たさなかった場合、O 内の画素数が最小のフレームを選ぶのがよい。 If any combination even that did not satisfy Expression (1) or Formula (2) of all the reference frame candidate, it is preferable number of pixels in O i O j chooses the smallest frame.
【0206】 [0206]
また、背景動き削除時の動きベクトル検出誤差がなるべく小さいフレームを選ぶように、参照フレーム候補の組合せを考慮するほうがよい。 Moreover, as a motion vector detection error at the time of background motion remove chooses as small as possible frame, it is better to consider the combination of the reference frame candidate. 具体的には、式(1)又は式(2)による条件が同じ参照フレームセットがある場合、背景動き削除時の動きベクトル検出誤差が小さい方のフレームを選ぶなどの方法がある。 Specifically, there are methods such as the case where the condition according to equation (1) or Formula (2) have the same reference frame set, choose towards frame motion vector detection error at the time of background motion deletion is small. 背景の動きがない場合は、フレーム間差分が十分検出できるフレームを優先的に選ぶようにできる。 If there is no motion of the background can frames inter-frame difference can be sufficiently detected as chosen preferentially.
【0207】 [0207]
また、物体予測の精度がよく、物体の一部をそのまま出力する場合、物体予測結果を抽出結果としない領域のみを対象に、式(1)又は式(2)による条件を満たすフレームを選ぶ。 Moreover, good accuracy of object prediction, when outputting a part of the object as it is, targeting only areas that do not extract the result object prediction results, pick satisfying frame according to formula (1) or Formula (2).
【0208】 [0208]
以下、2参照フレームが選択されたときの処理を説明する。 Hereinafter, second reference frame will be described the processing when it is selected.
【0209】 [0209]
参照フレームが選択されると、抽出フレームとのフレーム間差分を求め、設定された図形内のフレーム間差分に注目する。 With reference frame is selected, it obtains frame difference between the extracted frame, focus on inter-frame difference in the set figure.
【0210】 [0210]
設定された閾値でフレーム間差分を2値化する。 Binarizes the inter-frame difference in threshold value. 2値化に用いる閾値は画像に対して一定でもよいし、背景動き補償の精度に応じてフレーム毎に変えても良い。 Threshold value used for binarization may be constant with respect to the image, it may be changed for each frame in accordance with the accuracy of the background motion compensation. 制御例としては、背景動き補償の精度が悪ければ、背景に余分な差分が多く発生しているので、2値化の閾値を大きくする例などがある。 As control examples, at worst the accuracy of the background motion compensation, since the generation number extra difference in the background, and the like example to increase the binarization threshold. また、物体の部分的な輝度勾配やテクスチャ、エッジ強度に応じて変えても良い。 Further, the object partial luminance gradient and texture may be varied depending on the edge intensity. この制御例として、輝度勾配が少ない領域や、エッジ強度が小さい領域のように比較的平坦な領域は2値化の閾値を小さくする。 As a control example, the brightness gradient is less space and, relatively flat region, as the edge intensity is small area to reduce the binarization threshold. 更に、ユーザが物体の性質から閾値を与えても良い。 Furthermore, the user may give thresholds from properties of the object.
【0211】 [0211]
物体追跡図形の外側の画素について、隣接する背景領域の差分値を持つ画素を背景画素と決定する。 For the pixels outside the object tracking figure, it determines the pixel having the difference value of adjacent background area and the background pixel. また、同時に物体追跡図形の内側の画素についても、隣接する背景領域の差分値をもたない画素を背景画素でない、と決定する。 As for the inner pixels of object tracking figures simultaneously, not a background pixel the pixel without a difference value between the adjacent background area, and to determine.
【0212】 [0212]
フレーム間差分は、物体の静止領域では検出できない。 Inter-frame difference may not be detected by the object of the still region. 従って、予測に用いたフレームとのフレーム間差分がゼロで、かつ予測に用いたフレームでは物体内部の画素である場合は、静止領域画素として背景画素に加えない。 Accordingly, in the inter-frame difference is zero and the frame used for prediction, and when in frame using the prediction is a pixel inside the object is not added to the background pixel as a still region pixels.
【0213】 [0213]
この背景画素は、現フレームと一つの参照フレームとの共通の背景領域となる。 The background pixel is a common background region of the current frame and one reference frame. この時、ノイズの影響で背景領域とそれ以外の部分の境界が不自然であることがあるので、画像信号に境界を滑らかにするフィルターや、余分なノイズ領域を削除するフィルターをかけてもよい。 In this case, since the boundary of the other portion and the background area by the influence of noise is to be unnatural, filters and to smooth the boundary image signal may be multiplied by a filter to remove excess noise area .
【0214】 [0214]
各々の参照フレームに対して共通の背景領域が求まると、二つの共通背景領域に含まれない領域が検出され、それが物体領域として抽出される。 When common background region for each of the reference frame is obtained, the area not included in the two common background region are detected, it is extracted as the object area. 先に予測した物体の形状を用いない部分に対しては抽出結果が出力され、物体全体の形状が抽出される。 For parts not using the shape of the object predicted earlier extraction result is output, the shape of the entire object is extracted. 共通の背景から求めた形状を用いる部分と先に予測した物体形状を用いる部分の整合性が取れない場合、最後にフィルターをかけて得た出力結果は見ために良いものにできる。 If the consistency of the part using the object shape predicted in part and previously used a shape determined from the common background is not taken, the last output result obtained by applying a filter can be in good order observed.
【0215】 [0215]
最後に抽出順が入力フレームの順序に置き換えて抽出された物体領域が出力する。 Finally extracting order the object region extracted by replacing the order of the input frame is output.
【0216】 [0216]
本発明のような物体の形状を抽出する方法及び装置は、現在標準化が固まりつつあるMPEG−4のオブジェクト符号化の入力手段として用いることができる。 Method and apparatus for extracting the shape of an object, such as in the present invention can be used as an input device for object coding in MPEG-4 that is being currently standardized mass. このMPEG−4と物体抽出の応用例として、物体形状をウインドウ形式とする表示システムがある。 As an application example of the MPEG-4 and the object extraction, there is a display system for the object shape and the window form. このような表示システムは、多地点会議システムに有効である。 Such a display system is effective in a multi-point conference system. 限られた大きさのディスプレイにテキスト資料と、各地点で会議に参加する人物を四角いウインドウで表示するよりも、図26のように人物は人物の形状で表示することにより、省スペース化できる。 A limited size display text article, rather than displayed in square window the person to join the conference at each point, a person as shown in FIG. 26 by displaying in the form of a person, can save space. MPEG−4の機能を使えば、発言中の人物だけを大きくしたり、発言していない人物を半透明にしたりでき、システムの使用感がよくなる。 With the function of MPEG-4, or to increase the only person in the speech, a person who does not speak or to a semi-transparent, the better feeling of use of the system.
【0217】 [0217]
以上説明したように、本第3実施形態によれば、画像の性質に応じて方法及び装置で物体を選ぶことによって、不必要な処理を省き、安定な抽出精度が得られる。 As described above, according to the third embodiment, by selecting an object in the method and apparatus according to the nature of the image, eliminating unnecessary processing, stable extraction accuracy. また、時間順という制約を外すことによって物体の動きによらずに十分な抽出精度が得ることができる。 Further, it is possible to obtain a sufficient extraction accuracy regardless of the motion of an object by removing the constraint that time-ordered.
【0218】 [0218]
また、本第3実施形態は、第1実施形態及び第2実施形態の性能を改善するものであり、第1実施形態及び第2実施形態の各構成と第3実施形態で説明した構成とを適宜組み合わせて使用することもできる。 Further, the third embodiment is intended to improve the performance of the first and second embodiments, the configuration described in the configuration of the third embodiment of the first embodiment and the second embodiment It can also be used in combination as appropriate.
【0219】 [0219]
図27には、本発明の第4実施形態に係る物体抽出装置の第1の構成例が示されている。 Figure 27 shows the first configuration example of the object extracting apparatus according to a fourth embodiment of the present invention.
【0220】 [0220]
外部のカメラで撮像されたり、ビデオテープ、ビデオディスクなどの蓄積媒体から読み出されたりした後に、本物体抽出装置に入力されるテクスチャ画像221は、記録装置222、スイッチ部223、動き補償による物体抽出回路224に入力される。 Or captured by an external camera, video tape, after or read from the storage medium such as a video disk, a texture image 221 that is input to the real object extraction device, a recording device 222, the switch unit 223, the object by the motion compensation is input to the extraction circuit 224. 記録装置222は、入力されたテクスチャ画像221を保持するものである。 Recording apparatus 222 is to hold the texture image 221 that has been input. 例えば、パソコンなどで用いられているハードディスク、光磁気ディスクなどである。 For example, a hard disk which is used in a personal computer, and the like magneto-optical disk. 記録装置222は後にテクスチャ画像221を再び用いるために必要であり、テクスチャ画像221が外部の蓄積媒体に記録されていた画像である場合は、記録装置222を別に用意する必要はなく、その蓄積媒体が記録装置222として用いられる。 Recording apparatus 222 is required to re-use the texture image 221 after, when the texture image 221 is an image that has been recorded in the external storage medium is not necessary to prepare a recording apparatus 222 separately, the storage medium There is used as the recording apparatus 222. この際は、記録装置222にテクスチャ画像221を入力しなおす必要はない。 This time does not need to re-enter the texture image 221 to the recording apparatus 222. テクスチャ画像は、例えば、各画素の輝度(Y)を0〜255の値で表した画素をラスタ順序(画像の左上の画素から右方向へ、上のラインから下のラインへの順序)で並べて形成され、一般に画像信号と呼ばれている。 Texture image, for example, the luminance (Y) of each pixel (to the right from the upper left pixel of the image, the order from the top line to bottom line) pixels representing raster order on the values ​​of 0 to 255 are arranged in is formed, it is commonly referred to as an image signal. 後に述べるシェイプ画像と区別するために、ここではテクスチャ画像と呼ぶことにする。 To distinguish it from the shape image to be described later, it will be referred to herein as a texture image. テクスチャ画像としては、輝度以外にも、色差(U,Vなど)、色(R,G,Bなど)が用いられても良い。 The texture image, in addition to luminance, color difference (U, V, etc.), color (R, G, B, etc.) may be used.
【0221】 [0221]
一方、最初のフレームにおいて、操作者が抽出したい物体を別途抽出しておいたシェイプ画像225が、動き補償による物体抽出回路224に入力される。 On the other hand, in the first frame, the shape image 225 which has been extracted object to be extracted by the operator separately is inputted to the object extraction circuit 224 by the motion compensation. シェイプ画像は、例えば、物体に属する画素の画素値を“255”、それ以外の画素の画素値を“0”で表した画素をテクスチャ画像と同様にラスタ順序で並べて生成される。 Shapes image is, for example, the pixel values ​​of the pixels belonging to the object "255" is generated by arranging the same in a raster order as texture image pixel expressed in other pixel value of the pixel "0".
【0222】 [0222]
ここで、最初のフレームのシェイプ画像25を生成する実施例を図34などを用いて詳しく説明する。 Here it will be described in detail with reference to such Figure 34 an embodiment for generating the shape image 25 of the first frame.
【0223】 [0223]
図34では、省略しているが、背景や前景にも図柄があり、そのうちで、家の形をした物体226を抽出したいとする。 In Figure 34, although not shown, there are symbols in the background or foreground, among them, and want to extract the object 226 in the shape of the house. 操作者は、モニタに表示された画像227に対して、物体226の輪郭をマウスやペンでなぞる。 Operator to the image 227 displayed on the monitor, tracing the outline of the object 226 with a mouse or a pen. その輪郭線の内側の画素に“255”、外側の画素に“0”を代入して得た画像をシェイプ画像とする。 As "255" inside the pixels of the contour, the image obtained by substituting "0" to the outside of the pixel and the shape image. 操作者が細心の注意をはらって輪郭線を描けば、このシェイプ画像の精度は高いものになるが、ある程度精度が低い場合でも、以下の方法を用いれば、精度を上げることができる。 If the operator draw a contour line with great care, the accuracy will be high in this shape image, even if somewhat less accurate, by using the following method, it is possible to improve the accuracy.
【0224】 [0224]
図35には、操作者によって描かれた線228と、物体226の輪郭線229が示されている。 Figure 35 is a line 228 drawn by the operator, and the contour line 229 of the object 226 is shown. この段階では、輪郭線229の正しい位置はもちろん抽出されていないが、線228との位置関係を表すために輪郭線229が示している。 In this stage, the correct position of the contour 229 is not extracted course, contours 229 are shown to represent the positional relationship between the line 228.
【0225】 [0225]
まず、輪郭線228を含むようにブロックが設定される。 First, the block is set to include the contour 228. 具体的には、画面をラスタ順でスキャンし、輪郭線228があった時、つまり、輪郭線228のシェイプ画像において、隣接する画素値に差があった時、その画素を中心にして所定のサイズのブロックを設ける。 Specifically, by scanning the screen in a raster order, when a contour 228, i.e., in the shape image of the contour line 228, when there is a difference in pixel values ​​adjacent predetermined about its pixel providing a block of size. この際、既に設定したブロックと今回のブロックが重なる場合には、今回のブロック設定は行わずに、スキャンを進めるようにすると、図36のように互いに重なりがなく、なおかつ接するようにブロックが設定できる。 In this case, if the already set block and the current block overlap, without the current block setting, when the advance the scan, the block is set to overlap each other without contact yet as shown in FIG. 36 it can. しかし、これだけでは、部分230,231,232がブロックに入っていない。 However, this alone is, part 230, 231, 232 is not in the block. そこで、もう一度スキャンを行い、ブロックに含まれない輪郭線があった時、やはり、その画素を中心にしてブロックが設けられる。 Therefore, it scans again, when a contour which is not included in the block, again, blocks are provided about its pixels. 但し、2度目のスキャンの時には、今回のブロックが既に設定したブロックと重なる部分があっても、中心とする画素が既に設定したブロックに含まれない限り、今回のブロックの設定を行う。 However, when the second time scan, even if a portion of the current block overlaps with already set block, unless contained in the block of pixels has already set centered, and sets the current block. 図37において斜線で示すブロック233,234,235,236が2スキャン目で設定されたブロックである。 A block which block 233,234,235,236 is set in the second scanning indicated by hatching in FIG. 37. ブロックサイズは、固定にしてもよいが、輪郭線228によって囲まれる画素数が多い場合には大きく、その画素数が少ない場合には小さく、輪郭線228の凸凹が少ない場合には大きく、凸凹が多い場合には小さく、あるいは、画像の図柄が平坦な場合には大きく、図柄が細かい場合には小さく、設定してもよい。 Block size may be fixed, large when the number of pixels surrounded by the contour line 228 is high, small when the number of pixels is small, large when irregularities of the contour line 228 is small, uneven small when large, or large when the symbol image is flat, small when pattern fine, may be set.
【0226】 [0226]
画面の端では、普通にブロックを設定すると画面からはみだしてしまうことがある。 The edge of the screen, normally may sometimes protrude from the screen by setting the block. そういう場合は、そのブロックだけ、画面からはみ出さないようにブロックの端を切って長方形のブロックにする。 If such, only that block is a rectangular block off the end of the block so as not to protrude from the screen. この場合は相似ブロックも長方形とする。 In this case, a similar block also rectangular.
【0227】 [0227]
以上がシェイプ画像におけるブロックの設定方法である。 The above is the method of setting blocks in shape images.
【0228】 [0228]
次に、ブロック毎に、その相似なブロックをテクスチャ画像を用いて探索する。 Then, for each block, to search using the texture images and the similar block. ここで、相似とは、ブロックサイズが異なるブロック同士で、一方のブロックサイズを他方と同じになるように、拡大あるいは縮小した時に、対応する画素の画素値がほぼ等しくなることをいう。 Here, similar to the is a block between the block sizes are different, so that one block size the same as the other, when the enlargement or reduction means that the pixel value of the corresponding pixel is substantially equal. 例えば、図38のブロック237に対しては、ブロック238が、テクスチャ画像の図柄が相似になる。 For example, for block 237 in FIG. 38, block 238, the symbol of the texture image is similar. 同様に、ブロック239に対しては、ブロック240が、ブロック241に対してはブロック242が、相似である。 Similarly, for block 239, block 240, for block 241 block 242, are similar. 本実施形態では、相似ブロックは、輪郭線上に設定したブロックよりも大きくする。 In the present embodiment, similar block is larger than the blocks set on the contour line. また、相似ブロックは、画面全体を探索するのではなく、例えば、図39に示す様に、ブロック243の近くのブロック244,245,246,247を四隅とするある一定の範囲内で探索すれば十分である。 Also, similar blocks, rather than searching the entire screen, for example, as shown in FIG. 39, if the search within a certain to four corners nearby blocks 244,245,246,247 block 243 It is enough. 図39は各ブロックの中心を起点におき、ブロック243の起点を用いて、ブロック244,245,246,247の起点を所定の画素幅だけ、上下方向と左右方向に動かした場合である。 Figure 39 is placed starting from the center of each block, using a starting point of block 243, only a starting point a predetermined pixel width of the block 244,245,246,247 is when you move the vertical direction in the left-right direction. 起点をブロックの左上角においた場合を図40に示す。 The when placed in the upper left corner of the block origin shown in FIG. 40.
【0229】 [0229]
探索範囲内でも、一部が画面からはみ出す相似ブロックは、探索の対象から外すのであるが、ブロックが画面の端にあると、探索範囲にある全ての相似ブロックが探索の対象から外れてしまうことがある。 Also within the search range, the similar block partially protrude from the screen, but it disengage from the subject of the search, when the blocks at the edge of the screen, that all the similar block in the search range deviates from the target of the search there is. そういう場合には、画面の端のブロックについては、探索範囲を画面の内側にずらして対応する。 If such is, for the block edge of the screen, the corresponding shifted the search range to the inside of the screen.
【0230】 [0230]
相似ブロックの探索は、多段階探索を行うと、演算量を少なくできる。 Search for similar blocks, when a multi-step search, can be reduced the amount of computation. 多段階探索とは、例えば1画素や半画素ずつ起点をずらしながら、探索範囲全体を探索するのではなく、初めに、とびとびの位置の起点で誤差を調べる。 The multi-step search, for example, shifting the starting point by one pixel or a half pixel, rather than searching the entire search range, first, examine the error at the origin position of the discrete. 次に、その中で誤差が小さかった起点の周囲だけを少し細かく起点を動かして誤差を調べるということを繰り返しながら、相似ブロックの位置をしぼりこんでいく方法である。 Next, while repeating that examine the errors therein moving only a little finer origin around the origin error is small, a method of narrowing down the location of the similar block.
【0231】 [0231]
相似ブロックの探索において、相似ブロックの縮小処理を毎回行うと、処理時間が多く必要である。 In the search for a similar block, when the reduction processing of the similar block each time, it requires a lot processing time. そこで、予め画像全体を縮小したものを生成し、別のメモリに保持しておけば、相似ブロックに対応する部分のデータをそのメモリから読み出すだけで済む。 Therefore, to produce what has been previously reduced the entire image, be held in the separate memory need only read the data of the portion corresponding to the similar block from its memory.
【0232】 [0232]
図38では3つのブロック237,239,241についてだけ、相似ブロックを示しているが、実際には、図37で示した全てのブロックに対して相似ブロックを求める。 Only about 38 in three blocks 237,239,241, while indicating the similar block, in fact, determine the similar blocks for all the blocks shown in FIG. 37. 以上が相似ブロックの探索方法である。 The above is the method of searching for a similar block. 相似ブロックの探索はシェイプ画像ではなく、テクスチャ画像を用いることが肝要である。 Search for similar blocks are not shape image, it is important to use a texture image. 画面内で相似ブロックをブロックに写像する一次変換を考えた時に、テクスチャ画像の輪郭線は、この一次変換において不変である。 When considering the primary conversion to map similar block to block in the screen, the contour of the texture image is invariant in this linear transformation.
【0233】 [0233]
次に、各ブロックとその相似ブロックの位置関係を用いて、シェイプ画像の輪郭がテクスチャ画像の輪郭に合うように補正する方法を説明する。 Next, using the positional relationship between each block and its similar block, the contour of the shape image will be described a method of correcting to match the contour of the texture image.
【0234】 [0234]
図41において、輪郭線228が操作者によって描かれた線である。 In FIG 41, a line contour 228 is drawn by the operator. この線が、正しい輪郭線229に近づけばよい。 This line may be closer to the correct contour 229. そのために、シェイプ画像の相似ブロック238の部分を読み出し、それをブロック237と同じサイズに縮小したもので、シェイプ画像のブロック237の部分を置き換える。 Therefore, reading the portion of the similar block 238 of the shape image, which is obtained by reducing the same size as the block 237 replaces the portion of the block 237 of the shape image. この操作には、輪郭線を、相似ブロックからブロックへの一次変換の不動点を含む不変集合に近づける性質があるので、輪郭線228は輪郭線229に近づく。 This operation is the contour, since the property of close to invariant set containing fixed point of the primary conversion to the block from a similar block, contour 228 approaches the contour line 229. 相似ブロックの一辺がブロックの一辺の2倍の長さの時、1回の置き換えで、輪郭線228と正しい輪郭線229の隔たりは概して、1/2になる。 When one side of a similar block is twice the length of one side of the block, in replacement of one, separation of the correct contour 229 and contour 228 generally becomes 1/2. この置き換えを全てのブロックに対して1回行った結果が図42の輪郭線248である。 Once results performed on all the blocks of the replacement is the contour line 248 of FIG. 42. このブロックの置き換えを繰り返せば輪郭線248は、正しい輪郭線にさらに近づき、やがて、図43に示すように、正しい輪郭線に一致する。 Contour 248 is repeated replacement of the block further closer to the correct contour, finally, as shown in FIG. 43 corresponds to the correct contour. 実際には、2本の輪郭線のずれが画素間距離よりも小さい状態は意味がないので適当な回数で置き換えを終了する。 In fact, the deviation of the two contour lines is terminated replaced with appropriate number is smaller state is meaningless than the distance between pixels. 本手法は、シェイプ画像で設定したN×N画素のブロックにテクスチャ画像での輪郭線が含まれる時に有効なのであるが、その場合、シェイプ画像の輪郭線とテクスチャ画像の輪郭線の距離は最大でおよそN/2である。 This technique, although valid when containing the contour line of the block to the texture image of the N × N pixel setting Shape image, in which case the distance of the contour line of the contour and the texture image of the shape image is the largest it is approximately N / 2. 相似ブロックの一辺の長さが、ブロックの一辺の長さのA倍とした時、1回の置き換えにつき、2本の輪郭線の距離は1/Aになるのであるから、この距離が1画素よりも短くなることを式で表すと、置き換え回数をxとして、 Length of one side of a similar block is, when the A times the length of one side of the block, per replacement of one, since the distance of the two contours are become 1 / A, the distance is 1 pixel as expressed by the formula that is shorter than, replacing the number x,
(N/2)×(1/A)^x<1 (N / 2) × (1 / A) ^ x <1
となる。 To become. ここで^はべき乗を表し、上式では(1/A)をx回乗ずるという意味である。 Here ^ represents the power, in the above equation is a sense that multiplying x times (1 / A). 上式から、 From the above equation,
x>log(2/N)/log(1/A) x> log (2 / N) / log (1 / A)
となる。 To become. 例えばN=8,A=2の時は、 For example when N = 8, A = 2 is
x>2 x> 2
であり、置き換え回数は3回で十分である。 , And the number of times the replacement is sufficient three times.
【0235】 [0235]
この物体抽出装置のブロック図を図30に示す。 It shows a block diagram of the object extracting apparatus in FIG. まず、操作者によって入力されるシェイプ画像249が、シェイプメモリ250に記録される。 First, the shape image 249 inputted by the operator is recorded in the shape memory 250. シェイプメモリ250においては、図36,37を用いて前述した様にブロックが設定される。 In Shape memory 250, block as described above with reference to FIG. 36 and 37 are set. 一方、テクスチャ画像251は、テクスチャメモリ252に記録される。 On the other hand, the texture image 251 is recorded in the texture memory 252. テクスチャメモリ252からは、シェイプメモリ250から送られる、ブロックの位置情報253を参照して、ブロックのテクスチャ画像254が探索回路255に送られる。 From texture memory 252, is sent from the shape memory 250, by referring to the positional information 253 of the block, the texture image 254 of the block is sent to the searching circuit 255. 同時に、図39や図40を用いて説明した様に相似ブロックの候補もテクスチャメモリ252から、探索回路255に送られる。 At the same time, candidates for a similar block as described with reference to FIGS. 39 and 40 from the texture memory 252 and sent to the searching circuit 255. 探索回路255では、相似ブロックの各候補を縮小した後に、ブロックとの誤差を計算し、その誤差が最小となったものを相似ブロックとして決定する。 The searching circuit 255, after reducing the candidate of similar block, calculates an error between the block, to determine what was the error is minimized as similar block. 誤差としては輝度値の差分の絶対値和や、それに色差の差分の絶対値和を加えたものなどが考えられる。 Absolute value sum or the difference of the luminance values ​​as an error, it is considered such plus the absolute value sum of the color difference of the differences. 輝度だけに比べて、色差も用いると、演算量は多くなるが、物体の輪郭において輝度の段差が小さくても、色差の段差が大きい場合に正しく相似ブロックを決定できるので精度が向上する。 Compared to only luminance, using also the color difference, the amount of calculation becomes large, even with a small level difference of the luminance in the outline of the object, the accuracy is improved because the correct similar block when the step of the color difference is large can be determined. 相似ブロックの位置の情報256は縮小変換回路257に送られる。 Information 256 position of the similar block is sent to the reduction conversion circuit 257. 縮小変換回路257には、シェイプメモリ250から、相似ブロックのシェイプ画像258も送られる。 Reduction in the conversion circuit 257, the shape memory 250, the shape image 258 of the similar block is also sent. 縮小変換回路257では、相似ブロックのシェイプ画像が縮小され、その縮小された相似ブロックは輪郭線が補正されたシェイプ画像259として、シェイプメモリ250に返され、対応するブロックのシェイプ画像が上書きされる。 The reduction conversion circuit 257, the shape image of the similar block is reduced, the reduced similar block as the shape image 259 which contour has been corrected, is returned to the shape memory 250, the shape image of the corresponding block is overwritten . このシェイプメモリ250の置き換えが所定の回数に達した時は、補正されたシェイプ画像259は外部に出力される。 When replacement of the shape memory 250 reaches a predetermined number, shape image 259 which has been corrected is output to the outside. シェイプメモリ250の書き換えは、ブロック毎に逐次上書きしても良いし、メモリを2画面分用意して、一方から他方へ、初めに画面全体のシェイプ画像をコピーした後に、輪郭部分のブロックは相似ブロックを縮小したもので置き換えるようにしても良い。 Rewriting shape memory 250 may be overwritten sequentially for each block, to prepare two screens memory, from one to the other, after copying the shape image of the entire screen at the beginning, a block of the contour portion is similar it may be replaced by those obtained by reducing the block.
【0236】 [0236]
この物体抽出方法を図48のフローチャートを参照して説明する。 The object extraction method will be described with reference to the flowchart of FIG. 48.
【0237】 [0237]
(フレーム内の縮小ブロックマッチングによる物体抽出方法) (Object extraction method according to the reduced block matching in the frame)
ステップS31では、シェイプデータの輪郭部分にブロックが設定される。 In step S31, the block is set to outline of the shape data. ステップS32では、現処理ブロックと画像データの図柄が相似である相似ブロックが同じ画像データから見つけられる。 In step S32, a similar block symbol of the current processing block and the image data is similar is found from the same image data. ステップS33では、現処理ブロックのシェイプデータを相似ブロックのシェイプデータが縮小したデータで置き換えられる。 In step S33, it is replaced with data Shape data of a similar block the shape data of the current processing block is reduced.
【0238】 [0238]
ステップS34で処理済みブロック数が所定の数に達したらステップ35に進む、そうでない場合は次のブロックに処理対象を進めてステップ32に戻る。 Step S34 in the processed blocks proceeds to step 35 reaches the predetermined number, otherwise the flow returns to step 32 advances the processing target to the next block.
【0239】 [0239]
ステップS35では置き換えの繰り返し回数が所定の数に達したらステップ36に進む、そうでない場合は、置き換えられたシェイプデータを処理対象としてステップ31に戻る。 Number of repetitions of replacement in step S35 advances to step 36 reaches the predetermined number, otherwise, the flow returns to step 31 the shape data is replaced as a processing target. ステップS36では、置き換えを繰り返されたシェイプデータが物体領域として出力される。 At step S36, shape data repeated replacement is outputted as an object region.
【0240】 [0240]
この方法はブロックのエッジと相似ブロックのエッジが合った場合に効果がある。 This method is effective when the edge of a similar block as the block edges meet. 従って、ブロックに複数のエッジがある場合には、エッジが正しく合わないことがあるので、そういうブロックについては置き換えをせずに入力されたままのエッジを保持する。 Therefore, when a plurality of edges in the block, since the edge may not fit correctly, to hold the edges of the left input without replacement for such blocks. 具体的には、ブロックのシェイプ画像を左右方向と上下方向に各ラインをスキャンし、1つのラインで“0”から“255”へ、あるいは“255”から“0”に変化する点が2つ以上あるラインが所定の数以上あるブロックは置き換えをしない。 Specifically, scanning each line shape image of the block in the horizontal direction vertically, from "0" to "255" on one line, or "255" "0" two points changes from above a certain line is not a certain block is replaced predetermined number or more. また、物体と背景の境界であっても部分によっては、輝度などが平坦な場合がある。 Further, depending also part a boundary of the object and the background, there are cases brightness etc. is flat. このような場合もエッジ補正の効果が期待できないのでテクスチャ画像の分散が所定値以下のブロックについても置き換えをせずに、入力されたままのエッジを保持する。 Since such can not be expected the effect of edge correction may without replacement also block variance is below a predetermined value of the texture image, to hold the edges of the left input.
【0241】 [0241]
相似ブロックの誤差が所定値よりも小さくならない場合、縮小をあきらめ、同じサイズで相似ブロックを求めても良い。 If an error of similar blocks is not smaller than a predetermined value, it gives up the reduction, may be obtained similar block of the same size. この際、自分とはなるべく重ならないように相似ブロックを選ぶ。 In this case, choose a similar block so as not to overlap as much as possible from their own. 縮小を行わないブロックだけでは、エッジが補正される効果はないが、縮小を行うことによってエッジが補正されたブロックから、その補正されたエッジをコピーすることで、縮小を行わないブロックについても、間接的にエッジが補正される。 Alone block that does not perform reduction, the effect is not the edge is corrected, from the block edge is corrected by performing the reduction, by copying the corrected edge, for the block which does not perform reduction, indirectly edges is corrected.
【0242】 [0242]
図48に示したフローチャートは相似ブロックを見つけた直後にシェイプ画像の置き換えを行う例であったが、全ブロックの相似ブロックの位置情報を保持するようにすることで、初めに、相似ブロックの探索を全ブロックについて行い、次に、シェイプ画像の置き換えを全ブロックについて行う方法を図50のフローチャートを参照して説明する。 Although the flowchart shown in FIG. 48 was an example to be replaced shape image immediately after finding the similar block, by to hold the positional information of the similar block of all blocks, first, the search for similar blocks It was carried out for all blocks, Next, a method of performing replacement of the shape image for all blocks with reference to the flowchart of FIG. 50.
【0243】 [0243]
この例では、1回の相似ブロックの探索に対してシェイプ画像の置き換えが複数回反復できる。 In this example, replacement of the shape image can be repeated multiple times for searching for a single similar blocks.
【0244】 [0244]
ステップS41では、シェイプデータの輪郭部分にブロックが設定される。 In step S41, the block is set to outline of the shape data. ステッブS42では、現処理ブロックと画像データの図柄が相似である相似ブロックが同じ画像データ内から見つけられる。 In Sutebbu S42, similar block symbol of the current processing block and the image data is similar is found from the same image data. ステップS43では、全てのブロックについて相似ブロックを見つける処理が終わったとき、つまり、処理済みブロック数が所定の数に達したときにはステップS44に進む。 At step S43, when the processes have been performed to find similar blocks for all the blocks, i.e., the flow proceeds to step S44 when the processed block count has reached the predetermined number. そうでない場合はステップS42に戻る。 Otherwise, it returns to step S42. ステップS44では、現処理ブロックのシェイプデータを相似ブロックのシェイプデータを縮小したもので置き換える。 At step S44, replace those obtained by reducing the shape data of the similar block the shape data of the current processing block.
【0245】 [0245]
ステップS45では、全てのブロックについて置き換える処理が終わったとき、つまり、処理済みブロック数が所定の数に違したときにはステップS46に進む。 In step S45, when the end of the process for replacing for all the blocks, i.e., the flow proceeds to step S46 when the processed blocks has differences to a predetermined number. そうでない場合はステップS44に戻る。 Otherwise, it returns to step S44. ステップS46では全ブロックの置き換え回数が所定の回数に達した場合はS47に進む。 Step S46 is the number replacement of all the blocks proceeds to S47 if it reaches a predetermined number of times. そうでない場合はS44に戻る。 Otherwise, it returns to S44. ステップS47では、置き換え変換を繰り返されたシェイプデータが物体領域として出力される。 At step S47, the shape data repeated replacement translation is outputted as an object region.
【0246】 [0246]
次にエッジ補正の精度を上げることができるブロックの設定方法を説明する。 Next will be described a method of setting the block that can improve the accuracy of the edge correction.
【0247】 [0247]
前述したようにシェイブ画像の輪郭線の周囲にブロックを設定する方法では、図51(a)に示されるように、正しい輪郭線301の一部がブロックに含まれなくなることがある。 In the method of setting the block around the contour line of shaved image as described above, as shown in FIG. 51 (a), a part of the right contour line 301 may not be included in the block. ここで、シェイプ画像の輪郭線302は太い線で示してある。 Here, the contour line 302 of the shape image are shown by bold lines. 仮に輪郭線の右下側が物体で左上側が背景だとすると、本当は背景である部分303は物体と誤って設定されているにもかかわらず、ブロックに含まれないために修正される可能性がない。 If the upper left side in the lower right side is the object contour line is that it background, part 303 is really the background even though it is set incorrectly the object, there is no possibility to be modified to not included in the block. このようにブロックと正しい輪郭線の間に隙間があると、正しく補正されない。 With such a gap between the block and the correct contour, not be corrected properly.
【0248】 [0248]
ブロックと正しい輪郭線の隙間を小さくするには、図51(b)に示したようにブロックをある程度重なり合わせる方法がある。 To reduce the gap between the block and the correct contour, there is a method of overlapping to some extent the block as shown in FIG. 51 (b). こうすると、ブロックの数が増えるので、演算量は増加するが隙間304は小さくなる。 In this way, the number of blocks is increased, the calculation amount is increased but the gap 304 becomes smaller. 従って抽出の精度は向上する。 Thus extraction accuracy is improved. しかし、この例では、まだ隙間は完全にはなくならない。 However, in this example, it does not go away in the still gap completely.
【0249】 [0249]
隙間を小さくするには、図51(c)に示したようにブロックサイズを大きくすることも有効である。 To reduce the gap, it is effective to increase the block size, as shown in FIG. 51 (c). この例では、前述したブロックの重ねあわせを併用した。 In this example, a combination of superposition of the block described above. これにより、この例では隙間が完全になくなる。 Accordingly, the gap in this example is completely eliminated.
【0250】 [0250]
このように、輪郭線の補正可能な範囲を広げるにはブロックサイズを大きくすることが有効である。 Thus, it is effective to increase the block size to widen the correctable range of the contour line. しかし、ブロックサイズが大きすぎると、ブロックに含まれる輪郭線の形状が複雑になり、相似ブロツクが見つかりにくくなる。 However, if the block size is too large, complicated the shape of the contour lines included in the block, similar block is hardly found. その例が図52に示されている。 An example is shown in Figure 52.
【0251】 [0251]
図52(a)では、斜線の部分305が物体領域、白色の部分306が背景領域を表す。 In FIG. 52 (a), the hatched portion 305 is the object region, the white portions 306 representing the background area. 与えられたシェイプ画像の輪郭線307は黒線で示されている。 Contour 307 of a given shape image is indicated by black lines. このように、シェイプ画像の輪郭線307は正しい輪郭線と大きく隔たっており、また、正しい輪郭線には凹凸がある。 Thus, the contour line 307 of the shape image is spaced significantly from the proper contour, also has irregularities in the correct contour. これに対して、前に説明した方法とは異なる方法でブロックを配置した結果が図52(b)に示されている。 In contrast, as a result of placing the block in a different method is shown in FIG. 52 (b) of the method previously described. ここでは、まず、互いに重ならず、かつ、隙間がないような矩形ブロックで画像が分割される。 Here, first, do not overlap each other, and the image is divided in a rectangular block such that there is no gap. ブロック毎にテクスチャ画像での分散が計算され、分散が所定値よりも小さいブロックはその設定を解消した。 Dispersion in the texture image for each block is calculated, block variance is smaller than a predetermined value has solved the setting. 従って図52(b)では、分散が所定値以上のブロックだけが残っている。 In Therefore Figure 52 (b), the dispersion is left only the blocks of the predetermined value or more. これらのブロック毎に相似ブロックを求めるのであるが、例えばブロック308の近くにこれを縦横2倍にした図柄は存在しないし、他の多くのブロックについても同様である。 It determine the similar blocks for each of these blocks, for example the symbols have the same double vertical and horizontal near the block 308 do not exist, the same applies to many other blocks. 従って、誤差最小な部分を相似ブロックとして選択はするものの、その位置関係を用いてシェィブ画像の置き換え変換を反復しても図52(c)に示す通り正しい輪郭線には合致しない。 Thus, although selection is a minimum error portion as similar block, it does not match as correct contour line shown in FIG. 52 (c) be repeated replacement conversion Sheibu image using the positional relationship. ただ、図52(a)のシェイプ画像の輪郭線307と比較して、エッジ補正後の図52(c)のシェイプ画像の輪郭線309は、テクスチャ画像の輪郭線の大まかな凹凸(左と右に山があってその間に谷があるという程度のもの)は反映されている。 However, as compared with the contour 307 of the shape image of FIG. 52 (a), the contour line 309 of the shape image of Figure 52 after the edge correction (c), the rough irregularities (left and right of the contour line of the texture image such a degree that there is a mountain there is a valley in between) are reflected in. この例で仮にブロックサィズを小さくすると、この大まかな補正さえされなくなってしまう。 Supposing smaller blocks Saizu in this example, no longer is even the rough correction.
【0252】 [0252]
このように、補正の範囲を広げるためにブロックサイズを大きくすると、ブロックに含まれる輪郭線の形状が複雑になり、相似ブロックが見つかりにくくなることがある。 Thus, increasing the block size in order to widen the range of the correction, becomes complicated the shape of the contour lines included in the block, sometimes similar block is hardly found. その結果エッジの補正が大まかにしかされなくなる。 It is a result edge correction will not be only roughly. このような場合には、ブロックのサイズを初めは大きなサイズでエッジ補正を行い、その結果に対して、再度ブロックサイズを小さくしてエッジ補正を行うと、補正の精度が向上する。 In such a case, it performs the edge correction in the larger size initially the size of the block, on the result, when the edge correction by reducing the re-block size, the accuracy of correction is improved. 図52(c)に対して、ブロックサイズを縦横1/2にして補正を再度行い、さらに1/4にして補正を行クた結果が図52(d)に示される。 Respect Figure 52 (c), performs correction by the block size horizontally and vertically half again, Gyoku was the result is shown in FIG. 52 (d) the correction further to 1/4. このように、ブロックサイズを次第に小さくしながら補正を繰り返せば補正の精度を向上できる。 Thus, it is possible to improve the accuracy of correction by repeating the correction while gradually reducing the block size.
【0253】 [0253]
ブロックサイズを次第に小さくする方法を図53のフローチャートを参照して説明する。 A method of gradually reducing the block size with reference to the flowchart of FIG. 53 will be described.
【0254】 [0254]
ステップS51ではブロックサイズb=Aと設定する。 At step S51 to set the block size b = A. ステップS52では、図48または図50に示したエッジ補正と同様なエッジ補正を行う。 In step S52, it performs edge correction and similar edge correction shown in FIG. 48 or FIG. 50. ステップS53では、bを観察し、bがZ(<A)より小さくなると、この処理は終了する。 In step S53, observe the b, b is the smaller than Z (<A), the process ends. bがz以上の場合にはステップS54に進む。 b is in the case of more than z, the process proceeds to step S54. ステップS54でブロックサイズbを半分にしてS52に進む。 Proceed to S52 in the half the block size b in the step S54.
【0255】 [0255]
以上、ブロックサイズを初めは大きめにし、次第に小さくしながら補正を繰り返すことで補正の精度を向上する例を示した。 Above, initially a block size is bigger, an example to improve the accuracy of correction by repeated progressively smaller while correction.
【0256】 [0256]
図54(a)に、ブロックを45度傾けることで、ブロックと正しい輪郭線の間に隙間をできにくくする例が示されている。 Figure 54 (a), by tilting the block 45 degrees, examples of difficult be a gap between the block and the correct contour is shown. このように、輪郭線が斜めの場合にはブロックサイズを図51(c)ほど大きくしなくても、ブロックを傾ければ正しい輪郭線を覆うことができる。 Thus, if the contour of the obliquely without increasing the block size as the FIG. 51 (c), it is possible to cover the correct contour if tilted blocks. また、この例では、ブロックの重なりを無くしても図54(b)のように正しい輪郭線を覆える。 This example also eliminates the overlapping of the blocks Ooeru correct contour as in FIG. 54 (b). このように、シェイプ画像の輪郭線と同じ向きにブロックの辺を傾けることで、ブロックと正しい輪郭線の間に隙間を生じにくくすることができる。 In this way, by tilting the edges of the block in the same direction as the outline of the shape image, it is possible to easily occur a gap between the block and the correct contour. 具体的には、アルフア画像の輪郭線の傾きを検知しそれが水平か垂直に近い場合にはブロツクの向きは図51(c)のようにし、そうでない場合にはブロックの傾きは図54(b)のようにする。 Specifically, the inclination detecting the orientation of the block when it is horizontal or near-vertical contour of the alpha image is as shown in FIG. 51 (c), the block slope Otherwise FIG. 54 ( b) it is like. 水平や垂直に近いという判断はしきい値との比較で行う。 Determination that the horizontal and near vertical is carried out in comparison with the threshold value.
【0257】 [0257]
以上が、最初のフレームの物体抽出処理である。 The above is the object extraction processing of the first frame. これは、必ずしも動画像の最初のフレームだけではなく、静止画像一般に用いることができる手法である。 This is not necessarily only the first frame of the moving image, is a technique that can be used for still images in general. なお、置き換えを1回行ったシェイプ画像に対して、ブロックを設定しなおし、その相似ブロックを求めなおして、2回目の置き換えを行うというように、置き換えの度にブロック設定と相似ブロックの探索を行えば、演算量は増えるが、より補正の効果が得られる。 Incidentally, with respect to replacement was carried out once a shape image, reconfigure the block, again seeking the similar block, and so replacement is performed for the second time, the search of every block configuration and similar blocks of replacement By performing, calculation amount is increased but, more effective correction can be obtained.
【0258】 [0258]
また、相似ブロックはブロックのなるべく近い部分から選ばれるのが好ましいので、相似ブロックを探す範囲をブロックサイズによって切り換えるとよい。 Also, similar blocks because it preferably selected from as close as possible to the portion of the block, may switch the range to search for similar blocks by the block size. 即ち、ブロックサイズが大きい場合には、相似ブロックを探す範囲を広くし、ブロックサイズが小さい場合には、相似ブロックを探す範囲を狭くする。 That is, when a large block size, to widen the range to search for a similar block, if the block size is small, to narrow the range to search for similar blocks.
【0259】 [0259]
また、本手法では、シェイプデータの置き換えの過程で、シェイプデータに小さい穴や、孤立した小領域が誤差として出現することがある。 Further, in this method, in the course of replacement of the shape data, small holes and the shape data, small regions isolated sometimes appearing as an error. そこで、ステップS34,S35,S36,S45,S46,S47,S53の前などで、シェイプデータから、小さい穴や、孤立した小領域を除くことにより、補正の精度を向上することができる。 Therefore, step S34, S35, S36, S45, S46, S47, S53 before the like, from the shape data, small holes and, by removing small regions isolated, it is possible to improve the accuracy of the correction. 小さい穴や、孤立した小領域を除くには、例えば、画像解析ハンドブック(高木、下田監修、東京大学出版会、初版1991年1月)575〜576頁に記載されている膨張と収縮を組み合わせた処理や、677頁に記載された多数決フィルタなどを用いる。 Small holes and, in excluding a small area that is isolated, for example, a combination of image analysis handbook the contraction and expansion, which is described in (Takagi, Shimoda supervision, University of Tokyo Press, first edition in January 1991), pp. 575-576 processing and the like majority filter described in 677 pages.
【0260】 [0260]
また、ブロックは図49に示すように、より簡易的に設定しても良い。 The block is as shown in FIG. 49, it may be set more simply. すなわち、画面を単純にブロック分割し、そのうちブロック2200など、輪郭線228を含むブロックについてのみ、相似ブロックの探索や置き換えの処理を行う。 That is, the screen simply divided into blocks, of which such as block 2200, the block containing the contour 228 only performs search and replacement of the processing of similar blocks.
【0261】 [0261]
また、与えられるテクスチャ画像が予めフラクタル符号化(特公平08−329255号公報「画像の領域分割方法及び装置」)によって圧縮されているのであれば、その圧縮データに、各ブロックの相似ブロックの情報が含まれている。 Also, if it is compressed by the given texture image previously fractal coding (KOKOKU 08-329255 discloses "the area dividing method and apparatus for image"), to the compressed data, information similar block of each block It is included. 従って、輪郭線228を含むブロックの相似ブロックとしては、圧縮データを流用すれば、改めて相似ブロックを探索する必要はない。 Therefore, the similar blocks of the block containing the contour 228, if diverted compressed data, it is not necessary to search again similar blocks.
【0262】 [0262]
図27に戻り、動画から物体を抽出する物体抽出装置の説明を続ける。 Returning to Figure 27, the description will be continued of the object extracting apparatus for extracting an object from moving image.
【0263】 [0263]
動き補償による物体抽出回路242では、テクスチャ画像221から検出される動きベクトルを用いながら、最初のフレームのシェイプ画像25を元にして、2フレーム目以降のフレームのシェイプ画像260を生成する。 In the object extraction circuit 242 by the motion compensation, while using the motion vector detected from the texture image 221, based on the shape image 25 of the first frame, and generates a shape image 260 of the second and subsequent frames frame.
【0264】 [0264]
図29に動き補償による物体抽出回路224の例が示される。 Examples of object extraction circuit 224 by the motion compensation is shown in Figure 29. 最初のフレームのシェイプ画像225が、シェイプメモリ261に記録される。 Shape image 225 of the first frame is recorded in the shape memory 261. シェイプメモリ261においては、図45のフレーム262に示した様に、画面全体にブロックが設定される。 In Shape memory 261, as shown in frame 262 of FIG. 45, blocks are set on the entire screen. 一方、テクスチャ画像221は、動き推定回路264に送られ、また、テクスチャメモリ263に記録される。 On the other hand, the texture image 221 is sent to the motion estimation circuit 264, also, is recorded in the texture memory 263. テクスチャメモリ263からは、1フレーム前のテクスチャ画像265が動き推定回路264に送られる。 From texture memory 263, one frame before the texture image 265 is sent to the motion estimation circuit 264. 動き推定回路264では、現処理フレームのブロック毎に、1フレーム前のフレーム内から誤差が最小となる参照ブロックを見つける。 The motion estimation circuit 264, for each block of the current processing frame, finding a reference block to minimize the square error from the preceding frame frame. 図45に、ブロック267と、1フレーム前のフレーム266から選ばれた参照ブロック268の例が示される。 Figure 45, a block 267, an example of the reference block 268 selected from one frame before the frame 266 is shown. ここで、誤差が所定のしきい値よりも小さくなるのであれば、参照ブロックはブロックよりも大きくする。 Here, if the error becomes smaller than a predetermined threshold value, the reference block is larger than the block. ブロック269と縦横2倍の大きさの参照ブロック70の例も図45に示す。 Examples of the block 269 and vertically and horizontally twice as large as the size of the reference block 70 is also shown in Figure 45.
【0265】 [0265]
図29に戻り、参照ブロックの位置の情報271は動き補償回路272に送られる。 Returning to Figure 29, the information 271 of the position of the reference block is sent to the motion compensation circuit 272. 動き補償回路272には、シェイプメモリ261から、参照ブロックのシェイプ画像273も送られる。 The motion compensation circuit 272, the shape memory 261, the shape image 273 of the reference block is also sent. 動き補償回路272では、参照ブロックの大きさがブロックと同じ場合は、そのまま、参照ブロックの大きさがブロックよりも大きい場合は、参照ブロックのシェイプ画像が縮小され、その参照ブロックのシェイプ画像は現処理フレームのシェイプ画像260として出力される。 The motion compensation circuit 272, when the size of the reference block is the same as the block, as it is, when the size of the reference block is greater than block shape image of the reference block is reduced, the shape image of the reference block current It is output as a shape image 260 of the processing frame. また、次のフレームに備えて、現処理フレームのシェイプ画像260はシェイプメモリ261に送られて、画面全体のシェイプ画像が上書きされる。 Further, in preparation for the next frame, the shape image 260 of the current processing frame is sent to the shape memory 261, the shape image of the entire screen is overwritten.
【0266】 [0266]
参照ブロックがブロックよりも大きい場合、先に図41,42を用いて説明したのと同様に、輪郭線が正しい位置からずれていた場合に補正する効果がある。 If the reference block is larger than the block, in the same manner as described with reference to FIGS 41 and 42 above, the effect of correcting when the contour line is deviated from the correct position. 従って、与えられる最初のフレームのシェイプ画像に続く、動画シーケンスの全てのフレームにおいて、物体が高い精度で抽出される。 Therefore, following the shape image of the first frame provided in all frames of the video sequence are extracted by the object is high precision. 従来手法のように、動画シーケンスの最初の方や、物体の動きが小さい時に、精度が悪いという不具合はない。 As in the conventional technique, the first one and of the video sequence, when the movement of the object is small, there is no problem of bad accuracy.
【0267】 [0267]
フレーム間の動き補償による物体抽出を図47のフローチャートを参照して説明する。 The object extraction by the motion compensation between frames will be described with reference to the flowchart of FIG. 47.
【0268】 [0268]
ステップS21で現処理フレームがブロックに分割される。 Currently processed frame is divided into blocks in step S21. ステップS22では現処理ブロックと画像データの図柄が相似であり、かつ、現処理ブロックよりも大きい参照ブロックを各フレームあるいは、既にシェイプデータを求めたフレーム内から見つける。 Step S22 is a design is similar to the currently processed block and the image data in, and a large reference block than currently processed block or each frame, find already a frame of obtaining the shape data. ステップS23では参照ブロックのシェイプデータを切り出して縮小したサブブロックを現処理ブロックに貼り付ける。 Step S23 the sub-block obtained by reducing cut the shape data of the reference block in the paste to the current processing block.
【0269】 [0269]
ステップS24では処理済みブロック数が所定の数に達したらステップ25に進む、そうでない場合は次のブロックに処理対象を進めてステップ22に戻る。 Step S24 In processed blocks proceeds to step 25 reaches the predetermined number, otherwise the flow returns to step 22 advances the processing target to the next block. ステップS25では貼り合わされたシェイプデータを物体領域として出力する。 And it outputs the shape data bonded as the object region in step S25.
【0270】 [0270]
ここで、各フレームとは、本実施例では最初のフレームであり、予めシェイプ画像が与えられるフレームのことである。 Here, the respective frames, in this example a first frame is that frame in advance shape image is given. また、参照ブロックは必ずしも1フレーム前のフレームでなくても、ここで述べたように、既にシェイプ画像が求まっているフレームならよい。 The reference block is not necessarily one frame before the frame, wherein as mentioned, good if the frame has already Motoma' is shape image.
【0271】 [0271]
以上が動き補償を用いた物体抽出の説明である。 This concludes the description of the object extraction using motion compensation. 物体抽出回路224としては、以上で説明した方法の他に、先に出願した、特開平10−001847「動画像の物体追跡/抽出装置」にあるフレーム間差分画像を用いる方法などもある。 The object extraction circuit 224, in addition to the methods described above, was filed earlier, there is also a method of using an inter-frame difference image in JP-A 10-001847 "object tracking / extracting apparatus of a moving image".
【0272】 [0272]
図27に戻り、動画から物体を抽出する物体抽出装置の実施例の説明を続ける。 Returning to Figure 27, it continued description of the embodiments of the object extracting apparatus for extracting an object from moving image.
【0273】 [0273]
シェイプ画像260はスイッチ部223とスイッチ部281に送られる。 Shape image 260 is sent to the switch unit 223 and the switch unit 281. スイッチ部223では、シェイプ画像260が“0”(背景)の時には、テクスチャ画像221が、背景メモリ274に送られ、記録される。 In the switch unit 223, when the shape image 260 is "0" (background) are the texture image 221 is sent to the background memory 274, is recorded. シェイプ画像260が“255”(物体)の時には、テクスチャ画像221は、背景メモリ274には送られない。 When the shape image 260 is "255" (the object), the texture image 221 is not sent to the background memory 274. これをいくつかのフレームに対して行い、そのシェイプ画像260がある程度正確であれば、物体を含まない、背景部分だけの画像が、背景メモリ274に生成される。 Do this for several frames, if the shape image 260 is a certain degree of accuracy, not including the object, the image of only the background portion is generated in the background memory 274.
【0274】 [0274]
次に、記録装置222から、テクスチャ画像275が再度最初のフレームから順に読み出され、あるいは、操作者が指定する物体を抽出したいフレームだけが読み出され差分回路276に入力される。 Next, the recording apparatus 222, read from again first frame texture image 275 in the order, or only the frame to be extracted an object operator designates is input to the difference circuit 276 is read out. 同時に、背景メモリ274から、背景画像277が読み出され、差分回路276に入力される。 At the same time, from the background memory 274, the background image 277 is read out and input to the difference circuit 276. 差分回路276では、テクスチャ画像275と背景画像277の、互いに画面内で同じ位置にある画素同士の差分値278が求められ、背景画像を用いた物体抽出回路279に入力される。 The difference circuit 276, the texture image 275 and the background image 277, the difference value 278 between pixels at the same position on the screen together sought, is input to the object extracting circuit 279 using a background image. 物体抽出回路279では、シェイプ画像280が生成されるのであるが、これは、差分値278の絶対値が予め定めるしきい値よりも大きい画素は、物体に属するとして画素値を“255”とし、そうでない画素は、背景に属するとして画素値“0”とすることで生成される。 In the object extraction circuit 279, although the shape image 280 is generated, which is the pixel absolute value is greater than a threshold value predetermined difference value 278, the pixel value as belonging to the object and "255", otherwise the pixel is generated by a pixel value "0" as belonging to the background. テクスチャ画像として、輝度だけでなく、色差や色も用いる場合は、各信号の差分の絶対値の和をしきい値と比較して物体か背景かが決定される。 As a texture image, not only the brightness, when the color difference and colors used, or the object or the background is determined the sum of the absolute values ​​of the differences of each signal is compared with the threshold value. あるいは、輝度や色差毎に別々にしきい値を定めて、輝度、色差のいずれかにおいて、差分の絶対値がそのしきい値よりも大きい場合に物体、そうでない場合に背景とが判定される。 Alternatively, determined separately threshold for each luminance and chrominance, luminance, in any of the color difference, the absolute value of the difference is the object is greater than the threshold, the background and it is determined otherwise. このようにして生成されたシェイプ画像280がスイッチ部281に送られる。 Thus the shape image 280 which is generated is sent to the switch unit 281. また、操作者によって決定される選択信号282が外部からスイッチ部281に入力され、この選択信号282によって、シェイプ画像260とシェイプ画像280のうちのいずれかが選択され、シェイプ画像283として外部に出力される。 The selection signal 282 is determined by the operator are externally input to the switch unit 281, output by the selection signal 282, one of the shape image 260 and shape image 280 is selected, as the shape image 283 to the outside It is. 操作者は、シェイプ画像260とシェイプ画像280を各々、ディスプレイなどに表示し、正確な方を選択する。 Operator, respectively the shape image 260 and shape image 280, displayed on a display, to select the correct one. あるいは、シェイプ画像260が生成された段階でそれを表示し、その精度が満足するものでなかった場合に、シェイプ画像280を生成し、シェイプ画像260の精度が満足するものであった場合には、シェイプ画像280を生成せずに、シェイプ画像260をシェイプ画像283として外部に出力するようにすれば、処理時間を節約できる。 Alternatively, to display it at the stage where the shape image 260 is generated, if not one whose accuracy is satisfied, when generating the shape image 280 was achieved, accuracy of the shape image 260 is satisfied , without generating the shape image 280, if such outputs to the outside a shape image 260 as shape image 283, saving processing time. 選択は、フレーム毎に行ってもよいし、動画像シーケンス毎に行ってもよい。 Selection may be performed for each frame, or each moving picture sequence.
【0275】 [0275]
図27の物体抽出装置に対応する物体抽出方法を図46のフローチャートを参照して説明する。 The object extraction method corresponding to the object extracting apparatus of FIG. 27 will be described with reference to the flowchart of FIG. 46.
【0276】 [0276]
(背景画像を用いる物体抽出方法) (Object extraction method using a background image)
ステップS11では与えられる各フレームにおけるシェイプデータを動き補償することにより各フレームのシェイプデータが生成される。 Shape data of each frame is generated by motion compensation the shape data in each frame provided in step S11. ステップS12ではシェイプデータによって決定される背景領域の画像データが背景画像としてメモリに記憶される。 Step S12, the image data of the background area determined by the shape data is stored in the memory as a background image.
【0277】 [0277]
ステップS13では処理済みフレーム数が所定の数に達したらステップ14に進む、そうでない場合は次のフレームに処理対象を進めてステップ11に戻る。 Step S13 Number of processed frames in proceeds to step 14 reaches the predetermined number, otherwise the flow returns to step 11 advances the processing target to the next frame. ステップS14では画像データと背景画像との差分の絶対値が大きい画素を物体領域とし、そうでない画素を背景領域とする。 In step S14 the pixel having a large absolute value of the difference between the image data and the background image and the object region and the background region pixel not.
【0278】 [0278]
本実施形態においては、例えば撮像するカメラに動きがあると背景が動く。 In the present embodiment, the background when there is motion moves the camera to example imaging. この場合は、前のフレームからの背景全体の動き(グローバル動きベクトル)を検出し、1スキャン目ではグローバル動きベクトルの分だけ前のフレームからずらして背景メモリに記録し、2スキャン目では、グローバル動きベクトルの分だけ前のフレームからずらした部分を背景メモリから読み出す。 In this case, detects the front of the background the entire movement of the frame (global motion vector), 1 recorded in the background memory is shifted from the frequency just before the frame of the global motion vector in scanning eye, in the second scanning, global read the minutes portion shifted from only the previous frame of the motion vector from the background memory. 1スキャン目で検出したグローバル動きベクトルをメモりに記録しておき、2スキャン目では、それを読み出して用いれば、グローバル動きベクトルを求める時間を節約できる。 Record the global motion vector detected in the first scanning in the memory, the second scan, using reads it can save time for obtaining the global motion vector. また、カメラが固定していることなどから、背景が静止していることが既知の場合は、操作者がスイッチを切り替えることなどによって、グローバル動きベクトルの検出を行わないようにして、グローバル動きベクトルは常にゼロにするようにすれば、処理時間はさらに節約できる。 Further, etc. that the camera is fixed, if that background is stationary known, such as by operator switches the switch, so as not to perform detection of a global motion vector, a global motion vector always be to zero, the processing time can be further savings. グローバル動きベクトルを半画素精度で求める時は、背景メモリは、入力される画像の縦横とも2倍の画素密度とする。 When determining the global motion vector in half pixel precision, the background memory is also the aspect of the image to be inputted twice the pixel density. すなわち、入力画像の画素値は1画素おきに背景メモリに書き込まれる。 That is, the pixel values ​​of the input image is written in the background memory in every other pixel. 例えば次のフレームでは背景が横方向に0.5画素動いていた場合には、先に書き込まれた画素の間にやはり1画素おきに画素値が書き込まれる。 For example, when the background was moving 0.5 pixels in the horizontal direction in the next frame, the pixel value again every other pixel between pixels previously written is written. このようにすると、1スキャン目が終了した時点で、背景画像に一度も書き込まれない画素ができることがある。 In this way, when the first scanning is finished, it can sometimes pixel not written once in the background image. その場合は、周囲の書き込まれた画素から内挿してその隙間を埋める。 If so, fill the gaps by interpolation from the pixels written the surrounding.
【0279】 [0279]
また、半画素の動きベクトルを用いる/用いないに関わらず、動画シーケンス全体を通じて、一度も背景領域にならない部分は、1スキャン目を終わっても背景メモリに画素値が代入されない。 Further, regardless not used / using a motion vector of a half pixel, throughout the image sequence, the portion has never become the background area, the pixel value is not assigned to the background memory is also finished the first scan. このような未定義の部分は、2スキャン目では、常に物体と判定する。 Such undefined parts, the second scanning, always determines the object. これは、特に未定義の部分を記録するためのメモリを用意して、未定義か否かをいちいち判定しなくても、背景に希にしか出てこないと予想される画素値(Y,U,V)=(0,0,0)などで、予め背景メモリを初期化してから1スキャン目を開始すればよい。 This is particularly undefined portions to prepare a memory for recording the, without each time determine undefined or not, the pixel value is not expected to come out infrequently background (Y, U , V) = (0,0,0), etc., may start the first scan in advance background memory is initialized. 未定義の画素にはこの初期画素値が残るので2スキャン目では、自動的に物体と判定される。 The undefined pixels in the second scan This initial pixel value remains, is determined automatically object.
【0280】 [0280]
これまでの説明では、背景メモリを生成する時に、既に背景の画素値が代入されている画素についても、背景領域であれば、画素値が上書きされている。 In previous discussion, when generating a background memory already for even pixel being assigned a pixel value of the background, if the background area is overwritten pixel value. この場合、動画シーケンスの最初の方でも最後の方にでも背景である部分には、動画シーケンスの最後の方の背景の画素値が背景メモリに記録される。 In this case, the also beginning of the background, even near the end of the portion of the video sequence, the pixel values ​​of the last direction of the background of the image sequence is recorded in the background memory. 動画シーケンスの最初と最後でそういった背景が全く同じ画素値ならば問題はないが、カメラが非常にゆっくりと動いたり、背景の明るさが少しずつ変化するなどして、画素値がフレーム間で微少に変動する場合には、動画シーケンスの最初の方の背景と最後の方の背景とでは、画素値の差が大きくなるので、この背景メモリを用いると、動画シーケンスの最初の方のフレームで背景部分も物体と誤検出されてしまう。 Although the first and last in such a background of the video sequence is not a problem if exactly the same pixel value, the camera or very moving slowly, by, for example, the brightness of the background is changed little by little, very small pixel values ​​between frames when varying the, in the beginning of the background and the last person background video sequence, the difference in pixel value is large, the use of this background memory, background earlier in the frame of the image sequence portion is also erroneously detected as an object. そこで、その前までのフレームでは、一度も背景領域にはならずに、現処理フレームで初めて背景領域となった画素についてのみ背景メモリへの書き込みを行い、既に背景の画素値が代入されている画素の上書きはしないようにすれば、背景メモリには動画シーケンスの最初の方の背景が記録されるので、正しく物体が抽出される。 Therefore, in frames up before it is to not become a background area once, writes to the background memory only the pixels that are first background region in the current processing frame, is already assigned the pixel value of the background if not to overwrite the pixels, the background memory because early in the background of the video sequence is recorded correctly the object is extracted. そして、2スキャン目にも、その物体抽出結果に応じて、現処理フレームの背景領域を背景メモリに上書きするようにすれば、現処理フレームの直前のフレームの背景と現処理フレームの背景という相関の高い背景同士を比較することになり、その部分が物体と誤検出されにくくなる。 Then, also the second scan, depending on the object extraction results, if to overwrite the background region of the current processing frame in the background memory, the correlation of the background of the background and the current processing frame immediately preceding the frame of the current processing frame It will be comparing the high background together with, a portion thereof is not easily detected erroneously as an object. 2スキャン目の上書きは、背景に微少な変動がある場合に有効なので、操作者が背景の動きは無しという意味にスイッチを切り替えるなどした場合は、上書きは行わない。 Overriding second scan is so effective when there is a minute variation in the background, if the operator has selected, etc., the switch means that no motion of the background, overwriting is not performed. このスイッチは、先のグローバル動きベクトルを行うか行わないかを切り替えるスイッチと共通でも構わない。 This switch may be a common switch for switching whether or not to perform the global motion vector of the previous.
【0281】 [0281]
1スキャン目は背景画像を生成するのが目的であるから、必ずしも全てのフレームを用いる必要はない。 Since the first scan is an object of to generate a background image, it is not necessary to use necessarily all frames. 1フレームおき、2フレームおきなどとフレームを間引いても、ほぼ同じ背景画像が得られ、処理時間は短くなる。 Every other frame, even if thinned out frame and the like every 2 frames, obtained almost the same background image, the processing time is shortened.
【0282】 [0282]
背景領域のうち、フレーム間差分がしきい値以下の画素だけを背景メモリに記録するようにすれば、画面に入り込んでくる他の物体が背景メモリに記録されずに済む。 Of background region, the inter-frame difference if to record only the following pixel threshold background memory, other objects coming enters the screen need not be recorded in the background memory. また、1スキャン目の物体領域が実際よりも物体側に誤検出された場合、物体の画素値が背景メモリに記録されてしまう。 Also, if the first scan of the object area is detected erroneously on the object side than the actual, the pixel value of the object from being recorded in the background memory. そこで、背景領域でも物体領域に近い画素は背景メモリに入力しないようにする。 Therefore, pixels close to the object region in the background region is not input to the background memory.
【0283】 [0283]
観光地で撮影した画像などで、前景の人などを除いた背景画像だけが必要な場合は、背景メモリに記録された背景画像を外部に出力する。 In such pictures on the tourist destination, if only the background image excluding the like foreground of people is needed, and outputs the background image that has been recorded in the background memory to the outside.
【0284】 [0284]
以上が本実施形態の第1の構成例の説明である。 The above is the description of the first configuration example of this embodiment. 本例によれば、動画シーケンスの初めの部分も最後の部分と同様に高い抽出精度が得られる。 According to this example, even early part of the video sequence is the last part as well as high extraction accuracy can be obtained. また、物体の動きが小さかったり、全く動かない場合でも正しく抽出される。 Further, small or the motion of an object is extracted correctly even if not move at all.
【0285】 [0285]
次に、図28を用いて、生成されたシェイプ画像280を修正する例を説明する。 Next, with reference to FIG. 28, an example of modifying the generated shape image 280 will be described. シェイプ画像280が生成されるまでは、図27と同じなので説明を省略する。 Until the shape image 280 is generated will be omitted because it is the same as FIG. 27.
【0286】 [0286]
シェイプ画像280は、背景パレットを用いるエッジ補正回路284に入力される。 Shape image 280 is input to an edge correction circuit 284 using the background palette. また、テクスチャ画像275が、背景パレットによるエッジ補正回路284と縮小ブロックマッチングによるエッジ補正回路285に入力される。 Further, the texture image 275 is input to the edge correction circuit 285 according to the reduced block matching and edge correction circuit 284 according to the background palette. エッジ補正回路284の詳細なブロック図を図31に示す。 A detailed block diagram of an edge correction circuit 284 shown in FIG. 31.
【0287】 [0287]
図31において、シェイプ画像280は、補正回路286に入力され、同じフレームのテクスチャ画像275は比較回路287に入力される。 In Figure 31, the shape image 280 is input to the correction circuit 286, the texture image 275 of the same frame is input to the comparison circuit 287. 背景パレットを保持するメモリ288からは、背景色289が読み出され、比較回路287に入力される。 From the memory 288 for holding the background palette, the background color 289 is read out and input to the comparison circuit 287. ここで、背景パレットは、背景部分に存在する輝度(Y)と色差(U,V)の組すなわちベクトルの集まり、 Here, the background palette collection set i.e. vectors of luminance existing in the background portion (Y) and chrominance (U, V),
(Y1,U1,V1) (Y1, U1, V1)
(Y2,U2,V2) (Y2, U2, V2)
(Y3,U3,V3) (Y3, U3, V3)
…………………… ........................
のことで、予め用意される。 By the, it is prepared in advance. 具体的には、背景パレットは、最初のフレームにおいて、背景領域に属する画素のY,U,Vの組を集めたものである。 Specifically, the background palette, in the first frame, is a collection of pixels belonging to the background area Y, U, a set of V. ここで、例えばY,U,Vが各々256通りの値をとるとすると、その組み合わせは膨大な数になり、背景の(Y,U,V)の組み合わせ数も多くなり、後に説明する処理の演算量が多くなってしまうので、所定のステップサイズでY,U,Vの値を各々量子化することにより、組み合わせ数を抑制できる。 Here, for example Y, U, When V has the value of each 256, the combination becomes a huge number, background (Y, U, V) be many number of combinations, the processing to be described later since the amount of computation becomes many, Y by a predetermined step size, U, by each quantized value of V, and the number of combinations can be suppressed. これは、量子化をしない場合は異なるベクトル値だったもの同士が、量子化により同じベクトル値になる場合があるからである。 If this is not the quantized together what was different vector values, there is a case where the same vector value by quantization.
【0288】 [0288]
比較回路287では、テクスチャ画像275の各画素のY,U,Vが量子化され、そのベクトルがメモリ288から順次送られてくる背景パレットに登録されているベクトル、すなわち背景色289のいずれかと一致するかどうかが調べられる。 The comparison circuit 287, Y of each pixel of the texture image 275, U, V is quantized, vector the vector is registered in the background palette sequentially sent from the memory 288, i.e. matches one of the background color 289 whether or not is examined. 画素毎に、その画素の色が背景色かどうかの比較結果290が、比較回路287から補正回路286へ送られる。 For each pixel, the color of the pixel is the comparison result 290 of whether the background color, is sent from the comparator circuit 287 to the correction circuit 286. 補正回路286では、シェイプ画像280のある画素の画素値が“255”(物体)であるにもかかわらず、比較結果290が背景色であった場合に、その画素の画素値を“0”(背景)に置き換えて、補正されたシェイプ画像291として出力する。 In the correction circuit 286, even though the pixel value of the pixel with a shape image 280 is "255" (the object), when the comparison result 290 was the background color, the pixel value of the pixel "0" ( replacing the background), and outputs a shape image 291 which has been corrected. この処理により、シェイプ画像280において物体領域が背景領域にはみ出して誤抽出されていた場合に、その背景領域を正しく分離できる。 This process, in the case where the object area in the shape image 280 has been erroneously extracted protrudes to the background area, can be separated and the background area correctly. ただ、背景と物体に共通の色があり、背景パレットに物体の色も混じって登録されていると、物体のその色の部分もが背景と判定されてしまう。 However, there are common color background and the object, as being registered with mixed also color of the object in the background palette portion of the color of an object even from being determined as a background. そこで、最初のフレームでは、先に説明したパレットを背景の仮のパレットとしておき、同様の方法で最初のフレームの物体のパレットも作る。 Therefore, in the first frame, the pallet described above leave a provisional palette background, also the object palette of the first frame in a similar manner making. 次に、背景の仮のパレットの中で物体のパレットにも含まれる色については、背景の仮のパレットから除き、残ったものを背景パレットとする。 Next, the colors included in the object palette in the provisional palette of background, except from provisional palette background, and background pallet those remaining. これにより、物体の一部が背景になってしまう不具合を回避できる。 This prevents the problem that part of the object becomes the background.
【0289】 [0289]
また、最初のフレームで与えられるシェイプ画像に誤差がある場合を考慮し、シェイプ画像のエッジの近傍の画素は、パレットの生成に用いないようにしても良い。 Also, considering the case where there is an error in the shape image given in the first frame, the pixels near the edge of the shape image, may not be used in the generation of the pallet. また、各ベクトルの出現頻度を数え、頻度が所定値以下のベクトルはパレットに登録しないようにしても良い。 Also, count the appearance frequency of each vector, the frequency may also be the vector of a predetermined value or less is not registered in the palette. 量子化ステップサイズを小さくしすぎると、処理時間が多くなったり、背景色に非常に似た色でもベクトル値がわずかに異なるために背景と判定されなかったりし、逆に量子化ステップサイズを大きくしすぎると、背景と物体に共通するベクトルばかりになってしまう。 If too small quantization step size, or increasingly processing time, or is not determined as the background to slightly different vector values ​​in a color very similar to the background color, increase the quantization step size to the inverse and then too, it becomes just a vector that is common to the background and the object. そこで、最初のフレームに対して、いくつかの量子化ステップサイズを試し、与えられるシェイプ画像の様に背景色と物体色が分離される量子化ステップサイズが選ばれる。 Therefore, for the first frame, a number of trial quantization step size, the quantization step size background color and object color are separated as the given shape image is selected.
【0290】 [0290]
また、途中から新しい色が背景や物体に現れることがあるので、途中のフレームで背景パレットを作りなおしても良い。 In addition, since the color new from the middle is sometimes appears in the background and the object, it may be re-create the background palette in the middle of the frame.
【0291】 [0291]
図28に戻り、シェイプ画像291は、エッジ補正回路285に入力される。 Returning to Figure 28, the shape image 291 is input to an edge correction circuit 285. エッジ補正回路285は、先に説明した図30の回路において、シェイプ画像249をシェイプ画像291、テクスチャ画像251をテクスチャ画像275とする回路と同じであるので、説明は省略するが、シェイプ画像のエッジがテクスチャ画像のエッジに合うようにシェイプ画像の補正を行う。 Edge correction circuit 285, the circuit of FIG. 30 described above, the shape image 291 the shape image 249 is the same as the circuit of the texture image 251 and the texture image 275, description is omitted, the shape image edge There corrects the shape image to fit the edges of the texture image. 補正されたシェイプ画像292はスイッチ部281に送られる。 Corrected shape image 292 is sent to the switch unit 281. スイッチ部281からは、シェイプ画像292とシェイプ画像260のうちから選択されたシェイプ画像293が出力される。 From the switch unit 281, a shape image 293 selected from among the shape image 292 and shape image 260 is output.
【0292】 [0292]
本例では、エッジ補正回路を物体抽出回路279の後段に設けたが、物体抽出回路224の後段に設ければ、シェイプ画像260の精度を向上できる。 In the present example, is provided with the edge correction circuit in the subsequent stage of the object extraction circuit 279, by providing downstream of the object extraction circuit 224, it is possible to improve the accuracy of the shape image 260.
【0293】 [0293]
また、エッジ補正によって、抽出精度がかえって悪化する場合も希にある。 Also, the edge correction, if also a rare that extraction accuracy is rather deteriorated. そういう時に、悪化したシェイプ画像292が出力されてしまわないように、図28において、シェイプ画像280やシェイプ画像291もスイッチ部281に入力すれば、エッジ補正を行わないシェイプ画像280や、背景パレットによるエッジ補正だけを施したシェイプ画像291を選択することも可能となる。 When such as shape image 292 has deteriorated do not get left out output, in FIG. 28, when the input shape image 280 and shapes the image 291 to the switch unit 281, a shape image 280 or not to perform edge correction, due to the background palette it is possible to select the shape image 291 subjected to only edge correction.
【0294】 [0294]
図44は、背景パレットに登録された背景色の画素をクロスハッチで示しており、先に図30や図29を用いて説明した相似ブロックの探索の時に、図44の情報を用いると、輪郭抽出の精度をさらに高めることができる。 Figure 44 shows a pixel of background color registered in the background palette crosshatch, when searching for similar block described with reference to FIG. 30 and FIG. 29 above, the use of information in Figure 44, the contour it is possible to further increase the accuracy of the extraction. 背景に図柄がある場合に、物体と背景のエッジではなく、背景の図柄のエッジに沿うように相似ブロックが選ばれてしまうことがある。 If there is a pattern in the background rather than the edge of the object and the background, you may similar blocks will be selected along the pattern of the edge of the background. このような場合、ブロックと相似ブロックを縮小したブロックとの誤差を求める時に、対応画素がいずれも背景色同士の時は、その画素の誤差は、計算に含めないようにすると、背景の図柄のエッジがずれていても、誤差が発生せず、従って、物体と背景のエッジが合うように相似ブロックが正しく選択される。 In this case, when obtaining an error between the block obtained by reducing the block and the similar block, when a background color between any corresponding pixel, an error of the pixel, when not include in the calculation, the symbol Background be offset edge, an error does not occur, therefore, similar block is correctly selected so that the edge of the object and the background matches.
【0295】 [0295]
図32は、本実施形態の物体抽出装置294を組み込んだ画像合成装置の例である。 Figure 32 is an example of the image synthesizing apparatus incorporating the object extracting apparatus 294 of the present embodiment. テクスチャ画像295はスイッチ部296と物体抽出装置294に入力され、最初のフレームのシェイプ画像2100は物体抽出装置294に入力される。 Texture image 295 is input to the switch unit 296 and the object extracting apparatus 294, the shape image 2100 of the first frame is input to the object extracting apparatus 294. 物体抽出装置294は、図27や図28で構成されており、各フレームのシェイプ画像297が生成され、スイッチ部296に送られる。 Object extracting apparatus 294 is constituted by FIGS. 27 and 28, the shape image 297 of each frame is generated and sent to the switch unit 296. 一方、記録回路298には、予め合成用背景画像299が保持されており、現処理フレームの背景画像299が記録回路298から読み出され、スイッチ部296に送られる。 On the other hand, the recording circuit 298 is pre-composite background image 299 is held, the background image 299 of the current processing frame is read out from the recording circuit 298, and sent to the switch unit 296. スイッチ部296では、シェイプ画像の画素値が“255”(物体)の画素ではテクスチャ画像295が選択されて合成画像2101として出力され、シェイプ画像の画素値が“0”(背景)の画素では、背景画像299が選択されて合成画像2101として出力される。 In the switch unit 296, with the pixels in the pixel value "255" of the shape image (object) is output as the synthesized image 2101 texture image 295 is selected, the pixel of the pixel values ​​of the shape image is "0" (background), background image 299 is selected and output as a composite image 2101. これにより、背景画像299の前景にテクスチャ画像295内の物体を合成した画像が生成される。 Thus, synthesized image is generated objects in the texture image 295 to the foreground of the background image 299.
【0296】 [0296]
図33はエッジ補正を行う別の例を示す。 Figure 33 shows another example of performing edge correction. 図33のように設定されたブロックのうちの一つが、図33のブロック2102であるとする。 One of the block set as shown in FIG. 33, and a block 2102 of FIG. 33. 輪郭線を境界にして、ブロックは物体領域と背景領域に分けられている。 And a contour line in the boundary, the block is divided into objects and background regions. この輪郭を左右方向にずらして得られたブロックが2103,2104,2105,2106である。 Blocks obtained by shifting the contour in the lateral direction is 2103,2104,2105,2106. それぞれずらす幅と向きが異なる。 Width and orientation to shift each is different. 文献:福井「領域間の分離度に基づく物体輪郭抽出」(電子情報通信学会論文誌、D−II、Vol.J80−D−II、No.6、pp.1406−1414、1997年6月)の1408ページに記述されている分離度を各々の輪郭線について求め、ブロック2102〜2106のうちで分離度が最も高い輪郭線を採用する。 Literature: Fukui "separability object outline extraction based on the inter-area" (IEICE, D-II, Vol.J80-D-II, No.6, pp.1406-1414, 6 May 1997) seeking separation described in the 1408 pages for each of the contour lines, it adopts the highest contour degree of separation among the blocks 2102 to 2106. これにより、シェイプ画像の輪郭がテクスチャ画像のエッジに合う。 Thus, the outline of the shape image matches the edge of the texture image.
【0297】 [0297]
以上述べてきたように、本第4実施形態によれば、動画シーケンスの初めの部分も最後の部分と同様に高い抽出精度が得られる。 As has been described above, according to the fourth embodiment, also beginning of the video sequence is the last part as well as high extraction accuracy can be obtained. また、物体の動きが小さかったり、全く動かない場合でも正しく抽出される。 Further, small or the motion of an object is extracted correctly even if not move at all. さらに、現処理ブロックよりも大きい相似ブロックのシェイプデータを縮小して張り付けることにより、シェイプデータで与えられる物体領域の輪郭線がずれていてもそれを正しい位置に補正することが可能となり、物体領域の輪郭を大まかになぞったものをシェイプデータとして与えるだけで、以降の入力フレーム全てにおいて物体領域を高い精度で抽出することが可能となる。 Furthermore, by pasting by reducing the shape data of large similar block than currently processed block, be offset contour line of the object region given by the shape data it is possible to correct it to the correct position, the object only gives those traced roughly the contour of the area as the shape data, it is possible to extract an object area with high accuracy in the input frame all subsequent.
【0298】 [0298]
なお、以上の第1乃至第4実施形態は適宜組み合わせて利用することもできる。 The above first to fourth embodiments can also be utilized in combination as appropriate. また、第1乃至第4実施形態の物体抽出方法の手順はすべてソフトウェアによって実現することもでき、この場合には、その手順を実行するコンピュータプログラムを記録媒体を介して通常のコンピュータに導入するだけで、第1乃至第4実施形態と同様の効果を得ることができる。 Moreover, only every procedure of the first to the object extraction method of the fourth embodiment can also be implemented by software, in this case, introduces a computer program for executing the steps through the recording medium to the normal computer in, it is possible to obtain the same effects as those of the first to fourth embodiments.
【0299】 [0299]
【発明の効果】 【Effect of the invention】
以上のように、本発明によれば、目的とする物体を囲む図形を用いてその物体を追跡することにより、目的の物体以外の周囲の余分な動きに影響を受けずに、目的の物体を精度良く抽出・追跡することが可能となる。 As described above, according to the present invention, by tracking the object using a figure enclosing an object of interest, without being affected extra movement around the non-target object, the target object it is possible to accurately extract and tracking.
【0300】 [0300]
また、入力画像によらずに高い抽出精度を得ることが可能となる。 Further, it is possible to obtain a high extraction accuracy regardless of the input image. さらに、動画シーケンスの初めの部分も最後の部分と同様に高い抽出精度が得られる。 Moreover, even beginning of the video sequence is the last part as well as high extraction accuracy can be obtained. また、物体の動きが小さかったり、全く動かない場合でも正しく抽出される。 Further, small or the motion of an object is extracted correctly even if not move at all.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の第1実施形態に係る動画像の物体追跡/抽出装置の基本構成を示すブロック図。 1 is a block diagram showing the basic configuration of the object tracking / extracting apparatus of a moving image according to a first embodiment of the present invention.
【図2】同実施形態の物体追跡/抽出装置の第1の構成例を示すブロック図。 2 is a block diagram showing a first configuration example of the object tracking / extracting apparatus of the embodiment.
【図3】同実施形態の物体追跡/抽出装置の第2の構成例を示すブロック図。 3 is a block diagram illustrating a second configuration example of the object tracking / extracting apparatus of the embodiment.
【図4】同実施形態の物体追跡/抽出装置に設けられた背景領域決定部の具体的な構成の一例を示すブロック図。 Block diagram illustrating an example of a specific configuration of Figure 4 the background area determining section provided in the object tracking / extracting apparatus of the embodiment.
【図5】同実施形態の物体追跡/抽出装置に設けられた図形設定部の具体的な構成の一例を示すブロック図。 5 is a block diagram illustrating an example of a specific configuration of figure setting section provided in the object tracking / extracting apparatus of the embodiment.
【図6】同実施形態の物体追跡/抽出装置に設けられた背景動き削除部の具体的な構成の一例を示すブロック図。 Figure 6 is a block diagram illustrating an example of a specific configuration of the background motion deletion unit provided in the object tracking / extracting apparatus of the embodiment.
【図7】同実施形態の物体追跡/抽出装置に設けられた背景動き削除部で使用される代表背景領域の一例を示す図。 7 is a diagram showing an example of the representative background space used by the background motion deletion unit provided in the object tracking / extracting apparatus of the embodiment.
【図8】同実施形態の物体追跡/抽出装置の動作を説明するための図。 Figure 8 is a diagram for explaining the operation of the object tracking / extracting apparatus of the embodiment.
【図9】本発明の第2実施形態に係る第1の動画像物体追跡/抽出装置を表すブロック図。 9 is a block diagram representing the first moving image object tracking / extracting apparatus according to a second embodiment of the present invention.
【図10】同第2実施形態に係る第2の動画像物体追跡/抽出装置を表すブロック図。 10 is a block diagram representing the second moving image object tracking / extracting apparatus according to the second embodiment.
【図11】同第2実施形態に係る第3の動画像の物体追跡/抽出装置を表すブロック図。 FIG. 11 is a block diagram representing an object tracking / extracting apparatus of a third moving picture according to the second embodiment.
【図12】同第2実施形態に係る第4の動画像の物体追跡/抽出装置を表すブロック図。 12 is a block diagram representing the object tracking / extracting apparatus of a fourth moving image according to the second embodiment.
【図13】同第2実施形態の物体追跡/抽出装置で用いられる物体予測の方法を説明するための図。 13 is a diagram for explaining a method of object prediction used in object tracking / extracting apparatus of the second embodiment.
【図14】同第2実施形態の物体追跡/抽出装置で用いられる参照フレーム選択方法を説明するための図。 Figure 14 is a diagram for explaining a reference frame selection method used in the object tracking / extracting apparatus of the second embodiment.
【図15】同第2実施形態の物体追跡/抽出装置において第1の物体追跡/抽出部と第2の物体抽出部を切り替えて物体を抽出した結果の例を表す図。 FIG. 15 is a diagram showing an example of a result of extracting the object by switching a first object tracking / extracting section a second object extraction unit in the object tracking / extracting apparatus of the second embodiment.
【図16】同第2実施形態の物体追跡/抽出装置を用いた動画像の物体追跡/抽出処理の流れを説明する図。 Figure 16 illustrates a flow of object tracking / extraction process of video data using object tracking / extracting apparatus of the second embodiment.
【図17】本発明の第3実施形態に係る第1の動画像物体追跡/抽出装置を表すブロック図。 Figure 17 is a block diagram showing a first moving image object tracking / extracting apparatus according to a third embodiment of the present invention.
【図18】同第3実施形態に係る第2の動画像物体追跡/抽出装置を表すブロック図。 Figure 18 is a block diagram showing a second moving image object tracking / extracting apparatus according to the third embodiment.
【図19】同第3実施形態に係る第3の動画像物体追跡/抽出装置を表すブロック図。 Figure 19 is a block diagram showing a third moving image object tracking / extracting apparatus according to the third embodiment.
【図20】同第3実施形態に係る第5の動画像物体追跡/抽出装置を表すブロック図。 Figure 20 is a block diagram showing a moving image object tracking / extracting apparatus of a fifth according to the third embodiment.
【図21】同第3実施形態に係る第6の動画像物体追跡/抽出装置を表すブロック図。 Figure 21 is a block diagram showing a sixth moving image object tracking / extracting apparatus according to the third embodiment.
【図22】同第3実施形態に係る第4の動画像物体追跡/抽出装置を表すブロック図。 Figure 22 is a block diagram showing a fourth moving image object tracking / extracting apparatus according to the third embodiment.
【図23】同第3実施形態に係る動画像物体追跡/抽出装置の他の構成例を表すブロック図。 Figure 23 is a block diagram illustrating another configuration example of a moving image object tracking / extracting apparatus according to the third embodiment.
【図24】同第3実施形態に係る動画像物体追跡/抽出装置のさらに他の構成例を表すブロック図。 Figure 24 is a block diagram showing still another configuration example of a moving image object tracking / extracting apparatus according to the third embodiment.
【図25】同第3実施形態に係る動画像物体追跡/抽出装置に適用されるフレーム順序制御による抽出フレーム順の例を説明する図。 Figure 25 is a diagram illustrating an example of a sequence extracted frame by frame sequence control applied to the moving image object tracking / extracting apparatus according to the third embodiment.
【図26】同第3実施形態に係る動画像物体追跡/抽出装置の応用例を表す図。 Figure 26 is a diagram representing an application example of the moving image object tracking / extracting apparatus according to the third embodiment.
【図27】本発明の第4実施形態に係る物体抽出装置を示すブロック図。 Figure 27 is a block diagram showing an object extraction apparatus according to a fourth embodiment of the present invention.
【図28】同第4実施形態に係る物体抽出装置にエッジ補正処理を適用した場合の構成例を示すブロック図。 Figure 28 is a block diagram showing a configuration example of the application of the edge correction process in the object extracting apparatus according to the fourth embodiment.
【図29】同第4実施形態に係る物体抽出装置に適用される動き補償部の構成例を示すブロック図。 Figure 29 is a block diagram showing a configuration example of a motion compensation unit that is applied to the object extracting apparatus according to the fourth embodiment.
【図30】同第4実施形態に係る物体抽出装置に適用される縮小ブロックマッチングによる物体抽出部の構成例を示すブロック図。 Figure 30 is a block diagram showing a configuration example of an object extracting portion by reduced block matching is applied to the object extracting apparatus according to the fourth embodiment.
【図31】同第4実施形態に係る物体抽出装置で使用される背景パレットによるエッジ補正回路を示す図。 FIG. 31 shows an edge correction circuit according to the background palette used by the object extracting apparatus according to the fourth embodiment.
【図32】同第4実施形態に係る物体抽出装置に適用される画像合成装置を示す図。 Figure 32 is a view showing an image synthesizing device which is applied to the object extracting apparatus according to the fourth embodiment.
【図33】同第4実施形態に係る物体抽出装置で使用される分離度を用いたエッジ補正の原理を説明する図。 Figure 33 is a diagram for explaining the principle of edge correction using separability used by the object extracting apparatus according to the fourth embodiment.
【図34】同第4実施形態に係る物体抽出装置で処理される処理画像全体を示す図。 Figure 34 illustrates the overall processing images processed by the object extracting apparatus according to the fourth embodiment.
【図35】同第4実施形態で用いられる操作者によって描かれた輪郭線を示す図。 Figure 35 illustrates a drawn contour by the operator to be used in the fourth embodiment.
【図36】同第4実施形態で用いられるブロック設定(1スキャン目)の様子を示す図。 Figure 36 is a diagram showing a state of the fourth block set used in the embodiment (the first scan).
【図37】同第4実施形態で用いられるブロック設定(2スキャン目)の様子を示す図。 Shows the state of FIG. 37 is a block configuration used in the fourth embodiment (second scan).
【図38】同第4実施形態で用いられる相似ブロックを説明するための図。 Figure 38 is a diagram for explaining a similar block to be used in the fourth embodiment.
【図39】同第4実施形態で用いられる相似ブロックの探索範囲を説明するための図。 Figure 39 is a diagram for explaining a search range of the similar block to be used in the fourth embodiment.
【図40】同第4実施形態で用いられる相似ブロックの探索範囲の別の例を説明するための図。 Diagram for explaining another example of the search range of similar blocks used [Figure 40] in the same fourth embodiment.
【図41】同第4実施形態で用いられるシェイプ画像の置き換え変換前の様子を示す図。 Figure 41 illustrates the pre-conversion state replacement shape images used in the fourth embodiment.
【図42】同第4実施形態で用いられるシェイプ画像の置き換え変換後の様子を示す図。 Figure 42 is a diagram showing a state after conversion replacement shape images used in the fourth embodiment.
【図43】同第4実施形態において抽出された輪郭線を示す図。 Figure 43 is a diagram showing a contour line extracted in the fourth embodiment.
【図44】同第4実施形態において抽出された背景色の部分を表す図。 Figure 44 is a graph representing the same fourth portion of the background color is extracted in the embodiment.
【図45】同第4実施形態で使用される動き補償を説明するための図。 Diagram for explaining the motion compensation Figure 45 used in the fourth embodiment.
【図46】同第4実施形態で使用される背景画像を用いた物体抽出方法のフローチャート。 Flowchart of object extraction method using a background image used in Figure 46 the fourth embodiment.
【図47】同第4実施形態で使用される動き補償による物体抽出方法のフローチャート。 The flowchart of FIG. 47 object extraction method by the motion compensation used in the fourth embodiment.
【図48】同第4実施形態で使用されるフレーム内の縮小ブロックマッチングによる物体抽出方法のフローチャート。 Figure 48 is a flowchart of an object selection method by reduction block matching in a frame used in the fourth embodiment.
【図49】同第4実施形態で用いられるブロック設定の他の例を示す図。 Figure 49 is a view showing another example of the block configuration used in the fourth embodiment.
【図50】エッジ補正を説明するためのフローチャート図。 Figure 50 is a flowchart diagram for explaining an edge correction.
【図51】ブロック設定の例を示す図。 Figure 51 is a diagram showing an example of a block configuration.
【図52】物体領域の輪郭線を探索する過程を示す図。 FIG. 52 illustrates a process of searching the contour of the object region.
【図53】ブロックサイズを次第に小さくする方法を説明するフローチャート図【図54】ブロック設定の他の例を示す図。 FIG. 53 shows another example of a flowchart illustrating a method of gradually reducing the block size diagram FIG. 54 block setting.
【符号の説明】 DESCRIPTION OF SYMBOLS
1…初期図形設定部2…物体追跡・抽出部11…図形設定部12…背景領域決定部13…物体抽出部21…背景動き削除部22…図形設定部23…背景領域決定部24…物体抽出部31…変化量検出部32…代表領域決定部33…背景変化量決定部34…代表領域の背景決定部35…背景領域決定部36…形状予測部37…静止物体領域決定部41…分離部42…動き検出部43…分割判定部44…図形決定部51…背景代表領域設定部52…動き検出部53…動き補償部61…図形設定部62…複数の物体追跡・抽出部70…図形設定部71…第2の物体追跡・抽出部72…参照フレーム選択部73…第1の物体追跡・抽出部111…特徴量抽出部141…フレーム順序制御部224…物体抽出部279…物体抽出部284…エッジ補正部 1 ... initial figure setting section 2 ... object tracking and extraction unit 11 ... figure setting section 12 ... background area determining section 13 ... object extraction unit 21 ... background motion deletion unit 22 ... figure setting unit 23 ... background area determining section 24 ... object extraction part 31 ... change amount detecting unit 32 ... representative region determining unit 33 ... background variation determining section 34 ... background determination unit 35 ... background area determining section 36 ... shape prediction unit 37 ... still object region determining section 41 ... separation portion of the representative region 42 ... motion detecting portion 43 ... division determination unit 44 ... graphic determination unit 51 ... background representative region setting unit 52 ... motion detection unit 53 ... motion compensation unit 61 ... figure setting unit 62 ... a plurality of object tracking and extraction unit 70 ... figure setting part 71 ... second object tracking and extraction unit 72 ... reference frame selector 73 ... first object tracking and extraction section 111 ... feature amount extracting section 141 ... frame sequence control unit 224 ... object extraction unit 279 ... object extraction unit 284 ... edge correction unit 85…エッジ補正部 85 ... edge correction unit

Claims (12)

  1. 動画像信号から抽出される物体対象を含む現フレームと、 前記現フレームと参照フレームとの差分が小さい画素は、予め与えられる前記参照フレームの物体形状を用いて、前記参照フレームの画素が物体領域に属する場合には前記現フレームの画素を物体領域と決定し、また前記参照フレームの画素が背景領域に属する場合には前記現フレームの画素を背景領域と決定する静止物体決定手段と、 And the current frame including an object subject to be extracted from the moving image signal, the pixel difference between the reference frame and the current frame is small, by using the object shape of the reference frame provided in advance, pixels of the reference frame object region a stationary object determination unit the pixel of the current frame is determined as an object region and pixels of the reference frame to determine the background region pixels of the current frame if it belongs to the background area if it belongs to,
    前記静止物体決定手段の決定結果及び前記現フレームと前記参照フレームとの差分に基づいて、前記現フレームと前記の参照フレームに共通の第1の背景領域を決定し、前記現フレームと他の参照フレームとの差分に基づいて、前記現フレームと前記の参照フレームに共通の第2の背景領域を決定する背景領域決定手段と、 Based on the difference between the determined result and the said reference frame and a current frame of the stationary object determination unit, wherein the determining the common first background region in the reference frame and the current frame, the current frame and the other reference based on the difference between the frame, and the background area determining means for determining a common second background region in the other reference frame and the current frame,
    前記現フレームの画像の中で、前記第1の背景領域と前記第2の背景領域のどちらにも属さない領域を、物体領域として抽出する手段と、 Wherein in the image of the current frame, a region which does not belong to either of the said first background region second background area, it means for extracting as an object region,
    を具備する動画像の物体抽出装置。 Object extracting apparatus of the moving image having a.
  2. 前記予め与えられる物体形状は、前記参照フレームの物体形状が既に抽出されている場合にはその物体形状を用い、前記参照フレームの物体形状が未だ物体領域が抽出されていない場合には、既に物体形状を抽出したフレームから、前記参照フレームの物体の形状をブロックマッチング法によって生成し、このようにして生成した形状を用いる静止物体決定手段を含む請求項1に記載の物体抽出装置。 The object shape is provided in advance, if the object shape of the reference frame has already been extracted with the object shape, if the object shape of the reference frame is not extracted yet object region, already object shape from the extracted frame, the shape of the object of the reference frame produced by the block matching method, the object extracting apparatus according to claim 1 comprising a stationary object determination means using a shape generated in this way.
  3. 前記参照フレームと前記の参照フレームの各々と前記現フレームとの間で背景の動きが相対的に零となるように、前記参照フレームまたは現フレームの背景の動きを補正する背景補正手段をさらに有する請求項1に記載の物体抽出装置。 Wherein the each of the other reference frame and the reference frame such that movement of the background between the current frame is relatively zero, further background correction means for correcting the motion of the background of the reference frame or the current frame object extracting apparatus according to claim 1 having.
  4. 前記背景領域決定手段は、予め与えられたしきい値を用いて、前記共通の背景領域を決定する手段を具備する請求項1に記載の物体抽出装置。 The background area determining means uses the pre-assigned threshold, the object extracting apparatus according to claim 1, comprising means for determining the common background region.
  5. 前記予め与えられたしきい値は、前記現フレームの差分の大きさを測定して、差分が大きい場合はしきい値を大きく設定し、差分が小さい場合はしきい値を小さく設定する手段を具備する請求項4に記載の物体抽出装置。 Wherein the pre-given threshold, by measuring the magnitude of the difference of the current frame, the difference is large to set the threshold value is larger when the difference is small, the means for setting a small threshold object extracting apparatus according to claim 4, comprising.
  6. 前記予め与えられたしきい値は、前記現フレームを複数の領域に分割し、分割した各領域において差分の大きさを測定し、差分が大きい場合はしきい値を大きく設定し、差分が小さい場合はしきい値を小さく設定する手段を具備する請求項4に記載の物体抽出装置。 The previously given threshold, the split the current frame into a plurality of regions, the magnitude of the difference in the respective divided areas measured, when the difference is large, setting a large threshold, the difference is small object extracting apparatus according to claim 4, comprising means for setting a small threshold when.
  7. 既に物体領域を抽出したフレームから、前記現フレーム上の物体の位置または形状を予測する予測手段と、前記予測手段によって予測された現フレーム上の物体の位置または形状に基づいて、 前記第1および第2の参照フレームの物体の重なり合う部分が前記現フレームの物体に属する、前記前記背景領域決定手段によって使用すべき前記第1および第2の参照フレームを選択する手段とをさらに具備する請求項1に記載の物体抽出装置。 From an already frames extracted object area, and predicting means for predicting the position or shape of an object on the current frame, based on the position or shape of an object on the current frame is predicted by said predicting means, said first and claim 1 overlapping portions of the object of the second reference frame belongs to the object of the current frame, further comprising means for selecting said first and second reference frames to be used by said background area determination unit object extracting apparatus according to.
  8. 前記動画像信号の初期フレームに目的とする前記物体領域を囲む図形を設定する初期図形設定手段と、前記動画像信号の入力フレーム毎に、 この入力フレームである前記現フレームと前記参照フレーム上の図形内画像との相関関係に基づいて、前記参照フレームの図形内画像に対応するフレーム上の領域を囲むような図形を、前記フレームに設定する図形設定手段とを更に有し、前記物体領域抽出手段は、前記図形内画像の中で前記第1の背景領域と前記第2の背景領域のどちらにも属さない領域を物体領域として抽出する請求項1に記載の物体抽出装置。 An initial figure setting means for setting a graphic surrounding the object region of interest in the initial frame of the moving image signal, for each input frame of the moving image signal, the on the reference frame and the current frame is the input frame based on the correlation between the figures in the image, a graphic, such as to surround a region on the current frame corresponding to the figures in the image of the reference frame, further comprising a graphic setting means for setting said current frame, said object region extracting means, the object extracting apparatus according to claim 1 for extracting a region which does not belong to either of the first background region and the second background region in the figure the image as an object area.
  9. 前記初期図形設定手段は、外部からの入力に基づいて目的とする動物体を囲む図形を設定する請求項8に記載の物体抽出装置。 The initial figure setting means, the object extracting apparatus according to claim 8 for setting a graphic surrounding a moving object of interest based on input from the outside.
  10. 動画像信号の初期フレームに目的とする物体を囲む図形を設定する初期図形設定手段と、 An initial figure setting means for setting a graphic surrounding an object of interest to the initial frame of the moving image signal,
    前記動画像信号の入力フレーム毎に、その入力フレームと、その入力フレームに対し時間的に異なる参照フレーム上の図形内画像との相関関係に基づいて、前記参照フレームの図形内画像に対応する前記入力フレーム上の領域を囲むような図形を、前記入力フレームに設定する図形設定手段と、 For each input frame of the moving image signal, and the input frame, based on the correlation between the figures in the image on the reference frame temporally different to the input frame, wherein corresponding to the figure in the image of the reference frame a figure that surrounds the region of the input frame, and the figure setting means for setting the input frame,
    物体抽出対象となる前記入力フレームと、この入力フレームに対し時間的に異なる第1の参照フレームとの差分に基づいて、前記現フレームと前記第1の参照フレームに共通の第1の背景領域を決定し、前記入力フレームと、この入力フレームに対し時間的に異なる第2の参照フレームとの差分に基づいて、前記入力フレームと前記第2の参照フレームに共通の第2の背景領域を決定する背景領域決定手段と、 Said input frame to be the object extraction target, with respect to the input frame based on a difference between temporally different first reference frame, a common first background region in the first reference frame and the current frame determined, and the input frame, based on the difference between temporally different second reference frame with respect to the input frame to determine a common second background region in the second reference frame and the input frame and a background area determining means,
    前記入力フレームの図形内画像の中で、前記第1の背景領域と前記第2の背景領域のどちらにも属さない領域を、物体領域として抽出する手段と、を含む第1の物体抽出手段と、 In figure within the image of the input frame, a region which does not belong to either of the said first background region second background area, means for extracting as an object area, a first object extraction means including ,
    前記第1の物体抽出手段とは異なる方法を用いて、前記物体抽出対象となる入力フレーム上の図形内画像から物体領域を抽出する第2の物体抽出手段と、 Using a method different from the said first object extraction unit, a second object extraction means for extracting an object area from the graphic in the image on the input frame to be the object extraction target,
    前記第1および第2の物体抽出手段を選択的に切り替える手段と、 And selectively switches means the first and second object extraction unit,
    物体抽出対象となる現フレームから、その少なくとも一部の領域についての画像の特徴量を抽出する手段と、 From the current frame to be the object extraction target, a means for extracting a feature value of an image of at least part of the region,
    を具備し、前記切換手段は、前記抽出された特徴量に基づいて、前記第1および第2の物体抽出手段を選択的に切り替える物体抽出装置。 Comprising a said switching means, based on the extracted feature quantity, selectively switching the object extracting apparatus said first and second object extraction unit.
  11. 動画像信号の初期フレームに目的とする物体を囲む図形を設定する初期図形設定手段と、 An initial figure setting means for setting a graphic surrounding an object of interest to the initial frame of the moving image signal,
    前記動画像信号の入力フレーム毎に、その入力フレームと、その入力フレームに対し時間的に異なる参照フレーム上の図形内画像との相関関係に基づいて、前記参照フレームの図形内画像に対応する入力フレーム上の領域を囲むような図形を、前記入力フレームに設定する図形設定手段と、 For each input frame of the moving image signal, and the input frame, based on the correlation between the figures in the image on the reference frame temporally different to the input frame, input corresponding to a shape in the image of the reference frame a figure that surrounds the region of the frame, and figure setting means for setting the input frame,
    物体抽出対象となる入力フレームと、この入力フレームに対し時間的に異なる第1の参照フレームとの差分に基づいて、前記入力フレームと前記第1の参照フレームに共通の第1の背景領域を決定し、前記現フレームと、この現フレームに対し時間的に異なる第2の参照フレームとの差分に基づいて、前記入力フレームと前記第2の参照フレームに共通の第2の背景領域を決定する背景領域決定手段と、 Determining an input frame to be the object extraction target, with respect to the input frame based on a difference between temporally different first reference frame, a common first background region in the said input frame first reference frame and, wherein the current frame, background based on a difference between different second reference frame temporally to this current frame, determining a common second background region in the second reference frame and the input frame and the area determining means,
    前記入力フレームの図形内画像の中で、前記第1の背景領域と前記第2の背景領域のどちらにも属さない領域を、物体領域として抽出する第1の物体抽出手段と、 In figure within the image of the input frame, a region which does not belong to either of the first background region and the second background region, and the first object extraction means for extracting as an object region,
    前記第1の物体抽出手段とは異なる方法を用いて、前記物体抽出対象となる現フレーム上の図形内画像から物体領域を抽出する第2の物体抽出手段と、 A second object extraction means for extracting different ways with the object area from the graphic in the image on the current frame to be the object extraction target from the first object extraction unit,
    前記第1および第2の物体抽出手段を選択的に切り替える手段と、 And selectively switches means the first and second object extraction unit,
    を具備し、前記第2の物体抽出手段は、既に物体領域を抽出したフレームを参照フレームとして使用してその参照フレームから物体抽出対象となる現フレーム上の物体の位置または形状を予測する予測手段を含み、その予測結果に基づいて現フレームから物体領域を抽出し、前記第2の物体抽出手段による予測誤差が所定の範囲内であるときは前記第2の物体抽出手段による抽出結果が物体領域として使用され、前記予測誤差が所定の範囲を越えたときは前記第1の物体抽出手段による抽出結果が物体領域として使用されるように、予測誤差量に基づいて、フレーム内のブロック単位で前記第1および第2の物体抽出手段を選択的に切り替えて使用する物体抽出装置。 Comprising a second object extraction unit, already predicting means for predicting the position or shape of an object on the current frame to be the object extraction target from the reference frame using the reference frame to frame extracting the object area wherein the extracting the object area from the current frame based on the prediction result, the extraction result object region by the second object extraction unit when the prediction error by said second object extraction unit is within a predetermined range It is used as, as the prediction error when exceeding the predetermined range extraction result by the first object extraction unit is used as the object region, based on the prediction error amount, the block units of a frame first and selectively switching the object extracting apparatus that uses a second object extraction unit.
  12. 前記第2の物体抽出手段は、参照フレームと物体抽出対象となる現フレームとの間のフレーム間隔が所定フレーム分以上あくように入力フレーム順とは異なる順序でフレーム間予測を行う請求項10に記載の物体抽出装置。 The second object extraction unit, in claim 10, the frame interval between the current frame as a reference frame and the object extraction target performs inter-frame prediction in a different order than the input frame order to scum than a predetermined number of frames object extracting apparatus according.
JP189199A 1998-01-07 1999-01-07 Object extracting apparatus Expired - Fee Related JP3612227B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP184798 1998-01-07
JP10-1847 1998-07-07
JP19206198 1998-07-07
JP10-192061 1998-07-07
JP189199A JP3612227B2 (en) 1998-01-07 1999-01-07 Object extracting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP189199A JP3612227B2 (en) 1998-01-07 1999-01-07 Object extracting apparatus

Publications (2)

Publication Number Publication Date
JP2000082145A true JP2000082145A (en) 2000-03-21
JP3612227B2 true JP3612227B2 (en) 2005-01-19

Family

ID=27275097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP189199A Expired - Fee Related JP3612227B2 (en) 1998-01-07 1999-01-07 Object extracting apparatus

Country Status (1)

Country Link
JP (1) JP3612227B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087049A (en) * 2005-09-21 2007-04-05 Kddi Corp Dynamic image processor

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731799B1 (en) * 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
KR100450793B1 (en) * 2001-01-20 2004-10-01 삼성전자주식회사 Apparatus for object extraction based on the feature matching of region in the segmented images and method therefor
JP4596227B2 (en) 2001-06-27 2010-12-08 ソニー株式会社 Communication device and method, a communication system, a recording medium, and program
JP4650655B2 (en) * 2001-06-27 2011-03-16 ソニー株式会社 Communication device and method, a communication system, a recording medium, and program
KR100443678B1 (en) * 2001-09-29 2004-08-09 엘지전자 주식회사 Object domain detecting method for image
JP3782368B2 (en) 2002-03-29 2006-06-07 株式会社東芝 Object image extraction method, and program, and the object image extraction apparatus
JP3979894B2 (en) 2002-07-22 2007-09-19 本田技研工業株式会社 Object detection apparatus and method
JP4140402B2 (en) 2003-03-03 2008-08-27 松下電工株式会社 Image processing apparatus
JP4578864B2 (en) * 2004-06-03 2010-11-10 パナソニック株式会社 Automatic tracking device and automatic tracking method
JP4544955B2 (en) * 2004-09-30 2010-09-15 セコム株式会社 Image monitoring apparatus
JP4481996B2 (en) * 2004-10-21 2010-06-16 パイオニア株式会社 Processing apparatus and program
JP4614778B2 (en) * 2005-01-20 2011-01-19 池上通信機株式会社 Image generating method for a mobile object extraction
JP4993354B2 (en) * 2007-03-29 2012-08-08 Kddi株式会社 Extraction system object image
JP4507129B2 (en) * 2008-06-06 2010-07-21 ソニー株式会社 Tracking point detecting device and method, program, and recording medium
JP2010011016A (en) * 2008-06-26 2010-01-14 Sony Corp Tracking point detection apparatus, method, program, and recording medium
KR101605314B1 (en) 2009-07-06 2016-03-22 삼성전자 주식회사 Image processing apparatus and image processing method
US10133927B2 (en) * 2014-11-14 2018-11-20 Sony Corporation Method and system for processing video content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087049A (en) * 2005-09-21 2007-04-05 Kddi Corp Dynamic image processor

Also Published As

Publication number Publication date Type
JP2000082145A (en) 2000-03-21 application

Similar Documents

Publication Publication Date Title
Salembier Clairon et al. Region-based video coding using mathematical morphology
Liu et al. Image compression with edge-based inpainting
Kim et al. A VOP generation tool: automatic segmentation of moving objects in image sequences based on spatio-temporal information
Matsushita et al. Full-frame video stabilization with motion inpainting
US7020351B1 (en) Method and apparatus for enhancing and indexing video and audio signals
US5936671A (en) Object-based video processing using forward-tracking 2-D mesh layers
US6195389B1 (en) Motion estimation system and methods
US6438275B1 (en) Method for motion compensated frame rate upsampling based on piecewise affine warping
US5848185A (en) Image processing apparatus and method
Salembier et al. Region-based representations of image and video: segmentation tools for multimedia services
US6668097B1 (en) Method and apparatus for the reduction of artifact in decompressed images using morphological post-filtering
US20060233448A1 (en) Apparatus and method for processing video data
US5956026A (en) Method for hierarchical summarization and browsing of digital video
US20070030396A1 (en) Method and apparatus for generating a panorama from a sequence of video frames
US6205260B1 (en) Sprite-based video coding system with automatic segmentation integrated into coding and sprite building processes
US6665450B1 (en) Interpolation of a sequence of images using motion analysis
Altunbasak et al. Occlusion-adaptive, content-based mesh design and forward tracking
US5960111A (en) Method and apparatus for segmenting images prior to coding
US6501794B1 (en) System and related methods for analyzing compressed media content
Zhang et al. Automatic partitioning of full-motion video
US5870103A (en) Method for creating realistic-looking composite images
US6404901B1 (en) Image information processing apparatus and its method
Alatan et al. Image sequence analysis for emerging interactive multimedia services-the European COST 211 framework
US6549576B1 (en) Motion vector detecting method and apparatus
US5767922A (en) Apparatus and process for detecting scene breaks in a sequence of video frames

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040720

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041022

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081029

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081029

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091029

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101029

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111029

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111029

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121029

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees