JP6436846B2 - Moving object detection device, video decoding device, and moving object detection method - Google Patents
Moving object detection device, video decoding device, and moving object detection method Download PDFInfo
- Publication number
- JP6436846B2 JP6436846B2 JP2015083578A JP2015083578A JP6436846B2 JP 6436846 B2 JP6436846 B2 JP 6436846B2 JP 2015083578 A JP2015083578 A JP 2015083578A JP 2015083578 A JP2015083578 A JP 2015083578A JP 6436846 B2 JP6436846 B2 JP 6436846B2
- Authority
- JP
- Japan
- Prior art keywords
- voting
- moving object
- value
- object detection
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
この発明は、符号化された映像から移動物体を検出する移動物体検出装置、映像復号装置および移動物体検出方法に関するものである。 The present invention relates to a moving object detection device, a video decoding device, and a moving object detection method for detecting a moving object from an encoded video.
映像からの移動物体検出は、映像監視などの様々なアプリケーションにおいて重要な技術である。映像から移動物体を検出するためには、まず映像の動き情報を求める必要があるが、これは一般に演算量が大きい。そのため、例えばリアルタイム処理を行うためには高性能なハードウェアが必要であり、アプリケーションの適用範囲を狭める原因となっている。 Moving object detection from video is an important technology in various applications such as video surveillance. In order to detect a moving object from an image, it is necessary to first obtain motion information of the image, but this generally requires a large amount of computation. For this reason, for example, high-performance hardware is required to perform real-time processing, which is a cause of narrowing the application range of applications.
また、映像はそのままでは情報量が膨大であるため、一般にMPEGまたはITU−T H.26x等の国際標準映像符号化方式を用いて符号化処理が施され、圧縮された状態で伝送および蓄積される。したがって、符号化された映像に対して移動物体検出を行うためには、動き情報を求める処理を行う前にまず映像の復号を実施する必要があり、さらに演算量が大きくなる。 In addition, since the amount of information is enormous if the video is as it is, generally MPEG or ITU-TH. An encoding process is performed using an international standard video encoding method such as 26x, and the compressed data is transmitted and stored in a compressed state. Therefore, in order to detect a moving object with respect to an encoded video, it is necessary to first decode the video before performing a process for obtaining motion information, which further increases the amount of calculation.
ところで、MPEGおよびITU−T H.26x等の国際標準映像符号化方式では、まず映像を小さなブロックに分割し、ブロックごとに予測処理を行って予測残差のみを伝送することで情報量を削減している。ここで、符号化対象となるブロックの予測は、そのブロックが属するフレームだけを用いて行う画面内予測と、符号化済みの他フレームの中から符号化対象と類似したブロックを探索して用いる動き補償予測とに分けられる。動き補償予測を行う場合は、符号化対象ブロックから他フレーム内の類似ブロック(いわゆる「参照ブロック」)までの移動を表すベクトルを符号化してビットストリームの一部として出力する。このベクトルは動きベクトルと呼ばれ、符号化対象ブロックが移動物体を含む場合はその移動物体の動き情報に相当する。すなわち、符号化された映像から動きベクトルを復号すれば、その映像の動き情報を少ない演算量で求めることができる。例えば特許文献1および特許文献2において、符号化された映像の動きベクトルを使った映像解析方法が提案されている。
By the way, MPEG and ITU-TH. In the international standard video coding scheme such as 26x, first, a video is divided into small blocks, a prediction process is performed for each block, and only the prediction residual is transmitted to reduce the amount of information. Here, the prediction of a block to be encoded includes intra-frame prediction performed using only the frame to which the block belongs, and motion used by searching for a block similar to the encoding target from other encoded frames. It is divided into compensation prediction. When performing motion compensation prediction, a vector representing a movement from a current block to a similar block (so-called “reference block”) in another frame is encoded and output as a part of a bitstream. This vector is called a motion vector. When the encoding target block includes a moving object, it corresponds to the motion information of the moving object. That is, if the motion vector is decoded from the encoded video, the motion information of the video can be obtained with a small amount of calculation. For example, Patent Document 1 and
映像符号化における動き補償予測の過程で計算される動きベクトルは、常に高精度に被写体の動きを表しているとは限らず、ビットストリームには信頼性の低い動きベクトルも含まれていることが多い。そのため、先行技術のように、符号化された映像から単純に動きベクトルを復号して移動物体検出を行うと、信頼性の低い動きベクトルがノイズとして働いて誤検出が頻繁に発生するため、高精度な移動物体検出を行うことができない課題があった。 Motion vectors calculated in the process of motion compensation prediction in video coding do not always represent subject motion with high precision, and bitstreams may contain motion vectors with low reliability. Many. For this reason, as in the prior art, when a moving object is detected by simply decoding a motion vector from an encoded video, an unreliable motion vector acts as noise and frequent false detections occur. There was a problem that accurate moving object detection could not be performed.
この発明は、上記のような課題を解決するためになされたものであり、信頼性の低い動きベクトルの影響を小さくして移動物体検出の精度を向上させた移動物体検出装置および移動物体検出方法を提供することを目的とする。また、かかる移動物体検出装置を有する映像復号装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and a moving object detection apparatus and a moving object detection method that improve the accuracy of moving object detection by reducing the influence of motion vectors with low reliability. The purpose is to provide. Another object of the present invention is to provide a video decoding device having such a moving object detection device.
この発明の移動物体検出装置は、動き補償予測により符号化された映像ビットストリームから、符号化ブロックの符号化対象フレームと参照フレーム間の動きベクトルを復号する可変長復号部と、複数の動きベクトルのそれぞれに対する投票値を算出する投票値算出部と、投票値算出部が算出した投票値を、各々の動きベクトルの参照フレームに対応する投票面の動きベクトルが指す座標に投票する投票部と、投票部が投票した投票値を投票面の座標ごとに累積した値である累積投票値を記憶する累積投票値記憶部と、累積投票値を用いて映像ビットストリームの映像に含まれる移動物体を検出する移動物体検出部と、を備え、投票値算出部は、可変長復号部が映像ビットストリームから復号した指標を用いて動きベクトルに対する投票値を算出するものであって、動きベクトルを有する符号化ブロックのブロックサイズが小さいほど大きい投票値を算出するものである。 A moving object detection apparatus according to the present invention includes a variable length decoding unit that decodes a motion vector between an encoding target frame of a coding block and a reference frame from a video bitstream encoded by motion compensation prediction, and a plurality of motion vectors A voting value calculation unit that calculates a voting value for each of the voting value calculated by the voting value calculation unit, and a voting unit that votes the coordinates indicated by the motion vector of the voting surface corresponding to the reference frame of each motion vector; A voting value voted by the voting unit is accumulated for each coordinate of the voting plane, and a cumulative voting value storage unit that stores a cumulative voting value, and a moving object included in the video bitstream is detected using the cumulative voting value. It includes a moving object detection unit which, a voting value calculation unit, a variable length decoding unit a vote value for the motion vector using the index decoded from the video bitstream Been made to output, and calculates a large voting value as the block size of the encoded block is less with the motion vector.
この発明の映像復号装置は、上記映像復号装置と、映像ビットストリームから復号画像を生成する復号画像生成部と、を備えるものである。 A video decoding apparatus according to the present invention includes the above video decoding apparatus and a decoded image generation unit that generates a decoded image from a video bitstream.
この発明の移動物体検出方法は、可変長復号部が、動き補償予測により符号化された映像ビットストリームから、符号化ブロックの符号化対象フレームと参照フレーム間の動きベクトルを復号し、投票値算出部が、複数の動きベクトルのそれぞれに対する投票値を算出し、投票部が、投票値算出部が算出した投票値を、各々の動きベクトルの参照フレームに対応する投票面の動きベクトルが指す座標に投票し、累積投票値記憶部が、投票部が投票した投票値を投票面の座標ごとに累積した値である累積投票値を記憶し、移動物体検出部が、累積投票値を用いて映像ビットストリームの映像に含まれる移動物体を検出する移動物体検出方法において、投票値算出部は、可変長復号部が映像ビットストリームから復号した指標を用いて動きベクトルに対する投票値を算出するものであって、動きベクトルを有する符号化ブロックのブロックサイズが小さいほど大きい投票値を算出するものである。 In the moving object detection method of the present invention, the variable length decoding unit decodes the motion vector between the encoding target frame of the encoding block and the reference frame from the video bitstream encoded by the motion compensation prediction, and calculates a voting value. A voting value for each of a plurality of motion vectors, and a voting unit sets the voting value calculated by the voting value calculation unit to a coordinate indicated by a motion vector of a voting surface corresponding to a reference frame of each motion vector. The accumulated vote value storage unit stores the accumulated vote value that is a value obtained by accumulating the vote value voted by the vote unit for each coordinate of the voting plane, and the moving object detection unit uses the accumulated vote value to store the video bit. in the moving object detection method for detecting a moving object included in the video stream, voting value calculating unit includes a motion variable length decoding unit by using the index decoded from the video bit stream vector A calculates a voting value for, and calculates the larger voting value block size of the encoded block is less with the motion vector.
この発明の移動物体検出装置、映像復号装置および移動物体検出方法は、複数のフレームにおける複数の動きベクトルを統合して用いることで、信頼性の低い動きベクトルの影響を小さくして移動物体検出の精度を向上させることができる。 The moving object detection device, the video decoding device, and the moving object detection method of the present invention reduce the influence of a motion vector with low reliability by integrating and using a plurality of motion vectors in a plurality of frames. Accuracy can be improved.
実施の形態1.
図1は、実施の形態1に係る移動物体検出装置の要部を示すブロック図である。
可変長復号部11は、動き補償予測を用いて符号化されたフレームを含む映像ビットストリームを入力として受け取り、対応する符号化方式にて規定されている方法に従って復号する処理回路である。可変長復号部11は、映像ビットストリームに含まれる情報のうち、少なくとも動きベクトルを含む移動物体検出に使用する情報を復号して出力するようになっている。
Embodiment 1 FIG.
FIG. 1 is a block diagram illustrating a main part of the moving object detection device according to the first embodiment.
The variable
投票値算出部12は、可変長復号部11の出力を受け取り、動きベクトルごとに、その動きベクトルの移動物体検出における信頼度に対応する所定の値を算出する処理回路である。以下、この値を「投票値」という。
The voting
累積投票値記憶部13は、2次元配列を記憶する記憶素子である。例えばこの2次元配列は、映像ビットストリームに含まれる各フレームと同じ大きさである。以下、この2次元配列を「投票面」という。累積投票値記憶部13は、投票面の座標ごとに、その座標を指す動きベクトルに対する投票値の累積値を記憶するようになっている。以下、この累積値を「累積投票値」という。
The cumulative vote
投票部14は、可変長復号部11から出力された動きベクトルと、投票値算出部12で算出されたその動きベクトルの投票値と、累積投票値記憶部13に記憶されているその動きベクトルが指す座標の累積投票値とを受け取り、累積投票値に投票値を加算して再び累積投票値記憶部13に記憶させる処理回路である。以下、投票部14が投票値を加算する処理を「投票」という。
The
移動物体検出部15は、累積投票値記憶部13から累積投票値を受け取り、閾値処理を施すことで移動物体検出対象のフレームにおける移動物体を検出してその結果を出力する処理回路である。
The moving
可変長復号部11、投票値算出部12、累積投票値記憶部13、投票部14および移動物体検出部15により、移動物体検出装置100が構成されている。
The variable
ここで、国際標準映像符号化方式ITU−T H.264およびH.265等で一般的に用いられている動き補償予測におけるフレームの参照構造について説明する。
図2に示す9枚のフレームを符号化することを考える。図2の各フレームに示した数字はフレーム番号であり、フレーム1〜8は動き補償予測を行うフレームである。フレーム0は映像の一番最初のフレームであり、動き補償予測を行わず、画面内予測のみ行う。H.264およびH.265等では、フレーム番号順に0、1、2、と符号化していくこともできるが、フレームの順番を入れ替え、参照構造を図2に示すように階層化することで圧縮性能が向上する。図2の例では、まずフレーム0を符号化した後にフレーム8を符号化し、その後、4、2、6、1、3、5、7の順で符号化していく。なお、図2に示した矢印は参照関係を表す。すなわち、フレーム8を符号化する際にはフレーム0を参照しながら符号化するブロックごとにフレーム8からフレーム0への動きベクトルを求めていく。また、フレーム4を符号化する際にはフレーム0とフレーム8を参照する。フレーム0を参照するか、フレーム8を参照するか、あるいはそれら両方を参照するかは符号化時にブロック単位で切り替えることができる。図2において、参照関係は常に階層の上から下へと向かっている。すなわち、符号化対象フレームよりも階層が上のフレームを参照することはない。
Here, the international standard video encoding method ITU-T H.264. H.264 and H.H. A frame reference structure in motion compensation prediction generally used in H.265 and the like will be described.
Consider encoding the nine frames shown in FIG. The numbers shown in each frame in FIG. 2 are frame numbers, and frames 1 to 8 are frames for motion compensation prediction.
図2に示す参照構造では、例えばフレーム4では、フレーム2からの動きベクトル、フレーム3からの動きベクトル、フレーム5からの動きベクトル、およびフレーム6からの動きベクトルが得られていることになり、一つのフレームに対して複数のフレームからの動きベクトルが利用できる。この実施の形態1では、こうした複数のフレームからの動きベクトルを投票処理によって統合して用いることで、高精度な移動物体検出を行う。
In the reference structure shown in FIG. 2, for example, in
なお、図2に示した参照構造はこれを一つの単位として以降のフレームでも同様に繰り返される。この様子を図12に示す。したがって、ここではフレーム0〜8を例にとって説明するが、フレーム8以降でも単に同じ動作を繰り返すだけでよい。また、この実施の形態1は図2に示す参照構造に限定されるものではなく、任意の参照構造に対して適用することができる。
It should be noted that the reference structure shown in FIG. 2 is similarly repeated in subsequent frames with this as a unit. This is shown in FIG. Therefore, although description will be given here using
図2に示したフレーム2〜6において、図3のように移動物体(図3の例では被写体の車を示す)が左から右へ移動していくとする。このとき、図4に示すように移動物体の位置に符号化ブロックがあると、フレーム2、3、5、6のそれぞれからフレーム4への動きベクトルは、信頼性が高い場合は一貫してフレーム4のほぼ同じ座標を指す。一方、ノイズ的に発生する信頼性の低い動きベクトルはランダムで一貫性がないため、フレーム4の様々な座標を指す。そこでこの実施の形態1では、動きベクトルによる参照をその座標への投票とみなし、複数の動きベクトルによる投票の結果、高い投票値を得た領域を移動物体として検出する。
In frames 2 to 6 shown in FIG. 2, it is assumed that the moving object (showing the subject car in the example of FIG. 3) moves from left to right as shown in FIG. At this time, if there is a coding block at the position of the moving object as shown in FIG. 4, the motion vectors from each of the
次に、図17のフローチャートを参照して、移動物体検出装置100の動作について説明する。
まず、可変長復号部11は、動き補償予測を用いて符号化されたフレームを含む映像ビットストリームを入力として受け取り、対応する符号化方式にて規定されている方法に従って復号を行う(図17のステップST100)。このとき、可変長復号部11は、ビットストリームの全てを復号してもよいし、その一部だけを復号してもよい。一部だけを復号する場合は、投票値算出部12および投票部14で使用する情報だけを復号する。
Next, the operation of the moving
First, the variable
投票は、図5に示すように各フレームと同じ大きさの投票面を用意して行う。投票面iの座標(x,y)には、フレームiの座標(x,y)の累積投票値を格納する。ここで、iはフレームの番号である。投票面は、あらかじめ例えば0などの値で全ての座標の値を初期化された状態で累積投票値記憶部13に格納されている。図5の例では、全てのフレームの全ての座標の値が0であるため、全てのフレームが黒で表現されている。
Voting is performed by preparing a voting surface having the same size as each frame as shown in FIG. The accumulated voting value of the coordinates (x, y) of the frame i is stored in the coordinates (x, y) of the voting plane i. Here, i is a frame number. The voting plane is stored in the cumulative voting
なお、ここでは投票面の大きさを各フレームと同じ大きさとして説明しているが、必ずしも同じ大きさでなくともよい。例えば投票面の大きさをフレームの大きさよりも小さくすることで、累積投票値記憶部13が必要とするメモリのサイズを節約したり、投票に必要な処理時間を短くしたりすることが可能である。
Here, the voting surface is described as having the same size as each frame, but the voting surface is not necessarily the same size. For example, by making the size of the voting surface smaller than the size of the frame, it is possible to save the memory size required for the cumulative voting
可変長復号部11により最初に復号されるのはフレーム0であるが、ここではフレーム0は一番最初に符号化されたフレームであり、動き補償予測において参照できる他フレームが存在しないためフレーム全体が画面内符号化されており動きベクトルは存在しないものとする。すなわち、フレーム0はIピクチャである。したがって、投票値算出部12は、フレーム0の次に復号されるフレーム8に含まれる全ての符号化ブロックの動きベクトルを可変長復号部11からまず受け取り、各動きベクトルに対する投票値を算出する(図17のステップST101)。
The variable
投票値は、常に固定の定数値としてもよいし、他の指標に基づいて各動きベクトルに応じて変更してもよい。各動きベクトルに異なる投票値を設定する場合、例えばその動きベクトルを有する符号化ブロックのサイズに応じて決定する。国際標準映像符号化方式ITU−T H.265では、符号化ブロックを符号化時に再帰的に四分木分割し、ブロックのサイズを64×64画素から8×8画素といったフレームの内容に合わせて変更することができる。このとき、図6に示すように、移動物体領域では動きベクトルの精度を高めるためブロックサイズが小さくなり、動きのない背景領域などではブロックサイズが大きくなりやすい。したがって、動きベクトルを有する符号化ブロックのサイズが小さいほど、その動きベクトルは移動物体に属している可能性が高い(移動物体検出における信頼度が高い)と言える。 The vote value may always be a fixed constant value, or may be changed according to each motion vector based on another index. When a different voting value is set for each motion vector, the voting value is determined according to, for example, the size of the encoded block having the motion vector. International standard video encoding system ITU-T H.264. In H.265, the encoded block can be recursively divided into quadtrees at the time of encoding, and the block size can be changed according to the content of the frame from 64 × 64 pixels to 8 × 8 pixels. At this time, as shown in FIG. 6, in the moving object region, the block size is reduced in order to increase the accuracy of the motion vector, and in the background region where there is no motion, the block size is likely to be increased. Therefore, it can be said that the smaller the size of a coding block having a motion vector, the higher the possibility that the motion vector belongs to a moving object (high reliability in moving object detection).
そこで、投票値算出部12は、可変長復号部11から動きベクトルと併せてブロックサイズも受け取り、これを用いて動きベクトルの投票値を求める。ここで、ある動きベクトルが指す座標に対応する投票面の座標を(m,n)、ブロックの横幅をBx、縦幅をByとすると、投票面の座標(x,y)に対するこの動きベクトルの投票値vは以下の式(1)のように決定する。
式(1)において、符号化ブロックの横幅の最大値をLx、縦幅の最大値をLyとしている。LxとLyの値は例えば64画素である。
Therefore, the voting
In equation (1), the maximum horizontal width of the encoded block is Lx, and the maximum vertical width is Ly. The value of Lx and Ly is, for example, 64 pixels.
このようにブロックサイズに基づいて動きベクトルの投票値を決定することで、移動物体である可能性が高い小さなサイズのブロックが有する動きベクトルの投票値は大きく、大きなブロックが有する動きベクトルの投票値は小さくすることができるため、動きベクトルの投票に基づいた移動物体検出の精度を高めることができる。 By determining the motion vector voting value based on the block size in this way, the motion vector voting value of a small size block that is likely to be a moving object is large, and the motion vector voting value of a large block is large. Therefore, the accuracy of moving object detection based on motion vector voting can be increased.
なお、可変長復号部11では、ブロックサイズの他にも様々なパラメータをビットストリームから復号することができるため、投票値算出部12はこれらのパラメータを受け取ることでブロックサイズ以外のパラメータ、およびそれらの組み合わせに基づいて投票値を決定するようにしてもよい。
Since the variable
さらに、符号化ブロックの内部において、そのブロックの中心に近いほど移動物体である可能性が高いと考えて、投票値vを所定の重み付け関数を用いて補正することも考えられる。中心から外側に向けて値が小さくなる重み付け関数としてはガウス関数がよく知られている。投票値vのガウス関数による補正は、次式(2)で与えられる。
式(2)において、v´は補正後の投票値、σx 2とσy 2はそれぞれ水平方向と垂直方向の分散であり、例えば次式(3)のようにしてブロックサイズが小さいほど分散を小さく、ブロックサイズが大きいほど分散を大きくする。
式(3)において、αとβは例えば0.25などの定数である。
Furthermore, it is considered that the closer to the center of the block in the coding block, the higher the possibility that the moving object is, and the vote value v is corrected using a predetermined weighting function. A Gaussian function is well known as a weighting function whose value decreases from the center toward the outside. The correction of the vote value v by a Gaussian function is given by the following equation (2).
In equation (2), v ′ is the voted value after correction, and σ x 2 and σ y 2 are the variances in the horizontal and vertical directions, respectively. For example, as shown in the following equation (3), the smaller the block size, the more the variance And increase the variance as the block size increases.
In Expression (3), α and β are constants such as 0.25.
ブロックサイズに応じてガウス関数で投票値を補正する様子を図7に示す。また、ブロックサイズを8×8、16×16、32×32、および64×64として実際に投票を行った結果を図8に示す。 FIG. 7 shows how the vote value is corrected with a Gaussian function according to the block size. In addition, FIG. 8 shows the results of actual voting with block sizes of 8 × 8, 16 × 16, 32 × 32, and 64 × 64.
このように動きベクトルの投票値を重み付け関数により補正することで、移動物体である可能性が高いブロック中心の投票値を大きくし、中心から離れるにしたがって投票値を小さくすることができるため、動きベクトルの投票に基づいた移動物体検出の精度を高めることができる。 By correcting the voting value of the motion vector with the weighting function in this way, the voting value at the block center that is likely to be a moving object can be increased, and the voting value can be decreased as the distance from the center increases. The accuracy of moving object detection based on vector voting can be improved.
なお、例えばブロック中心などの一点に対してのみ投票を行ってもよいが、点ではなくある程度の面積を持った領域に対して投票を行う方が投票の信頼性を高めることができる。動きベクトルは、誤差により数画素程度のずれが生じる場合があるため、図8のように領域に対して投票を行うことで動きベクトルのずれの影響を小さくしてより安定した投票結果を得ることができる。 For example, the voting may be performed only for one point such as the center of the block, but the voting reliability can be improved by voting on a region having a certain area instead of the point. Since the motion vector may be shifted by several pixels due to an error, voting on the area as shown in FIG. 8 can reduce the influence of the motion vector shift and obtain a more stable voting result. Can do.
投票値算出部12は、このようにしてフレーム8に含まれる全ての符号化ブロックの動きベクトルに対して投票値を算出し、その結果を投票部14に出力する。
In this way, the voting
投票部14は、可変長復号部11で復号された動きベクトルと、投票値算出部12で算出された動きベクトルの投票値を受け取り、累積投票値記憶部13から投票面を読み出して投票を行う。フレーム8の各動きベクトルは、フレーム0を参照フレームとして算出されているため、投票部14は累積投票値記憶部13からフレーム0に相当する投票面0を読み出し(図17のステップST102)、可変長復号部11から受け取った動きベクトルが指す座標へ投票値算出部12から受け取った投票値を投票する。すなわち、投票面0の当該座標が持つ累積投票値に、現在の投票値を加算する。この様子を図9に示す。図9では、フレーム8における3つの符号化ブロックが持つ動きベクトルのそれぞれに基づいて投票面0へ投票を行った結果を示している。投票が完了した後、投票部14は、累積投票値が更新された投票面0を累積投票値記憶部13に格納する(図17のステップST103)。
The
ここで、投票を行う際、信頼性が低いと判断できる動きベクトルは投票から除外するようにしてもよい。動きベクトルの信頼性は、例えば符号化対象フレームと参照フレームの間隔に基づいて判断できる。投票を行うフレームの間隔が大きい場合、動きベクトルの精度が低下するため、フレームの間隔に対して閾値(以下「間隔閾値」という)を設定し、フレームの間隔がその間隔閾値を超える場合は投票を行わないようにする。フレームの間隔は、単純に2枚のフレームのフレーム番号の差分として求めてもよいし、映像のフレームレートが既知である場合は、フレームレートを用いて実際の時間間隔として求めてもよい。 Here, when voting, motion vectors that can be determined to have low reliability may be excluded from voting. The reliability of the motion vector can be determined based on the interval between the encoding target frame and the reference frame, for example. When the interval between frames for voting is large, the accuracy of the motion vector is lowered. Therefore, a threshold (hereinafter referred to as “interval threshold”) is set for the frame interval, and voting is performed when the frame interval exceeds the interval threshold Do not do. The frame interval may be obtained simply as the difference between the frame numbers of the two frames, or may be obtained as an actual time interval using the frame rate when the frame rate of the video is known.
また、可変長復号部11から得られるパラメータを利用して動きベクトルの信頼性を判断するようにしてもよい。例えば、可変長復号部11からそのブロックにおけるDCT(Discrete Cosine Transform)係数を受け取るようにし、そのエネルギーが閾値(以下「エネルギー閾値」という)を超える場合はその動きベクトルの信頼性が低いと判断して投票を行わないようにしてもよい。ここで、DCT係数のエネルギーは、予測誤差の大きさに相当するため、DCT係数のエネルギーが大きいブロックは動き補償予測の精度が低く、動きベクトルの信頼性も低いと考えられる。
Further, the reliability of the motion vector may be determined using parameters obtained from the variable
このように動きベクトルの信頼性を判定し、信頼性の低い動きベクトルを用いた投票を行わないことで、信頼性の低い動きベクトルによる影響を小さくしてより高精度な移動物体検出を行うことが可能となる。 By determining the reliability of motion vectors in this way and not voting using motion vectors with low reliability, the effect of motion vectors with low reliability can be reduced, and more accurate moving object detection can be performed. Is possible.
また、映像は必ずしもカメラを固定した状態で、かつ焦点距離などのカメラパラメータを変えずに撮影されているとは限らない。撮影中のカメラの運動およびカメラパラメータの変更は、映像全体に亘る動きベクトル(いわゆる「グローバルモーション」)を生じさせる。したがって、高精度な移動物体検出を行うためには、必要に応じてグローバルモーションを推定して動きベクトルを補正する必要がある。可変長復号部11から得られたある符号化ブロックの動きベクトルが(MVx,MVy)であり、その符号化ブロックにおいて推定したグローバルモーションが(GMVx,GMVy)であったとすると、補正後の動きベクトル(MVx´,MVy´)は次式(4)で与えられる。
なお、グローバルモーションに関する情報がビットストリームに含まれている場合は、これを可変長復号部11から受け取って利用してもよい。カメラ運動およびカメラパラメータの変化によるグローバルモーションを補正して投票を行うことで、より高精度な移動物体検出を行うことが可能となる。
Also, the video is not necessarily captured with the camera fixed and without changing camera parameters such as the focal length. Changes in camera motion and camera parameters during filming produce motion vectors throughout the video (so-called “global motion”). Therefore, in order to detect a moving object with high accuracy, it is necessary to estimate a global motion and correct a motion vector as necessary. If the motion vector of a certain encoded block obtained from the variable
In addition, when the information regarding global motion is included in the bit stream, it may be received from the variable
次いで、投票値算出部12は、フレーム8が移動物体検出対象のフレームでない場合(図17のステップST104でNOとなった場合)、フレーム8の次に復号されるフレーム4に含まれる全ての符号化ブロックの動きベクトルを可変長復号部11から受け取り、フレーム8の時と同様に各動きベクトルの投票値を求める(図17のステップST105,ST101)。
Next, when the
フレーム4の各動きベクトルは、それぞれがフレーム0とフレーム8のいずれかあるいは両方を参照フレームとして算出されているため、投票部14は累積投票値記憶部13からフレーム0とフレーム8に相当する投票面0、投票面8を読み出し(図17のステップST102)、可変長復号部11から受け取った動きベクトルが指す座標へ投票値算出部12から受け取った投票値を投票する。このとき、フレーム0を参照している動きベクトルの投票値は投票面0へ、フレーム8を参照している動きベクトルの投票値は投票面8へ、両方を参照している動きベクトルの投票値は投票面0と8の両方へ投票する。この様子を図10に示す。投票が完了した後、投票部14は、累積投票値が更新された投票面0と投票面8を累積投票値記憶部13に格納する(図17のステップST103)。
Since each motion vector of
以降、移動物体検出対象のフレームへの投票が未完了である場合(図17のステップST104でNOとなった場合)は、フレーム2、6、1、3、5、7と同様の処理を繰り返していく(図17のステップST105)。フレーム2で投票を行う様子を図11に示す。なお、ここでは符号化された順序、すなわち復号する順序で投票を行う動作について説明したが、必ずしもこの順序で行う必要はない。例えば可変長復号部11により、フレーム0からフレーム8まで全てのフレームの復号を行い、その後、フレーム1、2、3、といったフレームの表示順序にしたがって投票を行うようにしてもよい。
Thereafter, when the voting for the moving object detection target frame is incomplete (NO in step ST104 of FIG. 17), the same processing as that of
また、各動きベクトルの符号を反転させて逆方向への投票処理を繰り返すようにしてもよい。すなわち、フレーム0〜8への投票が完了した後、投票部14は投票面0を累積投票値記憶部13から読み出す。このとき、フレーム0を参照しているフレームはフレーム1、2、4、8であるため、投票部14はフレーム1、2、4、8の動きベクトルを可変長復号部11から受け取る。そして、さらに投票面0、1、2、4、8を累積投票値記憶部13から読み出し、フレーム1、2、4、8の各動きベクトルの符号を反転させて投票面0の累積投票値を投票面1、2、4、8にそれぞれ投票する。フレーム0からフレーム4へ逆方向の投票を行う様子を図13に示す。図13では、フレーム4からフレーム0への動きベクトルの座標を反転させ、投票面0の累積投票値を用いて投票面4への投票を行っている。逆方向の投票が完了した後、投票部14は、累積投票値が更新された投票面1、2、4、8を累積投票値記憶部13に格納する。
Further, the voting process in the reverse direction may be repeated by inverting the sign of each motion vector. That is, after the voting for the
このように、一度投票が完了した後に逆方向への投票を行うことで、他のフレームから参照されることが少ない例えばフレーム1、2、3、5、6、7などにも、信頼性の高い投票値を与えることができる。
Thus, by voting in the reverse direction once the voting is completed, the reliability of the
移動物体検出対象のフレームの投票が完了した段階で(図17のステップST104でYESとなった場合)、移動物体検出部15は、累積投票値記憶部13から移動物体検出対象のフレームに対応する投票面を読み出して移動物体検出のための閾値処理を行う(図17のステップST106)。例えば、累積投票値記憶部13から読み出された投票面が図14のようであったとする。ここで、最終的な投票値が大きい領域ほど、移動物体領域である可能性が高い。したがって、移動物体検出部15は、投票面の各座標に格納された累積投票値と閾値(以下「投票閾値」という)を比較し、累積投票値が投票閾値よりも大きくなる領域だけを選択することで移動物体検出を行う。図14に対する閾値処理の結果を図15に示す。図15において、白で示した領域が検出された移動物体である。
When the voting of the moving object detection target frame is completed (when YES in step ST104 in FIG. 17), the moving
投票閾値は、あらかじめ移動物体検出部15の内部のメモリに保持しておいてもよいし、移動物体検出部15の内部あるいは外部で計算して求めるようにしてもよい。なお、図2に示す階層化された参照構造では、階層に応じて累積投票値の大きさに違いが出るため、階層に応じて投票閾値を変更するようにしてもよい。例えば、移動物体検出部15の内部のメモリに保持されている投票閾値がTh、移動物体検出対象のフレームが属する階層がHであったとすると(図2の例ではH=0、1、2、3)、投票閾値をTh/2Hとして用いることが考えられる。参照構造における階層または映像の特性に応じて投票閾値を適応的に変更することで、より高精度な移動物体検出を行うことが可能となる。
The voting threshold value may be stored in advance in a memory inside the moving
移動物体検出結果は、例えば図15に示すように移動物体領域の値を1、それ以外の領域の値を0とする2値マスク画像として出力してもよいし、あるいは図16に示すように移動物体領域をラベリングして領域ごとに区別し、各領域を内包する矩形(いわゆる「バウンディングボックス」)を定義してその矩形の座標(例えば左上座標)とサイズ(例えば2辺の長さ)として出力してもよい(図17のステップST107)。 For example, the moving object detection result may be output as a binary mask image in which the value of the moving object area is 1 and the values of the other areas are 0 as shown in FIG. 15, or as shown in FIG. Label the moving object area to distinguish each area, define a rectangle (so-called “bounding box”) that encloses each area, and set the coordinates (for example, upper left coordinates) and size (for example, the length of two sides) of the rectangle You may output (step ST107 of FIG. 17).
以上のように、実施の形態1の移動物体検出装置100は、動き補償予測により符号化された映像ビットストリームから、符号化ブロックの符号化対象フレームと参照フレーム間の動きベクトルを復号する可変長復号部11と、複数の動きベクトルのそれぞれに対する投票値を算出する投票値算出部12と、投票値算出部12が算出した投票値を、各々の動きベクトルの参照フレームに対応する投票面の動きベクトルが指す座標に投票する投票部14と、投票部14が投票した投票値を投票面の座標ごとに累積した値である累積投票値を記憶する累積投票値記憶部13と、累積投票値を用いて映像ビットストリームの映像に含まれる移動物体を検出する移動物体検出部15とを備える。符号化された映像から得られる動きベクトルを用いた移動物体検出において、動きベクトルの参照関係を利用した投票処理によって複数のフレームにおける複数の動きベクトルを統合的に用いて移動物体検出を行うように構成したので、信頼性の低い動きベクトルの影響を小さくして高精度な移動物体検出を行うことできる。
As described above, the moving
また、投票値算出部12は、可変長復号部11が映像ビットストリームから復号した指標を用いて動きベクトルに対する投票値を算出する。具体的には、例えば、投票値算出部12は、動きベクトルを有する符号化ブロックのブロックサイズが小さいほど大きい投票値を算出する。ブロックサイズに基づいて動きベクトルの投票値を決定することで、移動物体である可能性が高い小さなサイズのブロックが有する動きベクトルの投票値は大きく、大きなブロックが有する動きベクトルの投票値は小さくすることができるため、動きベクトルの投票に基づいた移動物体検出の精度を高めることができる。
The voting
また、投票値算出部12は、重み付け関数を用いて、算出した動きベクトルに対する投票値を補正する。具体的には、例えば、投票値算出部12は、ガウス関数を用いて、符号化ブロックの中心部に近い座標を指す動きベクトルほど投票値を大きくする。動きベクトルの投票値を重み付け関数により補正することで、移動物体である可能性が高いブロック中心の投票値を大きくし、中心から離れるにしたがって投票値を小さくすることができるため、動きベクトルの投票に基づいた移動物体検出の精度を高めることができる。
The voting
また、投票面の座標は、複数個の画素を含む領域を示す座標である。動きベクトルは、誤差により数画素程度のずれが生じる場合があるため、図8のように領域に対して投票を行うことで動きベクトルのずれの影響を小さくしてより安定した投票結果を得ることができる。 Moreover, the coordinate of a voting surface is a coordinate which shows the area | region containing a some pixel. Since the motion vector may be shifted by several pixels due to an error, voting on the area as shown in FIG. 8 can reduce the influence of the motion vector shift and obtain a more stable voting result. Can do.
また、投票部14は、各々の動きベクトルの信頼性を判定し、信頼性に応じて一部の動きベクトルを投票から除外する。具体的には、例えば、投票部14は、各々の動きベクトルの符号化対象フレームと参照フレームとの間隔を間隔閾値と比較し、間隔が間隔閾値を超える動きベクトルを投票から除外する。または、投票部14は、各々の動きベクトルを有する符号化ブロックの離散コサイン変換係数のエネルギーをエネルギー閾値と比較し、エネルギーがエネルギー閾値を超える動きベクトルを投票から除外する。動きベクトルの信頼性を判定し、信頼性の低い動きベクトルを用いた投票を行わないことで、信頼性の低い動きベクトルによる影響を小さくしてより高精度な移動物体検出を行うことが可能となる。
The
また、投票部14は、動きベクトルに含まれるグローバルモーションを補正して投票を実行する。カメラ運動およびカメラパラメータの変化によるグローバルモーションを補正して投票を行うことで、より高精度な移動物体検出を行うことが可能となる。
The
また、投票部14は、投票値算出部12が算出した投票値を、各々の動きベクトルの参照フレームに対応する投票面の動きベクトルが指す座標に投票した後に、参照フレームに対応する投票面の各座標の累積投票値を、動きベクトルの符号を反転したベクトルが指す投票面の座標にそれぞれ投票する。一度投票が完了した後に逆方向への投票を行うことで、他のフレームから参照されることが少ない例えばフレーム1、2、3、5、6、7などにも、信頼性の高い投票値を与えることができる。
The
また、移動物体検出部15は、各座標の累積投票値を投票閾値と比較することで、移動物体検出対象フレーム内の移動物体が存在する領域を判定する。映像ビットストリームに含まれるフレームは階層化された参照構造を有し、移動物体検出部15は、移動物体検出対象フレームの階層に応じて投票閾値を設定する。参照構造における階層などに応じて投票閾値を適応的に変更することで、より高精度な移動物体検出を行うことが可能となる。
In addition, the moving
実施の形態2.
図18は、実施の形態2に係る映像復号装置の要部を示すブロック図である。図18を参照して、実施の形態1と同様の移動物体検出装置100を有する映像復号装置300について説明する。
FIG. 18 is a block diagram showing a main part of the video decoding apparatus according to the second embodiment. With reference to FIG. 18,
可変長復号部11は、動き補償予測を用いて符号化されたフレームを含む映像ビットストリームを入力として受け取り、対応する符号化方式にて規定されている方法に従って復号する処理回路である。
The variable
逆量子化・逆変換部21は、可変長復号部11により復号されたDCT係数を受け取り、これを逆量子化および逆変換して予測残差を出力する処理回路である。
The inverse quantization /
加算部22は、逆量子化・逆変換部21から出力された予測残差と、イントラ予測部23あるいは動き補償予測部24から出力された予測画像とを受け取り、それらを加算して復号画像を生成して出力する演算器である。
The
イントラ予測メモリ25は、加算部22から出力された復号画像を記憶する記憶素子である。
The
ループフィルタ部26は、加算部22から出力された復号画像を受け取ってループフィルタ処理を施し、その結果を出力する処理回路である。
The
動き補償予測メモリ27は、ループフィルタ部26がループフィルタ処理を施した復号画像を受け取り、参照画像として記憶する記憶素子である。
The motion
イントラ予測部23は、イントラ予測メモリ25に格納された復号画像の画素データを読み出し、イントラ予測を行ってイントラ予測画像を生成して出力する処理回路である。
The
動き補償予測部24は、動き補償予測メモリ27に格納された参照画像を読み出し、動き補償予測を行って動き補償予測画像を生成して出力する処理回路である。
The motion
投票値算出部12、累積投票値記憶部13、投票部14および移動物体検出部15は、実施の形態1と同様のブロックであるため説明を省略する。
The voting
可変長復号部11、投票値算出部12、累積投票値記憶部13、投票部14および移動物体検出部15により、移動物体検出装置100が構成されている。可変長復号部11、逆量子化・逆変換部21、加算部22、イントラ予測部23、動き補償予測部24、イントラ予測メモリ25、ループフィルタ部26および動き補償予測メモリ27により、復号画像生成部200が構成されている。移動物体検出装置100および復号画像生成部200により、映像復号装置300が構成されている。
The variable
次に、映像復号装置300の動作につい説明する。
なお、復号画像生成部200は、一般的な映像復号装置と同様に動作するため説明を省略する。また、移動物体検出装置100のうち、可変長復号部11、投票値算出部12、累積投票値記憶部13および投票部14は、実施の形態1と同様に動作するため説明を省略する。
Next, the operation of the
Note that the decoded
移動物体検出部15は、移動物体検出対象のフレームの投票が完了した段階で、累積投票値記憶部13から移動物体検出対象のフレームに対応する投票面を読み出して移動物体検出のための閾値処理を行う。移動物体検出部15は、投票面の各座標に格納された累積投票値と投票閾値を比較し、累積投票値が投票閾値よりも大きくなる領域だけを選択することで移動物体検出を行う。
When the voting of the moving object detection target frame is completed, the moving
投票閾値は、あらかじめ移動物体検出部15の内部のメモリに保持しておいてもよいし、移動物体検出部15の内部あるいは外部で計算して求めるようにしてもよい。なお、図2に示す階層化された参照構造では、階層に応じて累積投票値の大きさに違いが出るため、階層に応じて投票閾値を変更するようにしてもよい。例えば、移動物体検出部15の内部のメモリに保持されている投票閾値がTh、移動物体検出対象のフレームが属する階層がHであったとすると(図2の例ではH=0、1、2、3)、投票閾値をTh/2Hとして用いることが考えられる。参照構造における階層または映像の特性に応じて投票閾値を適応的に変更することで、より高精度な移動物体検出を行うことが可能となる。
The voting threshold value may be stored in advance in a memory inside the moving
移動物体検出結果は、例えば図15に示すように移動物体領域の値を1、それ以外の領域の値を0とする2値マスク画像として出力してもよいし、あるいは図16に示すように移動物体領域をラベリングして領域ごとに区別し、各領域を内包するバウンディングボックスを定義してその矩形の座標(例えば左上座標)とサイズ(例えば2辺の長さ)として出力してもよい。 For example, the moving object detection result may be output as a binary mask image in which the value of the moving object area is 1 and the values of the other areas are 0 as shown in FIG. 15, or as shown in FIG. The moving object area may be labeled and distinguished for each area, a bounding box that includes each area may be defined, and output as rectangular coordinates (for example, upper left coordinates) and sizes (for example, the length of two sides).
また、移動物体検出部15は、復号画像生成部200から復号画像を受け取り、復号画像と移動物体検出結果を合成して出力するようにしてもよい。例えば、入力された復号画像が図19のようであったとすると、移動物体検出部15は、図19において検出された移動物体領域以外の領域の画素値を0とすることで黒く塗りつぶし、検出された移動物体領域の画素値は変更しないことで図20に示す画像を生成して出力するようにしてもよい。
Further, the moving
あるいは、図21に示すように移動物体領域をラベリングして領域ごとに区別し、各領域を内包するバウンディングボックスを定義してそれを復号画像に合成して出力するようにしてもよい。 Alternatively, as shown in FIG. 21, moving object regions may be labeled and distinguished for each region, and bounding boxes containing each region may be defined and combined with a decoded image for output.
以上のように、実施の形態2の映像復号装置300は、実施の形態1と同様の移動物体検出装置100と、映像ビットストリームから復号画像を生成する復号画像生成部200とを備える。符号化された映像から得られる動きベクトルを用いた移動物体検出において、動きベクトルの参照関係を利用した投票処理によって複数のフレームにおける複数の動きベクトルを統合的に用いて移動物体検出を行うように構成したので、信頼性の低い動きベクトルの影響を小さくして高精度な移動物体検出を行うことできる。
As described above, the
また、移動物体検出部15は、復号画像生成部200が生成した復号画像に移動物体の検出結果を合成して外部に出力する。ビットストリームを復号することで得られる復号画像と移動物体検出結果を合成して出力することで、利用者にとって視覚的にわかりやすい形式で移動物体検出結果を提示することができる。
Further, the moving
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
11 可変長復号部、12 投票値算出部、13 累積投票値記憶部、14 投票部、15 移動物体検出部、21 逆量子化・逆変換部、22 加算部、23 イントラ予測部、24 動き補償予測部、25 イントラ予測メモリ、26 ループフィルタ部、27 動き補償予測メモリ、100 移動物体検出装置、200 復号画像生成部、300 映像復号装置。
DESCRIPTION OF
Claims (16)
複数の前記動きベクトルのそれぞれに対する投票値を算出する投票値算出部と、
前記投票値算出部が算出した前記投票値を、各々の前記動きベクトルの参照フレームに対応する投票面の該動きベクトルが指す座標に投票する投票部と、
前記投票部が投票した前記投票値を前記投票面の座標ごとに累積した値である累積投票値を記憶する累積投票値記憶部と、
前記累積投票値を用いて前記映像ビットストリームの映像に含まれる移動物体を検出する移動物体検出部と、を備え、
前記投票値算出部は、前記可変長復号部が前記映像ビットストリームから復号した指標を用いて前記動きベクトルに対する前記投票値を算出するものであって、前記動きベクトルを有する符号化ブロックのブロックサイズが小さいほど大きい前記投票値を算出するものである
ことを特徴とする移動物体検出装置。 A variable length decoding unit that decodes a motion vector between an encoding target frame of a coding block and a reference frame from a video bitstream encoded by motion compensation prediction;
A vote value calculator for calculating a vote value for each of the plurality of motion vectors;
A voting unit for voting the voting value calculated by the voting value calculating unit to coordinates indicated by the motion vector of a voting surface corresponding to a reference frame of each of the motion vectors;
An accumulated voting value storage unit that stores an accumulated voting value that is a value obtained by accumulating the voting value voted by the voting unit for each coordinate of the voting surface;
A moving object detection unit that detects a moving object included in the video of the video bitstream using the cumulative vote value ;
The voting value calculation unit calculates the voting value for the motion vector using an index decoded from the video bitstream by the variable length decoding unit, and a block size of an encoded block having the motion vector The smaller the is, the larger the vote value is calculated.
A moving object detection device characterized by that .
前記移動物体検出部は、前記移動物体検出対象フレームの階層に応じて前記投票閾値を設定する
ことを特徴とする請求項10記載の移動物体検出装置。 Frames included in the video bitstream have a hierarchical reference structure;
The moving object detection device according to claim 10, wherein the moving object detection unit sets the voting threshold according to a hierarchy of the moving object detection target frame.
前記映像ビットストリームから復号画像を生成する復号画像生成部と、
を備える映像復号装置。 A moving object detection device according to claim 1;
A decoded image generation unit for generating a decoded image from the video bitstream;
A video decoding device comprising:
投票値算出部が、複数の前記動きベクトルのそれぞれに対する投票値を算出し、
投票部が、前記投票値算出部が算出した前記投票値を、各々の前記動きベクトルの参照フレームに対応する投票面の該動きベクトルが指す座標に投票し、
累積投票値記憶部が、前記投票部が投票した前記投票値を前記投票面の座標ごとに累積した値である累積投票値を記憶し、
移動物体検出部が、前記累積投票値を用いて前記映像ビットストリームの映像に含まれる移動物体を検出する移動物体検出方法において、
前記投票値算出部は、前記可変長復号部が前記映像ビットストリームから復号した指標を用いて前記動きベクトルに対する前記投票値を算出するものであって、前記動きベクトルを有する符号化ブロックのブロックサイズが小さいほど大きい前記投票値を算出するものである
ことを特徴とする移動物体検出方法。 The variable length decoding unit decodes the motion vector between the encoding target frame of the encoding block and the reference frame from the video bitstream encoded by the motion compensation prediction,
A voting value calculation unit calculates a voting value for each of the plurality of motion vectors,
The voting unit votes the voting value calculated by the voting value calculating unit to the coordinates indicated by the motion vector of the voting surface corresponding to the reference frame of each of the motion vectors,
A cumulative voting value storage unit stores a cumulative voting value that is a value obtained by accumulating the voting value voted by the voting unit for each coordinate of the voting plane;
In the moving object detection method, the moving object detection unit detects the moving object included in the video of the video bitstream using the cumulative vote value .
The voting value calculation unit calculates the voting value for the motion vector using an index decoded from the video bitstream by the variable length decoding unit, and a block size of an encoded block having the motion vector The moving object detection method is characterized in that the smaller the value is, the larger the vote value is calculated .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015083578A JP6436846B2 (en) | 2015-04-15 | 2015-04-15 | Moving object detection device, video decoding device, and moving object detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015083578A JP6436846B2 (en) | 2015-04-15 | 2015-04-15 | Moving object detection device, video decoding device, and moving object detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016208087A JP2016208087A (en) | 2016-12-08 |
JP6436846B2 true JP6436846B2 (en) | 2018-12-12 |
Family
ID=57490557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015083578A Active JP6436846B2 (en) | 2015-04-15 | 2015-04-15 | Moving object detection device, video decoding device, and moving object detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6436846B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3272466B2 (en) * | 1993-04-02 | 2002-04-08 | 三菱電機株式会社 | Moving image analyzer |
JP3363039B2 (en) * | 1996-08-29 | 2003-01-07 | ケイディーディーアイ株式会社 | Apparatus for detecting moving objects in moving images |
JP3712344B2 (en) * | 2000-05-12 | 2005-11-02 | 日本電信電話株式会社 | Repetitive video signal encoding method and recording medium recording program of this method |
JP4662142B2 (en) * | 2004-08-13 | 2011-03-30 | ソニー株式会社 | Moving object detection apparatus and method |
JP2011097572A (en) * | 2009-09-29 | 2011-05-12 | Canon Inc | Moving image-encoding device |
JP6028665B2 (en) * | 2013-04-12 | 2016-11-16 | 三菱電機株式会社 | Image association apparatus and image association method |
-
2015
- 2015-04-15 JP JP2015083578A patent/JP6436846B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016208087A (en) | 2016-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8385628B2 (en) | Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs | |
CN100468982C (en) | Method and apparatus for performing high quality fast predictive motion search | |
JP5277257B2 (en) | Video decoding method and video encoding method | |
US10250907B2 (en) | Intra-frame pixel prediction method, encoding method and decoding method, and device thereof | |
JP4166781B2 (en) | Motion vector detection apparatus and motion vector detection method | |
JP2007124408A (en) | Motion vector detector and motion vector detecting method | |
GB2519514A (en) | Method and apparatus for displacement vector component prediction in video coding and decoding | |
CN108848377B (en) | Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, computer device, and storage medium | |
CN109089121B (en) | Motion estimation method and device based on video coding and electronic equipment | |
JP2009027443A (en) | Image processing method and image processor | |
US9420303B2 (en) | Method and apparatus for displacement vector component transformation in video coding and decoding | |
US20080212719A1 (en) | Motion vector detection apparatus, and image coding apparatus and image pickup apparatus using the same | |
JP2004529569A (en) | Detection and proper interpolation of interlaced moving area for MPEG decoding with embedded resizing function | |
US20210211712A1 (en) | Motion Vector Determining Method and Apparatus | |
US20230209086A1 (en) | Image decoding device, image encoding device, image processing system, and program | |
JP4523024B2 (en) | Image coding apparatus and image coding method | |
US10911779B2 (en) | Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views | |
JP6436846B2 (en) | Moving object detection device, video decoding device, and moving object detection method | |
JP5407974B2 (en) | Video encoding apparatus and motion vector detection method | |
US10893290B2 (en) | Apparatus for moving image coding, apparatus for moving image decoding, and non-transitory computer-readable storage medium | |
JP2010273110A (en) | Image encoding apparatus and image encoding method | |
JP2015026922A (en) | Moving picture encoding apparatus and moving picture encoding method | |
JP2020102669A (en) | Encoding apparatus and program | |
Shen et al. | Down-sampling based video coding with super-resolution technique | |
JP5970507B2 (en) | Video encoding apparatus and video encoding program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170710 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6436846 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |