JP3540142B2 - Motion vector detection circuit and the motion vector detection method - Google Patents

Motion vector detection circuit and the motion vector detection method Download PDF

Info

Publication number
JP3540142B2
JP3540142B2 JP1998798A JP1998798A JP3540142B2 JP 3540142 B2 JP3540142 B2 JP 3540142B2 JP 1998798 A JP1998798 A JP 1998798A JP 1998798 A JP1998798 A JP 1998798A JP 3540142 B2 JP3540142 B2 JP 3540142B2
Authority
JP
Japan
Prior art keywords
motion vector
cumulative addition
motion
candidates
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP1998798A
Other languages
Japanese (ja)
Other versions
JPH11219436A (en
Inventor
川 剛 志 西
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to JP1998798A priority Critical patent/JP3540142B2/en
Publication of JPH11219436A publication Critical patent/JPH11219436A/en
Application granted granted Critical
Publication of JP3540142B2 publication Critical patent/JP3540142B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は動画像情報のフレーム又はフィールド内の所定の範囲であるマクロブロックに対する動きベクトルを求める動きベクトル検出回路に係り、特に前記マクロブロックに対する動きベクトル候補に対応する原画像及び参照画像の各々の画素の信号強度差を累積加算して累積結果の最小のものを動きベクトルとして選択する動きベクトル検出回路に関する。 The present invention relates to a motion vector detecting circuit for obtaining a motion vector for a macroblock within a predetermined range in a frame or field of video information, in particular for each of the original image and the reference image corresponding to the motion vector candidate for the macroblock cumulatively adding the signal intensity difference between the pixel motion what minimum cumulative results for the motion vector detection circuit for selecting as a vector.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
一般に、動画像情報の処理においては、以下の手法を用いてマクロブロック内の画素に関する値を演算することによって動きベクトルを検出している。 Generally, in the processing of video information, and detects the motion vector by calculating a value for a pixel in a macroblock using the following procedure. すなわち、ある動きベクトル候補に対して、原画像上のマクロブロック内の画素の信号強度と、このマクロブロックに対応する範囲を有し動きベクトルに相当する分だけ平行移動した参照画像上の画素毎の信号強度とを比較して、この信号強度の差を表す値をマクロブロック内の全ての画素に関して累積加算し、この演算を全ての動きベクトル候補に関して行ない、各々の動きベクトル候補に対して得られた累積結果を逐次的に比較し、累積結果が最小となるような候補を動きベクトルとして推定している。 That is, relative to the motion vector candidate, the signal intensities of the pixels in the macro block on the original image, each pixel on the reference image range and translation by an amount corresponding to the motion vector has a corresponding to this macro block by comparing the signal strength of, cumulatively it adds for all pixels in the macro block a value representing the difference in signal strength, performs the operation on all the motion vector candidates, obtained for each of the motion vector candidates are cumulative results sequentially comparing the, estimates as a motion vector candidate as accumulation result is minimized. 上記手法においては、参照画像とは原画像のフレームまたはフィールド内の所定の範囲であるマクロブロックを動きベクトルに相当する分だけ平行移動したマクロブロックに対応する所定領域の画像のことをいう。 In the above method, the reference image refers to an image of a predetermined area corresponding to the amount corresponding macroblocks translated corresponding to the motion vector macroblocks within a predetermined range in a frame or field of the original image.
【0003】 [0003]
このような一般的な動きベクトルの検出においては、累積加算処理を小さいデータ量によって高速で行なうために、複数の累積加算回路を並列に配置して各々の累積加算回路毎にそれぞれ動きベクトル候補の演算を割り当てて、累積結果のデータをパイプライン状に出力させるように動きベクトル検出回路を構成している。 In the detection of this general motion vector, in order to perform at high speed by a small amount of data accumulation processing, the respective motion vector candidate by placing a plurality of the cumulative addition circuit in parallel for each cumulative addition circuit of each Assign the operation constitutes a motion vector detection circuit so as to output the data of the accumulation result in a pipeline. このような動きベクトル検出回路における累積加算回路は、信号強度差の演算を原画像のマクロブロックを構成する画素と参照画像における対応する画素との輝度の差により行なっており、具体的には|原画像画素輝度値−参照画像画素輝度値|の演算が各累積加算回路において行なわれている。 Cumulative addition circuit in such a motion vector detection circuit is carried out by a difference in luminance between corresponding pixels in the signal intensity difference calculating an original image macro reference pixel blocks constituting an image of, in particular | original image pixel intensity value - reference image pixel intensity value | computation is being performed in each cumulative addition circuit.
【0004】 [0004]
具体的には、上記パイプライン方式により動きベクトルの検出を行なう場合、それぞれの動きベクトルに対応させて領域に対する累積加算を行ない、所定の動きベクトル候補の全てに対して同様の評価を行ない、その中から最小(または最大)の評価値を与える動きベクトル候補をそのマクロブロックの動きベクトルとして選択し採用している。 Specifically, when performing detection of motion vector by the pipeline system, respectively corresponding to the motion vector performs cumulative addition for the area, performs a similar evaluation for all predetermined motion vector candidates, the It is selected adopted as the motion vector for the macroblock motion vector candidate giving the evaluation value of the minimum (or maximum) from within. 一度に評価できる動きベクトル候補の数を並列数と定義すると、全ての動きベクトル候補の数を並列数で除した回数だけ累積加算を繰り返すことにより動きベクトルの検出が終了する。 Evaluation may Defining the number of motion vector candidates in parallel number at a time, the detection of a motion vector by repeating only cumulative addition times obtained by dividing the number of all motion vector candidates in parallel number ends. したがって、並列数mで処理を行なう場合、動きベクトル候補の中から候補をm個ずつ選択していって残余の候補が無くなるまでこの処理を繰り返すことになる。 Therefore, when processing in parallel number m, it will be repeated this process from the motion vector candidate candidates to go to select m pieces one by eliminating the remaining candidates. 例えば動きベクトル候補の総数が1024個で16列あった場合、64回の累積加算を繰り返すことによって動きベクトルの検出が終了することになる。 For example, if the total number of motion vector candidates had 16 rows by 1024, so that the detection of the motion vector ends by repeating the cumulative addition of 64 times.
【0005】 [0005]
したがって、最初に動きベクトル候補1〜mまでの累積加算値の1回目の評価を行ない、次いで2回目からの評価からn回目までの評価を連続的に繰り返して行なわなければ動きベクトルの検出は終了しないことになる。 Thus, first the motion performs first evaluation of cumulative sum up vector candidates 1 to m, then ends the detection of continuously repeated unless the motion vector performed to evaluate the evaluation from the second to n-th would not. このような動きベクトル検出回路は、入力された原画像の品質とは関係なく必ず固定サイクル数だけの累積加算動作を行なわなければならず、動きベクトル検出のために必要以上のサイクル数を用いると共に動きベクトル検出のための回路駆動に要する電力消費コストが増大するという問題があった。 Such motion vector detection circuit, and the quality of the input original image must be performed accumulating operation only always a fixed number of cycles regardless, the used number of cycles than required for motion vector detection power consumption cost of circuit drive for motion vector detection is disadvantageously increased. このような問題を解決するため、本願発明者は特願平8−341928号において不要な累積加算動作を停止させる動きベクトル検出装置について既に提案している。 In order to solve such a problem, the present inventors have already proposed the motion vector detection apparatus for stopping an unnecessary cumulative adding operation in Japanese Patent Application No. Hei 8-341928.
【0006】 [0006]
この従来の動きベクトル検出装置は、原画像データのフレーム又はフィールド内における所定の範囲の画像であるマクロブロック内のある特定領域の動きベクトル候補を選択し、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算してその累積結果を求め、マクロブロック内の更に特定領域内の動きベクトル候補の中から極大値又は極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出装置に、図15に示すような構成を設けたものである。 The conventional motion vector detecting device selects the motion vector candidate of the specific area of ​​the macro block is an image of a predetermined range in a frame or field of the original image data, the motion vector candidates of the reference image and the original image calculating a signal intensity difference of the corresponding pixel, the signal intensity difference calculated for a pixel in the macroblock cumulatively adds the cumulative results obtained, further maxima from the motion vector candidates in a specific area of ​​the macro block the motion vector detecting apparatus for selecting as a motion vector the motion vector candidate giving the cumulative result of a value or the minimum value, is provided with a configuration as shown in FIG. 15.
【0007】 [0007]
すなわち、図15において、動きベクトル検出装置は、動きベクトル候補に関する原画像データD1と参照画像データD2とを並列的に入力して複数の動きベクトルに関する累積加算を並列で処理するためにパイプライン状に接続された複数の差分絶対値累積加算回路2a,2b〜2nよりなる累積加算手段1と、この累積加算手段1の累積加算動作を各々の累積加算回路2a,2b〜2n毎に停止させる個別停止回路11を備える累積加算停止手段10と、累積加算手段1の累積加算回路2a,2b〜2nに対して前記動きベクトル候補に関する原画像データD1と参照画像データD2の供給を制御すると共に個別停止回路11に対して個別の累積加算を停止させるべき個別の停止信号S3を出力して対応する累積加算回路2a,2bまた That is, in FIG. 15, the motion vector detecting device, a pipeline to process the cumulative addition on a plurality of motion vectors in parallel to input the motion vector candidates for the original image data D1 and the reference image data D2 parallel a plurality of difference-absolute-value cumulative addition circuit 2a connected to a cumulative addition means 1 made of 2B~2n, accumulating circuits 2a of each cumulative addition operation of the accumulating means 1, the individual to stop every 2B~2n individual stopping with the accumulating stop means 10 comprise a stop circuit 11, the cumulative addition circuit 2a of the cumulative addition means 1 controls the supply of the reference image data D2 from the original image data D1 relating to the motion vector candidate against 2b~2n corresponding cumulative addition circuit 2a outputs a separate stop signal S3 to stop the individual cumulative addition to the circuit 11, 2b also 2nの累積加算動作の停止を制御する制御手段5と、を備えている。 And control means 5 for controlling the stopping of 2n accumulating operation, and a.
【0008】 [0008]
累積加算手段1を構成する個々の差分絶対値累積加算回路2a,2b〜2nの個々の累積加算結果は、累積加算信号S1として最小値情報管理回路4に出力され、最小値情報管理回路4は累積加算信号S1をそれまでに入力された差分絶対値の最小値と比較してその比較結果信号S2を前記制御手段5に対して出力している。 Individual absolute difference accumulating circuits 2a constituting the accumulating means 1, each accumulated result of 2b~2n is output to the minimum value information management circuit 4 as a cumulative addition signal S1, the minimum value information management circuit 4 and outputs the comparison result signal S2 to the control means 5 the cumulative addition signal S1 as compared with the minimum value of the absolute difference value entered so far. 制御手段5は、最小値情報管理回路4より供給される比較結果信号S2に基づいて累積加算手段1を構成する個々の差分絶対値累積加算回路2a〜2nのの累積加算の停止を制御する停止信号S3を累積加算停止手段10に出力している。 Control means 5 stops to control the stopping of the cumulative addition of the individual difference absolute value accumulating circuit 2a~2n constituting the accumulating means 1 on the basis of the comparison result signal S2 supplied from the minimum value information management circuit 4 and outputs the signal S3 to the cumulative addition stopping means 10.
【0009】 [0009]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかしながら、図15に示されるような従来の動きベクトル検出装置は、入力動画像の品質によって改善効率が影響され、最終的に動きベクトルとなるベクトル候補の検討順序が全体の中で後ろの順番になった場合、実質的には検討順序が前の方のほとんど全ての動きベクトル候補に対する累積加算を行なった後にようやくその動きベクトル候補に対する累積加算を行なうこととなり、改善効率の観点からあまり具合が良くなかった。 However, conventional motion vector detecting apparatus as shown in Figure 15, improved efficiency by the quality of the input moving image is affected, eventually sequentially behind in considering the order of the vector candidate having the motion vector of the entire when it becomes, in effect will be performed last cumulative addition for the motion vector candidates after performing a cumulative addition for almost all of the motion vector candidates of the person examined sequence before, may have much degree from a viewpoint of improving efficiency There was no. 例えば、このように動きベクトル候補の検討順序が固定順位である場合に、画面の動きベクトルが全体的に逆順方向に向かっているような状況では、全てのマクロブロックの動きベクトル発見効率が低下してしまうという事態も発生する可能性があった。 For example, in the case considered the order of the thus motion vector candidates is fixed ranking, in a situation such as the motion vector of the screen is towards the overall reverse direction, the motion vector found efficiency of all macroblocks reduced situation arises in that also there is a possibility to occur.
【0010】 [0010]
上述した従来の動きベクトル検出装置において、累積加算により動きベクトルを検出する際に、最終的な動きベクトルである動きベクトル候補をその検索動作の初期の過程で発見することができれば、実際の累積加算のための演算時間の短縮により動きベクトル検索効率が大幅に向上すると共に、検出装置において各々の動きベクトル候補に対して累積加算を行なう個々の演算回路の消費電力を低減することが可能となり有効である。 In the conventional motion vector detecting device described above, when detecting a motion vector by cumulative addition, the final long as a motion vector candidate is a motion vector to be found in the early course of the search operation, the actual cumulative addition with motion vector search efficiency by shortening the computation time for it is greatly improved, effective it becomes possible to reduce the power consumption of each operational circuit for performing cumulative addition for each of the motion vector candidates in a detection device is there.
【0011】 [0011]
本発明は、上記不具合を解消するため、動きベクトル検出のための演算時間の短縮すなわち演算効率の向上と、検索のための演算の際の消費電力の低減とを可能とする動きベクトル検出回路を提供することを目的とする。 The present invention, in order to solve the above problem, the improvement of reducing i.e. computational efficiency of the operation time for motion vector detection, the motion vector detecting circuit capable of reducing the power consumption during operation for the search an object of the present invention is to provide.
【0012】 [0012]
【課題を解決するための手段】 In order to solve the problems]
上記課題を達成するため、請求項1に係る動きベクトル検出回路は、動画像データにおけるフレームまたはフィールド内における所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出回路において、前記動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループに分けるグループ化手段と、真の動きベクトルが含まれてい To achieve the above object, the motion vector detecting circuit according to claim 1, for a macroblock is an image of a predetermined range in the frame or field of the moving picture data, as a vector candidate motion vectors of the appropriate range set to calculate the signal intensity difference of the pixels corresponding to the motion vector candidate of the reference image and the original image, the signal intensity difference calculated for a pixel in the macroblock cumulatively adds yield a cumulative addition result is set and the motion vector detection circuit for selecting as a motion vector the motion vector candidate giving the cumulative result of the maximum or minimum value from among the candidate motion vectors, the motion vector candidates in the set search range in the motion vector candidates more and grouping means for dividing the motion vector candidate group, it contains true motion vector 蓋然性の高い動きベクトル候補グループから低いものまでその順番を予測してこの予測した順番に従ってそれぞれの動きベクトル候補グループに対して動きベクトル検出のための累積加算の順位を決定する順位決定手段と、前記順位決定手段により決定された順位に従って複数の動きベクトル候補グループの前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して複数の動きベクトル候補に関する累積加算を並列的に処理するパイプライン状に接続された複数の累積加算回路よりなる累積加算手段と、 前記累積加算手段の累積加算処理動作を各々の累積加算回路毎に個別に停止させる累積加算停止手段と、各々の累積加算回路に対して前記動きベクトル候補に関する原画像データと参照画像データとの供給を制 A rank determining means for determining a ranking of the cumulative addition for the motion vector detection for predicting the order to be lower from a high probability candidate motion vector groups respective motion vector candidate group in accordance with the predicted order, the a plurality of the motion vector candidate group of the motion reference original image data relating to vector candidate image data by entering in parallel according to the determined order by order determination means for processing the cumulative addition on a plurality of motion vector candidates in parallel and cumulative addition means having a plurality of cumulative addition circuit connected to a pipeline, wherein the accumulating stopping means for stopping individually accumulation processing operation for each cumulative addition circuit of each of the accumulating means, each of the cumulative addition control the supply of the original image data and the reference image data related to the motion vector candidate for the circuit し、個別の累積加算回路の累積加算を停止させる個別の停止信号を前記累積加算停止手段から出力させてその累積加算回路の累積加算処理の停止を制御すると共に、前記順位決定手段により決定された検討の順位に従って、蓋然性の高いグループにおける動きベクトル候補の検討を前記累積加算手段に行なわせ、一連の検討動作の初期に最終的な動きベクトル候補となる蓋然性の高い動きベクトル候補の検討を済ませることにより前記検討動作の初期に前記累積加算停止手段に前記停止信号を出力させる制御手段と、を備え、さらに、前記順位決定手段は前記最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行なう And controls the stop of the accumulation processing of the cumulative addition circuit separate stop signal for stopping the cumulative addition of the individual cumulative addition circuit is output from the cumulative addition stop means, determined by the order determination means according order of examination, the examination of a motion vector candidate to perform the accumulating means in a high probability group, be finished the study of highly probable motion vector candidate having the final motion vector candidates in the initial series of study operation wherein a control means for outputting said stop signal to the initial to the accumulating stop means study operation, provided with a further, said order determination means selects the final motion vector candidate to become higher reference motion vector probable that the perform appropriate weighting of the priority of the cumulative addition order with respect to this highly probable reference motion vector after it has been 重み付け手段を備え、この重み付け手段により累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定することを特徴としている。 Comprising a weighting means is characterized that you prioritize the motion vector candidate group weighted priority of the cumulative addition order is included made the motion vector candidate by the weighting means.
【0013】 [0013]
また、請求項2に係る動きベクトル検出回路は、請求項1に記載のものにおいて、前記グループ化手段と前記順位決定手段とにより動きベクトル候補グループ指定手段が構成されると共に、前記グループ化手段によりグループ化された動きベクトル候補グループ毎に、前記順位決定手段が動的に優先順位を設定し、この順位に従って動きベクトル候補グループ毎の動きベクトル候補に対応する原画像と参照画像の画素の信号強度差の累積加算を行なうことを特徴としている。 The motion vector detecting circuit according to claim 2 is the one described in claim 1, together with the motion vector candidate group specifying unit configured with said grouping means by said order determination means, by the grouping means for each group of motion vectors candidate group sets a dynamically priority the priority determining means, the signal intensity of pixels of the original image and the reference image corresponding to the motion vector candidates for each motion vector candidate group in accordance with this order and characterized by performing the cumulative addition of the difference.
【0014】 [0014]
また、請求項3に係る動きベクトル検出回路は、請求項1に記載のものにおいて、前記順位決定手段が、撮像装置に組み込まれてこの撮像装置が撮像した動画像における動きの角速度または角加速度を測定する測定手段を含み、この測定手段から供給される角速度または角加速度の測定値に基づいて求められる参照動きベクトルを用いて動画像内の動きベクトルを検出することを特徴としている。 The motion vector detecting circuit according to claim 3 is the one described in claim 1, wherein the order determination means, the angular velocity or angular acceleration of the movement in the moving image is incorporated in the imaging apparatus the imaging device imaged It comprises measuring means for measuring, is characterized by detecting a motion vector in the moving image using a reference motion vector obtained based on the measured value of the angular velocity or angular acceleration supplied from the measuring means.
【0015】 [0015]
また、請求項4に係る動きベクトル検出回路は、請求項1に記載のものにおいて、前記順位決定手段が、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを参照動きベクトルとして用いて、前記動きベクトル候補グループにおける優先順位を決定することを特徴としている。 The motion vector detecting circuit according to claim 4 is the one described in claim 1, wherein the order determination means, finds the portion to be the feature points of the target object in the moving image by performing a search for the whole frame used as a reference motion vector a global motion vector of the target object obtained by, it is characterized by determining the priorities in the motion vector candidate group.
【0016】 [0016]
また、請求項5に係る動きベクトル検出回路は、請求項1に記載のものにおいて、前記順位決定手段が、動きベクトル検出を行なうマクロブロックが含まれるフレームと同一のフレーム内に存在し、かつ、当該マクロブロックより以前に動きベクトル検出が行なわれたマクロブロックであって、当該マクロブロックの近傍に存在する単数もしくは複数のマクロブロックにおける動きベクトルを参照動きベクトルとして用いることにより、動きベクトル候補グループの優先順位を決定することを特徴としている。 The motion vector detection circuit according to claim 5, in what according to claim 1, wherein the order determination means it is present in the frame and within the same frame that contains the macro block for motion vector detection, and, a macroblock previous to the motion vector detected from the macroblock is performed, by using as a reference motion vector the motion vector in the singular or plural macro-blocks are present in the vicinity of the macroblock, the motion vector candidate group It is characterized by determining a priority.
【0017】 [0017]
また、請求項6に係る動きベクトル検出回路は、請求項1に記載のものにおいて、前記順位決定手段が、動きベクトル検出を行なうマクロブロックが含まれるフレームとは異なる時点のフレームに含まれ、当該マクロブロックと同じ座標もしくは近傍の座標に存在するマクロブロックのうち、既に動きベクトル検出が終了した単数もしくは複数のマクロブロックにおける動きベクトルを参照動きベクトルとして用いることにより、動きベクトル候補グループの優先順位を決定することを特徴としている。 The motion vector detecting circuit according to claim 6 is the one described in claim 1, wherein the order determination unit, the frame containing the macroblock to perform the motion vector detection is included in frames of different time points, the of the macro-blocks present in the same coordinate or near the coordinate macroblock, by using as a reference motion vector the motion vector in the previously single or a plurality of macroblocks motion vector detection has been completed, the priority of the motion vector candidate group It is characterized by determining.
【0018】 [0018]
また、請求項7に係る動きベクトル検出回路は、 原画像中のマクロブロック領域における各画素と、動きベクトル候補に対応する参照画像領域における前記マクロブロック領域の各画素に対応する各画素との信号差分値を、複数の動きベクトル候補毎に並列にそれぞれ累積加算するために複数設けられると共に、個々の回路は累積加算中に累積加算値が累積加算結果の最小値を超えたときに並列処理されている複数の累積加算を個別に停止させる累積加算回路と、前記累積加算結果の最小値となった動きベクトル候補を動きベクトルとして選択する選択回路と、最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行な The motion vector detection circuit according to claim 7, each pixel in the macro block area in the original image, the signal of each pixel corresponding to each pixel of the macro-block area in the reference image area corresponding to the motion vector candidate a difference value, along with is plurality to respective accumulating in parallel for each of a plurality of motion vector candidates, the individual circuits are processed in parallel when the accumulated addition value exceeds the minimum value of the cumulative addition result in the cumulative addition a cumulative addition circuit for stopping the plurality of cumulative addition to which individual, a selection circuit for selecting as a motion vector the motion vector candidate which became the minimum value of the accumulation result, a high probability that the final motion vector candidates row appropriate weighting of the priority of the cumulative addition order with respect to this highly probable reference motion vector after the reference motion vector is selected 、この累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定する順位決定手段と、を備えることを特徴としている。 It is characterized in that and a rank determining means for determining a priority order of the motion vector candidate group weighted priority of the cumulative addition ranking include motion vector candidates was made.
【0019】 [0019]
上記目的を達成するため、請求項8に係る動きベクトル検出方法は、動画像データにおけるフレームまたはフィールド内所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出方法において、前記動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループにグループ化するステップと、 最終的な動きベクトル候補となる蓋 To achieve the above object, the motion vector detection method according to claim 8, for a macroblock is an image of a predetermined range of the frame or field of the moving picture data, as a vector candidate motion vectors of the appropriate range set to calculate the signal intensity difference of the pixels corresponding to the motion vector candidate of the reference image and the original image, the signal intensity difference calculated for a pixel in the macroblock cumulatively adds yield a cumulative addition result is set and the motion vector detection method for selecting as a motion vector the motion vector candidate giving the cumulative result of the maximum or minimum value from among the candidate motion vectors, the motion vector candidates in the set search range in the motion vector candidates more a step of grouping the motion vector candidate group, lid becomes the final motion vector candidates 性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行なう重み付け過程を含み、この重み付け過程により累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定することにより、真の動きベクトルが含まれている蓋然性の高い動きベクトルグループから低いものまでの順番を予測してこの順番に従って動きベクトル検出のための累積加算の順位を決定するステップと、前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して、前記決定された累積加算の順位に従って複数の動きベクトルに関する累積加算を複数段のパイプラインにより並列的に処理するステップ Includes a weighting process of sexual high reference motion vector to perform proper weighting of the priority of the cumulative addition ranking for high reference motion vector of this probability after being selected, the priority of the cumulative addition ranking by this weighting process by prioritizing the motion vector candidate group weighting contain made motion vector candidates, the order to predict the order of up to as low a probable motion vector group that contains the true motion vector a plurality of motion determining a ranking of the cumulative addition, according to the motion of the vector candidates for the original image data and the reference image data by entering parallel, order of cumulative addition the determined for the motion vector detection in accordance with step of processing in parallel by a plurality of stages of pipelines cumulative addition about vector 、前記複数段のパイプラインの段数に対応した数の動きベクトルを選択するステップと、累積加算の停止を含んだ前記パイプラインにより動きベクトル候補の検討を行なうステップと、その順位の動きベクトル候補グループに含まれる全ての動きベクトル候補に対して検討が行なわれたか否かを判断するステップと、残った動きベクトル候補を真の動きベクトル候補として出力するステップと、を備えることを特徴としている。 , Selecting a number of motion vectors corresponding to the number of pipeline stages of said plural stages, performing a review of motion vector candidates by including a stop of accumulating the pipeline, the motion vector candidate groups in that order is characterized includes the step of determining whether study has been performed for all the motion vector candidates are, and outputting the remaining motion vector candidate as a true motion vector candidates, in that it comprises a.
【0020】 [0020]
また、請求項9に係る動きベクトル検出方法は、請求項8に記載のものにおいて、前記複数の動きベクトル候補グループにグループ化するステップは、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを参照動きベクトルとして用いて行なうことことを特徴としている。 The motion vector detection method according to claim 9, in what according to claim 8, the step of grouping the plurality of motion vector candidates group frame portion to be a feature point of the target object in the moving picture It is characterized by be carried out using as a reference motion vector a global motion vector of the target object obtained by finding performs a search for the whole.
【0022】 [0022]
本発明は以上のように構成することにより、検討するベクトル候補を所定領域毎のグループに分割し、グループ単位で動きベクトルの検討順序を適宜入れ替えることにより、フレーム内で発見効率が低下したマクロブロックが連続することを防止する。 By configuring the invention as described above, by dividing the vector candidates to consider groups of each predetermined region, by exchanging the study order of motion vectors in groups appropriate macroblock discovered efficiency drops in the frame but to prevent the continuous. 具体的には、次のような基準において動きベクトル検討候補の優先順位づけを行なう。 Specifically, performing prioritization of motion vectors considered candidates in the following criteria. あるフレームのあるマクロブロックに着目した場合、 If we focus on the macro block of a frame,
1)同じフレーム内において、当該マクロブロック以前に動きベクトル検出を行なった近傍に存在するマクロブロックの動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。 Within 1) the same frame, priority vector candidate group or near vector candidate group that includes motion vector of a macroblock existing in the vicinity of performing the coding using the motion vector to the macroblock previously.
2)既に動きベクトル検出の終了した、時間的に前後のフレームにおける、当該マクロブロックもしくは近傍マクロブロックの動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。 2) has already finished the motion vector detection, priority in temporally before and after the frame, the vector candidate group includes motion vector of the macroblock or near macroblock, or its nearby vector candidate group.
3)動きベクトル検出回路を、ハンドカメラなどと組み合わせて使う場合、手ブレ防止などの理由で、角速度あるいは角加速度情報を取得できるようなデバイス、たとえば光ファイバージャイロなどのデバイスを搭載することがあるが、この種のデバイスからの情報に基づく動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。 3) motion vector detection circuit, when used in combination with such hand camera, for reasons such as to prevent camera shake, the device that allows obtaining the angular velocity or angular acceleration information, for example, it may be equipped with devices such as an optical fiber gyro vector candidate group includes motion vector based on information from a device of this type, or priority to its nearby vector candidate group.
4)目標物体の特徴点となる部分をサーチすることによって得られる、目標物体の大域的な動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。 4) obtained by searching the a point characteristic portion of the target object, the vector candidate group includes a global motion vector of the target object, or gives priority to near vector candidate group.
これらの手法によって、最終的に動きベクトルとなるベクトルの検討順序を統計的に向上させることができる。 These techniques, studies order finally a motion vector vector can be statistically enhanced. このような改善を行なうことにより、動きベクトル検出回路の効率をより高くすることができる。 By performing such improvements, it is possible to increase the efficiency of the motion vector detection circuit. なお、本発明に係る動きベクトル検出回路および動きベクトル検出方法は、特願平8−341928に開示された動きベクトル検出装置および方法における累積加算手段と累積加算停止手段に加え、グループ化手段と順位決定手段とを設けるようにしたものである。 Incidentally, the motion vector detection circuit and the motion vector detecting method according to the present invention, in addition to accumulating stop means and accumulating means in the motion vector detecting apparatus and method disclosed in Japanese Patent Application No. 8-341928, the grouping means and charts it is obtained as provided and determining means.
【0023】 [0023]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、本発明に係る動きベクトル検出回路および動きベクトル検出方法の好適な実施形態について、添付図面を参照しながら詳細に説明する。 Hereinafter, a preferred embodiment of the motion vector detection circuit and the motion vector detecting method according to the present invention will be described in detail with reference to the accompanying drawings. まず、本発明に係る動きベクトル検出回路の最も基本的な構成を備える第1実施形態に係る動きベクトル検出回路について、図1を参照して説明する。 First, the motion vector detecting circuit according to the first embodiment with the most basic configuration of the motion vector detecting circuit according to the present invention will be described with reference to FIG. この第1実施形態に係る動きベクトル検出回路は、動きベクトル候補を複数の特定領域に存在する単位ずつにグループ分けし、各動きベクトル候補グループ毎に動きベクトル候補の探索順位を動的に設定できるようにしたものである。 Motion vector detecting circuit according to the first embodiment, grouped by unit present the motion vector candidates in a plurality of specific regions, dynamically sets the search order of the vector candidate motion for each candidate motion vector group it is obtained by way.
【0024】 [0024]
第1実施形態に係る動きベクトル検出回路は、図1に示すように、図16に示された従来例の動きベクトル検出装置に対して、動きベクトル候補グループ指定ブロック15を付加した構造になっており、この動きベクトル候補グループ指定ブロック15が領域分割手段と順位決定手段とを含んでいる。 Motion vector detecting circuit according to the first embodiment, as shown in FIG. 1, the conventional example of the motion vector detection apparatus shown in FIG. 16, taken by adding a motion vector candidate group specified block 15 structure cage, the motion vector candidate group specified block 15 and a region dividing means and the ranking determination means. 制御手段5は参照動きベクトル等の情報D3をベクトル候補グループ指定ブロック15に供給し、かわりに動きベクトル候補グループ情報D4を取得する。 The control unit 5 provides information D3, such as reference motion vector to vector candidate group specified block 15 obtains the vector candidate group information D4 motion instead. 具体的な説明を以下に述べる。 Described below detailed description.
【0025】 [0025]
動きベクトルの検出においては、累積加算手段1が、累積加算原画像のマクロブロックの画素(pixel) と、動きベクトル候補に対応する参照画像領域の画素とのそれぞれの信号値の差を個別に累積加算し、最も小さい累積加算結果を与える動きベクトル候補を動きベクトルとして選び出している。 In the detection of the motion vector, cumulative addition means 1, the pixels of a MB of the cumulative addition original image (pixel), the cumulative individual differences of the respective signal values ​​of the pixels of the reference image area corresponding to the motion vector candidate adding to, and singled out as a motion vector the motion vector candidate giving the smallest accumulated result. 図15に示される従来例による動きベクトル検出装置においては、動きベクトル候補は図2(a)に示すような固定の順序に従って、順次に検討されている。 In the motion vector detecting apparatus according to the conventional example shown in Figure 15, motion vector candidates in accordance with a fixed order, such as shown in FIG. 2 (a), are sequentially examined. これに対して、本発明の第1実施形態に係る動きベクトル検出回路にあっては、図2(b)に示すように動きベクトル候補は2列4段の8個の部分領域より成る動きベクトル候補グループに分けられ、グループ毎の優先順位に従いその動きベクトル候補グループの領域内の原画像と参照画像の対応するそれぞれの画素の信号値の強度差を累積加算することにより動きベクトル候補に対する検討が順次に行なわれる。 In contrast, the motion vector is a motion vector detecting circuit according to the first embodiment, the motion vector candidates as shown in FIG. 2 (b) consisting of eight partial areas of the two rows 4 stages of the present invention divided into candidate group, considered for the motion vector candidates by accumulating the intensity difference of the signal value of each pixel corresponding original image and the reference image in the region of the motion vector candidate group according to the priority level of each group It is sequentially performed.
【0026】 [0026]
グループの優先順位は動きベクトル候補グループ情報D4に基づいて決定されるが、このグループ情報D4も固定値ではなく、動きベクトル検出の過程において適宜変更することができる。 Although Group priority is determined based on the motion vector candidate group information D4, the group information D4 is also not a fixed value, can be changed as appropriate in the course of the motion vector detection. また、動きベクトル候補のグループ分けは、図2(b)に示すものに限定されず、そのグループの個数も8個に限らず例えば16個,32個などのように、適当な値を採ることができる。 Further, grouping the motion vector candidate is not limited to that shown in FIG. 2 (b), only without for example, 16 to be eight number of the group, such as 32, to take an appropriate value can. また、動きベクトル検出回路の動作中に、ベクトル候補グループ指定手段15がグループの分け方を動的に変化させてもよい。 Further, during the operation of the motion vector detection circuit, it may be dynamically changed the way split vector candidate group specifying unit 15 of the group.
【0027】 [0027]
以上の構成を備える第1実施形態に係る動きベクトル検出回路の作用効果について図3(a)(b)を用いて説明する。 It will be described with reference FIG. 3 (a) (b) for the effects of the motion vector detecting circuit according to the first embodiment having the above configuration. 図3(a)(b)にそれぞれ示す同一の動きベクトル候補20に対して、図15に示す従来の動きベクトル検出装置と図1に示す第1実施形態に係る動きベクトル検出回路によりそれぞれ動きベクトルの検索を行う場合を例にとり説明する。 For the same motion vector candidate 20 shown in FIGS. 3 (a) (b), respectively the motion vectors by the motion vector detecting circuit according to the first embodiment shown in conventional motion vector detecting device of FIG. 1 shown in FIG. 15 will be described as an example a case in which the search. 図3(a)に示す従来の動きベクトル検出装置のように、固定の検索順序21に従って動きベクトルを検出する場合、図3(a)に示す最終的に有効な、すなわち真の動きベクトルである動きベクトル候補20は、検出過程の後半に検出されることになる。 As in the conventional motion vector detecting device shown in FIG. 3 (a), when detecting the motion vector search order 21 fixed, the final effective shown FIG. 3 (a), i.e. a true motion vector motion vector candidate 20 will be detected in the second half of the detection process.
【0028】 [0028]
これに対して、図3(b)に示す第1実施形態に係る動きベクトル検出回路のように、適宜検索順序を変更する場合は、検索順序22が適切であるならば、最終的に有効となる動きベクトル候補20の検出を検出過程の前半に行なうことができる。 In contrast, as the motion vector detecting circuit according to the first embodiment shown in FIG. 3 (b), when changing the appropriate search order, if the search order 22 is appropriate, the final effective the detection of the motion vector candidate 20 can be carried out in the first half of the detection process of becoming. 動きベクトル検出が固定サイクル数の検出過程で行なわれるタイプの動きベクトル検出回路ならば、どちらの方式でもそれほどの大差はないが、従来の動きベクトル検出装置の場合、動きベクトルの検出に要するサイクル数は可変であり、最終的に有効な動きベクトル候補の検出が早期であればあるほど、検出に要するサイクル数は小さくなり、消費電力も低下する。 If the type of motion vector detection circuit by the motion vector detection is performed by the detection process of the number of fixed cycles, but not so much great difference in either method, when the conventional motion vector detecting device, the number of cycles required for detection of the motion vector is variable, as finally valid motion vector candidate detection is if early, the number of cycles required for detection is reduced, the power consumption is also reduced.
【0029】 [0029]
したがって、図15に示されるような検出サイクルを可変とすることができる従来の動きベクトル検出装置に対して、動的に動きベクトルの検索順序を変化させ得る動きベクトル候補グループ指定手段を付属させるようにした第1実施形態に係る動きベクトル検出回路は、真の動きベクトルである最終的に有効な動きベクトル候補についての累積加算を迅速に行なう上から非常に有意義である。 Therefore, so as to comes the motion vector candidate group specifying unit with respect to the conventional motion vector detecting device, which can dynamically change the search order of the motion vector which is capable of varying the detection cycle as shown in Figure 15 the motion vector detecting circuit according to the first embodiment is very meaningful from above quickly performs cumulative addition for the final effective motion vector candidate is a true motion vector.
【0030】 [0030]
上記第1実施形態に係る動きベクトル検出回路は、動きベクトル候補に対する検索過程の順位を可変とすることにより可変サイクルで累積加算を行なう際の検索速度の飛躍的な向上を図るようにしていたが、動きベクトル候補グループに対する可変の検討順序をどのような準則により行なうかについて、本発明の第2実施形態に係る動きベクトル検出回路により説明する。 The motion vector detecting circuit according to the first embodiment, had been to achieve significant improvement in the search speed when performing cumulative addition with variable cycle by varying the order of the search process for the motion vector candidates , whether performed by what Junsoku variable examination order for the motion vector candidate group is described by the motion vector detecting circuit according to a second embodiment of the present invention. この第2実施形態に係る動きベクトル検出回路は、外部角速度あるいは外部角加速度を検出し、この角速度又は角加速度に基づいて動きベクトル候補のグループに対する検索順位を決定したり、撮像された動画像に存在する特徴点を用いて大域動きベクトルを検出し、この大域動きベクトルから動きベクトル候補グループの検索優先順位を決定するものである。 Motion vector detecting circuit according to the second embodiment detects the external angular velocity or external angular acceleration, determines a search ranking for a group of motion vector candidates on the basis of the angular velocity or angular acceleration, the moving image captured detecting a global motion vector using a feature point that exists is what determines the search priority of the motion vector candidate group from the global motion vector.
【0031】 [0031]
第2実施形態に係る動きベクトル検出回路は、図4に示すように、参照動きベクトルの検出のために必要な情報は、ビデオカメラ25等の撮像装置より送られてくることになる。 Motion vector detecting circuit according to the second embodiment, as shown in FIG. 4, the information necessary for the detection of a reference motion vector would sent from the image pickup apparatus such as a video camera 25. 図4において、ビデオかカメラ25は内蔵ジャイロスコープ26を備えており、ケーブル27を介して画像処理装置30に接続されている。 4, a video or camera 25 has a built-in gyroscope 26 is connected to the image processing apparatus 30 via the cable 27. この画像処理装置30は、図1に示される構成を備える動きベクトル検出回路を含んでおり、撮像装置より送られてくる動画像を用いてマクロブロック情報D1と参照画像情報D2を得て、これらの情報に基づいて累積加算の制御を行なうと共に、マクロブロックおよび参照画像内の動きベクトル候補を複数のグループに分割して、どのグループから累積加算の演算を開始するのが演算効率の上から最適かを考慮して検索順位を決定し、対象となる特定領域内の画素に対して累積加算を行ない、両者の画素の信号差をとって最小値と比較し、動きベクトル候補の中から動きベクトルとして有効なものを検出する。 The image processing apparatus 30 includes a motion vector detection circuit having the configuration shown in FIG. 1, to obtain the reference image information D2 with macroblock information D1 by using the moving image sent from the image pickup device, these optimal with controlling the cumulative addition on the basis of the information, by dividing the motion vector candidates in the macro block and the reference image into a plurality of groups, from the start the calculation of the cumulative addition is over the operation efficiency from any group or taking into account to determine the search order, and performs cumulative addition for the pixels in the specific area of ​​interest, as compared to the minimum value taking the signal difference between the two pixels, the motion vector from the motion vector candidates to detect a valid as.
【0032】 [0032]
この第2実施形態に係る動きベクトル検出回路の最少動きベクトルは、図5に示すように動画中の特定物体の特徴ある画像については、フレーム全体にわたってサーチして、フレームの間の差分をとることによって得られる。 Minimal motion vector of the motion vector detecting circuit according to the second embodiment, the feature is an image of a particular object in a moving as shown in Figure 5, by searching across the frame, taking the difference between the frame by obtained. すなわち、図5(a)のような動画像の前フレームの画像における検出対象としての移動する車両31は特徴点32を有しており、図5(b)の動画像の現フレーム画像には移動後の車両33とこの車両33の特徴点34とが示されている。 That is, the vehicle 31 to move as a detection target image of the previous frame of the moving image as shown in FIG. 5 (a) has a feature point 32, the current frame image of the moving image of FIG. 5 (b) and the vehicle 33 after the movement and the feature point 34 of the vehicle 33 is shown. 図5(b)に示すように、前フレーム画像の特徴点32と現フレーム画像の特徴点34との移動軌跡が、特徴点の移動によ検知される大域動きベクトル35として求められることになる。 As shown in FIG. 5 (b), the movement locus of the feature points 32 and the feature point 34 of the current frame image of the previous frame image is obtained as a global motion vector 35 which is detected Ri by the movement of the feature point Become. このような図4および図5により説明される手法により参照動きベクトルが求められるが、この例においては、参考となる動きベクトルの数が1つであるので、順位付けの方法は図6に示すような手順により行なわれることになる。 Although such figures 4 and reference motion vectors by techniques described by FIG. 5 is obtained, in this example, since the number of motion vectors that can be used as a guide is one, ranking methods are shown in Figure 6 will be that made by the procedure described.
【0033】 [0033]
図6において、動きベクトル候補検討範囲36を2列4段からなる8つの動きベクトル候補検討グループ37a、37b,37c,37d,37e,37f,37g,37hに分割する。 6, divides the motion vector candidates examined range 36 eight motion vector candidates study group 37a consisting of two rows four stages, 37b, 37c, 37d, 37e, 37f, 37g, to 37h. ここで、参照動きベクトル38が含まれる動きベクトル候補グループ37cが、累積加算の優先順位1番となる。 Here, the motion vector candidate group 37c that contains the reference motion vector 38, the first priority of the cumulative addition. グループ37c以外で、最も参照動きベクトル38に近い動きベクトルグループ37aが第2順位の優先順位となる。 In addition the group 37c, the motion vector groups 37a closest to the reference motion vector 38 is the priority of the second rank. 後は、右回りに第1順位のグループ37cを中心として近いものから優先させて順番に検討順位39を割り振っている。 After it is allocated examined rank 39 in sequence by preferentially from close around the first ranked group 37c clockwise. すなわち、37d→37e→37b→37f→37g→37hのような検討順位39が割り当てられているが、優先順位を割り振る方法は特にこの通りでなくてもよく、動きベクトル候補グループの分割状況等の影響を考慮して割り当てることもできる。 That, 37d → 37e → 37b → 37f → 37g → Although considered rank 39 are allocated as 37h, a method of allocating priorities may not particularly this street, such as division condition of the motion vector candidate group effect can also be assigned in consideration of. また、動きベクトルの検出過程において、その動きベクトルの検出状況を考慮して動的に変化させることにより動きベクトル候補のグループの累積加算の順位を割り振ることもできる。 Further, the process of detecting a motion vector, it is also possible to allocate the order of cumulative addition of a group of motion vector candidates by dynamically changing in view of the state of detection of the motion vector.
【0034】 [0034]
次に、本発明の第3実施形態に係る動きベクトル回路について、図7ないし図9を用いて説明する。 Next, the motion vector circuit according to a third embodiment of the present invention will be described with reference to FIGS. この第3実施形態に係る動きベクトル検出回路は、同一フレーム内で既に検出された動きベクトルに基づいて、動きベクトル候補グループの優先順位付けを行ない、その順位に従って動きベクトル候補に対する累積加算を行なうようにしたものである。 The third embodiment the motion vector detection circuit according to the embodiment, based on the motion vector that has already been detected in the same frame, performs prioritization of the motion vector candidate group, to perform cumulative addition for the motion vector candidates in accordance with the order it is obtained by the. この第3実施形態に係る動きベクトル検出回路においては、参照動きベクトルが1つではなく複数個となるため、動きベクトル候補グループの優先順位を決定する際に、適当な重み付けを行なってから順位付けを行なう必要がある。 In this motion vector detection circuit according to the third embodiment, since the reference motion vector is a plurality instead of one, in determining the priority of the motion vector candidate group, ranking after performing an appropriate weighting it is necessary to perform. 以下、第3実施形態の詳細について説明する。 Hereinafter, the details of the third embodiment.
【0035】 [0035]
図7は第3実施形態に係る動きベクトル検出回路を説明するのものであり、フレーム40内は複数のマクロブロック41により分割されている。 Figure 7 is of explaining the motion vector detection circuit according to the third embodiment, the frame 40 is divided by a plurality of macro blocks 41. 同一フレーム40内における、現時点において動きベクトルを検出中のマクロブロック「*」と、参照動きベクトルを与えるマクロブロックA,B,Cの位置関係を示している。 In the same frame 40, shows a macroblock "*" in detecting the motion vector at the present time, the macro block A gives the reference motion vector, B, the positional relationship between the C. 参照動きベクトルを含む動きベクトル候補グループに対して、図8に示すような重み付けを行なった。 Relative motion vector candidate group including the reference motion vector, was carried out weighting as shown in FIG. 図8において、動きベクトル候補検討範囲であるマクロブロック41は、更に複数の特定領域42aないし42hに分割されている。 8, the macro block 41 is a motion vector candidate studied range is divided to further not more specific areas 42a to 42h. 符号43は参考となるAの動きベクトルであり、44はBの動きベクトル、45はCの動きベクトル、46はA,B,Cの動きベクトルのx,y成分のそれぞれの中間値から作成された動きベクトルであり、A,B,Cの動きベクトル43,44,45を含む各動きベクトル候補グループに対して1点を加算し、A,B,Cの動きベクトル43,44,45の各x成分、各y成分のそれぞれ中間値から求められる参考ベクトル46を含むベクトル候補グループに対して2点を加算することにより重み付けがなされている。 Reference numeral 43 denotes a motion vector of A as a reference, 44 motion vectors of B, 45 is a motion vector of C, 46 is created A, B, x of C in the motion vector from each of the intermediate values ​​of y component and a motion vector, a, B, one point is added for each candidate motion vector group comprising motion vectors 43, 44, 45 C, a, B, each of C in the motion vector 43, 44, 45 x components, weighted by adding the two points have been made for each vector candidate group including the reference vector 46 obtained from the intermediate value of the respective y components.
【0036】 [0036]
図9では、重み係数の大きい動きベクトル候補グループから順次に動きベクトルの検索を行ない、重みゼロの動きベクトル候補グループに関しては、重み係数の最も大きい動きベクトル候補グループを中心に、近いものから右回りに動きベクトル候補の検討を行なっている。 In Figure 9, sequentially performs a search of the motion vector from a large motion vector candidate group of weighting factors, with respect to the motion vector candidate group of weights zero, around the largest motion vector candidate group of weighting coefficients, clockwise from close It has carried out a study of the vector candidate motion to. 具体的には、重み係数が3で最もい動きベクトルグループ42cから検索を開始して、重み係数1のグループを右回りで動きベクトル候補グループ42d、42b、42f、42g、42hの順に動きベクトル候補についての累積加算が行なわれる。 Specifically, the motion to start the search from the motion vector group 42c weighting factor is not the most heavy in 3, 42d motion vector candidate group a group of weighting coefficients 1 in clockwise, 42b, 42f, 42 g, in the order of 42h vector cumulative addition of the candidate is performed. この検索の順序は、図9に矢印47により、動きベクトル候補グループの検討順序として示されている。 This order of search by the arrows 47 in FIG. 9, shown as studied order of motion vector candidate group.
【0037】 [0037]
なお、この第3実施形態に係る動きベクトル検出回路において、図7に示された参考となるマクロブロックは、図示の通りでなくてもよいし、数も異なっていても良い。 Incidentally, in the motion vector detecting circuit according to the third embodiment, macroblock as a reference as shown in FIG. 7 may be not as shown, it may be different numbers. また、図8に示された重み付けの方式は単純な例であり、これよりも複雑な重み付けを行なってもかまわない。 Further, a method of weighted shown in FIG. 8 is a simple example, it may be performed complex weighting than this. また、図9に示した検索順序は、例えば同格のグループに対して左回りとするなどのように、他の方式により適宜に行なうようにしても良い。 The search order shown in FIG. 9, for example such as a left direction with respect to a group of apposition, may be appropriately performed by other methods.
【0038】 [0038]
上述した第3実施形態に係る動きベクトル検出回路は、同一フレーム内の動きベクトルを用いて、動きベクトル候補に関する累積加算の順位を可変にしていたが、本発明はこれに限定されず、第4実施形態に係る動きベクトル検出回路のように、時間的に前後となるフレームにおいて既に検出された動きベクトルに基づいて動きベクトル候補グループの優先順位を決定するようにしても良い。 Motion vector detecting circuit according to the third embodiment described above, by using the motion vector in the same frame, but had a ranking of the cumulative addition about motion vector candidates in the variable, the present invention is not limited thereto, the fourth as in the motion vector detecting circuit according to the embodiment may be prioritize candidate motion vector groups based on the motion vector that has already been detected in temporally the longitudinal frame. この第4実施形態に係る動きベクトル検出回路における動きベクトル候補グループの優先順位づけも、参考となるベクトルが複数であるため、適当な重み付けを加えてから行なう必要がある。 Prioritization of the motion vector candidate group in the motion vector detecting circuit according to the fourth embodiment also, since the vector as a reference is more, it is necessary to carry out after adding an appropriate weighting. 以下、第4実施形態に係る動きベクトル検出回路について説明する。 The following describes the motion vector detecting circuit according to the fourth embodiment.
【0039】 [0039]
図10は時間的に異なるフレーム内における、参考となるマクロブロックの位置関係を示したものである。 Figure 10 is the temporally different frame, shows the positional relationship between the macroblock as a reference. 現在動きベクトル検出中のマクロブロックと同じ座標に存在するマクロブロック「*」と、その近傍に存在するマクロブロックABCDである。 Current macroblock "*" to be in the same coordinates as the macroblock in the motion vector detection, a macro-block ABCD present in the vicinity thereof. 参考となる動きベクトルを含む動きベクトル候補グループに対して図11のような重み付けを行なった。 It was performed weighted as shown in FIG. 11 with respect to the motion vector candidate group including a motion vector of a reference. なお、図11および図12においては、便宜上図8および図9と同じ符号を用いて説明する。 Note that in FIG. 11 and FIG. 12, for convenience denoted by the same reference numerals as FIGS. Aの参考動きベクトル43,Bの参考動きベクトル44,Cの参考動きベクトル45,Dの参考動きベクトル48を含む各ベクトル候補グループに対してそれぞれ1点を加算し、「*」の参考動きベクトル49を含む動きベクトル候補グループに対して2点を加算した。 Adding respectively one point with respect to a reference motion vector 43, B reference motion vector 44, C reference motion vector 45, D each vector candidate group including reference motion vector 48 of the A, reference motion vector of the "*" 2 points were added to the motion vector candidate group including 49. したがって、動きベクトル候補検討範囲41内の特定領域42aないし42hの重み係数は、候補グループ42cが3、グループ42eが2,グループ42fが1となり、図12では、重み係数の大きいベクトル候補グループから順次に動きベクトルの検索を行ない、重みゼロのベクトル候補グループ42a,42b,42d,42g,42hに関しては、重み係数の最も大きいベクトル候補グループを中心に、近いものから右まわりに動きベクトル候補の検討を行なっている。 Accordingly, the weighting factor of from a specific area 42a of the motion vector candidates examined range 41 42h, the candidate group 42c is 3, Group 42e is 2, group 42f becomes 1, 12, sequentially from the larger vector candidate group of weighting coefficients the motion performs search vector, zero weight vector candidate group 42a, 42b, 42d, 42 g, with respect to the 42h, around the largest vector candidate group of weighting coefficients, the study of the vector candidate motion clockwise from close is performed. 具体的な検討順位は、図12に(1)から(8)を付したように、42c→42e→42f→42a→42d→42g→42b→42hとなる。 Specific examination order is as given in FIG. 12 (1) to (8), and 42c → 42e → 42f → 42a → 42d → 42g → 42b → 42h.
【0040】 [0040]
参考となるマクロブロックは、図10に示したものに限定されず、また、マクロブロックの数も異なっていても良い。 Macroblock as a reference is not limited to that shown in FIG. 10, or may be with or different number of macroblocks. また、図11に示した重み付け方式も単純な例であって、さらに複雑な方法により重み付けを行なうようにしても良い。 Also, a simple example is also weighting scheme shown in FIG. 11, may be for weighting by more complex methods. また、図12に示した検索順序も適宜他の方式で行なっても良い。 May also be performed in other appropriate method may search order shown in FIG. 12.
【0041】 [0041]
次に、本発明の第5実施形態に係る動きベクトル検出回路について図13を用いて説明する。 Next, the motion vector detecting circuit according to a fifth embodiment of the present invention will be described with reference to FIG. 13. この第5実施形態に係る動きベクトル検出回路も、時間的に前後となるフレーム内で既に検出された動きベクトルに基づいてベクトル候補グループの優先順位付けを行なうものであり、参考となるベクトル候補グループの優先順位付けも、参考となるベクトルが複数であるため、適当な重み付けをしてから行なう必要がある。 The fifth embodiment motion vector detecting circuit according to Embodiment also, which performs prioritization of the vector candidate group based on the motion vector already detected in a frame to be temporally before and after, vector candidate group of a reference prioritization also for vector of a reference is more, it is necessary to carry out after the appropriate weighting. ここでは、第2実施形態に係る動きベクトル検出回路における撮像装置からの角加速度情報から計算したベクトルと、第4実施形態に係る動きベクトル検出回路における異なる時点のフレームの動きベクトル情報の両方を参考にした場合の重み付けの例を図13を用いて説明する。 Here, a vector calculated from the angular acceleration information from the imaging device in the motion vector detecting circuit according to the second embodiment, both the frame motion vector information of different points in the motion vector detecting circuit according to a fourth embodiment reference will be described with reference to FIG. 13 is an example of the weighting in the case of the. この場合、第4実施形態における参考動きベクトルの起点を原点でなく、第2実施形態に係る動きベクトルの終点にとっている。 In this case, instead of the origin of the origin of the reference motion vector in the fourth embodiment, it is taken at the end of the motion vector according to the second embodiment.
【0042】 [0042]
図13において、重み付け係数は、動きベクトル候補グループ42cの係数が「1+2=3」で最も重く、動きベクトル候補グループ42eは「1+1=2」で次に重く、動きベクトル候補グループ42fが「1」で、他のグループには重み付け係数が付されていない。 13, the weighting factor is the heaviest factor of the motion vector candidate group 42c is "1 + 2 = 3", a motion vector candidate group 42e is "1 + 1 = 2" in the next heavier, the motion vector candidate group 42f is "1" in, not in the other groups are given the weighting factor. このため、第3または第4実施形態と同様にグループの累積加算順位を割り振ると、グループ42c→42e→42f→42a→42d→42g→42b→42hのような順番となる。 Therefore, when allocating cumulative addition order of groups similar to the third or fourth embodiment, the order shown in the group 42c → 42e → 42f → 42a → 42d → 42g → 42b → 42h.
【0043】 [0043]
なお、図13に示した重み付けの方法は、一例を示すのみであってこの方法と異なっていても構わないし、また、参考にする動きベクトルの数や種類もこの例に限定されることはない。 A method of weighting shown in FIG. 13, to may be different from this method be only an example, and the number and type of Sankounisuru motion vector also is not limited to this example . また、動きベクトル検出動作中に複数種類の重み付け方法を切り替えることも可能である。 It is also possible to switch the plurality of types weighting method in the motion vector detecting operation.
【0044】 [0044]
最後に、本発明の第6実施形態に係る動きベクトル検出方法について図14を用いて説明する。 Finally, the motion vector detecting method according to a sixth embodiment of the present invention will be described with reference to FIG. 14. 図14は第6実施形態に係る動きベクトル検出方法を示すフローチャートである。 Figure 14 is a flowchart illustrating a motion vector detecting method according to the sixth embodiment. この第6実施形態に係る動きベクトル検出方法は、動画像データにおけるフレーム又はフィールド内における所定範囲の画像をマクロブロックとして、このマクロブロック内に存在する動きベクトル候補を選択して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、マクロブロック内の更に特定範囲内の動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択するものである。 The sixth motion vector detection method according to the embodiment, the macroblock image in a predetermined range in the frame or field of the moving image data, by selecting the motion vector candidate present in the macro block, the reference original image calculating a signal intensity difference of the pixel corresponding to the image of the motion vector candidates, the signal intensity difference calculated for a pixel in the macroblock cumulatively adds seeking accumulation result, the motion in more specific range of the macroblock motion the motion vector candidate giving the cumulative result of the maximum or minimum value from among the vector candidates and selects as a vector.
【0045】 [0045]
第6実施形態に係る動きベクトル検出方法は、動画像データにおけるフレーム又はフィールド内における所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出方法に適用される。 Motion vector detecting method according to the sixth embodiment is different from the macro-block is an image of a predetermined range in the frame or the field in the moving image data, and set as a vector candidate motion vectors of the suitable range, the original image calculating a signal intensity difference of the pixel corresponding to the reference image motion vector candidates, the signal intensity difference calculated for a pixel in the macroblock cumulatively adds yield a cumulative addition result, from among the set motion vector candidates It applied to the motion vector detection method for selecting as a motion vector the motion vector candidate giving the cumulative result of the maximum or minimum value.
【0046】 [0046]
図14において、動きベクトル検出方法は、動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループにグループ化するステップST1と、真の動きベクトルが含まれている蓋然性の高い動きベクトル候補グループから低いものまでの順番を予測してこの順番に従って動きベクトル検出のための累積加算の順位を決定するステップST2と、前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して、前記決定された累積加算の順位に従って複数の動きベクトルに関する累積加算を複数段のパイプラインに並より列的に処理するステップST3と、前記複数段のパイプラインの段数に対応した数の動きベクトルを選択するステップST4と、累積加算の停止を含んだ前記パイプライ 14, the motion vector detecting method, the step ST1 of grouping the motion vector candidates in the search range set in motion vector candidates to a plurality of motion vector candidates group, highly probable that contains the true motion vector a step ST2 for determining the order of the cumulative addition for the motion vector detection by predicting the order of up to as low a motion vector candidate group in accordance with this order, parallel to the original image data and reference image data related to the motion vector candidate type in a step ST3 for treatment line to more parallel in a plurality of stages of pipelines cumulative addition on a plurality of motion vectors according to order of the determined cumulative addition, corresponding to the number of pipeline stages of said plurality of stages a step ST4 to select the number of motion vectors, said containing stop cumulative addition pipeline により動きベクトル候補の検討を行なうステップST5と、その順位の動きベクトル候補グループに含まれる全ての動きベクトル候補に対して検討が行なわれたか否かを判断するステップST6と、順位に従って全ての動きベクトル候補グループについて動きベクトルの検討が行なわれたか否かを判断するステップST7と、残った動きベクトルを真の動きベクトルとして出力するステップST8と、を備えている。 All motion vectors in step ST5 to perform a study of the motion vector candidates, and step ST6 to determine whether considered for all motion vector candidates included in the motion vector candidate groups in that order has been performed, according to ranking by includes a step ST7 to determine whether consideration of the motion vector is performed, the step ST8 of outputting the remaining motion vectors as a true motion vector, the about candidate group.
【0047】 [0047]
ステップST6において、グループ内の動きベクトル候補の全てについて検討が行なわれていない場合には、ステップST4に戻り、ステップST4,ST5,ST6の処理ルーチンを繰り返す。 In step ST6, if all the study of motion vector candidates in a group is not performed, the process returns to step ST4, repeats steps ST4, ST5, ST6 processing routine. ステップST6でグループ内の全ての動きベクトル候補に対する検討が行なわれた場合にはステップST7で全てのグループについて検討が終了したか否かが判断されるが、もしも残っているグループがある場合には、ステップST3に戻りステップST3ないしST6の処理動作を繰り返すことになる。 Although step ST6 whether the considered all groups were terminated at step ST7 if consideration for all the motion vector candidates in a group is performed in is determined, if there is a group that remains if the , so that to not step ST3 returns to step ST3 to repeat the processing operations of ST6. ステップST7において、全てのグループについて動きベクトルの検出が終了されたものと判断されたときには、ステップST8において残った動きベクトル候補が真の動きベクトルであるものとして動きベクトルの検出が終了する。 In step ST7, when the detection of the motion vector for all the groups have been determined to have been completed, the remaining motion vector candidates in step ST8 there is detection of a motion vector ends as a true motion vector.
【0048】 [0048]
また、図14に示される動きベクトル検出方法において、複数に分割された前記特定領域の順位を決定する第3のステップST3が、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを前記参照動きベクトルとして用いて、前記動きベクトル候補グループにおける優先順位を決定するステップを含むようにしても良い。 Also, the search in the motion vector detecting method, the third step ST3 that determines the order of several to split the specified regions is, a portion to be a feature point of the target object in the moving picture for the entire frame shown in Figure 14 using global motion vector of the target object obtained by finding by performing as the reference motion vector, it may include determining a priority of the motion vector candidate group.
【0049】 [0049]
さらに、図14に示される動きベクトル検出方法において、複数に分割された前記特定領域の順位を決定する第3のステップST3は、前記参照動きベクトルが選択された後この参照動きベクトルに対して適当な重み付けを行なうステップを含むように構成しても良い。 Furthermore, the motion vector detecting method shown in FIG. 14, a third step ST3 for determining the rank of divided the specific area into a plurality are appropriate for the reference motion vector after the reference motion vector is selected it may be configured to include a step of performing Do weighting.
【0050】 [0050]
【発明の効果】 【Effect of the invention】
以上詳細に説明したように、本発明に係る動きベクトル検出回路によれば、累積加算の演算サイクルを可変とし、複数の動きベクトル候補に対する差分絶対値の累積加算を行なう際に、真の動きベクトルが存在する蓋然性の高い領域から順に累積加算を行ない、動きベクトルが確定したとき他の領域に対する累積加算を停止するようにしたので、動きベクトルの検出時間の短縮と検出効率の飛躍的な向上を可能とし、検出に要する消費電力も低減できるという効果を奏する。 As described above in detail, according to the motion vector detecting circuit according to the present invention, the operation cycle of the cumulative addition is made variable, when performing cumulative addition of the difference absolute values ​​for a plurality of motion vector candidates, true motion vector there performs cumulative addition in descending order of probability that existing region, since to stop the cumulative addition for other areas when the motion vector has been determined, a dramatic improvement in reducing the detection efficiency of the detection time of the motion vector possible and to an effect that consumption power required for the detection can be reduced.
【0051】 [0051]
また、全てのマクロブロックの動きベクトルに近い高品質な参考動きベクトルを得ることができ、フレーム中で注目している物体に関するマクロブロックの動きベクトルに近い高品質な参考動きベクトルを得ることもできる。 It is also possible to obtain all the closer to the motion vector of the macroblock quality reference motion vector can be obtained, high-quality reference motion vector close to the motion vector of the macro block relating to an object of interest in a frame . さらに、空間的に相関の強い動画像においては、高品質な参考動きベクトルを得ることができると共に、時間的に相関の強い動画像においても、高品質な参考動きベクトルを得ることができる。 Furthermore, in the strong video image spatially correlated, it is possible to obtain a high-quality reference motion vector, even in strong motion picture temporally correlated, it is possible to obtain a high-quality reference motion vector. また、以上の効果が複合することによって、より高性能なベクトル候補グループの優先順位付けを行なうことができる。 Moreover, by further effect it is complex, it is possible to perform prioritization of higher performance vector candidate group.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の第1実施形態に係る動きベクトル検出回路の構成を示すブロック図である。 1 is a block diagram showing a configuration of the motion vector detecting circuit according to a first embodiment of the present invention.
【図2】(a)図15に示す従来の動きベクトル検出装置の検出順序、(b)図1に示される第1実施形態に係る動きベクトル検出回路の検出順序をそれぞれ示す説明図である。 2 (a) detection order of the conventional motion vector detecting apparatus shown in FIG. 15 is an explanatory diagram showing respective detection order of the motion vector detecting circuit according to the first embodiment shown in FIG. 1 (b).
【図3】(a)図15に示す従来の動きベクトル検出装置の検出順序、(b)図1に示される第1実施形態に係る動きベクトル検出回路における動きベクトル候補グループの検出順序をそれぞれ示す説明図である。 3 (a) detection order of the conventional motion vector detecting apparatus shown in FIG. 15, respectively the detection order of the motion vector candidate group in the motion vector detecting circuit according to the first embodiment shown in FIG. 1 (b) it is an explanatory diagram.
【図4】第2実施形態に係る動きベクトル検出回路の撮像装置を画像処理装置と共に示す説明図である。 4 is an explanatory view showing with the image processing apparatus the imaging apparatus according to the motion vector detecting circuit according to the second embodiment.
【図5】第2実施形態における特徴点の移動を(a)前フレームと(b)現フレームとの差により検知した大域動きベクトルを示す説明図である。 5 is an explanatory diagram showing a global motion vector detected by the difference in the movement of the feature point (a) and the previous frame and (b) the current frame in the second embodiment.
【図6】第2実施形態に係る動きベクトル検出回路における動きベクトル検出候補グループの検出順位を示す説明図である。 6 is an explanatory diagram showing the detection order of the motion vector detection candidate groups in the motion vector detecting circuit according to the second embodiment.
【図7】本発明の第3実施形態に係る動きベクトル検出回路における同一フレーム内の動きベクトルの既検出および検出中のそれぞれのマクロブロックの関係を示す説明図である。 7 is an explanatory diagram showing a relationship between each of the macroblocks in previous detection and the detection of the motion vector in the same frame in the motion vector detecting circuit according to a third embodiment of the present invention.
【図8】第3実施形態に係る動きベクトル検出回路における参照動きベクトルとベクトル候補グループの重み付けの例を示す説明図である。 8 is an explanatory diagram showing an example of the weighting of the reference motion vector and vector candidate groups in the motion vector detecting circuit according to a third embodiment.
【図9】第3実施形態に係る動きベクトル検出回路における動きベクトル候補グループの重み付けと優先順位付けの例を示す説明図である。 9 is an explanatory diagram showing an example of the weighting and prioritization of the motion vector candidate group in the motion vector detecting circuit according to a third embodiment.
【図10】本発明の第4実施形態に係る動きベクトル検出回路における時間的に異なるフレーム内の既検出動きベクトルに基づいた動きベクトル候補グループの優先順位付け例を示す説明図である。 10 is an explanatory view showing a prioritization example of the motion vector candidate group based on previously detected motion vectors of temporally different frame in the motion vector detecting circuit according to a fourth embodiment of the present invention.
【図11】第4実施形態に係る動きベクトル検出回路における参照動きベクトルとベクトル候補グループの重み付けの例を示す説明図である。 11 is an explanatory diagram showing an example of the weighting of the reference motion vector and vector candidate groups in the motion vector detecting circuit according to the fourth embodiment.
【図12】第3実施形態に係る動きベクトル検出回路における動きベクトル候補グループの重み付けと優先順位付けの例を示す説明図である。 12 is an explanatory diagram showing an example of the weighting and prioritization of the motion vector candidate group in the motion vector detecting circuit according to a third embodiment.
【図13】本発明の第5実施形態に係る動きベクトル検出回路における参照動きベクトルとベクトル候補グループの重み付けの例を示す説明図である。 13 is an explanatory diagram showing an example of the weighting of the reference motion vector and vector candidate groups in the motion vector detecting circuit according to a fifth embodiment of the present invention.
【図14】本発明の第6実施形態に係る動きベクトル検出方法を示すフローチャートである。 14 is a flowchart illustrating a motion vector detecting method according to a sixth embodiment of the present invention.
【図15】従来の動きベクトル検出装置の構成を示すブロック図である。 15 is a block diagram showing a configuration of a conventional motion vector detecting device.
【符号の説明】 DESCRIPTION OF SYMBOLS
1 累積加算手段2a〜2n 第1ないし第nの差分絶対値累積加算回路4 最小値情報管理回路5 制御手段10 累積加算停止手段11 個別停止回路15 動きベクトル候補グループ指定手段 1 accumulating means 2a~2n first to n of the differential absolute value accumulating circuit 4 Minimum value information management circuit 5 controlling unit 10 accumulating stop means 11 separate stop circuit 15 motion vector candidate group specifying means

Claims (9)

  1. 動画像データにおけるフレームまたはフィールド内における所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出回路において、 For a macroblock is an image of a predetermined range in the frame or field in the video data, the appropriate range vector set as a vector candidate motion, the pixels corresponding to the motion vector candidate of the reference image and the original image calculating a signal intensity difference, a signal strength difference calculated for a pixel in the macroblock cumulatively adds yield a cumulative addition result, gives the accumulation result as a maximum or minimum value from among the set motion vector candidates in the motion vector detection circuit for selecting as a motion vector the motion vector candidates,
    前記動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループに分けるグループ化手段と、 And grouping means for dividing the motion vector candidates to a plurality of motion vector candidates groups in the search range set in the motion vector candidate,
    真の動きベクトルが含まれている蓋然性の高い動きベクトル候補グループから低いものまでその順番を予測してこの予測した順番に従ってそれぞれの動きベクトル候補グループに対して動きベクトル検出のための累積加算の順位を決定する順位決定手段と、 Position of the cumulative addition for the motion vector detection for each of the motion vector candidate group to predict the order to be lower from the probable motion vector candidate group that contains the true motion vector in accordance with the predicted sequence and the ranking determination means for determining,
    前記順位決定手段により決定された順位に従って複数の動きベクトル候補グループの前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して複数の動きベクトル候補に関する累積加算を並列的に処理するパイプライン状に接続された複数の累積加算回路よりなる累積加算手段と、 Parallel processing the cumulative addition on a plurality of motion vector candidates by inputting a plurality of said motion vector candidates for the original image data of the motion vector candidate group and the reference image data in accordance with order determined by the order determination unit in parallel and cumulative addition means having a plurality of cumulative addition circuit connected to a pipeline which,
    前記累積加算手段の累積加算処理動作を各々の累積加算回路毎に個別に停止させる累積加算停止手段と、 And accumulating stopping means for stopping individually for each cumulative addition circuit of each cumulative addition processing operation of the accumulating means,
    各々の累積加算回路に対して前記動きベクトル候補に関する原画像データと参照画像データとの供給を制御し、個別の累積加算回路の累積加算を停止させる個別の停止信号を前記累積加算停止手段から出力させてその累積加算回路の累積加算処理の停止を制御すると共に、前記順位決定手段により決定された検討の順位に従って、蓋然性の高いグループにおける動きベクトル候補の検討を前記累積加算手段に行なわせ、一連の検討動作の初期に最終的な動きベクトル候補となる蓋然性の高い動きベクトル候補の検討を済ませることにより前記検討動作の初期に前記累積加算停止手段に前記停止信号を出力させる制御手段と、 Controlling the supply of the respective original image data for the motion vector candidates with respect to the cumulative addition circuit of the reference image data, output from the cumulative addition stop means separate stop signal for stopping the cumulative addition of the individual cumulative addition circuit by controls the stopping of the accumulation processing of the cumulative addition circuit according to order of investigation determined by the order determination unit, to perform the examination of a motion vector candidates in a high probability group to said accumulating means, a series and control means for outputting said stop signal to the accumulating stop means the beginning of the study operation by dispense the initial examination of the final motion high probability that a vector candidate motion vector candidate of the examination operation,
    を備え、さらに、 The equipped, further,
    前記順位決定手段は、前記最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行なう重み付け手段を備え、この重み付け手段により累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定することを特徴とする動きベクトル検出回路。 The order determination means, weighting performs appropriate weighting of the priority of the cumulative addition order with respect to this highly probable reference motion vector after high reference motion vector probable to be the final motion vector candidate is selected comprising means, the motion vector detecting circuit according to claim that you prioritize the motion vector candidate group weighted priority of the cumulative addition ranking include motion vector candidate made by the weighting means.
  2. 前記グループ化手段と前記順位決定手段とにより動きベクトル候補グループ指定手段が構成されると共に、前記グループ化手段によりグループ化された動きベクトル候補グループ毎に、前記順位決定手段が動的に優先順位を設定し、この順位に従って動きベクトル候補グループ毎の動きベクトル候補に対応する原画像と参照画像の画素の信号強度差の累積加算を行なうことを特徴とする請求項1に記載の動きベクトル検出回路。 With motion vector candidate group specifying means by said order determination means and the grouping unit is configured, for each grouped motion vector candidate group by the grouping unit, said order determination means dynamically priority set, the motion vector detecting circuit according to claim 1, characterized by performing cumulative addition of the signal intensity difference of the pixels of the original image and the reference image corresponding to the motion vector candidates for each motion vector candidate group in accordance with this order.
  3. 前記順位決定手段は、撮像装置に組み込まれてこの撮像装置が撮像した動画像における動きの角速度または角加速度を測定する測定手段を含み、この測定手段から供給される角速度または角加速度の測定値に基づいて求められる参照動きベクトルを用いて動画像内の動きベクトルを検出することを特徴とする請求項1に記載の動きベクトル検出回路。 The rank determining means includes measuring means for measuring the angular velocity or angular acceleration of the movement in the moving image which the image pickup device imaged incorporated in the imaging device, the measurement value of the angular velocity or angular acceleration supplied from the measuring means motion vector detecting circuit according to claim 1, characterized in that to detect the motion vector in the moving image using a reference motion vector obtained based.
  4. 前記順位決定手段は、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを参照動きベクトルとして用いて、前記動きベクトル候補グループにおける優先順位を決定することを特徴とする請求項1に記載の動きベクトル検出回路。 The order determination means uses a global motion vector of the target object obtained by finding a portion to be a feature point of the target object in the moving image by performing a search for the whole frame as a reference motion vector, the motion motion vector detecting circuit according to claim 1, characterized in that to determine the priority in the vector candidate group.
  5. 前記順位決定手段は、動きベクトル検出を行なうマクロブロックが含まれるフレームと同一のフレーム内に存在し、かつ、当該マクロブロックより以前に動きベクトル検出が行なわれたマクロブロックであって、当該マクロブロックの近傍に存在する単数もしくは複数のマクロブロックにおける動きベクトルを参照動きベクトルとして用いることにより、動きベクトル候補グループの優先順位を決定することを特徴とする請求項1に記載の動きベクトル検出回路。 The order determination unit is present in the frame and within the same frame that contains the macro block for motion vector detection, and a macroblock vector detection is performed motion prior to the relevant macroblock, the macroblock of the use as a reference motion vector the motion vector in the singular or plural macro-blocks present in the vicinity, the motion vector detecting circuit according to claim 1, characterized in that to determine the priority of the motion vector candidate group.
  6. 前記順位決定手段は、動きベクトル検出を行なうマクロブロックが含まれるフレームとは異なる時点のフレームに含まれ、当該マクロブロックと同じ座標もしくは近傍の座標に存在するマクロブロックのうち、既に動きベクトル検出が終了した単数もしくは複数のマクロブロックにおける動きベクトルを参照動きベクトルとして用いることにより、動きベクトル候補グループの優先順位を決定することを特徴とする請求項1に記載の動きベクトル検出回路。 The order determination unit, the frame containing the macroblock to perform the motion vector detection is included in frames of different time points, among the macroblocks in the same coordinates or near the coordinate with the macroblock is already motion vector detection by using as a reference motion vector the motion vector in finished single or a plurality of macro-blocks, the motion vector detecting circuit according to claim 1, characterized in that to determine the priority of the motion vector candidate group.
  7. 原画像中のマクロブロック領域における各画素と、動きベクトル候補に対応する参照画像領域における前記マクロブロック領域の各画素に対応する各画素との信号差分値を、複数の動きベクトル候補毎に並列にそれぞれ累積加算するために複数設けられると共に、個々の回路は累積加算中に累積加算値が累積加算結果の最小値を超えたときに並列処理されている複数の累積加算を個別に停止させる累積加算回路と、 And each pixel in the macro block area in the original image, the signal difference value between each pixel corresponding to each pixel of the macro-block area in the reference image area corresponding to the motion vector candidates, in parallel for each of a plurality of motion vector candidates with each provided plural in order to cumulative addition, the cumulative addition the individual circuit stopping individually a plurality of cumulative addition, which is parallel processing when the accumulated addition value exceeds the minimum value of the cumulative addition result in the cumulative addition and the circuit,
    前記累積加算結果の最小値となった動きベクトル候補を動きベクトルとして選択する選択回路と、 A selection circuit for selecting as a motion vector the motion vector candidate which became the minimum value of the accumulation result,
    最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行な 、この累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定する順位決定手段と、 Final motion high reference motion vector of probability of the vector candidates have rows appropriate weighting of the priority of the cumulative addition order with respect to this highly probable reference motion vectors after being selected, the cumulative addition ranking a rank determining means for determining a priority order of the motion vector candidate group weighting priority includes made motion vector candidates,
    を備えることを特徴とする動きベクトル検出回路。 Motion-out vector detecting circuit you comprising: a.
  8. 動画像データにおけるフレームまたはフィールド内所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出方法において、 Frame or in the moving image data for a macroblock is an image of a predetermined range in the field, the proper range vector set as a vector candidate motion, the pixels corresponding to the motion vector candidate of the reference image and the original image calculating a signal intensity difference, a signal strength difference calculated for a pixel in the macroblock cumulatively adds yield a cumulative addition result, gives the accumulation result as a maximum or minimum value from among the set motion vector candidates in the motion vector detection method for selecting as a motion vector the motion vector candidates,
    前記動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループにグループ化するステップと、 A step of grouping the motion vector candidates to a plurality of motion vector candidates groups in the search range set in the motion vector candidate,
    最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行なう重み付け過程を含み、この重み付け過程により累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定することにより、真の動きベクトルが含まれている蓋然性の高い動きベクトルグループから低いものまでの順番を予測してこの順番に従って動きベクトル検出のための累積加算の順位を決定するステップと、 It includes a weighting process for performing an appropriate weighting of the final motion priority of the cumulative addition order with respect to this highly probable reference motion vector after high reference motion vector of probability of the vector candidates are selected, the weighting process by prioritizing the motion vector candidate group weighted priority of the cumulative addition order is included made the motion vector candidate by until those less from probable motion vector group that contains the true motion vector and step sequentially predicts that determines the order of the cumulative addition for the motion vector detection in accordance with this order,
    前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して、前記決定された累積加算の順位に従って複数の動きベクトルに関する累積加算を複数段のパイプラインにより並列的に処理するステップと、 The step of the motion and vector candidates for the original image data and the reference image data by entering parallel processes in parallel by a plurality of stages of pipelines cumulative addition on a plurality of motion vectors according to order of the determined cumulative addition When,
    前記複数段のパイプラインの段数に対応した数の動きベクトルを選択するステップと、 Selecting a number of motion vectors corresponding to the number of pipeline stages of said plural stages,
    累積加算の停止を含んだ前記パイプラインにより動きベクトル候補の検討を行なうステップと、 Performing a study of the motion vector candidates by including a stop of accumulating the pipeline,
    その順位の動きベクトル候補グループに含まれる全ての動きベクトル候補に対して検討が行なわれたか否かを判断するステップと、 And determining whether considered for all motion vector candidates included in the motion vector candidate groups in that order has been performed,
    残った動きベクトル候補を真の動きベクトル候補として出力するステップと、 And outputting the remaining motion vector candidate as a true motion vector candidates,
    を備えることを特徴とする動きベクトル検出方法。 Motion vector detecting method, characterized in that it comprises a.
  9. 前記複数の動きベクトル候補グループにグループ化するステップは、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを参照動きベクトルとして用いて行なうことを特徴とする請求項8に記載の動きベクトル検出方法。 The step of grouping the plurality of motion vector candidates group, see global motion vector of the target object obtained by finding performs a search a portion to be a feature point of the target object in the moving picture for the entire frame motion vector detecting method according to claim 8, wherein the carried out using a motion vector.
JP1998798A 1998-01-30 1998-01-30 Motion vector detection circuit and the motion vector detection method Expired - Fee Related JP3540142B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1998798A JP3540142B2 (en) 1998-01-30 1998-01-30 Motion vector detection circuit and the motion vector detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP1998798A JP3540142B2 (en) 1998-01-30 1998-01-30 Motion vector detection circuit and the motion vector detection method
US09/238,122 US6370194B2 (en) 1998-01-30 1999-01-27 Motion vector estimation circuit and method

Publications (2)

Publication Number Publication Date
JPH11219436A JPH11219436A (en) 1999-08-10
JP3540142B2 true JP3540142B2 (en) 2004-07-07

Family

ID=12014542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1998798A Expired - Fee Related JP3540142B2 (en) 1998-01-30 1998-01-30 Motion vector detection circuit and the motion vector detection method

Country Status (2)

Country Link
US (1) US6370194B2 (en)
JP (1) JP3540142B2 (en)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7551673B1 (en) * 1999-05-13 2009-06-23 Stmicroelectronics Asia Pacific Pte Ltd. Adaptive motion estimator
US6700996B1 (en) 2000-06-07 2004-03-02 Intel Corporation Adaptive early exit techniques in image correlation
US6654502B1 (en) 2000-06-07 2003-11-25 Intel Corporation Adaptive early exit techniques in image correlation
US6907080B1 (en) * 2000-06-07 2005-06-14 Intel Corporation Adaptive early exit techniques in image correlation
JP3979894B2 (en) 2002-07-22 2007-09-19 本田技研工業株式会社 Object detection apparatus and method
US7453940B2 (en) * 2003-07-15 2008-11-18 Lsi Corporation High quality, low memory bandwidth motion estimation processor
KR20050041293A (en) * 2003-10-30 2005-05-04 삼성전자주식회사 Apparatus and method for estimating motion
EP1734479A4 (en) * 2004-04-09 2011-11-16 Sony Corp Image processing device and method, recording medium, and program
EP1592255A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Motion vector estimation with improved motion vector selection
JP4488805B2 (en) * 2004-06-25 2010-06-23 パナソニック株式会社 The motion vector detection apparatus and method
US8462850B2 (en) * 2004-07-02 2013-06-11 Qualcomm Incorporated Motion estimation in video compression systems
GB2432068B (en) * 2005-11-02 2010-10-06 Imagination Tech Ltd Motion estimation
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
JP4166781B2 (en) * 2005-12-09 2008-10-15 松下電器産業株式会社 Motion vector detection device and motion vector detection method
KR20070069615A (en) * 2005-12-28 2007-07-03 삼성전자주식회사 Motion estimator and motion estimating method
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
US20080100716A1 (en) * 2006-11-01 2008-05-01 Guoyi Fu Estimating A Point Spread Function Of A Blurred Digital Image Using Gyro Data
JP5239095B2 (en) * 2008-04-08 2013-07-17 富士フイルム株式会社 An image processing system, image processing method, and program
US20090304293A1 (en) * 2008-06-08 2009-12-10 Te-Hao Chang Motion estimation method and related apparatus for efficiently selecting motion vector
JP4999788B2 (en) * 2008-06-26 2012-08-15 三菱電機株式会社 Moving target detection device and a computer program, and moving target detection method
US9838709B2 (en) 2010-02-09 2017-12-05 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
JP5367098B2 (en) 2010-02-09 2013-12-11 日本電信電話株式会社 Motion vector predictive encoding method, a motion vector prediction decoding method, video encoding apparatus, video decoding apparatus and the programs
WO2011099428A1 (en) * 2010-02-09 2011-08-18 日本電信電話株式会社 Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor
US8681873B2 (en) * 2010-02-19 2014-03-25 Skype Data compression for video
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US9609342B2 (en) * 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US20110206118A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US8558903B2 (en) * 2010-03-25 2013-10-15 Apple Inc. Accelerometer / gyro-facilitated video stabilization
US8611415B1 (en) * 2010-11-15 2013-12-17 Google Inc. System and method for coding using improved motion estimation
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
CN104301703A (en) * 2013-07-16 2015-01-21 联咏科技股份有限公司 Matching search method and matching search system
US9213901B2 (en) * 2013-09-04 2015-12-15 Xerox Corporation Robust and computationally efficient video-based object tracking in regularized motion environments
US10123036B2 (en) * 2014-06-27 2018-11-06 Microsoft Technology Licensing, Llc Motion vector selection for video encoding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288819A (en) * 1994-04-19 1995-10-31 Sony Corp Motion vector detector
EP0779011B1 (en) * 1994-09-02 2001-11-28 Sarnoff Corporation Method and apparatus for global-to-local block motion estimation
JP3089165B2 (en) * 1994-11-10 2000-09-18 株式会社グラフィックス・コミュニケーション・ラボラトリーズ The motion vector search apparatus
US5696836A (en) * 1995-03-17 1997-12-09 Lsi Logic Corporation Motion estimation processor architecture for full search block matching
JP2768646B2 (en) * 1995-04-05 1998-06-25 株式会社グラフィックス・コミュニケーション・ラボラトリーズ Motion vector search method and a search device
FR2742248B1 (en) * 1995-12-06 1998-01-23 Thomson Multimedia Sa Data Processing Method in matrix networks in a motion estimation system
US5719642A (en) * 1996-05-07 1998-02-17 National Science Council Of R.O.C. Full-search block matching motion estimation processor
US5973742A (en) * 1996-05-24 1999-10-26 Lsi Logic Corporation System and method for performing motion estimation with reduced memory loading latency
US6016163A (en) * 1997-03-12 2000-01-18 Scientific-Atlanta, Inc. Methods and apparatus for comparing blocks of pixels

Also Published As

Publication number Publication date
JPH11219436A (en) 1999-08-10
US20010014124A1 (en) 2001-08-16
US6370194B2 (en) 2002-04-09

Similar Documents

Publication Publication Date Title
US6765965B1 (en) Motion vector detecting apparatus
JP4379805B2 (en) Service time based on the probability of service within a target, method and apparatus for load balancing work on the server of the network
US7480334B2 (en) Temporal motion vector filtering
EP0579692B1 (en) A method for estimating motion contents in video signals
JP4159606B2 (en) Motion estimation
US20100086216A1 (en) Apparatus and method for ultra-high resolution video processing
EP0624032A2 (en) Video format conversion apparatus and method
KR100905880B1 (en) Motion estimation and/or compensation
CN101009831B (en) Device and method for estimating movement
EP0690376A2 (en) Digital signal processing apparatus
JP5385969B2 (en) Method and apparatus for super-resolution image
KR920001006B1 (en) Tv system conversion apparatus
Black Recursive non-linear estimation of discontinuous flow fields
US6380986B1 (en) Motion vector search method and apparatus
KR100708091B1 (en) Frame rate converter using bidirectional motion vector and method thereof
US6366616B1 (en) Motion vector estimating apparatus with high speed and method of estimating motion vector
JPH1186004A (en) Moving body tracking device
JP2000516004A (en) The area in the relative movement state identification and then orientation in the scene, the method and apparatus operates in real time to determine the speed and direction of the displacement
US20070127829A1 (en) Motion detecting device and search region variable-shaped motion detector
US20060222077A1 (en) Method, apparatus and computer program product for generating interpolation frame
CN1440203A (en) Self-adaptive kinetic estimated device and method
JPH0944670A (en) Method and device for extracting specified image area
JPH08242458A (en) Motion vector detecting method
CN1625900A (en) Method and apparatus for motion estimation between video frames
CN1154051A (en) Method and apparatus for detecting motion vectors

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040324

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080402

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090402

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100402

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100402

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110402

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees