JP4655791B2 - Encoding apparatus, encoding method and program thereof - Google Patents
Encoding apparatus, encoding method and program thereof Download PDFInfo
- Publication number
- JP4655791B2 JP4655791B2 JP2005200701A JP2005200701A JP4655791B2 JP 4655791 B2 JP4655791 B2 JP 4655791B2 JP 2005200701 A JP2005200701 A JP 2005200701A JP 2005200701 A JP2005200701 A JP 2005200701A JP 4655791 B2 JP4655791 B2 JP 4655791B2
- Authority
- JP
- Japan
- Prior art keywords
- picture data
- value
- data
- picture
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、動画像データの符号化装置、符号化方法およびそのプログラムに関する。 The present invention relates to a moving image data encoding apparatus, encoding method, and program thereof.
近年、画像をデータデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Experts Group)に続いて、より圧縮率が高いH.264/AVC(Advanced Video Coding)などの符号化方式に準拠した符号化装置および復号装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。 In recent years, MPEG (compressed by orthogonal transform such as discrete cosine transform and motion compensation is used for the purpose of efficiently transmitting and storing information, and using redundancy unique to image information. H. Moving Picture Experts Group) H.264 / AVC (Advanced Video Coding) and other encoding devices and decoding devices that are compliant with an encoding method are becoming widespread in both information distribution such as broadcasting stations and information reception in general households.
ところで、従来の符号化装置では、符号化対象の動画像データの特性を考慮することなく、予め決められたM値に応じたGOP(Grope Of Pictures)構造に従って、動画像データを構成する各ピクチャデータにI,P,Bのピクチャタイプを割り当てる。
ここで、M値とは、Pスライス(Pピクチャ)の間隔、すなわちIピクチャの間で何ピクチャ間隔でPピクチャを配置するかを示す値である。
By the way, in the conventional encoding device, each picture constituting the moving image data according to a GOP (Grope Of Pictures) structure corresponding to a predetermined M value without considering the characteristics of the moving image data to be encoded. I, P, and B picture types are assigned to data.
Here, the M value is a value indicating the interval between P slices (P pictures), that is, the number of picture intervals between I pictures.
しかしながら、上述した従来の符号化装置では、符号化対象の動画像データの特性を考慮することなく、予め決められたM値に応じたGOP構造で符号化を行うため、十分に高い符号化効率を得られないという問題がある。 However, since the above-described conventional encoding apparatus performs encoding with a GOP structure corresponding to a predetermined M value without considering the characteristics of moving image data to be encoded, it has sufficiently high encoding efficiency. There is a problem that cannot be obtained.
本発明はかかる事情に鑑みてなされたものであり、動画像の符号化効率をさらに高めることができる符号化装置、符号化方法およびそのプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to provide an encoding device, an encoding method, and a program thereof that can further increase the encoding efficiency of moving images.
本発明の符号化装置は、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断するシーンチェンジ検出手段と、前記シーンチェンジ検出手段の判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する相関度検出手段と、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する困難度検出手段と、前記各シーンについて、前記相関度検出手段が検出した前記相関度に比例し、前記困難度検出手段が検出した前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定するM値決定手段と、前記M値決定手段が決定した前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定するピクチャタイプ決定手段と、を有する。 The encoding apparatus according to the present invention includes a scene change detection means for determining whether or not each of a plurality of picture data constituting moving image data to be encoded is picture data immediately after a scene change, and the scene change detection Based on the determination result of the means, a scene change position is specified from the plurality of picture data, and for each scene defined by the scene change position, predicted picture data obtained from the picture data and its reference picture data, Correlation level detection means for detecting a total value for each scene of pixel value differences between the picture data as a correlation level between the picture data and the reference picture data when the plurality of picture data is inter-coded When the respective scene, the picture data and the picture of the picture data Difficulty level detection means for detecting a total value of each pixel value difference between the predicted image data and the encoded image data as a difficulty level of intra-frame encoding of the picture data; and for each scene, the correlation level M value determining means for generating index data proportional to the correlation detected by the detecting means and inversely proportional to the difficulty detected by the difficulty detecting means, and determining a smaller M value as the index data becomes smaller; And a picture type determining means for determining a picture type of the picture data based on the M value determined by the M value determining means.
本発明の符号化方法は、シーンチェンジ検出手段と、相関度検出手段と、困難度検出手段と、M値決定手段と、ピクチャタイプ決定手段と、を有する符号化装置の符号化方法であって、前記シーンチェンジ検出手段が、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第1の工程と、前記相関度検出手段が、前記第1の工程における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第2の工程と、前記困難度検出手段が、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第3の工程と、前記M値決定手段が、前記各シーンについて、前記第2の工程において検出された前記相関度に比例し、前記第3の工程において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定する第4の工程と、前記第4の工程において決定された前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定する第5の工程と、を有する。An encoding method according to the present invention is an encoding method of an encoding device having scene change detection means, correlation degree detection means, difficulty detection means, M value determination means, and picture type determination means. A first step in which the scene change detecting means determines whether or not each of a plurality of picture data constituting moving image data to be encoded is picture data immediately after a scene change; and the correlation degree detection A means identifies a scene change position from among the plurality of picture data based on the determination result in the first step, and for each scene defined by the scene change position, the picture data and its reference picture data The plurality of picture data are inter-coded with the total value for each scene of the pixel value difference from the predicted image data obtained from A second step of detecting the correlation between the picture data and the reference picture data, and the difficulty level detection means, for each scene, the picture data and an intra-picture code of the picture data A third step of detecting a total value for each scene of a difference in pixel value between the predicted image data and the predicted image data as the degree of difficulty of intra-frame encoding of the picture data; and the M value determining means, For the scene, index data that is proportional to the degree of correlation detected in the second step and inversely proportional to the degree of difficulty detected in the third step is generated, and the M value decreases as the index data decreases. And a picture type of the picture data is determined based on the M value determined in the fourth process. That has a fifth step.
本発明のプログラムは、動画像データの符号化を行う符号化装置が含むコンピュータに実行させるプログラムであって、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第1の手順と、前記第1の手順における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第2の手順と、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第3の手順と、前記各シーンについて、前記第2の手順において検出された前記相関度に比例し、前記第3の手順において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定する第4の手順と、前記第4の手順において決定された前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定する第5の手順と、を前記コンピュータに実行させる。The program of the present invention is a program that is executed by a computer included in an encoding device that encodes moving image data, and for each of a plurality of picture data constituting the moving image data to be encoded, A scene change position is specified from the plurality of picture data based on a first procedure for determining whether or not the data is picture data and a determination result in the first procedure, and is defined by the scene change position. For each scene, a total value for each scene of a difference in pixel values between the picture data and predicted image data obtained from the reference picture data is obtained when the plurality of picture data are inter-coded. A second procedure for detecting the correlation between the picture data and the reference picture data; A total value of each pixel value difference between the picture data and the predicted image data obtained by intra-picture coding of the picture data is detected as a difficulty level of intra-frame coding of the picture data. Generating index data that is proportional to the degree of correlation detected in the second procedure and inversely proportional to the degree of difficulty detected in the third procedure for each scene and the third procedure; A fourth procedure for determining a smaller M value as the data becomes smaller; and a fifth procedure for determining a picture type of the picture data based on the M value determined in the fourth procedure. Let the computer run.
本発明によれば、動画像の符号化効率をさらに高めることができる符号化装置、符号化方法およびそのプログラムを提供することができる。 According to the present invention, it is possible to provide an encoding device, an encoding method, and a program thereof that can further increase the encoding efficiency of moving images.
以下、本発明の実施形態の通信システムについて説明する。
先ず、本実施形態の構成と本発明の構成との関係を説明する。
図2に示すトライアル動き予測・補償回路51が本発明の相関度検出手段と困難度検出手段との一例である。
また、ピクチャタイプ割当回路54が本発明のピクチャタイプ決定手段の一例である。
また、最適M決定回路53が本発明のM値決定手段の一例である。
Hereinafter, a communication system according to an embodiment of the present invention will be described.
First, the relationship between the configuration of the present embodiment and the configuration of the present invention will be described.
The trial motion prediction /
The picture type assignment circuit 54 is an example of the picture type determination means of the present invention.
The optimum
図1は、本実施形態の通信システム1の概念図である。
図1に示すように、通信システム1は、送信側に設けられた符号化装置2と、受信側に設けられた復号装置3とを有する。
FIG. 1 is a conceptual diagram of a
As shown in FIG. 1, the
通信システム1では、送信側の符号化装置2において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ(ビットストリーム)を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルTV網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、復号装置3において受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
In the
On the receiving side, after the image signal received by the decoding device 3 is demodulated, frame image data expanded by inverse transformation of orthogonal transformation and motion compensation at the time of the modulation is generated and used.
The transmission medium may be a recording medium such as an optical disk, a magnetic disk, and a semiconductor memory.
<符号化装置2>
以下、図1に示す符号化装置2について説明する。
図2は、図1に示す符号化装置2の全体構成図である。
図2に示すように、符号化装置2は、例えば、A/D変換回路21、画面並べ替え回路23、演算回路31、直交変換回路32、量子化回路33、レート制御回路34、可逆符号化回路35、バッファメモリ36、逆量子化回路37、逆直交変換回路38、加算回路39、デブロックフィルタ40、フレームメモリ41、イントラ予測回路42、動き予測・補償回路43、トライアル動き予測・補償回路51、SC(Scene Change)検出回路52、最適M決定回路53、ピクチャタイプ割当回路54を有する。
<
Hereinafter, the
FIG. 2 is an overall configuration diagram of the
As shown in FIG. 2, the
符号化装置2では、トライアル動き予測・補償回路51、SC検出回路52を用いることで、図3に示すように、ピクチャデータ間の相関をマクロブロックMBを単位として検出して統計量を計算すると共に、各マクロブロックMBのフレーム内符号化の困難度の統計量を計算する。
そして、最適M決定回路53において、これらの統計量を基に、高い符号化効率が得られるようにM値を決定し、ピクチャタイプ割当回路54において当該決定されたM値を用いて各ピクチャデータのピクチャタイプが決定される。
なお、本実施形態は、ピクチャデータは、フレームデータあるいはフィールドデータである。
In the
Then, the optimum
In the present embodiment, the picture data is frame data or field data.
以下、符号化装置2の構成要素について説明する。
[A/D変換回路21]
A/D変換回路21は、入力されたアナログの輝度信号Y、色差信号Pb,Prから構成される原画像信号S10をデジタルの原ピクチャデータに変換し、これを画面並べ替え回路23およびトライアル動き予測・補償回路51に出力する。
Hereinafter, components of the
[A / D conversion circuit 21]
The A / D conversion circuit 21 converts the original image signal S10 composed of the input analog luminance signal Y and color difference signals Pb and Pr into digital original picture data, which is converted into the
[画面並べ替え回路23]
画面並べ替え回路23は、A/D変換回路21が生成したピクチャデータを、ピクチャタイプ割当回路54で割り当てたピクチャタイプI,P,BからなるGOP(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えて演算回路31、イントラ予測回路42および動き予測・補償回路43に出力する。
[Screen rearrangement circuit 23]
The
[演算回路31]
演算回路31は、画面並べ替え回路23から入力した符号化対象のピクチャデータと、イントラ予測回路42あるいは動き予測・補償回路43から入力した予測画像データPIとの差分を示す画像データを生成し、これを直交変換回路32に出力する。
[Arithmetic circuit 31]
The
[直交変換回路32]
直交変換回路32は、演算回路31から入力した画像データに離散コサイン変換(DCT:Discrete Cosine Transform)やカルーネン・レーベ変換などの直交変換を施して変換係数を示す画像データ(例えばDCT係数)を生成し、これを量子化回路33に出力する。
[Orthogonal transformation circuit 32]
The
[量子化回路33]
量子化回路33は、直交変換回路32から入力した画像データ(量子化前の変換係数)を、レート制御回路34から入力した量子化スケールQSを基に量子化して量子化後の変換係数を示す画像データを生成し、これを可逆符号化回路35および逆量子化回路37に出力する。
[Quantization circuit 33]
The
[レート制御回路34]
レート制御回路34は、例えば、バッファメモリ36から読み出した画像データを基に量子化スケールQSを生成し、これを量子化回路33に出力する。
[Rate control circuit 34]
For example, the
[可逆符号化回路35]
可逆符号化回路35は、量子化回路33から入力した画像データを可変長符号化した画像データをバッファ36に格納する。
このとき、可逆符号化回路35は、動き予測・補償回路43から入力した動きベクトルMVあるいはその差分動きベクトル、参照画像データの識別データ、並びにイントラ予測回路42から入力したイントラ予測モードをヘッダデータなどに格納する。
[Reversible encoding circuit 35]
The
At this time, the
[バッファメモリ36]
バッファメモリ36に格納された画像データは、変調等された後に画像データS2として送信される。
当該画像データS2は、後述するように、復号装置3によって復号される。
[逆量子化回路37]
逆量子化回路37は、量子化回路33の量子化に対応した逆量子化処理を、量子化回路33からの画像データに施して、それによって得られたデータを生成し、これを逆直交変換回路38に出力する。
[逆直交変換回路38]
逆直交変換回路38は、逆量子化回路37から入力したデータに、直交変換回路32における直交変換の逆変換を施して生成した画像データを加算回路39に出力する。
[Buffer memory 36]
The image data stored in the buffer memory is modulated and transmitted as image data S2.
The image data S2 is decoded by the decoding device 3 as will be described later.
[Inverse quantization circuit 37]
The
[Inverse orthogonal transform circuit 38]
The inverse
[加算回路39]
加算回路33は、逆直交変換回路38から入力した(デコードされた)画像データと、イントラ予測回路42あるいは動き予測・補償回路43から入力した予測画像データPIとを加算して参照(再構成)ピクチャデータを生成し、これをデブロックフィルタ40に出力する。
[Addition circuit 39]
The
[デブロックフィルタ40]
デブロックフィルタ40は、加算回路39から入力した参照ピクチャデータのブロック歪みを除去してフレームメモリ41に書き込む。
[Deblock filter 40]
The
[イントラ予測回路42]
イントラ予測回路42は、イントラ符号化するマクロブロックにおいて、残差が最小となるイントラ予測のモードおよび予測ブロックのブロックサイズを決定する。
イントラ予測回路42は、ブロックサイズとして、4x4および16x16画素を用いる。
イントラ予測回路42は、イントラ予測が選択された場合に、イントラ予測による予測画像データPIを演算回路31および加算回路39に出力する。
[Intra prediction circuit 42]
The
The
The
[動き予測・補償回路43]
動き予測・補償回路43は、既に符号化後に局所復号されてフレームメモリ41に記憶されている参照ピクチャデータREFを基に動き予測を行い、残差を最小にする動きベクトルおよび動き補償のブロックサイズを決定する。
動き予測・補償回路43は、ブロックサイズとして、16x16、16x8、8x16、8x8、8x4、4x8および4x4画素を用いる。
動き予測・補償回路43は、インター予測が選択された場合に、インター予測による予測画像データPIを演算回路31および加算回路39に出力する。
[Motion prediction / compensation circuit 43]
The motion prediction /
The motion prediction /
When the inter prediction is selected, the motion prediction /
[トライアル動き予測・補償回路51]
トライアル動き予測・補償回路51は、A/D変換回路21から入力した各原ピクチャデータ内の各マクロブロックMBについて、下記式(1)に示すように、当該マクロブロックMBの画素データOrg(i,n,x,y)と、それに対応するインター予測画像のマクロブロックMBの画素データinterPred(i,n,x,y)との画素データの差分の絶対値和を示す指標データinterAD(i,n)を算出する。
このとき、トライアル動き予測・補償回路51は、M値として「1」を用いる。
本実施形態において、M値は、Pスライス(Pピクチャ)の間隔、すなわちIピクチャの間で、何ピクチャ間隔でPピクチャを配置するかを示す値である。
ここで、iはピクチャデータの番号を示し、nはマクロブロックMBの番号を示す。
また、absは、絶対値を示す。
[Trial Motion Prediction / Compensation Circuit 51]
For each macroblock MB in each original picture data input from the A / D conversion circuit 21, the trial motion prediction /
At this time, the trial motion prediction /
In the present embodiment, the M value is a value indicating how many P-pictures are arranged between P-slices (P-pictures), that is, between I-pictures.
Here, i indicates the number of picture data, and n indicates the number of the macroblock MB.
Abs represents an absolute value.
(数1)
interAD(i,n)=Σabs(Org(i,n,x,y)−interPred(i,n,x,y))
…(1)
(Equation 1)
interAD (i, n) = Σabs (Org (i, n, x, y) −interPred (i, n, x, y))
... (1)
また、トライアル動き予測・補償回路51は、A/D変換回路21から入力した各原ピクチャデータ内の各マクロブロックMBについて、当該マクロブロックMBの画素データと、イントラ予測マクロブロックMBとの画素データの差分の絶対値和IND(i、n)を算出する。
Further, the trial motion prediction /
トライアル動き予測・補償回路51は、各ピクチャデータについて、当該ピクチャデータ内の全て(N個)のマクロブロックMBの指標データinterAD(i,n)の総和を示すINTER_AD(i)を算出し、これを最適M決定回路53に出力する。
また、トライアル動き予測・補償回路51は、各ピクチャデータについて、当該ピクチャデータ内の全てのマクロブロックMBについての上記絶対値和IND(i,n)の総和IND(i)を算出し、これを最適M決定回路53に出力する。
For each picture data, the trial motion prediction /
Further, the trial motion prediction /
また、トライアル動き予測・補償回路51は、A/D変換回路21から入力した原ピクチャデータをSC検出回路52に出力する。
また、トライアル動き予測・補償回路51は、例えば、上記算出した指標データinterAD(i,n)をSC検出回路52に出力する。
The trial motion prediction /
Further, the trial motion prediction /
[SC検出回路52]
SC検出回路52は、トライアル動き予測・補償回路51から入力した指標データinterAD(i,n)を基に、各ピクチャデータについて、シーンチェンジSC直後のピクチャデータであるか否かを判断し、その判断結果RSCを最適M決定回路53に出力する。
[SC detection circuit 52]
Based on the index data interAD (i, n) input from the trial motion prediction /
[最適M決定回路53]
最適M決定回路53は、図4に示すように、SC検出回路52からの判断結果RSCを基に、複数の一連のピクチャデータのなかからシーンチェンジ位置を特定し、その特定したシーンチェンジ位置に応じて規定される各シーンについて、下記式(2)に示すように、当該シーンに属するピクチャデータのINTER_AD(i)の総和をIND(i)の総和で除算して指標データXを算出する。
[Optimum M Determination Circuit 53]
As shown in FIG. 4, the optimum
(数2)
X=(INTER_AD(i)の総和)/(IND(i)の総和)
…(2)
(Equation 2)
X = (sum of INTER_AD (i)) / (sum of IND (i))
... (2)
最適M決定回路53は、上記算出した指標データXが、しきい値TH以下の場合に、M値として「1」を割り当て、それ以外の場合にM値として「2」あるいは「3」を割り当てる。
なお、最適M決定回路53は、上記それ以外の場合に、M値として「2」のみを割り当ててもよい。
本実施形態において、しきい値THは、実験的に決定される。
The optimum
In the other cases, the optimum
In the present embodiment, the threshold value TH is determined experimentally.
[ピクチャタイプ割当回路54]
ピクチャタイプ割当回路54は、SC検出回路52から入力した原ピクチャデータのそれぞれに、I,P,Bのいずれかのピクチャタイプを割り当てる。
このとき、ピクチャタイプ割当回路54は、最適M決定回路53からの入力したM値が「1」を示す場合には、処理対象のシーン内のIピクチャデータ以外の全てのピクチャデータにピクチャタイプPを割り当てる。
また、ピクチャタイプ割当回路54は、最適M決定回路53からの入力したM値が「2」を示す場合には、処理対象のシーン内のIピクチャデータ以外のピクチャデータにピクチャタイプPとBとを交互に割り当てる。
[Picture type assignment circuit 54]
The picture type assignment circuit 54 assigns any one of I, P, and B picture types to the original picture data input from the
At this time, if the M value input from the optimum
In addition, when the M value input from the optimum
以下、符号化装置2においてM値を決定する動作例を説明する。
図5および図6は、符号化装置2においてM値を決定する動作例を説明するためのフローチャートである。
ステップST11:
トライアル動き予測・補償回路51は、A/D変換回路21から入力した各原ピクチャデータ内の各マクロブロックMBについて、上記式(1)に示すように、当該マクロブロックMBの画素データOrg(i,n,x,y)と、それに対応するインター予測画像のマクロブロックMBの画素データinterPred(i,n,x,y)との差分の総和を示す指標データinterAD(i,n)を算出する。
このとき、トライアル動き予測・補償回路51は、M値として「1」を用いる。
Hereinafter, an example of an operation for determining the M value in the
FIG. 5 and FIG. 6 are flowcharts for explaining an operation example for determining the M value in the
Step ST11:
For each macroblock MB in each original picture data input from the A / D conversion circuit 21, the trial motion prediction /
At this time, the trial motion prediction /
ステップST12:
トライアル動き予測・補償回路51は、A/D変換回路21から入力した各原ピクチャデータ内の各マクロブロックMBについて、当該マクロブロックMBを構成する画素データの平均値を示すMeanOrg(i,n)を算出する。
そして、トライアル動き予測・補償回路51は、各ピクチャデータについて、当該ピクチャデータ内の全てのマクロブロックMBについての上記絶対値和IND(i,n)を算出する。
Step ST12:
The trial motion prediction /
Then, the trial motion prediction /
ステップST13:
トライアル動き予測・補償回路51は、各ピクチャデータについて、当該ピクチャデータ内の全て(N個)のマクロブロックMBの指標データinterAD(i,n)の総和を示すINTER_AD(i)を算出し、これを最適M決定回路53に出力する。
Step ST13:
For each picture data, the trial motion prediction /
ステップST14:
トライアル動き予測・補償回路51は、各ピクチャデータについて、当該ピクチャデータ内の全てのマクロブロックMBの上記絶対値和IND(i,n)の総和を示すIND(i)を算出し、これを最適M決定回路53に出力する。
Step ST14:
The trial motion prediction /
ステップST15:
SC検出回路52は、トライアル動き予測・補償回路51から入力した指標データinterAD(i,n)を基に、各ピクチャデータについて、シーンチェンジSC直後のピクチャデータであるか否かを判断し、その判断結果RSCを最適M決定回路53に出力する。
Step ST15:
Based on the index data interAD (i, n) input from the trial motion prediction /
ステップST16:
最適M決定回路53は、図4に示すように、SC検出回路52からの判断結果RSCを基に、複数の一連のピクチャデータのなかからシーンチェンジ位置を特定し、その特定したシーンチェンジ位置に応じて規定される各シーンについて、上記式(3)に示すように、当該シーンに属するピクチャデータのINTER_AD(i)の総和をIND(i)の総和で除算して指標データXを算出する。
Step ST16:
As shown in FIG. 4, the optimum
ステップST17:
最適M決定回路53は、ステップST16で上記算出した指標データXが、しきい値TH以下であるか否かを判断し、しきい値TH以下であると判断すると、ステップST18に進み、そうでない場合にステップST19に進む。
Step ST17:
The optimum
ステップST18:
最適M決定回路53は、M値として「1」を割り当てる。
Step ST18:
The optimum
ステップST19:
最適M決定回路53は、M値として「2」あるいは「3」を割り当てる。
Step ST19:
The optimum
以下、図2に示す符号化装置2の全体動作を説明する。
入力となる画像信号は、まず、A/D変換回路21においてデジタルの原ピクチャデータに変換され、画面並べ替え回路23およびトライアル動き予測・補償回路51に出力される。
そして、トライアル動き予測・補償回路51、SC検出回路52および最適M決定回路53において、図5および図6に示した手順でM値が決定される。
次に、ピクチャタイプ割当回路54において、上記決定されたM値に基づいて、ピクチャタイプが割り当てられる。続いて、画面並べ替え回路23において、画像圧縮情報のGOP構造に応じ、ピクチャデータの並べ替えが行われ、それによって得られたピクチャデータが、演算回路31、イントラ予測回路42および動き予測・補償回路43に出力される。
そして、演算回路31において、画面並べ替え回路23からのピクチャデータと、イントラ予測回路42あるいは動き予測・補償回路43からの予測画像データPIとの差分画像が生成され、これが直交変換回路32に出力される。
Hereinafter, the overall operation of the
The input image signal is first converted into digital original picture data by the A / D conversion circuit 21 and output to the
Then, in the trial motion prediction /
Next, the picture type assignment circuit 54 assigns a picture type based on the determined M value. Subsequently, in the
Then, the
そして、直交変換回路32、量子化回路33、逆量子化回路37および逆直交変換回路38において、上記差分画像が直交変換、量子化、逆量子化および逆直交変換されて加算回路39に出力される。
そして、加算回路39において、イントラ予測回路42あるいは動き予測・補償回路43からの予測画像データPIと、逆直交変換回路38からの差分画像とが再構成され、再構成画像が参照画像データとしてデブロックフィルタ40を介してフレームメモリ41に書き込まれる。
そして、イントラ予測回路42において、イントラ予測が行われ、予測画像データPIが生成される。
また、動き予測・補償回路43において、フレームメモリ41に記憶された参照画像データREFを基に、予測画像データPIが生成される。
そして、イントラ予測回路42および動き予測・補償回路43で生成された予測画像データPIのうち、符号化効率をより高くする予測画像データPIが選択されて演算回路31に出力される。
Then, in the
Then, in the
Then, the
Further, the motion prediction /
Then, among the predicted image data PI generated by the
以上説明したように、符号化装置2では、符号化対象の動画像データのピクチャデータの特性に応じて最適なM値を決定し、当該M値を基にピクチャタイプ割当回路54においてピクチャデータのピクチャタイプを決定する。
そのため、符号化装置2によれば、ピクチャデータの特定に適合したGOP構造で符号化を行うことができ、従来に比べて符号化効率を高めることができる。
As described above, the
Therefore, according to the
<変形例1>
上述した実施形態では、トライアル動き予測・補償回路51において、処理対象の原ピクチャデータのマクロブロックMBと、そのインター予測画像のマクロブロックMBとの間の画素データの差分の総和を示す指標データinterAD(i,n)を用いたが、その代わりに、処理対象のピクチャデータのマクロブロックMBと表示順が一つ前のピクチャデータのマクロブロックMBとの間の画素データの差分の絶対値和を用いてもよい。
また、トライアル動き予測・補償回路51は、上記指標データinterAD(i,n)の代わりに、処理対象のピクチャデータのマクロブロックMBと、そのインター予測画像のマクロブロックMBとの間の画素データの差分をDCTあるいはFFT変換した後のDC成分あるいはAC成分の合計値を用いてもよい。
また、トライアル動き予測・補償回路51は、上記指標データinterAD(i,n)の代わりに、処理対象のマクロブロックMBの動きベクトルの各要素の絶対値和を用いてもよい。
<
In the above-described embodiment, the trial motion prediction /
Further, the trial motion prediction /
Further, the trial motion prediction /
<変形例2>
上述した実施形態では、トライアル動き予測・補償回路51において、上記絶対値和IND(i)を用いたが、その代わりに処理対象の原ピクチャデータ内の各マクロブロックMBの画素データOrg(i,n,x,y)と、上記平均値MeanOrg(i,n)との差分の絶対値和を示す指標データMad(i,n)を用いてもよい。
また、トライアル動き予測・補償回路51は、上記絶対値和IND(i)の代わりに、処理対象のピクチャデータのマクロブロックMBと、そのイントラ予測画像のマクロブロックMBとの間の画素データの差分をDCTあるいはFFT変換した後のDC成分あるいはAC成分の合計値を用いてもよい。
また、トライアル動き予測・補償回路51は、上記絶対値和IND(i)の代わりに、処理対象のマクロブロックMB内の画素データの分散値、あるいは当該マクロブロックMB内の画素データの最大値あるいは最小値の差分を用いてもよい。
<
In the embodiment described above, the trial value motion prediction /
In addition, the trial motion prediction /
Further, the trial motion prediction /
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、上述した符号化装置2の機能の全部あるいは一部を、図7に示すように、メモリ252に記憶されたプログラムPRGの記述に従ってCPU(Central Processing Unit)などの処理回路253が実行してもよい。
この場合に、インターフェース251を介して、符号化対象の画像データが入力され、その処理結果が出力される。
The present invention is not limited to the embodiment described above.
That is, those skilled in the art may make various modifications, combinations, subcombinations, and alternatives regarding the components of the above-described embodiments within the technical scope of the present invention or an equivalent scope thereof.
For example, all or part of the functions of the
In this case, the image data to be encoded is input via the
また、上述した実施形態では、最適M決定回路53において、指標データXに基づいて、M値として「1」あるいは「2」を割り当てたか、「3」以上の値を割り当ててもよい。M値の割り当てに用いるしきい値の数は2以上であってもよい。
In the above-described embodiment, the optimum
1…通信システム、2…符号化装置、3…復号装置、21…A/D変換回路、23…画面並べ替え回路、31…演算回路、32…直交変換回路、33…量子化回路、34…レート制御回路、35…可逆符号化回路、36…バッファメモリ、37…逆量子化回路、38…逆直交変換回路、39…加算回路、40…デブロックフィルタ、41…フレームメモリ、42…イントラ予測回路、43…動き予測・補償回路、51…トライアル動き予測・補償回路、52…SC検出回路、53…最適M決定回路、54…ピクチャタイプ割当回路
DESCRIPTION OF
Claims (6)
前記シーンチェンジ検出手段の判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する相関度検出手段と、
前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する困難度検出手段と、
前記各シーンについて、前記相関度検出手段が検出した前記相関度に比例し、前記困難度検出手段が検出した前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定するM値決定手段と、
前記M値決定手段が決定した前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定するピクチャタイプ決定手段と、
を有する符号化装置。 Scene change detection means for determining whether each of a plurality of picture data constituting moving image data to be encoded is picture data immediately after a scene change;
Based on the judgment result of the scene change detection means, a scene change position is specified from the plurality of picture data, and each scene defined by the scene change position is obtained from the picture data and its reference picture data. The total value for each scene of the difference in pixel value from the predicted image data is detected as the degree of correlation between the picture data and the reference picture data when the plurality of picture data is inter-coded. Correlation degree detection means;
For each scene, the total value of each pixel value difference between the picture data and the predicted image data obtained by intra-picture coding of the picture data is detected as the difficulty level of intra-frame coding of the picture data. A difficulty level detection means to
For each scene, index data that is proportional to the correlation degree detected by the correlation degree detection unit and inversely proportional to the difficulty level detected by the difficulty level detection unit is generated, and the M value decreases as the index data decreases. M value determining means for determining
Picture type determining means for determining a picture type of the picture data based on the M value determined by the M value determining means;
An encoding device.
請求項1に記載の符号化装置。 The correlation degree detection means includes a total value of pixel values between the picture data and predicted image data obtained from the reference picture data, and a total value of DC components or AC components after orthogonally transforming the differences. And a sum of pixel value differences between the picture data and the picture data whose display order is the previous one with respect to the picture data, and an absolute value sum of each element of the motion vector of the picture data The encoding device according to claim 1, wherein one of them is detected as the correlation degree.
請求項1または2に記載の符号化装置。 The difficulty level detection means includes a pixel value of pixel data of the picture data and a total value of a first difference between the average value and predicted picture data obtained by intra-picture encoding of the picture data and the picture data. A total value of second differences of pixel values between the first and second values, a total value of DC components or AC components after orthogonal transformation of the second difference, a variance value of pixel values of the picture data, and the pixels The encoding device according to claim 1, wherein any one of a difference between a maximum value and a minimum value of the value is detected as the difficulty level.
をさらに有する請求項1に記載の符号化装置。 The encoding apparatus according to claim 1, further comprising: an encoding unit that encodes the picture data based on the picture type determined by the picture type determination unit.
前記シーンチェンジ検出手段が、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第1の工程と、
前記相関度検出手段が、前記第1の工程における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第2の工程と、
前記困難度検出手段が、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第3の工程と、
前記M値決定手段が、前記各シーンについて、前記第2の工程において検出された前記相関度に比例し、前記第3の工程において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定する第4の工程と、
前記ピクチャタイプ決定手段が、前記第4の工程において決定された前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定する第5の工程と、
を有する符号化方法。 An encoding method for an encoding device, comprising: a scene change detection unit, a correlation detection unit, a difficulty detection unit, an M value determination unit, and a picture type determination unit,
A first step in which the scene change detection means determines whether or not each of a plurality of picture data constituting moving image data to be encoded is picture data immediately after a scene change;
The correlation degree detection unit specifies a scene change position from the plurality of picture data based on the determination result in the first step, and for each scene defined by the scene change position, the picture data and When the plurality of picture data are inter-coded, the total value for each scene of the pixel value difference between the predicted picture data obtained from the reference picture data and the reference picture data A second step of detecting as a degree of correlation with
The difficulty level detection means, for each scene, calculates a total value for each scene of a difference in pixel values between the picture data and predicted image data obtained by intra-picture encoding of the picture data in the frame of the picture data. A third step of detecting as the difficulty of encoding;
The M value determining means generates index data proportional to the degree of correlation detected in the second step and inversely proportional to the degree of difficulty detected in the third step for each scene; A fourth step of determining a smaller M value as the index data becomes smaller;
A fifth step in which the picture type determining means determines a picture type of the picture data based on the M value determined in the fourth step ;
An encoding method comprising:
符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第1の手順と、
前記第1の手順における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第2の手順と、
前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第3の手順と、
前記各シーンについて、前記第2の手順において検出された前記相関度に比例し、前記第3の手順において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定する第4の手順と、
前記第4の手順において決定された前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定する第5の手順と、
を前記コンピュータに実行させるプログラム。 A program to be executed by a computer included in an encoding device that encodes moving image data ,
A first procedure for determining whether each of a plurality of picture data constituting moving image data to be encoded is picture data immediately after a scene change;
Based on the determination result in the first procedure, a scene change position is specified from the plurality of picture data, and each scene defined by the scene change position is obtained from the picture data and its reference picture data. the total value for each of the scenes of the difference in pixel values between the predicted image data, in a case where the plurality of picture data are inter-coded is detected as the degree of correlation and the picture data, and the reference picture data A second procedure ;
For each scene, the total value of each pixel value difference between the picture data and the predicted image data obtained by intra-picture coding of the picture data is detected as the difficulty level of intra-frame coding of the picture data. A third procedure to
For each scene, index data that is proportional to the degree of correlation detected in the second procedure and inversely proportional to the degree of difficulty detected in the third procedure is generated, and decreases as the index data decreases. A fourth procedure for determining the M value;
A fifth procedure for determining a picture type of the picture data based on the M value determined in the fourth procedure ;
A program for causing the computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005200701A JP4655791B2 (en) | 2005-07-08 | 2005-07-08 | Encoding apparatus, encoding method and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005200701A JP4655791B2 (en) | 2005-07-08 | 2005-07-08 | Encoding apparatus, encoding method and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007019994A JP2007019994A (en) | 2007-01-25 |
JP4655791B2 true JP4655791B2 (en) | 2011-03-23 |
Family
ID=37756730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005200701A Expired - Fee Related JP4655791B2 (en) | 2005-07-08 | 2005-07-08 | Encoding apparatus, encoding method and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4655791B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4748603B2 (en) * | 2007-02-28 | 2011-08-17 | 株式会社Kddi研究所 | Video encoding device |
JP2008263529A (en) | 2007-04-13 | 2008-10-30 | Sony Corp | Coder, coding method, program of coding method and recording medium with program of coding method recorded thereon |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08265747A (en) * | 1995-03-20 | 1996-10-11 | Matsushita Electric Ind Co Ltd | Picture encoding method, picture encoding device and optical disk |
JP2002369032A (en) * | 2001-06-08 | 2002-12-20 | Mitsubishi Electric Corp | Frame synchronizer |
JP2005094458A (en) * | 2003-09-18 | 2005-04-07 | Nec Corp | Device and method for encoding moving image |
-
2005
- 2005-07-08 JP JP2005200701A patent/JP4655791B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08265747A (en) * | 1995-03-20 | 1996-10-11 | Matsushita Electric Ind Co Ltd | Picture encoding method, picture encoding device and optical disk |
JP2002369032A (en) * | 2001-06-08 | 2002-12-20 | Mitsubishi Electric Corp | Frame synchronizer |
JP2005094458A (en) * | 2003-09-18 | 2005-04-07 | Nec Corp | Device and method for encoding moving image |
Also Published As
Publication number | Publication date |
---|---|
JP2007019994A (en) | 2007-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5269593B2 (en) | Encoding device, encoding method, decoding device, decoding method, and program thereof | |
JP4449915B2 (en) | Encoding apparatus, encoding method and program, and recording medium | |
US10499083B2 (en) | Image decoding apparatus, image encoding apparatus, and method and program for image decoding and encoding | |
JP2006148970A (en) | Image data coding method and computer readable medium recording program therefor | |
JP2006005438A (en) | Image processor and method thereof | |
JP2004140473A (en) | Image information coding apparatus, decoding apparatus and method for coding image information, method for decoding | |
JP4804107B2 (en) | Image encoding apparatus, image encoding method and program thereof | |
JP2004304724A (en) | Image processing apparatus, its method and encoder | |
JP4360093B2 (en) | Image processing apparatus and encoding apparatus and methods thereof | |
JP2005184233A (en) | Data processing device and method therefor, and coding equipment | |
JP4561508B2 (en) | Image processing apparatus, image processing method and program thereof | |
JP2008219205A (en) | Picture information encoder and picture information encoding method | |
JP4747494B2 (en) | Data processing apparatus and method and encoding apparatus | |
KR20130088119A (en) | Encoding device, encoding method, decoding device, and decoding method | |
JP2010119153A (en) | Encoding method, encoder, program for them, and recording medium | |
JP2005223631A (en) | Data processor and processing method, encoder and decoder | |
JP4655791B2 (en) | Encoding apparatus, encoding method and program thereof | |
US20060146183A1 (en) | Image processing apparatus, encoding device, and methods of same | |
CN113225558B (en) | Smoothing orientation and DC intra prediction | |
JP2005532716A (en) | Video encoding apparatus and method | |
JP2006025033A (en) | Device and method for image processing | |
JP2002344973A (en) | Method for converting size of image coding data, transmission method for image coding data and image coding data size converter | |
JP4517963B2 (en) | Encoding apparatus, encoding method, program, and recording medium | |
JPH10164594A (en) | Compression encoding method for moving image and device therefor | |
JP2005176259A (en) | Data processor and method therefor and encoding unit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101130 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101213 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |