JP4655791B2 - Encoding apparatus, encoding method and program thereof - Google Patents

Encoding apparatus, encoding method and program thereof Download PDF

Info

Publication number
JP4655791B2
JP4655791B2 JP2005200701A JP2005200701A JP4655791B2 JP 4655791 B2 JP4655791 B2 JP 4655791B2 JP 2005200701 A JP2005200701 A JP 2005200701A JP 2005200701 A JP2005200701 A JP 2005200701A JP 4655791 B2 JP4655791 B2 JP 4655791B2
Authority
JP
Japan
Prior art keywords
picture data
value
data
picture
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005200701A
Other languages
Japanese (ja)
Other versions
JP2007019994A (en
Inventor
武文 名雲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005200701A priority Critical patent/JP4655791B2/en
Publication of JP2007019994A publication Critical patent/JP2007019994A/en
Application granted granted Critical
Publication of JP4655791B2 publication Critical patent/JP4655791B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、動画像データの符号化装置、符号化方法およびそのプログラムに関する。   The present invention relates to a moving image data encoding apparatus, encoding method, and program thereof.

近年、画像をデータデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Experts Group)に続いて、より圧縮率が高いH.264/AVC(Advanced Video Coding)などの符号化方式に準拠した符号化装置および復号装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。   In recent years, MPEG (compressed by orthogonal transform such as discrete cosine transform and motion compensation is used for the purpose of efficiently transmitting and storing information, and using redundancy unique to image information. H. Moving Picture Experts Group) H.264 / AVC (Advanced Video Coding) and other encoding devices and decoding devices that are compliant with an encoding method are becoming widespread in both information distribution such as broadcasting stations and information reception in general households.

ところで、従来の符号化装置では、符号化対象の動画像データの特性を考慮することなく、予め決められたM値に応じたGOP(Grope Of Pictures)構造に従って、動画像データを構成する各ピクチャデータにI,P,Bのピクチャタイプを割り当てる。
ここで、M値とは、Pスライス(Pピクチャ)の間隔、すなわちIピクチャの間で何ピクチャ間隔でPピクチャを配置するかを示す値である。
By the way, in the conventional encoding device, each picture constituting the moving image data according to a GOP (Grope Of Pictures) structure corresponding to a predetermined M value without considering the characteristics of the moving image data to be encoded. I, P, and B picture types are assigned to data.
Here, the M value is a value indicating the interval between P slices (P pictures), that is, the number of picture intervals between I pictures.

しかしながら、上述した従来の符号化装置では、符号化対象の動画像データの特性を考慮することなく、予め決められたM値に応じたGOP構造で符号化を行うため、十分に高い符号化効率を得られないという問題がある。   However, since the above-described conventional encoding apparatus performs encoding with a GOP structure corresponding to a predetermined M value without considering the characteristics of moving image data to be encoded, it has sufficiently high encoding efficiency. There is a problem that cannot be obtained.

本発明はかかる事情に鑑みてなされたものであり、動画像の符号化効率をさらに高めることができる符号化装置、符号化方法およびそのプログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and an object thereof is to provide an encoding device, an encoding method, and a program thereof that can further increase the encoding efficiency of moving images.

本発明の符号化装置は、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断するシーンチェンジ検出手段と、前記シーンチェンジ検出手段の判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する相関度検出手段と、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する困難度検出手段と、前記各シーンについて、前記相関度検出手段が検出した前記相関度に比例し、前記困難度検出手段が検出した前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定するM値決定手段と、前記M値決定手段が決定した前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定するピクチャタイプ決定手段と、を有する。 The encoding apparatus according to the present invention includes a scene change detection means for determining whether or not each of a plurality of picture data constituting moving image data to be encoded is picture data immediately after a scene change, and the scene change detection Based on the determination result of the means, a scene change position is specified from the plurality of picture data, and for each scene defined by the scene change position, predicted picture data obtained from the picture data and its reference picture data, Correlation level detection means for detecting a total value for each scene of pixel value differences between the picture data as a correlation level between the picture data and the reference picture data when the plurality of picture data is inter-coded When the respective scene, the picture data and the picture of the picture data Difficulty level detection means for detecting a total value of each pixel value difference between the predicted image data and the encoded image data as a difficulty level of intra-frame encoding of the picture data; and for each scene, the correlation level M value determining means for generating index data proportional to the correlation detected by the detecting means and inversely proportional to the difficulty detected by the difficulty detecting means, and determining a smaller M value as the index data becomes smaller; And a picture type determining means for determining a picture type of the picture data based on the M value determined by the M value determining means.

本発明の符号化方法は、シーンチェンジ検出手段と、相関度検出手段と、困難度検出手段と、M値決定手段と、ピクチャタイプ決定手段と、を有する符号化装置の符号化方法であって、前記シーンチェンジ検出手段が、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第1の工程と、前記相関度検出手段が、前記第1の工程における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第2の工程と、前記困難度検出手段が、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第3の工程と、前記M値決定手段が、前記各シーンについて、前記第2の工程において検出された前記相関度に比例し、前記第3の工程において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定する第4の工程と、前記第4の工程において決定された前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定する第5の工程と、を有する。An encoding method according to the present invention is an encoding method of an encoding device having scene change detection means, correlation degree detection means, difficulty detection means, M value determination means, and picture type determination means. A first step in which the scene change detecting means determines whether or not each of a plurality of picture data constituting moving image data to be encoded is picture data immediately after a scene change; and the correlation degree detection A means identifies a scene change position from among the plurality of picture data based on the determination result in the first step, and for each scene defined by the scene change position, the picture data and its reference picture data The plurality of picture data are inter-coded with the total value for each scene of the pixel value difference from the predicted image data obtained from A second step of detecting the correlation between the picture data and the reference picture data, and the difficulty level detection means, for each scene, the picture data and an intra-picture code of the picture data A third step of detecting a total value for each scene of a difference in pixel value between the predicted image data and the predicted image data as the degree of difficulty of intra-frame encoding of the picture data; and the M value determining means, For the scene, index data that is proportional to the degree of correlation detected in the second step and inversely proportional to the degree of difficulty detected in the third step is generated, and the M value decreases as the index data decreases. And a picture type of the picture data is determined based on the M value determined in the fourth process. That has a fifth step.

本発明のプログラムは、動画像データの符号化を行う符号化装置が含むコンピュータに実行させるプログラムであって、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第1の手順と、前記第1の手順における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第2の手順と、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第3の手順と、前記各シーンについて、前記第2の手順において検出された前記相関度に比例し、前記第3の手順において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定する第4の手順と、前記第4の手順において決定された前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定する第5の手順と、を前記コンピュータに実行させる。The program of the present invention is a program that is executed by a computer included in an encoding device that encodes moving image data, and for each of a plurality of picture data constituting the moving image data to be encoded, A scene change position is specified from the plurality of picture data based on a first procedure for determining whether or not the data is picture data and a determination result in the first procedure, and is defined by the scene change position. For each scene, a total value for each scene of a difference in pixel values between the picture data and predicted image data obtained from the reference picture data is obtained when the plurality of picture data are inter-coded. A second procedure for detecting the correlation between the picture data and the reference picture data; A total value of each pixel value difference between the picture data and the predicted image data obtained by intra-picture coding of the picture data is detected as a difficulty level of intra-frame coding of the picture data. Generating index data that is proportional to the degree of correlation detected in the second procedure and inversely proportional to the degree of difficulty detected in the third procedure for each scene and the third procedure; A fourth procedure for determining a smaller M value as the data becomes smaller; and a fifth procedure for determining a picture type of the picture data based on the M value determined in the fourth procedure. Let the computer run.

本発明によれば、動画像の符号化効率をさらに高めることができる符号化装置、符号化方法およびそのプログラムを提供することができる。   According to the present invention, it is possible to provide an encoding device, an encoding method, and a program thereof that can further increase the encoding efficiency of moving images.

以下、本発明の実施形態の通信システムについて説明する。
先ず、本実施形態の構成と本発明の構成との関係を説明する。
図2に示すトライアル動き予測・補償回路51が本発明の相関度検出手段と困難度検出手段との一例である。
また、ピクチャタイプ割当回路54が本発明のピクチャタイプ決定手段の一例である。
また、最適M決定回路53が本発明のM値決定手段の一例である。
Hereinafter, a communication system according to an embodiment of the present invention will be described.
First, the relationship between the configuration of the present embodiment and the configuration of the present invention will be described.
The trial motion prediction / compensation circuit 51 shown in FIG. 2 is an example of the correlation degree detecting means and the difficulty degree detecting means of the present invention.
The picture type assignment circuit 54 is an example of the picture type determination means of the present invention.
The optimum M determination circuit 53 is an example of the M value determination means of the present invention.

図1は、本実施形態の通信システム1の概念図である。
図1に示すように、通信システム1は、送信側に設けられた符号化装置2と、受信側に設けられた復号装置3とを有する。
FIG. 1 is a conceptual diagram of a communication system 1 according to the present embodiment.
As shown in FIG. 1, the communication system 1 includes an encoding device 2 provided on the transmission side and a decoding device 3 provided on the reception side.

通信システム1では、送信側の符号化装置2において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ(ビットストリーム)を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルTV網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、復号装置3において受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
In the communication system 1, the encoding device 2 on the transmission side generates frame image data (bit stream) compressed by orthogonal transformation such as discrete cosine transformation and Karhunen-Labe transformation and motion compensation, and modulates the frame image data. Later, it is transmitted via a transmission medium such as a satellite broadcast wave, a cable TV network, a telephone line network, or a mobile phone line network.
On the receiving side, after the image signal received by the decoding device 3 is demodulated, frame image data expanded by inverse transformation of orthogonal transformation and motion compensation at the time of the modulation is generated and used.
The transmission medium may be a recording medium such as an optical disk, a magnetic disk, and a semiconductor memory.

<符号化装置2>
以下、図1に示す符号化装置2について説明する。
図2は、図1に示す符号化装置2の全体構成図である。
図2に示すように、符号化装置2は、例えば、A/D変換回路21、画面並べ替え回路23、演算回路31、直交変換回路32、量子化回路33、レート制御回路34、可逆符号化回路35、バッファメモリ36、逆量子化回路37、逆直交変換回路38、加算回路39、デブロックフィルタ40、フレームメモリ41、イントラ予測回路42、動き予測・補償回路43、トライアル動き予測・補償回路51、SC(Scene Change)検出回路52、最適M決定回路53、ピクチャタイプ割当回路54を有する。
<Encoder 2>
Hereinafter, the encoding device 2 shown in FIG. 1 will be described.
FIG. 2 is an overall configuration diagram of the encoding device 2 shown in FIG.
As shown in FIG. 2, the encoding device 2 includes, for example, an A / D conversion circuit 21, a screen rearrangement circuit 23, an arithmetic circuit 31, an orthogonal transformation circuit 32, a quantization circuit 33, a rate control circuit 34, and a lossless encoding. Circuit 35, buffer memory 36, inverse quantization circuit 37, inverse orthogonal transform circuit 38, addition circuit 39, deblock filter 40, frame memory 41, intra prediction circuit 42, motion prediction / compensation circuit 43, trial motion prediction / compensation circuit 51, an SC (Scene Change) detection circuit 52, an optimum M determination circuit 53, and a picture type assignment circuit 54.

符号化装置2では、トライアル動き予測・補償回路51、SC検出回路52を用いることで、図3に示すように、ピクチャデータ間の相関をマクロブロックMBを単位として検出して統計量を計算すると共に、各マクロブロックMBのフレーム内符号化の困難度の統計量を計算する。
そして、最適M決定回路53において、これらの統計量を基に、高い符号化効率が得られるようにM値を決定し、ピクチャタイプ割当回路54において当該決定されたM値を用いて各ピクチャデータのピクチャタイプが決定される。
なお、本実施形態は、ピクチャデータは、フレームデータあるいはフィールドデータである。
In the encoding device 2, by using the trial motion prediction / compensation circuit 51 and the SC detection circuit 52, as shown in FIG. 3, the correlation between the picture data is detected in units of the macroblock MB and the statistic is calculated. At the same time, a statistic of the difficulty level of intra-frame coding of each macroblock MB is calculated.
Then, the optimum M decision circuit 53 decides the M value based on these statistics so that high coding efficiency can be obtained, and the picture type assignment circuit 54 uses the decided M value for each picture data. The picture type is determined.
In the present embodiment, the picture data is frame data or field data.

以下、符号化装置2の構成要素について説明する。
[A/D変換回路21]
A/D変換回路21は、入力されたアナログの輝度信号Y、色差信号Pb,Prから構成される原画像信号S10をデジタルの原ピクチャデータに変換し、これを画面並べ替え回路23およびトライアル動き予測・補償回路51に出力する。
Hereinafter, components of the encoding device 2 will be described.
[A / D conversion circuit 21]
The A / D conversion circuit 21 converts the original image signal S10 composed of the input analog luminance signal Y and color difference signals Pb and Pr into digital original picture data, which is converted into the screen rearrangement circuit 23 and the trial motion. Output to the prediction / compensation circuit 51.

[画面並べ替え回路23]
画面並べ替え回路23は、A/D変換回路21が生成したピクチャデータを、ピクチャタイプ割当回路54で割り当てたピクチャタイプI,P,BからなるGOP(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えて演算回路31、イントラ予測回路42および動き予測・補償回路43に出力する。
[Screen rearrangement circuit 23]
The screen rearrangement circuit 23 encodes the picture data generated by the A / D conversion circuit 21 according to a GOP (Group Of Pictures) structure composed of picture types I, P, and B assigned by the picture type assignment circuit 54. The data are rearranged in the order of output and output to the arithmetic circuit 31, intra prediction circuit 42 and motion prediction / compensation circuit 43.

[演算回路31]
演算回路31は、画面並べ替え回路23から入力した符号化対象のピクチャデータと、イントラ予測回路42あるいは動き予測・補償回路43から入力した予測画像データPIとの差分を示す画像データを生成し、これを直交変換回路32に出力する。
[Arithmetic circuit 31]
The arithmetic circuit 31 generates image data indicating a difference between the picture data to be encoded input from the screen rearrangement circuit 23 and the predicted image data PI input from the intra prediction circuit 42 or the motion prediction / compensation circuit 43. This is output to the orthogonal transformation circuit 32.

[直交変換回路32]
直交変換回路32は、演算回路31から入力した画像データに離散コサイン変換(DCT:Discrete Cosine Transform)やカルーネン・レーベ変換などの直交変換を施して変換係数を示す画像データ(例えばDCT係数)を生成し、これを量子化回路33に出力する。
[Orthogonal transformation circuit 32]
The orthogonal transform circuit 32 generates image data (for example, DCT coefficient) indicating transform coefficients by performing orthogonal transform such as discrete cosine transform (DCT) or Karhunen-Loeve transform on the image data input from the arithmetic circuit 31. This is output to the quantization circuit 33.

[量子化回路33]
量子化回路33は、直交変換回路32から入力した画像データ(量子化前の変換係数)を、レート制御回路34から入力した量子化スケールQSを基に量子化して量子化後の変換係数を示す画像データを生成し、これを可逆符号化回路35および逆量子化回路37に出力する。
[Quantization circuit 33]
The quantization circuit 33 quantizes the image data (transform coefficient before quantization) input from the orthogonal transform circuit 32 based on the quantization scale QS input from the rate control circuit 34, and indicates the transform coefficient after quantization. Image data is generated and output to the lossless encoding circuit 35 and the inverse quantization circuit 37.

[レート制御回路34]
レート制御回路34は、例えば、バッファメモリ36から読み出した画像データを基に量子化スケールQSを生成し、これを量子化回路33に出力する。
[Rate control circuit 34]
For example, the rate control circuit 34 generates a quantization scale QS based on the image data read from the buffer memory 36, and outputs this to the quantization circuit 33.

[可逆符号化回路35]
可逆符号化回路35は、量子化回路33から入力した画像データを可変長符号化した画像データをバッファ36に格納する。
このとき、可逆符号化回路35は、動き予測・補償回路43から入力した動きベクトルMVあるいはその差分動きベクトル、参照画像データの識別データ、並びにイントラ予測回路42から入力したイントラ予測モードをヘッダデータなどに格納する。
[Reversible encoding circuit 35]
The lossless encoding circuit 35 stores the image data obtained by variable-length encoding the image data input from the quantization circuit 33 in the buffer 36.
At this time, the lossless encoding circuit 35 uses the motion vector MV input from the motion prediction / compensation circuit 43 or its differential motion vector, identification data of the reference image data, and the intra prediction mode input from the intra prediction circuit 42 as header data or the like. To store.

[バッファメモリ36]
バッファメモリ36に格納された画像データは、変調等された後に画像データS2として送信される。
当該画像データS2は、後述するように、復号装置3によって復号される。
[逆量子化回路37]
逆量子化回路37は、量子化回路33の量子化に対応した逆量子化処理を、量子化回路33からの画像データに施して、それによって得られたデータを生成し、これを逆直交変換回路38に出力する。
[逆直交変換回路38]
逆直交変換回路38は、逆量子化回路37から入力したデータに、直交変換回路32における直交変換の逆変換を施して生成した画像データを加算回路39に出力する。
[Buffer memory 36]
The image data stored in the buffer memory is modulated and transmitted as image data S2.
The image data S2 is decoded by the decoding device 3 as will be described later.
[Inverse quantization circuit 37]
The inverse quantization circuit 37 performs an inverse quantization process corresponding to the quantization of the quantization circuit 33 on the image data from the quantization circuit 33 to generate data obtained by the inverse quantization process. It outputs to the circuit 38.
[Inverse orthogonal transform circuit 38]
The inverse orthogonal transform circuit 38 outputs the image data generated by performing the inverse transform of the orthogonal transform in the orthogonal transform circuit 32 to the data input from the inverse quantization circuit 37 to the adder circuit 39.

[加算回路39]
加算回路33は、逆直交変換回路38から入力した(デコードされた)画像データと、イントラ予測回路42あるいは動き予測・補償回路43から入力した予測画像データPIとを加算して参照(再構成)ピクチャデータを生成し、これをデブロックフィルタ40に出力する。
[Addition circuit 39]
The adder circuit 33 adds (decodes) the image data input (decoded) from the inverse orthogonal transform circuit 38 and the predicted image data PI input from the intra prediction circuit 42 or the motion prediction / compensation circuit 43 to be referred (reconstructed). Picture data is generated and output to the deblocking filter 40.

[デブロックフィルタ40]
デブロックフィルタ40は、加算回路39から入力した参照ピクチャデータのブロック歪みを除去してフレームメモリ41に書き込む。
[Deblock filter 40]
The deblocking filter 40 removes block distortion of the reference picture data input from the addition circuit 39 and writes it in the frame memory 41.

[イントラ予測回路42]
イントラ予測回路42は、イントラ符号化するマクロブロックにおいて、残差が最小となるイントラ予測のモードおよび予測ブロックのブロックサイズを決定する。
イントラ予測回路42は、ブロックサイズとして、4x4および16x16画素を用いる。
イントラ予測回路42は、イントラ予測が選択された場合に、イントラ予測による予測画像データPIを演算回路31および加算回路39に出力する。
[Intra prediction circuit 42]
The intra prediction circuit 42 determines the intra prediction mode and the block size of the prediction block that minimize the residual in the macroblock to be intra-coded.
The intra prediction circuit 42 uses 4 × 4 and 16 × 16 pixels as the block size.
The intra prediction circuit 42 outputs predicted image data PI based on intra prediction to the arithmetic circuit 31 and the addition circuit 39 when intra prediction is selected.

[動き予測・補償回路43]
動き予測・補償回路43は、既に符号化後に局所復号されてフレームメモリ41に記憶されている参照ピクチャデータREFを基に動き予測を行い、残差を最小にする動きベクトルおよび動き補償のブロックサイズを決定する。
動き予測・補償回路43は、ブロックサイズとして、16x16、16x8、8x16、8x8、8x4、4x8および4x4画素を用いる。
動き予測・補償回路43は、インター予測が選択された場合に、インター予測による予測画像データPIを演算回路31および加算回路39に出力する。
[Motion prediction / compensation circuit 43]
The motion prediction / compensation circuit 43 performs motion prediction based on the reference picture data REF that has been locally decoded and stored in the frame memory 41 after encoding, and a motion vector that minimizes the residual and a block size for motion compensation To decide.
The motion prediction / compensation circuit 43 uses 16 × 16, 16 × 8, 8 × 16, 8 × 8, 8 × 4, 4 × 8, and 4 × 4 pixels as block sizes.
When the inter prediction is selected, the motion prediction / compensation circuit 43 outputs the predicted image data PI by the inter prediction to the arithmetic circuit 31 and the addition circuit 39.

[トライアル動き予測・補償回路51]
トライアル動き予測・補償回路51は、A/D変換回路21から入力した各原ピクチャデータ内の各マクロブロックMBについて、下記式(1)に示すように、当該マクロブロックMBの画素データOrg(i,n,x,y)と、それに対応するインター予測画像のマクロブロックMBの画素データinterPred(i,n,x,y)との画素データの差分の絶対値和を示す指標データinterAD(i,n)を算出する。
このとき、トライアル動き予測・補償回路51は、M値として「1」を用いる。
本実施形態において、M値は、Pスライス(Pピクチャ)の間隔、すなわちIピクチャの間で、何ピクチャ間隔でPピクチャを配置するかを示す値である。
ここで、iはピクチャデータの番号を示し、nはマクロブロックMBの番号を示す。
また、absは、絶対値を示す。
[Trial Motion Prediction / Compensation Circuit 51]
For each macroblock MB in each original picture data input from the A / D conversion circuit 21, the trial motion prediction / compensation circuit 51, as shown in the following formula (1), the pixel data Org (i , N, x, y) and index data interAD (i, indicating the sum of absolute values of the differences between the pixel data interPred (i, n, x, y) of the macro block MB of the inter prediction image corresponding thereto. n) is calculated.
At this time, the trial motion prediction / compensation circuit 51 uses “1” as the M value.
In the present embodiment, the M value is a value indicating how many P-pictures are arranged between P-slices (P-pictures), that is, between I-pictures.
Here, i indicates the number of picture data, and n indicates the number of the macroblock MB.
Abs represents an absolute value.

(数1)
interAD(i,n)=Σabs(Org(i,n,x,y)−interPred(i,n,x,y))
…(1)
(Equation 1)
interAD (i, n) = Σabs (Org (i, n, x, y) −interPred (i, n, x, y))
... (1)

また、トライアル動き予測・補償回路51は、A/D変換回路21から入力した各原ピクチャデータ内の各マクロブロックMBについて、当該マクロブロックMBの画素データと、イントラ予測マクロブロックMBとの画素データの差分の絶対値和IND(i、n)を算出する。   Further, the trial motion prediction / compensation circuit 51, for each macroblock MB in each original picture data input from the A / D conversion circuit 21, pixel data of the macroblock MB and pixel data of the intra prediction macroblock MB. The absolute value sum IND (i, n) of the differences is calculated.

トライアル動き予測・補償回路51は、各ピクチャデータについて、当該ピクチャデータ内の全て(N個)のマクロブロックMBの指標データinterAD(i,n)の総和を示すINTER_AD(i)を算出し、これを最適M決定回路53に出力する。
また、トライアル動き予測・補償回路51は、各ピクチャデータについて、当該ピクチャデータ内の全てのマクロブロックMBについての上記絶対値和IND(i,n)の総和IND(i)を算出し、これを最適M決定回路53に出力する。
For each picture data, the trial motion prediction / compensation circuit 51 calculates INTER_AD (i) indicating the sum of the index data interAD (i, n) of all (N) macroblocks MB in the picture data. Is output to the optimum M determination circuit 53.
Further, the trial motion prediction / compensation circuit 51 calculates, for each picture data, a sum IND (i) of the absolute value sums IND (i, n) for all the macroblocks MB in the picture data. Output to the optimum M determination circuit 53.

また、トライアル動き予測・補償回路51は、A/D変換回路21から入力した原ピクチャデータをSC検出回路52に出力する。
また、トライアル動き予測・補償回路51は、例えば、上記算出した指標データinterAD(i,n)をSC検出回路52に出力する。
The trial motion prediction / compensation circuit 51 outputs the original picture data input from the A / D conversion circuit 21 to the SC detection circuit 52.
Further, the trial motion prediction / compensation circuit 51 outputs the calculated index data interAD (i, n) to the SC detection circuit 52, for example.

[SC検出回路52]
SC検出回路52は、トライアル動き予測・補償回路51から入力した指標データinterAD(i,n)を基に、各ピクチャデータについて、シーンチェンジSC直後のピクチャデータであるか否かを判断し、その判断結果RSCを最適M決定回路53に出力する。
[SC detection circuit 52]
Based on the index data interAD (i, n) input from the trial motion prediction / compensation circuit 51, the SC detection circuit 52 determines whether each picture data is the picture data immediately after the scene change SC. The determination result RSC is output to the optimum M determination circuit 53.

[最適M決定回路53]
最適M決定回路53は、図4に示すように、SC検出回路52からの判断結果RSCを基に、複数の一連のピクチャデータのなかからシーンチェンジ位置を特定し、その特定したシーンチェンジ位置に応じて規定される各シーンについて、下記式(2)に示すように、当該シーンに属するピクチャデータのINTER_AD(i)の総和をIND(i)の総和で除算して指標データXを算出する。
[Optimum M Determination Circuit 53]
As shown in FIG. 4, the optimum M determination circuit 53 specifies a scene change position from a plurality of series of picture data based on the determination result RSC from the SC detection circuit 52, and sets the specified scene change position to the specified scene change position. For each scene defined accordingly, the index data X is calculated by dividing the sum of INTER_AD (i) of the picture data belonging to the scene by the sum of IND (i), as shown in the following equation (2).

(数2)
X=(INTER_AD(i)の総和)/(IND(i)の総和)
…(2)
(Equation 2)
X = (sum of INTER_AD (i)) / (sum of IND (i))
... (2)

最適M決定回路53は、上記算出した指標データXが、しきい値TH以下の場合に、M値として「1」を割り当て、それ以外の場合にM値として「2」あるいは「3」を割り当てる。
なお、最適M決定回路53は、上記それ以外の場合に、M値として「2」のみを割り当ててもよい。
本実施形態において、しきい値THは、実験的に決定される。
The optimum M determination circuit 53 assigns “1” as the M value when the calculated index data X is equal to or less than the threshold value TH, and assigns “2” or “3” as the M value in other cases. .
In the other cases, the optimum M determination circuit 53 may assign only “2” as the M value.
In the present embodiment, the threshold value TH is determined experimentally.

[ピクチャタイプ割当回路54]
ピクチャタイプ割当回路54は、SC検出回路52から入力した原ピクチャデータのそれぞれに、I,P,Bのいずれかのピクチャタイプを割り当てる。
このとき、ピクチャタイプ割当回路54は、最適M決定回路53からの入力したM値が「1」を示す場合には、処理対象のシーン内のIピクチャデータ以外の全てのピクチャデータにピクチャタイプPを割り当てる。
また、ピクチャタイプ割当回路54は、最適M決定回路53からの入力したM値が「2」を示す場合には、処理対象のシーン内のIピクチャデータ以外のピクチャデータにピクチャタイプPとBとを交互に割り当てる。
[Picture type assignment circuit 54]
The picture type assignment circuit 54 assigns any one of I, P, and B picture types to the original picture data input from the SC detection circuit 52.
At this time, if the M value input from the optimum M determination circuit 53 indicates “1”, the picture type assignment circuit 54 assigns the picture type P to all the picture data other than the I picture data in the scene to be processed. Assign.
In addition, when the M value input from the optimum M determination circuit 53 indicates “2”, the picture type assignment circuit 54 adds picture types P and B to picture data other than I picture data in the scene to be processed. Are assigned alternately.

以下、符号化装置2においてM値を決定する動作例を説明する。
図5および図6は、符号化装置2においてM値を決定する動作例を説明するためのフローチャートである。
ステップST11:
トライアル動き予測・補償回路51は、A/D変換回路21から入力した各原ピクチャデータ内の各マクロブロックMBについて、上記式(1)に示すように、当該マクロブロックMBの画素データOrg(i,n,x,y)と、それに対応するインター予測画像のマクロブロックMBの画素データinterPred(i,n,x,y)との差分の総和を示す指標データinterAD(i,n)を算出する。
このとき、トライアル動き予測・補償回路51は、M値として「1」を用いる。
Hereinafter, an example of an operation for determining the M value in the encoding device 2 will be described.
FIG. 5 and FIG. 6 are flowcharts for explaining an operation example for determining the M value in the encoding device 2.
Step ST11:
For each macroblock MB in each original picture data input from the A / D conversion circuit 21, the trial motion prediction / compensation circuit 51, as shown in the above equation (1), the pixel data Org (i , N, x, y) and index data interAD (i, n) indicating the sum of the differences between the corresponding pixel data interPred (i, n, x, y) of the macro block MB of the inter predicted image. .
At this time, the trial motion prediction / compensation circuit 51 uses “1” as the M value.

ステップST12:
トライアル動き予測・補償回路51は、A/D変換回路21から入力した各原ピクチャデータ内の各マクロブロックMBについて、当該マクロブロックMBを構成する画素データの平均値を示すMeanOrg(i,n)を算出する。
そして、トライアル動き予測・補償回路51は、各ピクチャデータについて、当該ピクチャデータ内の全てのマクロブロックMBについての上記絶対値和IND(i,n)を算出する。
Step ST12:
The trial motion prediction / compensation circuit 51, for each macroblock MB in each original picture data input from the A / D conversion circuit 21, MeanOrg (i, n) indicating an average value of pixel data constituting the macroblock MB. Is calculated.
Then, the trial motion prediction / compensation circuit 51 calculates the absolute value sum IND (i, n) for all the macroblocks MB in the picture data for each picture data.

ステップST13:
トライアル動き予測・補償回路51は、各ピクチャデータについて、当該ピクチャデータ内の全て(N個)のマクロブロックMBの指標データinterAD(i,n)の総和を示すINTER_AD(i)を算出し、これを最適M決定回路53に出力する。
Step ST13:
For each picture data, the trial motion prediction / compensation circuit 51 calculates INTER_AD (i) indicating the sum of the index data interAD (i, n) of all (N) macroblocks MB in the picture data. Is output to the optimum M determination circuit 53.

ステップST14:
トライアル動き予測・補償回路51は、各ピクチャデータについて、当該ピクチャデータ内の全てのマクロブロックMBの上記絶対値和IND(i,n)の総和を示すIND(i)を算出し、これを最適M決定回路53に出力する。
Step ST14:
The trial motion prediction / compensation circuit 51 calculates, for each picture data, IND (i) indicating the sum of the absolute value sums IND (i, n) of all the macroblocks MB in the picture data, which is optimal. The data is output to the M determination circuit 53.

ステップST15:
SC検出回路52は、トライアル動き予測・補償回路51から入力した指標データinterAD(i,n)を基に、各ピクチャデータについて、シーンチェンジSC直後のピクチャデータであるか否かを判断し、その判断結果RSCを最適M決定回路53に出力する。
Step ST15:
Based on the index data interAD (i, n) input from the trial motion prediction / compensation circuit 51, the SC detection circuit 52 determines whether each picture data is the picture data immediately after the scene change SC. The determination result RSC is output to the optimum M determination circuit 53.

ステップST16:
最適M決定回路53は、図4に示すように、SC検出回路52からの判断結果RSCを基に、複数の一連のピクチャデータのなかからシーンチェンジ位置を特定し、その特定したシーンチェンジ位置に応じて規定される各シーンについて、上記式(3)に示すように、当該シーンに属するピクチャデータのINTER_AD(i)の総和をIND(i)の総和で除算して指標データXを算出する。
Step ST16:
As shown in FIG. 4, the optimum M determination circuit 53 specifies a scene change position from a plurality of series of picture data based on the determination result RSC from the SC detection circuit 52, and sets the specified scene change position to the specified scene change position. For each scene defined accordingly, the index data X is calculated by dividing the sum of INTER_AD (i) of the picture data belonging to the scene by the sum of IND (i), as shown in the above equation (3).

ステップST17:
最適M決定回路53は、ステップST16で上記算出した指標データXが、しきい値TH以下であるか否かを判断し、しきい値TH以下であると判断すると、ステップST18に進み、そうでない場合にステップST19に進む。
Step ST17:
The optimum M determination circuit 53 determines whether or not the index data X calculated in step ST16 is equal to or less than the threshold value TH. If the optimum M determination circuit 53 determines that the index data X is equal to or less than the threshold value TH, the process proceeds to step ST18. If so, the process proceeds to step ST19.

ステップST18:
最適M決定回路53は、M値として「1」を割り当てる。
Step ST18:
The optimum M determination circuit 53 assigns “1” as the M value.

ステップST19:
最適M決定回路53は、M値として「2」あるいは「3」を割り当てる。
Step ST19:
The optimum M determination circuit 53 assigns “2” or “3” as the M value.

以下、図2に示す符号化装置2の全体動作を説明する。
入力となる画像信号は、まず、A/D変換回路21においてデジタルの原ピクチャデータに変換され、画面並べ替え回路23およびトライアル動き予測・補償回路51に出力される。
そして、トライアル動き予測・補償回路51、SC検出回路52および最適M決定回路53において、図5および図6に示した手順でM値が決定される。
次に、ピクチャタイプ割当回路54において、上記決定されたM値に基づいて、ピクチャタイプが割り当てられる。続いて、画面並べ替え回路23において、画像圧縮情報のGOP構造に応じ、ピクチャデータの並べ替えが行われ、それによって得られたピクチャデータが、演算回路31、イントラ予測回路42および動き予測・補償回路43に出力される。
そして、演算回路31において、画面並べ替え回路23からのピクチャデータと、イントラ予測回路42あるいは動き予測・補償回路43からの予測画像データPIとの差分画像が生成され、これが直交変換回路32に出力される。
Hereinafter, the overall operation of the encoding apparatus 2 shown in FIG. 2 will be described.
The input image signal is first converted into digital original picture data by the A / D conversion circuit 21 and output to the screen rearrangement circuit 23 and the trial motion prediction / compensation circuit 51.
Then, in the trial motion prediction / compensation circuit 51, the SC detection circuit 52, and the optimum M determination circuit 53, the M value is determined by the procedure shown in FIGS.
Next, the picture type assignment circuit 54 assigns a picture type based on the determined M value. Subsequently, in the screen rearrangement circuit 23, the picture data is rearranged in accordance with the GOP structure of the image compression information, and the picture data obtained thereby is used as the arithmetic circuit 31, the intra prediction circuit 42, and the motion prediction / compensation. It is output to the circuit 43.
Then, the arithmetic circuit 31 generates a difference image between the picture data from the screen rearrangement circuit 23 and the predicted image data PI from the intra prediction circuit 42 or the motion prediction / compensation circuit 43, and outputs this to the orthogonal transform circuit 32. Is done.

そして、直交変換回路32、量子化回路33、逆量子化回路37および逆直交変換回路38において、上記差分画像が直交変換、量子化、逆量子化および逆直交変換されて加算回路39に出力される。
そして、加算回路39において、イントラ予測回路42あるいは動き予測・補償回路43からの予測画像データPIと、逆直交変換回路38からの差分画像とが再構成され、再構成画像が参照画像データとしてデブロックフィルタ40を介してフレームメモリ41に書き込まれる。
そして、イントラ予測回路42において、イントラ予測が行われ、予測画像データPIが生成される。
また、動き予測・補償回路43において、フレームメモリ41に記憶された参照画像データREFを基に、予測画像データPIが生成される。
そして、イントラ予測回路42および動き予測・補償回路43で生成された予測画像データPIのうち、符号化効率をより高くする予測画像データPIが選択されて演算回路31に出力される。
Then, in the orthogonal transform circuit 32, the quantization circuit 33, the inverse quantization circuit 37, and the inverse orthogonal transform circuit 38, the difference image is subjected to orthogonal transform, quantization, inverse quantization, and inverse orthogonal transform, and is output to the adder circuit 39. The
Then, in the adder circuit 39, the predicted image data PI from the intra prediction circuit 42 or the motion prediction / compensation circuit 43 and the difference image from the inverse orthogonal transform circuit 38 are reconstructed, and the reconstructed image is decoded as reference image data. It is written into the frame memory 41 via the block filter 40.
Then, the intra prediction circuit 42 performs intra prediction and generates predicted image data PI.
Further, the motion prediction / compensation circuit 43 generates predicted image data PI based on the reference image data REF stored in the frame memory 41.
Then, among the predicted image data PI generated by the intra prediction circuit 42 and the motion prediction / compensation circuit 43, predicted image data PI with higher encoding efficiency is selected and output to the arithmetic circuit 31.

以上説明したように、符号化装置2では、符号化対象の動画像データのピクチャデータの特性に応じて最適なM値を決定し、当該M値を基にピクチャタイプ割当回路54においてピクチャデータのピクチャタイプを決定する。
そのため、符号化装置2によれば、ピクチャデータの特定に適合したGOP構造で符号化を行うことができ、従来に比べて符号化効率を高めることができる。
As described above, the encoding device 2 determines an optimum M value according to the characteristics of the picture data of the moving image data to be encoded, and the picture type assignment circuit 54 determines the picture data based on the M value. Determine the picture type.
Therefore, according to the encoding device 2, it is possible to perform encoding with a GOP structure suitable for specifying picture data, and it is possible to increase the encoding efficiency as compared with the conventional case.

<変形例1>
上述した実施形態では、トライアル動き予測・補償回路51において、処理対象の原ピクチャデータのマクロブロックMBと、そのインター予測画像のマクロブロックMBとの間の画素データの差分の総和を示す指標データinterAD(i,n)を用いたが、その代わりに、処理対象のピクチャデータのマクロブロックMBと表示順が一つ前のピクチャデータのマクロブロックMBとの間の画素データの差分の絶対値和を用いてもよい。
また、トライアル動き予測・補償回路51は、上記指標データinterAD(i,n)の代わりに、処理対象のピクチャデータのマクロブロックMBと、そのインター予測画像のマクロブロックMBとの間の画素データの差分をDCTあるいはFFT変換した後のDC成分あるいはAC成分の合計値を用いてもよい。
また、トライアル動き予測・補償回路51は、上記指標データinterAD(i,n)の代わりに、処理対象のマクロブロックMBの動きベクトルの各要素の絶対値和を用いてもよい。
<Modification 1>
In the above-described embodiment, the trial motion prediction / compensation circuit 51 uses the index data interAD indicating the sum of the pixel data differences between the macroblock MB of the original picture data to be processed and the macroblock MB of the inter predicted image. (I, n) is used, but instead, the absolute value sum of the pixel data difference between the macro block MB of the processing target picture data and the macro block MB of the picture data with the previous display order is calculated. It may be used.
Further, the trial motion prediction / compensation circuit 51 replaces the index data interAD (i, n) with pixel data between the macroblock MB of the picture data to be processed and the macroblock MB of the inter predicted image. The total value of the DC component or AC component after DCT or FFT conversion of the difference may be used.
Further, the trial motion prediction / compensation circuit 51 may use the sum of absolute values of each element of the motion vector of the macro block MB to be processed instead of the index data interAD (i, n).

<変形例2>
上述した実施形態では、トライアル動き予測・補償回路51において、上記絶対値和IND(i)を用いたが、その代わりに処理対象の原ピクチャデータ内の各マクロブロックMBの画素データOrg(i,n,x,y)と、上記平均値MeanOrg(i,n)との差分の絶対値和を示す指標データMad(i,n)を用いてもよい。
また、トライアル動き予測・補償回路51は、上記絶対値和IND(i)の代わりに、処理対象のピクチャデータのマクロブロックMBと、そのイントラ予測画像のマクロブロックMBとの間の画素データの差分をDCTあるいはFFT変換した後のDC成分あるいはAC成分の合計値を用いてもよい。
また、トライアル動き予測・補償回路51は、上記絶対値和IND(i)の代わりに、処理対象のマクロブロックMB内の画素データの分散値、あるいは当該マクロブロックMB内の画素データの最大値あるいは最小値の差分を用いてもよい。
<Modification 2>
In the embodiment described above, the trial value motion prediction / compensation circuit 51 uses the absolute value sum IND (i). Instead, the pixel data Org (i, i, i) of each macro block MB in the original picture data to be processed is used. n, x, y) and index data Mad (i, n) indicating the sum of absolute values of the difference between the average value MeanOrg (i, n) may be used.
In addition, the trial motion prediction / compensation circuit 51 uses the pixel data difference between the macroblock MB of the processing target picture data and the macroblock MB of the intra-predicted image instead of the absolute value sum IND (i). The total value of the DC component or AC component after DCT or FFT conversion may be used.
Further, the trial motion prediction / compensation circuit 51 replaces the absolute value sum IND (i) with the variance value of the pixel data in the macroblock MB to be processed, or the maximum value of the pixel data in the macroblock MB or A difference between the minimum values may be used.

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、上述した符号化装置2の機能の全部あるいは一部を、図7に示すように、メモリ252に記憶されたプログラムPRGの記述に従ってCPU(Central Processing Unit)などの処理回路253が実行してもよい。
この場合に、インターフェース251を介して、符号化対象の画像データが入力され、その処理結果が出力される。
The present invention is not limited to the embodiment described above.
That is, those skilled in the art may make various modifications, combinations, subcombinations, and alternatives regarding the components of the above-described embodiments within the technical scope of the present invention or an equivalent scope thereof.
For example, all or part of the functions of the encoding device 2 described above are executed by a processing circuit 253 such as a CPU (Central Processing Unit) according to the description of the program PRG stored in the memory 252 as shown in FIG. Also good.
In this case, the image data to be encoded is input via the interface 251 and the processing result is output.

また、上述した実施形態では、最適M決定回路53において、指標データXに基づいて、M値として「1」あるいは「2」を割り当てたか、「3」以上の値を割り当ててもよい。M値の割り当てに用いるしきい値の数は2以上であってもよい。   In the above-described embodiment, the optimum M determination circuit 53 may assign “1” or “2” as the M value based on the index data X, or assign a value “3” or more. The number of threshold values used for M value assignment may be two or more.

図1は、本発明は、本発明の実施形態の通信システムの構成図である。FIG. 1 is a configuration diagram of a communication system according to an embodiment of the present invention. 図2は、図1に示す符号化装置の機能ブロック図である。FIG. 2 is a functional block diagram of the encoding apparatus shown in FIG. 図3は、図2に示すトライアル動き予測・補償回路51の処理を説明するための図である。FIG. 3 is a diagram for explaining the processing of the trial motion prediction / compensation circuit 51 shown in FIG. 図4は、図2に示すSC検出回路52および最適M決定回路53の処理を説明するための図である。FIG. 4 is a diagram for explaining processing of SC detection circuit 52 and optimum M determination circuit 53 shown in FIG. 図5は、図2に示す符号化装置においてM値を決定する動作例を説明するためのフローチャートである。FIG. 5 is a flowchart for explaining an operation example for determining the M value in the encoding apparatus shown in FIG. 図6は、図2に示す符号化装置においてM値を決定する動作例を説明するための図5の続きのフローチャートである。FIG. 6 is a continuation flowchart of FIG. 5 for describing an operation example of determining the M value in the encoding apparatus shown in FIG. 図7は、図1に示す符号化装置の変形例を説明するための図である。FIG. 7 is a diagram for explaining a modification of the encoding device shown in FIG.

符号の説明Explanation of symbols

1…通信システム、2…符号化装置、3…復号装置、21…A/D変換回路、23…画面並べ替え回路、31…演算回路、32…直交変換回路、33…量子化回路、34…レート制御回路、35…可逆符号化回路、36…バッファメモリ、37…逆量子化回路、38…逆直交変換回路、39…加算回路、40…デブロックフィルタ、41…フレームメモリ、42…イントラ予測回路、43…動き予測・補償回路、51…トライアル動き予測・補償回路、52…SC検出回路、53…最適M決定回路、54…ピクチャタイプ割当回路
DESCRIPTION OF SYMBOLS 1 ... Communication system, 2 ... Encoding apparatus, 3 ... Decoding apparatus, 21 ... A / D conversion circuit, 23 ... Screen rearrangement circuit, 31 ... Operation circuit, 32 ... Orthogonal transformation circuit, 33 ... Quantization circuit, 34 ... Rate control circuit, 35 ... Lossless encoding circuit, 36 ... Buffer memory, 37 ... Inverse quantization circuit, 38 ... Inverse orthogonal transform circuit, 39 ... Adder circuit, 40 ... Deblock filter, 41 ... Frame memory, 42 ... Intra prediction Circuit 43... Motion prediction / compensation circuit 51 .. trial motion prediction / compensation circuit 52. SC detection circuit 53. Optimum M determination circuit 54.

Claims (6)

符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断するシーンチェンジ検出手段と、
前記シーンチェンジ検出手段の判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する相関度検出手段と、
前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する困難度検出手段と、
前記各シーンについて、前記相関度検出手段が検出した前記相関度に比例し、前記困難度検出手段が検出した前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定するM値決定手段と、
前記M値決定手段が決定した前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定するピクチャタイプ決定手段と、
を有する符号化装置。
Scene change detection means for determining whether each of a plurality of picture data constituting moving image data to be encoded is picture data immediately after a scene change;
Based on the judgment result of the scene change detection means, a scene change position is specified from the plurality of picture data, and each scene defined by the scene change position is obtained from the picture data and its reference picture data. The total value for each scene of the difference in pixel value from the predicted image data is detected as the degree of correlation between the picture data and the reference picture data when the plurality of picture data is inter-coded. Correlation degree detection means;
For each scene, the total value of each pixel value difference between the picture data and the predicted image data obtained by intra-picture coding of the picture data is detected as the difficulty level of intra-frame coding of the picture data. A difficulty level detection means to
For each scene, index data that is proportional to the correlation degree detected by the correlation degree detection unit and inversely proportional to the difficulty level detected by the difficulty level detection unit is generated, and the M value decreases as the index data decreases. M value determining means for determining
Picture type determining means for determining a picture type of the picture data based on the M value determined by the M value determining means;
An encoding device.
前記相関検出手段は、前記ピクチャデータと前記参照ピクチャデータから得られる予測画像データとの間の画素値の差分の合計値と、前記差分を直交変換した後のDC成分あるいはAC成分の合計値と、前記ピクチャデータと当該ピクチャデータに対して表示順が一つ前のピクチャデータとの間の画素値の差分の合計値と、前記ピクチャデータの動きベクトルの各要素の絶対値和との何れか一つを前記相関度として検出する
請求項1に記載の符号化装置。
The correlation degree detection means includes a total value of pixel values between the picture data and predicted image data obtained from the reference picture data, and a total value of DC components or AC components after orthogonally transforming the differences. And a sum of pixel value differences between the picture data and the picture data whose display order is the previous one with respect to the picture data, and an absolute value sum of each element of the motion vector of the picture data The encoding device according to claim 1, wherein one of them is detected as the correlation degree.
前記困難度検出手段は、前記ピクチャデータの画素データの画素値と、その平均値との間の第1の差分の合計値と、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の第2の差分の合計値と、前記第2の差分を直交変換した後のDC成分あるいはAC成分の合計値と、前記ピクチャデータの画素値の分散値と、前記画素値の最大値と最小値との差分との何れか一つを前記困難度として検出する
請求項1または2に記載の符号化装置。
The difficulty level detection means includes a pixel value of pixel data of the picture data and a total value of a first difference between the average value and predicted picture data obtained by intra-picture encoding of the picture data and the picture data. A total value of second differences of pixel values between the first and second values, a total value of DC components or AC components after orthogonal transformation of the second difference, a variance value of pixel values of the picture data, and the pixels The encoding device according to claim 1, wherein any one of a difference between a maximum value and a minimum value of the value is detected as the difficulty level.
前記ピクチャタイプ決定手段が決定した前記ピクチャタイプに基づいて、前記ピクチャデータを符号化する符号化手段
をさらに有する請求項1に記載の符号化装置。
The encoding apparatus according to claim 1, further comprising: an encoding unit that encodes the picture data based on the picture type determined by the picture type determination unit.
シーンチェンジ検出手段と、相関度検出手段と、困難度検出手段と、M値決定手段と、ピクチャタイプ決定手段と、を有する符号化装置の符号化方法であって、
前記シーンチェンジ検出手段が、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第1の工程と、
前記相関度検出手段が、前記第1の工程における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第2の工程と、
前記困難度検出手段が、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第3の工程と、
前記M値決定手段が、前記各シーンについて、前記第2の工程において検出された前記相関度に比例し、前記第3の工程において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定する第4の工程と、
前記ピクチャタイプ決定手段が、前記第4の工程において決定された前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定する第5の工程と、
を有する符号化方法。
An encoding method for an encoding device, comprising: a scene change detection unit, a correlation detection unit, a difficulty detection unit, an M value determination unit, and a picture type determination unit,
A first step in which the scene change detection means determines whether or not each of a plurality of picture data constituting moving image data to be encoded is picture data immediately after a scene change;
The correlation degree detection unit specifies a scene change position from the plurality of picture data based on the determination result in the first step, and for each scene defined by the scene change position, the picture data and When the plurality of picture data are inter-coded, the total value for each scene of the pixel value difference between the predicted picture data obtained from the reference picture data and the reference picture data A second step of detecting as a degree of correlation with
The difficulty level detection means, for each scene, calculates a total value for each scene of a difference in pixel values between the picture data and predicted image data obtained by intra-picture encoding of the picture data in the frame of the picture data. A third step of detecting as the difficulty of encoding;
The M value determining means generates index data proportional to the degree of correlation detected in the second step and inversely proportional to the degree of difficulty detected in the third step for each scene; A fourth step of determining a smaller M value as the index data becomes smaller;
A fifth step in which the picture type determining means determines a picture type of the picture data based on the M value determined in the fourth step ;
An encoding method comprising:
動画像データの符号化を行う符号化装置が含むコンピュータに実行させるプログラムであって、
符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第1の手順と、
前記第1の手順における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第2の手順と、
前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第3の手順と、
前記各シーンについて、前記第2の手順において検出された前記相関度に比例し、前記第3の手順において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいM値を決定する第4の手順と、
前記第4の手順において決定された前記M値に基づいて、前記ピクチャデータのピクチャタイプを決定する第5の手順と、
を前記コンピュータに実行させるプログラム。
A program to be executed by a computer included in an encoding device that encodes moving image data ,
A first procedure for determining whether each of a plurality of picture data constituting moving image data to be encoded is picture data immediately after a scene change;
Based on the determination result in the first procedure, a scene change position is specified from the plurality of picture data, and each scene defined by the scene change position is obtained from the picture data and its reference picture data. the total value for each of the scenes of the difference in pixel values between the predicted image data, in a case where the plurality of picture data are inter-coded is detected as the degree of correlation and the picture data, and the reference picture data A second procedure ;
For each scene, the total value of each pixel value difference between the picture data and the predicted image data obtained by intra-picture coding of the picture data is detected as the difficulty level of intra-frame coding of the picture data. A third procedure to
For each scene, index data that is proportional to the degree of correlation detected in the second procedure and inversely proportional to the degree of difficulty detected in the third procedure is generated, and decreases as the index data decreases. A fourth procedure for determining the M value;
A fifth procedure for determining a picture type of the picture data based on the M value determined in the fourth procedure ;
A program for causing the computer to execute.
JP2005200701A 2005-07-08 2005-07-08 Encoding apparatus, encoding method and program thereof Expired - Fee Related JP4655791B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005200701A JP4655791B2 (en) 2005-07-08 2005-07-08 Encoding apparatus, encoding method and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005200701A JP4655791B2 (en) 2005-07-08 2005-07-08 Encoding apparatus, encoding method and program thereof

Publications (2)

Publication Number Publication Date
JP2007019994A JP2007019994A (en) 2007-01-25
JP4655791B2 true JP4655791B2 (en) 2011-03-23

Family

ID=37756730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005200701A Expired - Fee Related JP4655791B2 (en) 2005-07-08 2005-07-08 Encoding apparatus, encoding method and program thereof

Country Status (1)

Country Link
JP (1) JP4655791B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4748603B2 (en) * 2007-02-28 2011-08-17 株式会社Kddi研究所 Video encoding device
JP2008263529A (en) 2007-04-13 2008-10-30 Sony Corp Coder, coding method, program of coding method and recording medium with program of coding method recorded thereon

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265747A (en) * 1995-03-20 1996-10-11 Matsushita Electric Ind Co Ltd Picture encoding method, picture encoding device and optical disk
JP2002369032A (en) * 2001-06-08 2002-12-20 Mitsubishi Electric Corp Frame synchronizer
JP2005094458A (en) * 2003-09-18 2005-04-07 Nec Corp Device and method for encoding moving image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265747A (en) * 1995-03-20 1996-10-11 Matsushita Electric Ind Co Ltd Picture encoding method, picture encoding device and optical disk
JP2002369032A (en) * 2001-06-08 2002-12-20 Mitsubishi Electric Corp Frame synchronizer
JP2005094458A (en) * 2003-09-18 2005-04-07 Nec Corp Device and method for encoding moving image

Also Published As

Publication number Publication date
JP2007019994A (en) 2007-01-25

Similar Documents

Publication Publication Date Title
JP5269593B2 (en) Encoding device, encoding method, decoding device, decoding method, and program thereof
JP4449915B2 (en) Encoding apparatus, encoding method and program, and recording medium
US10499083B2 (en) Image decoding apparatus, image encoding apparatus, and method and program for image decoding and encoding
JP2006148970A (en) Image data coding method and computer readable medium recording program therefor
JP2006005438A (en) Image processor and method thereof
JP2004140473A (en) Image information coding apparatus, decoding apparatus and method for coding image information, method for decoding
JP4804107B2 (en) Image encoding apparatus, image encoding method and program thereof
JP2004304724A (en) Image processing apparatus, its method and encoder
JP4360093B2 (en) Image processing apparatus and encoding apparatus and methods thereof
JP2005184233A (en) Data processing device and method therefor, and coding equipment
JP4561508B2 (en) Image processing apparatus, image processing method and program thereof
JP2008219205A (en) Picture information encoder and picture information encoding method
JP4747494B2 (en) Data processing apparatus and method and encoding apparatus
KR20130088119A (en) Encoding device, encoding method, decoding device, and decoding method
JP2010119153A (en) Encoding method, encoder, program for them, and recording medium
JP2005223631A (en) Data processor and processing method, encoder and decoder
JP4655791B2 (en) Encoding apparatus, encoding method and program thereof
US20060146183A1 (en) Image processing apparatus, encoding device, and methods of same
CN113225558B (en) Smoothing orientation and DC intra prediction
JP2005532716A (en) Video encoding apparatus and method
JP2006025033A (en) Device and method for image processing
JP2002344973A (en) Method for converting size of image coding data, transmission method for image coding data and image coding data size converter
JP4517963B2 (en) Encoding apparatus, encoding method, program, and recording medium
JPH10164594A (en) Compression encoding method for moving image and device therefor
JP2005176259A (en) Data processor and method therefor and encoding unit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees