JP5880737B2 - Video encoding device - Google Patents

Video encoding device Download PDF

Info

Publication number
JP5880737B2
JP5880737B2 JP2014557244A JP2014557244A JP5880737B2 JP 5880737 B2 JP5880737 B2 JP 5880737B2 JP 2014557244 A JP2014557244 A JP 2014557244A JP 2014557244 A JP2014557244 A JP 2014557244A JP 5880737 B2 JP5880737 B2 JP 5880737B2
Authority
JP
Japan
Prior art keywords
picture
previous
referenceable
flash
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014557244A
Other languages
Japanese (ja)
Other versions
JPWO2014112076A1 (en
Inventor
啓介 篠沢
啓介 篠沢
弘徳 遠藤
弘徳 遠藤
哲司 名幸
哲司 名幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Electronics Corp
Original Assignee
NTT Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Electronics Corp filed Critical NTT Electronics Corp
Application granted granted Critical
Publication of JP5880737B2 publication Critical patent/JP5880737B2/en
Publication of JPWO2014112076A1 publication Critical patent/JPWO2014112076A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、フレーム間予測を用いた符号化を行う動画像符号化装置に関し、特にフラッシュ直後の画像の乱れを防ぐことができる動画像符号化装置に関する。   The present invention relates to a moving picture coding apparatus that performs coding using inter-frame prediction, and more particularly to a moving picture coding apparatus that can prevent image disturbance immediately after flashing.

動画像の圧縮においてフレーム間予測が用いられる。しかし、フラッシュ画像はそれに隣接する画像との類似度が低いため、フレーム間予測においてフラッシュ画像を参照フレームとするのは不適切な場合が多い。そこで、フラッシュの前のフレームをフラッシュ後のフレームの参照フレームとすることが提案されている（例えば、特許文献１参照）。   Inter-frame prediction is used in moving picture compression. However, since a flash image has a low degree of similarity with an image adjacent thereto, it is often inappropriate to use the flash image as a reference frame in inter-frame prediction. Therefore, it has been proposed to use the frame before the flash as the reference frame of the frame after the flash (see, for example, Patent Document 1).

特開２００７−１６６４０８号公報JP 2007-166408 A

従来技術では、輝度値の累積値のフレーム間差分値と第１方向／第１方向のラインの画素ごとの差分の２つを用いて、フラッシュ画像を検出する。しかし、第１方向／第１方向のラインの画素ごとの差分は動きに敏感すぎるため、前のフレームから１画素動くだけで差分が大きくなり、誤検出が多くなる。また、輝度値の累積値のフレーム間差分値のみを用いた場合でも、誤検出が多くなる。これにより、フラッシュ直後の画像が乱れるという問題があった。   In the prior art, a flash image is detected by using two of the inter-frame difference value of the accumulated luminance value and the difference for each pixel of the line in the first direction / first direction. However, since the difference for each pixel of the line in the first direction / first direction is too sensitive to movement, the difference increases only by moving one pixel from the previous frame, and false detection increases. Even when only the inter-frame difference value of the accumulated luminance value is used, erroneous detection increases. As a result, there is a problem that the image immediately after the flash is disturbed.

本発明は、上述のような課題を解決するためになされたもので、その目的はフラッシュ直後の画像の乱れを防ぐことができる動画像符号化装置を得るものである。   The present invention has been made to solve the above-described problems, and an object of the present invention is to obtain a moving picture encoding apparatus capable of preventing image disturbance immediately after flashing.

本発明は、フレーム間予測を用いた符号化を行う動画像符号化装置であって、符号化対象フレームと予測フレームとの差分値を符号化する符号化部と、符号化対象フレームのカレントピクチャ、その１つ前及び２つ前の参照可能ピクチャについてそれぞれシーンチェンジの有無を検出するシーンチェンジ検出部と、前記カレントピクチャと前記１つ前の参照可能ピクチャとの間で対応するブロックの輝度の累算値ごとの差を１ピクチャ分累算したものをＸとして算出する輝度ブロック累算部と、前記１つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ１とし、前記２つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ２とし、前記カレントピクチャの３つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ３として、互いの差を算出する輝度累算部と、第１の閾値をＸｔｈとし、第２の閾値をＹｔｈとして、（１）前記カレントピクチャと前記１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ２｜≧Ｙｔｈの場合、前記１つ前の参照可能ピクチャをフラッシュ画像と判定し、（２）前記１つ前の参照可能ピクチャと前記２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ２−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定し、（３）前記カレントピクチャと前記１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定し、（４）前記カレントピクチャと前記２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定するフラッシュ判定部と、前記１つ前の参照可能ピクチャがフラッシュ画像と判定されなかった場合に前記１つ前の参照可能ピクチャを参照して前記予測フレームを算出し、前記１つ前の参照可能ピクチャがフラッシュ画像と判定された場合に前記２つ前の参照可能ピクチャを参照して前記予測フレームを算出し、前記１つ前及び２つ前の参照可能ピクチャがフラッシュ画像と判定された場合に前記３つ前の参照可能ピクチャを参照して前記予測フレームを算出する予測フレーム算出部とを備えることを特徴とする。なお、ここでブロックのサイズは任意と考えてよい。ブロックのサイズが大きいほど動きに対する差分値の増減が緩やかになる。
The present invention is a moving image encoding apparatus that performs encoding using inter-frame prediction, and includes an encoding unit that encodes a difference value between an encoding target frame and a prediction frame, and a current picture of the encoding target frame , A scene change detection unit for detecting the presence or absence of a scene change for each of the previous and second previous referenceable pictures, and the luminance of a block corresponding between the current picture and the previous referenceable picture A luminance block accumulating unit that calculates X as the difference of each accumulated value accumulated by one picture, and the difference between the accumulated luminance values of the previous referenceable picture and the current picture as Y1 the two previous referenceable picture and the difference of the accumulated value between the luminance of the current picture and Y2, the three previous referenceable picture and before the current picture The difference between the accumulated luminance values of the current picture is Y3, the luminance accumulation unit for calculating the difference between them, the first threshold value is Xth, the second threshold value is Yth, and (1) the current picture and When a scene change is detected in the previous referenceable picture, and | X | ≧ Xth and | Y1-Y2 | ≧ Yth, the previous referenceable picture is determined as a flash image, and (2) When a scene change is detected in the previous referenceable picture and the previous referenceable picture, and | X | ≧ Xth and | Y2-Y3 | ≧ Yth, the previous and second previous reference is possible It is determined that the picture is a flash image. (3) When a scene change is detected in the current picture and the previous referenceable picture, and | X | ≧ Xth and | Y1-Y3 | ≧ Yth, The previous and second previous referenceable pictures are determined as flash images, and (4) a scene change is detected in the current picture and the second previous referenceable picture, and | X | ≧ Xth and | Y1-Y3 | ≧ In the case of Yth, a flash determination unit that determines the previous and the second previous referenceable picture as a flash image, and the previous determination when the previous referenceable picture is not determined as a flash image. Calculating the prediction frame with reference to a referenceable picture, and calculating the prediction frame with reference to the previous referenceable picture when the previous referenceable picture is determined to be a flash image; When the previous and second previous reference pictures are determined to be flash images, the prediction frame is calculated with reference to the third previous reference picture And a prediction frame calculation unit. Here, the block size may be considered arbitrary. The larger the block size, the more moderate the increase / decrease of the difference value with respect to the motion.

本発明により、フラッシュ直後の画像の乱れを防ぐことができる。   According to the present invention, it is possible to prevent image disturbance immediately after flashing.

本発明の実施の形態に係る動画像符号化装置を示すブロック図である。It is a block diagram which shows the moving image encoder which concerns on embodiment of this invention. フラッシュ画像とシーンチェンジの関係を示す図である。It is a figure which shows the relationship between a flash image and a scene change. 輝度ブロック累算部の算出方法を示す図である。It is a figure which shows the calculation method of a brightness | luminance block accumulation part. 輝度累算部の算出方法を示す図である。It is a figure which shows the calculation method of a brightness | luminance accumulation part. 予測フレームを算出する際に参照するピクチャの選択例を示す図である。It is a figure which shows the example of selection of the picture referred when calculating a prediction frame. 予測フレームを算出する際に参照するピクチャの選択例を示す図である。It is a figure which shows the example of selection of the picture referred when calculating a prediction frame.

本発明の実施の形態に係る動画像符号化装置について図面を参照して説明する。図１は、本発明の実施の形態に係る動画像符号化装置を示すブロック図である。この動画像符号化装置はフレーム間予測を用いた符号化を行う。   A video encoding apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a moving picture coding apparatus according to an embodiment of the present invention. This moving image encoding apparatus performs encoding using inter-frame prediction.

入力動画像信号は、同じ信号を繰り返し複数回再生可能なディジタルＶＴＲやＤＶＤシステムのようなビデオ記録再生機器によって再生される動画像信号（映像信号）である。入力動画像信号の符号化対象フレームにはＩピクチャ、Ｐピクチャ及びＢピクチャの３種類の画像タイプがある。   The input moving image signal is a moving image signal (video signal) reproduced by a video recording / reproducing apparatus such as a digital VTR or a DVD system capable of repeatedly reproducing the same signal a plurality of times. There are three types of image types of I picture, P picture and B picture in the encoding target frame of the input video signal.

Ｉピクチャは、自分のピクチャ情報のみで符号化を行うピクチャであり、最も綺麗だが、最も符号量を多く必要とする。Ｐピクチャは、自分のピクチャ情報のみの符号化と自分より過去のピクチャを参照して符号化を行うピクチャであり、Ｂピクチャより綺麗だが、Ｂピクチャより符号量が多い。Ｂピクチャは、自分より過去・未来のピクチャを参照して符号化を行うピクチャであり、３ピクチャ中最も符号量を少なくできる。また、一般的には、ＩピクチャとＰピクチャは他のピクチャを符号化する際に参照できる参照可能ピクチャであるが、Ｂピクチャは参照不可ピクチャである。   An I picture is a picture that is encoded only with its own picture information, and is the most beautiful but requires the most code amount. A P picture is a picture that is encoded only with its own picture information and is encoded with reference to a picture earlier than itself, and is more beautiful than a B picture, but has a larger amount of code than a B picture. A B picture is a picture that is encoded with reference to a past / future picture from itself, and the amount of code can be reduced most among three pictures. In general, an I picture and a P picture are referenceable pictures that can be referred to when other pictures are encoded, while a B picture is a non-referenceable picture.

ビデオインターフェース１は入力動画像信号を入力し、符号化対象フレームを出力する。減算器２は、符号化対象フレームと予測フレームとの差を算出する。離散コサイン変換器３は、減算器２の出力を一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）する。量子化部４は、離散コサイン変換により得られたＤＣＴ係数データを量子化する。   The video interface 1 inputs an input moving image signal and outputs an encoding target frame. The subtracter 2 calculates the difference between the encoding target frame and the predicted frame. The discrete cosine transformer 3 performs a discrete cosine transform (DCT) on the output of the subtracter 2 in units of a fixed block. The quantization unit 4 quantizes the DCT coefficient data obtained by the discrete cosine transform.

逆量子化部５は、量子化されたＤＣＴ係数データを逆量子化する。逆離散コサイン変換器６は、逆量子化されたＤＣＴ係数データを逆離散コサイン変換（逆ＤＣＴ）する。加算器７は、逆離散コサイン変換器６の出力と予測フレームを加算し、その加算結果を参照可能ピクチャとしてビデオメモリ８に記憶させる。   The inverse quantization unit 5 inversely quantizes the quantized DCT coefficient data. The inverse discrete cosine transformer 6 performs inverse discrete cosine transform (inverse DCT) on the inversely quantized DCT coefficient data. The adder 7 adds the output of the inverse discrete cosine transformer 6 and the prediction frame, and stores the addition result in the video memory 8 as a referenceable picture.

動き補償予測部９は符号化対象フレームがＩピクチャの場合は動きベクトル検出を行わず、予測フレームとして０を出力し、符号化対象フレームがＰピクチャ又はＢピクチャの場合は、符号化対象フレームからマクロブロック毎に動きベクトルを検出し、予測フレームを生成する。   The motion compensation prediction unit 9 does not perform motion vector detection when the encoding target frame is an I picture, and outputs 0 as a prediction frame. When the encoding target frame is a P picture or a B picture, the motion compensation prediction unit 9 starts from the encoding target frame. A motion vector is detected for each macroblock, and a prediction frame is generated.

動きベクトルの検出は、符号化対象フレームとビデオメモリ８に記憶されている参照可能ピクチャとの間でマクロブロック単位で行われる。具体的には、符号化対象フレームのマクロブロックに対して参照可能ピクチャの最も相関の高いマクロブロックを検出することにより、符号化対象フレームのマクロブロックが参照可能ピクチャのどのマクロブロックから動いたものかを示す情報が動きベクトルとして検出される。動き補償予測部９は、この動きベクトルを用いて参照可能ピクチャに対して動き補償を行って予測フレームを算出する。   The motion vector is detected in units of macroblocks between the encoding target frame and the referenceable picture stored in the video memory 8. Specifically, by detecting the macroblock having the highest correlation of the referenceable picture with respect to the macroblock of the encoding target frame, the macroblock of the encoding target frame has moved from which macroblock of the referenceable picture. Is detected as a motion vector. The motion compensation prediction unit 9 performs motion compensation on the referenceable picture using this motion vector to calculate a prediction frame.

動き補償予測部９からは動き補償予測の予測モードと動きベクトルを示す予測モード／動きベクトル情報も出力される。エントロピー符号化部１０は、量子化されたＤＣＴ係数データと予測モード／動きベクトル情報をそれぞれ符号化する。このようにしてエントロピー符号化部１０は、符号化対象フレームと予測フレームとの差分値を符号化する。   The motion compensation prediction unit 9 also outputs a prediction mode of motion compensation prediction and prediction mode / motion vector information indicating a motion vector. The entropy encoding unit 10 encodes the quantized DCT coefficient data and the prediction mode / motion vector information. In this way, the entropy encoding unit 10 encodes the difference value between the encoding target frame and the prediction frame.

ヘッダ／シンタクス付加部１１は、符号化結果にシンタクス情報を付加する。予測フレームとする画像には、シンタクス情報としてｒｅｆ−ｉｄｘという番号を割り当てる。現在処理しているカレントピクチャに時間的に近い順にｒｅｆ−ｉｄｘを０から順に振っていく。   The header / syntax adding unit 11 adds syntax information to the encoded result. A number ref-idx is assigned as syntax information to an image to be a predicted frame. Ref-idx is assigned in order from 0 in order of time closest to the current picture being processed.

シーンチェンジ検出部１２は、符号化対象フレームのカレントピクチャ、１つ前及び２つ前の参照可能ピクチャについてそれぞれシーンチェンジ（ＳＣ）の有無を検出する。図２はフラッシュ画像とシーンチェンジの関係を示す図である。１ピクチャ前のみ全面がフラッシュ画像である場合、カレントピクチャと１つ前の参照可能ピクチャでシーンチェンジが検出される（パターン１）。２ピクチャ前の全面がフラッシュ画像であり、１ピクチャ前の画面の１／３がフラッシュ画像（画面の１／３が白くなっている）である場合、１つ前の参照可能ピクチャと２つ前の参照可能ピクチャでシーンチェンジが検出される（パターン２）。２ピクチャ前の画面の１／３がフラッシュ画像であり、１ピクチャ前の全面がフラッシュ画像である場合、カレントピクチャと１つ前の参照可能ピクチャでシーンチェンジが検出される（パターン３）。２ピクチャ前の全面がフラッシュ画像であり、１ピクチャ前の画面の２／３がフラッシュ画像（画面の２／３が白くなっている）である場合、カレントピクチャと２つ前の参照可能ピクチャでシーンチェンジが検出される（パターン４）。２ピクチャ前の画面の２／３がフラッシュ画像であり、１ピクチャ前の全面がフラッシュ画像である場合、カレントピクチャと２つ前の参照可能ピクチャでシーンチェンジが検出される（パターン５）。   The scene change detection unit 12 detects the presence / absence of a scene change (SC) for each of the current picture of the encoding target frame, the previous one, and the second previous referenceable picture. FIG. 2 is a diagram showing the relationship between a flash image and a scene change. When the entire surface is a flash image only one picture before, a scene change is detected between the current picture and the previous referenceable picture (pattern 1). When the entire front surface of 2 pictures is a flash image, and 1/3 of the screen before 1 picture is a flash image (1/3 of the screen is white), the previous referenceable picture and the previous 2 pictures A scene change is detected in the referenceable picture (pattern 2). If 1/3 of the screen two pictures before is a flash image and the entire picture one picture before is a flash image, a scene change is detected between the current picture and the previous referenceable picture (pattern 3). If the entire front surface of two pictures is a flash image and 2/3 of the screen before the one picture is a flash image (2/3 of the screen is white), the current picture and the previous referenceable picture A scene change is detected (pattern 4). If 2/3 of the screen two pictures before is a flash image and the entire face before one picture is a flash image, a scene change is detected between the current picture and the two previous referenceable pictures (pattern 5).

図３は輝度ブロック累算部の算出方法を示す図である。輝度ブロック累算部１３は、カレントピクチャと１つ前の参照可能ピクチャとの間で対応するブロックの輝度の累算値ごとの差を１ピクチャ分累算したものをＸとして算出する。なお、ブロックは、ここでは１６画素ｘ１６画素のマクロブロックであるが、これに限らず４画素ｘ４画素、８画素ｘ８画素、１６画素ｘ３２画素等のブロックでもよい。   FIG. 3 is a diagram illustrating a calculation method of the luminance block accumulation unit. The luminance block accumulating unit 13 calculates, as X, a value obtained by accumulating the difference for each accumulated value of luminance of the corresponding block between the current picture and the previous referenceable picture for one picture. The block is a macroblock of 16 pixels × 16 pixels here, but is not limited thereto, and may be a block of 4 pixels × 4 pixels, 8 pixels × 8 pixels, 16 pixels × 32 pixels, or the like.

図４は輝度累算部の算出方法を示す図である。輝度累算部１４は、１つ前の参照可能ピクチャとカレントピクチャの輝度の累算値同士の差分をＹ１とし、２つ前の参照可能ピクチャとカレントピクチャの輝度の累算値同士の差分をＹ２とし、３つ前の参照可能ピクチャとカレントピクチャの輝度の累算値同士の差分をＹ３として、互いの差を算出する。   FIG. 4 is a diagram illustrating a calculation method of the luminance accumulation unit. The luminance accumulation unit 14 sets Y1 as the difference between the accumulated luminance values of the previous referenceable picture and the current picture, and determines the difference between the accumulated luminance values of the previous referenceable picture and the current picture. Y2 is set as Y2, and the difference between the accumulated values of the luminance of the three previous referenceable pictures and the current picture is set as Y3, and the difference between them is calculated.

フラッシュ判定部１５は、第１の閾値をＸｔｈとし、第２の閾値をＹｔｈとして、以下のようにフラッシュ画像を判定する。
（１）カレントピクチャと１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ２｜≧Ｙｔｈの場合、１つ前の参照可能ピクチャをフラッシュ画像と判定する（図２のパターン１に該当）。
（２）１つ前の参照可能ピクチャと２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ２−Ｙ３｜≧Ｙｔｈの場合、１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定する（図２のパターン２に該当）。
（３）カレントピクチャと１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定する（図２のパターン３に該当）。
（４）カレントピクチャと２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定する（図２のパターン４，５に該当）。The flash determination unit 15 determines the flash image as follows by setting the first threshold value to Xth and the second threshold value to Yth.
(1) When a scene change is detected in the current picture and the previous referenceable picture, and | X | ≧ Xth and | Y1-Y2 | ≧ Yth, the previous referenceable picture is determined as a flash image ( Corresponds to pattern 1 in FIG.
(2) When a scene change is detected in the previous referenceable picture and the previous referenceable picture, and | X | ≧ Xth and | Y2-Y3 | ≧ Yth, the previous and second previous references A possible picture is determined as a flash image (corresponding to pattern 2 in FIG. 2).
(3) When a scene change is detected between the current picture and the previous referenceable picture, and | X | ≧ Xth and | Y1-Y3 | ≧ Yth, the previous and second previous referenceable pictures are flash images. (Corresponding to pattern 3 in FIG. 2).
(4) When a scene change is detected between the current picture and the previous referenceable picture, and | X | ≧ Xth and | Y1-Y3 | ≧ Yth, the previous and second previous referenceable pictures are flash images. (Corresponding to patterns 4 and 5 in FIG. 2).

そして、フラッシュ判定部１５は、フラッシュ画像を検出すると、フラッシュ画像の直前のフレームに予測フレームを変更するように指示する。この指示を受けた動き補償予測部９は、１つ前の参照可能ピクチャがフラッシュ画像と判定されなかった場合に１つ前の参照可能ピクチャを参照して予測フレームを算出し、１つ前の参照可能ピクチャがフラッシュ画像と判定された場合に２つ前の参照可能ピクチャを参照して予測フレームを算出し、１つ前及び２つ前の参照可能ピクチャがフラッシュ画像と判定された場合に３つ前の参照可能ピクチャを参照して予測フレームを算出する。   Then, when the flash determination unit 15 detects the flash image, the flash determination unit 15 instructs to change the predicted frame to the frame immediately before the flash image. Upon receiving this instruction, the motion compensated prediction unit 9 calculates a prediction frame by referring to the previous referenceable picture when the previous referenceable picture is not determined to be a flash image, and calculates the previous frame. When the referenceable picture is determined to be a flash image, a prediction frame is calculated with reference to the previous referenceable picture, and when the previous and second previous referenceable pictures are determined to be flash images, 3 is calculated. A prediction frame is calculated with reference to the previous referenceable picture.

図５及び図６は、予測フレームを算出する際に参照するピクチャの選択例を示す図である。図５は参照可能ピクチャ（Ｉ又はＰピクチャ）までの間隔Ｍが１の場合である。１ピクチャフラッシュの場合には１つ前のピクチャを参照し、２ピクチャフラッシュの場合には２つ前のピクチャを参照して、フラッシュ画像を参照しないようにする。   5 and 6 are diagrams illustrating examples of selecting a picture to be referred to when a predicted frame is calculated. FIG. 5 shows a case where the interval M to the referenceable picture (I or P picture) is 1. In the case of 1 picture flash, the previous picture is referred to, and in the case of 2 picture flash, the previous picture is referred to so that the flash image is not referred to.

図６はＭが３、次のＩピクチャまでの間隔Ｎが１５であり、４番のＰピクチャがフラッシュ画像の場合である。７番のＰピクチャを符号化する際には４番のＰピクチャを参照せず、１番のＩピクチャを参照する。   FIG. 6 shows a case where M is 3, the interval N to the next I picture is 15, and the fourth P picture is a flash image. When the 7th P picture is encoded, the 1st I picture is referred to without referring to the 4th P picture.

もしＩピクチャがフラッシュ画像だった場合、その直後のピクチャをＰピクチャに変更して符号化を行う。それ以降はその変更に合わせたＧＯＰ構成で符号化を行う。なお、直後のピクチャをＩピクチャにしてもよいが、符号が大量に発生してしまう。また、Ｂピクチャがフラッシュ画像だった場合、そもそもＢピクチャは参照されないので、通常通り符号化を行う。   If the I picture is a flash image, encoding is performed by changing the picture immediately after that to a P picture. After that, encoding is performed with a GOP configuration adapted to the change. Although the immediately following picture may be an I picture, a large amount of codes are generated. If the B picture is a flash image, the B picture is not referred to in the first place, so that encoding is performed as usual.

また、参照する画像のｒｅｆ−ｉｄｘが小さいほど符号量が軽減されるため、参照しないフラッシュ画像に一番符号量が有利になる番号ｒｅｆ−ｉｄｘ＝０を割り当てるのはもったいない。そこで、フラッシュ判定部１５は、フラッシュ画像を検出すると、フラッシュ画像の直前のフレームのｒｅｆ−ｉｄｘを０に変更するようにヘッダ／シンタクス付加部１１に指示する。   In addition, since the code amount is reduced as the ref-idx of the reference image is smaller, it is a waste to assign a number ref-idx = 0 that makes the code amount the most advantageous to a flash image that is not referred to. Therefore, when the flash determination unit 15 detects the flash image, the flash determination unit 15 instructs the header / syntax adding unit 11 to change ref-idx of the frame immediately before the flash image to 0.

本実施の形態において、輝度ブロック累算部１３の算出結果Ｘは、１画素ごとに輝度の差を累積したものよりもピクチャの動きに対して反応（差分値の増減）が緩やかになる。輝度累算部１４が算出するＹ１，Ｙ２，Ｙ３の互いの差は、輝度ブロック累算部１３の算出結果Ｘよりも更にピクチャの動きに対して反応（差分値の増減）が緩やかになる。従って、これらの算出結果に基づいてシーンチェンジの算出パターンごとにフラッシュ画像を判定するため、フラッシュ画像の誤検出が少なくなる。また、２つのフレームにわたってフラッシュが発生する２ピクチャフラッシュにも対応できる。このため、フラッシュ直後の画像の乱れを防ぐことができる。   In the present embodiment, the calculation result X of the luminance block accumulating unit 13 is more responsive to the motion of the picture (increase / decrease in the difference value) than the result of accumulating the luminance difference for each pixel. The difference between Y1, Y2, and Y3 calculated by the luminance accumulation unit 14 is more responsive to the motion of the picture (increase / decrease in the difference value) than the calculation result X of the luminance block accumulation unit 13. Accordingly, since the flash image is determined for each scene change calculation pattern based on these calculation results, erroneous detection of the flash image is reduced. Further, it is possible to cope with a two-picture flash in which a flash is generated over two frames. For this reason, the disturbance of the image immediately after the flash can be prevented.

９ 動き補償予測部（予測フレーム算出部）、１０ エントロピー符号化部（符号化部）、１２ シーンチェンジ検出部、１３ 輝度ブロック累算部、１４ 輝度累算部、１５ フラッシュ判定部 9 motion compensation prediction unit (prediction frame calculation unit) 10 entropy encoding unit (encoding unit) 12 scene change detection unit 13 luminance block accumulation unit 14 luminance accumulation unit 15 flash determination unit

Claims (1)

フレーム間予測を用いた符号化を行う動画像符号化装置であって、
符号化対象フレームと予測フレームとの差分値を符号化する符号化部と、
前記符号化対象フレームのカレントピクチャ、その１つ前及び２つ前の参照可能ピクチャについてそれぞれシーンチェンジの有無を検出するシーンチェンジ検出部と、
前記カレントピクチャと前記１つ前の参照可能ピクチャとの間で対応するブロックの輝度の累算値ごとの差を１ピクチャ分累算したものをＸとして算出する輝度ブロック累算部と、
前記１つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ１とし、前記２つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ２とし、前記カレントピクチャの３つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ３として、互いの差を算出する輝度累算部と、
第１の閾値をＸｔｈとし、第２の閾値をＹｔｈとして、（１）前記カレントピクチャと前記１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ２｜≧Ｙｔｈの場合、前記１つ前の参照可能ピクチャをフラッシュ画像と判定し、（２）前記１つ前の参照可能ピクチャと前記２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ２−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定し、（３）前記カレントピクチャと前記１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定し、（４）前記カレントピクチャと前記２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定するフラッシュ判定部と、
前記１つ前の参照可能ピクチャがフラッシュ画像と判定されなかった場合に前記１つ前の参照可能ピクチャを参照して前記予測フレームを算出し、前記１つ前の参照可能ピクチャがフラッシュ画像と判定された場合に前記２つ前の参照可能ピクチャを参照して前記予測フレームを算出し、前記１つ前及び２つ前の参照可能ピクチャがフラッシュ画像と判定された場合に前記３つ前の参照可能ピクチャを参照して前記予測フレームを算出する予測フレーム算出部とを備えることを特徴とする動画像符号化装置。 A video encoding device that performs encoding using inter-frame prediction,
An encoding unit that encodes a difference value between the encoding target frame and the prediction frame;
A scene change detection unit for detecting the presence or absence of a scene change for the current picture of the encoding target frame, the previous and second referenceable pictures,
A luminance block accumulating unit that calculates, as X, a difference obtained by accumulating the luminance value of the corresponding block between the current picture and the previous referenceable picture for one picture;
The difference between the accumulated luminance values of the previous referenceable picture and the current picture is Y1, and the difference between the accumulated luminance values of the previous referenceable picture and the current picture is Y2. the difference of the accumulated value between the luminance of the three previous referenceable pictures and the current picture of the current picture as Y3, and the luminance accumulation section for calculating a difference between each other,
When the first threshold value is Xth and the second threshold value is Yth, (1) a scene change is detected in the current picture and the previous referenceable picture, and | X | ≧ Xth and | Y1-Y2 | ≧ In the case of Yth, the previous referenceable picture is determined as a flash image, and (2) a scene change is detected in the previous referenceable picture and the second previous referenceable picture, and | X | ≧ If Xth and | Y2-Y3 | ≧ Yth, the previous and second previous referenceable pictures are determined to be flash images, and (3) a scene change occurs between the current picture and the previous previous referenceable picture. If | X | ≧ Xth and | Y1-Y3 | ≧ Yth, the previous and second previous referenceable pictures are determined to be flash images, and (4) the current picture and the previous When a scene change is detected in the previous referenceable picture, and | X | ≧ Xth and | Y1-Y3 | ≧ Yth, the flash determination for determining the previous and second previous reference pictures as flash images And
When the previous referenceable picture is not determined to be a flash picture, the prediction frame is calculated with reference to the previous referenceable picture, and the previous referenceable picture is determined to be a flash picture. The prediction frame is calculated by referring to the previous two referenceable pictures, and the third previous reference is determined when the previous and second previous referenceable pictures are determined to be flash images. A motion picture encoding apparatus comprising: a prediction frame calculation unit that calculates the prediction frame with reference to a possible picture.
JP2014557244A 2013-01-17 2013-01-17 Video encoding device Active JP5880737B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/050814 WO2014112076A1 (en) 2013-01-17 2013-01-17 Video encoding device

Publications (2)

Publication Number Publication Date
JP5880737B2 true JP5880737B2 (en) 2016-03-09
JPWO2014112076A1 JPWO2014112076A1 (en) 2017-01-19

Family

ID=51209197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014557244A Active JP5880737B2 (en) 2013-01-17 2013-01-17 Video encoding device

Country Status (2)

Country Link
JP (1) JP5880737B2 (en)
WO (1) WO2014112076A1 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193818A (en) * 1993-12-27 1995-07-28 Sony Corp Method and device for processing picture
JP2000115778A (en) * 1998-09-25 2000-04-21 Sarnoff Corp Detection and coding of flash frame in video data
JP2002010270A (en) * 2000-06-27 2002-01-11 Mitsubishi Electric Corp Device and method for coding images
JP2006115336A (en) * 2004-10-15 2006-04-27 Canon Inc Moving image encoder and control method thereof
JP2007166408A (en) * 2005-12-15 2007-06-28 Toshiba Corp Image processing apparatus and image processing method
JP2007243813A (en) * 2006-03-10 2007-09-20 Canon Inc Image encoding method and image encoding apparatus
WO2010119669A1 (en) * 2009-04-16 2010-10-21 パナソニック株式会社 Imaging device, external flash detection method, program, and integrated circuit
JP2011205354A (en) * 2010-03-25 2011-10-13 Renesas Electronics Corp Moving picture coder, moving picture coding method and program
JP2012509011A (en) * 2008-11-12 2012-04-12 トムソン ライセンシング Brightness change coding

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193818A (en) * 1993-12-27 1995-07-28 Sony Corp Method and device for processing picture
JP2000115778A (en) * 1998-09-25 2000-04-21 Sarnoff Corp Detection and coding of flash frame in video data
JP2002010270A (en) * 2000-06-27 2002-01-11 Mitsubishi Electric Corp Device and method for coding images
JP2006115336A (en) * 2004-10-15 2006-04-27 Canon Inc Moving image encoder and control method thereof
JP2007166408A (en) * 2005-12-15 2007-06-28 Toshiba Corp Image processing apparatus and image processing method
JP2007243813A (en) * 2006-03-10 2007-09-20 Canon Inc Image encoding method and image encoding apparatus
JP2012509011A (en) * 2008-11-12 2012-04-12 トムソン ライセンシング Brightness change coding
WO2010119669A1 (en) * 2009-04-16 2010-10-21 パナソニック株式会社 Imaging device, external flash detection method, program, and integrated circuit
JP2011205354A (en) * 2010-03-25 2011-10-13 Renesas Electronics Corp Moving picture coder, moving picture coding method and program

Also Published As

Publication number Publication date
WO2014112076A1 (en) 2014-07-24
JPWO2014112076A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
US7171052B2 (en) Apparatus and method for correcting motion of image
JP5426655B2 (en) Compressed video encoding device, compressed video decoding device, compressed video encoding method, and compressed video decoding method
JP2007235291A (en) Adaptive quantization apparatus and adaptive quantization program
JP2007122232A (en) Image processor and program
TWI511531B (en) Video coding apparatus, video coding method, and video coding program
KR100561398B1 (en) Apparatus and method for detecting and compensating luminance change of each partition in moving picture
US9066100B2 (en) Image coding apparatus and image coding method
US20170070555A1 (en) Video data flow compression method
JP2007134755A (en) Moving picture encoder and image recording and reproducing device
EP3547684B1 (en) Method, device and system for encoding a sequence of frames in a video stream
JP5178616B2 (en) Scene change detection device and video recording device
JP5583439B2 (en) Image encoding apparatus and camera system
JP3778208B2 (en) Image coding apparatus and image coding method
JP2006203597A (en) Digital image decoder and decoding method
JP5880737B2 (en) Video encoding device
JP4911625B2 (en) Image processing apparatus and imaging apparatus equipped with the same
JP3732760B2 (en) Object recognition apparatus and object recognition method
JP2008199521A (en) Image processing apparatus and method thereof
JPH07184206A (en) Picture coder
JP2007129335A (en) Screen motion detector
JP2006074520A (en) Motion vector detecting device
JPH11355781A (en) Moving image encoder
JP4690250B2 (en) Fade detection device
JP5718438B2 (en) Compressed video encoding device, compressed video decoding device, compressed video encoding method, and compressed video decoding method
Liu et al. Motion blur compensation in HEVC using fixed-length adaptive filter

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160118

R150 Certificate of patent or registration of utility model

Ref document number: 5880737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250