JP6066583B2

JP6066583B2 - 動画像符号化装置及び動画像符号化方法

Info

Publication number: JP6066583B2
Application number: JP2012104844A
Authority: JP
Inventors: 遠藤　寛朗; 寛朗遠藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-05-01
Filing date: 2012-05-01
Publication date: 2017-01-25
Anticipated expiration: 2032-05-01
Also published as: JP2013232843A

Description

本発明は動画像符号化装置及び動画像符号化方法に関し、特に、同じサンプル比の複数の成分から構成される動画像信号を、成分ごとに独立して動き補償予測符号化するために用いて好適な技術に関する。

従来、被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。圧縮方式としては、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なＭＰＥＧ２方式が一般的に用いられており、近年では、より複雑な予測方式を用いるなどして、高圧縮に圧縮可能なＨ．２６４方式なども用いられるようになっている。

ところで、前述のような圧縮符号化方式では、主に４：２：０フォーマットと呼ばれる標準化された入力信号フォーマットが使われている。４：２：０とは、ＲＧＢなどのカラー動画像信号を輝度成分(Y)と２つの色差成分(Cb、Cr)に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。

色差成分は、輝度成分に比べて視認性が落ちることから、符号化を行う前に色差成分のダウンサンプリングを行うことで符号化対象の源情報量の削減を行っていた。また、放送素材映像など業務向けには、色差成分を水平方向にのみ半分にダウンサンプリングする４：２：２フォーマットが用いられることもある。さらに近年、ディスプレイの高解像度化や高階調化に伴い、色差成分をダウンサンプリングすることなく、輝度成分と同じサンプル数のまま符号化する符号化方式の開発も進んでいる。なお、色差成分のサンプル数が輝度成分と同じフォーマットは、４：４：４フォーマットと呼ばれる。

４：２：０フォーマットの符号化においては、輝度成分に対してのみ動き補償予測のための情報が多重化され、色差成分については、輝度成分の情報を用いて動き補償を行うことになっている。４：２：０フォーマットでは、画像情報のほとんどが輝度成分に集約されていることと、輝度信号に比べて色差成分の方が歪みの視認性が低く、映像再現性に関する寄与が小さいという特徴のもとに成り立つものである。

一方、４：４：４フォーマットでは、３つの成分が同程度に画像情報をもつため、４：２：０フォーマットのように、画像情報が１成分に大きく依存していることを前提とした符号化方式とは異なる符号化方式が望ましい。特許文献１には４：４：４フォーマットに対応した符号化方式が提案されている。

特開２００８−１７２５９９号公報

しかしながら、４：４：４フォーマットに対応した符号化方式の符号化処理においては、動き補償のための情報を各成分ごとに生成するため、４：２：０フォーマットの符号化方式と比べて、動き探索の処理量が膨大になってしまう。一般に、動き探索の処理は符号化処理全体における処理量の占める割合が多く、その動き探索処理を各成分ごとに行うことは、膨大な演算を行う必要がある。
本発明は前述の問題に鑑み、４：４：４フォーマットに対応した符号化方式において、探索精度を大きく落とすことなく、動き探索処理量を軽減できるようにすることを目的とする。

本発明の動画像符号化装置は、同じサンプル比の複数の成分から構成される動画像信号を、成分ごとに独立して動き補償予測符号化する動画像符号化装置において、第１の動き探索手段と、前記第１の動き探索手段による動き探索の結果を用いてさらに動き探索を行う第２の動き探索手段と、前記複数の成分から、代表成分を選択または算出して、代表成分画像を生成する代表成分画像生成手段とを具備し、前記第１の動き探索手段は、前記代表成分画像に対して動き探索をし、前記第２の動き探索手段は、前記代表成分画像に対する動き探索の結果を各成分で共通に用いて前記複数の成分の各成分ごとにさらに動き探索をすることを特徴とする。

本発明によれば、４：４：４フォーマットに対応した符号化方式において、探索精度を大きく落とすことなく、動き探索処理量を軽減した動画像符号化装置を提供することができる。

第１の実施形態に係る動画像符号化装置の構成例を示すブロック図である。フレームメモリの領域分割の例を示す図である。動き探索処理の一例を示すフローチャートである。第２の実施形態に係る動画像符号化装置の構成例を示すブロック図である。

以下、図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。
（第１の実施形態）
図１は、本実施形態に係る動画像符号化装置の構成例を示すブロック図である。
図１において、動画像符号化装置１００は、レンズや撮像センサー等のカメラ部を含む撮像部１０１からの入力動画像信号（撮像して得られた画像）を圧縮符号化する。動画像符号化装置１００は、入力動画像信号としてのＲＧＢ信号から輝度成分画像を生成する代表成分画像生成部１５０と、フレームメモリ１０２とを備えている。本実施形態の動画像符号化装置１００は、同じサンプル比の複数の成分から構成される動画像信号を、成分ごとに独立して動き補償予測符号化する。なお、動画像符号化装置１００への入力は撮像部１０１からの入力に限定されるものではなく、再生動画像信号や外部装置からの受信動画像信号を入力動画像信号とする構成であっても良い。

また、動画像符号化装置１００は、第１の動き探索部１５１と、第２の動き探索部１０３と、第１の動き探索部１５１が探索した動きベクトルを一時記憶する動きベクトル記憶部１５２と、イントラ予測方法を選択するイントラ予測部１０４とを備えている。ここで、第１の動き探索部１５１は、粗い精度によって動きベクトルを探索して動きベクトルを決定し、第２の動き探索部１０３は、第１の動き探索部１５１の精度よりも詳細な精度によって動きベクトルを探索して動きベクトルを決定する。
さらに、インター予測とイントラ予測とのどちらかの予測方法を選択するイントラ・インター選択部１０５と、予測画像生成部１０６と、減算器１０７と、整数変換部１０８と、量子化部１０９とを備えている。

さらに、逆量子化部１１０と、逆整数変換部１１１と、加算器１１２と、ループ内フィルタ１１３と、エントロピー符号化部１１５と、量子化制御部１１６と、符号量制御部１１７とを備えている。そして動画像符号化装置１００の出力側に、記録部１１８を接続することで、記録部１１８を介して接続される記録媒体１１９に符号化データストリームを記録可能な構成となっている。

図２は、フレームメモリ１０２の領域分割の例を示す図である。フレームメモリ１０２は、入力画像の領域と、後述する参照画像の領域が成分ごとに複数フレーム格納できるように分割されている。また、後述する代表成分画像の領域が複数フレーム格納できるように分割されている。

撮像部１０１により撮像して得られた４：４：４フォーマットの動画像ＲＧＢ信号は、成分ごとにフレームメモリ１０２の入力画像の領域に順次格納される。また、これらのＲＧＢ信号は、代表成分画像生成部１５０へも入力される。代表成分画像生成部１５０は、ＲＧＢ信号から輝度成分を算出し、輝度成分を代表成分信号として生成する。赤、緑、青の三原色であるＲ成分、Ｇ成分、Ｂ成分の画素値をそれぞれ、Ｒ、Ｇ、Ｂとし、代表成分信号の画素値をYとすると、
Y = 0.2126×R + 0.7152×G + 0.0722×B ・・・（１式）
の重み付加算により算出する。また、代表成分画像生成部１５０は、代表成分信号の画像を水平方向、垂直方向ともに２分の１に縮小してフレームメモリ１０２の代表成分画像の領域に順次格納して縮小画像とする。

なお、代表成分信号を算出する計算式は、例えば、
Y = 0.25×R + 0.5×G + 0.25×B ・・・（２式）
でもよい。さらには、代表成分としてＧ成分を用いるなど、ここに示したものに限られない。また、代表成分画像の縮小は、他の縮小率でもよいし、縮小しなくてもよい。

第１の動き探索部１５１は、フレームメモリ１０２の代表成分画像の領域から、符号化対象ブロックに相当する画像データと、代表成分画像の領域に格納されている参照フレームの動き探索範囲に相当する部分の画像データを読み出す。探索範囲の画像データ内で、符号化対象ブロックに相当する画像データとのブロックマッチングにより、相関が高い場所を動きベクトルとして決定し、動きベクトル記憶部１５２へ格納する。

以下に説明する動作は、１フレームあたり、Ｒ、Ｇ、Ｂの各成分ごとに繰り返し行われる。
第２の動き探索部１０３は、フレームメモリ１０２の入力画像の領域から、符号化対象ブロックの画像データと、参照画像の領域に格納されている参照フレームの動き探索範囲の画像データを読み出す。

探索の範囲は、動きベクトル記憶部１５２から、該当の符号化ブロックに対応する動きベクトルを読み出し、読み出した動きベクトルを中心とした探索範囲が設定される。探索範囲の画像データ内で、符号化対象ブロックの画像データとのブロックマッチングにより、相関が高い場所を動きベクトルとして決定し、イントラ・インター選択部１０５へ通知する。

第２の動き探索部１０３は、入力画像と同じサンプリング位置（整数画素位置）単位に加えて、探索範囲の画素値を補完生成してアップサンプリングした画像でも動き探索を行い、小数画素位置単位の動きベクトルも生成する。なお、読み出した動きベクトルは縮小された画像で求めたものであるため、縮小しない画像に合わせてスケーリングして用いられる。また、同一のフレームに対しては、Ｒ、Ｇ、Ｂの各成分で共通の第１の動き探索の結果を用いる。

イントラ予測部１０４は、フレームメモリ１０２の入力画像の領域から、符号化対象ブロックの画像データを読み出す。そして、既に符号化済みの符号化対象ブロック周辺の画素データから生成される複数のイントラ予測画像データとの相関を基にイントラ予測方式を選択してイントラ・インター選択部１０５へ通知する。

イントラ・インター選択部１０５は、第２の動き探索部１０３の結果とイントラ予測部１０４の結果とを入力し、例えば、差分値が小さい方の予測方法を選択して、予測画像生成部１０６へ通知する。予測画像生成部１０６は、入力された予測方法に従って予測画像を生成し、減算器１０７へ出力する。減算器１０７では、符号化対象の画像と予測画像との差分を計算し、差分画像データが生成される。差分画像データは整数変換部１０８に出力され、入力された画素値の差分画像データに整数変換を施し、量子化部１０９は、整数変換部１０８により整数変換された信号に対して量子化処理を行う。

エントロピー符号化部１１５は、量子化部１０９により量子化された変換係数をエントロピー符号化し、ストリームとして記録部１１８に出力する。ここで、量子化部１０９における量子化係数は、エントロピー符号化部１１５で発生した符号量や、符号量制御部１１７から設定される目標符号量などから量子化制御部１１６が算出する。記録部１１８は、エントロピー符号化部１１５から出力されたストリームを記録媒体１１９に記録する。

また、量子化部１０９により量子化された変換係数は、逆量子化部１１０にも入力される。逆量子化部１１０は、入力された変換係数を逆量子化し、逆整数変換部１１１は、逆量子化された信号に対して逆整数変換処理を施す。

加算器１１２には、逆整数変換されたデータと、予測画像生成部１０６により生成された予測画像データとが入力されて加算される。加算後のデータは復号された再構成画像データとなり、前述したイントラ予測部１０４、及び予測画像生成部１０６に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ１１３によって符号化歪の軽減処理が施され、インター符号化の際に用いる参照画像データとしてフレームメモリ１０２の参照画像の領域に格納される。

次に、図３のフローチャートを参照しながら動き探索処理の手順の一例を説明する。なお、図１に示された動画像符号化装置１００の各機能ユニットの動作は、その一部をプロセッサ（ＣＰＵ）による演算及び制御によって実現可能である。図３の処理は、動画像符号化装置１００を実質的に構成するプロセッサによって、図示しないＲＯＭに格納されたプログラムをプロセッサが具備するＲＡＭに展開することにより行われる。
撮像が開始されると、Ｓ３０１では、代表成分画像生成部１５０により代表成分画像が生成され、フレームメモリ１０２の代表成分画像の領域に格納する。

次に、Ｓ３０２では、第１の動き探索部１５１により、代表成分画像の動き探索が行われる。
次に、Ｓ３０３では、第２の動き探索部１０３により、各成分ごとの第２の動き探索が行われる。

次に、Ｓ３０４では、１フレームに含まれるすべての成分に対する動き検索処理が終了したか否かを判定する。終了した場合にはＳ３０５に進み、終了していない場合にはＳ３０３に戻り、終了するまでＳ３０３〜Ｓ３０４の処理を繰り返し行う。
Ｓ３０５では、撮像が終了したか否かを判定する。終了している場合にはエンドとなり、終了していない場合にはＳ３０１に戻り、Ｓ３０１〜Ｓ３０５の処理を繰り返し行う。
前述のように動作することによって、第１の動き探索を各成分ごとに行う必要がないため、動き探索の処理量を軽減することができる。

（第２の実施形態）
本発明の第２の実施の形態について、図４を用いて説明する。図４は、本実施形態に係る動画像符号化装置４００の構成例を示すブロック図である。代表成分決定部４０１以外の部分は、前述した第１の実施形態と同じである。

代表成分決定部４０１は、撮像部１０１により撮像して得られた４：４：４フォーマットの動画像ＲＧＢ信号から、各成分ごとに分散値算出を行い、最も分散値が大きい成分を代表成分として決定し、代表成分画像生成部１５０へ通知する。代表成分画像生成部１５０は、通知された代表成分に従って代表成分を生成し、フレームメモリ１０２の代表成分画像の領域に格納する。なお、代表成分決定部４０１が代表成分を変更するのは、所定の符号化シーケンスの単位（ＧＯＰ単位）など、動き補償の参照関係が切れるタイミングで行われる。

なお、ここでは、代表画像として１つの成分を選択しているが、代表成分画像生成部１５０が、Ｒ成分,Ｇ成分,Ｂ成分の画素値をそれぞれ、Ｒ、Ｇ、Ｂとし、代表成分信号の画素値をYとして、
Y = Kr×R + Kg×G + Kb×B ・・・・（３式）
の計算により算出する場合の、Kr、Kg、Kbを決定するようにしてもよい。この場合、各成分の分散値の大きさの割合に応じて、前記Kr、Kg、Kbを決定する。

また、代表成分決定部４０１が代表成分を決定する評価値として、各成分ごとの符号化劣化の度合いを用いることもできる。符号化劣化の度合いは、入力画像と、ループ内フィルタ１１３が出力する再構成画像との差分から算出する。符号化劣化が小さい成分を代表成分として決定する。また、前述の分散値を用いた場合と同様に、各成分の符号化劣化の大きさの割合に応じて、前記Kr、Kg、Kbを決定してもよい。
その他、代表成分を決定する評価値として、符号化の過程で得られる各成分ごとの符号化情報を用いてもよい。

前述した実施形態においては、前述のようにして動き検出処理を行うので、ＲＧＢの各プレーンを独立に符号化する場合に、粗い動き探索は代表プレーンで１度だけ実施し、詳細な探索は各プレーンで実施するようにすることができる。これにより、４：４：４フォーマットに対応した符号化方式において、動き探索の処理量が膨大になってしまうのを防止することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１撮像部、１０２メモリ、１０３第２の動き探索部、１０４イントラ予測部、１０５イントラ・インター選択部、１０６予測画像生成部、１０７減算器、１０８整数変換部、１０９量子化部、１１０逆量子化部、１１１逆整数変換部、１１２加算器、１１３ループ内フィルタ、１１５エントロピー符号化部
１１６量子化制御部、１１７符号量制御部、１１８記録部、１１９記録媒体、１５０代表成分画像生成部、１５１第１の動き探索部、１５２動きベクトル記憶部、３０１代表成分決定部

Claims

同じサンプル比の複数の成分から構成される動画像信号を、成分ごとに独立して動き補償予測符号化する動画像符号化装置において、
第１の動き探索手段と、
前記第１の動き探索手段による動き探索の結果を用いてさらに動き探索を行う第２の動き探索手段と、
前記複数の成分から、代表成分を選択または算出して、代表成分画像を生成する代表成分画像生成手段とを具備し、
前記第１の動き探索手段は、前記代表成分画像に対して動き探索をし、
前記第２の動き探索手段は、前記代表成分画像に対する動き探索の結果を各成分で共通に用いて前記複数の成分の各成分ごとにさらに動き探索をすることを特徴とする動画像符号化装置。
前記複数の成分は、赤、緑、青の三原色であり、前記代表成分は緑であることを特徴とする請求項１に記載の動画像符号化装置。
前記複数の成分は、赤、緑、青の三原色であり、前記代表成分は、前記三原色の重み付加算により算出され、赤及び青よりも緑の重みが大きいことを特徴とする請求項１に記載の動画像符号化装置。
前記複数の成分は、赤、緑、青の三原色であり、前記代表成分は、前記三原色の重み付加算により算出された輝度であることを特徴とする請求項１に記載の動画像符号化装置。
代表成分を決定する代表成分決定手段を具備し、
前記代表成分決定手段は、各成分の符号化の過程で求められる所定の評価値の比較により定まる成分を代表成分に決定し、
前記代表成分画像生成手段は、前記代表成分決定手段が決定した代表成分に基づいて前記代表成分画像を生成することを特徴とする請求項１に記載の動画像符号化装置。
前記代表成分決定手段は、動き補償の参照関係が切れるフレームで、代表成分を変更することを特徴とする請求項５に記載の動画像符号化装置。
前記代表成分画像は、縮小画像であることを特徴とする請求項１〜６の何れか１項に記載の動画像符号化装置。
同じサンプル比の複数の成分から構成される動画像信号を、成分ごとに独立して動き補償予測符号化する動画像符号化装置が実行する動画像符号化方法において、
第１の動き探索手段が行う第１の動き探索工程と、
第２の動き探索手段が、前記第１の動き探索工程による動き探索の結果を用いてさらに動き探索を行う第２の動き探索工程と、
代表成分画像生成手段が、前記複数の成分から、代表成分を選択または算出して、代表成分画像を生成する代表成分画像生成工程とを具備し、
前記第１の動き探索工程では、前記代表成分画像に対して動き探索が行われ、
前記第２の動き探索工程では、前記代表成分画像に対する動き探索の結果を各成分で共通に用いて前記複数の成分の各成分ごとにさらに動き探索が行われることを特徴とする動画像符号化方法。
コンピュータを、請求項１〜７の何れか１項に記載の動画像符号化装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１〜７の何れか１項に記載の動画像符号化装置の各手段として機能させるためのプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。