JPWO2010050089A1

JPWO2010050089A1 - 動画像圧縮符号化における符号化処理方法及び符号化処理装置

Info

Publication number: JPWO2010050089A1
Application number: JP2010535615A
Authority: JP
Inventors: 田中　康晴; 康晴田中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-10-29
Filing date: 2009-06-23
Publication date: 2012-03-29
Also published as: CN102187678A; US8705628B2; US20110176027A1; WO2010050089A1

Abstract

動画像符号化部（２００）の前段に停止ブロック検出部（１００）を設ける。停止ブロック検出部（１００）は、処理対象フレームを複数のブロックに分割し、当該フレーム内のブロックを移動量が少ない順にソートし、移動量の少ない方から、符号化処理装置（３００）の外部から入力される「該当ブロック設定数」で指定された数のブロックを「停止ブロック」として設定する。動画像符号化部（２００）は、停止ブロックに該当するブロックに関しては、動き探索を実行せずに強制的に「動きベクトル＝０」に、またＤＣＴ処理及び量子化処理を実行せずに強制的に「ＤＣＴ係数＝０」と置き換えて動画像のインター符号化処理を実行する。

Description

本発明は、デジタルカメラ、カメラ付き携帯電話等の動画撮影機能を持つ機器や、画像コンテンツを作成又は使用する際の動画像圧縮符号化技術に関するものである。

近年、高能率符号化を行うＭＰＥＧ（moving picture experts group）等の動画像圧縮符号化技術の実用化が急速に進み、ビデオカメラや携帯電話等に普及している。

ＭＰＥＧ等の符号化技術においては、様々な符号化モードが規格において定義されている。例えば、ＭＰＥＧ−４においては、符号化対象となるフレームの画面内の画像（以後、対象画像）のみを使用し符号化する「イントラ符号化モード」、また、既に符号化が完了したフレーム（以後、参照フレーム）内から対象画像と相関の強い画像領域を検出（以後、動き探索）し、その動き探索後の画像（以後、動き補償画像）と対象画像との差分値のみを符号化する「インター符号化モード」がある。

後者のインター符号化モードについては、参照フレーム内の参照する画像の位置を表す動きベクトルと、入力画像と動き補償画像との差分画像に対しＤＣＴ（discrete cosine transform）処理及び量子化処理を施した後のデータであるＤＣＴ係数との組み合わせを可変長符号化してストリームを生成する方法がＭＰＥＧ−４規格の中で示されている。

インター符号化モードについてもう少し詳しく説明すると、入力画像と動き補償画像とが一致して差分画像が０の場合は、ＤＣＴ処理及び量子化処理に対して０を入力し、結果を０として出力することになる。また、差分画像が０でなくとも大きな差分がない場合は、量子化により、結果を０として出力することもある。このように出力結果が０である場合は、ＤＣＴ処理及び量子化処理を実行せずにスキップし、結果を０に置き換えて出力させることで、高速化を実現することができる（特許文献１参照）。

特開２００４−３２８７９９号公報

しかし、差分画像が０であるか否か、すなわちＤＣＴ処理及び量子化処理をスキップさせることができるか否かを判断するには、実際に各マクロブロックに対して動き探索を実行して差分画像を生成する必要があるため、ＤＣＴ処理及び量子化処理をスキップできるマクロブロックの数をフレーム処理開始前に把握することができない。このため、処理の高速化度合いをフレーム処理開始前に測ることができないといった問題があった。例えば、１フレーム内の全てのマクロブロックに対してＤＣＴ処理及び量子化処理のスキップが選択されて高速化に繋がる場合がある反面、１フレーム内の全てのマクロブロックに対してＤＣＴ処理及び量子化処理のスキップが一切選択されず全く高速化に繋がらない場合もあったのである。

本発明の目的は、フレーム処理において必ず一定以上の高速化を実現し、以て符号化処理システムの小型化及び省電力化を達成することにある。

上記目的を達成するため、本発明に係る第１の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理方法において、フレーム内のブロックの中からＳ個（Ｓは１以上の整数）のブロックを選択するステップと、前記選択したＳ個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に０に置き換えて動画像符号化処理を行うステップとを備えたことを特徴としている。

これにより、符号化フレームにおいて必ず一定個数以上の動き探索処理を実行しなくともよいブロックを作り出すことができ、処理の高速化を実現できる。

本発明に係る第２の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、ＤＣＴ処理及び量子化処理を実行してＤＣＴ係数を生成し、そのＤＣＴ係数を使用して動画像符号化処理を行う符号化処理方法において、フレーム内のブロックの中からＳ個（Ｓは１以上の整数）のブロックを選択するステップと、前記選択したＳ個のブロックに対しては、前記ＤＣＴ処理及び前記量子化処理を実行せず、ＤＣＴ係数を強制的に０に置き換えて動画像符号化処理を行うステップとを備えたことを特徴としている。

これにより、符号化フレームにおいて必ず一定個数以上のＤＣＴ処理及び量子化処理を実行しなくともよいブロックを作り出すことができ、処理の高速化を実現できる。

本発明に係る第３の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理方法において、画像の移動量を検出し、移動量記憶部に記憶する第１ステップと、前記移動量記憶部の中の移動量を比較し、移動量の少ない方からＳ個（Ｓは１以上の整数）のブロックを選択する第２ステップと、前記選択したＳ個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に０に置き換えて動画像符号化処理を行う第３ステップとを備え、あるフレームの前記第３ステップを実行すると同時に、次フレームの前記第３ステップの処理で使用する移動量を前記第１及び第２ステップにて求めることを特徴としている。

これにより、前フレーム処理時に移動量検出を同時に実行させることで、処理の更なる高速化を実現できる。

本発明に係る第４の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、ＤＣＴ処理及び量子化処理を実行してＤＣＴ係数を生成し、そのＤＣＴ係数を使用して動画像符号化処理を行う符号化処理方法において、画像の移動量を検出し、移動量記憶部に記憶する第１ステップと、前記移動量記憶部の中の移動量を比較し、移動量の少ない方からＳ個（Ｓは１以上の整数）のブロックを選択する第２ステップと、前記選択したＳ個のブロックに対しては、前記ＤＣＴ処理及び前記量子化処理を実行せず、ＤＣＴ係数を強制的に０に置き換えて動画像符号化処理を行う第３ステップとを備え、あるフレームの前記第３ステップを実行すると同時に、次フレームの前記第３ステップの処理で使用する移動量を前記第１及び第２ステップにて求めることを特徴としている。

本発明に係る第１の符号化処理装置は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理装置において、符号化対象となる入力画像に対し、ｎ分の１（ｎは１以上の整数）に縮小した画像を生成する入力画像縮小部と、既に符号化処理済みの参照画像に対し、ｎ分の１に縮小した画像を生成する参照画像縮小部と、前記入力画像縮小部及び前記参照画像縮小部から縮小した入力画像及び参照画像を入力し、ブロック毎に移動量を検出する移動量検出部と、前記移動量検出部にて検出した移動量を記憶する移動量記憶部と、前記移動量記憶部に記憶されている移動量を比較し、移動量の少ない方からＳ個（Ｓは１以上の整数）のブロックを選択する停止ブロック選択部と、前記選択されたＳ個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に０に置き換えて動画像符号化処理を実行する動画像符号化部とを備えたことを特徴としている。

本発明に係る第２の符号化処理装置は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、ＤＣＴ処理及び量子化処理を実行してＤＣＴ係数を生成し、そのＤＣＴ係数を使用して動画像符号化処理を行う符号化処理装置において、符号化対象となる入力画像に対し、ｎ分の１（ｎは１以上の整数）に縮小した画像を生成する入力画像縮小部と、既に符号化処理済みの参照画像に対し、ｎ分の１に縮小した画像を生成する参照画像縮小部と、前記入力画像縮小部及び前記参照画像縮小部から縮小した入力画像及び参照画像を入力し、ブロック毎に移動量を検出する移動量検出部と、前記移動量検出部にて検出した移動量を記憶する移動量記憶部と、前記移動量記憶部に記憶されている移動量を比較し、移動量の少ない方からＳ個（Ｓは１以上の整数）のブロックを選択する停止ブロック選択部と、前記選択されたＳ個のブロックに対しては、前記ＤＣＴ処理及び前記量子化処理を実行せず、ＤＣＴ係数を強制的に０に置き換えて動画像符号化処理を実行する動画像符号化部とを備えたことを特徴としている。

本発明によれば、移動量の少ないブロックに対し強制的に「動きベクトル＝０」、「差分画像＝０」として符号化するようにし、それに該当するブロックをフレーム内で一定個数以上挿入させることで、該当するブロックは動き探索処理、ＤＣＴ処理及び量子化処理を実施する必要がなくなるため、高速に動画像符号化処理を完了させることができる。また、より高速に処理が完了することで、低消費電力効果も期待できる。

本発明の実施の形態１に係る符号化処理装置の構成ブロック図である。図１中の停止ブロック検出部の詳細構成を示すブロック図である。図１の符号化処理装置における入力画像と縮小画像との第１の対応関係を示す図である。図１の符号化処理装置における入力画像と縮小画像との第２の対応関係を示す図である。図２中の停止ブロック選択部の動作を示すフローチャート図である。図１及び図２中の動画像符号化部の詳細構成を示すブロック図である。本発明の実施の形態１によれば、同じ位置のブロックが数フレームに渡り停止ブロックと指定され続けることがあることを示す図である。本発明の実施の形態１によれば、該当ブロック設定数を０に設定するフレームと非０に設定するフレームとを順次切り替えるようにすることで、図７の状況を回避できるものの、発生符号量が大きく変動する結果となることを示す図である。推定符号量を補正する本発明の実施の形態２により、図８の状況に比べて安定したビットレート制御が実現できることを示す図である。本発明の実施の形態１によれば、従来に比べて処理時間が短縮されるものの、停止ブロック検出処理と動画像符号化処理とがシーケンシャルに実行されることを示すタイムチャート図である。本発明の実施の形態３に係る符号化処理装置の構成ブロック図である。図１１中の動画像符号化部の詳細構成を示すブロック図である。本発明の実施の形態３によれば、並列処理の採用により、実施の形態１の場合よりも処理時間が短縮されることを示すタイムチャート図である。本発明に係る符号化処理装置を用いた撮像システムの構成ブロック図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。

《実施の形態１》
図１は、本発明の実施の形態１に係る符号化処理装置の構成を示すブロック図である。図１のように、符号化処理装置３００は、入力画像縮小部１１０、参照画像縮小部１１１、停止ブロック検出部１００、動画像符号化部２００、参照フレーム記憶部２１３から構成されている。

〈各要素の機能〉
入力画像縮小部１１０は、符号化対象となる入力画像を入力し、ｎ分の１倍（ｎは１以上の整数）にフレーム画像を縮小し、停止ブロック検出部１００に出力する。同じく参照画像縮小部１１１も、既に符号化処理が完了したフレーム（参照フレーム）が格納されている参照フレーム記憶部２１３から参照フレームを入力し、ｎ分の１倍にフレーム画像を縮小し、停止ブロック検出部１００に出力する。停止ブロック検出部１００では、入力画像縮小部１１０から入力した入力画像と、参照画像縮小部１１１から入力した参照画像とを用いてｍ×ｍ画素（ｍは１以上の整数）で構成されるブロック単位で画像の移動量を検出する。この移動量検出については後ほど説明する。

画像の移動量検出が完了すると、フレーム内のブロックを移動量が少ない順にソートし、移動量の少ない方から、符号化処理装置３００の外部から入力される「該当ブロック設定数」で指定された数のブロックを「停止ブロック」として設定する。

動画像符号化部２００では、停止ブロック検出部１００から入力される停止ブロック情報と、前記入力画像と、参照フレーム記憶部２１３から入力される参照画像とを受け、動画像符号化規格に則り符号化処理を実行する。その符号化処理（インター符号化処理）を実行する際、停止ブロックに該当するブロックに関しては、動き探索を実行せずに強制的に「動きベクトル＝０」に、また、ＤＣＴ処理及び量子化処理を実行せずに強制的に「ＤＣＴ係数＝０」と置き換えて動画像符号化処理を実行するようにする。

これにより、停止ブロックに該当するブロックにおいては、動き探索処理、ＤＣＴ処理及び量子化処理をスキップさせることができ、処理を高速化できる。

〈停止ブロック検出について〉
図２は、図１中の停止ブロック検出部１００の詳細構成を示す。図２によれば、停止ブロック検出部１００は、移動量検出部１０１と、移動量記憶部１０２と、停止ブロック選択部１０３とから構成される。

停止ブロック検出部１００にて行われる画像の移動量検出について図２を用いて説明する。入力画像は入力画像縮小部１１０によりｎ分の１に縮小される。また、参照画像も参照画像縮小部１１１により１／ｎに縮小される。それがｐ×ｐ（ｐは１以上の整数）画素のブロック単位で移動量検出部１０１に入力される。

移動量検出部１０１では、その入力されたｐ×ｐ画素の入力画像と、ｐ×ｐ画素の参照画像とについて、
移動量＝ΣΣ｜入力画像（ｉ，ｊ）−参照画像（ｉ，ｊ）｜ …（１）
で表される画素単位の差分の総和を計算する。ここに、ｉ及びｊは各々１からｐまでの整数である。

ｐ×ｐ画素毎に上記移動量を計算し、その結果を移動量記憶部１０２に記憶させる。１フレーム分の移動量検出が完了すると、移動量記憶部１０２には１フレーム分の移動量情報が記憶されていることになる。この移動量を少ない順にソートし、そのソートした移動量を少ない方から順に停止ブロック選択部１０３に送る。停止ブロック選択部１０３は、移動量記憶部１０２から送られてくる移動量情報と、外部から入力された該当ブロック設定数とを利用し、元のサイズの１フレーム画像において、どのブロック（ｍ×ｍ画素）が停止ブロックに該当するかを決定する。

この停止ブロックの決定に関しては、フレームをｎ分の１に縮小した画像に対してｐ×ｐ画素単位に計算される情報を、フレームの等倍画像に対するｍ×ｍ画素単位に変換する必要がある。これを容易にするために、「ｐ＝ｍ／ｎ（縮小画像のブロックサイズｐ×ｐは、等倍画像のブロックサイズｍ×ｍをｎ分の１した値）」にする、もしくは、「ｐ＝ｍ（縮小画像、等倍画像での処理単位を同じ）」にすることで、変換を簡単にすることができる。

前者の「ｐ＝ｍ／ｎ」である場合、縮小画像を用いて処理を実行する１ブロックは、そのまま等倍画像の１ブロックに１対１で変換することができる。ここで、「ｐ＝８、ｍ＝１６、ｎ＝２」の例を、図３に示す。

後者の「ｐ＝ｍ」である場合、縮小画像を用いて処理を実行する１ブロックは、等倍画像のｎ×ｎブロック分の領域に変換すればよい。ここで、「ｐ＝１６、ｍ＝１６、ｎ＝２」の例を、図４に示す。

前者の利点としては、縮小画像においても入力画像と同じブロック数で停止ブロック判定を行うことになるため、最小ブロック単位での判定を行うことができる。後者の利点としては、入力画像に対して縮小画像のブロック数を少なくすることができるため、縮小画像内の全ブロックの移動量情報を格納する必要がある移動量記憶部１０２のメモリ容量を削減することができる。

停止ブロック選択部１０３は、上記のｐ、ｍ、ｎの関係を利用し、移動量記憶部１０２から出力される縮小画像１ブロックが入力画像のどのブロックに対応しているかを判断し、停止ブロックに該当する入力画像のブロック数が、少なくとも該当ブロック設定数以上の個数になるように制御を行う。具体的な処理フローを図５を用いて説明する。

まず、入力画像１フレーム内の全ブロックを「移動ブロック」と設定する。この移動ブロックは停止ブロックでないことを表し、移動ブロックに該当するブロックにおいては、通常の符号化処理である動き探索、ＤＣＴ処理及び量子化処理を実行することになる（Ｓ１００）。

次いで、移動量記憶部１０２に記憶している移動量情報を移動量が少ない方から１つずつ情報を取得する（Ｓ１０１）。そして、その情報を元に、図３、図４に示したｐ、ｍ、ｎの関係で、どの入力画像のブロックが該当しているかを判定し（Ｓ１０２）、該当しているブロックに関しては、停止ブロックと設定する（Ｓ１０３）。この停止ブロックと設定されたブロックに関しては、後の符号化処理において動き探索、ＤＣＴ処理及び量子化処理をスキップさせることになる。

最後にＳ１０３で設定された停止ブロックの総数を数え、その値が該当ブロック設定数を超えているかを調べる（Ｓ１０４）。停止ブロックの総数が該当ブロック設定数を超えている場合には、停止ブロック決定処理を終了させる。超えていない場合には、Ｓ１０１の処理に戻り、停止ブロックの追加を行う。

なお、上記にてｐ、ｍ、ｎの関係につき２通りの関係を説明したが、一例として取り上げたもので、必ずしもその関係にある必要はない。

また、本例では移動量記憶部１０２内には１フレーム内の全ブロックの移動量情報を記憶させるような説明を行ったが、停止ブロック選択部１０３にて停止ブロックを選択する際に必要な情報のみが記憶されているだけでもよい。

具体例を挙げて説明すると、該当ブロック設定数により停止ブロック選択部１０３が２ブロックの移動量情報を移動量記憶部１０２から読み出す場合、移動量記憶部１０２には２ブロック分の移動量情報のみを記憶できていればよい。例えば、移動量検出部１０１から「１００」、「１０」、「２０」、「５」という順に計４ブロックの移動量が移動量記憶部１０２に書き込まれ、そのうちの２ブロックの情報「５」、「１０」が停止ブロック選択部１０３に渡される場合、移動量記憶部１０２には、「５」、「１０」を移動量として持つ２ブロックの情報さえ記憶されておればよい。この場合、移動量検出部１０１から移動量記憶部１０２に書き込まれる際に、まず「１００」を入力し「１００」を記憶する。次に「１０」が入力され、「１０」と「１００」とを持つ。次に「２０」が入力され、「１００」を消して、「１０」と、「１００」より少ない「２０」とを持つ。最後に「５」が入力され、「２０」を消して、「５」と「１０」とを持つ。というように、常に移動量が少ないブロックを２ブロック分だけ持つようにして記憶すれば、移動量記憶部１０２の容量を、より小さく構成することができる。

〈停止ブロックに該当するブロックの処理について〉
停止ブロック選択部１０３から出力される停止ブロック情報と、符号化の対象画像となる入力画像とを受けて実行する動画像符号化処理を、図６を用いて説明する。なお、本発明はインター符号化処理において効果を発揮するものであるため、主にインター符号化の例を説明することにする。

通常のインター符号化処理では、入力画像は、まず動き探索部２０１に入力される。そこには、既に処理が完了しているフレーム画像（参照画像）も入力され、入力画像及び参照画像を用いて動き探索処理が実行される。その動き探索結果を動き補償画像生成部２０２に渡し、参照画像から動き補償画像を生成する。その後、入力画像と動き補償画像との差分画像を減算器２０３を用いて生成し、セレクタ２０４に渡す。セレクタ２０４はイントラ符号化の時は入力画像を選択し、インター符号化の時は減算器２０３から出力される差分画像を選択する。本例ではインター符号化を示すためセレクタ２０４では差分画像が選択されることになる。その差分画像はＤＣＴ処理部２０５に入力されＤＣＴ処理が実施された後、量子化部２０６に渡り量子化処理が実施されＤＣＴ係数を生成する。そのＤＣＴ係数は、可変長符号化部２０９に渡し可変長符号化が実行される。その可変長符号化部２０９には動き探索部２０１から動きベクトル情報も渡り、動きベクトル情報も符号化される。可変長符号化部２０９は、動きベクトル情報及びＤＣＴ係数の双方を含む可変長符号化情報を生成する。可変長符号化部２０９で生成された可変長符号化情報は、生成ストリームとして外部に出力される。

また、量子化処理部２０６で生成されたＤＣＴ係数は、逆量子化処理部２０７にも渡され逆量子化処理が実施された後、逆ＤＣＴ処理部２０８に渡され逆ＤＣＴ処理が実施される。その結果のデータと、動き補償画像生成部２０２からスイッチ２１１を経由して供給される動き補償画像とを加算器２１２にて加算することで参照画像を生成し、参照フレーム記憶部２１３に記憶する。

以上の通常のインター符号化処理に対して、停止ブロックと判断されたブロックにおける処理を以下に説明する。インター符号化処理は、ブロック単位で実行されるが、その実行するブロックが移動ブロックか停止ブロックかは、停止ブロック情報としてブロック単位で動画像符号化部２００に通知される。

停止ブロックとして通知されたブロックに関しては、動き探索部２０１にて行う動き探索処理を実行せず、実行結果（動きベクトル）を０として動き補償画像生成部２０２及び可変長符号化部２０９に出力する。また、ＤＣＴ処理部２０５にて行うＤＣＴ処理、量子化処理部２０６にて行う量子化処理も実行せず、量子化処理結果（ＤＣＴ係数）も０として可変長符号化部２０９及び逆量子化部２０７に出力する。当然、逆量子化部２０７、逆ＤＣＴ処理部２０８も処理を実行せず、逆ＤＣＴ処理部２０８からは０を加算器２１２に対して出力することになる。このように停止ブロックとして設定されたブロックにおいては、動き探索処理、ＤＣＴ処理、量子化処理、逆量子化処理、逆ＤＣＴ処理の実行をスキップさせることができる。

上記に示したとおり、各フレーム内のブロックに対し、一定の個数以上のブロックを意図的に停止ブロックと設定し、その停止ブロックに対しては、必ず処理をスキップさせるようにすることで、全てのブロックに対し通常の符号化処理を実施することに比べ、一定以上の高速化を実現することができる。この機能を利用することで、高速処理が求められる高解像度処理又は高フレームレート処理を、より小さな実装規模にて実現することができる。また、高速に処理が実行されることから早く処理が完了させることができるため低消費電力化にも繋がる。

なお、本実施の形態ではｐ×ｐもしくはｍ×ｍといった正方ブロックを用いたが、ｐｘ×ｐｙ、ｍｘ×ｍｙ（ｐｘ、ｐｙ、ｍｘ、ｍｙは１以上の整数）といった長方ブロックとしてもよい。また、縮小率を表すｎにおいても水平ｎｘ、垂直ｎｙ（ｎｘ，ｎｙは１以上の整数）といった方向別の縮小率を用意し、それに応じた縮小処理を行うことも可能である。

また、本実施の形態では、停止ブロックとして設定されたブロックに関しては、動きベクトルとＤＣＴ係数とを共に０に設定することを説明したが、一方のみ（動きベクトルのみ０、又は、ＤＣＴ係数のみ０）として、動き探索処理のみを実行しない、又は、ＤＣＴ処理、量子化処理、逆量子化処理及び逆ＤＣＴ処理を実行しないといった方法でも十分高速化を図ることができるのは言うまでもない。

《実施の形態２》
実施の形態２においては、実施の形態１で説明した内容を、更に発展させた実施内容を説明する。

実施の形態１においては、フレーム毎に一定個数以上の停止ブロックを作成することで、一定の高速化、低消費電力化を図ることができたが、図７の例に示すように、あるブロックが数フレームに渡り停止ブロックと指定され続けた場合、強制的に「動きベクトル＝０」、「差分画像＝０」として符号化されることから、数フレームに渡り、常に前フレームと同じ画像を出力し続けることになる。１画素も移動することなく画像が停止している場合には問題ないが、数画素ずつ移動しているにも拘わらず、他のブロックより式１で計算される移動量が少なく、そのことで停止ブロックに指定されている場合、数フレームに１回しか画像が更新されない（移動ブロックとして指定されない）ことは、動画像として画質の劣化にも繋がりかねないことである。本実施の形態２では、この問題を解決する実施内容について説明する。

各フレームにおいて停止ブロックとするブロック数を規定する該当ブロック設定数が停止ブロック検出部１００に入力されることは、実施の形態１で既に説明している。この該当ブロック設定数の値をフレーム毎に切り替えることで、上記問題を解決する。

あるフレーム（ｑフレーム目）においては、該当ブロック設定数を非０に設定し、高速化効果を得るようにする。次のフレーム（ｑ＋１フレーム目）においては、該当ブロック設定数を０に設定し、全てのブロックを移動ブロックとして符号化する。また、次のフレーム（ｑ＋２フレーム目）においては、該当ブロック設定数を非０に設定し、ｑフレーム目と同様に高速化効果を得るようにする。

このように、該当ブロック設定数を０に設定するフレームと非０に設定するフレームとをフレーム単位で切り替えるようにすることで、必ず一定個数の停止ブロックを埋め込むことで高速化効果を得ることができると共に、図７を用いて説明した同一ブロックが数フレームに渡り停止ブロックと指定され続けることを抑制できる。

上記では、２フレームに１回、該当ブロック設定数を０にするフレームを設けることを例に挙げ説明したが、ｒフレーム（ｒは２以上の整数）に１回、該当ブロック設定数を０にし、それ以外のフレームは非０とすることも当然、可能である。

また、上記のようにフレーム単位で該当ブロック設定数を切り替えて符号化処理を実行した場合、図８に示すとおり、フレームの符号量が大きく増減してしまう。当然、該当ブロック設定数が０の時は符号量が増加し、非０の時は符号量が減少する。このことで、例えば、前フレームの符号量と前フレームの量子化パラメータとをビットレート制御に用いている場合、次のような問題が発生する。

一般的に、前フレームで符号量が少ない場合、次フレームで符号量を増やす方向に制御する。逆に、前フレームで符号量が多い場合、次フレームで符号量を減らす方向に制御する。ところが、図８のように増減が繰り返されると、安定したビットレート制御が行えない。言い換えると、同じ量子化パラメータを設定しても符号量が多いフレームもあれば、少ないフレームもあり、ビットレート制御が困難になる。

この問題には、図９に示す方法で対処する。図９の例では、「フレーム内のブロック総数＝１００」とし、該当ブロック設定数が０とするフレームと、フレーム内の半分のブロック（＝５０）とするフレームとを毎フレーム切り替えて符号化している。後者の「該当ブロック設定数＝５０」としているフレームにおいては、当該フレームのうち約１／２のブロックしか符号化されていないため、フレームの符号量も約１／２になる。これに対し、フレーム内の全ブロックを移動ブロックとして符号化した場合の推定符号量を、「符号量×フレーム内ブロック総数／該当ブロック設定数（＝符号量×１００／５０＝符号量×２）」として算出する。図９の例では、実際の符号量に係数「２」が掛けられる。このようにして得られた推定符号量の値をビットレート制御に用いることで、同一量子化パラメータに対してみかけ上、同等の符号量が出力されたことになるため、より安定したビットレート制御を実現することができる。

上記は、次フレームの量子化パラメータを決定する際に用いる、前フレームの符号量を暫定的に規定した内容であり、目標符号量に対する差分符号量においては、上記係数を掛ける前の符号量を使用する必要があるのは言うまでもない。

《実施の形態３》
実施の形態３においても、実施の形態１で説明した内容を、更に発展させた実施内容を説明する。

実施の形態１においては、停止ブロック検出部１００にて符号化フレームにおける停止ブロックの位置を設定し、次の動画像符号化部２００にて符号化する際に、停止ブロックとして設定されたブロックに関しては、符号化処理の一部をスキップさせることについて説明した。

しかし、この構成の場合、図１中の停止ブロック検出部１００での処理と、動画像符号化部２００での処理とをシーケンシャルに実行することとなる（図１０参照）。本実施の形態３においては、更に高速化を実現する方法について説明する。

実施の形態１では、図１を用いて、停止ブロックの設定を行う停止ブロック検出部１００と、符号化処理を実行する動画像符号化部２００とが別々の手段で構成されている例を示した。これに対し、本実施の形態の符号化処理装置３００ｂにおいては、図１１に示すように停止ブロックの設定と符号化処理とを同一の手段、すなわち動画像符号化部２００ｂで実行し、ｓを整数とするとき、ｓフレーム目の符号化処理を行う際に動き探索部２０１で実行する動き探索処理にて、ｓ＋１フレーム目の停止ブロックの設定を行うようにするものである（図１２参照）。

具体的に説明する。図１２における動き探索部２０１ｂに対して入力画像と参照画像とが入力され、動き探索が実行される。その際に、前述の式１に示した移動量も同時に計算し、その結果を移動量記憶部１０２ｂに記憶しておく。１フレーム分の処理（移動量検出処理）が完了すると、移動量記憶部１０２ｂに記憶されている移動量情報を移動量の少ない順にソートし、少ない順から停止ブロック選択部１０３ｂに出力する。停止ブロック選択部１０３ｂにおいては、該当ブロック設定数個分の停止ブロックを設定し、その停止ブロック情報を動画像符号化部２００ｂに出力する。

停止ブロック選択部１０３ｂにおいて停止ブロックを設定する際のｐ、ｍ、ｎの関係は、縮小画像を用いて停止ブロック検出を行うわけではないため、「ｐ＝ｍ、ｎ＝１」という関係になることは言うまでもない。

このように、本発明の実施の形態３によれば、停止ブロック選択部１０３ｂで設定した停止ブロック情報は、次のフレームを処理する際の停止ブロック位置情報として使用される。つまり、停止ブロック検出処理と動画像符号化処理とを並列実行することにより、更に高速に処理を完了させることができる（図１３参照）。

以上、本発明の実施の形態１〜３に係る符号化処理装置３００，３００ｂを説明した。次に、これらの符号化処理装置３００，３００ｂの応用例を説明する。

図１４は、本発明に係る符号化処理装置を用いた撮像システム６０１、例えばデジタルスチルカメラ（ＤＳＣ）の構成ブロック図である。図１４中の信号処理装置６０６は、上記本発明の実施の形態１〜３に係る符号化処理装置３００，３００ｂのいずれかである。

図１４によれば、光学系６０２を通って入射した画像光はセンサ６０３上に結像される。センサ６０３はタイミング制御回路６０９によって駆動されることにより、結像された画像光を蓄積し、電気信号へと光電変換する。センサ６０３から読み出された電気信号は、アナログ・デジタル変換器（ＡＤＣ）６０４によってデジタル信号へと変換された後に、当該信号処理装置６０６を含む画像処理回路６０５に入力される。この画像処理回路６０５においては、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小処理、及び本発明を用いた画像圧縮伸張処理等の画像処理が行われる。画像処理された信号は、記録転送回路６０７においてメディアへの記録あるいは転送が行われる。記録あるいは転送された信号は、再生回路６０８により再生される。この撮像システム６０１の全体は、システム制御回路６１０によって制御されている。

なお、本発明に係る信号処理装置６０６における画像処理は必ずしも光学系６０２を介してセンサ６０３に結像された画像光に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることは言うまでもない。

以上説明してきたとおり、本発明に係る符号化処理方法及び符号化処理装置は、高速に符号化処理を完了させることができるため、高フレームレート、高解像度等のハイスペックな撮像システム等に有用である。

１００停止ブロック検出部
１０１移動量検出部
１０２，１０２ｂ移動量記憶部
１０３，１０３ｂ停止ブロック選択部
１１０入力画像縮小部
１１１参照画像縮小部
２００，２００ｂ動画像符号化部
２０１，２０１ｂ動き探索部
２０２動き補償画像生成部
２０３減算器
２０４セレクタ
２０５ＤＣＴ処理部
２０６量子化処理部
２０７逆量子化処理部
２０８逆ＤＣＴ処理部
２０９可変長符号化部
２１１スイッチ
２１２加算器
２１３参照フレーム記憶部
３００，３００ｂ符号化処理装置
６０１撮像システム
６０５画像処理回路
６０６信号処理装置（符号化処理装置）

特開２００４−３２８７９９号公報

Claims

処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理方法であって、
フレーム内のブロックの中からＳ個（Ｓは１以上の整数）のブロックを選択するステップと、
前記選択したＳ個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に０に置き換えて動画像符号化処理を行うステップとを備えたことを特徴とする符号化処理方法。
処理対象フレームを複数のブロックに分割して、そのブロック毎に、ＤＣＴ処理及び量子化処理を実行してＤＣＴ係数を生成し、そのＤＣＴ係数を使用して動画像符号化処理を行う符号化処理方法であって、
フレーム内のブロックの中からＳ個（Ｓは１以上の整数）のブロックを選択するステップと、
前記選択したＳ個のブロックに対しては、前記ＤＣＴ処理及び前記量子化処理を実行せず、ＤＣＴ係数を強制的に０に置き換えて動画像符号化処理を行うステップとを備えたことを特徴とする符号化処理方法。
請求項１又は２に記載の符号化処理方法において、
前記フレーム内の全部又は一部のブロックに対し、画像の移動量を検出するステップを更に備え、
前記全部又は一部のブロックの移動量を比較し、移動量の少ない方からＳ個のブロックを選択することを特徴とする符号化処理方法。
請求項３記載の符号化処理方法において、
フレーム画像をｎ分の１（ｎは２以上の整数）に縮小するステップを更に備え、
その縮小画像を用いて、前記画像の移動量の検出を行うことを特徴とする符号化処理方法。
請求項１又は２に記載の符号化処理方法において、
ｒフレーム（ｒは２以上の整数）にｒ−１回のみ、ＤＣＴ係数を強制的に０に置き換えて動画像符号化処理を行うステップを実行することを特徴とする符号化処理方法。
請求項５記載の符号化処理方法において、
前フレームの符号量に総ブロック数／Ｓを掛けて符号量を補正するステップと、
前記補正した符号量を基にビットレート制御を行うステップとを更に備えたことを特徴とする符号化処理方法。
処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理方法であって、
画像の移動量を検出し、移動量記憶部に記憶する第１ステップと、
前記移動量記憶部の中の移動量を比較し、移動量の少ない方からＳ個（Ｓは１以上の整数）のブロックを選択する第２ステップと、
前記選択したＳ個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に０に置き換えて動画像符号化処理を行う第３ステップとを備え、
あるフレームの前記第３ステップを実行すると同時に、次フレームの前記第３ステップの処理で使用する移動量を前記第１及び第２ステップにて求めることを特徴とする符号化処理方法。
処理対象フレームを複数のブロックに分割して、そのブロック毎に、ＤＣＴ処理及び量子化処理を実行してＤＣＴ係数を生成し、そのＤＣＴ係数を使用して動画像符号化処理を行う符号化処理方法であって、
画像の移動量を検出し、移動量記憶部に記憶する第１ステップと、
前記移動量記憶部の中の移動量を比較し、移動量の少ない方からＳ個（Ｓは１以上の整数）のブロックを選択する第２ステップと、
前記選択したＳ個のブロックに対しては、前記ＤＣＴ処理及び前記量子化処理を実行せず、ＤＣＴ係数を強制的に０に置き換えて動画像符号化処理を行う第３ステップとを備え、
あるフレームの前記第３ステップを実行すると同時に、次フレームの前記第３ステップの処理で使用する移動量を前記第１及び第２ステップにて求めることを特徴とする符号化処理方法。
請求項７又は８に記載の符号化処理方法において、
前記移動量記憶部には前記Ｓ個分の移動量情報のみを記憶でき、
前記移動量を検出した結果を記憶する際に、その移動量と前記移動量記憶部に既に記憶されている移動量とを比較して、より少ない値であれば前記移動量記憶部に更新記憶し、大きい値であれば、更新記憶しないことを特徴とする符号化処理方法。
処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理装置であって、
符号化対象となる入力画像に対し、ｎ分の１（ｎは１以上の整数）に縮小した画像を生成する入力画像縮小部と、
既に符号化処理済みの参照画像に対し、ｎ分の１に縮小した画像を生成する参照画像縮小部と、
前記入力画像縮小部及び前記参照画像縮小部から縮小した入力画像及び参照画像を入力し、ブロック毎に移動量を検出する移動量検出部と、
前記移動量検出部にて検出した移動量を記憶する移動量記憶部と、
前記移動量記憶部に記憶されている移動量を比較し、移動量の少ない方からＳ個（Ｓは１以上の整数）のブロックを選択する停止ブロック選択部と、
前記選択されたＳ個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に０に置き換えて動画像符号化処理を実行する動画像符号化部とを備えたことを特徴とする符号化処理装置。
処理対象フレームを複数のブロックに分割して、そのブロック毎に、ＤＣＴ処理及び量子化処理を実行してＤＣＴ係数を生成し、そのＤＣＴ係数を使用して動画像符号化処理を行う符号化処理装置であって、
符号化対象となる入力画像に対し、ｎ分の１（ｎは１以上の整数）に縮小した画像を生成する入力画像縮小部と、
既に符号化処理済みの参照画像に対し、ｎ分の１に縮小した画像を生成する参照画像縮小部と、
前記入力画像縮小部及び前記参照画像縮小部から縮小した入力画像及び参照画像を入力し、ブロック毎に移動量を検出する移動量検出部と、
前記移動量検出部にて検出した移動量を記憶する移動量記憶部と、
前記移動量記憶部に記憶されている移動量を比較し、移動量の少ない方からＳ個（Ｓは１以上の整数）のブロックを選択する停止ブロック選択部と、
前記選択されたＳ個のブロックに対しては、前記ＤＣＴ処理及び前記量子化処理を実行せず、ＤＣＴ係数を強制的に０に置き換えて動画像符号化処理を実行する動画像符号化部とを備えたことを特徴とする符号化処理装置。
請求項１０又は１１に記載の符号化処理装置において、
ｒフレーム（ｒは２以上の整数）にｒ−１回のみ、ＤＣＴ係数を強制的に０に置き換える動画像符号化処理を実行することを特徴とする符号化処理装置。
請求項１２記載の符号化処理装置において、
前フレームの符号量に総ブロック数／Ｓを掛けて符号量を補正し、その補正した符号量を基にビットレート制御を行う手段を更に備えたことを特徴とする符号化処理装置。
請求項１０又は１１に記載の符号化処理装置を有する画像処理回路と、
画像光を画像信号に変換するセンサと、
入射された画像光を前記センサ上に結像させる光学系と、
前記画像信号をデジタルデータに変換して前記画像処理回路に出力する変換器とを備えたことを特徴とする撮像システム。
請求項１０又は１１に記載の符号化処理装置を有する画像処理回路と、
入力されたアナログ値の画像信号をデジタルデータに変換して前記画像処理回路に出力する変換器とを備えたことを特徴とする信号処理システム。