JP5583439B2 - 画像符号化装置及びカメラシステム - Google Patents

Description

本発明は、動画像を符号化する画像符号化装置及び当該画像符号化装置を備えたカメラシステムに関するものである。

従来、ＭＰＥＧ(Moving Picture Experts Group)に準拠した方式を用いて、フレーム内符号化及びフレーム間符号化を行う画像符号化装置が知られている。このような画像符号化装置では、近年、高画質化のための画像サイズの拡大に伴って、符号化処理に必要な消費電力や処理時間の増大が問題になっている。このような問題を解決するため、特許文献１に開示された画像符号化装置は、双方向符号化を用いる参照モードと、双方向符号化を用いない参照モードとのうちのいずれか一方を、解像度設定やフレームレート設定等、符号化の実行環境に応じて選択するようにしている。これにより、実行環境に応じた最適な符号化処理を実行できる。

国際公開第２００５／０７６６２９号パンフレット

しかし、上記特許文献１では、撮影された画像の性質が参照モードの選択に反映されないので、画像によっては画質が著しく劣化してしまう。

本発明は上記従来の問題点を解決するもので、その目的とするところは、動画像の符号化処理による画質の劣化を防止しつつ、符号化処理に必要な消費電力及び処理時間を削減することにある。

上記の課題を解決するため、本発明の一態様は、動画像を符号化する画像符号化装置であって、符号化対象画像の輝度データ及び色差データに対して符号化処理を行って符号化データを出力する圧縮処理部と、符号化対象画像の空間周波数に基づいて、順方向予測、逆方向予測、及び双方向予測のうちのいずれかを前記符号化処理に用いる予測方法として選択する予測方法選択処理を実行可能であり、当該予測方法選択処理を実行するか否かを、前記符号化対象画像の動き量を示す画像移動情報に基づいて判定するシーン判定を行う圧縮制御部とを備えていることを特徴とする。

この態様によると、符号化処理に用いる予測方法を、符号化対象画像の空間周波数に基づいて決定できる。したがって、画質の劣化の抑制効果、及び符号化処理に必要な消費電力及び処理時間の削減効果が効果的に得られるように、符号化処理に用いる予測方法を適切に決定できる。

本発明により、動画像の符号化処理による画質の劣化を防止しつつ、符号化処理に必要な消費電力及び処理時間を削減できる。

本発明の実施形態１に係るカメラシステムの構成を示すブロック図である。 本発明の実施形態１に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 本発明の実施形態１の変形例１に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 本発明の実施形態１の変形例２に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 本発明の実施形態１の変形例３に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 本発明の実施形態２に係るカメラシステムの構成を示すブロック図である。 本発明の実施形態２に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 本発明の実施形態２の変形例１に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態において、他の実施形態と同様の動作を行うステップについては、同一の符号を付して説明を省略する。

(実施形態１)
本発明の実施形態１に係るカメラシステム１００は、図１に示すように、撮像装置１０１と、撮像制御装置１０２と、画像処理装置１０３と、記憶装置１０４と、表示装置１０５とを備えている。カメラシステム１００は、例えば、ネットワークカメラ、車載カメラ、デジタルビデオカメラ、デジタルスチルカメラに搭載される。

撮像装置１０１は、撮像素子により映像光を電気信号に変換する。

撮像制御装置１０２は、撮像装置１０１の撮像素子により得られた電気信号の取り込みタイミング、撮像装置１０１の撮像素子への映像光の照射時間を制御するとともに、前記電気信号に対してデジタル変換を行って映像信号として出力する。

画像処理装置１０３は、画像入力部１０６と、画像符号化装置１０７とを備えている。

画像入力部１０６は、撮像制御装置１０２により出力された映像信号に対して、自動露出（ＡＥ:Automatic Exposure）処理、色調補正（ＷＢ:White Balance）処理、アパーチャ処理、ＹＣ（輝度色差信号）処理、及びノイズ除去処理を施すことにより、画像の輝度データ及び色差データを生成する。また、画像入力部１０６は、動き検出部１０８と、周波数検出部１０９とを備えている。動き検出部１０８は、撮像制御装置１０２により出力された映像信号に基づいて、代表マッチング方式により動き量（画像移動情報）を求める。周波数検出部１０９は、撮像制御装置１０２により出力された映像信号に基づいて、当該映像信号により示される画像の空間周波数を複数の周波数検出範囲から検出する。周波数検出範囲は、１つの画像を複数に分割した分割領域であり、各周波数検出範囲（分割領域）は、複数のマクロブロックにより構成される。

画像符号化装置１０７は、画像入力部１０６により生成された輝度データ及び色差データに対して符号化を行って符号化データを出力する。詳しくは、画像符号化装置１０７は、圧縮処理部１１０と、圧縮制御部１１１と、表示ＩＦ（Interface）１１２とを備えている。

圧縮処理部１１０は、画像入力部１０６により生成された符号化対象画像の輝度データ及び色差データに対して符号化処理を行って符号化データとして出力する。この符号化処理は、ＭＰＥＧに準拠した方式で行われる。この符号化処理の際、いずれの参照画像を参照するかが、圧縮制御部１１１により制御される。また、符号化処理により、動きベクトル及び符号量が求められる。

圧縮制御部１１１は、動き検出部１０８により求められた動き量、及び周波数検出部１０９により検出された空間周波数に基づいて、符号化処理の際に圧縮処理部１１０により参照される参照画像を選択する。そして、選択した参照画像を参照して符号化処理を行うよう、圧縮処理部１１０を制御する。圧縮制御部１１１は、シーン判定部１１３と、画像差異判定部１１４とを備えている。

画像差異判定部１１４は、符号化対象画像の空間周波数に基づいて、参照画像を選択する。つまり、画像差異判定部１１４は、符号化対象画像の空間周波数に基づいて、順方向予測、逆方向予測、及び双方向予測のうちから、圧縮処理部１１０の符号化処理に用いる予測方法を選択する予測方法選択処理を実行する。

シーン判定部１１３は、双方向予測符号化画像（前方フレーム及び後方フレームを参照するピクチャ）として圧縮される画像に対し、画像差異判定部１１４による予測方法選択処理を行うか否かを判定する。この判定は、動き検出部１０８により求められた動き量に基づいて行う。

表示ＩＦ１１２は、画像入力部１０６により生成された輝度データ及び色差データを出力する。

記憶装置１０４は、画像処理装置１０３の画像符号化装置１０７によって出力された符号化データを一時的に格納する。

表示装置１０５は、画像符号化装置１０７の表示ＩＦ１１２によって出力された輝度データ及び色差データに基づいて画像を表示する。

次に、図２を参照して圧縮処理部１１０及び圧縮制御部１１１の詳細な動作をステップ毎に説明する。この動作は、双方向予測符号化画像（前方後方フレーム参照ピクチャ）として圧縮される画像に対して行われる。また、この図２の動作は、１フレーム毎に行われる。つまり、参照画像の選択は、１フレーム毎に行われ、参照画像の制御は、１フレーム分の符号化を開始してから終了するまで切り換えられない。

ステップ２０１において、シーン判定部１１３は、動き検出部１０８により求められた動き量が所定以上であるか否かを判定し、所定以上である場合には画像差異判定部１１４に予測方法選択処理を行わせないと判定してステップ２０４に進む一方、所定未満である場合にはステップ２０２に進む。

ステップ２０２において、画像差異判定部１１４は、周波数検出部１０９により検出された空間周波数を読み出し、複数の周波数検出範囲における空間周波数の平均値が所定以上であるか否かを判定し、所定以上である場合にはステップ２０５に進む一方、所定未満である場合にはステップ２０３に進む。

ステップ２０３において、画像差異判定部１１４は、今回の符号化の対象となっている符号化対象画像の前方画像と後方画像とのうち、複数の周波数検出範囲における空間周波数の平均値が符号化対象画像と近い方を選択する。前方画像を選択した場合にはステップ２０６に進む一方、後方画像を選択した場合にはステップ２０７に進む。

ステップ２０４において、圧縮制御部１１１は、順方向予測、逆方向予測、及び双方向予測のすべての予測方法を用いて符号化処理を行うよう圧縮処理部１１０を制御する。この制御に従って、圧縮処理部１１０が符号化処理を行う。このとき、圧縮処理部１１０には、前方画像及び後方画像の入力が必要となる。

ステップ２０５において、圧縮制御部１１１は、前方画像及び後方画像の両方を参照画像として符号化処理を行うよう圧縮処理部１１０を制御する。つまり、圧縮制御部１１１は、双方向予測により符号化処理を行うよう圧縮処理部１１０を制御する。この制御に従って、圧縮処理部１１０が符号化処理を行う。このとき、圧縮処理部１１０には、前方画像及び後方画像の入力が必要となる。

ステップ２０６において、圧縮制御部１１１は、前方画像のみを参照画像として符号化処理を行うよう圧縮処理部１１０を制御する。つまり、圧縮制御部１１１は、順方向予測により符号化処理を行うよう圧縮処理部１１０を制御する。この制御に従って、圧縮処理部１１０が符号化処理を行う。このとき、圧縮処理部１１０には、前方画像の入力が必要となる。このようにして符号化された画像の復号化処理には、前方画像のみが必要となる。したがって、符号化処理と復号化処理の両方におけるメモリアクセス量を軽減できる。

ステップ２０７において、圧縮制御部１１１は、後方画像のみを参照画像として符号化処理を行うよう圧縮処理部１１０を制御する。つまり、圧縮制御部１１１は、逆方向予測により符号化処理を行うよう圧縮処理部１１０を制御する。この制御に従って、圧縮処理部１１０が符号化を行う。このとき、圧縮処理部１１０には、後方画像の入力が必要となる。このようにして符号化された画像の復号化処理には、後方画像のみが必要となる。したがって、符号化処理と復号化処理の両方におけるメモリアクセス量を軽減できる。

本実施形態によると、画像の動き量が小さく、かつ空間周波数が低いときには、符号化処理の際、１枚の参照画像のみを参照するので、符号化処理と復号化処理におけるメモリアクセス量が軽減される。したがって、消費電力を削減できる。また、画像の動き量が小さくかつ空間周波数が低いときには、参照画像を減らしても画質への影響が小さいので、画質の劣化を抑制できる。

(実施形態１の変形例１)
本発明の実施形態１の変形例１に係るカメラシステム１００では、圧縮制御部１１１が、図２に示す動作に代えて、図３に示す動作を実行する。同図に示すように、本変形例では、圧縮制御部１１１が、ステップ２０３に代えて、ステップ３０１の動作を実行する。

ステップ３０１では、画像差異判定部１１４が、今回符号化の対象となっている符号化対象画像の前方画像と後方画像とのうち、上記複数の周波数検出範囲における空間周波数の積算値が符号化対象画像と近い方を選択する。前方画像を選択した場合にはステップ２０６に進む一方、後方画像を選択した場合にはステップ２０７に進む。

そのほかの構成及び動作は実施形態１と同じであるので、図３において同一の処理には同一の符号を付してその詳細な説明を省略する。

（実施形態１の変形例２）
本発明の実施形態１の変形例２に係るカメラシステム１００では、圧縮制御部１１１が、図２に示す動作に代えて、図４に示す動作を実行する。同図に示すように、本変形例では、圧縮制御部１１１が、ステップ２０３に代えて、ステップ４０１の動作を実行する。

ステップ４０１では、画像差異判定部１１４が、今回符号化の対象となっている符号化対象画像の前方画像と後方画像とのうち、今回の符号化対象画像との上記複数の周波数検出範囲における空間周波数の差分の最大値が小さい方を選択する。前方画像を選択した場合にはステップ２０６に進む一方、後方画像を選択した場合にはステップ２０７に進む。

そのほかの構成及び動作は実施形態１と同じであるので、図４において同一の処理には同一の符号を付してその詳細な説明を省略する。

（実施形態１の変形例３）
本発明の実施形態１の変形例３に係るカメラシステム１００では、圧縮制御部１１１が、図２に示す動作に代えて、図５に示す動作を実行する。同図に示すように、本変形例では、圧縮制御部１１１が、ステップ２０３に代えて、ステップ５０１の動作を実行する。

ステップ５０１では、画像差異判定部１１４が、今回符号化の対象となっている符号化対象画像の前方画像と後方画像とのうち、上記複数の周波数検出範囲のうち、今回の符号化対象画像の空間周波数との差分が閾値よりも大きくなる空間周波数を検出する周波数検出範囲の数が多い方を選択する。前方画像を選択した場合にはステップ２０６に進む一方、後方画像を選択した場合にはステップ２０７に進む。

そのほかの構成及び動作は実施形態１と同じであるので、図５において同一の処理には同一の符号を付してその詳細な説明を省略する。

（実施形態２）
本発明の実施形態２に係るカメラシステム１００は、図６に示すように、圧縮制御部１１１が、シーン判定部１１３、及び画像差異判定部１１４に加え、符号量蓄積部６０１を備えている。この符号量蓄積部６０１は、圧縮処理部１１０の符号化処理により求められた符号量を蓄積する。

また、本実施形態２に係るカメラシステム１００では、圧縮制御部１１１が、図２に示す動作に代えて、図７に示す動作を実行する。同図に示すように、本実施形態２では、圧縮制御部１１１が、ステップ２０１の前に、ステップ８０１の動作を実行する。

ステップ８０１では、シーン判定部１１３が、圧縮処理部１１０による符号化処理に用いられる圧縮率が所定の閾値を上回るか否かを判定し、上回る場合には画像が高圧縮状態であると判定してステップ２０４に進む一方、上回らない場合には画像が低圧縮状態であると判定してステップ２０１に進む。

ステップ８０１の判定に用いる閾値は、固定値であってもよいし、ターゲットシステムのビットレートに基づいて制御されるようにしてもよい。ビットレートが高いときには高く、ビットレートが低いときには低く制御されるようにすることにより、効率良く参照画像を選択できる。

そのほかの構成及び動作は実施形態１と同じであるので、図６及び図７において同一の構成及び処理には同一の符号を付してその詳細な説明を省略する。

本実施形態２によると、高圧縮時に発生する画質の劣化を抑制しつつ、符号化処理と復号化処理におけるメモリアクセス量を軽減することにより消費電力を削減することができる。

（実施形態２の変形例１）
本発明の実施形態２の変形例１に係るカメラシステム１００では、圧縮制御部１１１が、図７に示す動作に代えて、図８に示す動作を実行する。同図に示すように、本変形例では、圧縮制御部１１１が、ステップ８０１に代えて、ステップ９０１の動作を実行する。

ステップ９０１では、シーン判定部１１３が、圧縮処理部１１０による符号化処理のビットレートが所定の閾値を上回るか否かを判定し、上回る場合には画像が高圧縮状態であると判定してステップ２０４に進む一方、上回らない場合には画像が低圧縮状態であると判定してステップ２０１に進む。

そのほかの構成及び動作は実施形態２と同じであるので、図８において同一の処理には同一の符号を付してその詳細な説明を省略する。

なお、上記実施形態１、２及びそれらの変形例では、圧縮制御部１１１による参照画像の選択（シーン判定部１１３による判定）が、１フレーム毎に行われたが、マクロブロック等、フレームの一部を構成する分割領域毎に行われるようにしてもよい。これにより、参照画像の選択をより高精細に行うことができる。

また、上記実施形態１、２及びそれらの変形例では、ステップ２０１において、動き検出部１０８により求められた動き量に基づいて予測方法選択処理を行うか否かを判定したが、レンズ制御部（図示せず）により求められた角速度情報、又は符号化対象画像の一つ前の画像について圧縮処理部１１０により求められた動きベクトルに基づいて判定するようにしてもよい。また、動き検出部１０８により求められた動き量、上記角速度情報、及び上記動きベクトルのうちの２つ又は全てに基づいて判定するようにしてもよい。

また、予測方法選択処理を行うか否かの判定に、圧縮処理部１１０により求められた動きベクトルを使用することにより、マクロブロック毎の判定が容易になる。

また、予測方法選択処理、又は当該予測方法選択処理を行うか否かの判定に、従来のカメラにおいて使用されている情報（カメラの角速度、動きベクトル（画像動き情報）、空間周波数等）を用いることにより、処理の増加を抑制できる。

また、予測方法選択処理、又は当該予測方法選択処理を行うか否かの判定に、符号化処理により取得される圧縮情報（符号量、ビットレート等）を用いることにより、通常の動画撮影時におけるレート制御に応じた最適な予測方法を選択できる。

また、上記実施形態１、２及びそれらの変形例では、ステップ２０２において、複数の周波数検出範囲における空間周波数の平均値が所定以上であるか否かに基づいて、ステップ２０５とステップ２０３のいずれに進むかを判定した。しかし、当該判定は、複数の周波数検出範囲における空間周波数のうち、所定の閾値を超えるものの個数が所定個以上であるかに基づいて行ってもよい。また、当該判定は、圧縮制御部１１１による参照画像の選択（シーン判定部１１３による判定）を各周波数検出範囲（分割領域）毎に行う場合には、当該周波数検出範囲の空間周波数が所定以上であるか否かに基づいて行ってもよい。

また、本発明は、双方向予測符号化を用いる符号化方式であれば、ＭＰＥＧ以外の符号化方式にも適用できる。

本発明は、動画像を符号化する画像符号化装置及び当該画像符号化装置を備えたカメラシステムとして有用である。

１００ カメラシステム
１０１ 撮像装置
１０２ 撮像制御装置
１０４ 記憶装置
１０５ 表示装置
１０６ 画像入力部
１０７ 画像符号化装置
１１０ 圧縮処理部
１１１ 圧縮制御部

Claims (15)

1. 動画像を符号化する画像符号化装置であって、
   符号化対象画像の輝度データ及び色差データに対して符号化処理を行って符号化データを出力する圧縮処理部と、
   符号化対象画像の空間周波数に基づいて、順方向予測、逆方向予測、及び双方向予測のうちのいずれかを前記符号化処理に用いる予測方法として選択する予測方法選択処理を実行可能であり、当該予測方法選択処理を実行するか否かを、前記符号化対象画像の動き量を示す画像移動情報に基づいて判定するシーン判定を行う圧縮制御部とを備えていることを特徴とする画像符号化装置。
2. 請求項１の画像符号化装置において、
   前記画像移動情報は、代表点マッチング方式により求められた画素移動情報を含むことを特徴とする画像符号化装置。
3. 請求項１の画像符号化装置において、
   当該画像符号化装置は、カメラに搭載され、
   前記画像移動情報は、前記カメラの角速度情報を含むことを特徴とする画像符号化装置。
4. 請求項１の画像符号化装置において、
   前記画像移動情報は、今回符号化処理の対象となっている画像の一つ前の画像について求められた動きベクトルを含むことを特徴とする画像符号化装置。
5. 請求項１の画像符号化装置において、
   前記画像移動情報は、代表点マッチング方式により求められた画素移動情報、角速度情報、及び今回符号化処理の対象となっている画像の一つ前の画像について求められた動きベクトルのうちの少なくとも２つを含むことを特徴とする画像符号化装置。
6. 請求項１の画像符号化装置であって、
   前記予測方法選択処理は、前記符号化処理の方法として順方向予測、及び逆方向予測のいずれか一方を選択するとき、参照画像の複数の周波数検出範囲における空間周波数の平均値が符号化対象画像と近い方を選択するものであることを特徴とする画像符号化装置。
7. 請求項１の画像符号化装置であって、
   前記予測方法選択処理は、前記符号化処理の方法として順方向予測、及び逆方向予測のいずれか一方を選択するとき、参照画像の複数の周波数検出範囲における空間周波数の積算値が符号化対象画像と近い方を選択するものであることを特徴とする画像符号化装置。
8. 請求項１の画像符号化装置であって、
   前記予測方法選択処理は、前記符号化処理の方法として順方向予測、及び逆方向予測のいずれか一方を選択するとき、参照画像と符号化対象画像との複数の周波数検出範囲における空間周波数の差分の最大値が小さい方を選択するものであることを特徴とする画像符号化装置。
9. 請求項１の画像符号化装置であって、
   前記予測方法選択処理は、前記符号化処理の方法として順方向予測、及び逆方向予測のいずれか一方を選択するとき、参照画像の複数の周波数検出範囲のうち、符号化対象画像の空間周波数との差分が閾値よりも大きくなる空間周波数を検出する周波数検出範囲の数が多い方を選択するものであることを特徴とする画像符号化装置。
10. 請求項１の画像符号化装置であって、
    前記シーン判定は、前記画像移動情報に加え、前記符号化処理の圧縮率を示す圧縮状態判定値にさらに基づいて、前記予測方法選択処理を実行するか否かを判定するものであることを特徴とする画像符号化装置。
11. 請求項１の画像符号化装置であって、
    前記シーン判定は、前記画像移動情報に加え、前記符号化処理のビットレートを示す圧縮状態判定値にさらに基づいて、前記予測方法選択処理を実行するか否かを判定するものであることを特徴とする画像符号化装置。
12. 請求項１０の画像符号化装置であって、
    前記シーン判定は、前記圧縮状態判定値が所定の第１の閾値を上回るか否かを判定し、当該判定結果に基づいて、前記予測方法選択処理を実行するか否かを判定するものであることを特徴とする画像符号化装置。
13. 請求項１の画像符号化装置であって、
    前記圧縮制御部によるシーン判定が、フレーム毎に行われることを特徴とする画像符号化装置。
14. 請求項１の画像符号化装置であって、
    前記圧縮制御部によるシーン判定が、フレームの一部を構成する分割領域毎に行われることを特徴とする画像符号化装置。
15. 請求項１〜１４のうちのいずれか１項の画像符号化装置と、
    撮像素子により映像光を電気信号に変換する撮像装置と、
    前記撮像素子により得られた電気信号の取り込みタイミング、前記撮像素子への映像光の照射時間を制御するとともに、前記電気信号に対してデジタル変換を行って映像信号として出力する撮像制御装置と、
    前記撮像制御装置により出力された映像信号に基づいて、前記輝度データ及び色差データを生成する画像入力部と、
    前記画像符号化装置の圧縮処理部により出力された符号化データを一時的に格納する記憶装置と、
    前記画像符号化装置の画像入力部により生成された輝度データ及び色差データに基づいて画像を表示する表示装置とを備えたカメラシステム。

Images