JP4585981B2

JP4585981B2 - 画像符号化方法及び画像符号化装置

Info

Publication number: JP4585981B2
Application number: JP2006066091A
Authority: JP
Inventors: 晃弘大石
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-03-10
Filing date: 2006-03-10
Publication date: 2010-11-24
Anticipated expiration: 2026-03-10
Also published as: JP2007243813A

Description

本発明はディジタル画像の符号化を行う画像符号化方法及び画像符号化装置に関するものである。

従来、MPEGでは、画面内の情報で符号化を行うイントラ符号化と画面間差分を用いるインター符号化を行う。画面間差分符号化では、入力画像と参照画像との差分を符号化するようにしている。

符号化は、与えられたレートからそのピクチャに割り当てられる符号量を定め、その符号量を目標に行う。符号化されたピクチャは、ピクチャ符号量と量子化係数から複雑度を算出する。この複雑度はピクチャタイプ毎に分けられ、ピクチャタイプ毎に符号量比率を決定し、レートからピクチャに割り当てる符号量を算出するために用いられる。

また、上記複雑度を利用して、画質破綻がないように符号化に難しい画像と判定した場合はレートを上げ、符号化に優しい画像と判定した場合はレートを下げるような制御を行っている。

また、MPEGコーデックを搭載した撮像装置が既に製品化されており、これに関連する先行技術文献も既に存在する（例えば、特許文献１を参照）。特許文献１に記載の「符号化装置」には、シャッタ速度情報に応じて符号化制御を行うことが開示されている。

特開２００１―０２５０１１号公報

しかしながら、上記の如き従来の技術においては、フラッシュ光が発光したときの符号化制御について言及したものはなかった。また、複雑度を用いてレート制御を行う方法は、フィードバック処理であり、突然の画像変化には対応しきれない。このため、フラッシュ光が発光したときのように急激な輝度変化が生じたとき、ピクチャの変化に対応できず画質が劣化するといった課題があった。

本発明は上述の問題点にかんがみ、フラッシュ光がたかれた画像及びそれ以降の画像の画質劣化を抑制して良好な画質が得られるようにすることを目的としている。

本発明の画像符号化方法は、予測符号化を含む符号化を行う画像符号化方法であって、符号化するピクチャが、フラッシュを受けた画面を含むフラッシュピクチャであるか否かを検出するフラッシュ検出工程と、前記フラッシュ検出工程において、フラッシュピクチャであると検出された場合に、前記フラッシュピクチャのピクチャタイプを判定するピクチャタイプ判定工程と、前記ピクチャタイプ判定工程において判定されたピクチャタイプに応じて、前記符号化するピクチャを含む所定のピクチャの符号量を調整する符号量調整工程とを有し、前記符号量調整工程においては、前記フラッシュピクチャのピクチャタイプがBピクチャの場合には、前記符号化するピクチャの符号量のみを増加させ、前記フラッシュピクチャのピクチャタイプがIピクチャまたはPピクチャの場合には、前記符号化するピクチャの符号量及び前記フラッシュピクチャを前記予測符号化の際の参照画像として使用するピクチャの符号量を増加させることを特徴とする。

本発明の画像符号化装置は、予測符号化を含む符号化を行う画像符号化装置であって、符号化するピクチャが、フラッシュを受けた画面を含むフラッシュピクチャであるか否かを検出するフラッシュ検出手段と、前記フラッシュ検出手段により、フラッシュピクチャであると検出された場合に、前記フラッシュピクチャのピクチャタイプを判定するピクチャタイプ判定手段と、前記ピクチャタイプ判定手段により判定されたピクチャタイプに応じて、前記符号化するピクチャを含む所定のピクチャの符号量を調整する符号量調整手段とを有し、前記符号量調整手段は、前記フラッシュピクチャのピクチャタイプがBピクチャの場合には、前記符号化するピクチャの符号量のみを増加させ、前記フラッシュピクチャのピクチャタイプがIピクチャまたはPピクチャの場合には、前記符号化するピクチャの符号量及び前記フラッシュピクチャを前記予測符号化の際の参照画像として使用するピクチャの符号量を増加させることを特徴とする。

本発明によれば、予測符号化を含む符号化を行う際に、符号化するピクチャがフラッシュを受けた画面を含むフラッシュピクチャであるか否かを検出し、フラッシュピクチャの場合には、そのピクチャタイプに応じて所定のピクチャの符号量を増加させるようにしたので、フラッシュ光を受けた画像であっても画質を破綻させないようにすることができ、良好な画質の画像を提供することができる。

（第１の実施形態）
図１は、本発明の実施形態を示し、画像符号化方法の手順を説明するフローチャートである。
先ず、エンコードを開始する(ステップＳ１０１)。次に、flagに「０」を入力し(ステップＳ１０２)、レート算出しセットする(ステップＳ１０３)。レートは目標レートに対し、これまでのエンコード結果を加味して算出する。次に、評価値演算を行う(ステップＳ１０４)。

図２は、評価値演算を行う画素ブロックの説明図である。ここで、評価値はTOP Fieldの合計値とBottom Fieldの合計値の差分絶対値和を計算して算出する。フラッシュ光が当てられたピクチャ（フラッシュピクチャ）は、片フィールドのみにフラッシュ光が当たるため、フィールド毎の合計値で大きな差が発生する。

図１に戻り、動作説明を続ける。
評価値演算(ステップＳ１０４)の値から、画像にフラッシュ光が発生したか否かの有無を判定する(ステップＳ１０５)。ステップＳ１０５の判定の結果、フラッシュ光が有ると判定した場合は、そのピクチャのピクチャタイプがI,PピクチャかBピクチャかを判定する(ステップＳ１０６)。

ステップＳ１０６の判定の結果、IまたはPピクチャの場合は、flagに「１」を入力し(ステップＳ１０８)、Add Rate(ステップＳ１０９)へ進む。また、Bピクチャの場合は、Add Rate(ステップＳ１０９)へ進む。

また、ステップＳ１０５の判定の結果、フラッシュ光が無いと判定した場合は、GOP flagが「０」か「１」かを判定する(ステップＳ１０７)。この判定の結果、GOP flagが「０」のときは、Encode(ステップＳ１１０)へ進む。また、GOP flagが「１」のときは、Add Rate(ステップＳ１０９)へ進む。フラッシュ光は画質に影響が出るため、画質を維持するにはセットされたレートよりも高くする必要がある。

図３は、フラッシュ光が当てられたピクチャ及びフラッシュ発生により影響を受けるピクチャを表した図である。図３において、格子になったピクチャはフラッシュの影響を受けるピクチャである。ピクチャタイプによって変わるが、I及びPピクチャの場合は、参照画像となるため以降のピクチャにも影響を及ぼす。

また、フラッシュ光が当てられたピクチャを参照画像とした場合、次ピクチャの符号化では画面間差分が大きくなり符号量を増やさなければ画質が劣化してしまう。ただし、次の参照画像の画質を劣化させなければ、以降の画質は劣化しない。また、Bピクチャの場合は、参照画像にならないため、そのピクチャのみに影響が出る。

したがって、I及びPピクチャでフラッシュを検出した場合、画質劣化を防ぐために次の参照画像及びフラッシュ光が当てられたピクチャを参照画像として使用するまでのピクチャについては符号量を増やす必要がある。また、Bピクチャの場合は、そのピクチャのみ符号量を増やす必要がある。

図１に戻って動作説明を続ける。ステップＳ１０９におけるAdd Rateでは、画質劣化を防ぐため、ステップＳ１０３でセットしたレートよりも高いレートとするためにレートを上げる。上げるレートは、ステップＳ１０３でセットしたレート及びステップＳ１０４の評価値より決定する。ただし、規定の最大レートより高くならないように上限を監視してレートを決定する。

次に、入力画像に対し与えられたレートで符号化を行う(ステップＳ１１０)。符号化終了後、次に符号化するピクチャがあるか否かを判定する(ステップＳ１１１)。

ステップＳ１１１の判定の結果、ピクチャがあれば、ステップＳ１１２に進んでレート補正ピクチャであるか否かの判定を行う。

ステップＳ１１２で行う判定は、前述の図３を用いて説明したように、ピクチャの符号量を増やす必要があるか否かの判定であり、フラッシュ光が当てられたピクチャのピクチャタイプによって決定されるものである。

ステップＳ１１２の判定の結果、レート補正ピクチャであれば、ステップＳ１０３へ戻る。また、レート補正ピクチャでなければ、ステップＳ１０２へ戻りflagをリセットするために「０」を入力する。一方、ステップＳ１１１の判定の結果、ピクチャがなければエンコードを終了する。

前述のようにして符号化することにより、フラッシュ光が当てられたピクチャ及びフラッシュの影響を受けるピクチャの画質劣化を防ぐことができる。本実施形態では、フラッシュ光が当てられたピクチャ及びそのピクチャを参照画像としたピクチャをフラッシュの影響を受けるピクチャとしたが、レートを上げてピクチャ符号量を増やしても画質劣化がある場合は、GOP中のレートを上げることも可能である。画質劣化を判定するものとしては、量子化係数の平均値や、入力画像とローカルデコード画像のS/N比較等がある。

図４は、本発明の画像符号化装置の実施形態を最もよく表わすブロック図である。
図４において、１０１はレンズであり、１０２は撮像素子であり、１０３はカメラ信号処理回路であり、１０４は画面並び替え回路である。また、１０５は評価値計算回路であり、１０６は第１のスイッチであり、１０７はDCT回路であり、１０８は量子化回路であり、１０９は逆量子化回路であり、１１０はIDCT回路である。また、１１１は加算器であり、１１２は第２のスイッチであり、１１３は動き補償予測回路である。また、１１４は減算器であり、１１５は可変長符号化回路であり、１１６はバッファであり、１１７はレート制御回路であり、１１８は量子化係数算出回路であり、１１９は記録媒体である。

符号化には、イントラ符号化とインター符号化の二種類の符号化がある。イントラ符号化とは、フレーム内のデータのみで符号化を行うものであり、インター符号化とは、フレーム間予測も含めて符号化するものである。

フレーム符号化には、フレーム内の全てのデータをイントラ符号化したものをIピクチャ、前フレーム間予測を含むPピクチャ、及び前後フレーム間予測を含むBピクチャがある。そして、Iピクチャから次のIピクチャの手前のピクチャまでを１つのグループオブピクチャ(GOP)という。

次に、図４を参照しながら本実施形態の画像符号化装置の構成及び動作を説明する。
レンズ１０１から入力された画像は、画像素子１０２で１フレーム単位にディジタルの画像信号として生成されてカメラ信号処理回路１０３に入力される。カメラ信号処理回路１０３では、画像信号を用いて補正値を決定し、画像信号を補正した画像データを色差信号、輝度信号に分けて１フレーム単位に画面並び替え回路１０４に供給する。

画面並び替え回路１０４は、複数フレームを記憶できるメモリを持っており、入力されたフレームの順番を入れ替えて出力する。画面並び替え回路１０４に第１フレーム、第２フレーム、第３フレーム、・・・と順番に入力されると、画面並び替えを行い、例えば、第３フレーム、第１フレーム、第２フレーム、・・・と出力する。画面並び替え回路１０４のメモリに記憶された画像データを用いて、評価値計算回路１０５では、フラッシュピクチャか否かの判定を行う。

符号化するピクチャタイプがIピクチャの場合、第１のスイッチ１０６は接点Ａ側に倒れる。これにより、画面並び替え回路１０４から出力された画像データは、第１のスイッチ１０６を介して、DCT回路１０７に入力されて直交変換される。

また、ピクチャタイプがＰ、Ｂピクチャの場合、第１のスイッチ１０６は接点Ｂ側に倒れる。画面並び替え回路１０４から出力された画像データは、第１のスイッチ１０６を介して、動き補償予測回路１１３からの予測画像とを減算器１１４で減算する。減算器１１４は、時間軸方向の冗長度を落とすためである。

減算器１１４で時間軸方向の冗長度を落とした画像データは、DCT回路１０７に入力され、直交変換される。全てのピクチャで、DCT回路１０７で直交変換された画像データは、量子化回路１０８で量子化される。

量子化回路１０８では、量子化係数算出回路１１８から出力された量子化係数を用いて量子化を行う。量子化された画像データは、逆量子化回路１０９と可変長符号化回路１１５に入力される。また、画面並び替え回路１０４から出力された画像データは動き補償予測回路１１３に入力される。

量子化されたデータは逆量子化回路１０９で逆量子化され、IDCT回路１１０でIDCTされ、IDCTされた画像データは、第２のスイッチ１１２がOFFされ、動き補償予測回路１１３に入力される。動き補償予測回路１１３は次のインター符号化のために予測画像を出力する。

量子化されたデータは、可変長符号化回路１１５に入力され、可変長符号化され、バッファ１１６に入力される。バッファ１１６内の画像データは、記録媒体１１９に記録される。また、バッファ１１６内の画像データから符号化データ量を算出し、符号化データ量をレート制御回路１１７に入力される。レート制御回路１１７では、定められたビットレートより符号化ピクチャの目標符号量を決定する。量子化係数算出回路１１８では、量子化係数を決定する。

前述のように構成された画像符号化装置において、本実施形態においては符号化するピクチャを検出し、フラッシュ光がたかれたピクチャのタイプに応じてピクチャの符号量を調整するようにした。これにより、フラッシュ光がたかれた画像及びそれ以降の画像の画質劣化を抑制して良好な画質の画像を得ることができる。

（本発明に係る他の実施形態）
上述した本発明の実施形態における画像符号化装置を構成する各手段、並びに画像符号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図１に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどである。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）なども含む。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのものをダウンロードすることによっても供給できる。もしくは、圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態を示し、画像符号化方法の手順を説明するフローチャートである。評価値演算を行う画素ブロックの説明図である。フラッシュ光が当てられたピクチャ及びフラッシュ発生により影響を受けるピクチャを表した図である。本発明の画像符号化装置の構成例を示すブロック図である。

符号の説明

１０１レンズ
１０２撮像素子
１０３カメラ信号処理回路
１０４画面並び替え回路
１０５評価値計算回路
１０６第１のスイッチ
１０７ DCT回路
１０８量子化回路
１０９逆量子化回路
１１０ IDCT回路
１１１加算器
１１２第２のスイッチ
１１３動き補償予測回路
１１４減算器
１１５可変長符号化回路
１１６バッファ
１１７レート制御回路
１１８量子化係数算出回路
１１９記録媒体

Claims

予測符号化を含む符号化を行う画像符号化方法であって、
符号化するピクチャが、フラッシュを受けた画面を含むフラッシュピクチャであるか否かを検出するフラッシュ検出工程と、
前記フラッシュ検出工程において、フラッシュピクチャであると検出された場合に、前記フラッシュピクチャのピクチャタイプを判定するピクチャタイプ判定工程と、
前記ピクチャタイプ判定工程において判定されたピクチャタイプに応じて、前記符号化するピクチャを含む所定のピクチャの符号量を調整する符号量調整工程とを有し、
前記符号量調整工程においては、前記フラッシュピクチャのピクチャタイプがBピクチャの場合には、前記符号化するピクチャの符号量のみを増加させ、前記フラッシュピクチャのピクチャタイプがIピクチャまたはPピクチャの場合には、前記符号化するピクチャの符号量及び前記フラッシュピクチャを前記予測符号化の際の参照画像として使用するピクチャの符号量を増加させることを特徴とする画像符号化方法。
前記符号化するピクチャを構成するフィールド毎に評価値を算出する評価値算出工程を有し、
前記フラッシュ検出工程は、前記評価値算出工程によって算出された前記フィールド毎の評価値の差により前記フラッシュピクチャを検出することを特徴とする請求項１に記載の画像符号化方法。
予測符号化を含む符号化を行う画像符号化装置であって、
符号化するピクチャが、フラッシュを受けた画面を含むフラッシュピクチャであるか否かを検出するフラッシュ検出手段と、
前記フラッシュ検出手段により、フラッシュピクチャであると検出された場合に、前記フラッシュピクチャのピクチャタイプを判定するピクチャタイプ判定手段と、
前記ピクチャタイプ判定手段により判定されたピクチャタイプに応じて、前記符号化するピクチャを含む所定のピクチャの符号量を調整する符号量調整手段とを有し、
前記符号量調整手段は、前記フラッシュピクチャのピクチャタイプがBピクチャの場合には、前記符号化するピクチャの符号量のみを増加させ、前記フラッシュピクチャのピクチャタイプがIピクチャまたはPピクチャの場合には、前記符号化するピクチャの符号量及び前記フラッシュピクチャを前記予測符号化の際の参照画像として使用するピクチャの符号量を増加させることを特徴とする画像符号化装置。
前記符号化するピクチャを構成するフィールド毎に評価値を算出する評価値算出手段を有し、
前記フラッシュ検出手段は、前記評価値算出手段によって算出された前記フィールド毎の評価値の差により前記フラッシュピクチャを検出することを特徴とする請求項３に記載の画像符号化装置。