JP5100667B2 - 画像符号化装置及び画像符号化方法 - Google Patents

Description

本発明は画像符号化装置及び画像符号化方法に関し、特に、フレーム間予測を行って画像を圧縮符号化するために用いて好適な技術に関する。

画像を高能率符号化するための技術として、ＪＰＥＧ方式の圧縮技術や動き予測・動き補償技術を用いたＭＰＥＧ１、２といった符号化方式が確立されている。各メーカーは、これらの符号化方式を利用して画像を記録媒体に記録可能としたディジタルカメラやディジタルビデオカメラといった撮像装置、或いはＤＶＤレコーダーなどの記録装置を開発し製品化している。

一方、ユーザは、これらの撮像装置や記録装置、或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて画像を簡単に視聴することが可能となっている。

ところで、ディジタル化された動画像は膨大なデータ量となる。そこで、ＭＰＥＧ１，２などよりも更なる高圧縮が望める動画像の符号化方式が研究され続けてきている。近年、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）とＩＳＯ（国際標準化機構）により、Ｈ．２６４／ＭＰＥＧ−４ ｐａｒｔ１０という符号化方式（以下、「Ｈ．２６４」と称す。）が標準化された。

ここで、Ｈ．２６４におけるピクチャタイプ及びフレーム間予測に用いる参照画像の選択について、図１２及び図１３を参照して説明する。なお、図１２（ａ）〜（ｃ）及び図１３（ａ）〜（ｂ）は、入力画像シーケンス及びそのピクチャタイプを表しており、上段が表示順序（左から順に表示）、下段が符号化順序（左から順に符号化）で示している。

例えば、図１２（ａ）において、Ｐ８ピクチャは９番目に表示されるＰピクチャのフレームであることを示している。また、図１２中の矢印は参照関係を示しており、例えば、図１２（ａ）に示した例では、Ｐ８ピクチャがＢ０ピクチャを参照していることを示す。また、図１２（ｂ）に示した例では、Ｂ０ピクチャがＰ２ピクチャとＢ７ピクチャとを参照していることを示す。

Ｈ．２６４における画像フレームのピクチャタイプは３種類である。すなわち、同一フレーム内の情報のみから符号化するＩピクチャと、時間的に前のフレームとの差分を利用して符号化するＰピクチャと、さらに時間的に前のフレームとの差分に加えて時間的に後のフレームとの差分も利用できるＢピクチャがある。

Ｈ．２６４においては、フレーム間予測を行う際に、画像シーケンス中の任意のフレーム及びピクチャタイプを参照画像として利用することが可能である。例えば、図１２（ａ）に示したようにＰピクチャ（Ｐ８）は、Ｉピクチャだけでなく、Ｉピクチャを飛び越してのフレームの参照が可能となる。同様に、図１２（ｂ）に示したように、Ｂピクチャ（Ｂ０）もＩピクチャだけでなく、Ｉピクチャを飛び越してのフレームの参照が可能となる。

このように、Ｈ．２６４では柔軟な参照を許容している。これにより、ＭＰＥＧ２のようにＰピクチャであれば当該Ｐピクチャの直前のＩピクチャもしくはＰピクチャしか参照できないような方式と比較して、Ｈ．２６４は、フレーム間予測精度が向上し、符号化効率を向上させることができる。

一方、前述したような柔軟な参照を許容したために、Ｈ．２６４においてはランダムアクセスが迅速に行えなくなる場合がある。その一例として、図１２（ｃ）において、ランダムアクセスにより画像シーケンスの途中のフレームであるＩ５ピクチャより再生する場合について説明する。

画像シーケンス中のＩ５ピクチャから再生を開始して、Ｐ８ピクチャを復号する場合には、Ｐ８ピクチャがＢ０ピクチャを参照しているので、このＢ０ピクチャを前以って復号しておく必要がある。さらに、Ｂ０ピクチャはＰ２ピクチャとＢ７ピクチャとを参照しているので、Ｂ０ピクチャを復号するには、これらＰ２ピクチャ及びＢ７ピクチャを前以って復号しておく必要がある。

同様に、図示していないが、Ｐ２ピクチャ及びＢ７ピクチャもそれぞれ他のピクチャを参照しているので、Ｐ２ピクチャ及びＢ７ピクチャを復号するには、他のピクチャを前以って復号しておく必要がある。このように、Ｉ５ピクチャから再生を開始したい場合であっても、Ｉ５ピクチャを飛び越しての参照を許容しているために、Ｉ５ピクチャ以前のデータに遡って復号を開始する必要が生じ、Ｉ５ピクチャから迅速に再生を開始することが困難になる。

そこで、この問題を解消し迅速なランダムアクセスを実現可能とするために、定期的にＩピクチャに制限を設ける方法が提案されている（特許文献１参照）。この制限付きのＩピクチャは、Ｈ．２６４ではＩＤＲピクチャと呼ばれている。

ここで、図１３（ａ）及び（ｂ）を参照して、ＩＤＲピクチャについて説明する。
図１３（ａ）及び（ｂ）に示した画像シーケンスは、図１２（ａ）及び（ｂ）と同様の画像シーケンスに対して、Ｉ５ピクチャをＩＤＲピクチャに設定した画像シーケンスである。

Ｉ５ピクチャをＩＤＲピクチャに設定すると、該ピクチャを符号化するときに参照画像を記録しているフレームメモリがクリアされる。したがって、ＩＤＲピクチャ以降に符号化されるピクチャが、そのＩＤＲピクチャ以前に符号化されたピクチャを参照することができない。同様に、ＩＤＲピクチャ以前に符号化されたピクチャが、そのＩＤＲピクチャ以降に符号化されるピクチャを参照することができない。

図１３（ａ）に示した例では、ＩＤＲ（ＩＤＲ５）ピクチャ以降に符号化されるＰピクチャ（Ｐ８など）やＢピクチャ（Ｂ６など）は、そのＩＤＲピクチャ以前に符号化されたＰピクチャ（Ｐ２など）やＢピクチャ（Ｂ０など）を参照することができない。

逆に、図１３（ｂ）に示した例では、ＩＤＲ（ＩＤＲ５）ピクチャ以前に符号化されるＰピクチャ（Ｐ２など）やＢピクチャ（Ｂ０など）は、そのＩＤＲピクチャ以降に符号化されたＰピクチャ（Ｐ８など）やＢピクチャ（Ｂ６など）を参照することができない。

これにより、ＩＤＲピクチャから再生を開始すれば、ＩＤＲピクチャ以前の画像データまで遡って復号する必要がないので、迅速なランダムアクセスを実現して再生することができる。

また、ＩＤＲピクチャを飛び越しての参照が禁止されるので、例えば、ＩＤＲピクチャをカットフレームとしたカット編集が再符号化処理をせずに可能となる。このようなＩＤＲピクチャを利用して編集を行うために、画像の動きの変化に応じて撮影者にとって重要と思われるシーンを判定し、ＩＤＲピクチャを設定する方法が提案されている（特許文献２参照）。

特開２００３−１９９１１２号公報 特開２００６−１５７８９３号公報

前述のようにＨ．２６４符号化方式では、フレーム間予測の参照関係を制限するＩＤＲピクチャを利用することでランダムアクセスを迅速に行うことができる。そのため、画像シーケンスの任意の場所から迅速な再生及び容易な編集を行うには数多くのＩＤＲピクチャが設定されている必要がある。

しかし、ＩＤＲピクチャを設定することにより、前述のように参照関係が制限される。このために、数多くのＩＤＲピクチャを設定すると符号化効率は低化する可能性がある。すなわち、符号化効率を考慮するならば、ＩＤＲピクチャの設定は必要最低限にすることが望ましい。

特許文献１のように、定期的にＩＤＲピクチャを設定する場合は、ランダムアクセスに必要のないフレームもＩＤＲピクチャに設定され、符号化効率は低化してしまう可能性がある。また、特許文献２のように、画像の動きの変化に応じて撮影者にとって重要と思われるシーンを判定してＩＤＲピクチャを設定する方法では、撮影者にとって重要と思われるシーンの全てについて判定することは困難である。

例えば、人が笑ったり、泣いたりするシーンは重要なシーンであると考えられるが、特許文献２のように画像の動きの変化に基いて重要なシーンを判定する方法では、笑顔や泣き顔のシーンを検出するのは困難である。

本発明は前述の問題点に鑑みてなされたものであり、符号化効率の低化を抑えながら、笑顔や泣き顔等の表情であるシーンから迅速な再生及び容易な編集を行うことができるようにすることを目的としている。

本発明の画像符号化装置は、複数のフレームから成る入力画像信号を圧縮符号化する画像符号化装置において、前記入力画像信号を解析して顔を識別するための顔情報を作成する顔情報作成手段と、前記入力画像信号を、フレーム間予測方式を利用して圧縮符号化する符号化手段と、前記符号化手段における符号化対象フレームに対して前記顔情報作成手段により作成された顔情報に基づき、当該符号化対象フレームを飛び越したフレーム間予測での参照を禁止するか否かを判定する禁止判定手段と、前記禁止判定手段により、前記符号化対象フレームを飛び越した参照を禁止すると判定された場合に、前記符号化対象フレームを飛び越し参照を禁止する基準フレームに設定する設定手段とを備えることを特徴とする。

本発明の画像符号化方法は、複数のフレームから成る入力画像信号を圧縮符号化する画像符号化方法において、前記入力画像信号を解析して顔を識別するための顔情報を作成する顔情報作成工程と、前記入力画像信号を、フレーム間予測方式を利用して圧縮符号化する符号化工程と、前記符号化工程における符号化対象フレームに対して前記顔情報作成工程において作成された顔情報に基づき、当該符号化対象フレームを飛び越したフレーム間予測での参照を禁止するか否かを判定する禁止判定工程と、前記禁止判定工程において、前記符号化対象フレームを飛び越した参照を禁止すると判定された場合に、前記符号化対象フレームを飛び越し参照を禁止する基準フレームに設定する設定工程とを備えることを特徴とする画像符号化方法。

本発明のコンピュータプログラムは、複数のフレームから成る入力画像信号を圧縮符号化する処理をコンピュータに実行させるコンピュータプログラムにおいて、前記入力画像信号を解析して顔を識別するための顔情報を作成する顔情報作成工程と、前記入力画像信号を、フレーム間予測方式を利用して圧縮符号化する符号化工程と、前記符号化工程における符号化対象フレームに対して前記顔情報作成工程において作成された顔情報に基づき、当該符号化対象フレームを飛び越したフレーム間予測での参照を禁止するか否かを判定する禁止判定工程と、前記禁止判定工程において、前記符号化対象フレームを飛び越した参照を禁止すると判定された場合に、前記符号化対象フレームを飛び越し参照を禁止する基準フレームに設定する設定工程とをコンピュータに実行させることを特徴とする。

本発明によれば、表情の度合いに応じて、必要最低限の画像フレームを基準フレームに設定して符号化を行うようにしたので、符号化効率の低化を抑えながら表情の度合いが高いシーンからの迅速な再生及び容易な編集を行うことが可能となる。これにより、例えば、笑顔フレームから頭出しを行うようにしたり、笑顔フレームを起点とした編集を行うようにしたりすることが容易にできる。

（第１の実施形態）
図１は、本発明の実施形態を示し、画像符号化装置の構成例を示すブロック図である。本実施形態における画像符号化装置は、表情の度合いに応じて基準フレームを設定し、符号化を行う装置である。以下、本実施形態の画像符号化装置の構成例について図１を参照して説明する。

本実施形態における画像符号化装置は、符号化部１０１、顔判定部１０２及び基準フレーム設定判定部１０３を有する。符号化部１０１は、入力される映像信号（入力画像信号）の圧縮符号化を行い、符号化ストリームを生成して出力する。本実施形態における符号化方式は、Ｈ．２６４符号化方式やＭＰＥＧ２符号化方式などのフレーム間予測方式を利用した符号化方式であり、以下は、Ｈ．２６４符号化方式を例として説明する。

顔判定部１０２は、入力される映像信号を解析し、被写体の顔を解析して顔を識別するための顔情報作成を行い、作成した顔情報を出力する。顔情報の詳細については後述する。基準フレーム設定判定部１０３は、顔判定部１０２から出力された顔情報に応じて、符号化部１０１で符号化する符号化対象フレームを基準フレームとして符号化すると判定した場合に、基準フレーム設定情報を符号化部１０１に出力する。

ここで、基準フレームとは、該基準フレームを飛び越したフレーム間予測での参照を禁止することにより、迅速にランダムアクセスが可能なピクチャタイプを設定されたフレームである。Ｈ．２６４符号化方式においては、基準フレームとは、ＩＤＲピクチャのフレームである。ＭＰＥＧ符号化方式においては、基準フレームとはIピクチャのフレームである。

次に、符号化部１０１、顔判定部１０２、基準フレーム設定判定部１０３の動作について詳しく説明する。
まず、符号化部１０１の構成例について、図２を参照して詳しく説明する。
図２は、符号化部１０１の構成例を示すブロック図である。図２に示すように、符号化部１０１は、フレーム並び替え部２０１、減算器２０２、整数変換部２０３、量子化部２０４、エントロピー符号化部２０５、逆量子化部２０６、逆整数変換部２０７等を有する。また、加算器２０８、第１のフレームメモリ２０９及び第２のフレームメモリ２１３、イントラ予測部２１０、第１のスイッチ２１１及び第２のスイッチ２１７を有する。さらに、デブロッキングフィルタ２１２、インター予測部２１４、動き検出部２１５、ピクチャタイプ決定部２１６を有する。

このように構成された本実施形態の画像符号化装置における符号化部１０１は、入力された映像信号を分割することによりブロックを構成し、ブロック単位に符号化処理を行って符号化ストリームを出力する。

続いて、符号化部１０１で行われる符号化処理について説明する。
まず、フレーム並び替え部２０１は、表示順で入力された映像信号を符号化順に並び替える。減算器２０２は、入力画像データから予測画像データを減算して画像残差データを整数変換部２０３に出力する。なお、予測画像データの生成については後述する。

整数変換部２０３は、減算器２０２から出力された画像残差データを直交変換処理して変換係数を量子化部２０４に出力する。量子化部２０４は、整数変換部２０３より出力された変換係数を所定の量子化パラメータを用いて量子化する。エントロピー符号化部２０５は、量子化部２０４で量子化された変換係数を入力し、これをエントロピー符号化して符号化ストリームとして出力する。

一方、量子化部２０４で量子化された変換係数は、前述した予測画像データの生成にも使われる。逆量子化部２０６は、量子化部２０４で量子化された変換係数を逆量子化する。逆整数変換部２０７は、逆量子化部２０６で逆量子化された変換係数を逆整数変換し、復号画像残差データとして出力する。

加算器２０８は、逆整数変換部２０７より出力された復号画像残差データと、予測画像データとを加算して、再構成画像データとして出力する。加算器２０８から出力された再構成画像データは、フレームメモリ２０９に記録される。それとともに、再構成画像データに対してデブロッキングフィルタ処理を施す場合にはデブロッキングフィルタ２１２を介して第２のフレームメモリ２１３に記録される。また、デブロッキングフィルタ処理を施さない場合にはデブロッキングフィルタ２１２を介さずに第２のフレームメモリ２１３に記録される。

第１のスイッチ２１１は、加算器２０８から出力された再構成画像データに対してデブロッキングフィルタ処理を施すか否かを選択する選択部である。再構成画像データの中で、以降の予測で参照される可能性があるデータは、第１のフレームメモリ２０９または第２のフレームメモリ２１３に暫くの期間保存される。

イントラ予測部２１０は、第１のフレームメモリ２０９に記録された再構成画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。また、インター予測部２１４は、第２のフレームメモリ２１３に記録された再構成画像データを用いて動き検出部２１５により検出された動きベクトル情報に基づくフレーム間予測処理を行い、予測画像データを生成する。ここで、動き検出部２１５は、入力画像データにおける動きベクトルを検出して、検出した動きベクトル情報をエントロピー符号化部２０５及びインター予測部２１４にそれぞれ出力する。

ピクチャタイプ決定部２１６は、符号化を行うピクチャタイプをイントラ予測部２１０、インター予測部２１４及び第２のスイッチ２１７に出力する。ピクチャタイプの決定方法は、基準フレーム設定判定部１０３により符号化フレームを基準フレームにすると判定された場合には、該フレームを基準フレームとする。また、そうでない場合には、フレームのピクチャタイプを符号化方式に準拠したピクチャタイプに決定する。

なお、符号化フレームが基準フレームと判定された場合には、そのフレームのピクチャタイプをＩピクチャと決定すると共に、そのフレームに飛び越し参照禁止フラグを付加する。そして、飛び越し参照禁止フラグの有無に基づいて禁止判定を行い、インター予測部２１４によりＩピクチャを飛び越さないような参照関係を決定させるようにしてもよい。

第２のスイッチ２１７は、予測画像データとしてイントラ予測部２１０で生成された予測画像データ又はインター予測部２１４で生成された予測画像データのどちらを用いるかを選択するための選択部である。すなわち、イントラ予測又はインター予測のどちらを用いるか選択するための機能を有する。

ピクチャタイプ決定部２１６によって決定されたピクチャタイプに応じて第２のスイッチ２１７を制御する。これにより、イントラ予測部２１０からの出力とインター予測部２１４からの出力のどちらか一方を選択し、選択された予測画像データを減算器２０２、加算器２０８に出力する。以上が符号化部１０１に関する説明である。

次に、顔判定部１０２について、図３、図４及び図５を参照して詳細に説明する。
図３は、顔判定部１０２の構成例を示すブロック図である。図３に示すように、顔判定部１０２は、顔検出部３０１、顔認識履歴データ記録部３０２、顔認識部３０３、表情判定部３０４、及びスイッチ３０５から構成される。

続いて、顔判定部１０２で行われる顔判定処理について説明する。
まず、顔検出部３０１は、入力される映像信号のフレーム、すなわち符号化対象フレームに含まれる被写体の少なくとも１つの顔を検出し、フレーム内における顔の中心座標を顔の基準座標とし、大きさ及び方向を表す情報を、顔ごとに検出及び算出して出力する。

顔認識履歴データ記録部３０２は、顔検出部３０１により検出された顔の画像データと、後述の顔認識部３０３により設定された「顔ＩＤ」を記録する。顔認識部３０３は、顔検出部３０１から出力された顔の中心座標、大きさ及び方向を表す情報を基に、入力した映像信号の被写体の顔が、顔認識履歴データ記録部３０２に記録されている顔と一致するか判定する。そして、顔を識別するための情報である「顔ＩＤ」を顔情報として顔ごとに出力すると共に、顔認識処理のために必要な顔の画像と、その顔に対応する「顔ＩＤ」を顔認識履歴データ記録部３０２に出力する。

入力された映像信号の被写体の顔が、顔認識履歴データ記録部３０２に記録されている顔と一致しないと判定された場合は、判定された顔に対して新規の「顔ＩＤ」を設定する。一方、入力した映像信号の被写体の顔が、顔認識履歴データ記録部３０２に記録されている顔と一致すると判定された場合は、顔認識履歴データ記録部３０２に記録されている顔と同じ「顔ＩＤ」を算定された顔に設定する。

顔認識履歴データ記録部３０２に記録されている顔認識履歴データはストリーム毎にクリアされるようにしてもよい。表情判定部３０４は、顔検出部３０１から出力された顔の中心座標、大きさ及び方向を表す情報を基に、映像信号に含まれる被写体の顔の表情を判定し、表情の種類と表情指数を出力する。

表情の種類とは、例えば、笑顔、怒り顔、泣き顔等がある。表情指数とは、表情の度合いを表す指標であり、本実施形態では、複数段階の表情の度合いを表す表情指数を算出し、例えば、値０〜１０までの範囲で変化する値とする。例えば、笑顔の表情指数０の場合は、笑っていない顔であり、いわゆる真顔である。反対に、笑顔の表情指数１０の場合は、大笑いしている顔である。スイッチ３０５は、顔認識部３０３から出力される「顔ＩＤ」情報を顔情報に含めるか選択する選択部である。

なお、顔検出部３０１により行われる顔検出の方法は、例えば、オブジェクト検出等の既知の方式を用いることができるので、本実施形態においては詳細な説明を省略する。また、顔認識部３０３により行われる顔認識の方法は、例えば、オブジェクト認識等の既知の方式を用いることができるので、本実施形態においては詳細な説明を省略する。表情判定部３０４による表情の判定は、例えば、顔領域内の顔の各パーツ（目や鼻や口等）の相対位置や形等に応じて判定する既知の表情判定方式を用いるものとし詳細は省略する。

以上のような方法で、顔検出部３０１、顔認識部３０３及び表情判定部３０４から出力された顔情報を図４及び図５を参照して説明する。
図４は、フレーム番号０の映像信号を示した図であり、図５は、フレーム毎に顔判定部１０２から出力された顔情報を示した図であり、フレーム番号０及び１から得られた顔情報を示している。図４及び図５の例では、簡単のため、フレーム内に１つの顔が含まれている場合を説明するが、フレーム内に複数の顔が含まれていてもよい。

図４のようなフレーム番号０の映像信号において、顔検出部３０１は、点線内に顔を検出し、顔の中心座標として（ｘ，ｙ）＝（９６０，５４０）、大きさとして（ｘ＿ｓｉｚｅ，ｙ＿ｓｉｚｅ）＝（３７０，３７０）、方向として「右」という顔情報を出力する。

表情判定部３０４は、例えば、図４の点線内の顔は口角が上がっているため、表情の種類として「笑顔」、表情指数として「５」という顔情報を出力する。顔認識部３０３は、フレーム番号０においては、顔認識履歴データに顔情報は記録されていないので、顔検出部３０１によって検出された顔に対し新規の「顔ＩＤ」を設定し、「顔ＩＤ０」という顔情報を出力する。図５の例では、フレーム番号１においても、フレーム番号０と同じ顔の被写体が含まれていたために、フレーム番号０と同じ「顔ＩＤ０」という「顔ＩＤ」がフレーム番号１の顔情報として出力されている。

以上のように、顔判定部１０２から出力される顔情報により、映像信号に含まれる複数の顔に関する情報をフレーム毎に知ることが可能である。さらに、顔認識部３０３から出力される「顔ＩＤ」により、過去に検出された顔と一致するか否かを判定することが可能である。すなわち、現フレームの第１の顔が過去フレームの第２の顔と一致するか否かを判定する顔認識を行うことにより、フレームを飛び越した参照を禁止する禁止条件に適合すると判定する。この場合には、第２の顔のフレームから所定期間内において、第２の顔と一致すると判定された第１の顔に対してはフレームを飛び越した参照を禁止する禁止条件に適合すると判定しないようにする。

次に、基準フレーム設定判定部１０３について、図６、図７、図８、図９及び図１０を参照して詳しく説明する。基準フレーム設定判定部１０３は、顔判定部１０２から出力される顔情報に応じて、基準フレームを設定して符号化を行うか判定し、基準フレーム設定情報を出力する。

まず、１フレーム内に存在する顔が１つの場合の基準フレーム設定について、図６を参照して説明する。なお、図６の場合では、スイッチ３０５はＯＦＦの状態であり、基準フレーム設定判定部１０３は、顔認識部３０３から出力される「顔ＩＤ」は使用していない。

図６は、表情指数の時間的変化と基準フレーム設定を示した図である。図６の例では、ユーザが表情指数閾値を設定し、表情指数が表情指数閾値を超えた場合に基準フレーム設定判定部１０３は、基準フレーム設定情報を出力する。

表情指数閾値は、図６の例では、「８」に設定されているものとする。時刻ｔ０において、符号化部１０１及び顔判定部１０２に映像信号が入力されると、符号化処理及び顔情報の出力が開始される。

そして、時刻ｔ１において、表情指数が表情指数閾値を超え、さらに時刻ｔ２において、所定期間（ｔ２−ｔ１期間）表情指数が表情指数閾値を超えている状態を維持している。このため、基準フレーム設定判定部１０３は、基準フレームを設定すると判定し、符号化部１０１に対して基準フレーム設定情報を出力する。また、時刻ｔ３から時刻ｔ４の期間においては、表情指数が表情指数閾値を越えていないので、基準フレーム設定判定部１０３は、基準フレーム設定情報を出力しない。

時刻ｔ４において、表情指数が表情指数閾値を超えているが、所定期間表情指数が表情指数閾値を超えている状態を所定期間維持せずに、時刻ｔ５において、表情指数が表情指数閾値よりも小さくなってしまっている。このため、このような場合には、基準フレーム設定判定部１０３は、基準フレーム設定情報を出力しない。

このように、表情指数が表情指数閾値を超える期間が短期間である場合は、基準フレームを設定しないことにより、必要最低限のフレームを基準フレームに設定することができる。ただし、言うまでもないが、表情指数が表情指数閾値を超える期間が短期間である場合でも基準フレームを設定してもよい。この場合は、表情指数が表情指数閾値を超えたら基準フレーム設定判定部１０３は、基準フレームを設定すると即座に判定し、符号化部１０１に対して基準フレーム設定情報を出力する。

次に、顔情報として、１フレーム内に存在する顔が複数の場合の基準フレーム設定について、図７を参照して説明する。なお、図７の場合では、スイッチ３０５はＯＦＦの状態であり、基準フレーム設定判定部１０３は、顔認識部３０３から出力される「顔ＩＤ」は使用していない。

図７は、３つの顔における表情指数の時間的変化と基準フレーム設定を示した図である。図７の例では、ユーザが表情指数の表情指数閾値と顔の数の顔数閾値を設定し、表情指数が表情指数閾値を超えた顔の数が顔数閾値を超えた場合に基準フレーム設定判定部１０３は、基準フレーム設定情報を出力する。

図７の例では、表情指数閾値は、第１の閾値として「８」を設定する第１の閾値設定を行う。また、顔の数の顔数閾値は、第２の閾値として「３」を設定する第２の閾値設定を行う。時刻ｔ０において、符号化部１０１及び顔判定部１０２に映像信号が入力されると、符号化処理及び顔情報の出力が開始される。

時刻ｔ１から時刻ｔ２の期間において、１つの顔の表情指数が表情指数閾値を超えているが、顔数閾値「３」に達していないために基準フレーム設定判定部１０３は、基準フレーム設定情報を出力しない。

時刻ｔ３において、３つの顔の表情指数が同時に表情指数閾値を超え、さらに時刻ｔ４において、所定期間（ｔ４−ｔ３期間）３つの顔の表情指数が表情指数閾値を超えている状態を維持している。このため、基準フレーム設定判定部１０３は、時刻ｔ４において基準フレームを設定すると判定し、符号化部１０１に対して基準フレーム設定情報を出力する。

次に、１フレーム内に存在する顔が複数の場合において、顔の方向に応じた基準フレーム設定について、図８を参照して説明する。なお、図８の場合では、スイッチ３０５はＯＦＦの状態であり、基準フレーム設定判定部１０３は、顔認識部３０３から出力される「顔ＩＤ」は使用していない。

図８は、３つの顔における表情指数及び方向の時間的変化と基準フレーム設定を示した図である。図８の例では、ユーザが表情指数の表情指数閾値と顔の数の顔数閾値を設定する。そして、表情指数が表情指数閾値を超えた顔のうち、同じ方向を向いている顔の合計数が顔数閾値、すなわち、第２の閾値を超えた場合に基準フレーム設定判定部１０３は、基準フレーム設定情報を出力する。

図８の例では、表情指数閾値は、「８」に設定され、顔数閾値は、「３」に設定されていることとする。時刻ｔ０において、符号化部１０１及び顔判定部１０２に映像信号が入力されると、符号化処理及び顔情報の出力が開始される。時刻ｔ１から時刻ｔ２の期間において、３つの顔の表情指数が表情指数閾値を超えている。しかし、本実施形態の基準フレーム設定判定部１０３は、顔の方向毎に顔個数を検出する顔方向検出を行っている。したがって、顔の方向が「右」、「正面」、「左」と異なる方向を向いている場合には、フレームを飛び越した参照を禁止する禁止条件に適合すると判定し、飛び越し参照を禁止する基準フレームを設定する。

時刻ｔ３において、２つの顔の向きが変更され、３つの顔の方向が全て「右」となる。そして、時刻ｔ４において、同じ「右」方向を向いた３つの顔の表情指数が同時に表情指数閾値を超え、さらに時刻ｔ５において、所定期間（ｔ５−ｔ４期間）同じ「右」方向を向いた３つの顔の表情指数が表情指数閾値を超えている状態を維持している。このため、基準フレーム設定判定部１０３は、基準フレームを設定すると判定し、符号化部１０１に対して基準フレーム設定情報を出力する。

次に、図９を参照しながら、顔情報から判定した主顔情報に応じた基準フレーム設定について説明する。なお、図９の場合では、スイッチ３０５はＯＦＦの状態であり、基準フレーム設定判定部１０３は、顔認識部３０３から出力される「顔ＩＤ」は使用していない。

図９は、３つの顔における表情指数及び主顔情報の時間的変化と基準フレーム設定を示した図である。図９の例では、ユーザが表情指数の表情指数閾値を設定し、主顔の表情指数が表情指数閾値を超えた場合に基準フレーム設定判定部１０３は、基準フレーム設定情報を出力する。

図９の例では、表情指数閾値は、「８」に設定されていることとする。なお、主顔とは、視聴者（ユーザ）が注目する顔のことである。本実施形態では、基準フレーム設定判定部１０３が顔情報に含まれる顔の中心座標、大きさ、方向から主顔判定を行う例について説明するが、主顔判定はこれに限ったものではない。例えば、本実施形態では、基準フレーム設定判定部１０３は顔の中心座標がフレーム中央に近く、顔の大きさが大きく、顔の方向が正面を向いている顔を主顔と判定をする。

時刻ｔ０において、符号化部１０１及び顔判定部１０２に映像信号が入力されると、符号化処理及び顔情報の出力が開始される。そして、時刻ｔ１から時刻ｔ２の期間において、１つの顔の表情指数が表情指数閾値を超えているが、主顔と判定されていないために基準フレーム設定判定部１０３は、基準フレーム設定情報を出力しない。

また、時刻ｔ３から時刻ｔ４の期間において、１つの顔が主顔と判定されているが、表情指数が表情指数閾値を超えていないために基準フレーム設定判定部１０３は、基準フレーム設定情報を出力しない。

時刻ｔ５において、１つの顔が主顔と判定され、さらに主顔と判定された顔の表情指数が所定期間（ｔ６―ｔ５期間）に亘って表情指数閾値を超えている状態を維持している。このため、基準フレーム設定判定部１０３は、基準フレームを設定すると判定し、符号化部１０１に対して基準フレーム設定情報を出力する。

次に、図１０を参照しながら、顔情報に含まれる「顔ＩＤ」に応じた基準フレーム設定について説明する。なお、図１０の場合では、スイッチ３０５はＯＮの状態であり、基準フレーム設定判定部１０３は、顔認識部３０３から出力される「顔ＩＤ」を使用している。

図１０は、「顔ＩＤ」により識別可能な３つの顔における表情指数の時間的変化と基準フレーム設定を示した図である。図１０の例では、ユーザは表情指数の表情指数閾値を設定し、表情指数が表情指数閾値を超えた場合に基準フレーム設定判定部１０３は、基準フレーム設定情報を出力する。図１０の例では、表情指数閾値は、「８」に設定されていることとする。

時刻ｔ０において、符号化部１０１及び顔判定部１０２に映像信号が入力されると、符号化処理及び顔情報の出力が開始される。そして、時刻ｔ１において、「顔ＩＤ０」の表情指数が表情指数閾値を超え、さらに時刻ｔ２において、所定期間（ｔ２−ｔ１期間）顔ＩＤ０の表情指数が表情指数閾値を超えている状態を維持している。このため、基準フレーム設定判定部１０３は、基準フレームを設定すると判定し、符号化部１０１に対して基準フレーム設定情報を出力する。

また、時刻ｔ３において、「顔ＩＤ１」の表情指数が表情指数閾値を超え、さらに時刻ｔ４において、所定期間（ｔ４−ｔ３期間）「顔ＩＤ１」の表情指数が表情指数閾値を超えている状態を維持している。このため、基準フレーム設定判定部１０３は、基準フレームを設定すると判定し、符号化部１０１に対して基準フレーム設定情報を出力する。

時刻ｔ５において、「顔ＩＤ０」の表情指数が表情指数閾値を超え、さらに時刻ｔ６において、所定期間内（ｔ６−ｔ５期間）について「顔ＩＤ０」の表情指数が表情指数閾値を超えている状態を維持している。しかし、前回の時刻ｔ２における基準フレーム設定から所定期間経過していないため、基準フレーム設定判定部１０３は、基準フレームを設定しないと禁止判定を行い、符号化部１０１に対して基準フレーム設定情報を出力しない。

このように、同一顔において、前回の基準フレーム設定から所定期間以内であれば、基準フレーム設定判定部１０３は、基準フレーム設定情報を出力しないことにより、必要最低限のフレームを基準フレームに設定することができる。

なお、基準フレーム設定判定部１０３は、顔情報に含まれる「表情の種類」応じて、基準フレームを設定すると判定してもよい。例えば、笑顔の表情指数が表情指数閾値を超えた場合のみ基準フレームを設定すると判定し、泣き顔の表情指数が表情指数閾値を超えたとしても基準フレームを設定すると判定しないようにしてもよい。

次に、図１１を参照して、顔情報に応じて基準フレームを設定する処理について説明する。
まず、ステップＳ１１０１において、ユーザにより選択された基準フレーム設定方法が決定される。基準フレーム設定方法とは、基準フレーム設定判定部１０３が基準フレームの設定判定に用いる方法のことである。

本実施形態では、図６、図７、図８、図９及び図１０を用いて説明した基準フレーム設定方法がある。次に、ステップＳ１１０２において、符号化部１０１及び顔判定部１０２に映像信号が入力される。次に、ステップＳ１１０３において、顔判定部１０２は、映像信号を解析することにより顔判定処理を行い、処理結果を顔情報として出力する。

次に、ステップＳ１１０４において、基準フレーム設定判定部１０３が顔情報及びユーザにより選択された基準フレーム設定方法に基いて、基準フレームを設定するか否かを判定する。この判定の結果、基準フレームを設定すると判定した場合は、ステップＳ１１０５に進み、符号化部１０１は、基準フレームを設定する。

一方、ステップＳ１１０４の判定の結果、基準フレーム設定判定部１０３が、顔情報及びユーザにより選択された基準フレーム設定方法に基いて、基準フレームを設定しないと判定した場合はステップＳ１１０６に進む。ステップＳ１１０６においては、符号化部１０１は、符号化方式に準拠したピクチャタイプを設定する。

なお、符号化部１０１は発生する符号量を制御する符号量制御部を有し、基準フレーム設定情報に応じて設定した基準フレーム対する符号量制御を行うとよい。このとき、符号化方式に準拠して設定されるような、他の条件に基づく基準フレームよりも、顔情報に基づいて設定した基準フレームの符号量を多くするとよい。これにより、例えば、笑顔シーンで設定した基準フレームの画質が通常の基準フレームと比較して向上する。

前述した実施形態においては、入力画像信号をＨ．２６４符号化方式に準拠して圧縮符号化し、基準フレームのピクチャタイプをＩＤＲピクチャに設定するようにした。そして、顔情報がフレームを飛び越した参照を禁止する禁止条件に適合すると判定された場合に、飛び越し参照を禁止する基準フレームを設定する。しかし、入力画像信号をMPEG符号化方式に準拠して圧縮符号化し、基準フレームのピクチャタイプをＩピクチャに設定するようにしてもよい。

本実施形態によれば、表情の度合いに応じて、必要最低限の画像フレームを基準フレームに設定し符号化を行うようにした。これにより、従来に比べ、符号化効率の低化を抑えながら表情の度合いが高いシーンからの迅速な再生及び容易な編集が可能な符号化ストリームを得ることができる効果が得られる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における画像符号化装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した画像符号化方法における各工程を実行するソフトウェアのプログラム（実施形態では図１１に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態を示し、画像符号化装置の構成例を示すブロック図である。 本発明の実施形態を示し、符号化部の構成例を示すブロック図である。 本発明の実施形態を示し、顔判定部の構成例を示すブロック図である。 本発明の実施形態を示し、映像信号から顔情報を出力する様子を説明する図である。 本発明の実施形態を示し、顔情報の内容の一例を説明する図である。 本発明の実施形態を示し、基準フレーム設定方法の第１の例を説明する図である。 本発明の実施形態を示し、基準フレーム設定方法の第２の例を説明する図である。 本発明の実施形態を示し、基準フレーム設定方法の第３の例を説明する図である。 本発明の実施形態を示し、基準フレーム設定方法の第４の例を説明する図である。 本発明の実施形態を示し、基準フレーム設定方法の第５の例を説明する図である。 本発明の実施形態を示し、本発明の制御手順説明するフローチャートである。 従来例を示し、Ｈ．２６４におけるピクチャタイプ及びフレーム間予測に用いる参照画像の選択について説明する図である。 従来例を示し、ＩＤＲピクチャについて説明する図である。

１０１ 符号化部
１０２ 顔判定部
１０３ 基準フレーム設定判定部
２０１ フレーム並び替え部
２０２ 減算器
２０３ 整数変換部
２０４ 量子化部
２０５ エントロピー符号化部
２０６ 逆量子化部
２０７ 逆整数変換部
２０８ 加算器
２０９ 第１のフレームメモリ
２１３ 第２のフレームメモリ
２１０ イントラ予測部
２１１ 第１のスイッチ
２１７ 第２のスイッチ
２１２ デブロッキングフィルタ
２１４ インター予測部
２１５ 動き検出部
２１６ ピクチャタイプ決定部
３０１ 顔検出部
３０２ 顔認識履歴データ記録部
３０３ 顔認識部
３０４ 表情判定部
３０５ スイッチ

Claims (17)

1. 複数のフレームから成る入力画像信号を圧縮符号化する画像符号化装置において、
   前記入力画像信号を解析して顔を識別するための顔情報を作成する顔情報作成手段と、
   前記入力画像信号を、フレーム間予測方式を利用して圧縮符号化する符号化手段と、
   前記符号化手段における符号化対象フレームに対して前記顔情報作成手段により作成された顔情報に基づき、当該符号化対象フレームを飛び越したフレーム間予測での参照を禁止するか否かを判定する禁止判定手段と、
   前記禁止判定手段により、前記符号化対象フレームを飛び越した参照を禁止すると判定された場合に、前記符号化対象フレームを飛び越し参照を禁止する基準フレームに設定する設定手段とを備えることを特徴とする画像符号化装置。
2. 前記入力画像信号に含まれるフレームから顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔の表情を判定する表情判定手段とを備え、
   前記禁止判定手段は、前記表情判定手段によって判定された表情の度合いに応じて前記符号化対象フレームを飛び越した参照を禁止するか否かを判定することを特徴とする請求項１に記載の画像符号化装置。
3. 前記顔検出手段は、少なくとも顔の基準座標及び顔の大きさを算出することを特徴とする請求項２に記載の画像符号化装置。
4. 前記表情判定手段は、複数段階の表情の度合いを表す表情指数を算出し、前記表情指数に基いて前記顔の表情を判定することを特徴とする請求項２に記載の画像符号化装置。
5. 前記表情判定手段は、前記表情指数に関する第１の閾値を設定する第１の閾値設定手段を備え、
   前記禁止判定手段は、前記表情指数が前記第１の閾値を超えた場合に前記符号化対象フレームを飛び越した参照を禁止すると判定することを特徴とする請求項４に記載の画像符号化装置。
6. 前記表情判定手段は、前記入力画像信号に含まれるフレームにおける顔の数に関する第２の閾値を設定する第２の閾値設定手段を備え、
   前記禁止判定手段は、前記表情指数が前記第１の閾値を超えた顔の合計数が前記第２の閾値を超えた場合に前記符号化対象フレームを飛び越した参照を禁止すると判定することを特徴とする請求項５に記載の画像符号化装置。
7. 前記顔検出手段は、顔の方向毎に顔個数を検出する顔方向検出手段を備えることを特徴とする請求項５に記載の画像符号化装置。
8. 前記禁止判定手段は、前記表情指数が前記第１の閾値を超えた顔のうち、前記顔方向検出手段により検出された同じ方向を向いている顔の数が予め設定された閾値を超えた場合に前記符号化対象フレームを飛び越した参照を禁止すると判定することを特徴とする請求項７に記載の画像符号化装置。
9. 視聴者が注目する顔である主顔を判定する主顔判定手段を備え、
   前記禁止判定手段は、前記主顔判定手段により判定された主顔の表情指数が前記第１の閾値を超えた場合に前記符号化対象フレームを飛び越した参照を禁止すると判定することを特徴とする請求項５に記載の画像符号化装置。
10. 前記禁止判定手段は、前記表情指数が前記第１の閾値を超えている状態を所定期間維持した場合に前記符号化対象フレームを飛び越した参照を禁止すると判定することを特徴とする請求項５に記載の画像符号化装置。
11. 前記顔検出手段によって検出された顔を識別し、現フレームの第１の顔が過去フレームの第２の顔と一致するか否かを判定する顔認識手段を備え、
    前記禁止判定手段によって前記符号化対象フレームを飛び越した参照を禁止すると判定された前記第２の顔のフレームから所定期間内において、前記禁止判定手段は、前記顔認識手段によって前記第２の顔と一致すると判定された前記第１の顔に対しては飛び越し参照を禁止する判定を行わないことを特徴とする請求項２に記載の画像符号化装置。
12. 前記表情判定手段は、笑顔、泣き顔及び怒り顔のうち、少なくとも１つの表情を判定することを特徴とする請求項２に記載の画像符号化装置。
13. 前記符号化手段は、発生する符号量を制御する符号量制御手段を備え、
    前記符号量制御手段は、前記禁止判定手段により前記符号化対象フレームを飛び越した参照を禁止すると判定された場合に設定する前記基準フレームに対する符号量を、他の条件に基づいて設定する基準フレームよりも多くすることを特徴とする請求項１に記載の画像符号化装置。
14. 前記符号化手段は、前記入力画像信号をＨ．２６４符号化方式に準拠して圧縮符号化し、
    前記基準フレームのピクチャタイプをＩＤＲピクチャに設定することを特徴とする請求項１に記載の画像符号化装置。
15. 前記符号化手段は、前記入力画像信号をMPEG符号化方式に準拠して圧縮符号化し、
    前記基準フレームのピクチャタイプをＩピクチャに設定することを特徴とする請求項１に記載の画像符号化装置。
16. 複数のフレームから成る入力画像信号を圧縮符号化する画像符号化方法において、
    前記入力画像信号を解析して顔を識別するための顔情報を作成する顔情報作成工程と、
    前記入力画像信号を、フレーム間予測方式を利用して圧縮符号化する符号化工程と、
    前記符号化工程における符号化対象フレームに対して前記顔情報作成工程において作成された顔情報に基づき、当該符号化対象フレームを飛び越したフレーム間予測での参照を禁止するか否かを判定する禁止判定工程と、
    前記禁止判定工程において、前記符号化対象フレームを飛び越した参照を禁止すると判定された場合に、前記符号化対象フレームを飛び越し参照を禁止する基準フレームに設定する設定工程とを備えることを特徴とする画像符号化方法。
17. 複数のフレームから成る入力画像信号を圧縮符号化する処理をコンピュータに実行させるコンピュータプログラムにおいて、
    前記入力画像信号を解析して顔を識別するための顔情報を作成する顔情報作成工程と、
    前記入力画像信号を、フレーム間予測方式を利用して圧縮符号化する符号化工程と、
    前記符号化工程における符号化対象フレームに対して前記顔情報作成工程において作成された顔情報に基づき、当該符号化対象フレームを飛び越したフレーム間予測での参照を禁止するか否かを判定する禁止判定工程と、
    前記禁止判定工程において、前記符号化対象フレームを飛び越した参照を禁止すると判定された場合に、前記符号化対象フレームを飛び越し参照を禁止する基準フレームに設定する設定工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。

Images