JP4328000B2 - 動画像符号化装置および動画像の特殊効果シーン検出装置 - Google Patents
動画像符号化装置および動画像の特殊効果シーン検出装置 Download PDFInfo
- Publication number
- JP4328000B2 JP4328000B2 JP2000234596A JP2000234596A JP4328000B2 JP 4328000 B2 JP4328000 B2 JP 4328000B2 JP 2000234596 A JP2000234596 A JP 2000234596A JP 2000234596 A JP2000234596 A JP 2000234596A JP 4328000 B2 JP4328000 B2 JP 4328000B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- information
- scene
- special effect
- statistical information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化装置および動画像の特殊効果シーン検出装置に関し、特に、フェードシーンやパニング，チルトなどの特殊効果シーンを含む動画像を符号化する際に用いて好適な、動画像符号化装置および動画像の特殊効果シーン検出装置に関する。
【０００２】
【従来の技術】
従来のディジタル動画像符号化方式としては、例えば、ＭＰＥＧ（Moving Picture Experts Group）−１（ISO/IEC 11172-2）やＭＰＥＧ−２（ISO/IEC 13181-2），ＭＰＥＧ−４（ISO/IEC14496-2），ＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication standardization sector）の映像符号化勧告（H261.，H263.）などが知られているが、これらの方式では、情報量が莫大な動画像を有効帯域で使用できるようにするために、情報圧縮技術を用いていて、共通して、「フレーム間動き予測符号化」と呼ばれる手法を用いている。
【０００３】
これらのディジタル動画像符号化方式では、まず、フレーム内符号化により１枚の動画像フレーム（以下、単にフレームという）に対して空間的冗長性を省く処理を行なって情報量圧縮を行ない、次に、このようにフレーム内符号化により符号化した過去のフレームと符号化対象のフレームとの差分情報を符号化するフレーム間符号化が行なわれる。
【０００４】
ここで、上記の「フレーム間符号化」とは、動画像の連続性に着目することにより、１枚１枚のフレームを独立してフレーム内符号化するよりも、フレーム内のサブブロックである所定のマクロブロック〔ｍ×ｎ（ｍ，ｎはいずれも自然数）の画素集合；以下、ＭＢと表記する〕毎に、符号化済みのフレームの或るＭＢと同位置の符号化対象フレームにおけるＭＢとの差分を求め、その差分ＭＢを符号化することであり、このようにすることで、より効率良く動画像の冗長性を省いて情報量を圧縮することができる。
【０００５】
なお、実際には、フレーム内の絵柄が動いている場合には、単純にフレーム間の同位置ＭＢ間差分をとっても、差分量が小さくならないため、さらに、ＭＢ毎に動き（ベクトル）探索を行ない、参照フレーム内からより差分の小さいブロック領域を探し出し、現フレームのＭＢと参照フレームの動き探索により求められたブロック領域との差分ＭＢを求め、その差分ＭＢを符号化することが行なわれる。このとき、動き探索によって求められた動きベクトル情報と差分情報を符号化したものが多重化されてＭＢ符号化情報となる。
【０００６】
しかしながら、これらの動画像符号化方式では、例えば、フェードや動きの大きいパニングやチルトなどの映像撮影や編集時に広く用いられている特殊効果シーンに対する符号化効率があまり良くなく、画質の劣化を引き起こす要因となっている。
例えば、上記のフェードは、ビデオ編集の１手法として広く用いられている方式で、通常の画像から次第に白色や黒色などの一定色の画像に変化ゆくフェードアウトと、逆に、一定色の画像から通常の画像が次第に現われてくるフェードインとがあるが、いずれの場合も、フレーム毎に輝度信号のレベルが変化するために動き予測が当たり難く、結果的に、余分な動きベクトル情報を符号化してしまって符号化効率が低下する。
【０００７】
一方、パニングやチルトは、例えば、車などの動く物体を追いかけて撮影するときにカメラを横方向もしくは縦方向に流しながら撮影する手法であるが、一般的に、上記の動き探索の探索範囲に限りがあるために、その探索範囲を超えたパニングやチルトのシーンでは、適切な動きベクトルを検出することが不可能で、動き予測が当たらなくなり符号化効率が低下する。
【０００８】
このため、これまで、フェードシーンに対する対処としては、例えば、特開平６−４６４１２号公報（以下、公知文献１という）や特開平８−６５６８４号公報（以下、公知文献２という），特開平１１−１９１８６２号公報（以下、公知文献３という）などで各種手法が提案されている。
ここで、上記の各公知文献１〜３で提案されている各手法の要旨を説明すると、まず、公知文献１による手法（以下、第１手法という）は、フレーム間差分情報を符号化する場合に、フレーム間の平均輝度値の差分を求め、その差分を補正（フェード補正）により除去して符号化することにより、「フェードシーン」においても予測残差を削減して符号化効率を上げることができるという手法であり、公知文献２による手法（以下、第２手法という）は、フレーム間の平均輝度値の差分を求め、その差分補正を動きベクトル探索前のＭＢに対して行なった上で、動きベクトル探索を行なうことにより、「フェードシーン」においてもより正確な動きベクトルを求めることができるという手法である。そして、公知文献３による手法（以下、第３手法という）は、フレーム間の輝度信号の平均及び分散を求め、これらの各情報に基づいて「フェードシーン」を検出する手法である。
【０００９】
一方、パニングなどの特殊効果シーンに対する対処としては、例えば、特開平５−２０７４４４号公報（以下、公知文献４という）や特開平９−２１４９７４号公報（以下、公知文献５という），特開平１０−２２４７４１号公報（以下、公知文献６という）などに示されるような各種手法が提案されている。
ここで、上記の公知文献４による手法（以下、第４手法という）は、動きベクトルの統計によりパニングを検出し、その場合に動き予測をフィールド間予測に限定することで符号化効率を向上できるようにした手法であり、上記の公知文献５による手法（以下、第５手法という）は、動きベクトルの統計によりパニング（あるいは、チルト）を検出し、その場合に符号化画面の画像解像度を落とすことで動きベクトルの探索範囲（以下、単に「動き探索範囲」ともいう）を仮想的に拡大するという手法である。
【００１０】
例えば、パニング（あるいは、チルト）が検出された場合には、フレームを縦横１／２に間引いた画像を生成して、その画像を符号化することで、同じ範囲の動き探索を行なったとしても、実質縦横２倍の範囲を探索していることになる。そして、上記の公知文献６による手法（以下、第６手法という）は、符号化出力（ストリーム）から種々のカット点検出を行なうことを要旨とした手法である。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記の各手法では、それぞれ、次のような課題が生じる。
まず、第１手法では、フレームの輝度情報の変化のみでフェード検出を行なうため、パニングやチルトなどの画像（シーン）をフェードシーンと誤検出してしまう可能性がある。その上、本第１手法では、フェード検出情報を符号化情報へ多重化するため、余分な情報が必要となり、符号化ストリームが完全なＭＰＥＧ互換ではなくなる。
【００１２】
また、第２手法では、動きベクトル探索段階で平均輝度情報を削減するという処理をＭＢ単位で行なうため演算量が莫大になるばかりでなく、フェードの具合によっては平均輝度情報を削減しても、動きベクトルの誤検出が起こる場合がある。その具体例として、フェードとしてフレーム輝度平均が次第に低くなってゆき、最終画素値がＺとなる場合を例として考えてみる。
【００１３】
例えば、ｎフレーム目のフレーム内の或る画素位置の輝度値をＸnとすると、フェードの式は、次式（１）（画素の輝度値Ｘnがフレーム毎に一定に変化してゆく場合）や次式（２）（画素の輝度値Ｘnの変化がフレームによって変わる場合）などで表される。
Ｘn+1＝max（Ｘn−Ａ，Ｚ） （Ａは固定値）・・・（１）
Ｘn+1＝（１−α）・Ｘn＋α・Ｚ （０≦α≦１）・・・（２）
上記の式（１）の場合は、フレーム内のどの画素をとってもフレーム毎の輝度情報変化値は同じ“Ａ”であるため、平均輝度成分を取り除くと動きベクトルをうまく検出できそうである。これに対し、上記の式（２）は、変数αをフェード前後で０から１へと段階的に変化させることにより、フェードアウトしていく画像を生成でき、逆に、変数αを１から０へと段階的に変化させることにより、フェードインしてゆく画像を生成できることを表すが、この場合、フェードが進むにつれて輝度情報の変化とともに、フレーム内の輝度値によって輝度情報変化値も変わる、つまり、フレーム内の輝度が生成する模様が変化するため、平均輝度成分を取り除いても動きベクトルの誤検出の発生が十分に考えられる。
【００１４】
次に、上記の第３手法では、フレーム間の各画素の輝度値の変化のみならず、その変化の２乗を計算することにより、フェード検出をより正確に行なっているが、上記の第１手法と同様に、輝度値の変化に注目するだけでは、パニングやチルトなどのシーンで誤検出を起こすと思われる。また、本第３手法の場合は輝度値の変化の２乗を計算するので演算量も膨大になってしまう。
【００１５】
以上のように、上述した第１〜第３手法では、いずれの場合も、「フェードシーン」の検出にフレーム間の輝度情報の変化しか考慮していないために、「フェードシーン」以外の特殊効果シーン（パニングやチルトなど）を「フェードシーン」として誤検出してしまう可能性が十分にあり、正確なフェード検出が行なえないのである。
【００１６】
一方、パニングやチルトなどのシーンに関して、上記の第４手法では、動きベクトルの探索範囲が固定であるため、単位時間当たりの動き量の大きいパニングやチルトにより探索範囲を超えた画像が入力された場合に、動きベクトルを得ることができず対処できない。また、上記の第５手法では、パニングが検出された場合には、低解像度の符号化を行なうため画質が劣化する（ボケる）という課題がある。なお、解像度を落とさずに、単純に、動き探索範囲を拡大すると演算量が膨大になる。
【００１７】
さらに、上記の第６手法では、符号化ストリームを復号するときに、シーン検出インデックスを付けるだけ（符号化モードの変更は無し）なので、符号化側の概念は無く、パニングやチルトのシーンに対して符号化効率を上げるという意図は無い。
つまり、上記の第４〜第６手法では、動きベクトルの探索範囲が固定、もしくは、拡大する場合は画像解像度を落とす必要があるため、パニングやチルトなどの特殊効果シーンに対して高画質を維持しながら符号化効率を上げることができないのである。
【００１８】
本発明は、以上のような課題に鑑み創案されたもので、入力画像の輝度情報などの特徴情報についての統計情報だけでなく、動きベクトル情報などの入力画像を予測符号化する際に用いられる相関情報についての統計情報をも考慮することで、フェードシーンなどの特殊効果シーンを正確に検出できるようにすることを目的とする。また、パニングやチルトなどの特殊効果シーンに対しては、動きベクトル情報などの相関情報の探索範囲をシフト制御することで、画像解像度を落とすことなく、且つ、相関情報探索のための演算量を増大させることなく、正確な相関情報を取得して符号化効率を向上できるようにすることも目的とする。
【００１９】
【課題を解決するための手段】
上記の目的を達成するために、本発明の動画像符号化装置は、入力画像を過去に符号化した画像との相関情報に基づいて予測符号化する予測符号化部と、入力画像の輝度情報についての統計情報である第１統計情報と、入力画像と過去に符号化した画像との間の動きベクトル情報についての第２統計情報とに基づいて入力画像の特殊効果シーンを検出する特殊効果シーン検出部と、この特殊効果シーン検出部で検出された特殊効果シーンに応じて前記予測符号化部による入力画像の符号化状態を制御する制御部とをそなえて構成され、特殊効果シーン検出部が、第１統計情報を取得する輝度情報統計取得部と、第２統計情報を取得する動きベクトル情報統計取得部と、上記の各統計情報が所定の第１検出条件を満足すると入力画像が特殊効果シーンとしてのフェードシーンであることを検出するフェード検出部とをそなえて構成されるとともに、制御部が、フェード検出部にてフェードシーンが検出されると動きベクトル情報をゼロに制御して符号化状態を制御する動きベクトル情報制御部として構成され、所定の第１検出条件が、入力画像についての第１統計情報と、過去に符号化した画像についての第１統計情報との差分である輝度平均差分が第１の閾値より大きく、かつ、第１の閾値よりも大きい第２の閾値より小さく、動きベクトル平均値が、第３の閾値より小さく、動きベクトル分散値が第４の閾値よりも大きい場合であることを特徴としている。
【００２０】
上述のごとく構成された本発明の動画像符号化装置では、入力画像のもつ特徴情報についての第１統計情報のみならず、予測符号化時の相関情報についての第２統計情報をも用いて入力画像の特殊効果シーンを検出することができるので、一方の統計情報だけをみると本来検出したい特殊効果シーンと特徴の似た入力画像（シーン）でも、他方の統計情報が本来検出したい特殊効果シーンの特徴を示していなければ検出対象の特殊効果シーンから除外することができる。そして、この上で検出された特殊効果シーンに応じて予測符号化部による符号化状態を制御することで予測符号化誤差の低減を図ることができる。
【００２２】
さらに、このような構成を採ると、入力画像の輝度情報についての統計情報と動きベクトル情報についての統計情報とがそれぞれフェードシーンの特徴を示していない限り、入力画像がフェードシーンであるとは検出されないので、例えば、輝度情報についての統計情報だけをみるとフェードシーンの特徴を示すが、動きベクトル情報についての統計情報がフェードシーン以外の特徴を示すような入力画像（例えば、パニングやチルトなどのシーン）をフェードシーンと誤検出してしまうことを回避することができる。そして、フェードシーン検出時には、動きベクトル情報を制御することで、誤った動きベクトル情報の符号化による符号化効率の低下を回避できる。
【００２３】
また、本発明の動画像符号化装置では、入力画像を過去に符号化した画像との相関情報に基づいて予測符号化する予測符号化部と、入力画像の輝度情報についての統計情報である第１統計情報と、入力画像と過去に符号化した画像との間の動きベクトル情報についての統計情報であり、動きベクトル平均値と動きベクトル分散値とからなる第２統計情報とに基づいて入力画像の特殊効果シーンを検出する特殊効果シーン検出部と、特殊効果シーン検出部で検出された特殊効果シーンに応じて予測符号化部による入力画像の符号化状態を制御する制御部とをそなえて構成され、上記の予測符号化部が、上記の相関情報として動きベクトル情報を得るために符号化対象の入力画像を所定の画素探索範囲で探索する動きベクトル情報探索部をそなえるとともに、上記の特殊効果シーン検出部には、前記第１統計情報を取得する輝度情報統計取得部と、前記第２統計情報を取得する動きベクトル情報統計取得部と、これらの各統計取得部によって得られた各統計情報が所定の第２検出条件を満足すると入力画像が特殊効果シーンとしてのパニングあるいはチルトのシーンであることを検出するパニング／チルト検出部とをそなえ、且つ、上記の制御部を、このパニング／チルト検出部で上記のパニングあるいはチルトのシーンが検出されると前記第２統計情報に基づいて上記動きベクトル情報探索部での画素探索範囲をシフト制御する探索範囲シフト制御部として構成し、所定の第２条件が、入力画像についての第１統計情報と、過去に符号化した画像についての第１統計情報との差分である輝度平均差分が、第１の閾値より大きく、かつ、第１の閾値よりも大きい第２の閾値より小さく、動きベクトル平均値が第３の閾値以上であり、動きベクトル分散値が第４の閾値よりも小さい場合であることを特徴としている。
【００２４】
このような構成を採ると、上記の各統計情報がパニングやチルトのシーン以外の特徴を示す特殊効果シーンを検出対象から除外して、パニングやチルトのシーンを正確に検出することができるとともに、動きベクトル情報探索のための演算量を増大させることなく、パニングやチルトのシーンに応じた必要な動きベクトル情報を得ることができる。
【００２７】
さらに、本発明の動画像の特殊効果シーン検出装置は、入力画像の輝度情報についての統計情報である第１統計情報を取得する第１統計情報取得部と、予測符号化対象の入力画像と過去に符号化された画像との間の動きベクトル情報についての統計情報であり、動きベクトル平均値と動きベクトル分散値とからなる第２統計情報を取得する第２統計情報取得部と、これらの各統計情報取得部によって得られた各統計情報に基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出部とをそなえて構成され、特殊効果シーン検出部が、入力画像についての第１統計情報と、過去に符号化した画像についての第１統計情報との差分である輝度平均差分が第１の閾値より大きく、かつ、第１の閾値よりも大きい第２の閾値より小さく、動きベクトル平均値が、第３の閾値より小さく、動きベクトル分散値が第４の閾値よりも大きい場合に、特殊効果シーンが、フェードシーンであることを検出し、輝度平均差分が、第１の閾値より大きく、かつ、第２の閾値より小さく、動きベクトル平均値が第３の閾値以上であり、動きベクトル分散値が第４の閾値よりも小さい場合に、特殊効果シーンが、パニングあるいはチルトのシーンであることを検出することを特徴としている。
【００２８】
上述のごとく構成された本特殊効果シーン検出装置では、入力画像のもつ特徴情報についての統計情報のみならず、予測符号化時の相関情報についての統計情報をも用いて入力画像の特殊効果シーンを検出することができるので、一方の統計情報だけをみると本来検出したい特殊効果シーンと特徴の似た入力画像（シーン）でも、他方の統計情報が本来検出したい特殊効果シーンの特徴を示していなければ検出対象の特殊効果シーンから除外することができる。
【００２９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は本発明の一実施形態としての特殊効果シーン検出装置が適用されるディジタル動画像符号化装置の構成を示すブロック図で、この図１に示すディジタル動画像符号化装置（以下、単に「動画像符号化装置」という）１は、フレームメモリ２，原画マクロブロック（ＭＢ）取得器３，参照ブロック取得器４，動きベクトル探索器５，予測判定器６，減算器７，加算器１１，スイッチ８，１２，符号化器９及び局所復号化器１０をそなえるとともに、特殊効果シーン検出装置１３として、入力画像情報統計取得器１４，動き情報統計取得器１５，特殊シーン検出器１６及び制御部１７をそなえて構成されている。
【００３０】
ここで、上記のフレームメモリ２は、符号化すべき入力動画像データをフレーム（静止画像）単位で記憶するためのものである。なお、入力動画像データがＮＴＳＣ方式などにおけるインタレース走査によって生成された画像データの場合、１フレーム分の入力画像は偶フィールドと奇フィールドの２枚のフィールドから成るので、フレームメモリ２には、さらに、フィールド単位に画像データが保持されることになる。以下、これらのフレームとフィールドとを特に区別しない場合は、総称して「ピクチャ」という。
【００３１】
また、原画ＭＢ取得器３は、フレームメモリ２に記憶されている画像データ（原画ピクチャ）から符号化対象のＭＢを原画ＭＢとして取得（抽出）するためのもので、例えば、原画ピクチャ内における任意の１６×１６画素（ピクセル）の矩形領域（画素集合）が原画ＭＢとして抽出されるようになっている。
また、参照ブロック取得器４は、ピクチャ間差分情報を得るのに必要な原画ＭＢに対する参照ブロックをフレームメモリ２から取得するためのもので、例えば図３に模式的に示すように、既に符号化され局所復号化器１０にて再生（局所復号）された過去のピクチャ（参照ピクチャ）３２において原画ピクチャ３１内の原画ＭＢ３１１と同じ位置に位置するＭＢ（参照ＭＢ）３２１を中心として縦横方向にそれぞれ１画素ずつ所定画素分だけずらした範囲（この範囲が動きベクトル探索範囲３２２となる）のブロックが上記参照ブロックとして得られるようになっている。
【００３２】
ただし、フィールド間予測の場合は上記の偶フィールド及び奇フィールドのそれぞれ対応して２つの参照ブロックが取得され、それぞれについて下記に示す動きベクトル探索器５による動きベクトル情報の探索が行なわれて、各フィールド用の動きベクトル情報がそれぞれ得られるようになっている。
そして、動きベクトル探索器（動きベクトル情報探索部）５は、上記の原画ＭＢ取得器３で得られた原画ＭＢと参照ブロック取得器４で得られた参照ブロックとに基づいて動き予測を行なって動きベクトル情報（以下、単に「動きベクトル」という）を得るためのもので、例えば図４に模式的に示すように、上記の参照ブロック（動きベクトル探索範囲）３２２内において原画ＭＢ３１１と最も相関の高いＭＢ（以下、予測ＭＢという）３２３を探索（ブロックマッチング）し、その予測ＭＢ３２３の参照ピクチャ３２内での位置と、原画ＭＢ３１１の原画ピクチャ３１内での位置とのずれが動きベクトル（相関情報）３０として表わされるようになっている。
【００３３】
なお、原画ＭＢ３１１と予測ＭＢ３２３との相関は、一般に、画素のもつ特徴情報（輝度信号や色差信号など）についての差分の絶対値和や２乗和などによって求められ、その値（動き探索評価値）が小さいほど両者の相関が高いと判断される。また、得られた動きベクトルは、符号化情報に多重化される。
さらに、予測判定器６は、符号化対象のピクチャの属性や構造（フレーム又はフィールド）に基づいて予測モード〔ピクチャ（フレーム／フィールド）内／間予測〕を判定し、その判定結果に応じてスイッチ８及び１２を制御するとともに、判定結果に応じた最適な動きベクトル（フレーム／フィールド用）を減算器７及び加算器１１へ出力するためのものである。
【００３４】
なお、上記のピクチャの属性とは、ピクチャ内予測を行なうべき画像かピクチャ間予測を行なうべき画像かなどを意味し、例えば、ＭＰＥＧ方式の場合なら、Ｉピクチャ（Intra-coded picture）やＰピクチャ（Predictive-coded picture）／Ｂピクチャ（Bidirectionally predictive-coded picture）などの違いに相当する。
【００３５】
そして、上記の予測判定器６は、例えば、予測モードが、ピクチャ内予測であれば、スイッチ８及び１２をそれぞれ減算器７及び加算器１１側とは逆側に切り替えることで、原画ＭＢそのものが符号化器９にて独立して符号化（ピクチャ内符号化）されるように制御する一方、ピクチャ間予測であれば、スイッチ８及び１２をそれぞれ減算器７及び加算器１１側に切り替えるとともに、ピクチャ間予測モードに応じた動きベクトル（フレーム／フィールド用）を減算器７及び加算器１１にそれぞれ出力する。
【００３６】
これにより、減算器７にて原画ＭＢから動きベクトルを除いた差分画像データが符号化器９に入力されて符号化される一方、その符号化データを局所復号化器１０で復号した差分画像データに、上記の動きベクトルが加算器１１にて加算されて元の原画ＭＢが再生されフレームメモリ２に再度保持されることになる。
なお、動きベクトル探索器５によって得られた動きベクトルは、場合によっては使用しない方が良い場合がある（ピクチャ間予測符号化対象の画像でもピクチャ内予測符号化を行なった方が符号化効率が良い場合もある）。このような場合には、予測判定器６は、ピクチャ間予測符号化を行なうべき場合でも、動きベクトル探索器５によって得られた動きベクトルは使用（出力）せず、スイッチ８及び１２をそれぞれ減算器７及び加算器１１側とは逆側に切り替えて、ピクチャ内予測符号化が行なわれるようにする。
【００３７】
次に、上記の符号化器９は、スイッチ８から選択出力されてくる画像データをＭＢ単位に符号化するもので、例えば、ＭＰＥＧ方式の場合であれば、ＤＣＴ（Discrete Cosine Transform）による直行変換，量子化及び可変長符号化の各処理が符号化処理として含まれることになる。
また、局所復号化器１０は、ピクチャ間予測符号化を行なう基本原理として、過去に符号化したピクチャと符号化対象のピクチャとの差分情報を得る必要があるので、符号化器１０で符号化されたデータを復号することにより過去に符号化したピクチャを再生するもので、ＭＰＥＧ方式の場合であれば、逆量子化及び逆ＤＣＴの各処理が局所復号化処理として含まれることになる。なお、局所復号化処理は、ＭＰＥＧ方式の場合、上記の符号化器９における可変長符号化処理前のデータを用いて行なうのが一般的であるので、逆可変復号化処理は含まないのが普通である。
【００３８】
つまり、図１において、特殊効果シーン検出装置１３以外の部分は、符号化対象のピクチャを過去に符号化したピクチャとの相関に基づいて予測符号化する予測符号化部２１として機能するのである。
次に、上記の特殊効果シーン検出装置１３において、入力画像情報統計取得器（輝度情報統計取得部）１４は、フレームメモリ２に蓄積された符号化対象のピクチャの特徴情報としての輝度信号（輝度情報）についての統計情報（輝度平均；第１統計情報）を取得するためのもので、例えば、フレーム輝度平均を求める場合は、フレーム内の画素集合をU、フレーム輝度平均をAvePとすると、フレーム輝度平均AvePは、例えば、次式（３）によって求められる。
【００３９】
【数１】
【００４０】
なお、この輝度平均の算出は、必ずしもピクチャ内の全画素を用いる必要はなく、一部の画素を用いるようにしてもよい。
一方、上記の動き情報統計取得器（動きベクトル情報統計取得部）１５は、符号化対象のピクチャと過去に符号化したピクチャとの間の動きベクトルについての統計情報（第２統計情報）として動きベクトル平均及び分散を取得するためのもので、例えば、各ＭＢで得られた動きベクトルを累積してゆき、累積動きベクトルをピクチャのＭＢ数で割ることにより動きベクトル平均を得ることができ、各動きベクトルと動きベクトル平均との差の２乗和や絶対値和を求めてＭＢ数で割ることにより動きベクトル分散を得ることができる。
【００４１】
即ち、フレーム内のＭＢ集合をＶ、各動きベクトルをVec_i、ピクチャのＭＢ数をNum_I、動きベクトルの値を（水平成分，垂直成分）＝（VecH_i，VecV_i）とし、水平成分の平均値（以下、単に「水平平均値」という）をＡＨ、水平成分の分散値（以下、単に「水平分散値」という）をＶＨ、垂直成分の平均値（以下、単に「垂直平均値」という）をＡＶ、垂直成分の分散値（以下、単に「垂直分散値」という）をＶＶとそれぞれ表わすと、動き情報統計取得器１５は、それぞれ次式（４）〜（７）で表わされる演算により、動きベクトルの水平成分及び垂直成分についての平均及び分散をそれぞれ求めることができる。
【００４２】
【数２】
【００４３】
このため、本実施形態の動き情報統計取得器１５には、例えば図２中に示すように、上記の式（４）による演算によって水平平均値ＡＨを求める水平動きベクトル平均演算器１５１、上記の式（５）による演算によって水平分散値ＶＨを求める水平動きベクトル分散演算器１５２、上記の式（６）による演算によって垂直平均値ＡＶを求める垂直動きベクトル平均演算器１５３、上記の式（７）による演算によって垂直分散値ＶＶを求める垂直動きベクトル分散演算器１５４がそなえられている。
【００４４】
なお、上記の例は、各動きベクトルと動きベクトル平均との差の絶対値和をとる場合であるが、勿論、２乗和をとるようにしてもよい。また、以下において、動きベクトルの水平成分及び垂直成分についての平均及び分散を特に区別しない場合は、単に「動きベクトル平均」及び「動きベクトル分散」と称することにする。
【００４５】
次に、上記の特殊シーン検出器（特殊効果シーン検出部）１６は、上記の各統計取得器１４，１５によって得られた各統計情報（輝度平均，動きベクトル平均及び分散）に基づいて符号化対象のピクチャが、フェードやパニング，チルトなどの特殊効果シーンであることを検出するためのもので、ここでは、上記の各統計情報が、図２により後述するように、閾値Ｌ１，Ｌ２，ＭＨ１〜ＭＨ３，ＭＶ１〜ＭＶ３によって規定される所定の第１検出条件を満足すると符号化対象のピクチャがフェードシーンであると判断し、第２検出条件を満足すると符号化対象のピクチャがパニングもしくはチルトのシーンであると判断するようになっている。
【００４６】
つまり、上記の特殊シーン検出器１６は、上記の各統計情報が所定の第１検出条件を満足すると符号化対象のピクチャがフェードシーンであることを検出するフェード検出部としての機能と、上記の各統計情報が所定の第２検出条件を満足すると符号化対象のピクチャがパニングあるいはチルトのシーンであることを検出するパニング／チルト検出部としての機能とを兼ね備えているのである。
【００４７】
そして、制御部１７は、上記の特殊シーン検出器１６（特殊効果シーン検出装置１３）にて符号化対象のピクチャが特殊効果シーンであると判断された場合に、検出された特殊効果シーンの種別（フェードやパニング／チルトなど）に応じて、符号化状態を制御するためのもので、本実施形態では、特殊シーン検出器１６にて、後述するように特殊効果シーンとして、フェードシーンが検出された場合には、動きベクトルを制御する一方、パニングやチルトのシーンが検出された場合には、動きベクトル探索器５による動きベクトル探索範囲を動きベクトルについての統計に基づいてシフト制御するようになっている。
【００４８】
例えば、本実施形態では、特殊効果シーンとしてフェードシーンが検出された場合には、全ての動きベクトルを強制的にゼロベクトルにすることで、不要な動きベクトルが選択（符号化）されないようにピクチャの符号化状態を制御して符号化効率を上げることができる。
一方、特殊効果シーンとしてパニングやチルトのシーンが検出された場合には、動きベクトルの統計から動き方向を判別して、その方向へ動きベクトル探索範囲をシフトすることで、パニングやチルトのシーンに対しても演算量を増やすことなく必要な動きベクトルを精度良く求めて符号化効率を上げることができる。
【００４９】
つまり、本実施形態の制御部１７は、特殊シーン検出器１６にてフェードシーンが検出されると動きベクトルを制御して予測符号化部２１での符号化状態を制御する動きベクトル情報制御部としての機能と、特殊シーン検出器１６にてパニングあるいはチルトのシーンが検出されると動きベクトルの統計情報に基づいて動きベクトル探索器５での探索範囲をシフト制御する探索範囲シフト制御部としての機能とを兼ね備えているのである。
【００５０】
以下、上述のごとく構成された本実施形態の動画像符号化装置１（特殊効果シーン検出装置１３）の動作について、図２に示すフローチャートを参照しながら詳述する。なお、予測符号化部２１での基本的な動作については従来と同様である。即ち、最初の符号化対象のピクチャについては、ピクチャ内符号化が行なわれ、原画ＭＢがそのまま符号化される。そして、以降の継続するピクチャについては、それぞれ前に符号化したピクチャとの差分を符号化するために動き予測が行なわれる。即ち、より原画ＭＢに相関の高いＭＢが参照ブロック内で探索され、原画ＭＢのピクチャ内での位置と予測ＭＢの参照ブロック内での位置の相対的なずれが動きベクトルとして求められて符号化情報に多重化される。
【００５１】
一方、特殊効果シーン検出装置１３においては、まず、入力画像情報統計取得器１４にて、符号化対象のピクチャについての輝度平均AvePが求められ、前ピクチャについての輝度平均AvePとの差分Ｄ（以下、輝度平均差分Ｄともいう）が求められる。そして、この差分Ｄと第１の閾値Ｌ１とが特殊シーン検出器１６において比較されて、差分Ｄが閾値Ｌ１よりも大きいか否かが判別される（ステップＳ１）。この結果、差分Ｄが閾値Ｌ１以下であるようなら、輝度平均の変化があまり無いと思われるのでフェード検出条件から外れる（フェード非検出；ステップＳ１のＮＯルート）。なお、上記の閾値Ｌ１としては、例えば、２〜５程度の値を設定するのが適当である。
【００５２】
これに対し、上記の差分Ｄが閾値Ｌ１よりも大きければ、フェードシーンの可能性があるので、特殊シーン検出器１６は、次に、差分Ｄと第２の閾値Ｌ２とを比較して、差分Ｄの方が閾値Ｌ２よりも小さいかどうかを判別する（ステップＳ１のＹＥＳルートからステップＳ２）。なお、上記の閾値Ｌ２は、Ｌ２＞Ｌ１を満足する値で、例えば、２０程度を設定するのが適当である。
【００５３】
この結果、差分Ｄが閾値Ｌ２以上であれば、フェードシーンとは異なりピクチャ間の相関がかなり低いシーンチェンジが発生していると思われるので、この場合も、フェード検出条件から除外される（フェード非検出；ステップＳ２のＮＯルート）。ちなみに、シーンチェンジ発生の場合には、ピクチャ内符号化を使用した方が一般的に符号化効率が良い。
【００５４】
一方、上記の差分Ｄが第２の閾値Ｌ２よりも小さければ、特殊シーン検出器１６は、次に、水平動きベクトル平均演算器１５１〔式（４）参照〕によって求められた水平平均値ＡＨとその水平平均値ＡＨについての閾値ＭＨ１とを比較（絶対値比較）して、水平平均値ＡＨの方が閾値ＭＨ１よりも小さいかどうかを判別する（ステップＳ２のＹＥＳルートからステップＳ３）。なお、上記の閾値ＭＨ１としては、例えば、１０〜１６程度の値を設定するのが適当である。
【００５５】
上記の判別の結果、水平平均値ＡＨが閾値ＭＨ１以上であれば、動きベクトルの水平成分の方向が或る程度揃っていることになるので、そのときの符号化対象のピクチャ（シーン）はフェードシーンではなくパニングのシーンである可能性が高いと判断されて、フェード検出条件からは除外される（フェード非検出；ステップＳ３のＮＯルート）。
【００５６】
一方、水平平均値ＡＨの方が閾値ＭＨ１よりも小さければ、特殊シーン検出器１６は、次に、水平動きベクトル分散演算器１５２〔式（５）参照〕によって求められた水平分散値ＶＨと、その水平分散値ＶＨについての閾値ＭＨ２とを比較して、水平分散値ＶＨの方が閾値ＭＨ２よりも大きいかどうかを判別する（ステップＳ３のＹＥＳルートからステップＳ４）。なお、上記の閾値ＭＨ２は、ＭＨ２＜ＭＨ１を満足する値で、例えば、ＭＨ１／３程度の値を設定するのが適当である。
【００５７】
この結果、水平分散値ＶＨが閾値ＭＨ２以下であれば、水平平均値ＡＨも水平分散値ＶＨも小さいということになるので、フェードシーン時に発生する動き予測効率の低下が発生していないと思われるので、この場合も、フェード検出条件から除外される（フェード非検出；ステップＳ４のＮＯルート）。
一方、水平分散値ＶＨが閾値ＭＨ２よりも大きければ、特殊シーン検出器１６は、次に、垂直動きベクトル平均演算器１５３〔式（６）参照〕によって求められた垂直平均値ＡＶと、その垂直平均値ＡＶについての閾値ＭＶ１とを比較（絶対値比較）して、垂直平均値ＡＶが閾値ＭＶ１よりも小さいかどうかを判別する（ステップＳ４のＹＥＳルートからステップＳ５）。なお、上記の閾値ＭＶ１には、水平平均値についての閾値ＭＨ１と同程度の値を設定するのが適当である。
【００５８】
この結果、垂直平均値ＡＶが閾値ＭＶ１以上であれば、チルトシーンの可能性があるので、フェード検出条件からは除外される（フェード非検出；ステップＳ５のＮＯルート）。一方、垂直平均値ＡＶが閾値ＭＶ１よりも小さければ、特殊シーン検出器１６は、次に、垂直動きベクトル分散演算器１５４〔式（７）参照〕によって求められた垂直分散値ＶＶと、その垂直分散値ＶＶについての閾値ＭＶ２とを比較して、垂直分散値ＶＶが閾値ＭＶ２よりも大きいか否かを判別する（ステップＳ５のＹＥＳルートからステップＳ６）。なお、上記の閾値ＭＶ２は、ＭＶ２＜ＭＶ１を満足する値で、例えば、ＭＶ１／３程度の値を設定するのが適当である。
【００５９】
その結果、垂直分散値ＶＶが閾値ＭＶ２以下であれば（ステップＳ６でＮＯと判定されれば）、垂直平均値ＡＶも垂直分散値ＶＶも小さいことになるので、この場合も、フェードシーン時に発生する動き予測効率の低下が発生していないと思われるので、フェード検出条件から外れる（フェード非検出）。これに対し、垂直分散値ＶＶが閾値ＭＶ２よりも大きい場合は、符号化対象のピクチャがフェードシーンである可能性が非常に高いと判断される（フェード検出；ステップＳ６のＹＥＳルート）。
【００６０】
つまり、本実施形態の特殊シーン検出器１６は、前記の第１検出条件として、Ｄ＞Ｌ１，Ｄ＜Ｌ２，ＡＨ＜ＭＨ１，ＶＨ＞ＭＨ２，ＡＶ＜ＭＶ１及びＶＶ＞ＭＶ２という条件を全て満足した場合に初めて、符号化対象のピクチャがフェードシーンであると判断するのである。従って、輝度平均だけをみるとフェードシーンと似た特徴を示すフェードシーン以外のシーン（パニングやチルトなど）をフェードシーンとして誤検出してしまう確率が大幅に低減されて、正確なフェード検出が実現される。
【００６１】
そして、このようにして、フェードシーンが検出されると、特殊シーン検出器１６は、制御部１７に対してフェード検出信号を出力し、これにより、制御部１７は、動きベクトル探索器５で得られる全ての動きベクトルを強制的にゼロベクトルに制御する。これにより、フェードシーンにおいて不要な動きベクトルが選択（符号化）されて符号化効率が落ちることを確実に回避することができ、フェードシーンでの符号化効率を飛躍的に向上することができる。
【００６２】
ところで、上記のステップＳ３（Ｓ５）において水平平均値ＡＨ（垂直平均値ＡＶ）が閾値ＭＨ１（ＭＶ１）以上であった場合、特殊シーン検出器１６は、上述したフェード検出と並行して、水平動きベクトル分散演算器１５２（垂直動きベクトル分散演算器１５４）によって求められた水平分散値ＶＨ（垂直分散値ＶＶ）と、その水平分散値ＶＨ（垂直分散値ＶＶ）についての閾値ＭＨ３（ＭＶ３）とを比較して、水平分散値ＶＨ（垂直分散値ＶＶ）が閾値ＭＨ３（ＭＶ３）よりも小さいかどうかを判別している〔ステップＳ３（Ｓ５）のＮＯルートからステップＳ７（Ｓ８）〕。
【００６３】
なお、上記の閾値ＭＨ３（ＭＶ３）には、閾値ＭＨ２（ＭＶ２）と同じ値を設定してもよいが、或る程度以上動きベクトルがばらついていることを検出するための閾値ＭＨ２（ＭＶ２）と、或る程度以上動きベクトルが揃っていることを検出するための閾値ＭＨ３（ＭＶ３）というように検出目的が異なるので、上述したように、各値は異なる値〔ＭＨ２＞ＭＨ３（ＭＶ２＞ＭＶ３）〕に設定するのが好ましい。
【００６４】
そして、上記の判別の結果、水平分散値ＶＨ（垂直分散値ＶＶ）が閾値ＭＨ３（ＭＶ３）よりも小さければ、特殊シーン検出器１６は、そのときの符号化対象のピクチャがパニング（チルト）のシーンであると判別して〔パニング（チルト）検出；ステップＳ７（Ｓ８）のＹＥＳルート〕、パニング（チルト）検出信号を制御部１７へ出力する。なお、水平分散値ＶＨ（垂直分散値ＶＶ）が閾値ＭＨ３（ＭＶ３）以上の場合は、動きベクトルが或る程度ばらついていることになるので、パニング（チルト）検出条件からは外れる〔パニング（チルト）非検出；ステップＳ７（Ｓ８）のＮＯルート〕。
【００６５】
つまり、特殊シーン検出器１６は、前記の第２検出条件として、Ｄ＞Ｌ１及びＤ＜Ｌ２という条件を満足するとともに、ＡＨ≧ＭＨ１及びＶＨ＜ＭＨ３（ＡＶ≧ＭＶ１及びＶＶ＜ＭＶ３）という条件を満足した場合に初めて、符号化対象のピクチャがパニング（チルト）のシーンであると判断するのである。従って、輝度平均だけをみる場合に比して、より正確にパニングやチルトのシーンを検出することができる。
【００６６】
そして、上述のごとくパニング（チルト）が検出されてパニング（チルト）検出信号が制御部１７に出力されると、制御部１７は、動きベクトルの統計から動きの（パニング又はチルトの）方向を判別し、その方向へ動きベクトル探索範囲３２２を平均動き量だけシフトする。
例えば図５に模式的に示すように、元の動きベクトル探索範囲３２２が[ＭｉｎＨ，ＭａｘＨ]である場合に、パニングが検出されると、制御部１７は、 [ＭｉｎＨ＋ＡＨ，ＭａｘＨ＋ＡＨ]というように元の探索範囲３２２を水平方向に平均動き量ＡＨだけシフトする。これにより、パニングやチルトなどの一定方向へ移動するシーンに対しても動きベクトルを求めるための演算量を増やすことなく、必要な動きベクトルを精度良く求めて符号化効率を上げることができる。
【００６７】
なお、演算量は増えるが、勿論、上記の平均動き量分だけ元の探索範囲３２２を拡大しても、パニングやチルトなどのシーンにおける動きベクトルを精度良く求めることは可能である。
また、符号化を行なっている場合、フェードやパニング，チルトなどが生じ始めた最初のピクチャから符号化効率が悪くなったのを視覚的に認知することは非常に困難であるため、制御部１７は、上述したフェード（パニング／チルト）検出が所定フレーム分連続して発生したことを確認した上で、上述したような制御を実行するようにしてもよい。このようにすることで、フェードやパニング，チルトなどのシーンと、ズームアウトやズームインのシーンとを区別することも可能になり、より正確な検出を行なうことが可能である。
【００６８】
さらに、動きベクトルがフレーム枠の外側を指すことは一般に考えられないため、動きベクトルの方向に制限があるフレーム枠側の方のＭＢを除いて、動きベクトルの統計処理を行なうのも良い方法である。これは、輝度平均の統計で必ずしも全画素を用いる必要がないことと同様である。
また、フェード検出時の制御部１７による符号化制御としては、上記のように全ての動きベクトルを０ベクトルにするのではなく、より０ベクトルに近いベクトルが選択されやすいように、重み付け制御を行なう方法も考えられる。例えば、動きベクトルを求める際に行なうブロックマッチング処理の評価値に、動きベクトルの大きさに比例する補正量を加算した上で、ブロックマッチングを行なうことにより、より０ベクトルに近いベクトルが選択されやすいようにしてもよい。
【００６９】
また、前記の輝度平均や動きベクトル平均，動きベクトル分散の各演算には、必ずしも前記の式（３）〜式（７）を用いる必要はなく、より簡単な演算を用いてもよい。例えば、演算量削減のために割り算の処理を省いて単なる累積値を求めるようにしても構わないし、１画素飛びに累積を行なうなど、ピクチャ内の全画素の部分集合を用いて処理を行なうことも可能である。ただし、演算式が変わるとそれに応じて設定する閾値（Ｌ１，Ｌ２，ＭＨ１〜ＭＨ３，ＭＶ１〜ＭＶ３）も変更する必要がある。
【００７０】
さらに、上記の例では、フェードシーンの検出のために、動きベクトルの水平成分及び垂直成分の双方についての平均値及び分散値を用いているが、水平成分及び垂直成分のいずれか一方のみを用いるようにしてもよいし、平均値及び分散値のいずれか一方のみを用いるようにしてもよい。
また、上記の例では、特殊シーン検出器１６が、フェード検出とパニング／チルト検出とで兼用になっているが、フェード検出専用あるいはパニング／チルト検出専用の検出器として構成してもよい。即ち、特殊シーン検出器１６は、例えば図６に示すフェード検出フロー（アルゴリズム）に従って動作するように構成してもよいし、図７に示すパニング／チルト検出フロー（アルゴリズム）に従って動作するように構成してもよい。なお、図６及び図７に示すフローチャートにおいて、図２により上述したステップ番号と同一ステップ番号を付した処理は、図２により上述した処理と同様であるものとする。
【００７１】
さらに、特殊シーン検出器１６をパニング／チルト検出専用の検出器として構成する場合には、必ずしも輝度平均は用いなくてもよく、例えば図８に示すように、動きベクトルの統計のみでパニングやチルトのシーン検出を行なうようにしてもよい。ただし、パニングやチルトのシーンが検出された場合は、必ず上記の動きベクトル探索範囲のシフト制御を行なうのが前提である。
【００７２】
そして、本発明は、上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
・付記
（付記１） 入力画像を過去に符号化した画像との相関情報に基づいて予測符号化する予測符号化部と、
該入力画像のもつ特徴情報についての第１統計情報と、該相関情報についての第２統計情報とに基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出部と、
該特殊効果シーン検出部で検出された特殊効果シーンに応じて該予測符号化部による該入力画像の符号化状態を制御する制御部とをそなえて構成されたことを特徴とする、動画像符号化装置。
【００７３】
（付記２） 該特殊効果シーン検出部が、
該入力画像の輝度情報についての統計情報を該第１統計情報として取得する輝度情報統計取得部と、
該入力画像と過去に符号化した画像との間の動きベクトル情報についての統計情報を該第２統計情報として取得する動きベクトル情報統計取得部と、
上記の各統計情報が所定の第１検出条件を満足すると該入力画像が該特殊効果シーンとしてのフェードシーンであることを検出するフェード検出部とをそなえて構成されるとともに、
該制御部が、
該フェード検出部にて該フェードシーンが検出されると該動きベクトル情報を制御して該符号化状態を制御する動きベクトル情報制御部として構成されていることを特徴とする、付記１記載の動画像符号化装置。
【００７４】
（付記３） 該輝度情報統計取得部が、
該入力画像の全画素もしくは一部の画素についての輝度情報の平均値もしくは累積値を該第１統計情報として取得するように構成されたことを特徴とする、付記２記載の動画像符号化装置。
（付記４） 該動きベクトル情報制御部が、
該フェード検出部にて該フェードシーンが検出されると、全ての動きベクトル情報をゼロに制御するように構成されたことを特徴とする、付記２又は付記３に記載の動画像符号化装置。
【００７５】
（付記５） 該動きベクトル情報制御部が、
該フェード検出部にて該フェードシーンが検出されると、よりゼロに近い動きベクトル情報が有効な動きベクトル情報として選択されやすいよう該動きベクトル情報の補正を行なうように構成されたことを特徴とする、付記２又は付記３記載の動画像符号化装置。
【００７６】
（付記６） 該予測符号化部が、
該相関情報としての動きベクトル情報を得るために符号化対象の入力画像を所定の画素探索範囲で探索する動きベクトル情報探索部をそなえるとともに、
該特殊効果シーン検出部が、
該入力画像の輝度情報についての統計情報を該第１統計情報として取得する輝度情報統計取得部と、
該動きベクトル情報についての統計情報を該第２統計情報として取得する動きベクトル情報統計取得部と、
上記の各統計情報が所定の第２検出条件を満足すると該入力画像が該特殊効果シーンとしてのパニングあるいはチルトのシーンであることを検出するパニング／チルト検出部とをそなえて構成され、且つ、
該制御部が、
該パニング／チルト検出部で上記のパニングあるいはチルトのシーンが検出されると該第２統計情報に基づいて該動きベクトル情報探索部での該画素探索範囲をシフト制御する探索範囲シフト制御部として構成されていることを特徴とする、付記１記載の動画像符号化装置。
【００７７】
（付記７） 該制御部が、
該特殊効果シーン検出部にて所定回数連続して同じ種類の特殊効果シーンが検出されると、該符号化状態の制御を実行するように構成されたことを特徴とする、付記１記載の動画像符号化装置。
（付記８） 過去に符号化した画像との相関情報として動きベクトル情報を得るために符号化対象の入力画像を所定の画素探索範囲で探索する動きベクトル情報探索部と、
該動きベクトル情報探索部によって得られた該動きベクトル情報に基づいて該入力画像を予測符号化する予測符号化部と、
該動きベクトル情報についての統計情報に基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出部と、
該特殊効果シーン検出部で該特殊効果シーンが検出されると該統計情報に応じて該動きベクトル情報探索部での該画素探索範囲をシフト制御する探索範囲シフト制御部とをそなえて構成されたことを特徴とする、動画像符号化装置。
【００７８】
（付記９） 入力画像のもつ特徴情報についての統計情報を取得する第１統計情報取得部と、
予測符号化対象の入力画像と過去に符号化された画像との相関情報についての統計情報を取得する第２統計情報取得部と、
上記の各統計情報取得部によって得られた各統計情報に基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出部とをそなえて構成されたことを特徴とする、動画像の特殊効果シーン検出装置。
【００７９】
（付記１０）入力画像を過去に符号化した画像との相関情報に基づいて予測符号化する予測符号化ステップと、
該入力画像のもつ特徴情報についての第１統計情報と、該相関情報についての第２統計情報とに基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出ステップと、
該特殊効果シーン検出ステップで検出された該特殊効果シーンに応じて該予測符号化ステップでの該入力画像の符号化状態を制御する制御ステップとを有して成ることを特徴とする、動画像符号化方法。
【００８０】
（付記１１） 過去に符号化した画像との相関情報として動きベクトル情報を得るために符号化対象の入力画像を所定の画素探索範囲で探索する動きベクトル情報探索ステップと、
該動きベクトル情報探索ステップによって得られた該動きベクトル情報に基づいて該入力画像を予測符号化する予測符号化ステップと、
該動きベクトル情報についての統計情報に基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出ステップと、
該特殊効果シーン検出ステップで該特殊効果シーンが検出されると該統計情報に基づいて該画素探索範囲をシフト制御する探索範囲シフト制御ステップとを有して成ることを特徴とする、動画像符号化方法。
【００８１】
（付記１２） 入力画像のもつ特徴情報についての統計情報と、予測符号化対象の入力画像と過去に符号化された画像との相関情報についての統計情報とをそれぞれ取得する統計情報取得ステップと、
上記の統計情報取得ステップによって得られた各統計情報に基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出ステップとを有して成ることを特徴とする、動画像の特殊効果シーン検出方法。
【００８２】
【発明の効果】
以上詳述したように、本発明によれば、入力画像のもつ特徴情報についての第１統計情報のみならず、予測符号化時の相関情報についての第２統計情報をも用いて入力画像の特殊効果シーンを検出することができるので、一方の統計情報だけをみると本来検出したい特殊効果シーンと特徴の似た入力画像（シーン）でも、他方の統計情報が本来検出したい特殊効果シーンの特徴を示していなければ検出対象の特殊効果シーンから除外することができ、所望の特殊効果シーンの検出精度を大幅に向上することができる。
【００８３】
そして、この上で検出された特殊効果シーンに応じて予測符号化部による符号化状態を制御することで予測符号化誤差の低減を図ることができるので、特殊効果シーンに対する符号化効率を飛躍的に向上することができる。
例えば、上記の特殊効果シーン検出部において、入力画像の輝度情報についての統計情報と動きベクトル情報についての統計情報とがそれぞれ所定の第１条件を満足しない限り、入力画像がフェードシーンであるとは検出しないようにすれば、動きベクトル情報についての統計情報がフェードシーン以外の特徴を示すような入力画像をフェードシーンと誤検出してしまうことを回避することができるので、正確なフェードシーン検出が実現できる。そして、フェードシーン検出時には、動きベクトル情報を制御することで、誤った動きベクトル情報の符号化による符号化効率の低下を回避できるので、フェードシーンの符号化効率を大幅に向上することができる。
【００８４】
また、上記の特殊効果シーン検出部において、上記の各統計情報が所定の第２条件を満足しない限り、入力画像がパニングやチルトのシーンであるとは検出しないようにすれば、パニングやチルトのシーンを正確に検出することができる。そして、この場合、動きベクトル情報の探索範囲を動きベクトル情報の統計情報に基づいてシフト制御すれば、動きベクトル情報探索のための演算量を増大させることなく、パニングやチルトのシーンに応じた必要な動きベクトル情報を確実に得ることができるので、パニングやチルトのシーンの符号化効率を大幅に向上することができる。
【００８５】
なお、動きベクトル情報の探索範囲についてのシフト制御は、動きベクトル情報のみから特殊効果シーンが検出された場合に適用してもよく、この場合も、動きベクトル情報探索のための演算量を増大させることなく、パニングやチルトなどの特殊効果シーンに応じた必要な動きベクトル情報を確実に得ることができるので、その特殊効果シーンの符号化効率を大幅に向上することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態としての動画像符号化装置の構成を示すブロック図である。
【図２】図１に示す動画像符号化装置（特殊効果シーン検出装置）の動作（処理手順）を説明するためのフローチャートである。
【図３】動きベクトル探索範囲を説明するための模式図である。
【図４】動きベクトルの定義を説明するための模式図である。
【図５】本実施形態に係るパニング／チルトシーン検出時の動きベクトル探索範囲のシフト制御を説明するための模式図である。
【図６】図２に示す処理手順の変形例（フェード検出専用時）を示すフローチャートである。
【図７】図２に示す処理手順の変形例（パニング／チルト検出専用時）を示すフローチャートである。
【図８】図２に示す処理手順の変形例（パニング／チルト検出専用で動きベクトルの統計のみを用いる場合）を示すフローチャートである。
【符号の説明】
１ ディジタル動画像符号化装置
２ フレームメモリ
３ 原画マクロブロック（ＭＢ）取得
４ 参照ブロック取得器
５ 動きベクトル探索器（動きベクトル情報探索部）
６ 予測判定器
７ 減算器
８，１２ スイッチ
９ 符号化器
１０ 局所復号化器
１１ 加算器
１３ 特殊効果シーン検出装置
１４ 入力画像情報統計取得器（輝度情報統計取得部）
１５ 動き情報統計取得器（動きベクトル情報統計取得部）
１６ 特殊シーン検出器（特殊効果シーン検出部；フェード検出部，パニング／チルト検出部）
１７ 制御部（動きベクトル情報制御部，探索範囲シフト制御部）
２１ 予測符号化部
３０ 動きベクトル
３１ 原画ピクチャ
３２ 参照ピクチャ
１５１ 水平動きベクトル平均演算器
１５２ 水平動きベクトル分散演算器
１５３ 垂直動きベクトル平均演算器
１５４ 垂直動きベクトル分散演算器
３１１ 原画ＭＢ
３２１ 参照ＭＢ
３２２ 動きベクトル探索範囲
３２３ 予測ＭＢ
【発明の属する技術分野】
本発明は、動画像符号化装置および動画像の特殊効果シーン検出装置に関し、特に、フェードシーンやパニング，チルトなどの特殊効果シーンを含む動画像を符号化する際に用いて好適な、動画像符号化装置および動画像の特殊効果シーン検出装置に関する。
【０００２】
【従来の技術】
従来のディジタル動画像符号化方式としては、例えば、ＭＰＥＧ（Moving Picture Experts Group）−１（ISO/IEC 11172-2）やＭＰＥＧ−２（ISO/IEC 13181-2），ＭＰＥＧ−４（ISO/IEC14496-2），ＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication standardization sector）の映像符号化勧告（H261.，H263.）などが知られているが、これらの方式では、情報量が莫大な動画像を有効帯域で使用できるようにするために、情報圧縮技術を用いていて、共通して、「フレーム間動き予測符号化」と呼ばれる手法を用いている。
【０００３】
これらのディジタル動画像符号化方式では、まず、フレーム内符号化により１枚の動画像フレーム（以下、単にフレームという）に対して空間的冗長性を省く処理を行なって情報量圧縮を行ない、次に、このようにフレーム内符号化により符号化した過去のフレームと符号化対象のフレームとの差分情報を符号化するフレーム間符号化が行なわれる。
【０００４】
ここで、上記の「フレーム間符号化」とは、動画像の連続性に着目することにより、１枚１枚のフレームを独立してフレーム内符号化するよりも、フレーム内のサブブロックである所定のマクロブロック〔ｍ×ｎ（ｍ，ｎはいずれも自然数）の画素集合；以下、ＭＢと表記する〕毎に、符号化済みのフレームの或るＭＢと同位置の符号化対象フレームにおけるＭＢとの差分を求め、その差分ＭＢを符号化することであり、このようにすることで、より効率良く動画像の冗長性を省いて情報量を圧縮することができる。
【０００５】
なお、実際には、フレーム内の絵柄が動いている場合には、単純にフレーム間の同位置ＭＢ間差分をとっても、差分量が小さくならないため、さらに、ＭＢ毎に動き（ベクトル）探索を行ない、参照フレーム内からより差分の小さいブロック領域を探し出し、現フレームのＭＢと参照フレームの動き探索により求められたブロック領域との差分ＭＢを求め、その差分ＭＢを符号化することが行なわれる。このとき、動き探索によって求められた動きベクトル情報と差分情報を符号化したものが多重化されてＭＢ符号化情報となる。
【０００６】
しかしながら、これらの動画像符号化方式では、例えば、フェードや動きの大きいパニングやチルトなどの映像撮影や編集時に広く用いられている特殊効果シーンに対する符号化効率があまり良くなく、画質の劣化を引き起こす要因となっている。
例えば、上記のフェードは、ビデオ編集の１手法として広く用いられている方式で、通常の画像から次第に白色や黒色などの一定色の画像に変化ゆくフェードアウトと、逆に、一定色の画像から通常の画像が次第に現われてくるフェードインとがあるが、いずれの場合も、フレーム毎に輝度信号のレベルが変化するために動き予測が当たり難く、結果的に、余分な動きベクトル情報を符号化してしまって符号化効率が低下する。
【０００７】
一方、パニングやチルトは、例えば、車などの動く物体を追いかけて撮影するときにカメラを横方向もしくは縦方向に流しながら撮影する手法であるが、一般的に、上記の動き探索の探索範囲に限りがあるために、その探索範囲を超えたパニングやチルトのシーンでは、適切な動きベクトルを検出することが不可能で、動き予測が当たらなくなり符号化効率が低下する。
【０００８】
このため、これまで、フェードシーンに対する対処としては、例えば、特開平６−４６４１２号公報（以下、公知文献１という）や特開平８−６５６８４号公報（以下、公知文献２という），特開平１１−１９１８６２号公報（以下、公知文献３という）などで各種手法が提案されている。
ここで、上記の各公知文献１〜３で提案されている各手法の要旨を説明すると、まず、公知文献１による手法（以下、第１手法という）は、フレーム間差分情報を符号化する場合に、フレーム間の平均輝度値の差分を求め、その差分を補正（フェード補正）により除去して符号化することにより、「フェードシーン」においても予測残差を削減して符号化効率を上げることができるという手法であり、公知文献２による手法（以下、第２手法という）は、フレーム間の平均輝度値の差分を求め、その差分補正を動きベクトル探索前のＭＢに対して行なった上で、動きベクトル探索を行なうことにより、「フェードシーン」においてもより正確な動きベクトルを求めることができるという手法である。そして、公知文献３による手法（以下、第３手法という）は、フレーム間の輝度信号の平均及び分散を求め、これらの各情報に基づいて「フェードシーン」を検出する手法である。
【０００９】
一方、パニングなどの特殊効果シーンに対する対処としては、例えば、特開平５−２０７４４４号公報（以下、公知文献４という）や特開平９−２１４９７４号公報（以下、公知文献５という），特開平１０−２２４７４１号公報（以下、公知文献６という）などに示されるような各種手法が提案されている。
ここで、上記の公知文献４による手法（以下、第４手法という）は、動きベクトルの統計によりパニングを検出し、その場合に動き予測をフィールド間予測に限定することで符号化効率を向上できるようにした手法であり、上記の公知文献５による手法（以下、第５手法という）は、動きベクトルの統計によりパニング（あるいは、チルト）を検出し、その場合に符号化画面の画像解像度を落とすことで動きベクトルの探索範囲（以下、単に「動き探索範囲」ともいう）を仮想的に拡大するという手法である。
【００１０】
例えば、パニング（あるいは、チルト）が検出された場合には、フレームを縦横１／２に間引いた画像を生成して、その画像を符号化することで、同じ範囲の動き探索を行なったとしても、実質縦横２倍の範囲を探索していることになる。そして、上記の公知文献６による手法（以下、第６手法という）は、符号化出力（ストリーム）から種々のカット点検出を行なうことを要旨とした手法である。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記の各手法では、それぞれ、次のような課題が生じる。
まず、第１手法では、フレームの輝度情報の変化のみでフェード検出を行なうため、パニングやチルトなどの画像（シーン）をフェードシーンと誤検出してしまう可能性がある。その上、本第１手法では、フェード検出情報を符号化情報へ多重化するため、余分な情報が必要となり、符号化ストリームが完全なＭＰＥＧ互換ではなくなる。
【００１２】
また、第２手法では、動きベクトル探索段階で平均輝度情報を削減するという処理をＭＢ単位で行なうため演算量が莫大になるばかりでなく、フェードの具合によっては平均輝度情報を削減しても、動きベクトルの誤検出が起こる場合がある。その具体例として、フェードとしてフレーム輝度平均が次第に低くなってゆき、最終画素値がＺとなる場合を例として考えてみる。
【００１３】
例えば、ｎフレーム目のフレーム内の或る画素位置の輝度値をＸnとすると、フェードの式は、次式（１）（画素の輝度値Ｘnがフレーム毎に一定に変化してゆく場合）や次式（２）（画素の輝度値Ｘnの変化がフレームによって変わる場合）などで表される。
Ｘn+1＝max（Ｘn−Ａ，Ｚ） （Ａは固定値）・・・（１）
Ｘn+1＝（１−α）・Ｘn＋α・Ｚ （０≦α≦１）・・・（２）
上記の式（１）の場合は、フレーム内のどの画素をとってもフレーム毎の輝度情報変化値は同じ“Ａ”であるため、平均輝度成分を取り除くと動きベクトルをうまく検出できそうである。これに対し、上記の式（２）は、変数αをフェード前後で０から１へと段階的に変化させることにより、フェードアウトしていく画像を生成でき、逆に、変数αを１から０へと段階的に変化させることにより、フェードインしてゆく画像を生成できることを表すが、この場合、フェードが進むにつれて輝度情報の変化とともに、フレーム内の輝度値によって輝度情報変化値も変わる、つまり、フレーム内の輝度が生成する模様が変化するため、平均輝度成分を取り除いても動きベクトルの誤検出の発生が十分に考えられる。
【００１４】
次に、上記の第３手法では、フレーム間の各画素の輝度値の変化のみならず、その変化の２乗を計算することにより、フェード検出をより正確に行なっているが、上記の第１手法と同様に、輝度値の変化に注目するだけでは、パニングやチルトなどのシーンで誤検出を起こすと思われる。また、本第３手法の場合は輝度値の変化の２乗を計算するので演算量も膨大になってしまう。
【００１５】
以上のように、上述した第１〜第３手法では、いずれの場合も、「フェードシーン」の検出にフレーム間の輝度情報の変化しか考慮していないために、「フェードシーン」以外の特殊効果シーン（パニングやチルトなど）を「フェードシーン」として誤検出してしまう可能性が十分にあり、正確なフェード検出が行なえないのである。
【００１６】
一方、パニングやチルトなどのシーンに関して、上記の第４手法では、動きベクトルの探索範囲が固定であるため、単位時間当たりの動き量の大きいパニングやチルトにより探索範囲を超えた画像が入力された場合に、動きベクトルを得ることができず対処できない。また、上記の第５手法では、パニングが検出された場合には、低解像度の符号化を行なうため画質が劣化する（ボケる）という課題がある。なお、解像度を落とさずに、単純に、動き探索範囲を拡大すると演算量が膨大になる。
【００１７】
さらに、上記の第６手法では、符号化ストリームを復号するときに、シーン検出インデックスを付けるだけ（符号化モードの変更は無し）なので、符号化側の概念は無く、パニングやチルトのシーンに対して符号化効率を上げるという意図は無い。
つまり、上記の第４〜第６手法では、動きベクトルの探索範囲が固定、もしくは、拡大する場合は画像解像度を落とす必要があるため、パニングやチルトなどの特殊効果シーンに対して高画質を維持しながら符号化効率を上げることができないのである。
【００１８】
本発明は、以上のような課題に鑑み創案されたもので、入力画像の輝度情報などの特徴情報についての統計情報だけでなく、動きベクトル情報などの入力画像を予測符号化する際に用いられる相関情報についての統計情報をも考慮することで、フェードシーンなどの特殊効果シーンを正確に検出できるようにすることを目的とする。また、パニングやチルトなどの特殊効果シーンに対しては、動きベクトル情報などの相関情報の探索範囲をシフト制御することで、画像解像度を落とすことなく、且つ、相関情報探索のための演算量を増大させることなく、正確な相関情報を取得して符号化効率を向上できるようにすることも目的とする。
【００１９】
【課題を解決するための手段】
上記の目的を達成するために、本発明の動画像符号化装置は、入力画像を過去に符号化した画像との相関情報に基づいて予測符号化する予測符号化部と、入力画像の輝度情報についての統計情報である第１統計情報と、入力画像と過去に符号化した画像との間の動きベクトル情報についての第２統計情報とに基づいて入力画像の特殊効果シーンを検出する特殊効果シーン検出部と、この特殊効果シーン検出部で検出された特殊効果シーンに応じて前記予測符号化部による入力画像の符号化状態を制御する制御部とをそなえて構成され、特殊効果シーン検出部が、第１統計情報を取得する輝度情報統計取得部と、第２統計情報を取得する動きベクトル情報統計取得部と、上記の各統計情報が所定の第１検出条件を満足すると入力画像が特殊効果シーンとしてのフェードシーンであることを検出するフェード検出部とをそなえて構成されるとともに、制御部が、フェード検出部にてフェードシーンが検出されると動きベクトル情報をゼロに制御して符号化状態を制御する動きベクトル情報制御部として構成され、所定の第１検出条件が、入力画像についての第１統計情報と、過去に符号化した画像についての第１統計情報との差分である輝度平均差分が第１の閾値より大きく、かつ、第１の閾値よりも大きい第２の閾値より小さく、動きベクトル平均値が、第３の閾値より小さく、動きベクトル分散値が第４の閾値よりも大きい場合であることを特徴としている。
【００２０】
上述のごとく構成された本発明の動画像符号化装置では、入力画像のもつ特徴情報についての第１統計情報のみならず、予測符号化時の相関情報についての第２統計情報をも用いて入力画像の特殊効果シーンを検出することができるので、一方の統計情報だけをみると本来検出したい特殊効果シーンと特徴の似た入力画像（シーン）でも、他方の統計情報が本来検出したい特殊効果シーンの特徴を示していなければ検出対象の特殊効果シーンから除外することができる。そして、この上で検出された特殊効果シーンに応じて予測符号化部による符号化状態を制御することで予測符号化誤差の低減を図ることができる。
【００２２】
さらに、このような構成を採ると、入力画像の輝度情報についての統計情報と動きベクトル情報についての統計情報とがそれぞれフェードシーンの特徴を示していない限り、入力画像がフェードシーンであるとは検出されないので、例えば、輝度情報についての統計情報だけをみるとフェードシーンの特徴を示すが、動きベクトル情報についての統計情報がフェードシーン以外の特徴を示すような入力画像（例えば、パニングやチルトなどのシーン）をフェードシーンと誤検出してしまうことを回避することができる。そして、フェードシーン検出時には、動きベクトル情報を制御することで、誤った動きベクトル情報の符号化による符号化効率の低下を回避できる。
【００２３】
また、本発明の動画像符号化装置では、入力画像を過去に符号化した画像との相関情報に基づいて予測符号化する予測符号化部と、入力画像の輝度情報についての統計情報である第１統計情報と、入力画像と過去に符号化した画像との間の動きベクトル情報についての統計情報であり、動きベクトル平均値と動きベクトル分散値とからなる第２統計情報とに基づいて入力画像の特殊効果シーンを検出する特殊効果シーン検出部と、特殊効果シーン検出部で検出された特殊効果シーンに応じて予測符号化部による入力画像の符号化状態を制御する制御部とをそなえて構成され、上記の予測符号化部が、上記の相関情報として動きベクトル情報を得るために符号化対象の入力画像を所定の画素探索範囲で探索する動きベクトル情報探索部をそなえるとともに、上記の特殊効果シーン検出部には、前記第１統計情報を取得する輝度情報統計取得部と、前記第２統計情報を取得する動きベクトル情報統計取得部と、これらの各統計取得部によって得られた各統計情報が所定の第２検出条件を満足すると入力画像が特殊効果シーンとしてのパニングあるいはチルトのシーンであることを検出するパニング／チルト検出部とをそなえ、且つ、上記の制御部を、このパニング／チルト検出部で上記のパニングあるいはチルトのシーンが検出されると前記第２統計情報に基づいて上記動きベクトル情報探索部での画素探索範囲をシフト制御する探索範囲シフト制御部として構成し、所定の第２条件が、入力画像についての第１統計情報と、過去に符号化した画像についての第１統計情報との差分である輝度平均差分が、第１の閾値より大きく、かつ、第１の閾値よりも大きい第２の閾値より小さく、動きベクトル平均値が第３の閾値以上であり、動きベクトル分散値が第４の閾値よりも小さい場合であることを特徴としている。
【００２４】
このような構成を採ると、上記の各統計情報がパニングやチルトのシーン以外の特徴を示す特殊効果シーンを検出対象から除外して、パニングやチルトのシーンを正確に検出することができるとともに、動きベクトル情報探索のための演算量を増大させることなく、パニングやチルトのシーンに応じた必要な動きベクトル情報を得ることができる。
【００２７】
さらに、本発明の動画像の特殊効果シーン検出装置は、入力画像の輝度情報についての統計情報である第１統計情報を取得する第１統計情報取得部と、予測符号化対象の入力画像と過去に符号化された画像との間の動きベクトル情報についての統計情報であり、動きベクトル平均値と動きベクトル分散値とからなる第２統計情報を取得する第２統計情報取得部と、これらの各統計情報取得部によって得られた各統計情報に基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出部とをそなえて構成され、特殊効果シーン検出部が、入力画像についての第１統計情報と、過去に符号化した画像についての第１統計情報との差分である輝度平均差分が第１の閾値より大きく、かつ、第１の閾値よりも大きい第２の閾値より小さく、動きベクトル平均値が、第３の閾値より小さく、動きベクトル分散値が第４の閾値よりも大きい場合に、特殊効果シーンが、フェードシーンであることを検出し、輝度平均差分が、第１の閾値より大きく、かつ、第２の閾値より小さく、動きベクトル平均値が第３の閾値以上であり、動きベクトル分散値が第４の閾値よりも小さい場合に、特殊効果シーンが、パニングあるいはチルトのシーンであることを検出することを特徴としている。
【００２８】
上述のごとく構成された本特殊効果シーン検出装置では、入力画像のもつ特徴情報についての統計情報のみならず、予測符号化時の相関情報についての統計情報をも用いて入力画像の特殊効果シーンを検出することができるので、一方の統計情報だけをみると本来検出したい特殊効果シーンと特徴の似た入力画像（シーン）でも、他方の統計情報が本来検出したい特殊効果シーンの特徴を示していなければ検出対象の特殊効果シーンから除外することができる。
【００２９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は本発明の一実施形態としての特殊効果シーン検出装置が適用されるディジタル動画像符号化装置の構成を示すブロック図で、この図１に示すディジタル動画像符号化装置（以下、単に「動画像符号化装置」という）１は、フレームメモリ２，原画マクロブロック（ＭＢ）取得器３，参照ブロック取得器４，動きベクトル探索器５，予測判定器６，減算器７，加算器１１，スイッチ８，１２，符号化器９及び局所復号化器１０をそなえるとともに、特殊効果シーン検出装置１３として、入力画像情報統計取得器１４，動き情報統計取得器１５，特殊シーン検出器１６及び制御部１７をそなえて構成されている。
【００３０】
ここで、上記のフレームメモリ２は、符号化すべき入力動画像データをフレーム（静止画像）単位で記憶するためのものである。なお、入力動画像データがＮＴＳＣ方式などにおけるインタレース走査によって生成された画像データの場合、１フレーム分の入力画像は偶フィールドと奇フィールドの２枚のフィールドから成るので、フレームメモリ２には、さらに、フィールド単位に画像データが保持されることになる。以下、これらのフレームとフィールドとを特に区別しない場合は、総称して「ピクチャ」という。
【００３１】
また、原画ＭＢ取得器３は、フレームメモリ２に記憶されている画像データ（原画ピクチャ）から符号化対象のＭＢを原画ＭＢとして取得（抽出）するためのもので、例えば、原画ピクチャ内における任意の１６×１６画素（ピクセル）の矩形領域（画素集合）が原画ＭＢとして抽出されるようになっている。
また、参照ブロック取得器４は、ピクチャ間差分情報を得るのに必要な原画ＭＢに対する参照ブロックをフレームメモリ２から取得するためのもので、例えば図３に模式的に示すように、既に符号化され局所復号化器１０にて再生（局所復号）された過去のピクチャ（参照ピクチャ）３２において原画ピクチャ３１内の原画ＭＢ３１１と同じ位置に位置するＭＢ（参照ＭＢ）３２１を中心として縦横方向にそれぞれ１画素ずつ所定画素分だけずらした範囲（この範囲が動きベクトル探索範囲３２２となる）のブロックが上記参照ブロックとして得られるようになっている。
【００３２】
ただし、フィールド間予測の場合は上記の偶フィールド及び奇フィールドのそれぞれ対応して２つの参照ブロックが取得され、それぞれについて下記に示す動きベクトル探索器５による動きベクトル情報の探索が行なわれて、各フィールド用の動きベクトル情報がそれぞれ得られるようになっている。
そして、動きベクトル探索器（動きベクトル情報探索部）５は、上記の原画ＭＢ取得器３で得られた原画ＭＢと参照ブロック取得器４で得られた参照ブロックとに基づいて動き予測を行なって動きベクトル情報（以下、単に「動きベクトル」という）を得るためのもので、例えば図４に模式的に示すように、上記の参照ブロック（動きベクトル探索範囲）３２２内において原画ＭＢ３１１と最も相関の高いＭＢ（以下、予測ＭＢという）３２３を探索（ブロックマッチング）し、その予測ＭＢ３２３の参照ピクチャ３２内での位置と、原画ＭＢ３１１の原画ピクチャ３１内での位置とのずれが動きベクトル（相関情報）３０として表わされるようになっている。
【００３３】
なお、原画ＭＢ３１１と予測ＭＢ３２３との相関は、一般に、画素のもつ特徴情報（輝度信号や色差信号など）についての差分の絶対値和や２乗和などによって求められ、その値（動き探索評価値）が小さいほど両者の相関が高いと判断される。また、得られた動きベクトルは、符号化情報に多重化される。
さらに、予測判定器６は、符号化対象のピクチャの属性や構造（フレーム又はフィールド）に基づいて予測モード〔ピクチャ（フレーム／フィールド）内／間予測〕を判定し、その判定結果に応じてスイッチ８及び１２を制御するとともに、判定結果に応じた最適な動きベクトル（フレーム／フィールド用）を減算器７及び加算器１１へ出力するためのものである。
【００３４】
なお、上記のピクチャの属性とは、ピクチャ内予測を行なうべき画像かピクチャ間予測を行なうべき画像かなどを意味し、例えば、ＭＰＥＧ方式の場合なら、Ｉピクチャ（Intra-coded picture）やＰピクチャ（Predictive-coded picture）／Ｂピクチャ（Bidirectionally predictive-coded picture）などの違いに相当する。
【００３５】
そして、上記の予測判定器６は、例えば、予測モードが、ピクチャ内予測であれば、スイッチ８及び１２をそれぞれ減算器７及び加算器１１側とは逆側に切り替えることで、原画ＭＢそのものが符号化器９にて独立して符号化（ピクチャ内符号化）されるように制御する一方、ピクチャ間予測であれば、スイッチ８及び１２をそれぞれ減算器７及び加算器１１側に切り替えるとともに、ピクチャ間予測モードに応じた動きベクトル（フレーム／フィールド用）を減算器７及び加算器１１にそれぞれ出力する。
【００３６】
これにより、減算器７にて原画ＭＢから動きベクトルを除いた差分画像データが符号化器９に入力されて符号化される一方、その符号化データを局所復号化器１０で復号した差分画像データに、上記の動きベクトルが加算器１１にて加算されて元の原画ＭＢが再生されフレームメモリ２に再度保持されることになる。
なお、動きベクトル探索器５によって得られた動きベクトルは、場合によっては使用しない方が良い場合がある（ピクチャ間予測符号化対象の画像でもピクチャ内予測符号化を行なった方が符号化効率が良い場合もある）。このような場合には、予測判定器６は、ピクチャ間予測符号化を行なうべき場合でも、動きベクトル探索器５によって得られた動きベクトルは使用（出力）せず、スイッチ８及び１２をそれぞれ減算器７及び加算器１１側とは逆側に切り替えて、ピクチャ内予測符号化が行なわれるようにする。
【００３７】
次に、上記の符号化器９は、スイッチ８から選択出力されてくる画像データをＭＢ単位に符号化するもので、例えば、ＭＰＥＧ方式の場合であれば、ＤＣＴ（Discrete Cosine Transform）による直行変換，量子化及び可変長符号化の各処理が符号化処理として含まれることになる。
また、局所復号化器１０は、ピクチャ間予測符号化を行なう基本原理として、過去に符号化したピクチャと符号化対象のピクチャとの差分情報を得る必要があるので、符号化器１０で符号化されたデータを復号することにより過去に符号化したピクチャを再生するもので、ＭＰＥＧ方式の場合であれば、逆量子化及び逆ＤＣＴの各処理が局所復号化処理として含まれることになる。なお、局所復号化処理は、ＭＰＥＧ方式の場合、上記の符号化器９における可変長符号化処理前のデータを用いて行なうのが一般的であるので、逆可変復号化処理は含まないのが普通である。
【００３８】
つまり、図１において、特殊効果シーン検出装置１３以外の部分は、符号化対象のピクチャを過去に符号化したピクチャとの相関に基づいて予測符号化する予測符号化部２１として機能するのである。
次に、上記の特殊効果シーン検出装置１３において、入力画像情報統計取得器（輝度情報統計取得部）１４は、フレームメモリ２に蓄積された符号化対象のピクチャの特徴情報としての輝度信号（輝度情報）についての統計情報（輝度平均；第１統計情報）を取得するためのもので、例えば、フレーム輝度平均を求める場合は、フレーム内の画素集合をU、フレーム輝度平均をAvePとすると、フレーム輝度平均AvePは、例えば、次式（３）によって求められる。
【００３９】
【数１】
なお、この輝度平均の算出は、必ずしもピクチャ内の全画素を用いる必要はなく、一部の画素を用いるようにしてもよい。
一方、上記の動き情報統計取得器（動きベクトル情報統計取得部）１５は、符号化対象のピクチャと過去に符号化したピクチャとの間の動きベクトルについての統計情報（第２統計情報）として動きベクトル平均及び分散を取得するためのもので、例えば、各ＭＢで得られた動きベクトルを累積してゆき、累積動きベクトルをピクチャのＭＢ数で割ることにより動きベクトル平均を得ることができ、各動きベクトルと動きベクトル平均との差の２乗和や絶対値和を求めてＭＢ数で割ることにより動きベクトル分散を得ることができる。
【００４１】
即ち、フレーム内のＭＢ集合をＶ、各動きベクトルをVec_i、ピクチャのＭＢ数をNum_I、動きベクトルの値を（水平成分，垂直成分）＝（VecH_i，VecV_i）とし、水平成分の平均値（以下、単に「水平平均値」という）をＡＨ、水平成分の分散値（以下、単に「水平分散値」という）をＶＨ、垂直成分の平均値（以下、単に「垂直平均値」という）をＡＶ、垂直成分の分散値（以下、単に「垂直分散値」という）をＶＶとそれぞれ表わすと、動き情報統計取得器１５は、それぞれ次式（４）〜（７）で表わされる演算により、動きベクトルの水平成分及び垂直成分についての平均及び分散をそれぞれ求めることができる。
【００４２】
【数２】
このため、本実施形態の動き情報統計取得器１５には、例えば図２中に示すように、上記の式（４）による演算によって水平平均値ＡＨを求める水平動きベクトル平均演算器１５１、上記の式（５）による演算によって水平分散値ＶＨを求める水平動きベクトル分散演算器１５２、上記の式（６）による演算によって垂直平均値ＡＶを求める垂直動きベクトル平均演算器１５３、上記の式（７）による演算によって垂直分散値ＶＶを求める垂直動きベクトル分散演算器１５４がそなえられている。
【００４４】
なお、上記の例は、各動きベクトルと動きベクトル平均との差の絶対値和をとる場合であるが、勿論、２乗和をとるようにしてもよい。また、以下において、動きベクトルの水平成分及び垂直成分についての平均及び分散を特に区別しない場合は、単に「動きベクトル平均」及び「動きベクトル分散」と称することにする。
【００４５】
次に、上記の特殊シーン検出器（特殊効果シーン検出部）１６は、上記の各統計取得器１４，１５によって得られた各統計情報（輝度平均，動きベクトル平均及び分散）に基づいて符号化対象のピクチャが、フェードやパニング，チルトなどの特殊効果シーンであることを検出するためのもので、ここでは、上記の各統計情報が、図２により後述するように、閾値Ｌ１，Ｌ２，ＭＨ１〜ＭＨ３，ＭＶ１〜ＭＶ３によって規定される所定の第１検出条件を満足すると符号化対象のピクチャがフェードシーンであると判断し、第２検出条件を満足すると符号化対象のピクチャがパニングもしくはチルトのシーンであると判断するようになっている。
【００４６】
つまり、上記の特殊シーン検出器１６は、上記の各統計情報が所定の第１検出条件を満足すると符号化対象のピクチャがフェードシーンであることを検出するフェード検出部としての機能と、上記の各統計情報が所定の第２検出条件を満足すると符号化対象のピクチャがパニングあるいはチルトのシーンであることを検出するパニング／チルト検出部としての機能とを兼ね備えているのである。
【００４７】
そして、制御部１７は、上記の特殊シーン検出器１６（特殊効果シーン検出装置１３）にて符号化対象のピクチャが特殊効果シーンであると判断された場合に、検出された特殊効果シーンの種別（フェードやパニング／チルトなど）に応じて、符号化状態を制御するためのもので、本実施形態では、特殊シーン検出器１６にて、後述するように特殊効果シーンとして、フェードシーンが検出された場合には、動きベクトルを制御する一方、パニングやチルトのシーンが検出された場合には、動きベクトル探索器５による動きベクトル探索範囲を動きベクトルについての統計に基づいてシフト制御するようになっている。
【００４８】
例えば、本実施形態では、特殊効果シーンとしてフェードシーンが検出された場合には、全ての動きベクトルを強制的にゼロベクトルにすることで、不要な動きベクトルが選択（符号化）されないようにピクチャの符号化状態を制御して符号化効率を上げることができる。
一方、特殊効果シーンとしてパニングやチルトのシーンが検出された場合には、動きベクトルの統計から動き方向を判別して、その方向へ動きベクトル探索範囲をシフトすることで、パニングやチルトのシーンに対しても演算量を増やすことなく必要な動きベクトルを精度良く求めて符号化効率を上げることができる。
【００４９】
つまり、本実施形態の制御部１７は、特殊シーン検出器１６にてフェードシーンが検出されると動きベクトルを制御して予測符号化部２１での符号化状態を制御する動きベクトル情報制御部としての機能と、特殊シーン検出器１６にてパニングあるいはチルトのシーンが検出されると動きベクトルの統計情報に基づいて動きベクトル探索器５での探索範囲をシフト制御する探索範囲シフト制御部としての機能とを兼ね備えているのである。
【００５０】
以下、上述のごとく構成された本実施形態の動画像符号化装置１（特殊効果シーン検出装置１３）の動作について、図２に示すフローチャートを参照しながら詳述する。なお、予測符号化部２１での基本的な動作については従来と同様である。即ち、最初の符号化対象のピクチャについては、ピクチャ内符号化が行なわれ、原画ＭＢがそのまま符号化される。そして、以降の継続するピクチャについては、それぞれ前に符号化したピクチャとの差分を符号化するために動き予測が行なわれる。即ち、より原画ＭＢに相関の高いＭＢが参照ブロック内で探索され、原画ＭＢのピクチャ内での位置と予測ＭＢの参照ブロック内での位置の相対的なずれが動きベクトルとして求められて符号化情報に多重化される。
【００５１】
一方、特殊効果シーン検出装置１３においては、まず、入力画像情報統計取得器１４にて、符号化対象のピクチャについての輝度平均AvePが求められ、前ピクチャについての輝度平均AvePとの差分Ｄ（以下、輝度平均差分Ｄともいう）が求められる。そして、この差分Ｄと第１の閾値Ｌ１とが特殊シーン検出器１６において比較されて、差分Ｄが閾値Ｌ１よりも大きいか否かが判別される（ステップＳ１）。この結果、差分Ｄが閾値Ｌ１以下であるようなら、輝度平均の変化があまり無いと思われるのでフェード検出条件から外れる（フェード非検出；ステップＳ１のＮＯルート）。なお、上記の閾値Ｌ１としては、例えば、２〜５程度の値を設定するのが適当である。
【００５２】
これに対し、上記の差分Ｄが閾値Ｌ１よりも大きければ、フェードシーンの可能性があるので、特殊シーン検出器１６は、次に、差分Ｄと第２の閾値Ｌ２とを比較して、差分Ｄの方が閾値Ｌ２よりも小さいかどうかを判別する（ステップＳ１のＹＥＳルートからステップＳ２）。なお、上記の閾値Ｌ２は、Ｌ２＞Ｌ１を満足する値で、例えば、２０程度を設定するのが適当である。
【００５３】
この結果、差分Ｄが閾値Ｌ２以上であれば、フェードシーンとは異なりピクチャ間の相関がかなり低いシーンチェンジが発生していると思われるので、この場合も、フェード検出条件から除外される（フェード非検出；ステップＳ２のＮＯルート）。ちなみに、シーンチェンジ発生の場合には、ピクチャ内符号化を使用した方が一般的に符号化効率が良い。
【００５４】
一方、上記の差分Ｄが第２の閾値Ｌ２よりも小さければ、特殊シーン検出器１６は、次に、水平動きベクトル平均演算器１５１〔式（４）参照〕によって求められた水平平均値ＡＨとその水平平均値ＡＨについての閾値ＭＨ１とを比較（絶対値比較）して、水平平均値ＡＨの方が閾値ＭＨ１よりも小さいかどうかを判別する（ステップＳ２のＹＥＳルートからステップＳ３）。なお、上記の閾値ＭＨ１としては、例えば、１０〜１６程度の値を設定するのが適当である。
【００５５】
上記の判別の結果、水平平均値ＡＨが閾値ＭＨ１以上であれば、動きベクトルの水平成分の方向が或る程度揃っていることになるので、そのときの符号化対象のピクチャ（シーン）はフェードシーンではなくパニングのシーンである可能性が高いと判断されて、フェード検出条件からは除外される（フェード非検出；ステップＳ３のＮＯルート）。
【００５６】
一方、水平平均値ＡＨの方が閾値ＭＨ１よりも小さければ、特殊シーン検出器１６は、次に、水平動きベクトル分散演算器１５２〔式（５）参照〕によって求められた水平分散値ＶＨと、その水平分散値ＶＨについての閾値ＭＨ２とを比較して、水平分散値ＶＨの方が閾値ＭＨ２よりも大きいかどうかを判別する（ステップＳ３のＹＥＳルートからステップＳ４）。なお、上記の閾値ＭＨ２は、ＭＨ２＜ＭＨ１を満足する値で、例えば、ＭＨ１／３程度の値を設定するのが適当である。
【００５７】
この結果、水平分散値ＶＨが閾値ＭＨ２以下であれば、水平平均値ＡＨも水平分散値ＶＨも小さいということになるので、フェードシーン時に発生する動き予測効率の低下が発生していないと思われるので、この場合も、フェード検出条件から除外される（フェード非検出；ステップＳ４のＮＯルート）。
一方、水平分散値ＶＨが閾値ＭＨ２よりも大きければ、特殊シーン検出器１６は、次に、垂直動きベクトル平均演算器１５３〔式（６）参照〕によって求められた垂直平均値ＡＶと、その垂直平均値ＡＶについての閾値ＭＶ１とを比較（絶対値比較）して、垂直平均値ＡＶが閾値ＭＶ１よりも小さいかどうかを判別する（ステップＳ４のＹＥＳルートからステップＳ５）。なお、上記の閾値ＭＶ１には、水平平均値についての閾値ＭＨ１と同程度の値を設定するのが適当である。
【００５８】
この結果、垂直平均値ＡＶが閾値ＭＶ１以上であれば、チルトシーンの可能性があるので、フェード検出条件からは除外される（フェード非検出；ステップＳ５のＮＯルート）。一方、垂直平均値ＡＶが閾値ＭＶ１よりも小さければ、特殊シーン検出器１６は、次に、垂直動きベクトル分散演算器１５４〔式（７）参照〕によって求められた垂直分散値ＶＶと、その垂直分散値ＶＶについての閾値ＭＶ２とを比較して、垂直分散値ＶＶが閾値ＭＶ２よりも大きいか否かを判別する（ステップＳ５のＹＥＳルートからステップＳ６）。なお、上記の閾値ＭＶ２は、ＭＶ２＜ＭＶ１を満足する値で、例えば、ＭＶ１／３程度の値を設定するのが適当である。
【００５９】
その結果、垂直分散値ＶＶが閾値ＭＶ２以下であれば（ステップＳ６でＮＯと判定されれば）、垂直平均値ＡＶも垂直分散値ＶＶも小さいことになるので、この場合も、フェードシーン時に発生する動き予測効率の低下が発生していないと思われるので、フェード検出条件から外れる（フェード非検出）。これに対し、垂直分散値ＶＶが閾値ＭＶ２よりも大きい場合は、符号化対象のピクチャがフェードシーンである可能性が非常に高いと判断される（フェード検出；ステップＳ６のＹＥＳルート）。
【００６０】
つまり、本実施形態の特殊シーン検出器１６は、前記の第１検出条件として、Ｄ＞Ｌ１，Ｄ＜Ｌ２，ＡＨ＜ＭＨ１，ＶＨ＞ＭＨ２，ＡＶ＜ＭＶ１及びＶＶ＞ＭＶ２という条件を全て満足した場合に初めて、符号化対象のピクチャがフェードシーンであると判断するのである。従って、輝度平均だけをみるとフェードシーンと似た特徴を示すフェードシーン以外のシーン（パニングやチルトなど）をフェードシーンとして誤検出してしまう確率が大幅に低減されて、正確なフェード検出が実現される。
【００６１】
そして、このようにして、フェードシーンが検出されると、特殊シーン検出器１６は、制御部１７に対してフェード検出信号を出力し、これにより、制御部１７は、動きベクトル探索器５で得られる全ての動きベクトルを強制的にゼロベクトルに制御する。これにより、フェードシーンにおいて不要な動きベクトルが選択（符号化）されて符号化効率が落ちることを確実に回避することができ、フェードシーンでの符号化効率を飛躍的に向上することができる。
【００６２】
ところで、上記のステップＳ３（Ｓ５）において水平平均値ＡＨ（垂直平均値ＡＶ）が閾値ＭＨ１（ＭＶ１）以上であった場合、特殊シーン検出器１６は、上述したフェード検出と並行して、水平動きベクトル分散演算器１５２（垂直動きベクトル分散演算器１５４）によって求められた水平分散値ＶＨ（垂直分散値ＶＶ）と、その水平分散値ＶＨ（垂直分散値ＶＶ）についての閾値ＭＨ３（ＭＶ３）とを比較して、水平分散値ＶＨ（垂直分散値ＶＶ）が閾値ＭＨ３（ＭＶ３）よりも小さいかどうかを判別している〔ステップＳ３（Ｓ５）のＮＯルートからステップＳ７（Ｓ８）〕。
【００６３】
なお、上記の閾値ＭＨ３（ＭＶ３）には、閾値ＭＨ２（ＭＶ２）と同じ値を設定してもよいが、或る程度以上動きベクトルがばらついていることを検出するための閾値ＭＨ２（ＭＶ２）と、或る程度以上動きベクトルが揃っていることを検出するための閾値ＭＨ３（ＭＶ３）というように検出目的が異なるので、上述したように、各値は異なる値〔ＭＨ２＞ＭＨ３（ＭＶ２＞ＭＶ３）〕に設定するのが好ましい。
【００６４】
そして、上記の判別の結果、水平分散値ＶＨ（垂直分散値ＶＶ）が閾値ＭＨ３（ＭＶ３）よりも小さければ、特殊シーン検出器１６は、そのときの符号化対象のピクチャがパニング（チルト）のシーンであると判別して〔パニング（チルト）検出；ステップＳ７（Ｓ８）のＹＥＳルート〕、パニング（チルト）検出信号を制御部１７へ出力する。なお、水平分散値ＶＨ（垂直分散値ＶＶ）が閾値ＭＨ３（ＭＶ３）以上の場合は、動きベクトルが或る程度ばらついていることになるので、パニング（チルト）検出条件からは外れる〔パニング（チルト）非検出；ステップＳ７（Ｓ８）のＮＯルート〕。
【００６５】
つまり、特殊シーン検出器１６は、前記の第２検出条件として、Ｄ＞Ｌ１及びＤ＜Ｌ２という条件を満足するとともに、ＡＨ≧ＭＨ１及びＶＨ＜ＭＨ３（ＡＶ≧ＭＶ１及びＶＶ＜ＭＶ３）という条件を満足した場合に初めて、符号化対象のピクチャがパニング（チルト）のシーンであると判断するのである。従って、輝度平均だけをみる場合に比して、より正確にパニングやチルトのシーンを検出することができる。
【００６６】
そして、上述のごとくパニング（チルト）が検出されてパニング（チルト）検出信号が制御部１７に出力されると、制御部１７は、動きベクトルの統計から動きの（パニング又はチルトの）方向を判別し、その方向へ動きベクトル探索範囲３２２を平均動き量だけシフトする。
例えば図５に模式的に示すように、元の動きベクトル探索範囲３２２が[ＭｉｎＨ，ＭａｘＨ]である場合に、パニングが検出されると、制御部１７は、 [ＭｉｎＨ＋ＡＨ，ＭａｘＨ＋ＡＨ]というように元の探索範囲３２２を水平方向に平均動き量ＡＨだけシフトする。これにより、パニングやチルトなどの一定方向へ移動するシーンに対しても動きベクトルを求めるための演算量を増やすことなく、必要な動きベクトルを精度良く求めて符号化効率を上げることができる。
【００６７】
なお、演算量は増えるが、勿論、上記の平均動き量分だけ元の探索範囲３２２を拡大しても、パニングやチルトなどのシーンにおける動きベクトルを精度良く求めることは可能である。
また、符号化を行なっている場合、フェードやパニング，チルトなどが生じ始めた最初のピクチャから符号化効率が悪くなったのを視覚的に認知することは非常に困難であるため、制御部１７は、上述したフェード（パニング／チルト）検出が所定フレーム分連続して発生したことを確認した上で、上述したような制御を実行するようにしてもよい。このようにすることで、フェードやパニング，チルトなどのシーンと、ズームアウトやズームインのシーンとを区別することも可能になり、より正確な検出を行なうことが可能である。
【００６８】
さらに、動きベクトルがフレーム枠の外側を指すことは一般に考えられないため、動きベクトルの方向に制限があるフレーム枠側の方のＭＢを除いて、動きベクトルの統計処理を行なうのも良い方法である。これは、輝度平均の統計で必ずしも全画素を用いる必要がないことと同様である。
また、フェード検出時の制御部１７による符号化制御としては、上記のように全ての動きベクトルを０ベクトルにするのではなく、より０ベクトルに近いベクトルが選択されやすいように、重み付け制御を行なう方法も考えられる。例えば、動きベクトルを求める際に行なうブロックマッチング処理の評価値に、動きベクトルの大きさに比例する補正量を加算した上で、ブロックマッチングを行なうことにより、より０ベクトルに近いベクトルが選択されやすいようにしてもよい。
【００６９】
また、前記の輝度平均や動きベクトル平均，動きベクトル分散の各演算には、必ずしも前記の式（３）〜式（７）を用いる必要はなく、より簡単な演算を用いてもよい。例えば、演算量削減のために割り算の処理を省いて単なる累積値を求めるようにしても構わないし、１画素飛びに累積を行なうなど、ピクチャ内の全画素の部分集合を用いて処理を行なうことも可能である。ただし、演算式が変わるとそれに応じて設定する閾値（Ｌ１，Ｌ２，ＭＨ１〜ＭＨ３，ＭＶ１〜ＭＶ３）も変更する必要がある。
【００７０】
さらに、上記の例では、フェードシーンの検出のために、動きベクトルの水平成分及び垂直成分の双方についての平均値及び分散値を用いているが、水平成分及び垂直成分のいずれか一方のみを用いるようにしてもよいし、平均値及び分散値のいずれか一方のみを用いるようにしてもよい。
また、上記の例では、特殊シーン検出器１６が、フェード検出とパニング／チルト検出とで兼用になっているが、フェード検出専用あるいはパニング／チルト検出専用の検出器として構成してもよい。即ち、特殊シーン検出器１６は、例えば図６に示すフェード検出フロー（アルゴリズム）に従って動作するように構成してもよいし、図７に示すパニング／チルト検出フロー（アルゴリズム）に従って動作するように構成してもよい。なお、図６及び図７に示すフローチャートにおいて、図２により上述したステップ番号と同一ステップ番号を付した処理は、図２により上述した処理と同様であるものとする。
【００７１】
さらに、特殊シーン検出器１６をパニング／チルト検出専用の検出器として構成する場合には、必ずしも輝度平均は用いなくてもよく、例えば図８に示すように、動きベクトルの統計のみでパニングやチルトのシーン検出を行なうようにしてもよい。ただし、パニングやチルトのシーンが検出された場合は、必ず上記の動きベクトル探索範囲のシフト制御を行なうのが前提である。
【００７２】
そして、本発明は、上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
・付記
（付記１） 入力画像を過去に符号化した画像との相関情報に基づいて予測符号化する予測符号化部と、
該入力画像のもつ特徴情報についての第１統計情報と、該相関情報についての第２統計情報とに基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出部と、
該特殊効果シーン検出部で検出された特殊効果シーンに応じて該予測符号化部による該入力画像の符号化状態を制御する制御部とをそなえて構成されたことを特徴とする、動画像符号化装置。
【００７３】
（付記２） 該特殊効果シーン検出部が、
該入力画像の輝度情報についての統計情報を該第１統計情報として取得する輝度情報統計取得部と、
該入力画像と過去に符号化した画像との間の動きベクトル情報についての統計情報を該第２統計情報として取得する動きベクトル情報統計取得部と、
上記の各統計情報が所定の第１検出条件を満足すると該入力画像が該特殊効果シーンとしてのフェードシーンであることを検出するフェード検出部とをそなえて構成されるとともに、
該制御部が、
該フェード検出部にて該フェードシーンが検出されると該動きベクトル情報を制御して該符号化状態を制御する動きベクトル情報制御部として構成されていることを特徴とする、付記１記載の動画像符号化装置。
【００７４】
（付記３） 該輝度情報統計取得部が、
該入力画像の全画素もしくは一部の画素についての輝度情報の平均値もしくは累積値を該第１統計情報として取得するように構成されたことを特徴とする、付記２記載の動画像符号化装置。
（付記４） 該動きベクトル情報制御部が、
該フェード検出部にて該フェードシーンが検出されると、全ての動きベクトル情報をゼロに制御するように構成されたことを特徴とする、付記２又は付記３に記載の動画像符号化装置。
【００７５】
（付記５） 該動きベクトル情報制御部が、
該フェード検出部にて該フェードシーンが検出されると、よりゼロに近い動きベクトル情報が有効な動きベクトル情報として選択されやすいよう該動きベクトル情報の補正を行なうように構成されたことを特徴とする、付記２又は付記３記載の動画像符号化装置。
【００７６】
（付記６） 該予測符号化部が、
該相関情報としての動きベクトル情報を得るために符号化対象の入力画像を所定の画素探索範囲で探索する動きベクトル情報探索部をそなえるとともに、
該特殊効果シーン検出部が、
該入力画像の輝度情報についての統計情報を該第１統計情報として取得する輝度情報統計取得部と、
該動きベクトル情報についての統計情報を該第２統計情報として取得する動きベクトル情報統計取得部と、
上記の各統計情報が所定の第２検出条件を満足すると該入力画像が該特殊効果シーンとしてのパニングあるいはチルトのシーンであることを検出するパニング／チルト検出部とをそなえて構成され、且つ、
該制御部が、
該パニング／チルト検出部で上記のパニングあるいはチルトのシーンが検出されると該第２統計情報に基づいて該動きベクトル情報探索部での該画素探索範囲をシフト制御する探索範囲シフト制御部として構成されていることを特徴とする、付記１記載の動画像符号化装置。
【００７７】
（付記７） 該制御部が、
該特殊効果シーン検出部にて所定回数連続して同じ種類の特殊効果シーンが検出されると、該符号化状態の制御を実行するように構成されたことを特徴とする、付記１記載の動画像符号化装置。
（付記８） 過去に符号化した画像との相関情報として動きベクトル情報を得るために符号化対象の入力画像を所定の画素探索範囲で探索する動きベクトル情報探索部と、
該動きベクトル情報探索部によって得られた該動きベクトル情報に基づいて該入力画像を予測符号化する予測符号化部と、
該動きベクトル情報についての統計情報に基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出部と、
該特殊効果シーン検出部で該特殊効果シーンが検出されると該統計情報に応じて該動きベクトル情報探索部での該画素探索範囲をシフト制御する探索範囲シフト制御部とをそなえて構成されたことを特徴とする、動画像符号化装置。
【００７８】
（付記９） 入力画像のもつ特徴情報についての統計情報を取得する第１統計情報取得部と、
予測符号化対象の入力画像と過去に符号化された画像との相関情報についての統計情報を取得する第２統計情報取得部と、
上記の各統計情報取得部によって得られた各統計情報に基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出部とをそなえて構成されたことを特徴とする、動画像の特殊効果シーン検出装置。
【００７９】
（付記１０）入力画像を過去に符号化した画像との相関情報に基づいて予測符号化する予測符号化ステップと、
該入力画像のもつ特徴情報についての第１統計情報と、該相関情報についての第２統計情報とに基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出ステップと、
該特殊効果シーン検出ステップで検出された該特殊効果シーンに応じて該予測符号化ステップでの該入力画像の符号化状態を制御する制御ステップとを有して成ることを特徴とする、動画像符号化方法。
【００８０】
（付記１１） 過去に符号化した画像との相関情報として動きベクトル情報を得るために符号化対象の入力画像を所定の画素探索範囲で探索する動きベクトル情報探索ステップと、
該動きベクトル情報探索ステップによって得られた該動きベクトル情報に基づいて該入力画像を予測符号化する予測符号化ステップと、
該動きベクトル情報についての統計情報に基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出ステップと、
該特殊効果シーン検出ステップで該特殊効果シーンが検出されると該統計情報に基づいて該画素探索範囲をシフト制御する探索範囲シフト制御ステップとを有して成ることを特徴とする、動画像符号化方法。
【００８１】
（付記１２） 入力画像のもつ特徴情報についての統計情報と、予測符号化対象の入力画像と過去に符号化された画像との相関情報についての統計情報とをそれぞれ取得する統計情報取得ステップと、
上記の統計情報取得ステップによって得られた各統計情報に基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出ステップとを有して成ることを特徴とする、動画像の特殊効果シーン検出方法。
【００８２】
【発明の効果】
以上詳述したように、本発明によれば、入力画像のもつ特徴情報についての第１統計情報のみならず、予測符号化時の相関情報についての第２統計情報をも用いて入力画像の特殊効果シーンを検出することができるので、一方の統計情報だけをみると本来検出したい特殊効果シーンと特徴の似た入力画像（シーン）でも、他方の統計情報が本来検出したい特殊効果シーンの特徴を示していなければ検出対象の特殊効果シーンから除外することができ、所望の特殊効果シーンの検出精度を大幅に向上することができる。
【００８３】
そして、この上で検出された特殊効果シーンに応じて予測符号化部による符号化状態を制御することで予測符号化誤差の低減を図ることができるので、特殊効果シーンに対する符号化効率を飛躍的に向上することができる。
例えば、上記の特殊効果シーン検出部において、入力画像の輝度情報についての統計情報と動きベクトル情報についての統計情報とがそれぞれ所定の第１条件を満足しない限り、入力画像がフェードシーンであるとは検出しないようにすれば、動きベクトル情報についての統計情報がフェードシーン以外の特徴を示すような入力画像をフェードシーンと誤検出してしまうことを回避することができるので、正確なフェードシーン検出が実現できる。そして、フェードシーン検出時には、動きベクトル情報を制御することで、誤った動きベクトル情報の符号化による符号化効率の低下を回避できるので、フェードシーンの符号化効率を大幅に向上することができる。
【００８４】
また、上記の特殊効果シーン検出部において、上記の各統計情報が所定の第２条件を満足しない限り、入力画像がパニングやチルトのシーンであるとは検出しないようにすれば、パニングやチルトのシーンを正確に検出することができる。そして、この場合、動きベクトル情報の探索範囲を動きベクトル情報の統計情報に基づいてシフト制御すれば、動きベクトル情報探索のための演算量を増大させることなく、パニングやチルトのシーンに応じた必要な動きベクトル情報を確実に得ることができるので、パニングやチルトのシーンの符号化効率を大幅に向上することができる。
【００８５】
なお、動きベクトル情報の探索範囲についてのシフト制御は、動きベクトル情報のみから特殊効果シーンが検出された場合に適用してもよく、この場合も、動きベクトル情報探索のための演算量を増大させることなく、パニングやチルトなどの特殊効果シーンに応じた必要な動きベクトル情報を確実に得ることができるので、その特殊効果シーンの符号化効率を大幅に向上することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態としての動画像符号化装置の構成を示すブロック図である。
【図２】図１に示す動画像符号化装置（特殊効果シーン検出装置）の動作（処理手順）を説明するためのフローチャートである。
【図３】動きベクトル探索範囲を説明するための模式図である。
【図４】動きベクトルの定義を説明するための模式図である。
【図５】本実施形態に係るパニング／チルトシーン検出時の動きベクトル探索範囲のシフト制御を説明するための模式図である。
【図６】図２に示す処理手順の変形例（フェード検出専用時）を示すフローチャートである。
【図７】図２に示す処理手順の変形例（パニング／チルト検出専用時）を示すフローチャートである。
【図８】図２に示す処理手順の変形例（パニング／チルト検出専用で動きベクトルの統計のみを用いる場合）を示すフローチャートである。
【符号の説明】
１ ディジタル動画像符号化装置
２ フレームメモリ
３ 原画マクロブロック（ＭＢ）取得
４ 参照ブロック取得器
５ 動きベクトル探索器（動きベクトル情報探索部）
６ 予測判定器
７ 減算器
８，１２ スイッチ
９ 符号化器
１０ 局所復号化器
１１ 加算器
１３ 特殊効果シーン検出装置
１４ 入力画像情報統計取得器（輝度情報統計取得部）
１５ 動き情報統計取得器（動きベクトル情報統計取得部）
１６ 特殊シーン検出器（特殊効果シーン検出部；フェード検出部，パニング／チルト検出部）
１７ 制御部（動きベクトル情報制御部，探索範囲シフト制御部）
２１ 予測符号化部
３０ 動きベクトル
３１ 原画ピクチャ
３２ 参照ピクチャ
１５１ 水平動きベクトル平均演算器
１５２ 水平動きベクトル分散演算器
１５３ 垂直動きベクトル平均演算器
１５４ 垂直動きベクトル分散演算器
３１１ 原画ＭＢ
３２１ 参照ＭＢ
３２２ 動きベクトル探索範囲
３２３ 予測ＭＢ
Claims (3)
- 入力画像を過去に符号化した画像との相関情報に基づいて予測符号化する予測符号化部と、
該入力画像の輝度情報についての統計情報である第１統計情報と、該入力画像と過去に符号化した画像との間の動きベクトル情報についての統計情報であり、動きベクトル平均値と動きベクトル分散値とからなる第２統計情報とに基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出部と、
該特殊効果シーン検出部で検出された特殊効果シーンに応じて該予測符号化部による該入力画像の符号化状態を制御する制御部とをそなえて構成され、
該特殊効果シーン検出部が、
該第１統計情報を取得する輝度情報統計取得部と、
該第２統計情報を取得する動きベクトル情報統計取得部と、
上記の各統計情報が所定の第１検出条件を満足すると該入力画像が該特殊効果シーンとしてのフェードシーンであることを検出するフェード検出部とをそなえて構成されるとともに、
該制御部が、該フェード検出部にて該フェードシーンが検出されると該動きベクトル情報をゼロに制御して該符号化状態を制御する動きベクトル情報制御部として構成され、
該所定の第１検出条件が、該入力画像についての第１統計情報と、過去に符号化した画像についての第１統計情報との差分である輝度平均差分が第１の閾値より大きく、かつ、第１の閾値よりも大きい第２の閾値より小さく、該動きベクトル平均値が、第３の閾値より小さく、該動きベクトル分散値が第４の閾値よりも大きい場合であることを特徴とする、動画像符号化装置。 - 入力画像を過去に符号化した画像との相関情報に基づいて予測符号化する予測符号化部と、
該入力画像の輝度情報についての統計情報である第１統計情報と、該入力画像と過去に符号化した画像との間の動きベクトル情報についての統計情報であり、動きベクトル平均値と動きベクトル分散値とからなる第２統計情報とに基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出部と、
該特殊効果シーン検出部で検出された特殊効果シーンに応じて該予測符号化部による該入力画像の符号化状態を制御する制御部とをそなえて構成され、
該予測符号化部が、
該相関情報としての動きベクトル情報を得るために符号化対象の入力画像を所定の画素探索範囲で探索する動きベクトル情報探索部をそなえるとともに、
該特殊効果シーン検出部が、
該第１統計情報を取得する輝度情報統計取得部と、
該第２統計情報を取得する動きベクトル情報統計取得部と、
上記の各統計情報が所定の第２検出条件を満足すると該入力画像が該特殊効果シーンとしてのパニングあるいはチルトのシーンであることを検出するパニング／チルト検出部とをそなえて構成され、且つ、
該制御部が、
該パニング／チルト検出部で上記のパニングあるいはチルトのシーンが検出されると該第２統計情報に基づいて該動きベクトル情報探索部での該画素探索範囲をシフト制御する探索範囲シフト制御部として構成され、
該所定の第２条件が、該入力画像についての第１統計情報と、過去に符号化した画像についての第１統計情報との差分である輝度平均差分が、第１の閾値より大きく、かつ、第１の閾値よりも大きい第２の閾値より小さく、該動きベクトル平均値が第３の閾値以上であり、該動きベクトル分散値が第４の閾値よりも小さい場合であることを特徴とする、動画像符号化装置。 - 入力画像の輝度情報についての統計情報である第１統計情報を取得する第１統計情報取得部と、
予測符号化対象の入力画像と過去に符号化された画像との間の動きベクトル情報についての統計情報であり、動きベクトル平均値と動きベクトル分散値とからなる第２統計情報を取得する第２統計情報取得部と、
上記の各統計情報取得部によって得られた各統計情報に基づいて該入力画像の特殊効果シーンを検出する特殊効果シーン検出部とをそなえて構成され、
該特殊効果シーン検出部が、
該入力画像についての第１統計情報と、過去に符号化した画像についての第１統計情報との差分である輝度平均差分が第１の閾値より大きく、かつ、第１の閾値よりも大きい第２の閾値より小さく、該動きベクトル平均値が、第３の閾値より小さく、該動きベクトル分散値が第４の閾値よりも大きい場合に、該特殊効果シーンが、フェードシーンであることを検出し、
該輝度平均差分が、該第１の閾値より大きく、かつ、該第２の閾値より小さく、該動きベクトル平均値が該第３の閾値以上であり、該動きベクトル分散値が該第４の閾値よりも小さい場合に、該特殊効果シーンが、パニングあるいはチルトのシーンであることを検出することを特徴とする、動画像の特殊効果シーン検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000234596A JP4328000B2 (ja) | 2000-08-02 | 2000-08-02 | 動画像符号化装置および動画像の特殊効果シーン検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000234596A JP4328000B2 (ja) | 2000-08-02 | 2000-08-02 | 動画像符号化装置および動画像の特殊効果シーン検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002051341A JP2002051341A (ja) | 2002-02-15 |
| JP4328000B2 true JP4328000B2 (ja) | 2009-09-09 |
Family
ID=18726942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000234596A Expired - Fee Related JP4328000B2 (ja) | 2000-08-02 | 2000-08-02 | 動画像符号化装置および動画像の特殊効果シーン検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4328000B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4211023B2 (ja) * | 2002-02-22 | 2009-01-21 | 富士通株式会社 | 動画像処理方法及び動画像処理装置 |
| US7277486B2 (en) | 2002-05-03 | 2007-10-02 | Microsoft Corporation | Parameterization for fading compensation |
| US7463684B2 (en) | 2002-05-03 | 2008-12-09 | Microsoft Corporation | Fading estimation/compensation |
| US7609767B2 (en) * | 2002-05-03 | 2009-10-27 | Microsoft Corporation | Signaling for fading compensation |
| US8009739B2 (en) | 2003-09-07 | 2011-08-30 | Microsoft Corporation | Intensity estimation/compensation for interlaced forward-predicted fields |
| JP4232971B2 (ja) * | 2004-04-16 | 2009-03-04 | Ｋｄｄｉ株式会社 | 動き予測情報検出装置 |
| JP4398390B2 (ja) * | 2005-02-09 | 2010-01-13 | Ｎｔｔエレクトロニクス株式会社 | フェード検出装置 |
| FR2887731A1 (fr) * | 2005-06-23 | 2006-12-29 | Nextream France Sa | Methode et dispositif de detection de fondus dans une sequence d'images |
| JP4764136B2 (ja) * | 2005-10-31 | 2011-08-31 | 富士通セミコンダクター株式会社 | 動画像符号化装置、及びフェードシーン検出装置 |
| JP4690250B2 (ja) * | 2006-05-29 | 2011-06-01 | 日本放送協会 | フェード検出装置 |
| US8243790B2 (en) * | 2007-09-28 | 2012-08-14 | Dolby Laboratories Licensing Corporation | Treating video information |
| JP5295638B2 (ja) * | 2008-05-22 | 2013-09-18 | 池上通信機株式会社 | テレビカメラ |
| JP5156704B2 (ja) | 2008-07-29 | 2013-03-06 | パナソニック株式会社 | 画像符号化装置、画像符号化方法、集積回路及びカメラ |
| JP2013038490A (ja) * | 2011-08-04 | 2013-02-21 | Jvc Kenwood Corp | スクロール判定装置及び方法 |
| WO2015128294A1 (en) * | 2014-02-27 | 2015-09-03 | Thomson Licensing | Method and apparatus for determining an orientation of a video |
-
2000
- 2000-08-02 JP JP2000234596A patent/JP4328000B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002051341A (ja) | 2002-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100587280B1 (ko) | 오류 은폐방법 | |
| US7720148B2 (en) | Efficient multi-frame motion estimation for video compression | |
| KR101045199B1 (ko) | 화소 데이터의 적응형 잡음 필터링을 위한 방법 및 장치 | |
| JP4328000B2 (ja) | 動画像符号化装置および動画像の特殊効果シーン検出装置 | |
| EP1993292B1 (en) | Dynamic image encoding method and device and program using the same | |
| US8514939B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| JP6352173B2 (ja) | プリプロセッサ方法および装置 | |
| EP2536143B1 (en) | Method and a digital video encoder system for encoding digital video data | |
| JPH08228356A (ja) | 画像を表す信号を処理するシステム | |
| US20070092007A1 (en) | Methods and systems for video data processing employing frame/field region predictions in motion estimation | |
| JP2007067469A (ja) | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体 | |
| KR20040069210A (ko) | 코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오신호들의 후처리에서의 선명도 향상 | |
| US8514935B2 (en) | Image coding apparatus, image coding method, integrated circuit, and camera | |
| JP3576402B2 (ja) | 画像復号化装置 | |
| US20120008685A1 (en) | Image coding device and image coding method | |
| KR20110036886A (ko) | 움직임 추정 반복 탐색의 개선 방법 및 시스템, 다음 탐색 영역의 중심점 결정 방법 및 시스템, 지역적 최소값의 회피 방법 및 시스템 | |
| JP2005513968A (ja) | 映像鮮明度の向上における一時的な整合性の改善 | |
| JP2012034225A (ja) | 動きベクトル検出装置及び動きベクトル検出方法、コンピュータプログラム | |
| JP4624308B2 (ja) | 動画像復号装置及び動画像復号方法 | |
| JP4573297B2 (ja) | 移動物体抽出装置 | |
| KR0185841B1 (ko) | 영상 부호기에서의 움직임 추정 장치 | |
| JP5701018B2 (ja) | 画像復号装置 | |
| JP4829951B2 (ja) | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP6016484B2 (ja) | 符号化装置 | |
| JPH09219865A (ja) | 映像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081209 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090519 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090612 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140619 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |