JPWO2019082413A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

特徴量算出部（２）により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部（３）を設け、有無判定部（４）が、評価値算出部（３）により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する。そして、特徴量算出部（２）が、ピクチャ選択部（１）により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出するように、画像処理装置を構成した。

Description

この発明は、シーンの変化点であるシーンチェンジの有無を判定する画像処理装置及び画像処理方法に関するものである。

以下の特許文献１には、シーンチェンジの有無を判定する画像処理装置が開示されている。
この画像処理装置は、符号化映像ストリームから、複数のピクチャの符号化パラメータの一つである動きベクトルを取得し、複数のピクチャの間での動きベクトルの差分からシーンチェンジの有無を判定するようにしている。

国際公開第２０１０／１２５７５７号

従来の画像処理装置は以上のように構成されているので、符号化映像ストリームの中に、ピクチャの符号化パラメータとして、動きベクトルが含まれていれば、シーンチェンジの有無を判定することができる。しかし、ピクチャの符号化モードが例えば画面内符号化モードであるために、当該ピクチャの符号化パラメータとして、動きベクトルが含まれていないことがある。符号化パラメータとして、動きベクトルが含まれていないピクチャについては、シーンチェンジの有無を判定することができないという課題があった。

この発明は上記のような課題を解決するためになされたもので、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる画像処理装置及び画像処理方法を得ることを目的とする。

この発明に係る画像処理装置は、複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、２つのピクチャを選択するピクチャ選択部と、ピクチャ選択部により選択された２つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出する特徴量算出部と、特徴量算出部により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部と、評価値算出部により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する有無判定部とを備え、特徴量算出部が、ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出するようにしたものである。

この発明によれば、特徴量算出部により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部を設け、有無判定部が、評価値算出部により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する。そして、特徴量算出部が、ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出するように、画像処理装置を構成した。したがって、この発明に係る画像処理装置は、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる。

この発明の実施の形態１による画像処理装置を示す構成図である。 この発明の実施の形態１による画像処理装置を示すハードウェア構成図である。 画像処理装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 画像処理装置がソフトウェア又はファームウェアなどで実現される場合の処理手順である画像処理方法を示すフローチャートである。 符号化映像ストリームに含まれている複数のピクチャの中から、評価対象ピクチャを選択する例を示す説明図である。 符号化映像ストリームに含まれている複数のピクチャの中から、評価対象ピクチャを選択する例を示す説明図である。 符号化方式がＡＶＣ／Ｈ．２６４又はＨＥＶＣ／Ｈ．２６５である場合の符号化映像ストリームの構成例を示す説明図である。 処理ブロック単位の符号量の一例を示す説明図である。 この発明の実施の形態１による他の画像処理装置を示す構成図である。 評価対象ピクチャに含まれている処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。 評価対象ピクチャに含まれている処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。 評価対象ピクチャに含まれている処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。 符号化ブロックにおける分割ブロックの階層数を示す説明図である。 処理ブロックと符号化ブロックの例を示す説明図である。 処理ブロックと符号化ブロックの例を示す説明図である。 処理ブロックの水平方向と垂直方向の座標を示す説明図である。 処理ブロック毎の重み係数ｗ_ｎの一例を示す説明図である。 処理ブロック毎の重み係数ｗ_ｎの一例を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、この発明の実施の形態１による画像処理装置を示す構成図である。図２は、この発明の実施の形態１による画像処理装置を示すハードウェア構成図である。
図１において、ピクチャ選択部１は、例えば図２に示すピクチャ選択回路１１で実現される。
ピクチャ選択部１は、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する処理を実施する。
ピクチャ選択部１は、符号化ブロック単位（ブロック単位）に符号化されている符号化データを有する複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する候補ピクチャを定め、候補ピクチャの中からシーンチェンジの有無を評価する対象ピクチャとして、２つのピクチャを選択する処理を実施する。ただし、候補ピクチャの決定方法は、予め定義されているものとする。

ピクチャの符号化データは、例えば、マクロブロックと呼ばれる符号化ブロック単位、あるいは、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）と呼ばれる符号化ブロック単位に符号化されているデータである。
マクロブロック単位に符号化する符号化方式の規格として、例えば、ＡＶＣ／Ｈ．２６４規格が以下の非特許文献１に開示されている。
また、ＣＴＵ単位に符号化する符号化方式の規格として、例えば、ＨＥＶＣ／Ｈ．２６５規格が以下の非特許文献２に開示されている。
［非特許文献１］ＩＳＯ／ＩＥＣ １４４９６−１０／ＩＴＵ−Ｔ Ｈ．２６４規格
［非特許文献２］ＩＳＯ／ＩＥＣ ２３００８−２／ＩＴＵ−Ｔ Ｈ．２６５規格

特徴量算出部２は、例えば図２に示す特徴量算出回路１２で実現される。
特徴量算出部２は、ピクチャ選択部１により選択されたピクチャ毎に、当該ピクチャにおける符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する処理を実施する。処理ブロックは、１以上の符号化ブロックから構成されており、その構成は予め定義されている。処理ブロックは、１以上の符号化ブロックから構成されるため、処理ブロックの定義可能な最小単位は符号化ブロックとなる（処理ブロック＝符号化ブロック）。
図１４は、４つの符号化ブロックから処理ブロックを構成する例を示している。また、図１５に示す例のように、処理ブロックを構成する縦方向と横方向の符号化ブロック数が異なるように構成してもよい。
処理ブロック単位の特徴量は、処理ブロック内の各々の符号化ブロックの符号化データから算出する。この実施の形態１では、各々の符号化ブロックの符号化データを復号して、符号化データの復号結果から各々の符号化ブロックの符号量を特定し、各々の処理ブロックに属する符号化ブロックの符号量の総和を処理ブロック単位の特徴量とする。
なお、ピクチャ選択部１により選択された２つのピクチャの処理ブロックサイズ（予め定義する処理ブロックにおける符号化ブロックの構成）は同一とする。

評価値算出部３は、例えば図２に示す評価値算出回路１３で実現される。
評価値算出部３は、特徴量算出部２により算出された２つのピクチャに含まれる処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する処理を実施する。

有無判定部４は、例えば図２に示す有無判定回路１４で実現される。
有無判定部４は、評価値算出部３により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する処理を実施する。

図１では、画像処理装置の構成要素であるピクチャ選択部１、特徴量算出部２、評価値算出部３及び有無判定部４のそれぞれが、図２に示すような専用のハードウェアで実現されるものを想定している。即ち、ピクチャ選択回路１１、特徴量算出回路１２、評価値算出回路１３及び有無判定回路１４で実現されるものを想定している。
ここで、ピクチャ選択回路１１、特徴量算出回路１２、評価値算出回路１３及び有無判定回路１４は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。

画像処理装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、画像処理装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などが該当する。
コンピュータのメモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが該当する。

図３は、画像処理装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
画像処理装置がソフトウェア又はファームウェアなどで実現される場合、ピクチャ選択部１、特徴量算出部２、評価値算出部３及び有無判定部４の処理手順をコンピュータに実行させるためのプログラムをメモリ２１に格納し、コンピュータのプロセッサ２２がメモリ２１に格納されているプログラムを実行するようにすればよい。
図４は、画像処理装置がソフトウェア又はファームウェアなどで実現される場合の処理手順である画像処理方法を示すフローチャートである。

また、図２では、画像処理装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、画像処理装置がソフトウェアやファームウェアなどで実現される例を示しているが、画像処理装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。

次に動作について説明する。
ピクチャ選択部１は、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する。
ピクチャ選択部１は、取得した符号化映像ストリームから、予め定義された候補ピクチャの決定方法に従って候補ピクチャを決定し、候補ピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、２つのピクチャを選択する（図４のステップＳＴ１）。
ここで、選択した２つのピクチャのうち、再生順で後のピクチャを「評価対象ピクチャ」、再生順で先のピクチャを「参照ピクチャ」と称する。「２つのピクチャの間のシーンチェンジの有無を評価する」とは、参照ピクチャより再生順で一つ後のピクチャから評価対象ピクチャまで（評価対象ピクチャ自身を含む）にシーンチェンジが発生しているか否かを評価することを示すものである。

図５及び図６は、符号化データが符号化映像ストリームに含まれているピクチャの中から、評価対象ピクチャとなる候補ピクチャを決定し、候補ピクチャの中から、評価対象ピクチャと参照ピクチャを選択する例を示す説明図である。
図５では、符号化データが符号化映像ストリームに含まれている複数のピクチャの全てを候補ピクチャとし、候補ピクチャの中から、再生順で順番に評価対象ピクチャを選択することで、最終的に、符号化映像ストリームに含まれている全てのピクチャが評価対象ピクチャとして選択される例を示している。
図６では、符号化データが符号化映像ストリームに含まれている複数のピクチャがＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）構造を有しており、各々のＧＯＰにおけるランダムアクセスポイントのイントラピクチャを候補ピクチャとし、候補ピクチャの中から、再生順で順番に評価対象ピクチャとして選択される例を示している。
ＡＶＣ／Ｈ．２６４では、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャが、ランダムアクセスポイントのイントラピクチャである。
ＨＥＶＣ／Ｈ．２６５では、ＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャが、ランダムアクセスポイントのイントラピクチャである。
参照ピクチャは、図５及び図６のいずれでも、に評価対象ピクチャより再生順で一つ前の候補ピクチャとしている。したがって、図５の例では、隣接している２つのピクチャの間でのシーンチェンジの有無、即ち、評価対象ピクチャ自身がシーンチェンジ点であるか否かが評価される。図６の例では、隣接しているＧＯＰにおけるランダムアクセスポイントのイントラピクチャの間でのシーンチェンジの有無が評価される。
なお、上記以外にもＮ個（Ｎは０以上の整数）のピクチャ間隔で評価対象ピクチャを選択する（Ｎ＝０の場合、図５と同じとなる）など、候補ピクチャの定義を任意に設定することができる。

図７は、符号化方式がＡＶＣ／Ｈ．２６４又はＨＥＶＣ／Ｈ．２６５である場合の符号化映像ストリームの構成例を示す説明図である。
図７では、複数のアクセスユニットが符号化順に並んでおり、１つのアクセスユニットが１つのピクチャのデータを示している。
各々のアクセスユニットは、複数のＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔ ｒｕｃｔｉｏｎ Ｌａｙｅｒ）ユニットから構成される。
各々のＮＡＬユニットは、ヘッダ情報（ｎｏｎ−ＶＣＬ）と、ピクチャの符号化データであるピクチャデータ（ＶＣＬ）とに分類される。
ヘッダ情報（ｎｏｎ−ＶＣＬ）は、アクセスユニットデリミタ、シーケンスレベルヘッダ及びピクチャレベルヘッダを有している。
ＡＶＣ／Ｈ．２６４又はＨＥＶＣ／Ｈ．２６５では、１つのアクセスユニットを構成する１つ以上のＮＡＬユニットが連続しており、ストリーム上で隣接するアクセスユニット間の区切り位置が分かるように、アクセスユニットの先頭位置の識別方法が定義されている。その一つの例として、アクセスユニットの先頭を示すＮＡＬユニットであるアクセスユニットデリミタが定義されている。
なお、図７に示すＮＡＬユニットは一例であり、ＮＡＬユニットの構成パターンは、それぞれの規格の仕様に準ずる。このとき、アクセスユニットを構成するＮＡＬユニットにアクセスユニットデリミタが存在しない場合もあり、その場合においても、規格で定義されたアクセスユニットの先頭位置の識別方法に従ってアクセスユニットの先頭位置を識別することが可能である。

したがって、ピクチャ選択部１は、規格で定義されているアクセスユニットの先頭位置の識別方法に従ってアクセスユニットの先頭位置を識別することで、ピクチャであるアクセスユニットの区切り位置を識別することができる。
ピクチャ選択部１は、アクセスユニットの区切り位置を識別することができるため、複数のアクセスユニットの中から、２つのピクチャを選択することができ、選択した２つのピクチャの符号化データを特徴量算出部２に出力する。

特徴量算出部２は、ピクチャ選択部１により選択されたピクチャ毎に、符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する（図４のステップＳＴ２）。
以下、特徴量算出部２による処理ブロック単位の特徴量の算出処理を具体的に説明する。
ここで、ピクチャ選択部１により選択されたピクチャ番号ｔのピクチャＰ_ｔに含まれる処理ブロックの特徴量をＣ_ｎ，ｔとし、参照ピクチャのピクチャ番号をｔ＝ｔｐ、評価対象ピクチャのピクチャ番号をｔ＝ｔｃとする。
ｎは、ピクチャ内の特徴量算出対象の処理ブロックを特定するブロック番号であり、左上の処理ブロックからラスタスキャン順に１，２，・・・，ＮＵＭ＿ＢＬ_ｔと番号付けされている。ここで、ＮＵＭ＿ＢＬ_ｔは、ピクチャ番号ｔのピクチャＰ_ｔにおける特徴量算出対象の処理ブロックの総数を示している。処理ブロックサイズが６４×６４画素、ピクチャの解像度が３８４０×２１６０画素であった場合、１画面の全てを対象としたとすると、ＮＵＭ＿ＢＬ_ｔ＝６０×３４＝２０４０となる。ただし、最下端の列のブロックはブロックサイズが６４×４８画素となる。ＮＵＭ＿ＢＬ_ｔは、上記のように画面全体の処理ブロック数としても良いし、処理負荷を低減するために画面全体の処理ブロック数よりも小さい値に制限しても良い。
よって、ｔ＝ｔｐ及びｔ＝ｔｃにおける特徴量Ｃ_ｎ，ｔｐ、Ｃ_ｎ，ｔｃをそれぞれ下記に従って算出する。

特徴量算出部２は、特徴量算出対象ピクチャＰ_ｔにおけるシンタックスの復号処理を実施し、シンタックスの復号処理結果から、処理ブロック単位の符号量Ｓ_ｎ，ｔ（ｎ＝１，２，・・・，ＮＵＭ＿ＢＬ_ｔ）をそれぞれ特定する。
例えば、特徴量算出部２は、特徴量算出対象の処理ブロックに属する各々の符号化ブロックの符号化データに含まれている全ての符号化パラメータをそれぞれ復号し、復号した全ての符号化パラメータの符号量の総和を符号量Ｓ_ｎ，ｔとして特定する。
符号化パラメータは、符号化ブロックの復号画像の生成に必要なパラメータであり、例えば、符号化モードを示すパラメータ、イントラ予測パラメータ、インター予測パラメータ、予測差分符号化パラメータ、動きベクトルなどが該当する。

次に、特徴量算出部２は、特徴量算出対象ピクチャＰ_ｔの符号量Ｓ_{ＡＬＬ，ｔ}を特定し、以下の式（１）に示すように、特徴量算出対象ピクチャＰ_ｔの符号量Ｓ_{ＡＬＬ，ｔ}で、処理ブロック単位の符号量Ｓ_ｎ，ｔを除算することで正規化し、処理ブロック単位の特徴量Ｃ_ｎ，ｔとして、正規化した処理ブロック単位の符号量Ｓ_ｎ，ｔをＭ倍する。Ｍは、予め設定した定数であり、例えば、０より大きな実数である。

ここでは、特徴量算出部２が、特徴量算出対象ピクチャＰ_ｔの符号量Ｓ_{ＡＬＬ，ｔ}を特定する例を示しているが、特徴量算出対象ピクチャＰ_ｔの符号量Ｓ_{ＡＬＬ，ｔ}として、特徴量算出対象ピクチャＰ_ｔに含まれている全ての処理ブロックの符号量Ｓ_ｎ，ｔの総和を算出する例が考えられる。
ただし、これは一例に過ぎず、特徴量算出対象ピクチャＰ_ｔの符号量Ｓ_{ＡＬＬ，ｔ}として、特徴量算出対象ピクチャＰ_ｔのピクチャデータ（ＶＣＬ）のサイズを特定するようにしてもよい。ピクチャデータ（ＶＣＬ）のサイズは、特徴量算出対象ピクチャＰ_ｔにおけるシンタックスの復号処理を実施することなく、特定することができる。他にも、特徴量算出対象ピクチャＰ_ｔの符号量Ｓ_{ＡＬＬ，ｔ}として、特徴量算出対象ピクチャＰ_ｔのアクセスユニットのサイズを特定するようにしてもよい。アクセスユニットのサイズは、上述したアクセスユニットの区切り位置を識別するのみで計算することができる。

式（１）で算出される処理ブロック単位の特徴量Ｃ_ｎ，ｔは、各々の処理ブロックの符号量の比を表しており、ピクチャ毎の総符号量の大きさのばらつきの影響を抑えた特徴量になっている。
図８は、処理ブロック単位の符号量の一例を示す説明図である。
図８は、処理ブロックが２×２個の符号化ブロックから構成され、符号化ブロックがマクロブロック又はＣＴＵである例を示しており、各々の符号化ブロックの符号量を数字で表している。さらに、各処理ブロックの中央に、当該処理ブロックに属する符号化ブロックの符号量の総和を当該処理ブロックの符号量として表している。
図８の例では、符号化ブロックの符号量の単位をｂｙｔｅで表しているが、一例に過ぎず、ｂｉｔ単位で表されていてもよい。

評価値算出部３は、特徴量算出部２により算出された参照ピクチャＰ_ｔｐにおける処理ブロック単位の特徴量Ｃ_ｎ，ｔｐと、評価対象ピクチャＰ_ｔｃにおける処理ブロック単位の特徴量Ｃ_ｎ，ｔｃとから、シーンチェンジの有無の判定に用いる評価値Ｊを算出する（図４のステップＳＴ３）。
例えば、評価値算出部３は、シーンチェンジの有無の判定に用いる評価値Ｊとして、以下の式（２）に示すように、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃとの間での処理ブロック単位の特徴量の差分絶対値和を算出する。

評価値算出部３により算出された評価値Ｊは、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃとの間での絵柄の変化が大きい程、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃの処理ブロック単位の符号量の分布の差異が大きくなり、値が大きくなる。
また、ＭＩＮ＿ＮＵＭ＿ＢＬは、ＮＵＭ＿ＢＬ_ｔｐとＮＵＭ＿ＢＬ_ｔｃの最小値である。即ち、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃの処理ブロック数が異なる場合、両ピクチャ共に特徴量を算出している処理ブロックのみが評価値Ｊの算出対象となる。
例えば、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃの符号化データのサイズが大きく異なる場合、復号処理時間も大きく異なる傾向にある。そのようなケースにて、各ピクチャの符号化データの復号処理や処理ブロック単位の特徴量の算出に割かれる時間が一律に制限されている場合、処理可能な処理ブロック数が両ピクチャで異なる結果となる。このような場合、評価値Ｊは、両ピクチャ共に特徴量を算出している処理ブロックのみを対象として求められる。なお、上記のように各々のピクチャで消費できる処理時間Ｔを決定することで、所望の処理速度（フレームレート１／Ｔ）での特徴量算出処理が可能となる。

有無判定部４は、評価値算出部３により算出された評価値Ｊと、事前に設定された閾値Ｔｈとを比較する（図４のステップＳＴ４）。
有無判定部４は、評価値算出部３により算出された評価値Ｊが閾値Ｔｈ以上であれば（図４のステップＳＴ４：ＹＥＳの場合）、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃとの間にシーンチェンジが有ると判定する（図４のステップＳＴ５）。
有無判定部４は、評価値算出部３により算出された評価値Ｊが閾値Ｔｈ未満であれば（図４のステップＳＴ４：ＮＯの場合）、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃとの間にシーンチェンジが無いと判定する（図４のステップＳＴ６）。
有無判定部４は、シーンチェンジの有無の判定結果を出力する。
なお、閾値Ｔｈは、予め設定する固定値であってもよいし、特定の条件に従って切り替えたり、変化したりするものであってもよい。例えば、コンテンツの種類（ドラマ、ニュース、スポーツ等）毎に閾値Ｔｈを用意して切り替えるようにする方法、放送局毎に閾値Ｔｈを用意して切り替えるようにする方法、ストリームを生成するエンコーダ毎に閾値Ｔｈを用意して切り替えるようにする方法、ストリームを生成するエンコーダの設定に従って適応的に閾値Ｔｈを算出する（エンコーダの設定値を変数とした閾値Ｔｈの算出式を用意する）方法、ストリームの符号量推移に従って適応的に閾値Ｔｈを算出する（符号量の時間変化（時間方向の１〜ｎ次微分、ｎは１以上の整数）を変数とした閾値Ｔｈの算出式を用意する）方法、対象とする処理ブロック数、即ち、ＭＩＮ＿ＮＵＭ＿ＢＬに比例した値（Ｔｈ＝ＭＩＮ＿ＮＵＭ＿ＢＬ×Ｔｈ＿Ｂａｓｅ、Ｔｈ＿Ｂａｓｅは、閾値Ｔｈの基準値となる予め設定する０より大きい定数）とする方法などが考えられる。なお、ＭＩＮ＿ＮＵＭ＿ＢＬに比例した値とする方法では、評価対象ピクチャＰ_ｔｃ毎のＭＩＮ＿ＮＵＭ＿ＢＬ（またはＭＩＮ＿ＮＵＭ＿ＢＬ’）の変動による評価値Ｊの取りうる最大値の変動を加味した閾値が設定されることとなり、高精度なシーンチェンジ検出処理を実現できる。
さらに、これらの方法を組み合わせた方法でもよい。例えば、ストリームの符号量推移に従って適応的に閾値Ｔｈを算出する方法と、ＭＩＮ＿ＮＵＭ＿ＢＬに比例した値とする方法とを組み合わせた方法等である。この場合、ストリームの符号量推移に従って適応的に算出する閾値ＴｈをＴｈ＿Ｂａｓｅに置き換えることで実現できる。

ピクチャ選択部１により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていれば（図４のステップＳＴ７：ＹＥＳの場合）、ステップＳＴ１の処理に戻り、ステップＳＴ１〜ＳＴ７の処理が繰り返される。
なお、戻ったステップＳＴ１の処理で、ピクチャ選択部１により選択された２つのピクチャのうち、特徴量が既に算出されているピクチャについては、特徴量算出部２による特徴量の算出処理を省略するようにしてもよい。このようにすることで、特徴量の再計算を実施せずに済み、処理時間を短縮することができる。例えば、図５、図６で説明したように、候補ピクチャの中から、再生順に評価対象ピクチャを選択し、参照ピクチャを評価対象ピクチャより再生順で一つ前の候補ピクチャとする場合、評価対象ピクチャにおける特徴量Ｃ_ｎ，ｔｃは、再生順で一つ先の候補ピクチャを評価対象ピクチャに選択した際の参照ピクチャにおける特徴量Ｃ_ｎ，ｔｐとなる。したがって、算出した特徴量Ｃ_ｎ，ｔｃを順次保存しておき、特徴量Ｃ_ｎ，ｔｐは、保存された特徴量から読み出すようにすることで特徴量の算出処理を省略することができる。
また、復号順と再生順が異なる場合、復号順に評価対象ピクチャを選択し、参照ピクチャを評価対象ピクチャより復号順で前かつ再生順で最も評価対象ピクチャに近い候補ピクチャとしてシーンチェンジの有無を評価してもよい。この場合においても、特徴量が既に算出されているピクチャは、特徴量の算出結果を流用して処理を省略するようにしてもよい。
ピクチャ選択部１により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していない候補ピクチャが残っていなければ（図４のステップＳＴ７：ＮＯの場合）、一連の処理が終了する。

以上で明らかなように、この実施の形態１によれば、特徴量算出部２により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部３を設け、有無判定部４が、評価値算出部３により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する。そして、特徴量算出部２が、ピクチャ選択部１により選択されたピクチャのブロック毎に、当該ブロックの符号量から、当該ブロックの特徴量を算出するように、画像処理装置を構成した。したがって、画像処理装置は、動きベクトルが含まれていないピクチャについても、シーンチェンジの有無を判定することができる。

この実施の形態１では、符号化映像ストリームが画像処理装置のピクチャ選択部１に与えられる例を示しているが、符号化映像ストリームを格納するメディア伝送ストリームが画像処理装置に与えられることがある。
この場合、図９に示すように、メディア伝送ストリームから符号化映像ストリームを取り出して、符号化映像ストリームをピクチャ選択部１に出力するデマルチプレクサ５を備えるようにしてもよい。
図９は、この発明の実施の形態１による他の画像処理装置を示す構成図である。
メディア伝送ストリームとしては、例えば、ＭＰＥＧ−２ ＴＳ（ＩＳＯ／ＩＥＣ １３８１８−１／ＩＴＵ−Ｔ Ｈ．２２２．０のＴｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）、あるいは、ＭＭＴ（ＩＳＯ／ＩＥＣ ２３００８−１）などのメディア伝送フォーマットでパケット化されているメディア伝送ストリームなどが想定される。

デマルチプレクサ５は、与えられたメディア伝送ストリームのヘッダ情報から、各々のアクセスユニットの間の区切り、ＮＡＬユニットの種類及びサイズを知ることができる。
デマルチプレクサ５が、各々のアクセスユニットの間の区切りを示す情報をピクチャ選択部１に与えるようにすれば、ピクチャ選択部１では、デマルチプレクサ５から与えられた情報に基づいて、符号化映像ストリームの中から所望のピクチャを選択することができる。
また、デマルチプレクサ５が、ＮＡＬユニットの種類及びサイズを示す情報を特徴量算出部２に与えるようにすれば、特徴量算出部２では、評価対象ピクチャにおけるシンタックスの復号処理を実施することなく、上記評価対象ピクチャの符号量を特定することができる。

この実施の形態１では、特徴量算出部２が、処理ブロックの符号量Ｓ_ｎ，ｔの算出処理において、ピクチャ全体の処理ブロックを対象とする例を示している。
これは一例に過ぎず、特徴量算出部２の処理負荷を軽減するために、処理ブロックの符号量Ｓ_ｎ，ｔの算出処理において、ピクチャ内の一部の処理ブロックだけを対象とするようにしてもよい。

具体的には、図１０に示すように、行方向及び列方向のそれぞれで、１つおきの処理ブロックだけを対象とするようにしてもよい。
図１０は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
図１０において、“１”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“０”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。

また、図１１に示すように、１行おきの処理ブロック、あるいは、１列おきの処理ブロックだけを対象とするようにしてもよい。
図１１は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
図１１において、“１”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“０”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。

図１２に示すように、処理ブロックの符号量Ｓ_ｎ，ｔの算出処理において、ピクチャの左上の処理ブロックからラスタスキャン順に特定の処理ブロックまでを対象とし、残りの処理ブロックは対象としないようにしてもよい。
図１２は、ピクチャを構成する処理ブロックのうち、符号量を特定する処理ブロックを示す説明図である。
図１２において、“１”が記述されている処理ブロックは、符号量を特定する処理ブロックであり、“０”が記述されている処理ブロックは、符号量を特定しない処理ブロックである。
なお、図１０から図１２において、“１”が記述されている処理ブロックと、“０”が記述されている処理ブロックとが逆であってもよい。

実施の形態２．
上記実施の形態１では、特徴量算出部２が、符号化ブロックの符号化データを復号して、符号化データの復号結果から処理ブロックの符号量を特定し、処理ブロックの符号量から、処理ブロックの特徴量を算出する例を示している。
この実施の形態２では、特徴量算出部２が、ピクチャ選択部１により選択されたピクチャ番号ｔのピクチャＰ_ｔの処理ブロック毎に、当該処理ブロックの特徴量Ｃ_ｎ，ｔとして、当該処理ブロックに含まれている分割ブロックの個数を用いるようにしてもよい。

当該処理ブロックに含まれている分割ブロックの個数は、当該処理ブロックに属する各符号化ブロックに含まれている分割ブロックの個数を加算することで算出される。
符号化ブロックに含まれている分割ブロックの個数は、例えば、符号化方式がＡＶＣ／Ｈ．２６４であれば、マクロブロックタイプ（ｍｂ＿ｔｙｐｅ）で決まるマクロブロック内のブロック数に相当する。マクロブロック内のブロック数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
符号化方式がＨＥＶＣ／Ｈ．２６５であれば、符号化ブロックであるＣＴＵ内のＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）の数に相当する。ＣＴＵ内のＣＵの数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
処理ブロックの特徴量として、当該処理ブロックに含まれている分割ブロックの個数を特定する場合、特徴量算出部２が、処理ブロックの特徴量を算出する際に符号量を正規化する処理が不要になり、特徴量算出部２の処理負荷が軽減される。

実施の形態３．
上記実施の形態１では、特徴量算出部２が、符号化ブロックの符号化データを復号して、符号化データの復号結果から処理ブロックの符号量を特定し、処理ブロックの符号量から、処理ブロックの特徴量を算出する例を示している。
この実施の形態３では、特徴量算出部２が、ピクチャ選択部１により選択されたピクチャ番号ｔのピクチャＰ_ｔの処理ブロック毎に、当該処理ブロックの特徴量Ｃ_ｎ，ｔとして、当該処理ブロックにおける分割ブロックの最深の階層数を用いるようにしてもよい。

当該処理ブロックにおける分割ブロックの最深の階層数は、当該処理ブロックに属する各符号化ブロックにおける分割ブロックの最深の階層数の最大値を求めることで算出される。
符号化ブロックにおける分割ブロックの最深の階層数は、例えば、符号化方式がＨＥＶＣ／Ｈ．２６５であれば、図１３に示すように、符号化ブロックであるＣＴＵに含まれている複数のＣＵのうち、分割の階層が最も深い数に相当する。
図１３は、符号化ブロックにおける分割ブロックの階層数を示す説明図である。
図１３の例では、ＣＵ ｄｅｐｔｈの最大値が３であるため、符号化ブロックにおける分割ブロックの最深の階層数は、３である。
分割ブロックの最深の階層数は、評価対象ピクチャにおけるシンタックスの復号処理を実施することで得られる。
処理ブロックの特徴量として、当該処理ブロックにおける分割ブロックの最深の階層数を特定する場合、特徴量算出部２が、処理ブロックの特徴量を算出する際に符号量を正規化する処理が不要になり、特徴量算出部２の処理負荷が軽減される。

実施の形態４．
上記実施の形態１では、評価値算出部３が、特徴量算出部２により算出された参照ピクチャＰ_ｔｐにおける処理ブロック単位の特徴量Ｃ_ｎ，ｔｐと、評価対象ピクチャＰ_ｔｃにおける処理ブロック単位の特徴量Ｃ_ｎ，ｔｃとから、評価値Ｊを算出する例を示している。
この実施の形態４では、評価値算出部３が、ピクチャ番号ｔ＝ｔｐの参照ピクチャＰ_ｔｐにおける処理ブロック単位の特徴量Ｃ_ｎ，ｔｐと、ピクチャ番号ｔ＝ｔｃの評価対象ピクチャＰ_ｔｃにおける処理ブロック単位の特徴量Ｃ_ｎ，ｔｃと、候補ピクチャの中で参照ピクチャＰ_ｔｐよりも再生時刻的に１つ前のピクチャ番号ｔ＝ｔｐ’の二次参照ピクチャＰ_ｔｐ’における処理ブロック単位の特徴量Ｃ_{ｎ，ｔｐ’}とから、評価値Ｊを算出する例を説明する。
なお、二次参照ピクチャＰ_ｔｐ’は参照ピクチャＰ_ｔｐの参照ピクチャ、即ち、参照ピクチャＰ_ｔｐが評価対象ピクチャＰ_ｔｃであったときの参照ピクチャＰ_ｔｐである。したがって、３つのピクチャの再生時刻的位置関係はｔｐ’＜ｔｐ＜ｔｃである。ただし、一般に、ＧＯＰ毎のピクチャ数は、可変でも良いことから、図６の候補ピクチャの例において、ｔｐ’、ｔｐ、ｔｃの各候補ピクチャの間隔（ｔｃ−ｔｐ、ｔｐ−ｔｐ’）は、異なる可能性がある。
二次参照ピクチャＰ_ｔｐ’が再生順で１番目のピクチャであるとすると、参照ピクチャＰ_ｔｐが再生順で２番目のピクチャであり、評価対象ピクチャＰ_ｔｃが再生順で３番目のピクチャである。

次に動作について説明する。
この実施の形態４では、上記実施の形態１と同様に、図４のフローチャートに従って処理されるが、処理内容は、下記に説明する処理に変更となる。

ピクチャ選択部１は、上記実施の形態１と同様に、複数のピクチャの符号化データが含まれている符号化映像ストリームを取得する。
ピクチャ選択部１は、符号化データが符号化映像ストリームに含まれている複数のピクチャの中から、予め定義された候補ピクチャの決定方法に従って候補ピクチャを決定し、候補ピクチャの中から、上記実施の形態１と同様に、参照ピクチャＰ_ｔｐ及び評価対象ピクチャＰ_ｔｃを選択する。
また、ピクチャ選択部１は、候補ピクチャの中から、二次参照ピクチャＰ_ｔｐ’を選択する。即ち、図４のステップＳＴ１では、評価対象ピクチャと参照ピクチャに加えて、二次参照ピクチャも選択する。

特徴量算出部２は、上記実施の形態１と同様に、ピクチャ選択部１により選択されたピクチャ毎に、当該評価対象ピクチャに含まれる符号化ブロック単位の符号化データから、処理ブロック単位の特徴量をそれぞれ算出する（図４のステップＳＴ２）。
即ち、特徴量算出部２は、参照ピクチャＰ_ｔｐに含まれる処理ブロック単位の特徴量Ｃ_ｎ，ｔｐと、評価対象ピクチャＰ_ｔｃに含まれる処理ブロック単位の特徴量Ｃ_ｎ，ｔｃとを算出する。
また、特徴量算出部２は、二次参照ピクチャＰ_ｔｐ’に含まれる処理ブロック単位の特徴量Ｃ_{ｎ，ｔｐ’}を算出する。

評価値算出部３は、特徴量算出部２により算出された参照ピクチャＰ_ｔｐに含まれる処理ブロック単位の特徴量Ｃ_ｎ，ｔｐと、評価対象ピクチャＰ_ｔｃに含まれる処理ブロック単位の特徴量Ｃ_ｎ，ｔｃと、二次参照ピクチャＰ_ｔｐ’に含まれる処理ブロック単位の特徴量Ｃ_{ｎ，ｔｐ’}とから、評価値Ｊを算出する（図４のステップＳＴ３）。
具体的には、評価値算出部３は、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃとの間での処理ブロック単位の特徴量の差分絶対値和を算出する。
また、評価値算出部３は、参照ピクチャＰ_ｔｐと二次参照ピクチャＰ_ｔｐ’との間での処理ブロック単位の特徴量の差分絶対値和を算出する。
評価値算出部３は、評価値Ｊとして、以下の式（３）に示すように、算出した双方の差分絶対値和の差分を算出する。

ここで、ＭＩＮ＿ＮＵＭ＿ＢＬ’は、ＮＵＭ＿ＢＬ_ｔｐ’、ＮＵＭ＿ＢＬ_ｔｐ、ＮＵＭ＿ＢＬ_ｔｃの３つの値の最小値である。即ち、二次参照ピクチャＰ_ｔｐ’と参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃの処理ブロック数が全て同じでない場合、３つのピクチャ共通で特徴量を算出している処理ブロックのみが評価値Ｊの算出対象となる。
評価値算出部３により算出された評価値Ｊは、二次参照ピクチャＰ_ｔｐ’と参照ピクチャＰ_ｔｐの間で絵柄があまり変化せずに処理ブロック単位の特徴量の変化が小さくなり、さらに、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃの間で絵柄が大きく変化して処理ブロック単位の特徴量の変化が大きくなる場合、値が大きくなる。
したがって、上記実施の形態１〜３では、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃの間の絵柄の変化の大きさを評価していたが、この実施の形態４では、参照ピクチャＰ_ｔｐにおける絵柄の変化の程度と評価対象ピクチャＰ_ｔｃにおける絵柄の変化の程度の差異の大きさを評価するようにしたので、シーンチェンジではないピクチャ間での緩やかな絵柄の変化を、画面全体の絵柄が大きく変化するシーンチェンジと誤検出する可能性を低減し、上記実施の形態１〜３よりも、シーンチェンジの検出精度を高めることができる。
また、処理ブロック単位の特徴量の算出対象となる処理ブロックの定義方法は、上記実施の形態１と同様（ピクチャ内全ての処理ブロック、図１０〜１２のような一部の処理ブロック等）に任意に定義できる。

有無判定部４は、上記実施の形態１と同様に、評価値算出部３により算出された評価値Ｊと、事前に設定された閾値Ｔｈとを比較する（図４のステップＳＴ４）。
有無判定部４は、上記実施の形態１と同様に、評価値算出部３により算出された評価値Ｊが閾値Ｔｈ以上であれば、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃとの間にシーンチェンジが有ると判定する（図４のステップＳＴ５）。
有無判定部４は、上記実施の形態１と同様に、評価値算出部３により算出された評価値Ｊが閾値Ｔｈ未満であれば、参照ピクチャＰ_ｔｐと評価対象ピクチャＰ_ｔｃとの間にシーンチェンジが無いと判定する（図４のステップＳＴ６）。
有無判定部４は、シーンチェンジの有無の判定結果を出力する。
また、閾値Ｔｈの設定方法は、上記実施の形態１と同様である。

ピクチャ選択部１により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていれば（図４のステップＳＴ７：ＹＥＳの場合）、ステップＳＴ１の処理に戻り、ステップＳＴ１〜ＳＴ７の処理が繰り返される。
なお、戻ったステップＳＴ１の処理で、ピクチャ選択部１により選択された３つのピクチャのうち、特徴量が既に算出されているピクチャについては、特徴量算出部２による特徴量の算出処理を省略するようにしてもよい。このようにすることで、特徴量の再計算を実施せずに済み、処理時間を短縮することができる。
ピクチャ選択部１により決定された候補ピクチャの中に、未だ評価対象ピクチャとして選択していないピクチャが残っていなければ（図４のステップＳＴ７：ＮＯの場合）、一連の処理が終了する。

実施の形態５．
上記実施の形態１〜４では、評価値算出部３が、式（２）又は式（３）を用いて、特徴量算出部２により算出された処理ブロック単位の特徴量Ｃ_ｎ，ｔから、評価値Ｊを算出する例を示している。
この実施の形態５では、評価値算出部３が、評価値Ｊを算出する際に、処理ブロック単位の特徴量Ｃ_ｎ，ｔと、当該処理ブロックに対応する重み係数ｗ_ｎとを用いて、評価値Ｊを算出する例を説明する。

この実施の形態５では、式（２）を以下の式（４）に変更する。あるいは、式（３）を以下の式（５）に変更する。
評価値算出部３は、処理ブロック単位の特徴量Ｃ_ｎ，ｔである特徴量Ｃ_ｎ，ｔｃ及び特徴量Ｃ_ｎ，ｔｐと、重み係数ｗ_ｎとを式（４）に代入することで、評価値Ｊを算出する。
あるいは、評価値算出部３は、処理ブロック単位の特徴量Ｃ_ｎ，ｔである特徴量Ｃ_ｎ，ｔｃ、特徴量Ｃ_ｎ，ｔｐ及び特徴量Ｃ_{ｎ，ｔｐ’}と、重み係数ｗ_ｎとを式（５）に代入することで、評価値Ｊを算出する。

式（４）及び式（５）において、特徴量Ｃ_ｎ，ｔｃは、評価対象ピクチャＰ_ｔｃにおけるブロック番号ｎの処理ブロックの特徴量であり、特徴量Ｃ_ｎ，ｔｐは、参照ピクチャＰ_ｔｐにおけるブロック番号ｎの処理ブロックの特徴量である。
また、特徴量Ｃ_{ｎ，ｔｐ’}は、二次参照ピクチャＰ_ｔｐ’におけるブロック番号ｎの処理ブロックの特徴量である。
ｗ_ｎは、特徴量Ｃ_ｎ，ｔｃと特徴量Ｃ_ｎ，ｔｐとの差分絶対値に乗算する重み係数、あるいは、特徴量Ｃ_ｎ，ｔｐと特徴量Ｃ_{ｎ，ｔｐ’}との差分絶対値に乗算する重み係数である。

式（４）は、以下の式（６）のように変形することができる。また、式（５）は、以下の式（７）のように変形することができる。

したがって、評価値算出部３は、式（６）又は式（７）を用いて、評価値Ｊを算出することができる。
評価値算出部３が、式（６）を用いて、評価値Ｊを算出する場合、評価値算出部３が、差分絶対値に重み係数ｗ_ｎを乗算する代わりに、特徴量算出部２が、特徴量Ｃ_ｎ，ｔｃ及び特徴量Ｃ_ｎ，ｔｐのそれぞれに重み係数ｗ_ｎを乗算する。
評価値算出部３が、式（７）を用いて、評価値Ｊを算出する場合、評価値算出部３が、差分絶対値に重み係数ｗ_ｎを乗算する代わりに、特徴量算出部２が、特徴量Ｃ_ｎ，ｔｃ、特徴量Ｃ_ｎ，ｔｐ及び特徴量Ｃ_{ｎ，ｔｐ’}のそれぞれに重み係数ｗ_ｎを乗算する。

具体的には、評価値算出部３が式（６）を用いて、評価値Ｊを算出する場合、特徴量算出部２は、式（１）の定数Ｍを以下の式（８）に示す変数Ｍ’_ｎに置き換えた上で、式（１）を用いて、特徴量Ｃ_ｎ，ｔｃ及び特徴量Ｃ_ｎ，ｔｐのそれぞれを算出する。
特徴量算出部２は、算出した特徴量Ｃ_ｎ，ｔｃ及び特徴量Ｃ_ｎ，ｔｐを評価値算出部３に出力する。
特徴量算出部２から出力された特徴量Ｃ_ｎ，ｔｃは、式（６）に示すｗ_ｎＣ_ｎ，ｔｃに相当し、特徴量算出部２から出力された特徴量Ｃ_ｎ，ｔｐは、式（６）に示すｗ_ｎＣ_ｎ，ｔｐに相当する。

評価値算出部３が式（７）を用いて、評価値Ｊを算出する場合、特徴量算出部２は、式（１）の定数Ｍを式（８）に示す変数Ｍ’_ｎに置き換えた上で、式（１）を用いて、特徴量Ｃ_ｎ，ｔｃ、特徴量Ｃ_ｎ，ｔｐ及び特徴量Ｃ_{ｎ，ｔｐ’}のそれぞれを算出する。
特徴量算出部２は、算出した特徴量Ｃ_ｎ，ｔｃ、特徴量Ｃ_ｎ，ｔｐ及び特徴量Ｃ_{ｎ，ｔｐ’}を評価値算出部３に出力する。
特徴量算出部２から出力された特徴量Ｃ_ｎ，ｔｃは、式（７）に示すｗ_ｎＣ_ｎ，ｔｃに相当し、特徴量算出部２から出力された特徴量Ｃ_ｎ，ｔｐは、式（７）に示すｗ_ｎＣ_ｎ，ｔｐに相当する。また、特徴量算出部２から出力された特徴量Ｃ_{ｎ，ｔｐ’}は、式（７）に示すｗ_ｎＣ_{ｎ，ｔｐ’}に相当する。

評価値算出部３は、特徴量算出部２から出力された特徴量Ｃ_ｎ，ｔｃをｗ_ｎＣ_ｎ，ｔｃ、特徴量算出部２から出力された特徴量Ｃ_ｎ，ｔｐをｗ_ｎＣ_ｎ，ｔｐとして式（６）に代入することで、評価値Ｊを算出する。
あるいは、評価値算出部３は、特徴量算出部２から出力された特徴量Ｃ_ｎ，ｔｃをｗ_ｎＣ_ｎ，ｔｃ、特徴量算出部２から出力された特徴量Ｃ_ｎ，ｔｐをｗ_ｎＣ_ｎ，ｔｐ、特徴量算出部２から出力された特徴量Ｃ_{ｎ，ｔｐ’}をｗ_ｎＣ_{ｎ，ｔｐ’}として式（７）に代入することで、評価値Ｊを算出する。

ここで、処理ブロック毎の重み係数ｗ_ｎは、処理ブロックの重要度を示すものであり、重み係数ｗ_ｎの値が大きい処理ブロックほど、シーンチェンジを検出するに際して、重要な処理ブロックであることを意味している。
したがって、処理ブロック毎の重み係数ｗ_ｎは、検出したいシーンの変化パターンにおいて、絵柄の変化が不連続または変化が急峻となりやすい処理ブロック程、大きな値になるように設計されていればよい。

以下、重み係数ｗ_ｎの具体例を挙げる。
以下の式（９）に示すように、処理ブロックの２次元座標（Ｘ_ｎ，Ｙ_ｎ）を変数とする関数ｈ（Ｘ_ｎ，Ｙ_ｎ）で、重み係数ｗ_ｎを定義する。

例えば、ピクチャに含まれる複数の処理ブロックが、図１６のように表される場合、（Ｘ_ｎ，Ｙ_ｎ）は、ブロック番号ｎの処理ブロックの２次元座標（Ｘ_ｎ：水平方向（ｘ）成分、Ｙ_ｎ：垂直方向（ｙ）成分）を示している。
図１６は、処理ブロックの水平方向と垂直方向の座標を示す説明図である。
図１６の例では、左上の処理ブロック（０，０）を基準の処理ブロックとしており、基準の処理ブロックの２次元座標は、（Ｘ_１，Ｙ_１）である。
例えば、処理ブロック（５，１）の２次元座標は、（Ｘ_６，Ｙ_６）であり、処理ブロック（２，３）の２次元座標は、（Ｘ_２１，Ｙ_２１）である。

例えば、シーンチェンジを、「画面の中央部分に移る被写体が不連続に変化することである」と定義する場合、以下の式（１０）に示す関数ｈ（ｘ，ｙ）で表される重み係数ｗ_ｎは、画面中央に近い処理ブロック程、値が大きくなるように設定される。

式（１０）において、Ｗは、ピクチャ全体を処理ブロックで分割したときの水平方向の処理ブロック数、Ｈは、ピクチャ全体を処理ブロックで分割したときの垂直方向の処理ブロック数、Ａ_ｘ、Ａ_ｙ、Ｌ_ｘ、Ｌ_ｙは、それぞれ正の定数である。さらに、Ａ_ｘ、Ａ_ｙは、それぞれｘ成分、ｙ成分の重みのスケーリング値の役割を持っており、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が高くなる。
ｆ_ｉ（ｘ）は、任意の単調増加関数である。ｆ_ｉ（ｘ）の例として、以下の式（１１）又は式（１２）で表される関数が考えられる。

式（１１）及び式（１２）において、ａ_ｉ及びｂ_ｉは、それぞれ正の定数である。

例えば、Ｗ＝６、Ｈ＝４として、ピクチャに含まれる複数の処理ブロックが、図１６のように表され、単調増加関数ｆ_ｉ（ｘ）が、式（１１）で表される関数であるとする。
このとき、例えば、ａ₁＝ａ₂＝１、Ａ_ｘ＝１、Ａ_ｙ＝１、Ｌ_ｘ＝（Ｗ／２）−１＝２、Ｌ_ｙ＝（Ｈ／２）−１＝１であれば、図１７のように、画面中心の処理ブロックの重み係数が、最も大きいｗ_ｎ＝１となり、画面中心から離れている処理ブロックの重み係数ほど、小さい重み係数となる。一方、Ｌ_ｘ、Ｌ_ｙの値を小さい値とする。例えばａ₁＝ａ₂＝１、Ａ_ｘ＝１、Ａ_ｙ＝１、Ｌ_ｘ＝１、Ｌ_ｙ＝１とすれば、各々の処理ブロックの重み係数ｗ_ｎは、図１８のように、画面中央部分で重み係数がｗ_ｎ＝１となり、重み係数が大きい処理ブロックの数が、図１７の場合よりも増加する。
図１７及び図１８は、処理ブロック毎の重みｗ_ｎの一例を示す説明図である。
図１７では、例えば、処理ブロック（５，０）の重み係数ｗ_ｎは、１／√６、処理ブロック（１，１）の重み係数ｗ_ｎは、１／√２、処理ブロック（３，１）の重み係数ｗ_ｎは、１である。
図１８では、例えば、処理ブロック（５，０）の重み係数ｗ_ｎは、１／√３、処理ブロック（１，１）及び処理ブロック（３，１）の重み係数ｗ_ｎは、１である。

また、式（１０）について、ｆ_ｉ（ｘ）が、式（１１）で表される関数であり、ａ₁＝ａ₂＝１、Ｌ_ｘ＝（Ｗ／２）−１、Ｌ_ｙ＝（Ｈ／２）−１の場合、式（１０）は、式（１３）のように変形できる。これによって、ｘ、ｙの値に応じた場合分けが不要となる。

また、重み係数ｗ_ｎは、式（１０）に示す関数ｈ（ｘ，ｙ）の代わりに、以下の式（１４）に示す関数ｈ（ｘ，ｙ）としてもよい。

重み係数ｗ_ｎを式（１４）に示す関数ｈ（ｘ，ｙ）で表す場合、二乗の計算及び平方根の計算がないため、重み係数ｗ_ｎを式（１０）に示す関数ｈ（ｘ，ｙ）で表す場合よりも、計算負荷を下げることができる。
式（１０）の例と同様に、例えば、ａ_１＝ａ_２＝１、Ｌ_ｘ＝（Ｗ／２）−１、Ｌ_ｙ＝（Ｈ／２）−１であれば、画面中心の処理ブロックの重み係数が、最も大きいｗ_ｎ＝１となり、画面中心から離れている処理ブロックの重み係数ほど、小さい重み係数となる。一方、Ｌ_ｘ、Ｌ_ｙの値を小さい値とする。例えばａ_１＝ａ_２＝１、Ｌ_ｘ＝１、Ｌ_ｙ＝１とすれば、各々の処理ブロックの重み係数ｗ_ｎは、画面中央部分で重み係数がｗ_ｎ＝１となり、重み係数が大きい処理ブロックの数が増加する。

また、式（１４）について、ｆ_ｉ（ｘ）が、式（１１）で表される関数であり、ａ₁＝ａ₂＝１、Ｌ_ｘ＝（Ｗ／２）−１、Ｌ_ｙ＝（Ｈ／２）−１の場合、式（１４）は、式（１５）のように変形できる。これによって、ｘ、ｙの値に応じた場合分けが不要となる。

さらに、式（１０）及び式（１４）の計算負荷を削減するため、ｘ成分、ｙ成分の重みのスケーリング値を意味するＡ_ｘ、Ａ_ｙは、それぞれ式（１６）及び式（１７）に示すように、シフト演算としてもよい。このようにすることで、スケーリングの精度は、整数精度となるが、スケーリング処理は、ビットシフトで演算可能となる。

ここで、Ｂ_ｘ、Ｂ_ｙは、シフト量を示し、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が高くなる。さらに、式（１６）及び式（１７）では、左シフトするように定義したが、式（１８）及び式（１９）に示すように、それぞれ右シフトを用いるようにしてもよい。

式（１８）及び式（１９）は、式（１６）及び式（１７）と同様に、Ｂ_ｘ、Ｂ_ｙは、シフト量を示すが、値が大きいほど、画面中央からの距離が離れたときの重みの低減比率が低くなる点で、式（１６）及び式（１７）と異なる。
また、上記で説明した「Ａ_ｘ、Ａ_ｙをＢ_ｘ、Ｂ_ｙによるシフト演算とすること」は、式（１３）及び式（１５）にも適用できる。

また、図１２に示すように、処理ブロックの符号量Ｓ_ｎ，ｔの算出処理において、ピクチャを構成する処理ブロックのうち、ピクチャの左上の処理ブロックからラスタスキャン順に特定の処理ブロックまでを算出対象とする。そして、残りの処理ブロックについては、算出対象としないようにする場合、あるいは、復号処理時間等の制約で符号量Ｓ_ｎ，ｔの算出処理を行える処理ブロックの数がピクチャ毎に変化する場合、Ｌ_ｘとＬ_ｙは、評価値Ｊの算出単位に可変としてもよい。
例えば、符号量Ｓ_ｎ，ｔの算出処理を実施できた最後の処理ブロックの２次元座標を（Ｘ_{ＭＩＮ＿ＮＵＭ＿ＢＬ}，Ｙ_{ＭＩＮ＿ＮＵＭ＿ＢＬ}）（あるいは（Ｘ_{ＭＩＮ＿ＮＵＭ＿ＢＬ’}，Ｙ_{ＭＩＮ＿ＮＵＭ＿ＢＬ’}））とした場合、Ｌ_ｘは、（Ｗ／２）−１に固定する。一方、Ｌ_ｙは、Ｙ_{ＭＩＮ＿ＮＵＭ＿ＢＬ}（あるいはＹ_{ＭＩＮ＿ＮＵＭ＿ＢＬ’}）が（Ｈ／２）−１より小さい場合、Ｌ_ｙ＝Ｙ_{ＭＩＮ＿ＮＵＭ＿ＢＬ}（あるいはＹ_{ＭＩＮ＿ＮＵＭ＿ＢＬ’}）とし、それ以外は、Ｌ_ｙ＝（Ｈ／２）−１とする。これによって、評価値Ｊを算出する際のＭＩＮ＿ＮＵＭ＿ＢＬ（あるいはＭＩＮ＿ＮＵＭ＿ＢＬ’）が小さい場合において、Ｌ_ｙ＝（Ｈ／２）−１で固定した場合よりも、それぞれの処理ブロックの重み係数ｗ_ｎが大きくなって評価値Ｊの値が大きくなるため、有無判定部４でのシーンチェンジ検出感度を高くすることができる。

上記では、シーンチェンジを、「画面の中央部分に移る被写体が不連続に変化することである」と定義したが、シーンチェンジを、「画面の背景が不連続に変化することである」と定義するようにしてもよい。
シーンチェンジを、「画面の背景が不連続に変化することである」と定義する場合、重み係数ｗ_ｎは、背景が写りやすい画面端に近い処理ブロック程、値が大きくなるように設定される。
シーンチェンジを、「画面の背景が不連続に変化することである」と定義する場合、重み係数ｗ_ｎは、式（１０）に示す関数ｈ（ｘ，ｙ）の代わりに、以下の式（２０）に示す関数ｈ（ｘ，ｙ）で表すことができる。

あるいは、重み係数ｗ_ｎは、式（１４）に示す関数ｈ（ｘ，ｙ）の代わりに、以下の式（２１）に示す関数ｈ（ｘ，ｙ）で表すことができる。

有無判定部４での閾値Ｔｈの設定方法は、上記実施の形態１と同様として良い。さらに、他の例として、ＭＩＮ＿ＮＵＭ＿ＢＬ（またはＭＩＮ＿ＮＵＭ＿ＢＬ’）が評価対象ピクチャＰ_ｔｃ毎に変わる場合、閾値Ｔｈを重み係数ｗ_ｎから求まる式（２２）で算出するようにしても良い。このようにすることで、評価対象ピクチャＰ_ｔｃ毎のＭＩＮ＿ＮＵＭ＿ＢＬ（またはＭＩＮ＿ＮＵＭ＿ＢＬ’）の変動による評価値Ｊの取りうる最大値の変動を加味した閾値が設定されることとなり、高精度なシーンチェンジ検出処理を実現できる。

ただし、Ｔｈ＿Ｂａｓｅは、閾値Ｔｈの基準値となる予め設定する０より大きい定数である。また、評価値Ｊの算出にＭＩＮ＿ＮＵＭ＿ＢＬ’を用いる場合は、式（２２）のＭＩＮ＿ＮＵＭ＿ＢＬをＭＩＮ＿ＮＵＭ＿ＢＬ’に置き換える。
さらに、本方法を上記実施の形態１に記載の方法と組み合わせた方法でもよい。例えば、本方法とストリームの符号量推移に従って適応的に閾値Ｔｈを算出する方法とを組み合わせた方法等である。この場合、ストリームの符号量推移に従って適応的に算出する閾値ＴｈをＴｈ＿Ｂａｓｅに置き換えることで実現できる。

実施の形態６．
上記実施の形態５では、処理ブロック毎の重み係数ｗ_ｎを用いて、評価値Ｊを算出する例を示している。
この実施の形態６では、符号化ブロック毎の重み係数ｗ_ｍを用いて、評価値Ｊを算出する例を説明する。

まず、特徴量算出部２は、処理ブロック毎の重み係数ｗ_ｎの代わりに、符号化ブロック毎の重み係数ｗ_ｍを取得する。ｍは、ラスタスキャン順に番号付けされた符号化ブロックのブロック番号を示す変数であり、ｗ_ｍは、ブロック番号ｍの符号化ブロックについての重み係数である。
特徴量算出部２は、式（１）の定数Ｍを以下の式（２３）に示す変数Ｍ’_ｍに置き換えた上で、式（１）を用いて、ブロック番号ｍの符号化ブロックにおける特徴量Ｃ_ｍ，ｔｃ及び特徴量Ｃ_ｍ，ｔｐのそれぞれを算出、あるいは、特徴量Ｃ_ｍ，ｔｃ、特徴量Ｃ_ｍ，ｔｐ及び特徴量Ｃ_{ｍ，ｔｐ’}のそれぞれを算出する。

特徴量算出部２は、変数Ｍ’_ｍを用いて、特徴量Ｃ_ｍ，ｔ（Ｃ_{ｍ，ｔｃ、}Ｃ_{ｍ，ｔｐ、}あるいは、Ｃ_{ｍ，ｔｐ’}）を算出する場合、式（１）におけるブロック番号ｎの処理ブロックの符号量Ｓ_ｎ，ｔの代わりに、ブロック番号ｍの符号化ブロックの符号量を用いる。

特徴量算出部２は、算出した特徴量Ｃ_ｍ，ｔｃ及び特徴量Ｃ_ｍ，ｔｐを評価値算出部３に出力する。
あるいは、特徴量算出部２は、算出した特徴量Ｃ_ｍ，ｔｃ、特徴量Ｃ_ｍ，ｔｐ及び特徴量Ｃ_{ｍ，ｔｐ’}を評価値算出部３に出力する。
評価値算出部３は、式（６）において、ｗ_ｎＣ_ｎ，ｔｃの代わりにＣ_ｍ，ｔｃを用い、ｗ_ｎＣ_ｎ，ｔｐの代わりにＣ_ｍ，ｔｐを用いて、評価値Ｊを算出する。
あるいは、評価値算出部３は、式（７）において、ｗ_ｎＣ_ｎ，ｔｃの代わりにＣ_ｍ，ｔｃを用い、ｗ_ｎＣ_ｎ，ｔｐの代わりにＣ_ｍ，ｔｐを用い、ｗ_ｎＣ_{ｎ，ｔｐ’}の代わりにＣ_{ｍ，ｔｐ’}を用いて、評価値Ｊを算出する。

この実施の形態６では、符号化ブロック毎の重み係数ｗ_ｍを用いて、評価値Ｊを算出するようにしているので、処理ブロックよりも細かい符号化ブロック単位で、各領域の重要度を調節することができ、シーンチェンジの検出性能を高めることができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明は、シーンの変化点であるシーンチェンジの有無を判定する画像処理装置及び画像処理方法に適している。

１ ピクチャ選択部、２ 特徴量算出部、３ 評価値算出部、４ 有無判定部、５ デマルチプレクサ、１１ ピクチャ選択回路、１２ 特徴量算出回路、１３ 評価値算出回路、１４ 有無判定回路、２１ メモリ、２２ プロセッサ。

この発明に係る画像処理装置は、複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、２つのピクチャを選択するピクチャ選択部と、ピクチャ選択部により選択された２つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを２つのピクチャ間でそれぞれ独立に１以上含んだ同一サイズの処理ブロック単位の特徴量をそれぞれ算出する特徴量算出部と、特徴量算出部により算出された２つのピクチャに含まれる処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部と、評価値算出部により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する有無判定部とを備え、特徴量算出部が、ピクチャ選択部により選択されたピクチャの処理ブロック毎に、処理ブロックの符号量又は処理ブロックに含まれている分割ブロックの最深の階層数から、処理ブロックの特徴量を算出するようにしたものである。

この発明に係る画像処理装置は、複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、２つのピクチャを選択するピクチャ選択部と、ピクチャ選択部により選択された２つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを２つのピクチャ間でそれぞれ独立に１以上含む同一サイズに定義された処理ブロック単位の特徴量をそれぞれ算出する特徴量算出部と、特徴量算出部により算出された２つのピクチャに含まれる処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部と、評価値算出部により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する有無判定部とを備え、特徴量算出部が、ピクチャ選択部により選択されたピクチャの処理ブロック毎に、処理ブロックの符号量又は処理ブロックに含まれている分割ブロックの最深の階層数から、処理ブロックの特徴量を算出するようにしたものである。

この発明に係る画像処理装置は、ピクチャの内容に応じて可変サイズで分割された符号化ブロック単位に符号化する方式で符号化処理された複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、２つのピクチャを選択するピクチャ選択部と、ピクチャ選択部により選択された２つのピクチャのそれぞれについて、ピクチャに含まれる符号化処理単位を示す符号化ブロックを２つのピクチャ間でそれぞれ独立に１以上含む同一サイズに定義された処理ブロック単位の特徴量をそれぞれ算出する特徴量算出部と、特徴量算出部により算出された２つのピクチャに含まれる処理ブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部と、評価値算出部により算出された評価値と閾値を比較することで、２つのピクチャの間でのシーンチェンジの有無を判定する有無判定部とを備え、特徴量算出部が、ピクチャ選択部により選択されたピクチャの処理ブロック毎に、処理ブロックの符号量又は処理ブロックに含まれている分割ブロックの最深の階層数から、処理ブロックの特徴量を算出するようにしたものである。

Claims (11)

1. 複数のピクチャの中から、シーンの変化点であるシーンチェンジの有無を評価する対象のピクチャとして、２つのピクチャを選択するピクチャ選択部と、
   前記ピクチャ選択部により選択された２つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出する特徴量算出部と、
   前記特徴量算出部により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出する評価値算出部と、
   前記評価値算出部により算出された評価値と閾値を比較することで、前記２つのピクチャの間でのシーンチェンジの有無を判定する有無判定部とを備え、
   前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出することを特徴とする画像処理装置。
2. 前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量を特定し、当該ブロックの符号量を当該ピクチャ全体の符号量で除算することで、当該ブロックの特徴量を算出することを特徴とする請求項１記載の画像処理装置。
3. 前記特徴量算出部は、前記ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックに含まれている分割ブロックの最深の階層数を特定し、前記階層数を当該ブロックの特徴量とすることを特徴とする請求項１記載の画像処理装置。
4. 前記評価値算出部は、シーンチェンジの有無の判定に用いる評価値として、前記特徴量算出部により算出された２つのピクチャの間でのブロック単位の特徴量の差分絶対値和を算出することを特徴とする請求項１記載の画像処理装置。
5. 前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、３つのピクチャを選択し、
   前記特徴量算出部は、前記ピクチャ選択部により選択された３つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出し、
   前記評価値算出部は、前記特徴量算出部によりブロック単位の特徴量が算出された３つのピクチャのうち、再生順で、２番目のピクチャと３番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、１番目のピクチャと２番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
   前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、２番目のピクチャと３番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項１記載の画像処理装置。
6. 前記評価値算出部は、シーンチェンジの有無の判定に用いる評価値として、
   前記特徴量算出部により算出された２つのピクチャの間でのブロック単位の特徴量の差分絶対値に対して、当該ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算したブロック単位の差分絶対値の総和を算出することを特徴とする請求項１記載の画像処理装置。
7. 前記特徴量算出部は、前記ピクチャ選択部により選択された２つのピクチャの間でのブロック単位の特徴量に対して、当該ブロックに対応する重み係数をそれぞれ乗算し、前記２つのピクチャの間でのブロック単位の特徴量として、それぞれ重み係数を乗算した特徴量を出力し、
   前記評価値算出部は、シーンチェンジの有無の判定に用いる評価値として、前記特徴量算出部から出力された２つのピクチャの間でのブロック単位の特徴量の差分絶対値和を算出することを特徴とする請求項１記載の画像処理装置。
8. 前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、３つのピクチャを選択し、
   前記特徴量算出部は、前記ピクチャ選択部により選択された３つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出し、
   前記評価値算出部は、前記特徴量算出部によりブロック単位の特徴量が算出された３つのピクチャのうち、再生順で、２番目のピクチャと３番目のピクチャとの間でのブロック単位の特徴量の差分絶対値に対して、当該ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算したブロック単位の差分絶対値の総和を算出するとともに、再生順で、１番目のピクチャと２番目のピクチャとの間でのブロック単位の特徴量の差分絶対値に対して、当該ブロックに対応する重み係数をそれぞれ乗算して、それぞれ重み係数を乗算したブロック単位の差分絶対値の総和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値の総和の差分を算出し、
   前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、２番目のピクチャと３番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項１記載の画像処理装置。
9. 前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、３つのピクチャを選択し、
   前記特徴量算出部は、前記ピクチャ選択部により選択された３つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出して、それぞれ算出したブロック単位の特徴量に対して、当該ブロックに対応する重み係数をそれぞれ乗算し、前記ピクチャに含まれるブロック単位の特徴量として、それぞれ重み係数を乗算した特徴量を出力し、
   前記評価値算出部は、前記特徴量算出部からブロック単位の特徴量が出力された３つのピクチャのうち、再生順で、２番目のピクチャと３番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、１番目のピクチャと２番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
   前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、２番目のピクチャと３番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項１記載の画像処理装置。
10. ピクチャ選択部が、複数のピクチャの中から、シーンチェンジの有無を評価する対象のピクチャとして、２つのピクチャを選択し、
    特徴量算出部が、前記ピクチャ選択部により選択された２つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出し、
    評価値算出部が、前記特徴量算出部により算出された２つのピクチャに含まれるブロック単位の特徴量から、シーンチェンジの有無の判定に用いる評価値を算出し、
    有無判定部が、前記評価値算出部により算出された評価値と閾値を比較することで、前記２つのピクチャの間でのシーンチェンジの有無を判定するものであり、
    前記特徴量算出部が、前記ピクチャ選択部により選択されたピクチャのブロック毎に、当該ブロックの符号量又は当該ブロックに含まれている分割ブロックの最深の階層数から、当該ブロックの特徴量を算出することを特徴とする画像処理方法。
11. 前記ピクチャ選択部は、シーンチェンジの有無を評価する対象のピクチャとして、３つのピクチャを選択し、
    前記特徴量算出部は、前記ピクチャ選択部により選択された３つのピクチャのそれぞれについて、ピクチャに含まれるブロック単位の特徴量をそれぞれ算出し、
    前記評価値算出部は、前記特徴量算出部によりブロック単位の特徴量が算出された３つのピクチャのうち、再生順で、２番目のピクチャと３番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出するとともに、再生順で、１番目のピクチャと２番目のピクチャとの間でのブロック単位の特徴量の差分絶対値和を算出し、シーンチェンジの有無の判定に用いる評価値として、算出した双方の差分絶対値和の差分を算出し、
    前記有無判定部は、前記評価値算出部により算出された評価値と閾値を比較することで、再生順で、２番目のピクチャと３番目のピクチャとの間でのシーンチェンジの有無を判定することを特徴とする請求項１０記載の画像処理方法。

Images