JP4662169B2 - プログラム、検出方法、及び検出装置 - Google Patents

Description

本発明は、プログラム、検出方法、及び検出装置に関し、特に、カットチェンジの検出を高精度に行うことができるようにするプログラム、検出方法、及び検出装置に関する。

画像からカットチェンジを検出する処理は、画像の分析、符号化、検索等を行う場合に有用である。

ここで、カットとは、空間的に連続するひとまとまりの画像区間（画像クリップ）を意味し、カットチェンジは、カットの切り替え点、すなわち、時間的若しくは空間的に不連続な画像クリップどうしが連結された境界である画像の変化点のことを意味する。

なお、カットチェンジは、ショットチェンジ、シーンチェンジ、画像変化点等と称される場合があるが、本明細書においては、カットチェンジと称する。

ところで、従来のカットチェンジの検出方法として、統計量差分法、画素差分法、符号化データ法、エッジ法等が知られているが、最も精度がよいと認識されているのは、ヒストグラム差分法である。

ヒストグラム差分法においては、ヒストグラムの差分値が用いられる。

ここで、ヒストグラムは、あるフレームの画像の各ピクセルを、その輝度または色の画素値に対応して、適当な階調数（一般には、16乃至64階調がよく用いられる）に分割された各要素（ビン）に投票することで、その画像の輝度または色の頻度分布を求めたものである。

ヒストグラム差分法には、単純ヒストグラム差分法と分割ヒストグラム差分法がある。

単純ヒストグラム差分法においては、処理対象とする、例えば２フレームの画像のそれぞれのヒストグラムどうしの違いが評価量として算出される（例えば、非特許文献１参照）。

また、単純ヒストグラム差分法においては、一般に、ヒストグラムどうしの違いとして、ヒストグラムの同じビンどうしの差分値のヒストグラム全体に関する絶対和（以下、適宜、ヒストグラム差分絶対和という）が評価量として算出される。

分割ヒストグラム差分法においては、処理対象とする、例えば２フレームの画像のそれぞれの画像全体が所定数のブロック（例えば、非特許文献１では、１６個のブロック）に分割され、各ブロックのヒストグラムどうしの違いが求められ、そのヒストグラムどうしの違いが小さい方から所定数のブロックのみが、評価量の算出に用いられる（例えば、非特許文献１及び２参照）。

ところで、カットチェンジは、一般に、上述したような隣り合う画像の間に生じることが多く、かかるカットチェンジを、以下、適宜、通常カットチェンジという。これに対して、前後の画像が混合されたような画像内で、２つのカットが連結されるようなカットチェンジもある。これを、ブレンドカットチェンジという。

通常カットチェンジの検出方法では、上述したように、処理対象とする２つの画像どうしの類似度が評価量として計算され、その類似度が所定の閾値よりも低い場合に、すなわち、非類似度が所定の閾値よりも高い場合に、２つの画像の間の画像の変化がカットチェンジであると判定される。

しかし、このような方法では、ブレンドカットチェンジを正確に検出することが困難である。すなわち、通常カットチェンジの例を示している図１において、フレームＦ６１乃至フレームＦ６３は、時間的に隣接する一連の画像であり、フレームＦ６１から順番に２つずつの画像がカットチェンジを検出する処理対象とされる。すなわち、最初に、フレームＦ６１とフレームＦ６２が処理対象とされ、次に、フレームＦ６２とフレームＦ６３が処理対象とされる。

図１において、人が撮影対象となっているフレームＦ６１と家が撮影対象となっているフレームＦ６２の類似度が低くなっており、その類似度が所定の閾値以下であれば、フレームＦ６１とフレームＦ６２の間の画像の変化が、通常カットチェンジであると判定される。また、家が撮影対象となっているフレームＦ６２とやはり家が撮影対象となっているフレームＦ６３の類似度が高くなっており、その類似度が閾値以下でなければ、カットチェンジではないと判定される。

これに対して、ブレンドカットチェンジの例を示している図２において、フレームＦ７１乃至フレームＦ７３は、時間的に隣接する一連の画像であり、フレームＦ７１から順番に２つずつの画像がカットチェンジ検出の処理対象とされる。すなわち、最初に、フレームＦ７１とフレームＦ７２が処理対象とされ、次に、フレームＦ７２とフレームＦ７３が処理対象とされる。

人と家が撮影対象となっているフレームＦ７２は、人が撮影対象である前のフレームＦ７１と、家が撮影対象である後のフレームＦ７３が混合したような画像となっており、フレームＦ７２内で２つのカットが連結されているので、フレームＦ７２はブレンドカットチェンジとなっている。

このようなブレンドカットチェンジは、例えば、カットチェンジが同一画像内のフィールド間で生じる場合（かかるカットチェンジを、以下、適宜、フィールドカットチェンジという）、画像フィルタにより隣接する画像どうしが混合された場合、符号化若しくは復号化時に隣接する画像どうしが混合された場合、編集時に隣接する画像どうしが混合された場合等に生じる。

図２において、フレームＦ７２は、フレームＦ７１またはＦ７３と類似する部分をそれぞれ含んでおり、フレームＦ７２はフレームＦ７１とフレームＦ７３のどちらに対しても類似度が高くなっているので、隣り合う２つの画像どうしの類似度に基づいて、カットチェンジを検出する方法を採用しても、ブレンドカットチェンジを検出することは困難である。

ブレンドカットチェンジの１つであるフィールドカットチェンジを検出する方法が、特許文献１に提案されている。特許文献１の方法では、隣接する２つの画像どうしの類似度ではなく、１フレームおいた２つのフレームの画像どうしの類似度に基づいて、カットチェンジが検出される。

しかしながら、特許文献１の方法を用いた場合、各フレームの画像が撮影対象が早く動く画像である場合には、カットチェンジが検出できないおそれがある。

例えば、図３において、フレームＦ８１乃至フレームＦ８３は、時間的に隣接する一連の画像であり、人が家から画面内の左方向に次第に離れていく画像を表している。フレームＦ８１乃至フレームＦ８３の画像は、人が画面内の左方向に高速に移動している画像であり、カットチェンジは生じていない。

図３において、人の全部と家の左側の一部を含む画像のフレームＦ８１と、人の全部と家の左側のより広い範囲を含む画像のフレームＦ８２の類似度、並びに、そのフレームＦ８２と人の右側半分と家の全部を含む画像のフレームＦ８３の類似度はそれぞれ高くなっているが、人の動きが早いので、人の全部と家の左側の一部を含む画像のフレームＦ８１と、人の右側半分と家の全部を含む画像のフレームＦ８３の類似度は低くなっている。

上述した特許文献１の方法を用いた場合、カットチェンジを検出する処理対象とするフレームＦ８１乃至フレームＦ８３のうちの、例えば、１つおきのフレームＦ８１とフレームＦ８３の類似度を求めるとすると、フレームＦ８１とフレームＦ８３の類似度は低いので、フレームＦ８１乃至フレームＦ８３の間の画像の変化がブレンドカットチェンジと誤って判定されてしまうおそれが高い。

また、特許文献２には、符号化データを用いて、フィールドカットチェンジを検出する方法が提案されている。しかし、この方法は、特定の符号化方式の符号化画像に特有の特徴量を利用するため、その符号化方式を用いて符号化された画像にしか適用できない。

特許文献３には、処理対象とする２つの画像のピクセルどうしの差分値の画像全体に関する絶対和（以下、適宜、差分絶対和という）を求めるとともに、さらに、差分絶対和どうしの差分値を求めることにより、通常カットチェンジとフィールドカットチェンジを区別して検出する方法が提案されている。しかしながら、この方法を用いた場合でも、ブレンドカットチェンジ（フィールドカットチェンジを含む）を精度よく検出することは困難である。

情報処理学会論文誌，長坂晃朗，田中譲，１９９２年４月，Vol.33，No.4，P.543-550 Comparison of Video Shot Boundary Detection Techniques, John S. Boreczky, Lawrence A. Rowe. Storage and Retrieval for Image and Video Databases (SPIE) (1996) p170-179 特開２０００−２９５６２４号公報 特開２００２−６４８２３号公報 特開２０００−３２４４９９号公報

以上のように、従来の方法では、ブレンドカットチェンジの検出を精度よく行うことは困難であった。特に、各フレームの画像が撮影対象が早く動く画像である場合等に、ブレンドカットチェンジの誤検出を生じるおそれがあった。

本発明は、このような状況に鑑みてなされたものであり、ブレンドカットチェンジを含むカットチェンジの検出を正確に行うことができるようにするものである。

本発明の一側面のプログラムまたは検出方法は、画像のカットチェンジを検出する検出処理をコンピュータに実行させるプログラムまたは検出方法において、第１の画像、第２の画像、及び第３の画像の特徴を抽出し、前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度を算出し、前記第１の画像、前記第２の画像及び前記第３の画像の縮小画像を生成し、前記第２の画像に対して時間的に前または後に位置する前記第１の画像と前記第３の画像の縮小画像の合成画像を生成し、前記第２の画像の縮小画像と前記合成画像の類似度を算出し、前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度、並びに前記第２の画像の縮小画像と前記合成画像の類似度に基づいて、前記第１の画像と前記第３の画像の間に、カットチェンジが存在するかを判定するステップを備える。

本発明の一側面の検出装置は、画像のカットチェンジを検出する検出装置において、第１の画像、第２の画像、及び第３の画像の特徴を抽出する特徴抽出手段と、前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度を算出する第１の類似度算出手段と、前記第１の画像、前記第２の画像及び前記第３の画像の縮小画像を生成する縮小画像生成手段と、前記第２の画像に対して時間的に前または後に位置する前記第１の画像と前記第３の画像の縮小画像の合成画像を生成する合成画像生成手段と、前記第２の画像の縮小画像と前記合成画像の類似度を算出する第２の類似度算出手段と、前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度、並びに前記第２の画像の縮小画像と前記合成画像の類似度に基づいて、前記第１の画像と前記第３の画像の間に、カットチェンジが存在するかを判定する判定手段とを備える。

本発明の一側面においては、第１の画像、第２の画像、及び第３の画像の特徴が抽出され、第１の画像、第２の画像及び第３の画像のうちの２つの画像の特徴の類似度が算出され、第１の画像、第２の画像及び第３の画像の縮小画像が生成される。また、第２の画像に対して時間的に前または後に位置する第１の画像と第３の画像の縮小画像の合成画像が生成される。第２の画像の縮小画像と合成画像の類似度が算出され、第１の画像、第２の画像及び第３の画像のうちの２つの画像の特徴の類似度、並びに第２の画像の縮小画像と合成画像の類似度に基づいて、第１の画像と第３の画像の間に、カットチェンジが存在するかが判定される。

本発明の一側面によれば、ブレンドカットチェンジを含むカットチェンジの検出を行うことができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面のプログラムまたは検出方法は、
画像のカットチェンジを検出する検出処理をコンピュータに実行させるプログラムまたは検出方法において、
第１の画像、第２の画像、及び第３の画像の特徴を抽出し（例えば、図６のステップＳ６０１）、
前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度を算出し（例えば、図６のステップＳ６０２）、
前記第１の画像、前記第２の画像及び前記第３の画像の縮小画像を生成し（例えば、図６のステップＳ６０３）、
前記第２の画像に対して時間的に前または後に位置する前記第１の画像と前記第３の画像の縮小画像の合成画像を生成し（例えば、図６のステップＳ６０４）、
前記第２の画像の縮小画像と前記合成画像の類似度を算出し（例えば、図６のステップＳ６０５）、
前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度、並びに前記第２の画像の縮小画像と前記合成画像の類似度に基づいて、前記第１の画像と前記第３の画像の間に、カットチェンジが存在するかを判定する（例えば、図６のステップＳ６０６）
ステップを備える。

本発明の一側面の検出装置は、
画像のカットチェンジを検出する検出装置（例えば、図４のパーソナルコンピュータ１）において、
第１の画像、第２の画像、及び第３の画像の特徴を抽出する特徴抽出手段（例えば、図５の特徴抽出部８１１）と、
前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度を算出する第１の類似度算出手段（例えば、図５の類似度算出部８１３）と、
前記第１の画像、前記第２の画像及び前記第３の画像の縮小画像を生成する縮小画像生成手段（例えば、図５の縮小画像生成部８１４）と、
前記第２の画像に対して時間的に前または後に位置する前記第１の画像と前記第３の画像の縮小画像の合成画像を生成する合成画像生成手段（例えば、図５の合成画像生成部８１６）と、
前記第２の画像の縮小画像と前記合成画像の類似度を算出する第２の類似度算出手段（例えば、図５の類似度算出部８１７）と、
前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度、並びに前記第２の画像の縮小画像と前記合成画像の類似度に基づいて、前記第１の画像と前記第３の画像の間に、カットチェンジが存在するかを判定する判定手段（例えば、図５の判定部８１８）と
を備える。

以下、図面を参照して本発明を適用した実施の形態について説明する。

図４は、本発明を適用した検出装置の一実施の形態の構成例を示すブロック図である。

図４において、検出装置としてのパーソナルコンピュータ１は、CPU（Central Processing Unit）２１，ROM（Read Only Memory）２２，RAM（Random Access Memory）２３、バス２４、入出力インタフェース２５、入力部２６、出力部２７、記憶部２８、通信部２９、ドライブ３０、及びリムーバブルメディア３１から構成される。

バス２４には、CPU２１、ROM２２、RAM２３、および入出力インタフェース２５が接続され、入出力インタフェース２５には、バス２４、入力部２６、出力部２７、記憶部２８、通信部２９、及びドライブ３０が接続されている。

CPU２１は、ROM２２または記憶部２８に記憶されたプログラムに従って各種の処理を実行する。また、CPU２１は、入力部２６から入力される指令に対応して各種の処理を実行し、また、処理の結果を出力部２７に出力する。

ROM２２は、CPU２１が実行するプログラム等を記憶する。

RAM２３は、CPU２１が実行するプログラムやデータなどを適宜記憶する。また、RAM２３は、例えば、外部から入力される画像を一時的に記憶するバッファを有する。

入力部２６は、キーボード、マウス、マイクロホン等で構成される。

出力部２７は、ディスプレイ、スピーカ等で構成される。

記憶部２８は、例えばハードディスクからなり、CPU２１が実行するプログラムや各種のデータを記憶する。

通信部２９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

なお、通信部２９を介してプログラムが取得され、記憶部２８に記憶されてもよい。

ドライブ３０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図４に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１、ROM２２や、記憶部２８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

また、パーソナルコンピュータ１のCPU２１は、ROM２２または記憶部２８に記憶されたプログラムを実行することにより、カットチェンジを検出するカットチェンジ検出装置として機能する。

図５は、パーソナルコンピュータ１のソフトウェアにより構成されるカットチェンジ検出装置５１の実施の形態の構成を示すブロック図である。

図５において、カットチェンジ検出装置５１は、外部からの画像を、例えば、RAM２３のバッファから読み出すことにより入力し、カットチェンジ検出処理を行う。

図５において、カットチェンジ検出装置５１は、特徴抽出部８１１、特徴量バッファ８１２、類似度算出部８１３、縮小画像生成部８１４、縮小画像バッファ８１５、合成画像生成部８１６、類似度算出部８１７、及び判定部８１８から構成される。

特徴抽出部８１１には、カットチェンジ検出装置５１に入力された画像が供給される。

いま、カットチェンジ検出装置５１に入力された直近の３つの画像、すなわち、時間順に、前々の画像、前の画像、または現画像を、それぞれ、第１の注目画像、第２の注目画像、または第３の注目画像とする。

特徴抽出部８１１は、そこに供給される第１乃至第３の注目画像のそれぞれの特徴量を抽出し、特徴量バッファ８１２に供給する。

かかる特徴量として、例えば、図８と図９を参照して後述する輝度または色のヒストグラムが採用されるが、この他、一般的なカットチェンジの検出方法のものも採用することができ、例えば、非特許文献１及び非特許文献２に示されているように、輝度の平均値若しくは分散値、符号化で得られるDCT係数若しくは動きベクトル、エッジ検出で得られるエッジ等を用いることができる。

特徴量バッファ８１２は、特徴抽出部８１１から供給される第１乃至第３の注目画像の特徴量を保存する。また、特徴量バッファ８１２は、少なくとも直近の３つの画像、つまり、第１乃至第３の注目画像も保存する。

類似度算出部８１３は、特徴量バッファ８１２から、第１乃至第３の注目画像を読み出し、第１の注目画像の特徴量と第３の注目画像の特徴量の類似度（以下、適宜、類似度１という）である第１の類似度１、第１の注目画像の特徴量と第２の注目画像の特徴量の類似度１である第２の類似度１、及び第２の注目画像の特徴量と第３の注目画像の特徴量の類似度１である第３の類似度１をそれぞれ算出し、その第１乃至第３の類似度１を判定部８１８にそれぞれ供給する。

かかる類似度１として、例えば、図１０を参照して後述するヒストグラム類似度が採用されるが、この他、一般的なカットチェンジの検出方法で用いるものを採用することができ、例えば、非特許文献１または非特許文献２に示されているように、隣接する２つの画像のそれぞれの輝度の平均値若しくは分散値どうしの差分値、隣接する２つの画像の差分絶対和または差分２乗和（２乗距離）、ヒストグラム差分絶対和、DCT係数の差分値、動きベクトルを用いて予測した画像と実際の画像との誤差である予測誤差の大きさ、エッジの数またはエッジの分布どうしの違い等を用いることができる。

縮小画像生成部８１４には、カットチェンジ検出装置５１に入力された画像、すなわち、第１乃至第３の注目画像がそれぞれ供給される。縮小画像生成部８１４は、そこに供給される第１乃至第３の注目画像をそれぞれ縮小した縮小画像を生成し、縮小画像バッファ８１５に供給する。縮小画像には、例えば、８ピクセル×８ピクセルから１６ピクセル×１６ピクセル程度のサイズに縮小したものが用いられる。

縮小画像バッファ８１５は、縮小画像生成部８１４から供給される第１乃至第３の注目画像のそれぞれの縮小画像を保存する。また、縮小画像バッファ８１５は、少なくとも直近の３つの画像、つまり、第１乃至第３の注目画像も保存する。

合成画像生成部８１６は、縮小画像バッファ８１５から、第２の注目画像に対して時間的に前または後に位置する第１の注目画像の縮小画像と第３の注目画像の縮小画像をそれぞれ読み出し、第１の注目画像の縮小画像と第３の注目画像の縮小画像を合成した合成画像を生成し、類似度算出部８１７に供給する。

合成画像の点(x,y)の画素値G(x, y)は、例えば、第１の画像の縮小画像の画素値をF₁(x, y)、第３の画像の縮小画像の画素値をF₃(x, y)とすると、所定の定数a、bを用いて、式（１）で表される。

ここで、xまたはyは、それぞれ各画像のX座標またはY座標を表す。

類似度算出部８１７は、縮小画像バッファ８１５から第２の注目画像の縮小画像を読み出し、合成画像生成部８１６から供給される第１の注目画像の縮小画像と第３の注目画像の縮小画像を合成した合成画像と第２の画像の縮小画像との類似度である類似度２を算出し、判定部８１８に供給する。

類似度２には、例えば、合成画像と縮小画像の同一ピクセルどうしの差分値の画像全体に関する２乗和の符号を反転したものか、あるいは、合成画像と縮小画像の相関関数の最大（最大相関値）等を用いてもよい。

判定部８１８は、類似度算出部８１３から供給される第１乃至第３の類似度１と類似度算出部８１７から供給される類似度２に基づいて、第１の注目画像と第２の注目画像の境界、または第２の注目画像と第３の注目画像の境界が、カットチェンジであるか、すなわち、第１の注目画像と第３の注目画像の間にカットチェンジが存在するかを判定する。

次に、図６のフローチャートを参照して、カットチェンジ検出装置５１によるカットチェンジ検出処理について説明する。

特徴抽出部８１１には、カットチェンジ検出装置５１に入力された画像が供給される。

いま、カットチェンジ検出装置５１に入力された直近の３つの画像、すなわち、時間順に、前々の画像、前の画像、または現画像を、それぞれ、図７に示されるフレームＦ５１１、フレームＦ５１２、またはフレームＦ５１３の画像とする。人が撮影対象とされているフレームＦ５１１の画像と家が撮影対象とされているフレームＦ５１３の画像の類似度は低く、フレームＦ５１２の画像は、前のフレームＦ５１１の画像と後のフレームＦ５１３の画像が混合したような画像となっているので、フレームＦ５１１の画像とフレームＦ５１２の画像の類似度、及びフレームＦ５１２の画像とフレームＦ５１３の画像の類似度は、それぞれ高くなっている。すなわち、フレームＦ５１２には、フレームＦ５１１までのカットとフレームＦ５１３以降のカットを連結する境界であるブレンドカットチェンジが存在する。

ステップＳ６０１において、特徴抽出部８１１は、そこに供給されるフレームＦ５１１乃至Ｆ５１３のそれぞれの特徴量を抽出する。

具体的には、例えば、図８に示される原画像の画像データが入力されると、図９に示されるようなヒストグラムが特徴量として抽出され生成される。

図９において、横軸は、輝度を表し、縦軸は、頻度を表している。原画像Ｐ１０１には、背景の灰色の領域と、中央の白と黒の領域があるので、ヒストグラムＨ１０１では、比較的小さい輝度（黒）、中間的な輝度（灰色）、及び比較的大きい輝度（白）のそれぞれに頻度が集中している。

この特徴量としてのヒストグラムは、特徴量バッファ８１２に保存される。

ステップＳ６０２において、類似度算出部８１３は、特徴量バッファ８１２から、フレームＦ５１１乃至Ｆ５１３のそれぞれの特徴量を読み出し、フレームＦ５１１の特徴量とフレームＦ５１３の特徴量の類似度である第１の類似度１、フレームＦ５１１の特徴量とフレームＦ５１２の特徴量の類似度である第２の類似度１、及びフレームＦ５１２の特徴量とフレームＦ５１３の特徴量の類似度である第３の類似度１をそれぞれ算出し、その第１乃至第３の類似度１を判定部８１８にそれぞれ供給する。

具体的には、例えば、特徴量としてヒストグラムを生成する場合、そのヒストグラムどうしの類似度には、ヒストグラムどうしの重なり率を採用してもよい。

例えば、図１０に示されるように、ヒストグラムＨ１１１とヒストグラムＨ１１２の重なり率は、ヒストグラムＨ１１１とヒストグラムＨ１１２に共通する部分の面積（ヒストグラムの斜線の部分の面積）とされる。

また、ヒストグラム類似度には、その他、ヒストグラムの各要素（ビン）の頻度を成分とするベクトル（以下、適宜、ヒストグラムベクトルという）どうしの類似度を用いてもよい。ヒストグラムベクトルどうしの類似度としては、例えば、ヒストグラムベクトルどうしの絶対距離である、いわゆるマンハッタン距離（実質的に、ヒストグラム間の重なり率に等しい）や、ヒストグラムベクトルどうしの２乗距離であるユークリッド距離等を用いてもよい。

縮小画像生成部８１４には、カットチェンジ検出装置５１に入力された画像、すなわち、フレームＦ５１１乃至Ｆ５１３の画像がそれぞれ供給される。

ステップＳ６０３において、縮小画像生成部８１４は、そこに供給されるフレームＦ５１１乃至Ｆ５１３の画像をそれぞれ縮小した縮小画像を生成し、縮小画像バッファ８１５に保存させる。すなわち、LCD(Liquid Crystal Display)等の表示部に表示されるサイズの画像が、例えば、８ピクセル×８ピクセルのサイズに縮小される。この縮小は、例えば、原画像を８×８個のブロックに区分し、各ブロックの平均値を求めることで行われる。

ステップＳ６０４において、合成画像生成部８１６は、縮小画像バッファ８１５からフレームＦ５１２より時間的に前のフレームＦ５１１の縮小画像と、フレームＦ５１２より時間的に後のフレームＦ５１３の縮小画像をそれぞれ読み出し、式（１）に従って、フレームＦ５１１の縮小画像とフレームＦ５１３の縮小画像を合成した合成画像を生成し、類似度算出部８１７に供給する。

ステップＳ６０５において、類似度算出部８１７は、縮小画像バッファ８１５からフレームＦ５１２の縮小画像を読み出し、合成画像生成部８１６から供給されるフレームＦ５１１の縮小画像とフレームＦ５１３の縮小画像を合成した合成画像とフレームＦ５１２の縮小画像の類似度である類似度２を算出する。具体的には、合成画像と縮小画像の２乗距離の符号を反転したもの、または、両者の相関関数の最大値が演算される。演算結果としての類似度２は、判定部８１８に供給される。

ステップＳ６０６において、判定部８１８は、類似度算出部８１３から供給される第１乃至第３の類似度１と類似度算出部８１７から供給される類似度２に基づいて、第１の注目画像と第２の注目画像の境界、または第２の注目画像と第３の注目画像の境界が、カットチェンジであるかを判定する。そして、この後、カットチェンジ検出処理は終了される。

次に、図１１のフローチャートを参照して、図６のステップＳ６０６で判定部８１８が行う判定処理について説明する。

判定部８１８には、図５の類似度算出部８１３から第１乃至第３の類似度１が、類似度算出部８１７から類似度２が、それぞれ供給される。

ステップＳ６３１において、判定部８１８は、フレームＦ５１１の画像とフレームＦ５１３の画像の類似度１（第１の類似度１）は予め設定されている所定の閾値より大きいかを判定する。第１の類似度１が閾値より大きい場合、ステップＳ６３５において、判定部８１８は、フレームＦ５１１乃至フレームＦ５１３における画像の変化を、カットチェンジではないと判定する。

例えば、図１２Aに示されるように、フレームF５１１乃至F５１３の画像が殆ど変化していない場合、あるいは、図１２Bに示されるように、フレームF５１１とフレームF５１３の画像は殆ど変化していないが、その間のフレームF５１２の画像がフレームF５１１、F５１３に較べて明るさが異なる場合（例えば、フラッシュがたかれたり、フレーム落ちなどの場合）、カットチェンジではないと判定される。

一方、ステップＳ６３１において、第１の類似度１は閾値より大きくないと判定された場合、ステップ６３２において、判定部８１８は、フレームＦ５１１とフレームＦ５１２の画像の類似度１（第２の類似度１）が予め設定されている所定の閾値より大きいかを判定する。

ステップＳ６３２において、第２の類似度１が閾値より大きいと判定された場合、ステップＳ６３３において、判定部８１８は、フレームＦ５１２とフレームＦ５１３の画像の類似度１（第３の類似度１）は予め設定されている所定の閾値より大きいかを判定する。

ステップＳ６３３において、第３の類似度１は閾値より大きいと判定された場合、ステップＳ６３４において、判定部８１８は、類似度２は予め設定されている所定の閾値より大きいかを判定する。

ステップＳ６３４において、類似度２が閾値より大きくないと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の画像の類似度１が閾値より大きく、フレームＦ５１２とフレームＦ５１３の画像の類似度１が閾値より大きく、かつ、類似度２が閾値より小さい場合、ステップＳ６３５において、判定部８１８は、フレームＦ５１１乃至フレームＦ５１３における画像の変化を、カットチェンジではないと判定する。

例えば、図１２Cに示されるように、フレームF５１１乃至F５１３の画像が、人が家から速い動きで離れていく画像である場合であって、フレームF５１１とフレームF５１３の画像は類似していないが、フレームF５１１とフレームF５１２の画像は類似し、フレームF５１２とフレームF５１３の画像は類似し、フレームF５１１とフレームF５１３の縮小画像を合成した画像と、フレームF５１２の縮小画像は類似していない場合、カットチェンジではないと判定される。

ステップＳ６３４において、類似度２が閾値より大きいと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の画像の類似度１が閾値より大きく、フレームＦ５１２とフレームＦ５１３の画像の類似度１が閾値より大きく、かつ、類似度２が閾値より大きい場合、ステップＳ６３６において、判定部８１８は、フレームＦ５１１乃至フレームＦ５１３における画像の変化を、ブレンドカットチェンジであると判定する。

例えば、図１２Gに示されるように、人の画像であるフレームF５１１の画像と、家の画像であるフレームF５１３の画像は類似していないが、フレームF５１２の画像は人と家を合成したような画像であるため、フレームF５１１とフレームF５１２の画像は類似し、フレームF５１２とフレームF５１３の画像は類似し、フレームF５１１とフレームF５１３の縮小画像を合成した画像と、フレームF５１２の縮小画像は類似する場合、ブレンドカットチェンジであると判定される。

一方、ステップＳ６３２において、第２の類似度１が閾値より小さいと判定された場合、ステップＳ６３７において、判定部８１８は、フレームＦ５１２とフレームＦ５１３の類似度１（第３の類似度１）は予め設定されている所定の閾値より大きいかを判定する。ステップＳ６３７において、第３の類似度１は閾値より大きいと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の画像の類似度１が閾値より小さく、フレームＦ５１２とフレームＦ５１３の画像の類似度１が閾値より大きい場合、ステップＳ６３９において、判定部８１８は、フレームＦ５１１乃至フレームＦ５１３における画像の変化は、通常カットチェンジであると判定する。

例えば、図１２Dに示されるように、人の画像であるフレームF５１１の画像と、家の画像であるフレームF５１３の画像は類似しておらず、フレームF５１２の画像は家の画像であるため、フレームF５１１とフレームF５１２の画像は類似しておらず、フレームF５１２とフレームF５１３の画像は類似する場合、通常のカットチェンジであると判定される。

ステップＳ６３３において、第３の類似度１は閾値より小さいと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の画像の類似度１が閾値より大きく、フレームＦ５１２とフレームＦ５１３の画像の類似度１が閾値より小さい場合、ステップＳ６３９において、判定部８１８は、フレームＦ５１１乃至フレームＦ５１３における画像の変化は、通常カットチェンジであると判定する。

例えば、図１２Eに示されるように、人の画像であるフレームF５１１の画像と、家の画像であるフレームF５１３の画像は類似しておらず、フレームF５１２の画像は人の画像であるため、フレームF５１１とフレームF５１２の画像は類似し、フレームF５１２とフレームF５１３の画像は類似していない場合、通常のカットチェンジであると判定される。

ステップＳ６３７において、第３の類似度１は閾値より小さいと判定された場合、ステップＳ６３８において、判定部８１８は、類似度２は予め設定されている所定の閾値より大きいかを判定する。ステップＳ６３８において、類似度２は閾値より大きいと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の画像の類似度１が閾値より小さく、フレームＦ５１２とフレームＦ５１３の類似度１が閾値より小さく、かつ、類似度２が閾値より大きい場合、ステップＳ６３６において、判定部８１８は、フレームＦ５１１乃至フレームＦ５１３における画像の変化を、ブレンドカットチェンジであると判定する。

例えば、図１２Gに示されるように、人の画像であるフレームF５１１の画像と、家の画像であるフレームF５１３の画像は類似しておらず、フレームF５１２の画像は人と家を合成したような画像であるが、フレームF５１１とフレームF５１２の画像、並びにフレームF５１２とフレームF５１３の画像は類似していないと判定された場合でも、フレームF５１１とフレームF５１３の縮小画像を合成した画像と、フレームF５１２の縮小画像が類似する場合、ブレンドカットチェンジであると判定される。

一方、ステップＳ６３８において、類似度２は閾値より小さいと判定された場合、すなわち、フレームＦ５１１とフレームＦ５１３の画像の類似度１が閾値より小さく、フレームＦ５１１とフレームＦ５１２の類似度１が閾値より小さく、フレームＦ５１２とフレームＦ５１３の類似度１が閾値より小さく、かつ、類似度２が閾値より小さい場合、判定部８１８は、フレームＦ５１１乃至フレームＦ５１３における画像の変化は、通常カットチェンジであると判定する。

例えば、図１２Fに示されるように、人の画像であるフレームF５１１の画像と、山の画像であるフレームF５１３の画像は類似しておらず、フレームF５１２の画像は家の画像であるため、フレームF５１１とフレームF５１２の画像は類似しておらず、フレームF５１２とフレームF５１３の画像も類似していない場合、フレームF５１１とフレームF５１３の縮小画像を合成した画像と、フレームF５１２の縮小画像が類似していないとき、通常のカットチェンジであると判定される。

以上のように、図５の判定部８１８は、類似度算出部８１３から供給される第１乃至第３の類似度１、並びに、類似度算出部８１７から供給される類似度２に基づいて、フレームＦ５１１乃至フレームＦ５１３の間の画像の変化は、通常のカットチェンジであるか、さらに、ブレンドカットチェンジであるかを判定する。

また、判定部８１８は、第１乃至第３の類似度１及び類似度２のそれぞれが、第１乃至第３の類似度１及び類似度２のそれぞれに対して設定された適切な閾値に対して大きいかまたは小さいかを判定する閾値判定を行い、第１乃至第３の類似度１及び類似度２のそれぞれに対する閾値判定結果の組み合わせに基づいて、カットチェンジであるかを判定する。なお、値が閾値と等しい場合には、大きいかまたは小さいかのいずれかに判定される。

図１３は、図１１の判定処理と図１２の３フレームの画像のパターンの関係をまとめたものである。

図１３において、類似度の欄が「大」である場合、その類似度が所定の閾値より大きいことを表し、類似度の欄が「小」である場合、その類似度が所定の閾値より小さいことを表す。

図１３の上から２行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「大」の場合には、他の類似度が「大」、「小」のいずれの値であっても、カットチェンジではないと判定される。このような場合に対応する画像パターンは、例えば、図１２Ａまたは図１２Ｂに示されている。

図１３の上から３行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１とフレームＦ５１２の類似度１が「大」、フレームＦ５１２とフレームＦ５１３の類似度１が「大」、類似度２が「大」の場合には、ブレンドカットチェンジであると判定される。このような場合に対応する画像パターンは、例えば、図１２Ｇに示されている。

図１３の上から４行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１とフレームＦ５１２の類似度１が「大」、フレームＦ５１２とフレームＦ５１３の類似度１が「大」、類似度２が「小」の場合には、カットチェンジでないと判定される。このような場合に対応する画像パターンは、例えば、図１２Ｃに示されている。

図１３の上から５行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１と像Ｆ５１２の類似度１が「大」、フレームＦ５１２とフレームＦ５１３の類似度１が「小」の場合、類似度２が「大」若しくは「小」のいずれでも、通常カットチェンジであると判定される。このような場合に対応する画像パターンは、例えば、図１２Ｅに示されている。

図１３の上から６行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１とフレームＦ５１２の類似度１が「小」、フレームＦ５１２とフレームＦ５１３の類似度１が「大」の場合、類似度２が「大」若しくは「小」のいずれでも、通常カットチェンジであると判定される。このような場合に対応する画像パターンは、例えば、図１２Ｄに示されている。

図１３の上から７行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１とフレームＦ５１２の類似度１が「小」、フレームＦ５１２とフレームＦ５１３の類似度１が「小」、類似度２が「大」の場合には、ブレンドカットチェンジであると判定される。このような場合に対応する画像パターンは、例えば、図１２Ｇに示されている。

図１３の上から８行目において、フレームＦ５１１とフレームＦ５１３の類似度１が「小」、フレームＦ５１１とフレームＦ５１２の類似度１が「小」、フレームＦ５１２とフレームＦ５１３の類似度１が「小」、類似度２が「小」の場合には、通常カットチェンジであると判定される。このような場合に対応する画像パターンは、例えば、図１２Ｆに示されている。

例えば、フェード、ディゾルブ、ワイプ等の連続的な画像の変化を伴う画像効果を用いた画像区間の接続における画像の変化であるブレンドカットチェンジも、カットチェンジとして検出することができ、ブレンドカットチェンジを含むカットチェンジの検出を正確に行うことができる。

なお、図５の判定部８１８は、この他、ベイズ識別法やニューラルネットワーク法、サポートベクターマシン法等の統計的判別法を用いて、第１乃至第３の類似度１と類似度２に基づいて、カットチェンジであるかを判別する判別器を有する構成としてもよい。

なお、上述した各処理では、画像をフレーム単位で扱うように説明したが、画像をフィールド単位で扱うようにすることもできる。

また、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明は、ソフトウェアにより構成する他、ハードウェアにより構成することができる。

本発明は、放送機器、画像編集機器、カムコーダ、画像処理用のパーソナルコンピュータ、DVDレコーダ、ハードディスクレコーダ等の画像を処理するあらゆる検出装置に適用することができる。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

通常カットチェンジの例を示す図である。 ブレンドカットチェンジの例を示す図である。 撮影対象の早い動きの例を示す図である。 本発明を適用したパーソナルコンピュータの一実施の形態の構成を示すブロック図である。 パーソナルコンピュータにより構成されるカットチェンジ検出装置の一実施の形態の構成を示すブロック図である。 カットチェンジ検出処理を説明するフローチャートである。 合成画像の生成を説明する図である。 原画像の例を示す図である。 ヒストグラムの例を示す図である。 ヒストグラムどうしの重なり率を説明する図である。 図６のステップＳ６０６の判定処理を説明するフローチャートである。 画像パターンとカットチェンジの関係を示す図である。 類似度１及び類似度２とカットチェンジの判定結果の関係を示す図である。

符号の説明

１ パーソナルコンピュータ， ２１ CPU， ２２ ROM， ２３ RAM， ２４ バス， ２５ 入出力インタフェース， ２６ 入力部， ２７ 出力部， ２８ 記憶部， ２９ 通信部， ３０ ドライブ， ３１ リムーバブルメディア， ５１ カットチェンジ検出装置， ８１１ 特徴抽出部， ８１２ 特徴量バッファ， ８１３ 類似度算出部， ８１４ 縮小画像生成部， ８１５ 縮小画像バッファ， ８１６ 合成画像生成部， ８１７ 類似度算出部， ８１８ 判定部

Claims (3)

1. 画像のカットチェンジを検出する検出処理をコンピュータに実行させるプログラムにおいて、
   第１の画像、第２の画像、及び第３の画像の特徴を抽出し、
   前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度を算出し、
   前記第１の画像、前記第２の画像及び前記第３の画像の縮小画像を生成し、
   前記第２の画像に対して時間的に前または後に位置する前記第１の画像と前記第３の画像の縮小画像の合成画像を生成し、
   前記第２の画像の縮小画像と前記合成画像の類似度を算出し、
   前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度、並びに前記第２の画像の縮小画像と前記合成画像の類似度に基づいて、前記第１の画像と前記第３の画像の間に、カットチェンジが存在するかを判定する
   ステップを備えるプログラム。
2. 画像のカットチェンジを検出する検出方法において、
   第１の画像、第２の画像、及び第３の画像の特徴を抽出し、
   前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度を算出し、
   前記第１の画像、前記第２の画像及び前記第３の画像の縮小画像を生成し、
   前記第２の画像に対して時間的に前または後に位置する前記第１の画像と前記第３の画像の縮小画像の合成画像を生成し、
   前記第２の画像の縮小画像と前記合成画像の類似度を算出し、
   前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度、並びに前記第２の画像の縮小画像と前記合成画像の類似度に基づいて、前記第１の画像と前記第３の画像の間に、カットチェンジが存在するかを判定する
   ステップを備える検出方法。
3. 画像のカットチェンジを検出する検出装置において、
   第１の画像、第２の画像、及び第３の画像の特徴を抽出する特徴抽出手段と、
   前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度を算出する第１の類似度算出手段と、
   前記第１の画像、前記第２の画像及び前記第３の画像の縮小画像を生成する縮小画像生成手段と、
   前記第２の画像に対して時間的に前または後に位置する前記第１の画像と前記第３の画像の縮小画像の合成画像を生成する合成画像生成手段と、
   前記第２の画像の縮小画像と前記合成画像の類似度を算出する第２の類似度算出手段と、
   前記第１の画像、前記第２の画像及び前記第３の画像のうちの２つの画像の特徴の類似度、並びに前記第２の画像の縮小画像と前記合成画像の類似度に基づいて、前記第１の画像と前記第３の画像の間に、カットチェンジが存在するかを判定する判定手段と
   を備える検出装置。

Images