JP4100205B2 - シーンチェンジ検出方法および装置 - Google Patents
シーンチェンジ検出方法および装置 Download PDFInfo
- Publication number
- JP4100205B2 JP4100205B2 JP2003069776A JP2003069776A JP4100205B2 JP 4100205 B2 JP4100205 B2 JP 4100205B2 JP 2003069776 A JP2003069776 A JP 2003069776A JP 2003069776 A JP2003069776 A JP 2003069776A JP 4100205 B2 JP4100205 B2 JP 4100205B2
- Authority
- JP
- Japan
- Prior art keywords
- histogram
- level
- image
- screen
- scene change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は連続する画像のシーン（光景または情景）の変化を検出するシーンチェンジ検出方法およびその装置に関する。
本発明は特に、フェードイン／フェードアウトする画像などにおいても、正確にシーンの変化を検出可能なシーンチェンジ検出方法とその装置に関する。
【０００２】
【従来の技術】
連続する画像について画像処理を行なうとき、たとえば、動画をＭＰＥＧ方式でビデオ信号を符号するときなど、シーンが大きく変化すること（画像の切り替わり）を検出したい場合に多々遭遇する。そのようなシーンの変化を検出する技術として、シーンチェンジ検出方法が用いられており、これまで種々のシーンチェンジ検出方法が提案されている。
そのようなシーンチェンジ検出方法の基本的な方法は、前回の画面（フレームまたはフィールド）の画像と今回の画面の画像との画像の変化を検出して、両者の画像間にある程度の画像の変化があった場合にシーンチェンジとして判定するものである。
【０００３】
なお、本明細書において「画面」とは、１フィールドまたは１フレームなどのように１つの画面としてまとまった画像が集合したものをいう。
【０００４】
これまで種々の画像の種類、状況に則して、より正確なシーンチェンジの検出を行なうため、種々の改良方法が提案されている。
【０００５】
特開平１０−２９４９２３号公報（特許第３１７５６３２号）は、この公開公報の図２に図解されているように、（１）フレーム画像をブロックごとに分割し、（２）各ブロックの色ヒストグラムを計算し、（３）色ヒストグラムを用いて前方類似度、後方類似度、前後類似度を求め、（４）しき値を求めて有効ブロック位置を判定し、（５）有効ブロック位置の相関値を平均して評価値を求め、（６）求めた評価値としきい値との大小関係からシーンチェンジを検出する。
【０００６】
しかしながら、特開平１０−２９４９２３号公報に開示された方法は、ヒストグラムを求めることの他に、前方類似度、後方類似度、前後類似度を求め、さらに、相関値を求めて評価するなどのように処理が複雑であり検出に時間がかかり、その方法を実現する回路（装置）構成が複雑になり、回路規模が大きくなるという不利益がある。
【０００７】
特開平１０−２７６４３５号公報は、この公開公報の図１に図解された構成において、今回の画面の画像データについて、（１）レベル判定回路において色値をレベル判定し、（２）カウンタにおいてレベル判定された各レベルごとにカウントしてヒストグラムを求め、（３）極大／極小検出回路において求めたヒストグラムの極大値または極小値を検出し、（４）代表点選出回路において極大値または極小値から代表点を求める。以上の処理は前回の画像についても行なわれ、前回の画像についての代表点がレジスタが記憶されている。（５）代表点比較回路において、前回の画面の代表点と今回の画面の代表点とを比較して、両者が近い値をとるか否かに応じてシーンチェンジか否かを判定する。
【０００８】
特開平１０−２７６４３５号公報に開示されている方法は、相関度の低い連続場面をシーンチェンジとして誤検出することを解決することを意図しているため、ヒストグラムの極大値または極小値から求めた前回の画像の代表点と、今回の画像の代表点との違いを判定基準としている。換言すれば、特開平１０−２７６４３５号公報に開示されている方法は相関度の低い場面からシーンチェンジを検出するため、変化の大きさを鋭敏に検出しようとする技術である。しかしながら、特開平１０−２７６４３５号公報に開示された技術は、感度が高すぎて、頻繁にシーンチェンジ検出状態を惹起させる可能性がある。
【０００９】
上述したシーンチェンジ検出方法を改善する他のシーンチェンジ検出方法について、図５〜図８を参照して述べる。
（１）図５に図解したように、今回の画面のデジタル化された映像信号（ビデオ信号）を１成分のビデオ信号、たとえば、コンポーネント信号の場合、Ｒ，Ｇ，Ｂ成分、または、コンポジット信号の場合、輝度信号Ｙ、第１の色差信号Ｃｂ、第２の色差信号Ｃｒに分離し、分離された１成分のビデオ信号に対して１画面（フレームまたはフィールド）の画像毎に、有効画像領域を、各ブロックが（ｘピクセル×ｙライン）の複数のブロックに分割し、各ブロック単位で１成分のビデオ信号、たとえば、Ｒ成分（または輝度成分）の和ｓｕｍを計算する。
（２）図６に図解したように、各ブロックの１成分のビデオ信号のｓｕｍ値に応じてｎレベルのヒストグラムを作成する。図６に図解した例示においては、ｎ＝１６の例を示し、１６レベルのヒストグラムを示している。
（３）図７に図解したように、保持しておいた、前回の画面の画像のヒストグラムと、今回の画面の画像のヒストグラムとの差の絶対値を各レベル毎に計算し、全レベルについての差分の合計値ｓｕｍdiffを算出する。
（４）全レベルについての差分の合計値ｓｕｍdiffが、あらかじめ設定したしきい値（または閾値）ｔｈｒｅｓより大きいとき（ｓｕｍdiff≧ｔｈｒｅｓ）、前回の画面の画像と今回の画面の画像との間にシーン検出に該当するシーンの変化があったとしてシーンチェンジを決定する。
【００１０】
その他の成分のビデオ信号、たとえば、Ｇ成分およびＢ成分、または、第１の色素成分Ｃｂおよび第２の色素成分Ｃｒに対しても上記（１）〜（４）の処理を行い、それらを総合することで全体の画像のシーンチェンジ検出となる。
ただし、以下の記述において、簡単化のため、１成分のビデオ信号、たとえば、Ｒ成分、または、輝度成分に限定して記述する。
【００１１】
【特許文献１】
特開平１０−２９４９２３号公報（特許第３１７５６３２号）
【特許文献２】
特開平１０−２７６４３５号公報
【００１２】
【発明が解決しようとする課題】
図５〜図７を参照して述べたシーンチェンジ検出方法は下記の問題に遭遇する。
フェードインまたはフェードアウトする画像、すなわち、少しづつ変化している画像（たとえば、輝度が強くなる画像または輝度が弱くなる画像）が入力された場合、画像成分が徐々に変化するため、図８（Ａ）に図解したように、上記（２）の段階の処理におけるヒストグラム作成方法では和ｓｕｍがヒストグラムのあるレベル境界に集中した際、その次の画面の画像で、図８（Ａ）に図解したように、ヒストグラムが破線で示した状態から実線で示した状態に、隣接するレベルに全て移動する。その結果、ヒストグラムの差分の合計値ｓｕｍdiffがしきい値（または閾値）ｔｈｒｅｓより大きな状態となり、すなわち、（ｓｕｍdiff≧ｔｈｒｅｓ）の関係を満足する。その結果、人間の肉眼ではシーンチェンジとは認識しない場合でも、画像信号処理回路で処理するとシーンチェンジとして決定しまう場合がある。
【００１３】
このようなシーンチェンジは周期的に発生する。
すなわち、フェードイン／フェードアウトの画像に対しては、特に、比較的長いフェード画像に対しては、連続して周期的に、シーンチェンジ検出がなされるという事態が発生していた。
もちろん、そのようなフェードイン／フェードアウト画像を人間が見ている限りは、シーンチェンジとは認識しないし、本来のシーンチェンジではない。すなわち、画像信号処理回路におけるシーンチェンジの誤検出である。
【００１４】
本発明の目的は、フェードイン／フェードアウトの画像であっても、しかも、通常の画像変化であっても、正確に画像の切り替わり、すなわち、シーンチェンジを検出可能な方法と装置を提供することにある。
また本発明の目的は、上記シーンチェンジの検出を極力簡単な方法で、かつ、迅速に行なうことができる、シーンチェンジ検出方法と装置を提供することにある。
さらに本発明の目的は、簡単な構成で、かつ、容易に上記シーンチェンジ検出方法を実現できるシーンチェンジ検出装置を提供することにある。
【００１５】
また本発明の目的は、種々の用途に適用可能なシーンチェンジ検出方法および装置を提供することにある。
【００１６】
【課題を解決するための手段】
本発明の第１の観点によれば、連続した１フィールドまたは１フレームの２枚の画面の画像に対して、画像を構成する成分のヒストグラムをそれぞれ作成し、それらの差分の合計値を計算して設定した閾値よりも大きいとき上記画像のシーンが変化したことを検出するシーンチェンジ検出方法において、上記ヒストグラム作成の際に、該当するレベルとその両隣のレベルに対してある一定数を振り分けて加算し（オーバーラップし）、その後規格化することによって新たなヒストグラムの結果を算出し、該算出したヒストグラムを用いて２枚の画面の画像のシーンが変化したことを検出することを特徴とする、シーンチェンジ検出方法および装置が提供される。
【００１７】
本発明の第２の観点によれば、第１および第２の画面の画像間のシーン変化を検出するシーンチェンジ検出方法であって、（ａ）第１の画面の画像の成分信号についてレベルを判定し、（ｂ）判定した各レベルについて、当該判定されたレベルおよび当該判定されたレベルの隣接するレベルについて、配分の割合を規定した配分比率で配分割合を算出したレベルごとの計数値を算出し、（ｃ）上記判定されたレベルについて、および、上記判定されたレベルに隣接するレベルについて、上記配分割合で配分される計数値をヒストグラムとして計数し、（ｄ）上記求めたヒストグラムを保持し、（ｅ）第２の画面の画像について上記（ａ）〜（ｄ）と同じ処理を行い、得られたヒストグラムと上記保持されている第１の画面の画像についての規格化ヒストグラムとの差分を計算し、（ｆ）上記各レベルについて計算してヒストグラムの差分を全てのレベルについて合計し、（ｇ）上記ヒストグラムの差分の合計が所定のしきい値より大きいとき第１の画面の画像と第２の画面の画像との間にシーンチェンジがあったと判定する、シーンチェンジ検出方法が提供される。
【００１８】
本発明の第３の観点によれば、第１および第２の画面の画像間のシーン変化を検出するシーンチェンジ検出装置であって、ヒストグラム生成手段と、ヒストグラム保存手段と、ヒストグラム差分計算手段と、比較判断手段とを有し、
上記ヒストグラム生成手段は、１画面の画像ビデオ信号を複数のブロックに分割した各ブロックの各成分の画像データについて、ヒストグラムを生成するため、１ブロック内の各成分の画像データの合計を計算する１ブロック分・成分合計手段と、上記１ブロック分・成分合計手段で計算した和を複数のレベルのどのレベルに属するかを判定するレベル判定手段と、上記レベル判定したレベルの数の複数の細分割加算量判定手段を有する細分割加算量判定部と、上記複数の細分割加算量判定手段の数と同じ数のレベルカウンタ手段を有するレベルカウンタ部とを有し、
前記細分割加算量判定部の各細分割加算量判定手段は、ある配分比率でそのレベルに該当するヒストグラムの計算のための第１ヒストグラム計数値およびそのレベルと隣接するレベルのヒストグラムの計算のための第２ヒストグラム計数値を求め、上記求めた第１および第ヒストグラム計数値をそのレベルに該当する第１のレベルカウンタ部およびそのレベルと隣接するレベルの第２のレベルカウンタ部にそれぞれ出力し、
上記第１および第２のレベルカウンタ部は上記細分割加算量判定手段から入力されたヒストグラム計数値をそれぞれ累積してヒストグラムを計算し、
上記ヒストグラム保存手段は、上記ヒストグラム生成手段で生成されたヒストグラムを保存し、
ヒストグラム差分計算手段は、上記ヒストグラム生成手段で生成した各レベルのヒストグラムと、上記ヒストグラム保存手段に保存されている前回の画面の画像についての各レベルのヒストグラムとの差分を求め、これら差分の合計を計算し、
上記比較判断手段は、上記ヒストグラムの差分の合計が所定のしきい値より大きいとき、第１の画面の画像と第２の画面の画像との間にシーンチェンジがあったと判定する、シーンチェンジ検出装置が提供される。
【００２０】
【発明の実施の形態】
本発明のシーンチェンジ検出方法および装置の適用例
本発明のシーンチェンジ検出方法およびその装置の好適な実施の形態を述べる前に、本発明のシーンチェンジ検出方法および装置が適用される１例を述べる。図１は本発明のシーンチェンジ検出方法および装置が適用される適用例の構成図である。
図１に図解した装置は、地上波またはＢＳ放送波を受信して、それを圧縮符号化し、記録媒体、たとえば、ハードディスク（ＨＤ）、（ＤＶＤ＋ＲＷ）ディスクなどのディスク記録媒体に記録する装置であり、ビデオ信号再生装置３０１と、プリ映像信号処理装置３０２と、符号化装置３０３と、記録装置３０４と、サムネール（thumb-nail）画像生成装置３０５と、ホストコンピュータ３０６とを有する。
【００２１】
図１に図解した装置の動作の例を述べる。
ビデオ信号再生装置３０１は、たとえば、ＮＴＳＣのビデオ信号復号装置であり、地上波またはＢＳ放送波を受信して、復号し、ビデオ信号を再生してディジタル・ビデオ信号に変換する。
プリ映像信号処理装置３０２は、ビデオ信号再生装置３０１で変換したディジタル・ビデオ信号に対して、１画面を複数のブロックに分割するなどのプリ（前）映像信号処理を行い、各ブロックについてシーンチェンジの有無を検出し、シーンチェンジが検出されたらホストコンピュータ３０６にシーンチェンジ情報を渡す。
ホストコンピュータ３０６はプリ映像信号処理装置３０２で検出したシーンチェンジ情報をもとに、符号化装置３０３、記録装置３０４、サムネール画像生成装置３０５を制御する。
【００２２】
プリ映像信号処理装置３０２においてプリ映像処理を終えた後、たとえば、ＭＰＥＧ方式のエンコーダである符号化装置３０３にてディジタルビデオ信号について、符号化処理を行い、その結果が、記録装置３０４においてディスク媒体にに付加情報と共に記録される。
符号化装置３０３に対する制御や、記録装置３０４において記録するディスク記録媒体にはインデックス情報を与え、サムネール画像はホストコンピュータ３０６から指定された絵をサムネール画像生成装置３０５で作成して記録装置３０４においてディスク記録媒体にインデックス情報と一緒に記録する。
このようにすれば、サムネール付きのメニュー、シーン毎に区切られたインデックスにより、ユーザーの利用効率を向上させることが可能である。
【００２３】
特に、符号化装置３０３において、ＭＰＥＧのような高能率な符号化方法を採用しているとき、ビデオ信号再生装置３０１において受信し復号したビデオ信号について、適切にシーンチェンジを検出できると、シーンチェンジを検出したフレームのビデオ信号をＩ（イントラ）ピクチャーとして符号手順を効果的に変更することができ、符号化装置３０３において、より正確かつ高能率な符号化が可能となる。その結果、圧縮率を下げてビデオ信号を高画質に符号化して、記録装置３０４において、ディスク媒体に記録できる。
すなわち、デジタル化されたビデオ入力画像に対して、それをエンコード（符号化）してディスク記録媒体に記録する際、正確なシーンチェンジ情報を得ることでより高画質で記録することが可能である。また、記録した映像の中からユーザーが見たいシーンを素早く探すためのインデックス情報や、サムネール画像の作成にもシーンチェンジ情報を利用でき、さらに、コマーシャル映像部分を検出するため付加情報としても利用できる。
【００２４】
このようにすれば、映画、ドラマ、家庭用ビデオでも多用されているフェードを用いた画像の切り換り点におけるシーンチェンジの誤検出を減らすことが可能になり、その結果、ビデオ信号を処理するために必要な情報が厳選され、効果的なサムネール画像の作成や適切な位置でのコマーシャル映像部分の検出を行うことができる。
そのためには、プリ映像信号処理装置３０２におけるシーンチェンジ検出の正確さが必要になる。
すなわち、本発明のシーンチェンジ検出方法およびシーンチェンジ検出装置は、図１に図解した装置においては、プリ映像信号処理装置３０２などに導入される。
【００２５】
プリ映像信号処理装置３０２におけるシーンチェンジ検出が適切であると、ディスクに記録した符号化ビデオ信号の中からユーザーが見たいシーンを素早く探すためのインデックス情報や、サムネール画像の作成にもシーンチェンジ情報を利用でき、さらに、コマーシャル映像部分を検出するため付加情報としても利用できるという利点がある。
【００２６】
もちろん、本発明のシーンチェンジ検出方法およびシーンチェンジ検出装置は図１を参照して述べた装置への適用に限定されることなく、ビデオ信号編集システムなど種々の映像処理装置に適用できる。
【００２７】
このような用途に使用される本発明のシーンチェンジ検出方法およびシーンチェンジ検出装置の好適実施の形態を下記に述べる。
【００２８】
第１実施の形態
図２は本発明のシーンチェンジ検出装置の第１実施の形態の構成図である。
図２に図解したシーンチェンジ検出装置１は、画像データ分離回路１０１と、画像データブロック分割回路１０２と、ヒストグラム生成回路１０３と、ヒストグラム保存レジスタ１０４と、ヒストグラム差分計算回路１０５と、比較判断回路１０６とを有する。
【００２９】
図２に図解したシーンチェンジ検出装置１は、たとえば、図１に図解したプリ映像信号処理装置３０２に組み込まれる。
その場合、画像データ分離回路１０１には、たとえば、ビデオ信号再生装置３０１のようなビデオ信号処理装置によって提供される、ディジタル・ビデオ信号が入力されるものとする。
もちろん、図１に図解したシーンチェンジ検出装置１は、図１に図解した装置に限らず、たとえば、ビデオ信号編集装置などにおけるシーンチェンジ検出にも用いることができるから、そのような場合は、たとえば、記録媒体に記録されたビデオ信号をディジタル・ビデオ信号再生装置で再生し、再生されたディジタル・ビデオ信号が画像データ分離回路１０１に入力される。
このように、本実施の形態においては、画像データ分離回路１０１には、１フレーム単位、または、１フィールド単位のディジタル・ビデオ信号が、たとえば、ビットストリームとして入力される場合について述べる。
なお、１フレームの画像、または、１フィールドの画像を、便宜的に、１画面の画像と呼ぶ。
図５に１画面の画像構成を例示する。
【００３０】
画像データ分離回路
画像データ分離回路１０１は、デジタル化されたビデオ信号を、コンポーネント信号またはコンポジット信号の構成成分、たとえば、Ｒ，Ｇ，Ｂ、または、輝度信号、第１および第２の色差信号に分離する。
ただし、下記の記述において、１つの成分ビデオ信号、たとえば、Ｒ信号または輝度信号についての信号処理のみについて述べる。その他の成分ビデオ信号、ＧおよびＢ、または、第１および第２の色差信号についても同様に処理される。なお、画像データ分離回路１０１において、このような成分ビデオ信号に分離するのは、処理の容易さ、シーンチェンジ検出の適切さのため、便宜的に、各成分ごとに下記の処理を行なうからである。したがって、画像データ分離回路１０１は本発明の実施に際して必須の要件ではない。
【００３１】
画像データブロック分割回路
画像データブロック分割回路１０２は、図５に図解した１画面のビデオ信号のうち、有効画像内の検出領域を、複数のブロックに分割する。１ブロックの大きさは、ｘピクセル×ｙライン、たとえば、１６ピクセル×１６ラインのとき、１ブロック内のビデオ信号は２５６個となる。
このように、画像データブロック分割回路１０２において、１画面の画像（ビデオ信号）を複数のブロックに分割するのは、シーンチェンジの検出能力（検出精度）を適切にすること、および、信号処理の容易さを考慮しているためであり、本発明の実施に際して、必須ではない。
【００３２】
ブロックの大きさ（サイズ）が小さすぎると、シーンチェンジの判定はより厳密に（容易に）なるが、１画面内のブロック数が大きくなってしまうために、ヒストグラムなどの結果を保持するメモリの容量が大きくなってしまう。他方、ブロックの大きさが大きすぎると、ヒストグラムなどの結果を保持するメモリの容量は小さくなるが、シーンチェンジの感度が鈍くなってしまう。したがって、１ブロックのサイズは画像の変化の程度、シーンチェンジの検出感度などを考慮して、適切に決定する。
【００３３】
ヒストグラム生成回路
ヒストグラム生成回路１０３は、画像データブロック分割回路１０２で分割した各ブロック毎のビデオ信号について、複数のレベルについて、各レベルのブロック数がいくつになるかを計数して、計数結果をヒストグラムとして算出する。ただし、このヒストグラム生成回路１０３の構成および処理内容は、上述した従来の単純なヒストグラム算出方法とは異なる。
以下に述べる処理は、各ブロックについて行なうが、以下、便宜上、１ブロックの処理についてのみ記述する。
【００３４】
図３は図２に図解したヒストグラム生成回路１０３の回路図である。
ヒストグラム生成回路１０３は、１ブロック分・成分合計回路２０１と、ヒストグラム・レベル判定回路２０２と、細分割加算量判定回路部分２０３と、レベルカウンタ部分２０４と、規格化回路２０５とを有する。
細分割加算量判定回路部分２０３は、レベル分けに応じた複数、ｎ個の細分割加算量判定回路が並列に設けられて構成されている。
レベルカウンタ部分２０４も、細分割加算量判定回路部分２０３の細分割加算量判定回路の数に対応して、複数（ｎ個）のレベルカウンタが並列に設けられて構成されている。
【００３５】
１ブロック分・成分合計回路２０１は、１ブロック分の成分ビデオ信号、たとえば、Ｒ成分について合計、すなわち、和ｓｕｍを算出する。１ブロック分・成分合計回路２０１で算出した和ｓｕｍは、そのブロックの１ビデオ信号成分、たとえば、Ｒ成分の大きさを示している。
【００３６】
ヒストグラム・レベル判定回路２０２は、和ｓｕｍを、複数個（ｎ個）のレベル判定しきい値Ａ0 〜Ａn-1 （Ａ0 ＜Ａ1 ＜・・・＜Ａn-1 ）を用いて判定して、和ｓｕｍがどの範囲、すなわち、どのレベルに属するかを判定する。
和ｓｕｍが、たとえば、ｉ番目のレベルに属すると判定した場合、ヒストグラム・レベル判定回路２０２は、細分割加算量判定回路部分２０３のｉ番目の細分割加算量判定回路２０３i に、１ブロック分・成分合計回路２０１で算出した和ｓｕｍのうち、ヒストグラムの計数（カウント・アップ）に必要なデータ、たとえば、ｓｕｍ値の上位数ビットと、「有効化信号」、たとえば、「１」を出力し、その他の細分割加算量判定回路には「無効化信号」、たとえば、「０」を出力する。
【００３７】
従来のシーンチェンジ検出方法においては、ヒストグラム・レベル判定回路２０２からの「有効化信号」をそのまま該当するカウンタで計数していた。しかしながら、図３に図解したヒストグラム生成回路１０３には、細分割加算量判定回路部分２０３が設けられており、従来のように、単純に、ヒストグラム・レベル判定回路２０２の結果をカウンタで計数しない。
細分割加算量判定回路部分２０３およびレベルカウンタ部分２０４の構成および処理を図４を参照して述べる。
【００３８】
図４は、図３に図解した細分割加算量判定回路部分２０３とレベルカウンタ部分２０４のうち、並列に並んだｎ個のうちのｉ番目の細分割加算量判定回路２０３i と、その真下に位置するレベルカウンタ２０４i と、このレベルカウンタ２０４i に隣接する２個のレベルカウンタ２０４i-1 、２０４i+1 の接続関係を示す図である。
【００３９】
図４に図解した構成においては、「隣接する」レベルカウンタは、２個のレベルカウンタ２０４i-1 、２０４i+1 であるが、後述する細分割加算量判定回路２０３i における段数ｍに応じて、「隣接する」レベルカウンタは、２個に限らず、レベルカウンタ２０４i の両側の４個のレベルカウンタ２０４i-2 、２０４i-1 、２０４i+1 ２０４i+2 とすることもできる。したがって、本明細書における「隣接する」の意味は、単に両隣を意味するものではなく、その隣、さらにその隣などに拡張する意味である。
ただし、本実施の形態においては、説明の簡単化のため、レベルカウンタ２０４i の両側の２個のレベルカウンタ２０４i-1 、２０４i+1 について例示する。
【００４０】
細分割加算量判定回路２０３i は、ヒストグラム・レベル判定回路２０２においてレベル分けされたレベルｉについて、ｍ段階に細分割加算量を判定する細分割加算量判定部２０３ａと、ｍ個の並列に設けられた分配処理部２０３ｂ0 〜２０３ｂm-1 からなる。ｍ個の分配処理部２０３ｂ0 〜２０３ｂm-1 を代表して、分配処理部２０３ｂと称す。
【００４１】
細分割加算量判定回路２０３i は、ヒストグラム・レベル判定回路２０２から、１ブロック分・成分合計回路２０１で算出した和ｓｕｍのうち、ヒストグラムの計数（カウント・アップ）に必要なデータ、たとえば、ｓｕｍ値の上位数ビットと、「１」の「有効化信号」が出力されたとき、ｓｕｍ値のビットの値に応じて、それぞれ、ｍ個の並列に設けられた分配処理部２０３ｂ0 〜２０３ｂm-1 に細分割加算量（ヒストグラム計数値）に応じた値の信号を出力する。
【００４２】
細分割加算パラメータ
細分割加算パラメータ（または、オーバーラップパラメータ、または、ヒストグラム計数値）の例を表１を参照して述べる。
表１は、段階ｍを８とした場合の細分割加算パラメータ（オーバーラップパラメータ）を示し、ａ，ｂ，ｃ，ｄを基本細分割加算パラメータ（基本オーバーラップパラメータ、または基本配分比率係数）といい、細分割加算パラメータ（オーバーラップパラメータ）の合計をａｄｄとする。
【００４３】
【表１】
【００４４】
ここで、段階ｊがｍ／２未満の整数のときはレベル（ｉ−１）とレベルｉのヒストグラムを加算し、段階ｊがｍ／２以上の整数のときはレベルｉとレベル（ｉ＋１）のヒストグラムを加算する。
隣り合うヒストグラムへの加算量は任意に設定できるが、それぞれに加算する値の合計は一定の値ａｄｄになるようにする。たとえば、ａｄｄ＝８とする。
基本細分割加算パラメータａ，ｂ，ｃ，ｄは、０〜ａｄｄまでの間の任意の整数値で、たとえば、ａｄｄ＝８のとき、ａ＝４、ｂ＝２、ｃ＝１、ｄ＝０とすれば、表１の値は表２に示す値になる。これが、レベルｉの細分割加算量（ヒストグラム計数値）を示している。
【００４５】
【表２】
【００４６】
なお基本オーバーラップパラメータａ，ｂ，ｃ，ｄは、０からａｄｄの範囲で自由に設定できる。そのため、入力されるビデオ信号の性質、たとえば、フェードするビデオ信号、あるいは、通常に変化するビデオ信号などの性質に応じて、基本オーバーラップパラメータａ，ｂ，ｃ，ｄの設定を任意に使い分けることが可能である。
【００４７】
細分割加算量処理を行なう意義について述べる。
よりレベル境界に近い場合には、その境界をまたぐヒストグラムのレベルに対してなるべく均等に振り分け、また、レベルのほぼ中心に近い場合には振り分けをしないという設定になる。
たとえば、細分割加算量判定回路２０３i のｊ＝０ の分配処理部２０３ｂ0は、レベルカウンタ２０４i-1 に「４」の整数値（ヒストグラム計数値）を出力し、レベルカウンタ２０４i に「４」の整数値を出力し、レベルカウンタ２０４i+1 に「０」の整数値を出力する。
細分割加算量判定回路２０３i のｊ＝１ の分配処理部２０３ｂ1 は、レベルカウンタ２０４i-1 に「２」の整数値（ヒストグラム計数値）を出力し、レベルカウンタ２０４i に「６」の整数値を出力し、レベルカウンタ２０４i+1 に「０」の整数値を出力する。
細分割加算量判定回路２０３i のｊ＝２ の分配処理部２０３ｂ2 は、レベルカウンタ２０４i-1 に「１」の整数値（ヒストグラム計数値）を出力し、レベルカウンタ２０４i に「７」の整数値を出力し、レベルカウンタ２０４i+1 に「０」の整数値を出力する。 以下、同様である。
【００４８】
図４に図解した例では、レベルカウンタ２０４i-1 にａｄｄi-1 を、レベルカウンタ２０４i にａｄｄi を加えて（出力して）いる例を示しているが（なお、表１、表２ではレベルカウンタ２０４i+1 には「０」が出力されるから実質的に細分割加算量は加算されない）、ａｄｄ＝ａｄｄi-1 ＋ａｄｄi ＋ａｄｄi-1 を満たさなければならない。
【００４９】
なお、レベルの両端（i = 0, n-1）に関しては、隣のヒストグラムが存在しない場合があるので異なる処理を行う必要がある。
左端のレベル０について表３に例示する。
【００５０】
【表３】
【００５１】
右端のレベル（ｍ−１）についても、レベル０と同様である。
このように、図３および図４に図解した細分割加算量判定回路部分２０３およびレベルカウンタ部分２０４は、単純に、ヒストグラム・レベル判定回路２０２の判定結果を該当するレベルのカウンタで累積してヒストグラムを算出するのではなく、１ブロック分・成分合計回路２０１で算出された和ｓｕｍがあるレベルｉに属すると判定された場合、そのレベルｉのレベルカウンタ２０４i はもとより、隣接するレベル（ｉ−１）、（ｉ＋１）のレベルカウンタ２０４i-1 、２０４i+1 にもヒストグラムを算出する整数値のデータを出力する。
すなわち、細分割加算量判定回路２０３i は、自己のレベルを中心として、それに隣接するレベルについてのレベルカウンタ２０４i-1 、２０４i+1 にも、表２に例示したような配分比率で、ヒストグラム算出のデータを与える。
【００５２】
細分割加算量判定回路２０３i からヒストグラム算出用の整数値（ヒストグラム計数値）を入力された、レベルカウンタ２０４i 、２０４i-1 、２０４i+1 はそれぞれ、入力された整数値（ヒストグラム計数値）のデータを累積して、ヒストグラムを算出する。
【００５３】
同様に、（ｉ＋１）番目の細分割加算量判定回路２０３i+1 と、その真下に位置するレベルカウンタ２０４i+1 と、このレベルカウンタ２０４i+1 に隣接する２個のレベルカウンタ２０４i 、２０４i+2 の接続関係は、図４に図解した接続関係と同様になり、上述したと同様の処理を行なう。
【００５４】
以上のとおり、ヒストグラム生成回路１０３のヒストグラム・レベル判定回路２０２およびレベルカウンタ部分２０４は、各ブロックの和ｓｕｍに対して、隣り合うヒストグラムに振り分けて加算するオーバーラップ加算を行う。
【００５５】
規格化回路
１画像の処理が終了したら、図２に図解した規格化回路２０５で各レベルのヒストグラムの合計値ΣＨを一定の値ａｄｄで割り算して（ΣＨ／ａｄｄ）、ヒストグラムの合計値ΣＨの規格化を行う。
規格化回路２０５で行なう規格化処理は本発明において本質的ではないが、上述したように、一定の値ａｄｄを用いて、ヒストグラム計数値を変化させているので、それを規格するため、便宜的に用いている。ただし、規格化することにより、後述する比較判断回路における判断処理が、絶対値ではなく相対値で画一的に判断できるという利点がある。
【００５６】
ヒストグラム差分計算回路
以上のように作成された現（今回の）画像のヒストグラムは、ヒストグラム差分計算回路１０５で前（前回の）画像のヒストグラムと各レベルの差分の和を計算する。
現画像のヒストグラム結果は、次の画像との比較のため、ヒストグラム保存レジスタ１０４に結果が保持される。
【００５７】
比較判断回路
ヒストグラム差分計算回路１０５で計算した結果は、比較判断回路１０６で外部から設定可能なしきい値（または閾値）ｔｈｒｅｓと比較し、ヒストグラム差分計算回路１０５の結果がしきい値ｔｈｒｅｓを越えていたら、比較判断回路１０６はシーンチェンジと判断してシーンチェンジ検出フラグをオン（たとえば、「１」）にする。
【００５８】
以上述べた本発明の第１実施の形態によれば、図７（Ａ）、（Ｂ）を参照して述べたように、フェードする画像についても正確にシーンチェンジ検出を行なうことができる。
もちろん、本発明の第１実施の形態によれば、通常の画像変化についても正確にシーンチェンジ検出ができる。
したがって、本発明の第１実施の形態のシーンチェンジ検出方法およびシーンチェンジ検出装置を、図１を参照して述べた装置、あるいは、ビデオ信号編集装置などの各種のビデオ信号処理装置におけるシーンチェンジ検出に適用できる。
【００５９】
変形態様
本発明の実施の形態の変形態様として、ヒストグラムを細分化する際、ここでは段数ｍ＝８の例を示したが、さらに細かく分割すること、たとえば、ｍ＝２０とすることなども可能である。このときは、もちろん、基本加算パラメータ（オーバーラップパラメータ）の数、および、値も上述した例示とは異なる。
基本的に、ヒストグラムのレベル数ｎや、細分化する段数ｍ、オーバーラップパラメータの範囲（一定の値ａｄｄ）は大きくすることができるが、本発明を実施するハードウエア（回路）の構成をある程度の大きさに制限するため、適切な値にしている。
たとえば、シーンチェンジ検出能力を高める方法としては、レベルの数を非常に大きくする方法が想定されるが、そうすると、ハードウエア（回路）の規模が大きくなる。これに対して、本発明においては、ハードウェアの規模をあまり大きくせずに、より正確なシーンチェンジ検出を実現できることが大きな利点である。
【００６０】
さらに、たとえば、本発明の他の実施の形態として、連続して到来する過去４画面分の画像分程度のヒストグラムの情報を保持しておき、これら４画面の画像についてのシーンチェンジを判断し、たとえ、今回の画面の画像と直前の前回の画像とのヒストグラムの差分が大きくても、２〜３画像前との差分が小さければフラッシュ（一時的な（瞬間的な）画像変化）と見なし、シーンチェンジを無効にする（正規のシーンチェンジとはしない）といった処理も可能である。
このように本発明のシーンチェンジ検出装置を構成すると、より高精度なシーンチェンジの検出が可能である。
【００６１】
また、オーバーラップパラメータの値を、動きが早い画像か、動きが多い画像かなど、画像の内容、簡単な画像が複雑な画像かなどの画像の性質などに応じて、適切に変更することも可能である。
【００６２】
また、１個の細分割加算量判定回路２０３i から出力されるレベルカウンタ部分の数を非常に多くしておき、ヒストグラム計数を行なわないレベルカウンタには分配処理部２０３ｂ0 〜２０３ｂm-1 からヒストグラム計数値を「０」として出力することもできる。すなわち、本発明においては、オーバーラップパラメータの設定だけで、ある細分割加算量判定回路２０３i と関連するレベルカウンタ２０４との接続関係をヒストグラム計数値の設定で実質的に制御することができる。
特に、このような方法は、シーンチェンジ検出装置をＤＳＰ（ディジタル信号プロセッサ）などで処理する場合には都合がよい。たとえば、ＤＳＰにおいて、細分割加算量判定回路２０３i と全てのレベルカウンタ２０４との接続関係をつけておき、そのとき接続関係のないレベルカウンタ２０４には「０」のヒストグラム計数値を出力すれば、実質的に接続関係がないことになり、接続関係のあるレベルカウンタ２０４に必要なヒストグラム計数値を出力すればよい。
【００６３】
本発明のシーンチェンジ検出装置としては、図２〜図４を参照して述べたハードウエア回路で実現するだけでなく、ＤＳＰあるいは、コンピュータを用いて実現することもできる。
【００６４】
【発明の効果】
本発明によれば、フェードイン／フェードアウトする画像であっても、しかも、通常の画像変化であっても、正確に画像の切り替わり、すなわち、シーンチェンジを検出可能できる。
また本発明によれば、シーンチェンジの検出を極力簡単な方法で、かつ、迅速に行なうことができる。
さらに本発明によれば、簡単な構成、かつ、容易にシーンチェンジ検出が可能である。
また本発明のシーンチェンジ検出方法およびシーンチェンジ検出装置は種々のビデオ信号処理装置に適用できる。
【図面の簡単な説明】
【図１】図１は本発明のシーンチェンジ検出方法を適用した１例としての画像情報処理シーンの構成図である。
【図２】図２は本発明のシーンチェンジ検出方法および装置の第１実施の形態のブロック図である。
【図３】図３は図１に図解したヒストグラム生成回路の構成図である。
【図４】図４は図３に図解した細分割加算量判定回路とそれに関連するレベルカウンタとの接続関係を示す構成図である。
【図５】図５は画像のブロック分割を説明する図である。
【図６】図６はヒストグラムの作成例を示すグラフである。
【図７】図７はヒストグラムの差分を求める方法を説明するグラフである。
【図８】図８はフェード時のヒストグラムの変化を示すグラフである。
【符号の説明】
１００・・シーンチェンジ検出装置
１０１・・画像データ分離回路
１０２・・画像データブロック分割回路
１０３・・ヒストグラム生成回路
２０１・・１ブロック分・成分合計回路
２０２・・ヒストグラム・レベル判定回路
２０３・・細分割加算量判定回路部分
２０３ａ・・細分割加算量判定部
２０３ｂ・・分配処理部
２０４・・レベルカウンタ部分
２０５・・規格化回路
１０４・・ヒストグラム保存レジスタ
１０５・・ヒストグラム差分計算回路
１０６・・比較判断回路
３００・・シーンチェンジ検出・処理情報処理装置
３０１・・ビデオ信号再生装置
３０２・・プリ映像信号処理装置
３０３・・符号化装置
３０４・・大容量記録装置
３０５・・サムネール画像生成装置
３０６・・ホストコンピュータ
【発明の属する技術分野】
本発明は連続する画像のシーン（光景または情景）の変化を検出するシーンチェンジ検出方法およびその装置に関する。
本発明は特に、フェードイン／フェードアウトする画像などにおいても、正確にシーンの変化を検出可能なシーンチェンジ検出方法とその装置に関する。
【０００２】
【従来の技術】
連続する画像について画像処理を行なうとき、たとえば、動画をＭＰＥＧ方式でビデオ信号を符号するときなど、シーンが大きく変化すること（画像の切り替わり）を検出したい場合に多々遭遇する。そのようなシーンの変化を検出する技術として、シーンチェンジ検出方法が用いられており、これまで種々のシーンチェンジ検出方法が提案されている。
そのようなシーンチェンジ検出方法の基本的な方法は、前回の画面（フレームまたはフィールド）の画像と今回の画面の画像との画像の変化を検出して、両者の画像間にある程度の画像の変化があった場合にシーンチェンジとして判定するものである。
【０００３】
なお、本明細書において「画面」とは、１フィールドまたは１フレームなどのように１つの画面としてまとまった画像が集合したものをいう。
【０００４】
これまで種々の画像の種類、状況に則して、より正確なシーンチェンジの検出を行なうため、種々の改良方法が提案されている。
【０００５】
特開平１０−２９４９２３号公報（特許第３１７５６３２号）は、この公開公報の図２に図解されているように、（１）フレーム画像をブロックごとに分割し、（２）各ブロックの色ヒストグラムを計算し、（３）色ヒストグラムを用いて前方類似度、後方類似度、前後類似度を求め、（４）しき値を求めて有効ブロック位置を判定し、（５）有効ブロック位置の相関値を平均して評価値を求め、（６）求めた評価値としきい値との大小関係からシーンチェンジを検出する。
【０００６】
しかしながら、特開平１０−２９４９２３号公報に開示された方法は、ヒストグラムを求めることの他に、前方類似度、後方類似度、前後類似度を求め、さらに、相関値を求めて評価するなどのように処理が複雑であり検出に時間がかかり、その方法を実現する回路（装置）構成が複雑になり、回路規模が大きくなるという不利益がある。
【０００７】
特開平１０−２７６４３５号公報は、この公開公報の図１に図解された構成において、今回の画面の画像データについて、（１）レベル判定回路において色値をレベル判定し、（２）カウンタにおいてレベル判定された各レベルごとにカウントしてヒストグラムを求め、（３）極大／極小検出回路において求めたヒストグラムの極大値または極小値を検出し、（４）代表点選出回路において極大値または極小値から代表点を求める。以上の処理は前回の画像についても行なわれ、前回の画像についての代表点がレジスタが記憶されている。（５）代表点比較回路において、前回の画面の代表点と今回の画面の代表点とを比較して、両者が近い値をとるか否かに応じてシーンチェンジか否かを判定する。
【０００８】
特開平１０−２７６４３５号公報に開示されている方法は、相関度の低い連続場面をシーンチェンジとして誤検出することを解決することを意図しているため、ヒストグラムの極大値または極小値から求めた前回の画像の代表点と、今回の画像の代表点との違いを判定基準としている。換言すれば、特開平１０−２７６４３５号公報に開示されている方法は相関度の低い場面からシーンチェンジを検出するため、変化の大きさを鋭敏に検出しようとする技術である。しかしながら、特開平１０−２７６４３５号公報に開示された技術は、感度が高すぎて、頻繁にシーンチェンジ検出状態を惹起させる可能性がある。
【０００９】
上述したシーンチェンジ検出方法を改善する他のシーンチェンジ検出方法について、図５〜図８を参照して述べる。
（１）図５に図解したように、今回の画面のデジタル化された映像信号（ビデオ信号）を１成分のビデオ信号、たとえば、コンポーネント信号の場合、Ｒ，Ｇ，Ｂ成分、または、コンポジット信号の場合、輝度信号Ｙ、第１の色差信号Ｃｂ、第２の色差信号Ｃｒに分離し、分離された１成分のビデオ信号に対して１画面（フレームまたはフィールド）の画像毎に、有効画像領域を、各ブロックが（ｘピクセル×ｙライン）の複数のブロックに分割し、各ブロック単位で１成分のビデオ信号、たとえば、Ｒ成分（または輝度成分）の和ｓｕｍを計算する。
（２）図６に図解したように、各ブロックの１成分のビデオ信号のｓｕｍ値に応じてｎレベルのヒストグラムを作成する。図６に図解した例示においては、ｎ＝１６の例を示し、１６レベルのヒストグラムを示している。
（３）図７に図解したように、保持しておいた、前回の画面の画像のヒストグラムと、今回の画面の画像のヒストグラムとの差の絶対値を各レベル毎に計算し、全レベルについての差分の合計値ｓｕｍdiffを算出する。
（４）全レベルについての差分の合計値ｓｕｍdiffが、あらかじめ設定したしきい値（または閾値）ｔｈｒｅｓより大きいとき（ｓｕｍdiff≧ｔｈｒｅｓ）、前回の画面の画像と今回の画面の画像との間にシーン検出に該当するシーンの変化があったとしてシーンチェンジを決定する。
【００１０】
その他の成分のビデオ信号、たとえば、Ｇ成分およびＢ成分、または、第１の色素成分Ｃｂおよび第２の色素成分Ｃｒに対しても上記（１）〜（４）の処理を行い、それらを総合することで全体の画像のシーンチェンジ検出となる。
ただし、以下の記述において、簡単化のため、１成分のビデオ信号、たとえば、Ｒ成分、または、輝度成分に限定して記述する。
【００１１】
【特許文献１】
特開平１０−２９４９２３号公報（特許第３１７５６３２号）
【特許文献２】
特開平１０−２７６４３５号公報
【００１２】
【発明が解決しようとする課題】
図５〜図７を参照して述べたシーンチェンジ検出方法は下記の問題に遭遇する。
フェードインまたはフェードアウトする画像、すなわち、少しづつ変化している画像（たとえば、輝度が強くなる画像または輝度が弱くなる画像）が入力された場合、画像成分が徐々に変化するため、図８（Ａ）に図解したように、上記（２）の段階の処理におけるヒストグラム作成方法では和ｓｕｍがヒストグラムのあるレベル境界に集中した際、その次の画面の画像で、図８（Ａ）に図解したように、ヒストグラムが破線で示した状態から実線で示した状態に、隣接するレベルに全て移動する。その結果、ヒストグラムの差分の合計値ｓｕｍdiffがしきい値（または閾値）ｔｈｒｅｓより大きな状態となり、すなわち、（ｓｕｍdiff≧ｔｈｒｅｓ）の関係を満足する。その結果、人間の肉眼ではシーンチェンジとは認識しない場合でも、画像信号処理回路で処理するとシーンチェンジとして決定しまう場合がある。
【００１３】
このようなシーンチェンジは周期的に発生する。
すなわち、フェードイン／フェードアウトの画像に対しては、特に、比較的長いフェード画像に対しては、連続して周期的に、シーンチェンジ検出がなされるという事態が発生していた。
もちろん、そのようなフェードイン／フェードアウト画像を人間が見ている限りは、シーンチェンジとは認識しないし、本来のシーンチェンジではない。すなわち、画像信号処理回路におけるシーンチェンジの誤検出である。
【００１４】
本発明の目的は、フェードイン／フェードアウトの画像であっても、しかも、通常の画像変化であっても、正確に画像の切り替わり、すなわち、シーンチェンジを検出可能な方法と装置を提供することにある。
また本発明の目的は、上記シーンチェンジの検出を極力簡単な方法で、かつ、迅速に行なうことができる、シーンチェンジ検出方法と装置を提供することにある。
さらに本発明の目的は、簡単な構成で、かつ、容易に上記シーンチェンジ検出方法を実現できるシーンチェンジ検出装置を提供することにある。
【００１５】
また本発明の目的は、種々の用途に適用可能なシーンチェンジ検出方法および装置を提供することにある。
【００１６】
【課題を解決するための手段】
本発明の第１の観点によれば、連続した１フィールドまたは１フレームの２枚の画面の画像に対して、画像を構成する成分のヒストグラムをそれぞれ作成し、それらの差分の合計値を計算して設定した閾値よりも大きいとき上記画像のシーンが変化したことを検出するシーンチェンジ検出方法において、上記ヒストグラム作成の際に、該当するレベルとその両隣のレベルに対してある一定数を振り分けて加算し（オーバーラップし）、その後規格化することによって新たなヒストグラムの結果を算出し、該算出したヒストグラムを用いて２枚の画面の画像のシーンが変化したことを検出することを特徴とする、シーンチェンジ検出方法および装置が提供される。
【００１７】
本発明の第２の観点によれば、第１および第２の画面の画像間のシーン変化を検出するシーンチェンジ検出方法であって、（ａ）第１の画面の画像の成分信号についてレベルを判定し、（ｂ）判定した各レベルについて、当該判定されたレベルおよび当該判定されたレベルの隣接するレベルについて、配分の割合を規定した配分比率で配分割合を算出したレベルごとの計数値を算出し、（ｃ）上記判定されたレベルについて、および、上記判定されたレベルに隣接するレベルについて、上記配分割合で配分される計数値をヒストグラムとして計数し、（ｄ）上記求めたヒストグラムを保持し、（ｅ）第２の画面の画像について上記（ａ）〜（ｄ）と同じ処理を行い、得られたヒストグラムと上記保持されている第１の画面の画像についての規格化ヒストグラムとの差分を計算し、（ｆ）上記各レベルについて計算してヒストグラムの差分を全てのレベルについて合計し、（ｇ）上記ヒストグラムの差分の合計が所定のしきい値より大きいとき第１の画面の画像と第２の画面の画像との間にシーンチェンジがあったと判定する、シーンチェンジ検出方法が提供される。
【００１８】
本発明の第３の観点によれば、第１および第２の画面の画像間のシーン変化を検出するシーンチェンジ検出装置であって、ヒストグラム生成手段と、ヒストグラム保存手段と、ヒストグラム差分計算手段と、比較判断手段とを有し、
上記ヒストグラム生成手段は、１画面の画像ビデオ信号を複数のブロックに分割した各ブロックの各成分の画像データについて、ヒストグラムを生成するため、１ブロック内の各成分の画像データの合計を計算する１ブロック分・成分合計手段と、上記１ブロック分・成分合計手段で計算した和を複数のレベルのどのレベルに属するかを判定するレベル判定手段と、上記レベル判定したレベルの数の複数の細分割加算量判定手段を有する細分割加算量判定部と、上記複数の細分割加算量判定手段の数と同じ数のレベルカウンタ手段を有するレベルカウンタ部とを有し、
前記細分割加算量判定部の各細分割加算量判定手段は、ある配分比率でそのレベルに該当するヒストグラムの計算のための第１ヒストグラム計数値およびそのレベルと隣接するレベルのヒストグラムの計算のための第２ヒストグラム計数値を求め、上記求めた第１および第ヒストグラム計数値をそのレベルに該当する第１のレベルカウンタ部およびそのレベルと隣接するレベルの第２のレベルカウンタ部にそれぞれ出力し、
上記第１および第２のレベルカウンタ部は上記細分割加算量判定手段から入力されたヒストグラム計数値をそれぞれ累積してヒストグラムを計算し、
上記ヒストグラム保存手段は、上記ヒストグラム生成手段で生成されたヒストグラムを保存し、
ヒストグラム差分計算手段は、上記ヒストグラム生成手段で生成した各レベルのヒストグラムと、上記ヒストグラム保存手段に保存されている前回の画面の画像についての各レベルのヒストグラムとの差分を求め、これら差分の合計を計算し、
上記比較判断手段は、上記ヒストグラムの差分の合計が所定のしきい値より大きいとき、第１の画面の画像と第２の画面の画像との間にシーンチェンジがあったと判定する、シーンチェンジ検出装置が提供される。
【００２０】
【発明の実施の形態】
本発明のシーンチェンジ検出方法および装置の適用例
本発明のシーンチェンジ検出方法およびその装置の好適な実施の形態を述べる前に、本発明のシーンチェンジ検出方法および装置が適用される１例を述べる。図１は本発明のシーンチェンジ検出方法および装置が適用される適用例の構成図である。
図１に図解した装置は、地上波またはＢＳ放送波を受信して、それを圧縮符号化し、記録媒体、たとえば、ハードディスク（ＨＤ）、（ＤＶＤ＋ＲＷ）ディスクなどのディスク記録媒体に記録する装置であり、ビデオ信号再生装置３０１と、プリ映像信号処理装置３０２と、符号化装置３０３と、記録装置３０４と、サムネール（thumb-nail）画像生成装置３０５と、ホストコンピュータ３０６とを有する。
【００２１】
図１に図解した装置の動作の例を述べる。
ビデオ信号再生装置３０１は、たとえば、ＮＴＳＣのビデオ信号復号装置であり、地上波またはＢＳ放送波を受信して、復号し、ビデオ信号を再生してディジタル・ビデオ信号に変換する。
プリ映像信号処理装置３０２は、ビデオ信号再生装置３０１で変換したディジタル・ビデオ信号に対して、１画面を複数のブロックに分割するなどのプリ（前）映像信号処理を行い、各ブロックについてシーンチェンジの有無を検出し、シーンチェンジが検出されたらホストコンピュータ３０６にシーンチェンジ情報を渡す。
ホストコンピュータ３０６はプリ映像信号処理装置３０２で検出したシーンチェンジ情報をもとに、符号化装置３０３、記録装置３０４、サムネール画像生成装置３０５を制御する。
【００２２】
プリ映像信号処理装置３０２においてプリ映像処理を終えた後、たとえば、ＭＰＥＧ方式のエンコーダである符号化装置３０３にてディジタルビデオ信号について、符号化処理を行い、その結果が、記録装置３０４においてディスク媒体にに付加情報と共に記録される。
符号化装置３０３に対する制御や、記録装置３０４において記録するディスク記録媒体にはインデックス情報を与え、サムネール画像はホストコンピュータ３０６から指定された絵をサムネール画像生成装置３０５で作成して記録装置３０４においてディスク記録媒体にインデックス情報と一緒に記録する。
このようにすれば、サムネール付きのメニュー、シーン毎に区切られたインデックスにより、ユーザーの利用効率を向上させることが可能である。
【００２３】
特に、符号化装置３０３において、ＭＰＥＧのような高能率な符号化方法を採用しているとき、ビデオ信号再生装置３０１において受信し復号したビデオ信号について、適切にシーンチェンジを検出できると、シーンチェンジを検出したフレームのビデオ信号をＩ（イントラ）ピクチャーとして符号手順を効果的に変更することができ、符号化装置３０３において、より正確かつ高能率な符号化が可能となる。その結果、圧縮率を下げてビデオ信号を高画質に符号化して、記録装置３０４において、ディスク媒体に記録できる。
すなわち、デジタル化されたビデオ入力画像に対して、それをエンコード（符号化）してディスク記録媒体に記録する際、正確なシーンチェンジ情報を得ることでより高画質で記録することが可能である。また、記録した映像の中からユーザーが見たいシーンを素早く探すためのインデックス情報や、サムネール画像の作成にもシーンチェンジ情報を利用でき、さらに、コマーシャル映像部分を検出するため付加情報としても利用できる。
【００２４】
このようにすれば、映画、ドラマ、家庭用ビデオでも多用されているフェードを用いた画像の切り換り点におけるシーンチェンジの誤検出を減らすことが可能になり、その結果、ビデオ信号を処理するために必要な情報が厳選され、効果的なサムネール画像の作成や適切な位置でのコマーシャル映像部分の検出を行うことができる。
そのためには、プリ映像信号処理装置３０２におけるシーンチェンジ検出の正確さが必要になる。
すなわち、本発明のシーンチェンジ検出方法およびシーンチェンジ検出装置は、図１に図解した装置においては、プリ映像信号処理装置３０２などに導入される。
【００２５】
プリ映像信号処理装置３０２におけるシーンチェンジ検出が適切であると、ディスクに記録した符号化ビデオ信号の中からユーザーが見たいシーンを素早く探すためのインデックス情報や、サムネール画像の作成にもシーンチェンジ情報を利用でき、さらに、コマーシャル映像部分を検出するため付加情報としても利用できるという利点がある。
【００２６】
もちろん、本発明のシーンチェンジ検出方法およびシーンチェンジ検出装置は図１を参照して述べた装置への適用に限定されることなく、ビデオ信号編集システムなど種々の映像処理装置に適用できる。
【００２７】
このような用途に使用される本発明のシーンチェンジ検出方法およびシーンチェンジ検出装置の好適実施の形態を下記に述べる。
【００２８】
第１実施の形態
図２は本発明のシーンチェンジ検出装置の第１実施の形態の構成図である。
図２に図解したシーンチェンジ検出装置１は、画像データ分離回路１０１と、画像データブロック分割回路１０２と、ヒストグラム生成回路１０３と、ヒストグラム保存レジスタ１０４と、ヒストグラム差分計算回路１０５と、比較判断回路１０６とを有する。
【００２９】
図２に図解したシーンチェンジ検出装置１は、たとえば、図１に図解したプリ映像信号処理装置３０２に組み込まれる。
その場合、画像データ分離回路１０１には、たとえば、ビデオ信号再生装置３０１のようなビデオ信号処理装置によって提供される、ディジタル・ビデオ信号が入力されるものとする。
もちろん、図１に図解したシーンチェンジ検出装置１は、図１に図解した装置に限らず、たとえば、ビデオ信号編集装置などにおけるシーンチェンジ検出にも用いることができるから、そのような場合は、たとえば、記録媒体に記録されたビデオ信号をディジタル・ビデオ信号再生装置で再生し、再生されたディジタル・ビデオ信号が画像データ分離回路１０１に入力される。
このように、本実施の形態においては、画像データ分離回路１０１には、１フレーム単位、または、１フィールド単位のディジタル・ビデオ信号が、たとえば、ビットストリームとして入力される場合について述べる。
なお、１フレームの画像、または、１フィールドの画像を、便宜的に、１画面の画像と呼ぶ。
図５に１画面の画像構成を例示する。
【００３０】
画像データ分離回路
画像データ分離回路１０１は、デジタル化されたビデオ信号を、コンポーネント信号またはコンポジット信号の構成成分、たとえば、Ｒ，Ｇ，Ｂ、または、輝度信号、第１および第２の色差信号に分離する。
ただし、下記の記述において、１つの成分ビデオ信号、たとえば、Ｒ信号または輝度信号についての信号処理のみについて述べる。その他の成分ビデオ信号、ＧおよびＢ、または、第１および第２の色差信号についても同様に処理される。なお、画像データ分離回路１０１において、このような成分ビデオ信号に分離するのは、処理の容易さ、シーンチェンジ検出の適切さのため、便宜的に、各成分ごとに下記の処理を行なうからである。したがって、画像データ分離回路１０１は本発明の実施に際して必須の要件ではない。
【００３１】
画像データブロック分割回路
画像データブロック分割回路１０２は、図５に図解した１画面のビデオ信号のうち、有効画像内の検出領域を、複数のブロックに分割する。１ブロックの大きさは、ｘピクセル×ｙライン、たとえば、１６ピクセル×１６ラインのとき、１ブロック内のビデオ信号は２５６個となる。
このように、画像データブロック分割回路１０２において、１画面の画像（ビデオ信号）を複数のブロックに分割するのは、シーンチェンジの検出能力（検出精度）を適切にすること、および、信号処理の容易さを考慮しているためであり、本発明の実施に際して、必須ではない。
【００３２】
ブロックの大きさ（サイズ）が小さすぎると、シーンチェンジの判定はより厳密に（容易に）なるが、１画面内のブロック数が大きくなってしまうために、ヒストグラムなどの結果を保持するメモリの容量が大きくなってしまう。他方、ブロックの大きさが大きすぎると、ヒストグラムなどの結果を保持するメモリの容量は小さくなるが、シーンチェンジの感度が鈍くなってしまう。したがって、１ブロックのサイズは画像の変化の程度、シーンチェンジの検出感度などを考慮して、適切に決定する。
【００３３】
ヒストグラム生成回路
ヒストグラム生成回路１０３は、画像データブロック分割回路１０２で分割した各ブロック毎のビデオ信号について、複数のレベルについて、各レベルのブロック数がいくつになるかを計数して、計数結果をヒストグラムとして算出する。ただし、このヒストグラム生成回路１０３の構成および処理内容は、上述した従来の単純なヒストグラム算出方法とは異なる。
以下に述べる処理は、各ブロックについて行なうが、以下、便宜上、１ブロックの処理についてのみ記述する。
【００３４】
図３は図２に図解したヒストグラム生成回路１０３の回路図である。
ヒストグラム生成回路１０３は、１ブロック分・成分合計回路２０１と、ヒストグラム・レベル判定回路２０２と、細分割加算量判定回路部分２０３と、レベルカウンタ部分２０４と、規格化回路２０５とを有する。
細分割加算量判定回路部分２０３は、レベル分けに応じた複数、ｎ個の細分割加算量判定回路が並列に設けられて構成されている。
レベルカウンタ部分２０４も、細分割加算量判定回路部分２０３の細分割加算量判定回路の数に対応して、複数（ｎ個）のレベルカウンタが並列に設けられて構成されている。
【００３５】
１ブロック分・成分合計回路２０１は、１ブロック分の成分ビデオ信号、たとえば、Ｒ成分について合計、すなわち、和ｓｕｍを算出する。１ブロック分・成分合計回路２０１で算出した和ｓｕｍは、そのブロックの１ビデオ信号成分、たとえば、Ｒ成分の大きさを示している。
【００３６】
ヒストグラム・レベル判定回路２０２は、和ｓｕｍを、複数個（ｎ個）のレベル判定しきい値Ａ0 〜Ａn-1 （Ａ0 ＜Ａ1 ＜・・・＜Ａn-1 ）を用いて判定して、和ｓｕｍがどの範囲、すなわち、どのレベルに属するかを判定する。
和ｓｕｍが、たとえば、ｉ番目のレベルに属すると判定した場合、ヒストグラム・レベル判定回路２０２は、細分割加算量判定回路部分２０３のｉ番目の細分割加算量判定回路２０３i に、１ブロック分・成分合計回路２０１で算出した和ｓｕｍのうち、ヒストグラムの計数（カウント・アップ）に必要なデータ、たとえば、ｓｕｍ値の上位数ビットと、「有効化信号」、たとえば、「１」を出力し、その他の細分割加算量判定回路には「無効化信号」、たとえば、「０」を出力する。
【００３７】
従来のシーンチェンジ検出方法においては、ヒストグラム・レベル判定回路２０２からの「有効化信号」をそのまま該当するカウンタで計数していた。しかしながら、図３に図解したヒストグラム生成回路１０３には、細分割加算量判定回路部分２０３が設けられており、従来のように、単純に、ヒストグラム・レベル判定回路２０２の結果をカウンタで計数しない。
細分割加算量判定回路部分２０３およびレベルカウンタ部分２０４の構成および処理を図４を参照して述べる。
【００３８】
図４は、図３に図解した細分割加算量判定回路部分２０３とレベルカウンタ部分２０４のうち、並列に並んだｎ個のうちのｉ番目の細分割加算量判定回路２０３i と、その真下に位置するレベルカウンタ２０４i と、このレベルカウンタ２０４i に隣接する２個のレベルカウンタ２０４i-1 、２０４i+1 の接続関係を示す図である。
【００３９】
図４に図解した構成においては、「隣接する」レベルカウンタは、２個のレベルカウンタ２０４i-1 、２０４i+1 であるが、後述する細分割加算量判定回路２０３i における段数ｍに応じて、「隣接する」レベルカウンタは、２個に限らず、レベルカウンタ２０４i の両側の４個のレベルカウンタ２０４i-2 、２０４i-1 、２０４i+1 ２０４i+2 とすることもできる。したがって、本明細書における「隣接する」の意味は、単に両隣を意味するものではなく、その隣、さらにその隣などに拡張する意味である。
ただし、本実施の形態においては、説明の簡単化のため、レベルカウンタ２０４i の両側の２個のレベルカウンタ２０４i-1 、２０４i+1 について例示する。
【００４０】
細分割加算量判定回路２０３i は、ヒストグラム・レベル判定回路２０２においてレベル分けされたレベルｉについて、ｍ段階に細分割加算量を判定する細分割加算量判定部２０３ａと、ｍ個の並列に設けられた分配処理部２０３ｂ0 〜２０３ｂm-1 からなる。ｍ個の分配処理部２０３ｂ0 〜２０３ｂm-1 を代表して、分配処理部２０３ｂと称す。
【００４１】
細分割加算量判定回路２０３i は、ヒストグラム・レベル判定回路２０２から、１ブロック分・成分合計回路２０１で算出した和ｓｕｍのうち、ヒストグラムの計数（カウント・アップ）に必要なデータ、たとえば、ｓｕｍ値の上位数ビットと、「１」の「有効化信号」が出力されたとき、ｓｕｍ値のビットの値に応じて、それぞれ、ｍ個の並列に設けられた分配処理部２０３ｂ0 〜２０３ｂm-1 に細分割加算量（ヒストグラム計数値）に応じた値の信号を出力する。
【００４２】
細分割加算パラメータ
細分割加算パラメータ（または、オーバーラップパラメータ、または、ヒストグラム計数値）の例を表１を参照して述べる。
表１は、段階ｍを８とした場合の細分割加算パラメータ（オーバーラップパラメータ）を示し、ａ，ｂ，ｃ，ｄを基本細分割加算パラメータ（基本オーバーラップパラメータ、または基本配分比率係数）といい、細分割加算パラメータ（オーバーラップパラメータ）の合計をａｄｄとする。
【００４３】
【表１】
ここで、段階ｊがｍ／２未満の整数のときはレベル（ｉ−１）とレベルｉのヒストグラムを加算し、段階ｊがｍ／２以上の整数のときはレベルｉとレベル（ｉ＋１）のヒストグラムを加算する。
隣り合うヒストグラムへの加算量は任意に設定できるが、それぞれに加算する値の合計は一定の値ａｄｄになるようにする。たとえば、ａｄｄ＝８とする。
基本細分割加算パラメータａ，ｂ，ｃ，ｄは、０〜ａｄｄまでの間の任意の整数値で、たとえば、ａｄｄ＝８のとき、ａ＝４、ｂ＝２、ｃ＝１、ｄ＝０とすれば、表１の値は表２に示す値になる。これが、レベルｉの細分割加算量（ヒストグラム計数値）を示している。
【００４５】
【表２】
なお基本オーバーラップパラメータａ，ｂ，ｃ，ｄは、０からａｄｄの範囲で自由に設定できる。そのため、入力されるビデオ信号の性質、たとえば、フェードするビデオ信号、あるいは、通常に変化するビデオ信号などの性質に応じて、基本オーバーラップパラメータａ，ｂ，ｃ，ｄの設定を任意に使い分けることが可能である。
【００４７】
細分割加算量処理を行なう意義について述べる。
よりレベル境界に近い場合には、その境界をまたぐヒストグラムのレベルに対してなるべく均等に振り分け、また、レベルのほぼ中心に近い場合には振り分けをしないという設定になる。
たとえば、細分割加算量判定回路２０３i のｊ＝０ の分配処理部２０３ｂ0は、レベルカウンタ２０４i-1 に「４」の整数値（ヒストグラム計数値）を出力し、レベルカウンタ２０４i に「４」の整数値を出力し、レベルカウンタ２０４i+1 に「０」の整数値を出力する。
細分割加算量判定回路２０３i のｊ＝１ の分配処理部２０３ｂ1 は、レベルカウンタ２０４i-1 に「２」の整数値（ヒストグラム計数値）を出力し、レベルカウンタ２０４i に「６」の整数値を出力し、レベルカウンタ２０４i+1 に「０」の整数値を出力する。
細分割加算量判定回路２０３i のｊ＝２ の分配処理部２０３ｂ2 は、レベルカウンタ２０４i-1 に「１」の整数値（ヒストグラム計数値）を出力し、レベルカウンタ２０４i に「７」の整数値を出力し、レベルカウンタ２０４i+1 に「０」の整数値を出力する。 以下、同様である。
【００４８】
図４に図解した例では、レベルカウンタ２０４i-1 にａｄｄi-1 を、レベルカウンタ２０４i にａｄｄi を加えて（出力して）いる例を示しているが（なお、表１、表２ではレベルカウンタ２０４i+1 には「０」が出力されるから実質的に細分割加算量は加算されない）、ａｄｄ＝ａｄｄi-1 ＋ａｄｄi ＋ａｄｄi-1 を満たさなければならない。
【００４９】
なお、レベルの両端（i = 0, n-1）に関しては、隣のヒストグラムが存在しない場合があるので異なる処理を行う必要がある。
左端のレベル０について表３に例示する。
【００５０】
【表３】
右端のレベル（ｍ−１）についても、レベル０と同様である。
このように、図３および図４に図解した細分割加算量判定回路部分２０３およびレベルカウンタ部分２０４は、単純に、ヒストグラム・レベル判定回路２０２の判定結果を該当するレベルのカウンタで累積してヒストグラムを算出するのではなく、１ブロック分・成分合計回路２０１で算出された和ｓｕｍがあるレベルｉに属すると判定された場合、そのレベルｉのレベルカウンタ２０４i はもとより、隣接するレベル（ｉ−１）、（ｉ＋１）のレベルカウンタ２０４i-1 、２０４i+1 にもヒストグラムを算出する整数値のデータを出力する。
すなわち、細分割加算量判定回路２０３i は、自己のレベルを中心として、それに隣接するレベルについてのレベルカウンタ２０４i-1 、２０４i+1 にも、表２に例示したような配分比率で、ヒストグラム算出のデータを与える。
【００５２】
細分割加算量判定回路２０３i からヒストグラム算出用の整数値（ヒストグラム計数値）を入力された、レベルカウンタ２０４i 、２０４i-1 、２０４i+1 はそれぞれ、入力された整数値（ヒストグラム計数値）のデータを累積して、ヒストグラムを算出する。
【００５３】
同様に、（ｉ＋１）番目の細分割加算量判定回路２０３i+1 と、その真下に位置するレベルカウンタ２０４i+1 と、このレベルカウンタ２０４i+1 に隣接する２個のレベルカウンタ２０４i 、２０４i+2 の接続関係は、図４に図解した接続関係と同様になり、上述したと同様の処理を行なう。
【００５４】
以上のとおり、ヒストグラム生成回路１０３のヒストグラム・レベル判定回路２０２およびレベルカウンタ部分２０４は、各ブロックの和ｓｕｍに対して、隣り合うヒストグラムに振り分けて加算するオーバーラップ加算を行う。
【００５５】
規格化回路
１画像の処理が終了したら、図２に図解した規格化回路２０５で各レベルのヒストグラムの合計値ΣＨを一定の値ａｄｄで割り算して（ΣＨ／ａｄｄ）、ヒストグラムの合計値ΣＨの規格化を行う。
規格化回路２０５で行なう規格化処理は本発明において本質的ではないが、上述したように、一定の値ａｄｄを用いて、ヒストグラム計数値を変化させているので、それを規格するため、便宜的に用いている。ただし、規格化することにより、後述する比較判断回路における判断処理が、絶対値ではなく相対値で画一的に判断できるという利点がある。
【００５６】
ヒストグラム差分計算回路
以上のように作成された現（今回の）画像のヒストグラムは、ヒストグラム差分計算回路１０５で前（前回の）画像のヒストグラムと各レベルの差分の和を計算する。
現画像のヒストグラム結果は、次の画像との比較のため、ヒストグラム保存レジスタ１０４に結果が保持される。
【００５７】
比較判断回路
ヒストグラム差分計算回路１０５で計算した結果は、比較判断回路１０６で外部から設定可能なしきい値（または閾値）ｔｈｒｅｓと比較し、ヒストグラム差分計算回路１０５の結果がしきい値ｔｈｒｅｓを越えていたら、比較判断回路１０６はシーンチェンジと判断してシーンチェンジ検出フラグをオン（たとえば、「１」）にする。
【００５８】
以上述べた本発明の第１実施の形態によれば、図７（Ａ）、（Ｂ）を参照して述べたように、フェードする画像についても正確にシーンチェンジ検出を行なうことができる。
もちろん、本発明の第１実施の形態によれば、通常の画像変化についても正確にシーンチェンジ検出ができる。
したがって、本発明の第１実施の形態のシーンチェンジ検出方法およびシーンチェンジ検出装置を、図１を参照して述べた装置、あるいは、ビデオ信号編集装置などの各種のビデオ信号処理装置におけるシーンチェンジ検出に適用できる。
【００５９】
変形態様
本発明の実施の形態の変形態様として、ヒストグラムを細分化する際、ここでは段数ｍ＝８の例を示したが、さらに細かく分割すること、たとえば、ｍ＝２０とすることなども可能である。このときは、もちろん、基本加算パラメータ（オーバーラップパラメータ）の数、および、値も上述した例示とは異なる。
基本的に、ヒストグラムのレベル数ｎや、細分化する段数ｍ、オーバーラップパラメータの範囲（一定の値ａｄｄ）は大きくすることができるが、本発明を実施するハードウエア（回路）の構成をある程度の大きさに制限するため、適切な値にしている。
たとえば、シーンチェンジ検出能力を高める方法としては、レベルの数を非常に大きくする方法が想定されるが、そうすると、ハードウエア（回路）の規模が大きくなる。これに対して、本発明においては、ハードウェアの規模をあまり大きくせずに、より正確なシーンチェンジ検出を実現できることが大きな利点である。
【００６０】
さらに、たとえば、本発明の他の実施の形態として、連続して到来する過去４画面分の画像分程度のヒストグラムの情報を保持しておき、これら４画面の画像についてのシーンチェンジを判断し、たとえ、今回の画面の画像と直前の前回の画像とのヒストグラムの差分が大きくても、２〜３画像前との差分が小さければフラッシュ（一時的な（瞬間的な）画像変化）と見なし、シーンチェンジを無効にする（正規のシーンチェンジとはしない）といった処理も可能である。
このように本発明のシーンチェンジ検出装置を構成すると、より高精度なシーンチェンジの検出が可能である。
【００６１】
また、オーバーラップパラメータの値を、動きが早い画像か、動きが多い画像かなど、画像の内容、簡単な画像が複雑な画像かなどの画像の性質などに応じて、適切に変更することも可能である。
【００６２】
また、１個の細分割加算量判定回路２０３i から出力されるレベルカウンタ部分の数を非常に多くしておき、ヒストグラム計数を行なわないレベルカウンタには分配処理部２０３ｂ0 〜２０３ｂm-1 からヒストグラム計数値を「０」として出力することもできる。すなわち、本発明においては、オーバーラップパラメータの設定だけで、ある細分割加算量判定回路２０３i と関連するレベルカウンタ２０４との接続関係をヒストグラム計数値の設定で実質的に制御することができる。
特に、このような方法は、シーンチェンジ検出装置をＤＳＰ（ディジタル信号プロセッサ）などで処理する場合には都合がよい。たとえば、ＤＳＰにおいて、細分割加算量判定回路２０３i と全てのレベルカウンタ２０４との接続関係をつけておき、そのとき接続関係のないレベルカウンタ２０４には「０」のヒストグラム計数値を出力すれば、実質的に接続関係がないことになり、接続関係のあるレベルカウンタ２０４に必要なヒストグラム計数値を出力すればよい。
【００６３】
本発明のシーンチェンジ検出装置としては、図２〜図４を参照して述べたハードウエア回路で実現するだけでなく、ＤＳＰあるいは、コンピュータを用いて実現することもできる。
【００６４】
【発明の効果】
本発明によれば、フェードイン／フェードアウトする画像であっても、しかも、通常の画像変化であっても、正確に画像の切り替わり、すなわち、シーンチェンジを検出可能できる。
また本発明によれば、シーンチェンジの検出を極力簡単な方法で、かつ、迅速に行なうことができる。
さらに本発明によれば、簡単な構成、かつ、容易にシーンチェンジ検出が可能である。
また本発明のシーンチェンジ検出方法およびシーンチェンジ検出装置は種々のビデオ信号処理装置に適用できる。
【図面の簡単な説明】
【図１】図１は本発明のシーンチェンジ検出方法を適用した１例としての画像情報処理シーンの構成図である。
【図２】図２は本発明のシーンチェンジ検出方法および装置の第１実施の形態のブロック図である。
【図３】図３は図１に図解したヒストグラム生成回路の構成図である。
【図４】図４は図３に図解した細分割加算量判定回路とそれに関連するレベルカウンタとの接続関係を示す構成図である。
【図５】図５は画像のブロック分割を説明する図である。
【図６】図６はヒストグラムの作成例を示すグラフである。
【図７】図７はヒストグラムの差分を求める方法を説明するグラフである。
【図８】図８はフェード時のヒストグラムの変化を示すグラフである。
【符号の説明】
１００・・シーンチェンジ検出装置
１０１・・画像データ分離回路
１０２・・画像データブロック分割回路
１０３・・ヒストグラム生成回路
２０１・・１ブロック分・成分合計回路
２０２・・ヒストグラム・レベル判定回路
２０３・・細分割加算量判定回路部分
２０３ａ・・細分割加算量判定部
２０３ｂ・・分配処理部
２０４・・レベルカウンタ部分
２０５・・規格化回路
１０４・・ヒストグラム保存レジスタ
１０５・・ヒストグラム差分計算回路
１０６・・比較判断回路
３００・・シーンチェンジ検出・処理情報処理装置
３０１・・ビデオ信号再生装置
３０２・・プリ映像信号処理装置
３０３・・符号化装置
３０４・・大容量記録装置
３０５・・サムネール画像生成装置
３０６・・ホストコンピュータ
Claims (7)
- 連続した１フィールドまたは１フレームの２枚の画面の画像に対して、画像を構成する成分のヒストグラムをそれぞれ作成し、それらの差分の合計値を計算して設定した閾値よりも大きいとき上記画像のシーンが変化したことを検出するシーンチェンジ検出方法において、
上記ヒストグラム作成の際に、該当するレベルとその両側の隣接するレベルに対してある一定数を振り分けて加算し（オーバーラップし）、
その後規格化することによって新たなヒストグラムの結果を算出し、
該算出したヒストグラムを用いて２枚の画面の画像のシーンが変化したことを検出することを特徴とする、
シーンチェンジ検出方法。 - 上記ヒストグラムの該当するレベルをさらにｍ段階に細分化し、細分化した際の属する場所によってヒストグラムのレベルに対して両隣の内どちら側を選択するか振り分ける方向と、選択されたヒストグラムにどれだけ加算するかを変化させることでヒストグラムの計算のための加算量の配分を行なう、
請求項１記載のシーンチェンジ検出方法。 - 連続した１フィールドまたは１フレームの２枚の画面の画像に対して、画像を構成する成分のヒストグラムをそれぞれ作成し、それらの差分の合計値を計算して設定した閾値よりも大きいとき上記画像のシーンが変化したことを検出するシーンチェンジ検出装置において、
上記ヒストグラム作成の際に、該当するレベルとその両側の隣接するレベルに対してある一定数を振り分けて加算する（オーバーラップする）ヒストグラム生成手段と、
その後規格化することによって新たなヒストグラムの結果を算出するヒストグラム算出手段と、
上記ヒストグラム算出手段の結果を用いて２枚の画面の画像のシーンが変化したことを検出するシーンチェンジ検出手段とを備えることを特徴とする、
シーンチェンジ検出装置。 - 第１および第２の画面の画像間のシーン変化を検出するシーンチェンジ検出方法であって、
（ａ）第１の画面の画像の成分信号についてレベルを判定し、
（ｂ）判定した各レベルについて、当該判定されたレベルおよび当該判定されたレベルの隣接するレベルについて、配分の割合を規定した配分比率で配分割合を算出したレベルごとの計数値を算出し、
（ｃ）上記判定されたレベルについて、および、上記判定されたレベルに隣接するレベルについて、上記配分割合で配分される計数値をヒストグラムとして計数し、
（ｄ）上記求めたヒストグラムを保持し、
（ｅ）第２の画面の画像について上記（ａ）〜（ｄ）と同じ処理を行い、得られたヒストグラムと上記保持されている第１の画面の画像についての規格化ヒストグラムとの差分を計算し、
（ｆ）上記各レベルについて計算してヒストグラムの差分を全てのレベルについて合計し、
（ｇ）上記ヒストグラムの差分の合計が所定のしきい値より大きいとき第１の画面の画像と第２の画面の画像との間にシーンチェンジがあったと判定する、
シーンチェンジ検出方法。 - 上記第１の画面の画像および第２の画面の画像は、連続して入力される１フレームまたは１フィールドごとの１画面の画像であり、
上記画像の成分信号は、上記１画面の画像を複数のブロックに分割した部分の画像信号のコンポジット成分信号またはコンポーネント成分信号である、
請求項４記載のシーンチェンジ検出方法。 - 第１および第２の画面の画像間のシーン変化を検出するシーンチェンジ検出装置であって、
ヒストグラム生成手段と、
ヒストグラム保存手段と、
ヒストグラム差分計算手段と、
比較判断手段と
を有し、
上記ヒストグラム生成手段は、１画面の画像ビデオ信号を複数のブロックに分割した各ブロックの各成分の画像データについてヒストグラムを生成するため、
１ブロック内の各成分の画像データの合計を計算する１ブロック分・成分合計手段と、
上記１ブロック分・成分合計手段で計算した和を複数のレベルのどのレベルに属するかを判定するレベル判定手段と、
上記レベル判定したレベルの数の複数の細分割加算量判定手段を有する細分割加算量判定部と、
上記複数の細分割加算量判定手段の数と同じ数のレベルカウンタ手段を有するレベルカウンタ部と
を有し、
前記細分割加算量判定部の各細分割加算量判定手段は、ある配分比率でそのレベルに該当するヒストグラムの計算のための第１ヒストグラム計数値およびそのレベルと隣接するレベルのヒストグラムの計算のための第２ヒストグラム計数値を求め、上記求めた第１および第２ヒストグラム計数値をそのレベルに該当する第１のレベルカウンタ部およびそのレベルと隣接するレベルの第２のレベルカウンタ部にそれぞれ出力し、
上記第１および第２のレベルカウンタ部は上記細分割加算量判定手段から入力されたヒストグラム計数値をそれぞれ累積してヒストグラムを計算し、
上記ヒストグラム保存手段は、上記ヒストグラム生成手段で生成されたヒストグラムを保存し、
ヒストグラム差分計算手段は、上記ヒストグラム生成手段で生成した各レベルのヒストグラムと、上記ヒストグラム保存手段に保存されている前回の画面の画像についての各レベルのヒストグラムとの差分を求め、これら差分の合計を計算し、
上記比較判断手段は、上記ヒストグラムの差分の合計が所定のしきい値より大きいとき、第１の画面の画像と第２の画面の画像との間にシーンチェンジがあったと判定する、
シーンチェンジ検出装置。 - 上記第１の画面の画像および第２の画面の画像は、連続して入力される１フレームまたは１フィールドごとの１画面の画像であり、
上記画像の成分信号は、上記１画面の画像を複数のブロックに分割した部分の画像信号のコンポジット成分信号またはコンポーネント成分信号である、
請求項６記載のシーンチェンジ検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003069776A JP4100205B2 (ja) | 2003-03-14 | 2003-03-14 | シーンチェンジ検出方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003069776A JP4100205B2 (ja) | 2003-03-14 | 2003-03-14 | シーンチェンジ検出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004282318A JP2004282318A (ja) | 2004-10-07 |
| JP4100205B2 true JP4100205B2 (ja) | 2008-06-11 |
Family
ID=33286706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003069776A Expired - Fee Related JP4100205B2 (ja) | 2003-03-14 | 2003-03-14 | シーンチェンジ検出方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4100205B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4707713B2 (ja) | 2005-08-11 | 2011-06-22 | 三菱電機株式会社 | 映像記録装置及びシーンチェンジ抽出方法 |
| JP4720705B2 (ja) | 2006-09-27 | 2011-07-13 | ソニー株式会社 | プログラム、検出方法、及び検出装置 |
| KR100846512B1 (ko) * | 2006-12-28 | 2008-07-17 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
| KR100816013B1 (ko) | 2007-01-23 | 2008-03-21 | (주)엑스퍼넷 | 압축영상의 장면전환 검출장치 및 방법 |
| WO2008143167A1 (ja) | 2007-05-21 | 2008-11-27 | Mitsubishi Electric Corporation | 画像差検出方法および装置、シーンチェンジ検出方法および装置、並びに画像差分検出方法および装置 |
| JP4433027B2 (ja) | 2007-09-21 | 2010-03-17 | ソニー株式会社 | 信号処理装置、信号処理方法、およびプログラム |
| JP4666012B2 (ja) | 2008-06-20 | 2011-04-06 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP5761991B2 (ja) * | 2010-12-24 | 2015-08-12 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
| KR101878182B1 (ko) * | 2011-12-02 | 2018-07-16 | 엘지디스플레이 주식회사 | 장면전환검출장치 및 장면전환검출방법 |
| CN109327655B (zh) * | 2017-07-31 | 2020-12-22 | 展讯通信（上海）有限公司 | 连续自动对焦方法及系统 |
-
2003
- 2003-03-14 JP JP2003069776A patent/JP4100205B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004282318A (ja) | 2004-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100464075B1 (ko) | 비디오 하이라이트 자동 생성 방법 및 장치 | |
| US8411735B2 (en) | Data processing apparatus, data processing method, and program | |
| KR100468967B1 (ko) | 썸네일 영상 생성장치 및 방법 | |
| JP3810392B2 (ja) | 場面転換検出装置及びその方法 | |
| US7502513B2 (en) | Commercial detector with a start of active video detector | |
| JP4613867B2 (ja) | コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| US8934550B2 (en) | Data processing apparatus, data processing method, and program for processing image data of a moving image | |
| US20120086779A1 (en) | Image processing apparatus, image processing method, and program | |
| KR20010089770A (ko) | 동적 임계치를 사용하는 비주얼 인덱싱 시스템에 대한중요 장면 검출 및 프레임 필터링 | |
| JP4100205B2 (ja) | シーンチェンジ検出方法および装置 | |
| US8363726B2 (en) | Electronic apparatus, motion vector detecting method, and program therefor | |
| JP3264659B2 (ja) | ノイズリダクション装置および方法とその記録媒体 | |
| US20070182862A1 (en) | Video display device, video encoder, noise level estimation module and methods for use therewith | |
| EP2166758B1 (en) | Image signal processing apparatus and image signal processing method | |
| US10230955B2 (en) | Method and system to detect and utilize attributes of frames in video sequences | |
| JP4182747B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
| US8150167B2 (en) | Method of image analysis of an image in a sequence of images to determine a cross-fade measure | |
| WO2006061935A1 (ja) | 画像記録装置および方法、並びにプログラム | |
| JP2006518960A (ja) | ショット切れ目検出 | |
| JP5451494B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4835540B2 (ja) | 電子機器、映像特徴検出方法及びプログラム | |
| KR100812041B1 (ko) | 개선된 장면 전환 검출 방법을 이용한 자동 인덱싱 방법 | |
| KR101501244B1 (ko) | 썸네일 생성 방법 | |
| JP2009088867A (ja) | 画像処理装置 | |
| WO2006129622A1 (ja) | 特徴量の予測誤差に基づいて動画像のカット点を検出する装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080310 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |