JP3823333B2 - 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム - Google Patents
動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム Download PDFInfo
- Publication number
- JP3823333B2 JP3823333B2 JP03202795A JP3202795A JP3823333B2 JP 3823333 B2 JP3823333 B2 JP 3823333B2 JP 03202795 A JP03202795 A JP 03202795A JP 3202795 A JP3202795 A JP 3202795A JP 3823333 B2 JP3823333 B2 JP 3823333B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- change point
- frame
- correlation coefficient
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000008859 change Effects 0.000 title claims description 102
- 238000001514 detection method Methods 0.000 title claims description 43
- 238000000034 method Methods 0.000 claims description 39
- 230000007704 transition Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036632 reaction speed Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
Description
【産業上の利用分野】
本発明は,ビデオや映画等の動画像をカット(1台のカメラで撮影された途切れのない動画像区間)別に頭出しすることができる動画像編集システムや動画像のブラウジング方法に係り,特にビデオテープやビデオディスクに格納された動画像からカット間の変わり目を検出するための動画像変化点検出方法及び装置に関する。
【0002】
【従来の技術】
近年,計算機の高速化と大容量化を背景にして,従来は扱えなかった映画やビデオなどの動画像情報を扱うことのできるデータベースシステムやプレゼンテーションツールが注目されている。しかしながら,膨大な情報量を有する動画像情報の中から必要な部分だけを探したり,それを加工したりするのは,ユーザにとって手間のかかる作業である。そこで,計算機による作業負担軽減方法として,例えば,情報処理学会論文誌 Vol.33, No.4, 「カラービデオ映像における自動索引付け法と物体探索法」や特開平4−111181号公報「動画像の変化点検出方法」等で示された方法がある。これは,動画像をカット単位に自動的に分割し,各カットを代表する画像の一覧を作成して,それを書籍の索引のように用いることで,動画像の検索や編集の一助とする方法である。これによれば,動画像の中身が一覧上で一目で把握できるので所望の場面が見つかりやすく,また,カットという区切れのよい単位で扱えるので大まかな編集が簡単にできる。
【0003】
動画像をカット単位に分割するには,動画像の変化点,すなわちカットの変わり目を検出する必要がある。従来の動画像の変化点検出方法は,例えば,前掲の特開平4−111181号公報では,動画像中の連続する2枚のフレーム(動画像を構成する一枚一枚の静止画。一般のテレビで秒30枚表示される)の間に画像的な相異が見られた場合,そのフレーム間に動画像の変化点,すなわちカットの変わり目があると判定することを基本にしている。
【0004】
【発明が解決しようとする課題】
しかしながら,上記の方法では,記者会見などの映像でしばしば見られる写真撮影のストロボ発光や,あるいは機器の障害等に起因する瞬間的な画像の乱れが生じた場合,それをも変化点として検出してしまう。こうした画像の乱れは,1つのカット中で連続して発生する傾向があり,カットが不必要に分断されてしまう問題がある。また,夜間の場面など全体に暗い画像が続く動画像区間では,連続するフレーム間の画像的相異度は,カットの変わり目においても,明るい場面の相異度と比べて小さくなる傾向があるため,暗い場面も明るい場面も同一の基準で変化点か否かの判定を行うと,明るい場面で誤って過剰に変化点を検出したり,逆に暗い場面で検出漏れが生じる場合がある。
【0005】
本発明の目的は,従来の方法よりも検出感度を落とすことなく,瞬間的な画像の乱れに対する誤検出を抑制するとともに,対象の動画像の特性の変化に柔軟に対応して正しく変化点を検出できる動画像の変化点検出方法及び装置を提供することにある。
【0006】
【課題を解決するための手段】
上記目的を達成するため,本発明の一形態として,対象となる動画像をフレーム単位で時系列に処理装置に入力する手段と,処理装置において各フレーム単位に該画像データが有する特徴量を計算する手段と,その特徴量と直前の1枚以上のフレームの特徴量との間で各々相関係数を求める手段と,求められた相関係数の組み合わせのパターンから動画像の変化点か否かを判定する手段とを設ける。また,過去に計算された相関係数のうち,最近の値を常に保持する手段と,保持されている相関係数の値,もしくは過去のフレーム画像や音声情報の特徴量をもとに動的に変化点検出の基準を変化させる手段とを設ける。
【0007】
【作用】
瞬間的な画像の乱れがあった場合,乱れたフレームと,その直前のフレームとの画像的相異,ならびに直後のフレームとの画像的相異は大きくなるが,乱れたフレームを間に鋏む2枚のフレームの間では画像的相異は小さくなるという特徴があるので,本発明によれば,このような状態を示す相関係数の組み合わせパターンを検出した場合には,真の動画像変化点ではないと正しく判定することができる。逆に,そのような画像の乱れの発生した部分だけを検出することもできる。また,直前の動画像の特徴に応じて変化点検出の閾値を動的に変化させる手段によって,動画像の特徴に合わせた,きめ細かな変化点か否かの判定ができ,誤検出を抑制することができる。
【0008】
【実施例】
以下,本発明の1実施例を詳細に説明する。
図1は,本発明を実現するためのシステム構成の概略ブロック図の一例である。1はCRT等のディスプレイ装置であり,コンピュータ4の出力画面を表示する。コンピュータ4に対する命令は,キーボードやポインティングデバイス等の入力装置5を使って行うことができる。10の動画像再生装置は,光ディスクやビデオデッキ等である。動画像再生装置10から出力される映像信号は,逐次,3のA/D変換器によってデジタル画像データに変換され,コンピュータ4に送られる。コンピュータ4内部では,デジタル画像データは,インタフェース8を介してメモリ9に入り,メモリ9に格納されたプログラムに従って,CPU7によって処理される。動画像再生装置10が扱う動画像の各フレームに,動画像の先頭から順に番号(フレーム番号)が割り付けられている場合には,フレーム番号を制御線2によって動画像再生装置10に送ることで,当該場面の動画像が再生される。処理の必要に応じて,各種情報を6の外部情報記憶装置に蓄積することができる。メモリ9には,以下に説明する処理によって作成される各種のデータが格納され,必要に応じて参照される。
【0009】
まず最初に,以下では,動画像の変化点検出にあたって,瞬間的な画像の乱れを間違って変化点として検出することを防ぐことができる変化点検出方法について詳細に説明する。
【0010】
図2は,図1で示したシステム上で実行される,動画像の変化点検出プログラムのフローチャートの一例である。プログラムはメモリ9に格納され,CPU7はまず最初に初期化処理として,現在の処理対象のフレーム番号を表す変数nを初期値にし,ヒストグラムに用いるメモリ領域をリセットする(200)。nの初期値としては,処理対象の動画像区間の先頭のフレーム番号が与えられる。次に,202でフレーム番号nのフレーム画像fnを取り込み,fnの色ヒストグラムHnを作成する(204)。色ヒストグラムは,1枚のフレーム画像全体における,同じ色を示す画素の出現頻度を求めたものである。例えば,RGB各2ビット64色の色ヒストグラムを作成する場合,フレームの各画素のRGBカラー値をそのRGB各上位2ビットのみで表現した6ビット64色に縮退し,64色のそれぞれについて,縮退によってその色を示す画素の数をカウントする。この場合,色ヒストグラムは配列Hn(i)で表され,iは0から63の値をとる。例えば,iが0のときの度数Hn(0)は,RGBカラー値の上位2ビットがRGB各々全て0である画素がフレーム中に幾つあるかを示している。続く処理206では,Hnと,1つ前のフレームfn-1の色ヒストグラムHn-1との間の相異度R1nを求める。また,さらに1つ前のフレームfn-2の色ヒストグラムHn-2とHnとの間の相異度R2nも計算する(208)。ヒストグラム間の相異度R1n及びR2nは,カイ二乗検定等の計算式により求めることができる。計算式の種類は,前掲の文献に記載されているので,詳細な説明は省略する。
【0011】
図3は,瞬間的な画像の乱れが生じた場合のフレーム画像の時間変化を模式的に示した図である。fn-1で乱れが生じている。この場合,fn-2とfn-1との相異度は大きくなり,R1n-1は大きな値を示す。また,fn-1とfnも相異度が高く,R1nは大きな値を示す。しかし,fn-2とfnとは良く似ているのでR2nは小さな値をとる。一方,図4は,通常のカットの変わり目付近のフレーム画像の時間変化を模式的に示した図である。fn-2とfn-1の間でカットが変わっている。このとき,fn-2とfn-1との相異度は大きくなり,R1n-1は大きな値を示す。しかし,fn-1とfnは良く似ているのでR1nは小さな値をとる。また,fn-2とfnは相異度が大きく,R2nは大きな値をとる。従来の方法では,R1nの値にのみ着目していたので,図3の場合も図4の場合も区別がつかずに,fn-2とfn-1の間を動画像の変化点として検出してしまっていた。R2nを判定に用いることにより,図3の場合と図4の場合とを区別できるようになる。すなわち,R1n-1とR1nがともに閾値th4より大きく,R2nが閾値th5より小さいときには,これを瞬間的な乱れが生じたものとして判定する(210)。そして,R1n-1が閾値th1より大きく,かつR1nが閾値th2より小さく,かつR2nが閾値th3よりも大きいときに,fn-2とfn-1の間にカットの変わり目があったとして判定し(214),変化点検出に伴う各種処理を行う(216)。
【0012】
もちろん,(1) R1n-1とR1nが両方とも大きいのか,(2) R1n-1が大きくてもR1nの方は小さいのか,という条件だけでも,(1)は図3に示すように,(2)は図4に示すように区別できないことはない。しかしながら,R2nの値を併用することにより,乱れた後に確かに元の画像に戻ったことが確認できるので判定の信頼性が極めて高い。処理210で瞬間的な乱れと判定された場合,R1n-1とR1nを0にリセットする(212)。もし,0にリセットしなければ,図3にあるように,R1nが大きく,かつR1n+1が小さく,かつR2n+1が大きいという組み合わせが生じるため,次回すなわちn+1番目のフレームの処理において,処理214でfn-1とfnの間をカットの変わり目として検出してしまうためである。
【0013】
これらの処理により,瞬間的な画像の乱れに対しても安定して動画像の変化点を検出することができる。あるいは,この判定条件を用いることにより,逆に瞬間的な乱れが生じた箇所だけを検出することもできる。瞬間的な乱れを起こす最も典型的なケースは,記者会見等におけるカメラ撮影のストロボフラッシュである。ストロボフラッシュは,記者が決定的な場面だと判断して撮影した場合に生じるものであるから,これが発生した箇所は非常に重要な場面であることが多い。したがって,動画像中から重要な場面だけを選びだすための一つの手段として用いることができる。また,もう1つの典型的なケースは,サブリミナル効果と呼ばれる,視聴者に対する不正な心理操作の場合がある。これは,動画像中に一定時間ごとに1フレームだけ特殊な画像を挿入することで,その画像が視聴者の気づかぬうちに深層心理に働きかけ,一種の暗示をかけることができるとされる。こうした不正な効果が含まれている動画像かどうかを自動的に判定し,そのような動画像の放送を未然に阻止することができる。
【0014】
上記の方法では,説明を簡単にするため,1フレームだけの乱れについて述べたが,R2nを計算する際のフレーム間隔を長くとれば,任意のフレーム枚数分の乱れについても同様の方法で対応できる。図5で示した例では,fn-1とfnの2フレームに乱れが生じているが,それをまたぐ形で相違度を求めているR2n+1は,R1n-1, R1n, R1n+1が大きめの値をとって推移するのに対して,小さな値をとる。この組み合わせから画像の乱れなのか変化点なのかを判定することができる。このようにして,R2nの計算を,1フレーム飛びの場合,次いで2フレーム飛びの場合というように,順に間隔を広げながら行っていくことで,任意のフレーム枚数分の乱れを変化点と区別することができる。
最後に,処理218で,処理対象のフレーム番号値を1つ増やして次のフレーム取り込みに備える。
【0015】
次に,以下では,動画像の変化点検出にあたって,例えば,明るい場面での過剰な変化点検出を抑制しながら,逆に暗い場面での検出漏れをも抑制するといったように,対象の動画像の特性の変化に柔軟に対応して正しく変化点を検出する変化点検出方法について詳細に説明する。
【0016】
図6に,図1で示したシステム上で実行される,動画像の変化点検出プログラムのフローチャートの一例を示す。アルゴリズムの基本的な流れは前述の図2のフローチャートと同様であるが,動画像変化点だと判定する閾値が図2では固定型だったのに対し,図6では変動型になっている。閾値を変動型にする利点を図7を使って説明する。図7は,明るく動きの激しい場面(708),暗い場面1(710),暗い場面2(712)の3つのカットが連続する動画像を例にとり,フレーム間相関係数の典型的な時間推移を示したものである。図中,702と704が各々カットの変わり目の位置である。
【0017】
動きの激しい場面の場合,連続するフレーム間の画像的相異が大きい。したがって,708の区間では相関係数は比較的大きな値が続くことになる。一方,暗い場面では,そのフレーム画像を構成する色が,黒を中心とした少種類の色に集中するため,ヒストグラムの形が類似し,710と712の区間で相関係数は小さな値をとる。この区間では,上記の理由からカットの変わり目でも相関係数は小さめになる。このとき,カットの変わり目として判定する閾値を,706の破線で示したような一定値に設定した場合,その値を高めに設定すると704のような暗い場面間の変化点では検出漏れが生じ,逆に低めに設定すると700のような動きの激しい区間の相関係数の一部に対して敏感に反応してしまう。動きの激しい場面での過剰検出を抑制するための方法として,前述の特開平4−111181号公報では,直前の相関係数の値と現在の相関係数の値との変化率を求め,その変化率が許容値を超えた場合にカットの変わり目であると判定する方法が示されている。この方法において,相関係数の値は単位時間あたりの画像変化量であるから,カメラや動画像中の物体が動く速度に対応する。多くの場合,カメラや動画像中の物体の動き速度は,それほど大きく変化しないので,変化率の値は動きのある場面でもない場面でも小さな値をとり,カットの変わり目のときの値だけが突出して大きな値をとるようになる。このため,暗い場面でも動きのある場面でも同じ閾値で対応できることになる。しかしながら,カメラのぶれや,物体がカメラの直前を通過した場合など,急激に変化する場合も少なくなく,このような場合には,700のように直前の相関係数との変化率714が,暗い場面での変化率716と同じかそれ以上の大きさになることもある。動画像の各場面の特性の変化に柔軟に対応して閾値を変化させる必要がでてくる。
【0018】
以下,再び図6のフローチャートに戻ってアルゴリズムを説明する。
まず最初に初期化処理として,現在の処理対象のフレーム番号を表す変数nを初期値にし,ヒストグラムに用いるメモリ領域をリセットする(600)。nの初期値としては,処理対象の動画像区間の先頭のフレーム番号が与えられる。次に,処理602でフレーム番号nのフレーム画像fnを取り込み,fnの色ヒストグラムHnを作成する(604)。続いて,処理606でfnの輝度平均Bnを求める。処理606の詳細なフローチャートを図8に示す。フレーム画像fnのサイズは幅w, 高さhであるとする。まず変数Bnを0にリセットする(800)。そして,fn中の各画素について,その輝度Bp(x, y)を求める。ここで,(x, y)はfn内における画素の二次元平面座標を表す。Bp(x, y)は,fnがモノクロ濃淡画像の場合には,その画素の明るさであり,カラー画像の場合には,その画素の色の輝度成分である。色が,YUV表色系といった輝度成分が分離された形で表現されている場合には,その輝度成分の値をそのまま,すなわちYUV表色系の場合ではYの値を利用すればよい。計算機中で一般的に使用されているRGB表色系等では,RGB各成分の値から計算によって輝度成分を求める必要がある。802で示した例では,RGB各成分の最大値を輝度値としている。R(x, y)は,(x, y)の位置にある画素の赤成分の値を表し,同様にG(x, y)は緑成分,B(x, y)は青成分の値である。画素の輝度は緑成分にほぼ比例するので緑成分の値をBp(x, y)の値として近似的に用いてもよい。こうして求まったBp(x, y)の値をBnに足し込んでいき(804),最終的にフレーム全体の輝度をBnに得る。以上の処理は,604の色ヒストグラムの計算と同時に行うことで,各画素の値読み出しや変数xやyのインクリメント等の処理の重複を省くことができ,高速化が図れる。
【0019】
続く処理608では,直前のフレームのヒストグラムHn-1と現在のヒストグラムHnとの相異度R1nを計算する。次いで,処理610では,直前の動画像の特徴に合わせた閾値の変更を行う。この例では,直前の動画像の明るさと動きの大きさを特徴量とし,式th7 = th6 + Bn-1*α+ R1n-1*βにより,新しい閾値th7を得る。ここで,th6には,明るさが標準的で動きの少ない動画像に対して最もうまく機能する値を与える。αは,明るさの変化に対してth6をどれくらい上下させるかの重み値であり,βは,同様に動きの大きさに対してth6をどの程度変化させるかを決定する重み値である。このほかにも閾値を変更するべきファクターがあれば,式に必要なだけ追加する。例えば,直前の動画像に対する処理フレーム枚数も重要なファクターのひとつである。フレーム画像はNTSC方式の動画像の場合で秒30枚あるが,計算機の能力によっては,フレーム間相関係数を求めている間に,次のフレーム画像の取り込みタイミングを過ぎてしまう場合もある。このとき,動画像が通常の速度で再生されていれば,当然ながら1フレーム飛びのフレーム間相関係数を求めていることになる。すなわち,処理フレーム枚数は,計算機の処理能力により秒30枚のケースも数枚程度のケースもありうる。比較するフレームの間隔が広がるほど画像的相異は大きくなるので,相関係数の値も処理フレーム枚数の低い区間ほど大きな値をとる傾向がある。したがって,このような区間では,閾値は高めにしたほうが過剰検出を抑制できる。プログラム実行中に処理フレーム枚数が大きく変動することがない場合には,計算機の能力があらかじめわかっていれば,最初の段階でth6を変更しておくことにより,th7を計算する時点で考慮する必要はなくなる。
【0020】
以上のようにして求めたth7よりもR1nが大きいかどうかを判定し(612),大きい場合,n-1番目とn番目のフレームの間にカットの変わり目があったとして検出処理を行う(614)。最後に,処理616で,処理対象のフレーム番号値を1つ増やして次のフレーム取り込みに備える。
【0021】
上記の例では,fnの直前の1フレーム分だけの特徴から閾値を変更していたが,直前の任意枚数分のフレームの特徴の履歴から変更するようにしてもよい。例えば,動きの激しさの尺度として,直前の数フレーム分の相関係数の平均値や最大値を,610の式におけるR1n-1のかわりに用いることができる。また,fnの直後のフレームfn+1, fn+2, ...の特徴によってもR1nを判定する閾値に変更を加えてもよく,これによりR1nが閾値を超えた場合には,時間を遡ってfn-1とfnの間にカットの変わり目があったと判定する。
さらに,上記の例では,閾値を変更していたが,閾値を定数にして,その替わりに相関係数の値を変化させるようにしても構わない。
【0022】
また,図2で示した方式と図6の方式とを組み合わせることにより,より信頼性の高い動画像の変化点検出方法を実現することができる。図9にそのフローチャートの例を示す。フローチャートを構成する各処理の内容は,上記で説明した通りである。まず最初に初期化処理として,現在の処理対象のフレーム番号を表す変数nを初期値にし,ヒストグラムに用いるメモリ領域をリセットする(900)。nの初期値としては,処理対象の動画像区間の先頭のフレーム番号が与えられる。次に,処理902でフレーム番号nのフレーム画像fnを取り込み,fnの色ヒストグラムHnを作成する(904)。続いて,処理906でfnの輝度平均Bnを求める。続く処理908では,Hnと,1つ前のフレームfn-1の色ヒストグラムHn-1との間の相異度R1nを求める。また,さらに1つ前のフレームfn-2の色ヒストグラムHn-2とHnとの間の相異度R2nも計算する(910)。次いで,処理912では,直前の動画像の特徴に合わせ,閾値th8を計算する。R1n-1とR1nがともに閾値th4より大きく,R2nが閾値th5より小さいときには,これを瞬間的な乱れが生じたものとして判定する(914)。そして,R1n-1が閾値th8より大きく,かつR1nが閾値th2より小さく,かつR2nが閾値th3よりも大きいときに,fn-2とfn-1の間にカットの変わり目があったとして判定し(918),変化点検出に伴う各種処理を行う(920)。処理914で瞬間的な乱れと判定された場合,R1n-1とR1nを0にリセットする(916)。最後に,処理922で,処理対象のフレーム番号値を1つ増やして次のフレーム取り込みに備える。
【0023】
上記で説明した動画像の変化点検出方法において相関係数を求める際,前述の文献にも記載されているように,フレーム画像を幾つかのブロックに分割して,分割した各ブロックごとにヒストグラムを求めて相関係数を計算し,それらの相関係数の組み合わせを総合的に判定することでフレーム全体の相関係数を求めてもよい。これにより,カットの変わり目とそうでない区間との相関係数の値の差が大きくなる効果も得られる。
【0024】
一方,上記で説明した動画像の変化点検出方法を用いて検出される変化点のほかに,利用者が,処理中の動画像を見ながら,その場の判断で変化点を追加登録したい場合もある。しかし,人間の反応速度には限界があるので,利用者が変化点を見つけて登録したいと思ってから計算機に指示が伝わるまでの間に相当の時間が過ぎていることが多い。その時間遅れにより,指定された変化点位置は,当初意図していた変化点の位置とは許容できないほど違っている可能性がある。そこで,利用者の反応速度に応じて予め設定された時間分を常に差し引いた変化点位置を登録する手段を設けると都合がよい。また,逆に予め設定された時間分だけ足した位置を変化点として登録する方法も役に立つ。
【0025】
変化点を検出することによって,動画像を部分部分の区間に分割するわけであるが,音声に関係なく分割してしまうと,後々扱いにくいケースが生じる。例えば,ある人が話をしている途中で区間を分割すると,分割された1つの区間だけを見たのでは話が閉じなくなる。変化点検出によって分割された各カットを単位として,取捨選択や並べ変えを行うような動画像編集システムにおいては,特に問題となる。そこで,変化点を検出した際には,そのときの音声信号も調べ,音声が入っているようならば,次に音声が途絶えた時点,すなわち無音部を待って,その時点のほうを変化点として登録する。無音部か否かは,音量から判定できる。図10に音声信号の典型的な例を示す。横軸が時間で,縦軸が音の振幅を示す。音量は振幅の大きさであるから,振幅が予め設定した閾値よりも小さい場合に,そこを無音部と判定できる。もちろん,音声のある区間でも振幅は瞬間的に小さい値をとるので,それによって誤って判定しないように,一定時間分の振幅を調べて,振幅が小さい状態が続いていることを確認した上で無音部の検出を行うようにする。この方法は,計算機が自動的に変化点を検出する場合と,利用者の判断で変化点として検出する場合とにかかわらず,利用可能であることは言うまでもない。
【0026】
以上述べた方法によって動画像をカット分割すると,カットを単位とした検索や編集が行えるようになる。こうしたカット単位の操作を利用者がもっと簡単に行えるようにするためには,そのカットの内容が絵で確認できるようになっていると都合がよい。そこで,カットの変わり目が検出された時点で,そのときのフレーム画像を代表画像として抽出し,その代表画像を,検索や編集のアプリケーションで扱いやすい大きさにサイズを変更して,ディスク等の記録装置にファイルとして格納しておき,必要に応じて呼び出せるようにする。こうした格納に関わる処理は,図2を例にとると216の処理の中で行われる。もちろん,フレーム画像のような静止画だけではなく,変化点からはじまる一定時間の動画像を同様に取り込んで記録してもよい。また,カットを代表する画像としては,カットの変わったばかりの時点の画像よりも少し時間がたった時点の画像のほうが適切なことが多いので,変化点から一定時間オフセットを加えた時点の画像を代表画像として使用してもよい。しかしながら,図2や図9で述べた変化点検出方法を用いると,カットの変わり目のフレームから数フレームを経た時点で初めて変化点か否かが判定されるので,判定が定まったときに代表画像を抽出しようとすると,すでにして一定時間オフセットを加えた時点の画像を取り込むことになる。このとき,どうしても正確にカットの変わり目のフレーム画像を取り込みたい場合には,フレーム画像を過去に遡って数フレーム分をバッファに蓄えておくとよい。バッファには最新のフレーム画像が入り,1枚入るとバッファ中の最も古いフレーム画像が1枚消去される。
【0027】
検索や編集にあたっては,代表画像で確認できたカットが,ビデオテープ等に記録されているオリジナルの動画像のどこにあるのかが,すぐに知れなくては意味がない。そこで,オリジナルのビデオテープのフレーム番号やタイムコードを代表画像と関連づけて格納する手段を設ける。また,そのカットがどれくらいの時間長なのか,テレビ等で放送された動画像ならば放送された実際の時刻や日付はいつなのか,といった関連情報も必要である。時刻や日付は計算機に内蔵されている時計を読み出すことで簡単に得られるし,カットの時間長は,隣接する2つの変化点の間の時刻もしくはフレーム番号の差分としてリアルタイムで計算できる。そこで,代表画像の格納の際に併せ,代表画像と関連づけて,これらの情報も記憶するようにする。また,必要に応じて利用者が付加した各代表画像に対応する属性情報も同じように,代表画像と関連づけて格納する。上記で示したような代表画像と関連情報との関連づけは,例えば,一般的なディスクオペレーションシステム(DOS)のファイル管理システムの下では,代表画像のファイルとファイル名が同じで拡張子だけが異なるファイルを関連情報用に割り当てることで管理できる。具体的には,代表画像をCUT00001.IMGで格納し,その画像に対応する時刻はCUT00001.TIM,時間長はCUT00001.DURというように定義すればよい。しかしながら,動画像は複数のカットから構成されるので,この方法では,ファイルの数が多くなりすぎて管理しにくいという問題もある。そこで,単一のファイルの中で,これらの情報を管理するようにしてもよい。図11にファイル構造の例を示す。1100はヘッダー情報であり,他のファイル形式との識別子や登録されているカットの総数といったファイル全体に関わる情報が入る。1102は,代表画像の格納アドレスのテーブルであり,各カットの代表画像のデータがファイル中のどの位置からに格納されているかを表すオフセット値が,カットの総数分だけ順番に格納される。同様に,1104はタイムコード,1106は属性情報に関するテーブルである。ほかにも関連情報を格納する場合には,必要なだけ同様のテーブルが作成される。これらのテーブルの間では,それぞれのテーブルの先頭から数えて同じ位置に格納されているアドレス情報は,同じ代表画像に関する情報となるように格納され,相互に対応がとれるようになっている。1108から1118は,それぞれの情報を格納するデータ領域である。
【0028】
ビデオや映画等の動画像をカット別に頭出しできる動画像編集システムの画面例を図12に示す。1はディスプレイ装置であり,1232は音声やBGM等を出力するスピーカ,5はマウスやジョイステイツク等の間接的なポインティングデバイス,1234はキーボード,1230はタッチパネルのような直接的なポインティングデバイスである。
【0029】
ディスプレイ装置1中のモニタウインドウ1210は,モニタ画面になっており,VTRと同形式の操作パネル1202があって,映像を自由に再生し視聴することができる。モニタ画面に表示される映像が「本」における「本文」,パネル(ボタン)操作は「頁めくり」に対応する。右下のウインドウ1208は,対象とする映像の各シーンの代表画像のシーン一覧表示,右中のウインドウ1212は,その映像に登場する被写体の一覧表示である。これらの一覧表示を総称して,「インデクス」と呼ぶ。ウインドウ1208のシーン一覧表示は,本発明の動画像変化点検出方法を用いて,映像中の各シーンから典型的なフレーム画像を選び,縮小して時間順にアイコン1210として一覧に並べたものである。これらの画像はシーンの「見出し」に相当するものとして考えることができ,それらを時系列に並べたシーン一覧は「本」の「目次」にあたる。一方,被写体は,シーンの重要な構成要素の一つであり,その意味でテキストにおける「キーワード」に相当する。したがって,ウインドウ1212の被写体の一覧表示は,「索引」に当たる。シーン一覧表示中のアイコン1210がマウスクリックされると,モニタ画面の映像が切り替わり,そのアイコンの示すシーンが再生される。被写体の一覧表示は,被写体が何であるかを示すアイコン1214と,その右側の時間軸表示部(棒グラフ)1216から成る。時間軸表示部(棒グラフ)は,左端が映像の先頭,右端が末尾を示す時間軸になっていて,棒として表示された部分が,その被写体の現れている時間区間を示している。棒の部分をクリックすると,その区間の映像をモニタ画面に表示する。尚,1204は,マウスのようなポインティングデバイスの動きに合わせて移動するカーソル,1206のウインドウは,映像の各種関連情報を表示する汎用入出力ウインドウである。このような,GUIを用いることにより,ユーザフレンドリな動画像編集が可能となる。
【0030】
本発明は,放送局向けなどのハイエンドなシステムの他,ワークステーション(WS),パーソナルコンピュータ(PC)などに対しても,動画像編集プログラムの機能として組込むことが出来る。また,VTRやTVなどの電子機器の一機能として実現することも可能である。更に,ビデオオンデマンド(VOD)を実現する各種装置やシステムへの展開も可能である。
【0031】
【発明の効果】
本発明によれば,瞬間的な画像の乱れと,カットの変わり目とを区別して検出できるので,乱れのある部分を変化点として間違って検出しないようにできるほか,乱れた部分だけを選び出すこともできる。また,直前の動画像の特徴に応じて変化点検出の閾値が動的に変化するので,動画像の特徴に合った,きめ細かな変化点検出ができ,誤検出を抑制することができる。
【図面の簡単な説明】
【図1】本発明の実施例を実現するためのシステムブロック図である。
【図2】瞬間的な乱れにロバストな変化点検出アルゴリズムのフローチャートである。
【図3】瞬間的な乱れが発生した箇所を有する動画像の模式図である。
【図4】通常のカットの変わり目の箇所を有する動画像の模式図である。
【図5】複数のフレームに渡って乱れが発生した箇所を有する動画像の模式図である。
【図6】動画像の特徴に合わせて閾値が変化する変化点検出アルゴリズムのフローチャートである。
【図7】相関係数の時間推移の典型例を示した図である。
【図8】フレーム全体の明るさを求めるアルゴリズムのフローチャートである。
【図9】図2と図6のアルゴリズムを組み合わせた変化点検出アルゴリズムのフローチャートである。
【図10】音声信号の典型例を示した図である。
【図11】ファイル構造の例を示す図である。
【図12】動画像編集システムの画面例を示す図である。
【符号の説明】
1…ディスプレイ,2…制御信号線,3…A/D変換器,4…コンピュータ,5…入力装置,6…外部情報記憶装置,7…CPU,8…接続インタフェース,9…メモリ,10…動画像再生装置,1208…シーン一覧表示のためのウインドウ。
Claims (11)
- 動画像を入力する入力部と、該入力された動画像を処理する処理部とを有する動画像処理装置において実行される、連続する複数枚の画像よりなる動画像からカットの変わり目を検出する動画像の変化点検出方法において、
前記動画像入力部を介して対象となる動画像を入力し、
前記処理部は、前記動画像の各フレーム毎に特徴量を取得し、
その特徴量と直前のフレームで計算した特徴量との差分を第1の相関係数として求め、
さらにその特徴量と2フレーム以上前のフレームで計算した特徴量との差分を第2の相関係数として求め、
前記第1の相関係数と前記第2の相関係数の値がともに所定の閾値を超えた時、当該フレームと2フレーム以上前のフレームとの間にカットの変わり目があったと判定することを特徴とする動画像の変化点検出方法。 - 前記特徴量は、カラーヒストグラムであることを特徴とする請求項1記載の動画像の変化点検出方法。
- 前記処理部は、前記第1の相関係数と前記第2の相関係数の値がそれぞれ所定の閾値の範囲外か否かを判定する際、前記閾値を、直前もしくは直後の動画像の特徴量の値によって変化させることを特徴とする請求項1又は2に記載の動画像の変化点検出方法。
- 前記直前もしくは直後の動画像の特徴量は、直前もしくは直後の動画像全体の輝度であることを特徴とする請求項3記載の動画像の変化点検出方法。
- 前記直前もしくは直後の動画像の特徴量とは、直前もしくは直後の動画像におけるフレーム間の相関係数であることを特徴とする請求項3記載の動画像の変化点検出方法。
- 前記直前もしくは直後の動画像の特徴量とは、直前もしくは直後の動画像に対する単位時間あたりの処理フレーム枚数であることを特徴とする請求項3記載の動画像の変化点検出方法。
- 連続する複数枚の画像よりなる動画像からカットの変わり目を検出する動画像の変化点検出装置において、
対象となる動画像を処理装置に入力する手段と、
前記入力された各フレーム毎に特徴量を取得する手段と、
その特徴量と直前のフレームで計算した特徴量との差分を第1の相関係数として求め、
さらにその特徴量と2フレーム以上前のフレームで計算した特徴量との差分を第2の相関係数として求める手段と、
前記第1の相関係数と前記第2の相関係数の値がともに所定の閾値を超えたとき、
当該フレームと2フレーム以上前のフレームとの間にカットの変わり目があったと判定する手段とを備えたことを特徴とする動画像の変化点検出装置。 - 前記カットの変わり目があったと判定された時、変化点の画像から一定時間オフセットを加えた時点でのフレーム画像をカットを代表する画像として抽出し、
前記カットを代表する画像のサイズを変更して記録装置に格納する格納手段を備えたことを特徴とする請求項6記載の動画像の変化点検出装置。 - 前記格納手段は、前記代表画像を記録装置に格納する際に、フレーム番号、タイムコード、カットの時間若しくは距離長、時刻日付情報のうち、少なくとも1つを関連付けて記録することを特徴とする請求項7記載の動画像の変化点検出装置。
- 最新のフレーム画像もしくはサイズを変更した画像を常時2枚以上記憶するためのバッファを設け、過去に遡って変化点が検出された場合に、そのときの変化点に対応する画像を上記バッファから抽出することを特徴とする請求項7乃至9の何れかに記載の動画像の変化点検出装置。
- 動画像を再生する動画像再生部と、
出力画面を表示する表示部と、
前記動画像再生装置から入力された動画像の各フレーム毎の特徴量を取得する手段と、
前記特徴量と直前のフレームで計算した特徴量との差分を第1の相関係数として求め、
さらにその特徴量と2フレーム以上前のフレームで計算した特徴量との差分を第2の相関係数として求める手段と、
前記第1の相関係数と前記第2の相関係数の値がともに所定の閾値を超えた時、当該フレームと2フレーム以上前のフレームとの間にカットの変わり目があったと判定し、カットを代表する画像を前記表示部に出力する手段とを備えたことを特徴とする動画像の変化点検出システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03202795A JP3823333B2 (ja) | 1995-02-21 | 1995-02-21 | 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム |
DE69617072T DE69617072T2 (de) | 1995-02-21 | 1996-02-21 | Verfahren und Vorrichtung zur Erfassung von Wechselstellen in bewegten Bildern |
EP96102603A EP0729117B1 (en) | 1995-02-21 | 1996-02-21 | Method and apparatus for detecting a point of change in moving images |
US08/604,606 US6157744A (en) | 1995-02-21 | 1996-02-21 | Method and apparatus for detecting a point of change in a moving image |
US09/626,115 US6256419B1 (en) | 1995-02-21 | 2000-07-26 | Method and apparatus for detecting a point of change in a moving image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03202795A JP3823333B2 (ja) | 1995-02-21 | 1995-02-21 | 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004313212A Division JP3941808B2 (ja) | 2004-10-28 | 2004-10-28 | 動画像の変化点検出方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08227462A JPH08227462A (ja) | 1996-09-03 |
JP3823333B2 true JP3823333B2 (ja) | 2006-09-20 |
Family
ID=12347389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03202795A Expired - Lifetime JP3823333B2 (ja) | 1995-02-21 | 1995-02-21 | 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム |
Country Status (4)
Country | Link |
---|---|
US (2) | US6157744A (ja) |
EP (1) | EP0729117B1 (ja) |
JP (1) | JP3823333B2 (ja) |
DE (1) | DE69617072T2 (ja) |
Families Citing this family (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3534368B2 (ja) * | 1996-04-03 | 2004-06-07 | 株式会社東芝 | 動画像処理方法及び動画像処理装置 |
EP0866606B1 (en) * | 1996-10-04 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method |
JP3780623B2 (ja) | 1997-05-16 | 2006-05-31 | 株式会社日立製作所 | 動画像の記述方法 |
US6483540B1 (en) * | 1997-06-16 | 2002-11-19 | Casio Computer Co., Ltd. | Image data processing apparatus method and program storage medium for processing image data |
JPH1132294A (ja) * | 1997-07-09 | 1999-02-02 | Sony Corp | 情報検索装置および方法、並びに伝送媒体 |
JP3409834B2 (ja) * | 1997-07-10 | 2003-05-26 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
JPH1169372A (ja) * | 1997-08-14 | 1999-03-09 | Fuji Photo Film Co Ltd | 画像の明度調整方法およびその方法に使用するデジタルカメラ並びに画像処理装置 |
US6697566B2 (en) * | 1997-10-17 | 2004-02-24 | Sony Corporation | Encoded signal characteristic point recording apparatus |
JPH11146325A (ja) | 1997-11-10 | 1999-05-28 | Hitachi Ltd | 映像検索方法および装置並びに映像情報作成方法およびその処理プログラムを格納した記憶媒体 |
US5990980A (en) * | 1997-12-23 | 1999-11-23 | Sarnoff Corporation | Detection of transitions in video sequences |
KR100264798B1 (ko) * | 1997-12-31 | 2000-09-01 | 윤종용 | 직접 액세스 재생을 위한 광 디스크 기록장치와 직접액세스 재생방법 |
JP3738939B2 (ja) * | 1998-03-05 | 2006-01-25 | Kddi株式会社 | 動画像のカット点検出装置 |
JP3098736B2 (ja) * | 1998-04-15 | 2000-10-16 | 日本放送協会 | 映像再生制御装置および記憶媒体 |
US6370315B1 (en) * | 1998-04-30 | 2002-04-09 | Matsushita Electric Industrial Co., Ltd. | Playback time compression and expansion method and apparatus |
JP3622527B2 (ja) * | 1998-08-24 | 2005-02-23 | 株式会社日立製作所 | 映像の特徴場面検出方法及び装置 |
JP3453312B2 (ja) * | 1998-09-03 | 2003-10-06 | 株式会社リコー | 映像ストリームの構造解析過程表示方法 |
GB9825379D0 (en) * | 1998-11-19 | 1999-01-13 | Electrosonic Ltd | Image processing |
DE19859087A1 (de) * | 1998-12-10 | 2000-06-15 | Arnold & Richter Kg | Verfahren zur Trennung von auf Medien wie Laufbildfilmen, Videobändern o. dgl. gespeicherten Bildfolgen in Einzelsequenzen |
JP3569800B2 (ja) * | 1998-12-24 | 2004-09-29 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法 |
JP2000276469A (ja) * | 1999-03-23 | 2000-10-06 | Canon Inc | 情報検索装置及びその方法、記憶媒体 |
US6542619B1 (en) * | 1999-04-13 | 2003-04-01 | At&T Corp. | Method for analyzing video |
JP2000350156A (ja) | 1999-06-09 | 2000-12-15 | Hitachi Ltd | 動画像情報の記憶方法及びこれを記録した記録媒体 |
US6801294B2 (en) * | 1999-10-19 | 2004-10-05 | Samsung Electronics Co., Ltd. | Recording and/or reproducing apparatus and method using key frame |
KR100608454B1 (ko) * | 1999-10-19 | 2006-08-02 | 삼성전자주식회사 | 키프레임을 이용한 동화상 기록 및/또는 재생장치 |
US7016540B1 (en) * | 1999-11-24 | 2006-03-21 | Nec Corporation | Method and system for segmentation, classification, and summarization of video images |
IL134182A (en) | 2000-01-23 | 2006-08-01 | Vls Com Ltd | Method and apparatus for visual lossless pre-processing |
WO2001075884A2 (en) * | 2000-04-05 | 2001-10-11 | Sony United Kingdom Limited | Audio/video reproducing apparatus and method |
US6753929B1 (en) | 2000-06-28 | 2004-06-22 | Vls Com Ltd. | Method and system for real time motion picture segmentation and superposition |
JP4683253B2 (ja) * | 2000-07-14 | 2011-05-18 | ソニー株式会社 | Av信号処理装置および方法、プログラム、並びに記録媒体 |
US6834080B1 (en) * | 2000-09-05 | 2004-12-21 | Kabushiki Kaisha Toshiba | Video encoding method and video encoding apparatus |
US7038736B2 (en) | 2000-09-21 | 2006-05-02 | Canon Kabushiki Kaisha | Moving image processing apparatus and method, and computer readable memory |
DE10050083A1 (de) * | 2000-10-10 | 2002-04-18 | Sick Ag | Vorrichtung und Verfahren zur Erfassung von Objekten |
US6714594B2 (en) * | 2001-05-14 | 2004-03-30 | Koninklijke Philips Electronics N.V. | Video content detection method and system leveraging data-compression constructs |
JP3840928B2 (ja) * | 2001-07-17 | 2006-11-01 | ソニー株式会社 | 信号処理装置および方法、記録媒体、並びにプログラム |
US7253929B2 (en) * | 2002-02-06 | 2007-08-07 | Quad/Tech, Inc. | Camera assembly for a printing press |
US7013803B2 (en) | 2002-02-06 | 2006-03-21 | Quad/Tech, Inc. | Color registration control system for a printing press |
JP4211023B2 (ja) * | 2002-02-22 | 2009-01-21 | 富士通株式会社 | 動画像処理方法及び動画像処理装置 |
US7251413B2 (en) | 2002-04-26 | 2007-07-31 | Digital Networks North America, Inc. | System and method for improved blackfield detection |
US20040131117A1 (en) * | 2003-01-07 | 2004-07-08 | Sheraizin Vitaly S. | Method and apparatus for improving MPEG picture compression |
GB2398690B (en) * | 2003-02-21 | 2006-05-10 | Sony Comp Entertainment Europe | Control of data processing |
JP4026071B2 (ja) * | 2003-09-25 | 2007-12-26 | ソニー株式会社 | 車載装置及びコンテンツ提供方法 |
KR100597398B1 (ko) * | 2004-01-15 | 2006-07-06 | 삼성전자주식회사 | 비디오 클립을 검색하는 장치 및 방법 |
US20050248576A1 (en) * | 2004-05-07 | 2005-11-10 | Sheng-Hung Chen | Transformation method and system of computer system for transforming a series of video signals |
TWI242376B (en) * | 2004-06-24 | 2005-10-21 | Via Tech Inc | Method and related system for detecting advertising by integrating results based on different detecting rules |
TWI245568B (en) * | 2004-07-22 | 2005-12-11 | Via Tech Inc | Method and related system for high efficient advertising detection |
US7903902B2 (en) | 2004-07-26 | 2011-03-08 | Sheraizin Semion M | Adaptive image improvement |
JP4660736B2 (ja) * | 2004-09-24 | 2011-03-30 | 独立行政法人産業技術総合研究所 | 動画像時間分割処理方法および装置 |
JP4243862B2 (ja) * | 2004-10-26 | 2009-03-25 | ソニー株式会社 | コンテンツ利用装置およびコンテンツ利用方法 |
US7613383B2 (en) | 2004-12-02 | 2009-11-03 | Hitachi, Ltd. | Editing method and recording and reproducing device |
JP4247626B2 (ja) * | 2005-01-20 | 2009-04-02 | ソニー株式会社 | 再生装置および再生方法 |
JP4595555B2 (ja) * | 2005-01-20 | 2010-12-08 | ソニー株式会社 | コンテンツ再生装置およびコンテンツ再生方法 |
US7526142B2 (en) | 2005-02-22 | 2009-04-28 | Sheraizin Vitaly S | Enhancement of decompressed video |
JP4741267B2 (ja) * | 2005-03-28 | 2011-08-03 | ソニー株式会社 | コンテンツ推薦システム、通信端末およびコンテンツ推薦方法 |
JP4515332B2 (ja) * | 2005-05-30 | 2010-07-28 | オリンパス株式会社 | 画像処理装置及び対象領域追跡プログラム |
JP2007011928A (ja) * | 2005-07-04 | 2007-01-18 | Sony Corp | コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法 |
JP5133508B2 (ja) | 2005-07-21 | 2013-01-30 | ソニー株式会社 | コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法 |
GB2430102A (en) * | 2005-09-09 | 2007-03-14 | Snell & Wilcox Ltd | Picture loss detection by comparison of plural correlation measures |
US7555149B2 (en) * | 2005-10-25 | 2009-06-30 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for segmenting videos using face detection |
US8014606B2 (en) * | 2005-10-25 | 2011-09-06 | Mitsubishi Electric Corporation | Image discrimination apparatus |
JP4811046B2 (ja) * | 2006-02-17 | 2011-11-09 | ソニー株式会社 | コンテンツの再生装置、オーディオ再生機およびコンテンツの再生方法 |
US8218903B2 (en) * | 2007-04-24 | 2012-07-10 | Sony Computer Entertainment Inc. | 3D object scanning using video camera and TV monitor |
EP2156438A1 (en) * | 2007-06-15 | 2010-02-24 | Koninklijke Philips Electronics N.V. | Method and apparatus for automatically generating summaries of a multimedia file |
US8320717B2 (en) * | 2008-03-31 | 2012-11-27 | Brother Kogyo Kabushiki Kaisha | Image processor |
US8717435B2 (en) * | 2008-04-09 | 2014-05-06 | Hbc Solutions, Inc. | Video monitoring device providing parametric signal curve display features and related methods |
JP5295638B2 (ja) * | 2008-05-22 | 2013-09-18 | 池上通信機株式会社 | テレビカメラ |
JP5111269B2 (ja) | 2008-07-09 | 2013-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
KR101001543B1 (ko) * | 2008-08-04 | 2010-12-17 | 삼성전자주식회사 | 온 스크린 디스플레이의 표시 시간 조절 장치 및 방법 |
JP5071988B2 (ja) * | 2009-04-24 | 2012-11-14 | Kddi株式会社 | 動画像のカット点検出装置 |
JP5561524B2 (ja) * | 2010-03-19 | 2014-07-30 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US8786785B2 (en) * | 2011-04-05 | 2014-07-22 | Microsoft Corporation | Video signature |
US8897554B2 (en) | 2011-12-13 | 2014-11-25 | The Nielsen Company (Us), Llc | Video comparison using color histograms |
US8897553B2 (en) | 2011-12-13 | 2014-11-25 | The Nielsen Company (Us), Llc | Image comparison using color histograms |
US8750613B2 (en) | 2011-12-13 | 2014-06-10 | The Nielsen Company (Us), Llc | Detecting objects in images using color histograms |
US8761448B1 (en) | 2012-12-13 | 2014-06-24 | Intel Corporation | Gesture pre-processing of video stream using a markered region |
CN108830885B (zh) * | 2018-05-31 | 2021-12-07 | 北京空间飞行器总体设计部 | 一种基于多向差分残差能量相关的检测虚警抑制方法 |
CN111726569A (zh) * | 2019-12-10 | 2020-09-29 | 李军 | 监控内容替换检测系统及方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4998287A (en) * | 1988-10-14 | 1991-03-05 | General Instrument Corporation | Determination of sequential positions of video fields derived from film |
JP2643422B2 (ja) * | 1989-03-14 | 1997-08-20 | 松下電器産業株式会社 | 相関演算装置 |
GB9001468D0 (en) * | 1990-01-23 | 1990-03-21 | Sarnoff David Res Center | Computing multiple motions within an image region |
US5099322A (en) * | 1990-02-27 | 1992-03-24 | Texas Instruments Incorporated | Scene change detection system and method |
US5091782A (en) * | 1990-04-09 | 1992-02-25 | General Instrument Corporation | Apparatus and method for adaptively compressing successive blocks of digital video |
JP2863818B2 (ja) * | 1990-08-31 | 1999-03-03 | 工業技術院長 | 動画像の変化点検出方法 |
EP0590759B1 (en) * | 1992-08-12 | 1998-12-09 | International Business Machines Corporation | System and method for locating video segment boundaries |
US5546461A (en) | 1993-04-09 | 1996-08-13 | Matsushita Electric Industrial Co., Ltd. | Scramble system for use in digital video signal recording and reproducing system or transmission and receiving system, comprising scramble apparatus and descramble apparatus |
CA2114052A1 (en) * | 1993-07-29 | 1995-01-30 | Monica Medina-Puri | Method of detecting scene cuts |
US5642294A (en) * | 1993-12-17 | 1997-06-24 | Nippon Telegraph And Telephone Corporation | Method and apparatus for video cut detection |
US5635982A (en) * | 1994-06-27 | 1997-06-03 | Zhang; Hong J. | System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions |
-
1995
- 1995-02-21 JP JP03202795A patent/JP3823333B2/ja not_active Expired - Lifetime
-
1996
- 1996-02-21 DE DE69617072T patent/DE69617072T2/de not_active Expired - Lifetime
- 1996-02-21 EP EP96102603A patent/EP0729117B1/en not_active Expired - Lifetime
- 1996-02-21 US US08/604,606 patent/US6157744A/en not_active Expired - Lifetime
-
2000
- 2000-07-26 US US09/626,115 patent/US6256419B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE69617072T2 (de) | 2002-08-29 |
US6256419B1 (en) | 2001-07-03 |
US6157744A (en) | 2000-12-05 |
JPH08227462A (ja) | 1996-09-03 |
EP0729117B1 (en) | 2001-11-21 |
DE69617072D1 (de) | 2002-01-03 |
EP0729117A1 (en) | 1996-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3823333B2 (ja) | 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム | |
JPH09130732A (ja) | シーンチェンジ検出方法および動画像編集装置 | |
US6556767B2 (en) | Video capture device | |
JP3250467B2 (ja) | 映像要約方法および映像表示方法 | |
US20070217765A1 (en) | Method and its application for video recorder and player | |
US6094521A (en) | Information processing system | |
KR20030026529A (ko) | 키프레임 기반 비디오 요약 시스템 | |
EP0927488A2 (en) | Video signal analysis and storage | |
JPH09270006A (ja) | 動画像処理方法 | |
JPH0993588A (ja) | 動画像処理方法 | |
JP3240871B2 (ja) | 映像要約方法 | |
JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
JP3728775B2 (ja) | 動画像の特徴場面検出方法及び装置 | |
JP2007149095A (ja) | 動画像の変化点検出方法及び装置 | |
JP2002152721A (ja) | 録画再生装置の映像表示方法および装置 | |
JP4154012B2 (ja) | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 | |
JP3941808B2 (ja) | 動画像の変化点検出方法及び装置 | |
JP3427969B2 (ja) | 映像表示方法および装置並びに映像表示プログラムを記録した記録媒体 | |
JP2001119661A (ja) | 動画編集システムおよび記録媒体 | |
JP4175622B2 (ja) | 画像表示システム | |
JP3157928B2 (ja) | 動画像の拾い見装置 | |
JPH07111630A (ja) | 動画像編集装置及びカット統合方法 | |
JP3067043B2 (ja) | 動画のカット自動分割方法 | |
JP3906854B2 (ja) | 動画像の特徴場面検出方法及び装置 | |
JP3926497B2 (ja) | インデックス画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050920 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060405 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060619 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090707 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130707 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |