JPH0974575A - 動画像の特徴場面表示方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 不正な画像が挿入されている映像部分を自動
的に検出し、その不正画像の概要と位置とを検査者にわ
かりやすく提示すること。 【解決手段】 画像の変化点に基づき得られたカットの
時間長が設定された時間より短い場合には、そのカット
の代表画像を表示する。さらに多数の代表画像が検出さ
れた場合には、それらの代表画面を一覧にして表示し、
かつ、該代表画面で表されるカットの時間長が一目でわ
かるよう、該代表画面の近傍に時間長を表すシンボルを
合わせて表示する。 【効果】 ごく短いカットを人手によらず自動的に検出
でき、不正な画像が挿入されている可能性のある映像部
分を知ることができる。一覧表示を目視して不正画像を
迅速に確認・修正することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオや映画等の
動画像の品質検査方法に係り、特にビデオテープやビデ
オディスクに格納された動画像から人間が気がつかない
程の短時間の画像挿入を検出して表示する動画像の特徴
場面表示方法および装置に関する。

【０００２】

【従来の技術】近年、通常のテレビ放送に加えて、衛星
放送やケーブルテレビなどが普及しつつあり、放送の多
チャンネル化が進行している。今後、情報ハイウエイと
称される広帯域の通信基盤が整備されれば、放送の配信
が容易になり、現状よりもさらに多くの放送業者が参入
して、多チャンネル化が加速されると考えられる。こう
した大量に放送される情報の中には、大衆操作等を意図
した不正な映像が含まれている場合がある。例えば、サ
ブリミナル効果と呼ばれる、視聴者に対する不正な心理
操作のケースである。これは、動画像中にごく短時間の
特殊な画像を挿入することで、その画像が視聴者の気づ
かぬうちに深層心理に働きかけ、一種の暗示をかけるこ
とができるとされる。こうした不正な効果が含まれてい
る映像かどうかを判定し、そのような動画像の放送を未
然に阻止する必要がある。しかしながら、従来の技術で
は、映像の１コマ１コマをコマ送りしながら人手で確認
しなければならず、秒１コマの速度で確認できたとして
も２時間の映画で４８時間かかる計算になり、放送され
るあらゆる映像について調査を行うのは物理的に不可能
とされていた。

【０００３】

【発明が解決しようとする課題】本発明の目的は、不正
な画像が挿入されている映像部分を自動的に検出し、さ
らに、その画像がどのようなもので、その箇所がどこな
のかを検査者にわかりやすく提示することにある。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、対象となる動画像をフレーム（動画像を構成する一
枚一枚の静止画。一般のテレビで秒３０枚表示される）
単位で時系列に処理装置に入力する手段と、該処理装置
においてカットの変化点を検出する手段と、カットの変
化点の時刻を記憶する手段と、常に直前のカットのフレ
ーム画像のいずれかを代表画面として保持記憶する手段
と、直前のカットの変化点の時刻（以下、第１時刻）と
最新のカットの変化点の時刻（以下、第２時刻）との差
分からカットの時間長を求める手段と、該時間長が設定
された時間より短いと判定された場合に、記憶していた
該代表画面を表示する手段を設ける。このとき、必要に
応じて、連続する第１時刻間もしくは第２時刻間の時間
長が設定された時間より長いと判定された場合にのみ、
記憶していた該代表画面の表示を行う手段を設ける。ま
た、該代表画面を一覧にして表示する手段と、該代表画
面で表されるカットの時間長が一目でわかるよう、該代
表画面の近傍に時間長を表すシンボルを合わせて表示す
る手段を設ける。

【０００５】

【発明の実施の形態】以下、本発明の１実施例を詳細に
説明する。

【０００６】図１は、本発明を実現するためのシステム
構成の概略ブロック図の一例である。１はＣＲＴ等のデ
ィスプレイ装置であり、コンピュータ４の出力画面を表
示する。コンピュータ４に対する命令は、キーボードや
ポインティングデバイス等の入力装置５を使って行うこ
とができる。１０の動画像再生装置は、地上波放送や衛
星放送、ケーブルテレビなどの放送番組を受信するため
のチュナー装置、もしくは光ディスクやビデオテープ等
に記録された動画像を再生するための装置である。動画
像再生装置から出力される映像信号は、逐次、３のＡ／
Ｄ変換器によってデジタル画像データに変換され、コン
ピュータに送られる。コンピュータ内部では、デジタル
画像データは、インタフェース８を介してメモリ９に入
り、メモリ９に格納されたプログラムに従って、ＣＰＵ
７によって処理される。１０が扱う動画像の各フレーム
に、動画像の先頭から順に番号（フレーム番号）が割り
付けられている場合には、フレーム番号を制御線２によ
って動画像再生装置に送ることで、当該場面の動画像を
呼び出して再生することができる。また、処理の必要に
応じて、各種情報を６の外部情報記憶装置に蓄積するこ
とができる。メモリ９には、以下に説明する処理によっ
て作成される各種のデータが格納され、必要に応じて参
照される。

【０００７】図２に、典型的なサブリミナル画像が挿入
された部分のフレーム画像を時系列に並べた概略図を示
す。フレーム画像２００が挿入された画像である。２０
０の前後でカットの変化点が存在しており、２００はカ
ット時間長１フレームのカットと考えることができる。
以下では、こうした短い時間長のカットを検出する方法
について詳細に説明する。

【０００８】図３は、図１で示したシステム上で実行さ
れる、短時間カット検出プログラムのフローチャートの
一例である。プログラムはメモリ９に格納され、ＣＰＵ
７は、まず最初に初期化処理として、プログラムの実行
に必要な各種の変数を初期値に設定する（３００）。そ
の中には、直前のカット変化点の時刻Tlastの初期化も
含まれる（３０２）。処理３０４では、動画像再生装置
１０が出力するフレーム画像fnの取り込みを行う（３０
４）。処理３０６では、fnとその直前のフレームfn-1と
の間にカットの変化点があるかどうかの判定を行う。こ
のような変化点検出の方法については、例えば、情報処
理学会論文誌 Vol.33, No.4, 「カラービデオ映像にお
ける自動索引付け法と物体探索法」や特願平2-230930
「動画像の変化点検出方法」等で示された方法が利用で
きる。特願平2-230930では、映像中の連続する２枚のフ
レームの間に画像的な相異が見られた場合、そのフレー
ム間にカットの変化点があると判定することを基本にし
ている。そして、カットの変化点だと判定されなかった
場合には、３０４に戻ってフレーム画像の取り込みを行
う（３０８）。もし、カット変化点であれば、現在の時
刻をTcurに代入し、直前のカット変化点の時刻Tlastと
の間で差分をとってカットの時間長Tdurを求める。そし
て、TlastにTcurを代入して次の処理に備える（３１
０）。このとき、変化点の時刻は、時計の時刻であって
もよいし、カット変化点のテープ上での位置を表すフレ
ーム番号やタイムコードであってもよい。この場合、カ
ット変化点が検出されると同時に、動画像再生装置１０
にフレーム番号もしくはタイムコードを問い合わせる。
もちろん、VITCやLTCのタイムコードを用いる場合に
は、フレーム画像と同期して信号線で送られてくるデー
タを読みとればよい。次に、代表画面とするアイコン画
像を記憶するための二次元配列I1に同様の配列I2の内容
をコピーし（３１２）、その後、フレーム画像fnを必要
に応じて縮小して配列I2にコピーする（３１４）。この
コピー処理にかかる時間はかなり大きいので、配列I1、
I2を、それぞれのデータ領域へのアドレスポインタで管
理し、３１２の処理は、それらポインタを交換するだけ
の処理で置き換えてもよい。そして、先に求めたTdurが
設定した閾値Th1より小さいかどうかを調べる（３１
６）。もし、大きければ、３０４に戻る。小さければ、
I1に記憶した代表画面のアイコン画像をディスプレイ１
上に表示する（３１８）。カットの時間長は、次のカッ
トに切り替わってから分かるので、分かったときに代表
画面を取り込んでも別のカットの絵しか取り込めない。
このように、１つ前のカット変化点の代表画面を記憶す
ることで、短いカットの代表画面を正しくとれるように
なる。また、Tcurの値からTdurの値を引いた時刻をその
カットの開始時刻として合わせて表示する（３２０）。
さらに、Tdurの値そのもの、もしくは後述するように、
その値に対応して変化するシンボルも同時に表示する
（３２２）。これらの代表画面、Tcur-Tdur、Tdurの値
は、それぞれ計算機のメモリ９もしくは外部情報記憶装
置６に格納され、一覧表示のときなどに参照される。最
後に、必要に応じてアラームを鳴らして、短いカットの
存在をユーザに警告し、３０４に戻って、以上の処理を
繰り返す。

【０００９】図４は、図３の処理プログラムを実行する
システムのディスプレイ画面の一例である。４００はカ
ーソルであり、マウスなどのポインティングデバイス５
によって画面上の任意の位置をポイントできる。但し、
タッチパネルなどを使って、ダイレクトに任意の位置を
ポイントできる場合には必要はない。４０２は、ビデオ
映像のプレビュー画面である。４０４は、コントロール
パネルであり、VTR装置に似せたボタン群が並び、計算
機に接続された動画像再生装置１０に対し、再生や早送
りなどの制御命令を、このパネルのボタンをポイントす
ることで送ることができる。再生された映像は４０２を
通じて確認することができる。４０６は、検出された短
時間カットのそれぞれの代表画面のアイコン４０８を一
覧表示するための画面領域である。多数のアイコンを表
示する場合には、４０６の領域に表示しきれない任意の
アイコンを、スクロールバー４１０をポイントすること
で表示することができる。スクロールのインタフェース
自体については、マイクロソフト社のウインドウズやア
ップル社のマッキントッシュで頻繁に見かけることがで
きるので詳しくは述べない。アイコン４０８をポイント
すると、そのアイコンに対応するカットの開始時刻の情
報（先述のTcur-Tdur）から、動画像再生装置１０を制
御してそのカットの頭出しを行い、プレビュー画面４０
２もしくは動画像再生装置に直接接続されたモニタで映
像内容を確認することができる。また、表示されている
アイコンのうち、任意のアイコンをポイントして選び、
非表示に設定することで、誤って検出されたアイコンを
一覧表示から除外することもできる。４１２は、図３及
び後述する処理プログラムで使われる閾値の設定を行う
ためのパネルである。図３の閾値Th1は、領域４１４に
表示される。４１４は数字入力と表示とを兼ね備えたイ
ンタフェースであり、４００でポイントすると、その領
域が数字入力を受け付けるモードになって、キーボード
等の入力装置を使って値の変更を行うことができる。４
１６は開始ボタンであり、これをポイントすると、短時
間カットの検出処理が開始される。同様に４１８は終了
ボタンであり、これをポイントすると検出処理が終了す
る。

【００１０】図５は、図４中の４０６の領域で表示され
る代表画面の一覧の表示方法の詳細を示したものであ
る。５００は、検出された短時間カットの代表画面のア
イコンであり、その下にカットの開始時刻を合わせて表
示している。さらに、図のように幾枚かのアイコンが重
なったように描画し、そのカットの時間長を、重なった
アイコンの枚数で表現することで、どれくらいの長さの
カットだったのかが一目で把握できるようにしている。
あるいは、代表画面を正面にした立体的な直方体の形で
表現し、その奥行き方向の厚みで時間長を示してもよ
い。

【００１１】図６は、もう１つの代表画面の一覧の表示
方法の詳細を示したものである。６０２は、検出された
短時間カットの代表画面のアイコンであり、その左右に
は、そのカットの前後のカットを合わせて表示してい
る。これは図３の処理アルゴリズムにおいて、記憶する
代表画面の数をもう１枚増やし、さらに過去のカット変
化点の代表画面をも記憶するようにすれば、記憶してい
る３枚の代表画面を並べて表示するだけで容易に実現で
きる。この３枚の代表画面を組にして、図４中の４０６
の領域に表示する。このとき、３枚が組であることが一
目でわかるように、３枚を１行として改行しながら表示
したり、図のように３枚分を同色の背景色の上に表示し
たりすることを行う。

【００１２】ところで、図３の短時間カット検出プログ
ラムは、カットの変化点が常に正しく検出されることを
前提にしている。しかし、前掲のカット変化点検出方法
では、数フレーム程度で急速に変化するような映像部
分、例えば、素早いデゾルブやフェード、テレシネ変換
に起因する擬似的な素早いデゾルブなどについては、そ
うした映像変化を連続なものであると見なさずに、カッ
ト変化点が連続するものと認識してしまう場合がある。
これは、連続するフレームの画像的相異度が大きいとこ
ろをカット変化点と見なしているためで、そうした区間
では確かに画像的相異度は大きい値が続く。こうして短
時間に複数のカット変化点が誤検出されると、その部分
をも図３の短時間カット検出プログラムでは検出してし
まい、過剰な検出が増えることになる。

【００１３】そこで、短時間に複数のサブリミナルカッ
トが挿入されることが少ないのを利用し、短時間に複数
回検出された場合には、検出そのものを無視するという
モードを設ける。図７は、図３をもとに、その判定を行
うようにしたアルゴリズムのフローチャートの一例であ
る。基本的に図３の処理アルゴリズムと同じであるが、
直前の短時間カットの開始時刻Tprevを記憶する処理７
２０を追加したこと、また、７１６の判定処理によって
検出されたばかりの短時間カットの開始時刻との間の時
間長をTlast-Tprevで求めて、その長さが指定時間より
長いことを判定し（７１８）、その場合にのみ、短時間
カットとして検出するようにしたことの２点が異なる。
このアルゴリズムの場合、急速に変化する映像区間で
も、１回検出されるた後連続して検出されることはない
ので、過剰検出が２回以上検出されることはなく、全体
として判定の誤りが減る。また逆に、そうした場合でも
必ず１回は検出されるので、ユーザが一覧を見ながら取
捨選択ができることに変化はない。もちろん、必要なら
ば、その１回もキャンセルしてよいのはいうまでもな
い。

【００１４】上記で説明した短時間カット検出プログラ
ムは、カットの変化点が正しく検出されなければ正しい
判定を行うことができない。上記で用いたカット変化点
検出方法においては、数フレーム程度で急速に変化する
ような映像部分（例えば、素早いデゾルブやフェードが
ある区間）では、連続するフレーム間の相異が高い状態
が続く傾向があるので、カット変化点が連続的に発生し
たと誤って認識されてしまう。そして、その映像部分が
サブリミナルカットとして検出されて、過剰検出が増加
する。これは特に、映像を最初から最後まで通して検出
プログラムにかけ、後から見返す形式でチェックを行う
場合に、一覧の中から本当のサブリミナルカットを探す
のが非常に困難になる。

【００１５】そこで、検出されたカットを組にできるも
のは組にして１枚の画像で代表させ、一覧に表示する代
表画像の数を減らすことを考える。まとめる条件として
は、次の２点を考える。

【００１６】(1) 非常に短い時間で連続する短時間カッ
トは１つにまとめる。

【００１７】(2) 直前の短時間カットと画像的に良く似
た短時間カットは１つにまとめる。

【００１８】まず(1)であるが、非常に短い時間間隔で
連続する短時間カットは、ほとんどの場合、上記で述べ
た過剰な検出である。それらをまとめることで一覧を見
やすくできる。また、まとめたものは全く表示しないの
ではなく、少なくとも一枚の画像を代表画像として表示
し、本物のサブリミナルカットを見落とすことがないよ
うにする。サブリミナルカットであれば、次のステップ
で、まとめられたカットの各々を調べればよい。次に、
(2)であるが、直前に画像的に良く似た短時間カットが
ある場合には、同じ絵柄が複数並んでいても情報量がな
いのでまとめるべきである。サブリミナルカットである
とわかってから、どの位置に何回挿入されているのかを
詳しくチェックすればよい。

【００１９】以上で述べたような、階層的なチェックを
実現するために、図７に示すようなインタフェースを用
意する。700は、検出されたカットの一覧を表示するウ
インドウである。410はスクロールバーである。表示す
るカットの数が多い場合、スクロールすることでウイン
ドウに表示しきれない分のカットを追加表示する。702
は、まとめられていないカットの代表画像のアイコンで
ある。704は、複数のカットをまとめた場合の表示例で
ある。１つのカットの表示とは異なるアイコン704が表
示され、一目で２つ以上のカットが組になっていること
がわかるようになっている。一覧表示中で、704のよう
な表示が施されたアイコンをユーザが指定すると、706
のようなウインドウが新たに現れ、まとめられたカット
の一覧を見ることができる。この例で示したウインドウ
を新しく開く機能の具体的な実現方法については、米Mi
crosoft社のWindowsや、米Apple社のMacintosh等のオペ
レーティングシステムに見られるので詳しく説明しな
い。

【００２０】図８は、上記(1)、(2)の条件で短時間カッ
トをまとめる処理プログラムのフローチャートの一例で
ある。プログラムはメモリ９に格納され、ＣＰＵ７は、
まず最初に初期化処理として、プログラムの実行に必要
な各種の変数を初期値に設定する（８００）。その中に
は、直前のカット変化点の時刻Tlastの初期化も含まれ
る（８０２）。処理８０４では、動画像再生装置１０が
出力するフレーム画像fnの取り込みを行う。処理８０６
では、すでに説明したアルゴリズムに従い、短時間カッ
トの検出を行う。ここで、短時間カットであると判定さ
れなかった場合には、８０４に戻ってフレーム画像の取
り込みを行う（８０８）。もし、短時間カットであれ
ば、現在の時刻をTcurに代入し、直前の短時間カットの
検出時刻Tlastとの間で差分をとって、前回の短時間カ
ットの発生からの時間長Tdurを求める。そして、Tlast
にTcurを代入して次の処理に備える（８１０）。このと
き、短時間カットの検出時刻は、時計の時刻であっても
よいし、短時間カットのテープ上での位置を表すフレー
ム番号やタイムコードであってもよい。この場合、短時
間カットが検出されると同時に、動画像再生装置１０に
フレーム番号もしくはタイムコードを問い合わせる。も
ちろん、VITCやLTCと呼ばれる形式のタイムコードを用
いる場合には、フレーム画像と同期して信号線で送られ
てくるデータを読みとればよい。もし、Tdurが、予め設
定した閾値Th1より短ければ（８１２）、(1)の条件を満
たしたと判定して、後述する処理８２０によって直前の
検出カットと同一の組であるとする。このときのTh1
は、500ミリ秒程度に設定すると適切な結果が得られ
る。次に、Tdurが、Th1よりも大きい閾値Th2より短いか
どうかを調べ（８１４）、長ければ処理８０４に戻る。
Th2は約5秒に設定すると適切な処理結果が得られる。短
ければ、さらに直前に検出された短時間カットの画像
と、今回検出された短時間カットの画像とを比較する
（８１６）。類似していなければ（８１８）、戻って処
理８０４を実行する。ここで、画像の比較には、カット
変化点検出と同様の手段で画像相異度の判定ができる。
相異度が設定閾値より低ければ、画像が類似していると
判定する。処理８１８で類似性が大きいときは、直前に
検出された短時間カットと同一の組であるとする処理を
行う。ここで、上記のプログラムの実行にあたっては、
検出された短時間カットの画像と検出時刻は組になって
メモリ９もしくは外部記憶装置６に記憶格納され、一覧
表示の際には、そこから読み出して表示を行う。処理８
２０では、図９に示すように、検出された短時間カット
の格納データ９００と検出時刻９０２に加え、さらにグ
ループIDのデータ９０４を組にして格納するようにす
る。グループIDは、組にされたカットごとに固有のシリ
アル番号をとり、同じ番号を持つカットは必ず同じ組と
なるように設定する。表示の際は、同じグループIDを持
つ短時間カットのうち、最も早い時刻に検出されたカッ
トのみを表示するとともに、図７に示したような、まと
められていることを示すシンボルと合わせて表示する。
処理８２０が完了すると、８０４に戻って、以上の処理
を繰り返す。

【００２１】

【発明の効果】本発明によれば、ごく短いカットを人手
によらず自動的に検出でき、不正な画像が挿入されてい
る可能性のある映像部分を知ることができる。また、編
集時に誤って挿入してしまった意味のない短いカットも
同様に検出できるので、放送する番組の品質管理に貢献
する。さらに、ごく短いカットが、指定された時間長よ
り短い間隔で続けざまに検出された場合には、激しい映
像変化が原因と見なしてユーザへの提示を見合わせるこ
ともできる。また、検出された不正と疑わしき映像部分
は、その代表画面が一覧になって表示されるので容易に
確認でき、誤りがあっても目で見てその場で調べること
ができる。また、そうした映像部分が検出された時間情
報も代表画面と併記されるので、映像全体の中での位置
はもちろん、その長さや、時間帯による分布状況の変化
等も簡単に知ることができる。

【図面の簡単な説明】

【図１】本発明の実施例を実現するためのシステムブロ
ック図である。

【図２】不正な画像挿入の概念を表す図である。

【図３】短時間カットの検出を行うプログラムのフロー
チャートである。

【図４】短時間カットの検出を行うプログラムのインタ
ーフェース画面例である。

【図５】検出された短時間カットの一覧の表示形式の一
例である。

【図６】検出された短時間カットの一覧の表示形式のも
う１つの例である。

【図７】短時間カットの検出を行うもう１つのプログラ
ムのフローチャートである。

【図８】検出された短時間カットをまとめる処理プログ
ラムのフローチャートである。

【図９】検出された短時間カットのデータ構造である。

【符号の説明】

１…ディスプレイ、２…制御信号線、３…Ａ／Ｄ変換
器、４…コンピュータ、５…入力装置、６…外部情報記
憶装置、７…ＣＰＵ、８…接続インタフェース、９…メ
モリ、１０…動画像再生装置、１１…キーボード。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 谷口 勝美 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 田中 和明 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内

Claims (7)

【特許請求の範囲】
1. 【請求項１】連続する複数枚の画像よりなる動画像から
   画像変化点を逐次検出し、該画像変化点と次の画像変化
   点との間のフレーム区間長が指定した範囲内のときの
   み、特徴場面として該画像変化点の画像を縮小して静止
   画像として表示し、さらに該画像変化点の時間情報も並
   べて画面に表示するようにしたことを特徴とする動画像
   の特徴場面表示方法。
2. 【請求項２】請求項１において、前記静止画像の表示時
   に、同時にアラームを鳴らすようにしたことを特徴とす
   る、動画像の特徴場面表示方法。
3. 【請求項３】請求項１において、前記静止画像の表示の
   際に、該静止画像の特徴場面の前後のフレームも参照フ
   レームとして、縮小した静止画で表示するようにしたこ
   とを特徴とする、動画像の特徴場面表示方法。
4. 【請求項４】請求項１において、前記静止画像の表示の
   際に、特徴場面のフレーム区間長に応じて、静止画像に
   厚みをつけて表示するか、もしくは、静止画をフレーム
   区間長に応じてずらしながら重ねて表示するように表示
   するようにしたことを特徴とする、動画像の特徴場面表
   示方法。
5. 【請求項５】対象となる動画像をフレーム単位で時系列
   に入力する手段と、入力された動画像のカットの変化点
   を検出する手段と、カットの変化点の時刻を記憶する手
   段と、常に直前のカットのフレーム画像のいずれかを代
   表画面として保持記憶すす手段と、直前のカットのへ加
   点の時刻と最新のカットの変化点の時刻との差分からカ
   ットの時間長を求める手段と、求めた時間長が設定され
   た時間より短いと判定された場合に、記憶していた該代
   表画面を表示する手段とを備えたことを特徴とする動画
   像の特徴場面表示装置。
6. 【請求項６】請求項５記載において、前記代表画面を一
   覧にして表示する手段を備えたことを特徴とする動画像
   の特徴場面表示装置。
7. 【請求項７】請求項５記載において、前記代表画面で表
   されるカットの時間長が一目でわかるように、前記代表
   画面の近傍に時間長を表すシンボルを合わせて表示する
   手段を備えたことを特徴とする動画像の特徴場面表示装
   置。