JP2980387B2 - 映像内容圧縮表示処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、映像の内容を短時間
に把握するための表示を行う映像内容圧縮表示処理方法
に関するものである。更に詳しく言えば例えば映画の予
告編などのカタログ作成などの如く映像情報を要約し内
容圧縮を行うようにし、ビデオテープレコーダやビデオ
ディスクなどの既存する大量の映像情報を、短時間に把
握するための映像内容圧縮表示処理方法に関するもので
ある。

【０００２】

【従来の技術】文章の場合には、漢字などを飛ばし見て
いくことで素早く内容を把握することがある程度可能で
ある。また、文章は要約することが、映像に比べて容易
である。さらに文字情報は記号であって、コンピュータ
などでの検索処理などにかかりやすい。

【０００３】それに対し、動画映像の場合には飛ばし見
が難しい。そのため、従来の方法としては、再生速度を
上げて再生時間を短縮した早送りと、見る人がその速度
をある程度変えられる可変速再生とを行うしかなかっ
た。また画像の場合には、機械による意味理解が困難
で、要約も難しい。検索のためのキーを付けにくいの
で、文字の場合のように容易には検索処理が行えない。
ただ動画像の場合には、人間が目印になる信号をあるフ
レームにあらかじめ付けておき、それをたよりに検索す
る方法などが使われている。また、或る種のＶＴＲにお
いては、検索のための信号を録画開始時に自動的にビデ
オテープに記録して、録画開始点の検索を効率化するも
のもある。

【０００４】

【発明が解決しようとする課題】早送りによる動画飛ば
し見は、実現が容易で見る側の操作も簡単だが、映像内
容の如何にかかわらず高速に表示されるため、内容を見
落とすことがあった。また動きの激しい動画の場合には
大変見づらい表示になるため疲れやすく、長時間の早見
は実用的ではなかった。以上の問題を解決するためには
再生速度を下げなくてはならず、これは本来の早送りの
操作と矛盾することになった。またこれらの理由からあ
まり再生速度を上げられないため、表示時間の短縮が難
しかった。

【０００５】変速再生の時には、動きの激しさや、興味
の度合いに応じて見る人が再生速度を調節することが出
来たが、その調整をすべて人間がやらなくてはならな
い。これはまず操作自体面倒である。次に調節者は表示
画面を見て再生速度を決めるので、その調節能力は調節
者の認識能力に左右される。調節者が見落とせばそれを
救う方法はなかった。見落としを無くすためには、速度
を遅めに調節するか、かなりの精神集中を行うしかな
く、これは早見に要する時間を増加させ、また疲労させ
ることになった。さらに、調節者が認識してから調節方
法を判定し、実際に調節を行うため、調節は必ず遅れを
生じ、頻繁に逆方向再生を行う必要があった。これ自体
早見時間を増加させ、また精神的にもいらいらする原因
となった。

【０００６】また、検索のための信号を動画像にあらか
じめ付与する方法は、その信号を人間が付けなければな
らず、その処理が面倒で、また時間のかかるものであっ
た。そのためこの方法は、映画などをＶＴＲやＬＤ（レ
ーザーディスク）など同じ動画像を大量に作成する場
合、または個人的に頻繁に見る特定の動画映像に対する
場合以外では、ほとんど実用的ではなかった。また信号
を付ける場所が付ける人の主観に左右されるという問題
もあった。本発明の目的は、動画映像の中身を短時間に
把握したい場合、以上述べたような従来の方法では短時
間に把握するのが困難であるという問題を、動画の内容
変化に応じた表示を行うことで解決しようとするもので
ある。

【０００７】

【課題を解決するための手段】図１は本発明の原理構成
図を示す。図中の符号は次のものを表している。即ち、
１は映像媒体で、ビデオテープ、ＬＤなどの映像ソース
である。またはＨＤ（ハードディスク）や光磁気ディス
クなどの蓄積装置に蓄えられた映像データでもよい。２
は映像媒体１を再生する再生装置で、ビデオデッキ、Ｌ
Ｄプレーヤーなどである。この装置は外部の指示にした
がって、任意のフレームを表示したり、現在の表示フレ
ーム番号をコンピュータに送ることが出来る機能を有す
る。これはＨＤや光磁気ディスクなどの蓄積装置と、そ
れに蓄えられた映像データを画像処理装置３や後述する
表示装置６に送れるような映像信号に変換する復号化装
置からなるものでもよい。３は画像処理装置で、再生装
置２から送られた映像信号を受け取り、そこから明度分
布などの情報を取り出し、コンピュータに送る事の出来
るものである。４はコンピュータで、画像処理装置３か
ら送られた情報や、再生装置２から送られた情報や、人
間からの指示情報を受け取り、それらを格納することが
出来る。またそれらの情報をあるアルゴリズムにしたが
って処理し、再生装置２を操作する方法を決定し、その
指示情報を再生装置２に送ることが出来る。また５は変
化量データファイルであって変化量のデータを格納す
る。

【０００８】本発明の場合には、動画映像の飛ばし見の
一手方法である可変速再生を、半自動化するようにして
いる。まず、早見したい動画像のフレーム間変化量をあ
らかじめ画像処理装置３により計測しておく。つぎに、
そのデータを元に、表示重要性の大きい所は低速、少な
いところは高速で再生するような速度コントロール用の
データを作成して変化量データファイル５に格納する。
そして早見の際に、作成したコントロールデータを既定
値として動画像を可変速再生表示する。

【０００９】

【作用】 あらかじめ機械に動画映像を下見させ、変
化量を測定しておくことにより、動画のどの部分にどの
ような種類の変化が多いかの情報が得られる。これによ
り、早見表示装置は早見をする人の要求条件に適した再
生速度コントロールデータを作成する事が可能となる。
このことにより、早見をしたい場合、動画を内容変化に
応じた高速表示することが可能となり、ある動画の内容
を短時間に把握出来、効率化が図られる。

【００１０】

【実施例】図２は表示を行う場合の構成を説明する図で
ある。図中の符号２，４，５は図１に対応している。ま
た６は表示装置で、再生装置２からの映像信号を表示す
る。７は動画の早見を行う人間で、コンピュータ４に対
し指示を送り、また表示装置６の表示を見ることが出来
る。

【００１１】図１に示した如くまず、動画映像から内容
変化情報を取り出す。内容を早見したい映像の入った映
像媒体１を、再生装置２で再生し、その画像を、画像処
理装置３に送り、画像処理装置３は、動画の変化量を検
出して出力する。コンピュータ４は、この結果を再生装
置２の再生しているフレーム番号の情報とあわせて、変
化量のデータを作成し、変化量データとして変化量デー
タファイル５に格納している。

【００１２】次に、この映像の早見を行う。まず変化量
データをコンピュータ４に入力する。コンピュータ４は
変化量データから、変化量に応じた、再生装置２をコン
トロールするためのファイルを作成する。次にコンピュ
ータ４は、見る人７からの詳しさの度合いなどの要求を
入力してそのコントロールファイルを変更する。これ
は、再生前でも、再生途中でも構わない。そして最終的
に得られたコントロール方法に従って再生装置２をコン
トロールするための再生コントロール情報を生成するこ
とにより、映像変化量に応じた可変速再生を行う。再生
時に使用する再生装置２は、変化量抽出時に使用したも
のと必ずしも同じものである必要はない。

【００１３】次に動画映像から内容圧縮表示に必要な情
報の取り出し方の一例について説明する。

【００１４】（Ａ）フレーム間の画素単位の輝度変化量
まず、画像処理装置３は、再生装置２から１フレーム分
の画像（画像（ｎ）とする）を受け取り、その画像を図
示していないメモリに格納する。次のフレームの画像
（画像（ｎ＋１））が再生装置２から送られてくると、
画像（ｎ）と画像（ｎ＋１）との各画素の輝度の差の絶
対値を計算する。このことによりフレーム間差分画像が
得られる。図３はフレーム間の画素単位の輝度変化情報
を得る態様を示している。図示のフレーム間差分画像に
ついてその差分量の合計を計算することにより、フレー
ム間の画素単位の輝度変化量の情報が得られる。

【００１５】（Ｂ）フレーム間のフレーム単位の輝度変
化量図４はフレーム間のフレーム単位の輝度変化情報を
得る態様を示している。メモリに格納された画像（ｎ）
に対して輝度の分布（ヒストグラム）を計算する（Ｈ
（ｎ）とする）。次に画像（ｎ＋１）の輝度ヒストグラ
ム（Ｈ（ｎ＋１））を同様に計算し、Ｈ（ｎ）とＨ（ｎ
＋１）との差分の絶対値を計算する。これにより、フレ
ーム間のフレーム単位の輝度変化量の情報が得られる。

【００１６】次に映像から取り出した情報を使って、再
生速度をコントロールする方法について説明する。図５
はコントロールファイルを得る態様を示している。

【００１７】コンピュータ４は画像処理装置３から変化
量のデータを、再生装置２からのフレーム番号情報と共
に受け取っているので、動画の各フレームについての変
化量情報を持っている。

【００１８】まず、フレーム間の画素単位の輝度変化量
は、画面内の物体の動きに敏感である。逆に動きが少な
ければ、フェードイン、フェードアウトなどについては
あまり出ないという特徴がある。そこで、動きの少ない
ところは飛ばし、動きの多いところはゆっくり見たい場
合に、この変化量を表示重要性の高いものと解釈する。

【００１９】フレーム間のフレーム単位の輝度変化量
は、画面内での物体の移動には比較的鈍感で、フレーム
全体の輝度分布傾向が変化するような場合に大きな値が
出る。そこで、画面内の動きより、場面の変化を注意し
て見たい場合、この変化量を表示重要性の高いものと解
釈する。

【００２０】このようにして計算された表示重要性を、
表示時間に反映させて可変速表示する。まず、コンピュ
ータ４は、早見をする人７から、表示重要性に寄与する
変化量の重み付けと、早見の全体の表示時間を入力して
もらう。コンピュータは、各変化量を重み付けに応じて
和を取り、表示重要性を計算する。次に再生時間から平
均再生速度（各フレームの表示時間）を算出し、それを
表示重要性に応じて増減する。図示のコントロールファ
イルはこの結果を表している。

【００２１】即ち、平均再生速度は、総フレームに対し
て１００秒を要することと早見時間１０秒とにもとづい
て、 １００秒／１０秒＝１０倍速 として得られる。表示重要性は、変化量の重み付けとし
て５：１が指示されたことから、 （画素単位変化量）×５＋（フレーム単位変化量）×１ として得られる。そして、平均再生速度に相当する表示
重要性は、表示重要性についての全フレームの和を３０
０（フレーム）で割り算する。このようにして得られた
結果にもとづいて、各フレームの表示時間が（各フレー
ムの表示重要性）／（平均再生速度に相当する表示重要
性）として得られる。

【００２２】この時、一般の動画映像では１秒間に表示
できるフレーム数が限られているので、それより高速に
は表示できない。例えばＮＴＳＣ信号では１／３０秒以
下の表示は出来ない（偶数フィールド、奇数フィールド
を別のフレームとして扱った場合は１／６０秒）。表示
重要性を表示時間とした場合、この最短表示時間以下に
なったものについては、 １）表示を省略する。 ２）最短表示時間に対する割合に相当する確率で表示す
るかどうかを判定する。 ３）最小表示時間単位（例えば１／３０秒）で四捨五入
する。 などの方法を用いる。

【００２３】また、変化量の評価方法としては、変化量
を積算し、あるしきい値を越えたときに、その前に表示
した画像から推測が出来ない程画像が変わったとして表
示する方法も考えられる。

【００２４】再生装置２が指定したフレームを、指定し
た時間間隔で表示出来ない場合には、あらかじめ見る人
が早見時間などを指示し、それに基づいて選んだフレー
ムを追記型ＬＤや、駒撮り可能なＶＴＲなどに駒撮り
し、それを再生する。この場合、厳密な意味では対話的
に早見の詳しさを変えることは出来ないが、早見用に編
集された動画を一定速で早送り、スロー再生することが
出来れば、その速度を変えることで疑似的には調節可能
である。

【００２５】

【発明の効果】この発明によれば、映像の表示重要性が
少ないところでは高速で飛ばし、多いところではゆっく
り見せると言う方法をとったため、単位時間当たりの情
報量を平滑化することが出来、単なる早送りよりも内容
把握の効率を上げることが可能になる。また、表示重要
性は変化量の重み付けを変更したり、実際の表示時間へ
の反映を変えることで早見の目的に合わせて調整するこ
とが出来、また早見全体にかかる時間も指定することが
でき、それに合わせて再生速度を増減することで変更す
ることが出来るので、早見を行う人の要求する詳しさの
度合い、希望する早見時間に応じた柔軟な表示が可能と
なる。またこの変更は、再生装置の速度制御能力の許す
範囲で、一般の可変速再生のように再生時に対話的に変
更できるので、見ているうちにより詳しく見たくなった
場合でも、その要求に応じられる。また、早見用に編集
されたものは、動画のカタログとしても使用できるの
で、ビデオテープやＬＤの冒頭に入れたり、動画概要の
要約と考えて動画本体の代わりにカタログとして受け渡
したりすることも出来る。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】表示を行う場合の構成を説明する図である。

【図３】フレーム間の画素単位の輝度変化情報を得る態
様を示す図である。

【図４】フレーム間のフレーム単位の輝度変化情報を得
る態様を示す図である。

【図５】コントロールファイルを得る態様を示す図であ
る。

【符号の説明】

１ 映像媒体 ２ 再生装置 ３ 画像処理装置 ４ コンピュータ ５ 変化量データファイル ６ 表示装置 ７ 人間

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭64−68084（ＪＰ，Ａ) 特開 昭63−310293（ＪＰ，Ａ) 特開 平４−72976（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 5/91 - 5/956 H04N 5/85

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 映像媒体を再生装置にて再生して表示す
   る表示処理方法において、映像全体を早見するのに要する早見映像時間長を外部か
   ら指定し、 再生された映像信号にもとづいて明度分布を含む情報を
   取り出した上で、 映像の変化量に対応した変化量データを抽出し、 当該変化量データにもとづいて、早見映像時間長に収ま
   るように各フレームについての表示時間を設定し、 当該表示時間に対応して表示を行うようにしたことを特
   徴とする映像内容圧縮表示処理方法。
2. 【請求項２】 上記変化量データは、フレーム間の画素
   単位の輝度変化量で与えられる情報と、フレーム間のフ
   レーム単位の輝度変化量で与えられる情報とを有するこ
   とを特徴とする請求項１記載の映像内容圧縮表示処理方
   法。
3. 【請求項３】 上記変化量データにもとづいて表示重要
   性を計算しておき、早見についての指示された情報を用
   いて、各フレームの表示時間を抽出してコントロールフ
   ァイルを得るようにしたことを特徴とする請求項１記載
   の映像内容圧縮表示処理方法。