JP2695415B2 - 動画像信号の拾い見装置 - Google Patents

Description

【発明の詳細な説明】 （発明の属する技術分野） 本発明は、テレビジョン放送、ビデオテープレコーダ
（以下VTRと略す）、ビデオディスクなどの動画像信号
から、自動的に代表的な画面を抽出することにより、拾
い見（ブラウジング、brouzing）を行う装置に関するも
のである。 （従来の技術） VTRなどの動画メディアと、書籍、雑誌などの活字メ
ディアとを比較した場合、前者の場合は簡単に拾い見が
しにくいという欠点がある。即ち後者の活字メディアの
書籍等なら、手にとってバラバラとページをめくること
により、その本に何が書かれていて、自分が必要とする
情報がどのあたりのページにあるのか、容易に内容を知
ることができる。 これに対し、前者の動画メディアである１本のビデオ
テープだけが仮に与えられた場合、そこに何が記録され
ているかを知るためには、そのビデオテープをVTRにか
けて再生してみる必要がある。そして、普通に再生した
のでは、１本のビデオテープを見るだけでもかなり長い
時間がかかる。このことは、VTRだけでなく、テレビジ
ョン放送やレーザーディスクも同様であり、動画像の持
つ一般的性質と言える。もし、そのビデオテープの代表
的な画面を自動的に抽出することができれば、目的のシ
ーンを捜したり、頭出しや編集をする上で大変便利であ
る。 従来、長時間に渡る動画像信号を短時間で見たいとい
う要求を満たすことを目的とし、種々の方式が開発され
ているが、次に述べるように、その機能には制約や限界
があった。 まず、VTRにおいては、倍速再生機能を備えて対応し
ている。例えば120分テープを、３倍速で見れば、40分
で見ることができ短縮化される。しかし、ビデオテープ
に何が録画されているかに無関係に一定の速度で再生さ
れるため、カットの長短や被写体の動きの激しさに拘ら
ず、悪平等で扱われてしまう。情報の変化の激しい部分
では低速でじっくりと見て、変化の少ない部分は高速
で、はしょって見ることが望ましいが、そのようなこと
はできず、同一の速度で再生される。また、倍速の倍数
を上げてゆくと、時間が短縮される反面画面の動きが激
しくなり、チラチラして見にくくなる欠点もある。 これとは別に、VTRにおいて、事前に記録しておいた
頭出し信号を、再生時に検出することにより、自動的に
頭出しを行う方式も開発されている。例えばVISS（VHS
Index Search System）では、ビデオテープの希望の位
置にインデックスコードを書き込むことができ、再生時
にはそのインデックスコードを目印にして、頭出しを行
う。このインデックスコードは、ビデオテープが停止し
ている状態で録画ボタンが押された場合には、録画開始
時点に書き込まれる。また、既に録画済みのビデオテー
プについては、手動で任意の位置にインデックスコード
を書き込むこともできる。しかし、いずれにせよ、イン
デックスマークの書き込み位置の指定には手動操作が必
要であるから、操作が面倒であるという欠点がある。ま
た、ビデオテープには通常の動画像信号や音声信号に加
えてインデックスコードを記録する“場所”が必要とな
るという欠点もある。 なお、本願出願前に、例えば隣接する２つのフレーム
間での差分を計算してシーンチェンジを行うことを意図
したものがある（特開昭60−172892号公報参照）が、例
えばあるカメラからの画像から他のカメラからの画像へ
徐々に画面を切換えてゆくような場合では、十分に機能
しないことが生じる。 （発明の目的） 本発明は、動画像信号自体から少なくとも１フレーム
分を間に置いた状態で距ったフレーム間、もしくは少な
くとも１フィールド分を間に置いた状態で距ったフィー
ルド間の差異を算出して、シーンチェンジの位置または
時刻と、その位置の画面を抽出することにより、短時間
で必要とする動画像の拾い見が可能な装置を得ることを
目的とするものである。 （発明の構成） （発明の特徴と従来の技術との差異） 本発明は、上記目的を達成するため動画像信号のフレ
ーム間もしくはフィールド間の差異を算出し、その差異
が定められた基準を越えた場合にシーンチェンジとみな
して、その位置情報または時刻情報と、その位置または
時刻における画像情報と、もしくはそのいずれかを抽出
することにより、動画像の早見を可能とすることを特徴
とするものである。本発明は従来の技術とは、動画像信
号の少なくとも１フレーム分を間に置いた状態で距った
フレーム間、もしくは少なくとも１フィールド分を間に
置いた状態で距ったフィールド間の差異を利用してシー
ンチェンジを早見する点が異なる。 （実施例） 第１図は本発明の第１の実施例の構成を示すブロック
図であって、図において１は早見の対象である画像信号
源、２はフレーム間差異算出部、３はシーンチェンジの
判定部、４はシーンチェンジの代表画面記憶部、５は画
像表示部である。 画像信号源１は、テレビジョン受像機、TVカメラ、VT
R、ビデオディスクなど、動画像信号を出力するものを
抽象化し表示したものである。画像信号源１から与えら
れた動画像信号は、アナログもしくはディジタルの信号
である。既に知られているように、アナログ演算をディ
ジタル演算に、または逆にディジタル演算をアナログ演
算に、それぞれ置き換えることは容易であるから、本発
明の構成上はいずれも差し支えないが、ここでは、説明
の便宜上、ディジタルの場合について述べる。画面が横
ｍ画素、縦ｎ画素からなっている場合、先頭からｋ番目
のフレームの、左からｘ番目で上からｙ番目の画素の輝
度値を、 ｆ（x,y,k） とする。 このように、動画像は、空間軸と時間軸を合わせれば
３次元であるが、走査により、１次元信号に変換して扱
う場合が一般的で、画像信号源１から出力された状態で
は、そのような１次元信号になっている。TV放送などで
は2:1インタレース方式が採用されており、本発明はそ
のような場合にも適用できるが、ここでは説明の便宜
上、インタレースは行われていないものとする。この場
合、時間的に古い方から新しい方へ順番に書くと、ま
ず、ｋ−１番目（第２図参照）のフレームの輝度値が現
われる。 その後、次のように、ｋ番目（第２図参照）のフレー
ムの輝度値が続く。 このように１次元の時系列として与えられたディジタ
ル動画像信号は、フレーム間差異算出部２に送られる。
このフレーム間差異算出部２は、与えられた動画像信号
のフレーム間の差異を算出する機能を有し、少なくとも
ｄフレーム分（ｄは正整数）のメモリを持っており、そ
こには直前のｄフレームの輝度値 ｆ（x,y,k−ｌ） 但し１≦ｘ≦m,1≦ｙ≦n,1≦ｌ≦ｄ が格納されている。フレーム間差異算出部２は、直前の
フレームの値と、新たに入力として与えられたデジタル
動画像信号 ｆ（x,y,k） 但し１≦ｘ≦m,1≦ｙ≦ｎ との差異Ekを、例えば次の式により算出する。 このEkの値は、判定部３に送られ、ここで、予め定め
られたしきい値Ｔと比較されることにより、シーンチェ
ンジが起こったか否かが判定される。もしEkがＴより小
さければ、シーチェンジがなかったものとされる。これ
に対しEkがＴより大きければ、現フレームと直前のフレ
ームとの差異が大きいので、現フレームと直前のフレー
ムとの間で、シーンチェンジが起こったものとみなされ
る。すなわち、現フレームは、シーンチェンジの直後の
画面ということになる。 第２図は上述した第１図の動作説明のフレーム図であ
る。第２図は、フレームｄ＝１の場合を示しているの
で、Ekは互いに隣接したフレーム間（例えば５番目と６
番目）での差異Ekを表わす。しかし、第２図図示の場合
には、後述する如くシーンチェンジを検出できないこと
があり、本願発明の対象外である。これに対し、第３図
は、ｄ＞１の場合であり、この場合の差異はEkは隣接フ
レーム間ではなく、やや離れたフレーム間（例えば３番
目と６番目）の差異を表わす。 テレビジョンなどにおいて、高機能のスイッチャーを
用いてあるカメラから別のカメラへ徐々に画面を切り替
えて得た動画像信号の場合、隣接するフレーム間の差異
は僅かだが、数フレームへだてて見ると全く異なること
がある。このような場合、ｄ＝１によるシーンチェンジ
を検出できない可能性があるが、ｄ＞１とすれば、確実
に検出できる。 上述した判定部３の判定結果は、代表画面記憶部４に
伝えられる。代表画面記憶部４は、フレーム間差異検出
部２から、シーンチェンジが起こった旨の情報を受け取
った場合、次ののいずれか、もしくは両方の動作を
行う。 該当するフレームの輝度情報をそのままの画素数
で、またはサブサンプリング等で間引いて記憶する。こ
こで、間引きを行うのは、記憶に必要なメモリを節約
し、少ないメモリで多くの画面を記憶させるためであ
る。例えば、もとの画像の画素数が縦Ｖ×横Ｗである場
合、縦、横とも1/Nに間引いて縦V/N×横W/Nとすれば、
間引きを行わない場合と比較して、同じ容量のメモリに
Ｎ×Ｎ倍のフレームを記録できる。 該当するフレームの位置情報を記憶する。この位置
情報とは、例えば当該動画像信号の先頭からのフレーム
数、または、当該動画像信号の先頭からの経過時間、即
ち時刻情報など、フレームを一意に識別できるような情
報である。すなわち、アドレス情報のようなものであ
る。前述の（１）式などにおけるｋは、先頭からのフレ
ーム数であるのでこのフレームの位置情報を記憶してお
けば、後で、それに基づいて頭出しを行うことが可能で
ある。 さて、第１図に戻り画像表示部５は、CRT、液晶表示
素子などの表示素子とその周辺回路から構成されてお
り、代表画面記憶部４に記憶されている画面を表示する
機能を有する。即ち、代表画面記憶部４に記憶された画
面は、第４図に示す表示例のようにして画像表示部５へ
表示され、ここでは、16枚の画面を同時に表示したもの
である。ここに表示された画面は、もとの動画像信号の
代表的な画面であるから、これだけを見れば、もとの動
画像信号の要点を早見することができる。 この結果から明らかなように、動画像信号自体から、
自動的にシーンチェンジの位置を抽出できるものであ
る。 なお、フレーム間差異Ekは、フレーム間の差異が大き
いときに大きく、差異が少ないときに小さい値になるも
のであれば良いから、その算出法としては、前記（１）
式以外にも種々考えられる。例えば、（１）式の代りに
（２）式または（３）式を用いても良い。 ここで、（２）式は、（１）式における２乗を、絶対
値で置き換えたものである。また、（３）式は、３原色
で表わされたカラー画像の場合に適用される式の一例で
あり、ｒは赤（red）成分、ｇは緑（green）成分、ｂは
青（blue）成分を表わす。（３）式において、r,g,b
を、Y,I,Qで置き換えても良い。ここでＹはNTSC方式に
おける輝度信号,IとＱは色度信号である。 以上は、フレーム間の差異を算出して行なったが、フ
ィールド間の差異を算出しても同様にシーンチェンジの
早見が出来る。 第５図は、本発明の第２の実施例の構成を示すブロッ
ク図であり、第１図と同一数字符号は同じものであり、
これは画像信号源としてVTR6を使用した場合であり、タ
ッチパネル７およびVTR制御部８を付加してある。 VTR6から与えらた動画像信号から、自動的にシーンチ
ェンジを検出し、画像表示部５に表示する迄は、第１の
実施例と同様である。画像表示部５のCRTや液晶などの
表示素子の手前側にタッチパネル７が置かれている。こ
のタッチパネルは、指などで押された点の座標情報を、
圧力による抵抗変化、または光の遮断などを検知するこ
とで動作する座標入力装置である。したがって利用者が
指などでタッチパネルを押下し希望の画面を選択する
と、その座標情報からどの画面が選択されたのかが割り
出され、それに対応するフレームの位置情報が代表画面
記憶部４から読みだされ、VTR制御部８に送られる。VTR
制御部は、指定されたフレーム迄VTR6のビデオテープを
正方向または逆方向に回転させ、その後、その位置から
再生する。これにより、利用者は、ビデオテープの頭出
しが容易にできる。なお、この原理は、VTRだけでな
く、レーザーディスクなど、すべてのパッケージ系動画
像メディアに適用できる。また、タッチパネルの代わり
に、ライトペン、タブレット、マウスなどを用いること
もできる。 第６図は、本発明の第３の実施例の構成を示すブロッ
ク図であって、VTR6にインデックスコードを書き込むた
め、インデックスコード記憶制御部９を有する。 ここで、VTR6は、前述のVISS機能を有するVTRである
とする。この実施例では、判定部３でシーンチェンジが
検出されると、その情報がインデックスコード記憶制御
部９に伝えられる。このインデッスクコード記憶制御部
は、自動的にテープのその位置にインデックスコードを
書き込む。従って、従来をVISSのように、いちいち利用
者がテープを見ながらインデックスコードを打ち込む面
倒がなくなる利点がある。 （発明の効果） 以上説明したように、本発明は動画像信号自体から、
自動的にシーンチェンジの位置が検出され、その直後の
フレームもしくはフィールドの信号のみが代表画面記憶
部に記憶されるので、代表画面記憶部に記憶された画面
だけを見れば、動画像を全て見なくてもおおよそその内
容が短時間に拾い見ができる利点がある。

【図面の簡単な説明】 第１図は本発明の第１の実施例の構成を示すブロック
図、第２図および第３図は本発明の動作説明のフレーム
図、第４図は代表画面記憶部４に記憶された画面の画像
表示部５への表示例、第５図は本発明の第２の実施例の
構成を示すブロック図、第６図は本発明の第３の実施例
の構成を示すブロック図である。 １……画像信号源、２……フレーム間差異算出部、３…
判定部、４……代表画面記憶部、５……画像表示部、６
……VTR、７……タッチパネル、８……VTR制御部、９…
…インデックスコード記録制御部。

フロントページの続き (72)発明者 石橋 聡 東京都千代田区内幸町１丁目１番６号 日本電信電話株式会社内 (72)発明者 浜野 輝夫 東京都千代田区内幸町１丁目１番６号 日本電信電話株式会社内 (56)参考文献 特開 昭60−172892（ＪＰ，Ａ) 特開 昭58−120382（ＪＰ，Ａ)

Claims (1)

1. (57)【特許請求の範囲】 １．与えられた動画像信号についての、少なくとも１フ
   レーム分を間に置いた状態で距ったフレーム間、もしく
   は少なくとも１フィールド分を間に置いた状態で距った
   フィールド間の差異を算出し、その差異が定められた基
   準を越える場合にシーンチェンジとみなして前記動画像
   の代表画面を記憶し、表示せしめることを特徴とする動
   画像信号の拾い見装置。 ２．与えられた動画像信号のフレーム間もしくはフィー
   ルド間の差異を算出し、その差異が定められた基準を越
   えた場合にシーンチェンジとみなして前記動画像の代表
   画面を記憶し、縮小表示せしめる動画像信号の拾い見装
   置において、 インデックスコード記憶制御部を有し、 判定部でシーンチェンジが検出されると自動的にテープ
   のその位置にインデックスコードを書き込むことを特徴
   とする動画像信号の拾い見装置。