JPH0668163A - 映像地図作成方法 - Google Patents

Abstract

(57)【要約】 【目的】 映像の巨視的なシーン展開に関する情報を把
握できる地図を作成する。 【構成】 本発明の映像地図作成方法は、映像に対し、
映像の不連続な切替点であるカットを、自動検出によ
り、もしくはあらかじめ映像に付与された情報により取
得し、それを用いてカットで区切られる各ショットの長
さを計算し、ショット毎、もしくはある時間区間毎に、
画素データの代表値を計算（規格化）し、この計算され
た代表値について、さらに、大きな時間区間でまとめて
代表値を求め、次に、輝度の平均値、ショット長、フレ
ーム番号もしくは時間の３つを３軸に取って、その座標
空間の該当する位置に座標を取り、さらに、その各座標
点を中心にショット内での変化量の代表値を２次元的広
がりを持つ図形で表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像の内容把握に用い
る映像地図作成方法に関し、特に、フィルム、ビデオテ
ープレコーダ、ビデオディスクなどの映像の内容を把握
する方法に適用して有効な技術に関するものである。

【０００２】

【従来の技術】動画は文章データと異なり、情報量が多
く、意味的にも多義性を持っている。よって、動画を便
利に取り扱うためには、使いやすいインデックスを付与
するなどの補助的な処理が必要である。カット分割はそ
の一つの手法であり、動画を取り扱い易い単位に分割す
る方法である。また、映像から特徴情報を取り出して自
動分類したり、内容を記述する研究も行われている（文
献１：Ｇｏｎｇ，坂内，“動画シーン分類方式及びシー
ン記述言語の一提案”，信学会春全大，Ｄ−４５４，１
９９２、参照）。

【０００３】動画の内容を把握するためには、このよう
な情報を利用して高速に飛ばし見をする方法（文献２：
大辻，外村，大庭，“輝度情報を使った動画ブラウジン
グ”信学技報，ＩＥ９０−１０３，１９９１、参照）
や、最近製品化の進んできたコンピュータを使った編集
システムに多く見られるような、代表画面一覧表示があ
る。

【０００４】

【発明が解決しようとする課題】しかしながら、前記代
表画面の一覧表示等の手法では、比較的短い映像に対し
ては有効であるが、長時間の映像については、代表画面
の選択・表示が困難である。そのため、長時間の映像に
対して、その巨視的な流れを素早く把握するのが困難で
あるという問題があった。

【０００５】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、映像の巨視的なシ
ーン展開に関する情報を把握できる地図を作成する方法
を提供することである。

【０００６】本発明の前記ならびにその他の目的及び新
規な特徴は、本明細書の記述及び添付図面によって明ら
かにする。

【０００７】

【課題を解決するための手段】前記目的を達成するため
に、本発明の映像地図作成方法は、映像に対し、映像の
不連続な切替点であるカットを、自動検出により、もし
くはあらかじめ映像に付与された情報により取得し、そ
れを用いてカットで区切られる各ショットの長さを計算
し、ショット毎、もしくはある時間区間毎に、画素デー
タの代表値を計算（規格化）し、この計算された代表値
について、さらに、大きな時間区間でまとめて代表値を
求め、次に、輝度の平均値、ショット長、フレーム番号
もしくは時間の３つを３軸に取って、その座標空間の該
当する位置に座標を取り、さらに、その各座標点を中心
にショット内での変化量の代表値を２次元的広がりを持
つ図形で表示することを最も主要な特徴とする。

【０００８】

【作用】前述の手段によれば、長時間の動画に対し、ま
ず、カットを自動検出して各々のショットに分解し、シ
ョット毎に輝度や動きの量などの物理量を計算し、それ
を同時に表示することにより、概要を知りたい長時間動
画に対して、動画全体のショット切替のテンポ変化、お
おまかなシーンのかたまり分布などを、実際の動画を見
る前に知ることができるので、高速飛ばし見や検索、編
集などを容易に行うことができる。

【０００９】また、それらの情報を映像に付帯すること
により、映像の要約やインデックスとして利用できる。

【００１０】

【実施例】以下、図面を参照して、本発明の映像地図作
成方法の実施例を詳細に説明する。

【００１１】図１は、本発明の映像地図作成方法を実施
する装置の一実施例の概略構成を示すブロック構成図、
図２は、図１の画像処理装置の処理の流れを説明するた
めのフローチャート、図３は、カットとショットとの関
係を説明するための図である。

【００１２】図１において、１は電子計算機、２はビデ
オテープレコーダ、ビデオディスク装置等に記憶されて
いる映像を再生する映像再生装置、３は画像処理装置、
４，５は記憶装置、６はディスプレイ等の表示装置、７
はキーボード，マウス等の入力装置である。

【００１３】前記電子計算機１は、映像再生装置２及び
画像処理装置３に対してコントロール信号を与え、再生
及び処理の開始を指示する。

【００１４】映像再生装置２は、再生を開始し、画像処
理装置３に対して再生映像信号１１を与え、電子計算機
１に対して、現在のフレーム番号などの映像再生装置２
の状態の情報を与える。

【００１５】画像処理装置３は、電子計算機１からの再
生制御に呼応して輝度等の物理量の測定を行う。そし
て、この測定結果データ１２を電子計算機１に送る。こ
の物理量としては、本実施例では、輝度を使用するが、
これは、Ｒ，Ｇ，Ｂの各成分でも、色相、色差などを使
用しても良い。

【００１６】次に、本実施装置の処理動作について説明
する。

【００１７】図２に示すように、ステップ１０１では、
電子計算機１が映像再生装置２の再生制御と画像処理装
置３の測定制御を行って、対象映像についてのデータを
取得し、画像処理装置３は電子計算機１からの再生制御
に呼応して輝度の測定を開始し、その測定結果を電子計
算機１へ送る。

【００１８】ステップ１０２では、電子計算機１は画像
処理装置３の測定が終了すると、その結果を記憶装置４
に格納する。

【００１９】ステップ１０３では、電子計算機１は前記
記憶装置４に格納された測定結果のカットの場所を検出
する。

【００２０】ステップ１０４では、ステップ１０３で検
出されたカットの場所の情報を用いてショット毎、ある
いは、ある時間区間単位に分解し、ステップ１０５で各
ショット（時間区間単位）毎の物理量を計算する。この
際、すでにカットの情報が記憶装置４に存在すればそれ
を用い、存在しなければ、測定結果を用いてカットの自
動検出を行う。この時必要があれば、電子計算機１は操
作者から経由でカット自動検出を調整するパラメータの
設定等の情報を取得する。電子計算機１は計算した結果
を記憶装置５へ出力して格納する。

【００２１】ステップ１０６では、電子計算機１は記憶
装置５に格納された測定結果を時間順に合成して地図を
作成し、表示装置６に表示する。ショット毎の特徴量を
時間的に近いショットで平均し、巨視的な傾向を出す。
この際、必要があれば、表示装置６を見る人が、入力装
置７から平均を取る範囲や最終な表示方法の変更指示を
入力し、電子計算機１はそれを反映し地図の表示を変更
する。

【００２２】なお、ここで、記憶装置４と５の２つを備
えているのは、混乱を避けるため単に元になるデータ
と、処理後のデータを分けるためである。したがって、
物理的に同じディスクに記憶しても構わない。

【００２３】ここで、カットとショットとの関係につい
て説明する。

【００２４】図３に示すように、カットは、「映像の切
替点」のことであり、例えば、ビデオカメラで撮影して
いる場合、ある風景を撮影してから録画を止めて、次に
近くの人物にカメラを向けて撮影を再開した場合、この
切替点の１フレームがカットに相当する。また、フィル
ム等で撮影されたものを編集するとき、いらない部分を
鋏で切って、前後をつなげた場合はその切った点のフレ
ームがカットに相当する。つまり、カットは原則として
１フレームからなる時間の１点である。それに対して、
ショットは、カットで区切られた部分であるから、２つ
のカットに挟まれた映像部分を指す。

【００２５】以下に前述した各処理の詳細を説明する。

【００２６】（１）カット検出 動画像のカット（映像の時間的に不連続な点）を検出す
る。ここでは、検出手法として、輝度変化面積の時間変
化判定の方法を用いるが、ブロック別の色相関を用いる
方法などの他の方法を利用してもかまわない。また、タ
イムコードなど映像作成、編集時に付加された情報か
ら、カットの位置が分かれば、それを使うことも可能で
ある。

【００２７】（２）ショット分解 次に、検出されたカット情報を用いて、映像をショット
（連続した二つのカットに挟まれた部分）に分解する。

【００２８】各ショットは原則として、ショットの開始
点であるカットのフレームから、ショットの終了点であ
るカットの前のフレームまでのフレームで構成される。
しかし、残像が数フレームに及ぶ様な残像の多いテレシ
ネ変換を用いて作成されたビデオ映像など、カットとみ
なされる時間区間が１フレーム時間（ＮＴＳＣ方式のビ
デオの場合、１／３０秒）より長い場合は、カット近傍
でその時間幅に相当するフレームを、ショットを構成す
るフレーム群から取り除いて扱う。この理由は、次に行
う各ショット毎の物理量計算において、カットにおける
物理量の大きな変動の影響が入るのを防ぐためである。

【００２９】（３）ショットの代表値算出 次に、各ショットを性格付ける物理量を求める。各ショ
ットを構成するそれぞれのフレームについて、測定され
た物理量から、そのショットの代表値を計算する。代表
値として、ここでは平均値を用いるが、これはモードや
メジアン等も用いることができる。扱う物理量は、ショ
ットの性格を良く表すものが望ましい。例えば、次のよ
うなものが考えられる。

【００３０】（ａ）ショット長 ショット長は、シーンのテンポを表している。

【００３１】（ｂ）フレームの輝度平均値 ショットの撮影された場所、時間等を表す。例えば、映
画で、野球のナイター試合を表す一連のショット群で
は、輝度の平均がほぼ同じである。昼間の場面と夜の場
面では、平均輝度が異なる。

【００３２】（ｃ）輝度のフレーム間差分和、又は輝度
があるしきい値以上変化した画素の割合（面積） 画素単位の変動は、ショットの動きの激しさを示してい
る。

【００３３】（ｄ）輝度ヒストグラムのフレーム間差
分、又はフレーム間相関（ピアソンの相関係数） 輝度ヒストグラムのフレーム間差分、又はフレーム間相
関は、輝度分布の変動の度合を示す。これは（ｂ）のフ
レーム間差分などに比べて、画面内の動きでは比較的小
さな値しかでないが、雷やカメラのストロボで大きな値
が発生する。

【００３４】各量は、後の処理のために規格化してお
く。これらは、一つ一つのショットではかなりばらつき
があるが、数十ショットで平均して見ると、一つのつな
がりのシーンである特定の値を取る傾向がある。
（ａ）,（ｂ）は、映像内における各ショットの位置を
表す巨視的な情報であり、（ｃ）,（ｄ）は、各ショッ
トでの変化や動きの状態を示す局所的な情報である。

【００３５】（４）代表値処理 算出された各ショット毎の物理量の、ある区間での代表
値を計算する。代表値としてここでは平均を用いるが、
モードやメジアンなど他の手法を用いてもよい。

【００３６】映像全体の流れを見るには、各ショット毎
の値は変動が細か過ぎるので、これを時間的に近いショ
ットで平均し、巨視的な傾向をだす。例えば、各ショッ
トについて前後数十ショットの平均値を順次各ショット
について計算する。

【００３７】この値は比較的に滑らかに変化するので、
映像の時間的に巨視的な変化傾向を知ることができる。

【００３８】図４乃至図７は、ショット長（図４）、輝
度が変化した面積（図５）、輝度ヒストグラム相関（図
６）、輝度平均値（図７）を、前後１０ショットずつ計
２０ショットずつ平均してプロットしたものである。こ
れらの図４乃至図７は、実際の映像の画素データから代
表値を計算したもので、映像地図を作成する際に用いる
ものである。用いた映像は約１００分の映画である。各
データは、まず、ショット毎の代表値として平均値を求
め、次に前後１０ショット計２０ショットずつ平均をと
って大きな時間単位の代表値とし、それを時間順に表示
している。

【００３９】図４は、本実施例のショット長の時間推移
を示すグラフであり、横軸は時間（分）、縦軸は時間
（秒）である。

【００４０】図５は、本実施例の輝度が変化した面積の
ショット内平均の時間推移を示すグラフであり、横軸は
時間（分）、縦軸は面積で最大値が１である。

【００４１】図６は、本実施例の輝度ヒストグラムのシ
ョット内平均の相関係数の時間推移を示すグラフであ
り、横軸は時間（分）、縦軸は相関係数で最大値（相関
が最も高い）が１である。

【００４２】図７は、本実施例の輝度平均値のショット
内平均の時間推移を示すグラフであり、横軸は時間
（分）、縦軸は輝度平均で最大輝度が１、最小が０であ
る。

【００４３】この場合、孤立的に大きく異なる値を持つ
ショットが存在すると前後のショットに影響を及ぼす。
よって必要があれば、あらかじめ物理量のしきい値処理
により極端な値のショットを検出して登録し、このあと
の平均処理からは取り除く。図４乃至図７の例では、こ
の処理は行っていない。

【００４４】時間軸において、どのくらい細かく知りた
いかの調整は、平均を取るショットの範囲を変えること
で可能となる。平均を取らなければ、微視的な各ショッ
ト単位の変動を知ることができ、前後の広い時間範囲で
平均を取れば、より巨視的な変動を見ることができる。
平均を取る範囲の設定は、ここでは、ショット数で指定
しているが、これを時間で指定（あるショットの前後２
０００フレームに含まれるショット等）することもでき
る。この場合は、長いショットの影響が大きく出ること
になる。

【００４５】なお、前述の説明では、各ショット毎に物
理量を計算したが、ショット単位でなく、任意の時間区
間（例えば２００フレーム）を単位として物理量を平均
して解析する方法も考えられる。この場合は、長いショ
ットが多い場合にも、ショット長より短い尺度での時間
変動を見ることが可能になるという利点がある。

【００４６】ただし、変化量に関する物理量（輝度ヒス
トグラムの相関値など）のカットでの極端な値が平均に
大きな影響を与えるのを防ぐために、カットに相当する
フレームは、平均を取る前に取り除いておく必要があ
る。

【００４７】（５）映像の特徴量定義 巨視的な位置を表す輝度平均、ショット長さの情報をも
とに、全体の流れの量を定義する。まず、ショットの長
さを規格化し、その逆数をもって“映像のテンポ”と定
義する。輝度平均をもって“映像の位置”と定義する。
これは輝度平均以外にも、撮影時刻や場所の情報等を用
いることもできる。

【００４８】次に、輝度相関とフレーム間差分の情報を
元に、各映像部分の性質量を定義する。まず、フレーム
間差分量や、画素変化面積をもって“映像の動き”とす
る。さらに輝度相関の最大値から各相関値を引いたもの
や、輝度ヒストグラムの差分をもって“映像の変動”と
する。

【００４９】これらは、色相などの情報を組み合わせて
定義することもできる。

【００５０】（６）地図作成 映像の特徴量を元に映像全体の流れを表す地図を作成す
る。

【００５１】映像の時間の流れ（フレーム番号列）に沿
って、縦軸を“映像のテンポ”、横軸を“映像の位置”
にとって、点をプロットする。これにより、映像の各部
分の巨視的な位置が一覧できる。なお、この３軸の取り
方はわかり易い様に任意に取ればよい。

【００５２】さらに、各点で、映像の動きと変動を２次
元図形で表示する。例えば、図８に示すように、横軸に
動き、縦軸に変動をとり、各々の量を表す十字を表示す
る。

【００５３】図８は、図４乃至図７の代表値を元に映像
地図を作成する一例であり、縦軸は“映像のテンポ”、
横軸は“映像の位置”、奥行き方向が、映像が進行して
ゆく時間軸である。また、各プロット点における十字は
縦の長さが映像の変化、横が映像の動きを示す。

【００５４】この２次元図形で表示により、映像の各部
分での動きの性質を同時に把握できる。縦横共に大きな
十字は、アクションシーンを示し、その逆は静かなシー
ンである。横のみに大きな十字は画面内での普通の動き
や、カメラ操作を示す。縦のみに大きな十字は、カメラ
のストロボや落雷、また、フェードイン・アウトを含む
部分であることを示す。

【００５５】以上、本発明を、前記実施例に基づき具体
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。

【００５６】

【発明の効果】以上、説明したように、本発明によれ
ば、概要を知りたい長時間動画に対して、動画のテンポ
変化、位置等映像全体における各部分の相対位置という
巨視的な情報を一覧でき、同時に、各時間部分での動き
の性格という微視的な情報を同時に把握することができ
る。

【００５７】また、各量の分布から、おおまかなシーン
のかたまり等も視覚的に把握することができる。これら
の情報を実際に動画を見る前に知ることが可能となり、
高速飛ばし見や検索、編集などを容易に行うことができ
る。

【００５８】また、それらの情報を映像に付帯すること
により、映像の要約やインデクスとして利用できる。

【図面の簡単な説明】

【図１】 本発明の映像地図作成方法を実施する装置の
一実施例の概略構成を示すブロック構成図、

【図２】 図１の画像処理装置の処理の流れを説明する
ためのフローチャート、

【図３】 本実施例のカットとショットとの関係を説明
するための図、

【図４】 本実施例のショット長の時間推移を示すグラ
フ、

【図５】 本実施例の輝度が変化した面積のショット内
平均の時間推移を示すグラフ、

【図６】 本実施例の輝度ヒストグラムのショット内平
均の相関係数の時間推移を示すグラフ、

【図７】 本実施例の輝度平均値のショット内平均の時
間推移を示すグラフ、

【図８】 本実施例の図４乃至図７の代表値を元に映像
地図を作成する一例を示す図。

【符号の説明】

１…電子計算機、２…映像再生装置、３…画像処理装
置、４，５…記憶装置、６…表示装置、７…入力装置。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 映像に対し、映像の不連続な切替点であ
   るカットを、自動検出により、もしくはあらかじめ映像
   に付与された情報により取得し、それを用いてカットで
   区切られる各ショットの長さを計算し、ショット毎、も
   しくはある時間区間毎に、画素データの代表値を計算
   し、この計算された代表値について、さらに、大きな時
   間区間でまとめて代表値を求め、次に、輝度の平均値、
   ショット長、フレーム番号又は時間の３つを３軸に取っ
   て、その座標空間の該当する位置に座標を取り、さら
   に、その各座標点を中心にショット内での変化量の代表
   値を２次元的広がりを持つ図形で表示することを特徴と
   する映像地図作成方法。