JP3473864B2 - ビデオ情報検索方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理装置を用いて
ビデオ情報をインタラクティブに検索する場合のビデオ
情報検索方法に関する。

【０００２】

【従来の技術】高度の情報化社会において、日々の活動
はネットワークを通じ、情報処理装置（コンピュータ）
を用いて情報の生成、検索、授受等を行いコミュニケー
ションをする。このようなコミュニケーション環境下に
おいて、情報の扱い易さがコミュニケーションの円滑化
に大きく寄与することとなる。特に、氾濫した情報から
利用者の所望の情報を容易に検索することの必要性が生
じる。情報の検索に関してその形態を大きく３つに分類
することができる。検索対象が明確であり、概念的に的
確なキーワード等を用いて表現できる場合のキーワード
検索をハンティングと呼ぶ。また、検索の目的意識無く
試行錯誤的に所望の情報に近づく検索方法をブラウジン
グと呼ぶ。そして、ブラウジング同様検索の目的意識は
なく、むしろあれこれ眺めながら発見的に情報を収集す
るタイプの検索をグレージングと呼ぶ。

【０００３】従来、情報がテキスト等の文書または書籍
の場合、情報は構造化することが技術的に可能であり、
キーワードによるハンティング検索方法が広く用いられ
ている。

【０００４】また、ブラウジングまたはグレージング検
索の研究では、情報を仮想空間に三次元的遠近法を用い
て表現し、遠く離れた所から情報を観察すると粗い大ま
かな情報が得られ、近づくにつれて細かく詳しい情報が
得られるようなシステムが報告されている（Jock D.Mac
kinlay,George G.Robertson and Stuart K.Card,ThePer
spective Wall: Detail and Context Smoothly Integra
ted,Proceedings ofCHI'91 Human Factors in Computin
g Systems,pp.173-179,1991、参照）。

【０００５】情報量の多いビデオを対象とした研究で
は、シーンチェンジを用いブラウジングする方法（大
辻、外村、大庭：「輝度情報を使った動画ブラウジン
グ」、信学技報、IE90-103,1991、参照）やビデオを細
かくアイコンメタファーで一覧表現し検索の容易性を実
現している（外村、安部：「動画像データベースハンド
リングに関する検討」、信学技報、IE89-33,1989、参
照）。

【０００６】また、検索したいビデオシーンのビデオ中
の時間的な位置（場所）を検索者に意識させつつ、所望
のシーンを検索する方法（Magnifier Tool）も報告され
ている（Michael Mills,Jonathan Cohen and Yin Yin W
ong,A Magnifier Tool foe Video Data,Proceedings of
CHI'92 Human Factors in Computing Systems,pp.93-9
8,1992、参照）。

【０００７】

【発明が解決しようとする課題】しかしながら、前記報
告されている従来の技術または実現されているビデオ情
報の検索方法（ブラウジング、グレージング）では、検
索過程や所望のビデオシーンのビデオ中の時間的な位置
（場所）及びビデオ構造上の位置（場所）を検索者に意
識させつつ、効率よく検索することは不可能である。す
なわち、仮想空間に三次元的遠近法を用い表現する報告
では、ビデオに関して検討させておらず、シーンチェン
ジを用いブラウジングの報告では、検索過程や所望のビ
デオシーンをビデオ中の時間的な位置（場所）及びビデ
オ構造上の位置（場所）を検索者に意識させることは不
可能であり、ビデオを細かくアイコンメタファーで一覧
表現し検索する方法では、同様に検索過程や位置（場
所）を検索者に意識させることは不可能であり、Magnif
ier Toolでは、ビデオの構造を積極的に用いていない。
前述したように、従来報告されている技術は種々の問題
点を抱えている。

【０００８】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、検索過程を直感的
にしかも効率よく行うことが可能なビデオ情報検索方法
を提供することにある。

【０００９】本発明の前記ならびにその他の目的及び新
規な特徴は、本明細書の記述及び添付図面によって明ら
かにする。

【００１０】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。

【００１１】本発明は、所定のビデオ情報が、フレー
ム、ショット、シーンを含む階層に構造化された構造化
ビデオ情報を構造化ビデオ情報蓄積・管理部に蓄積して
おき、情報処理装置によって、前記構造化ビデオ情報蓄
積・管理部に蓄積された構造化ビデオ情報を検索するビ
デオ情報検索方法であって、前記構造化ビデオ情報蓄積
・管理部には、前記各階層を代表する画像が蓄積されて
おり、前記情報処理装置が、前記構造化ビデオ情報のあ
る階層の画像ｉの下位階層の画像ｊを、２次元平面上で
４角形を形成するように、複数行、複数列の行列状に、
時間順に並べ、各画像ｊの輝度値あるいは色を変換する
ことにより、画像ｊを並べた２次元平面全体により前記
画像ｉを表現することを特徴とする。

【００１２】また、本発明では、前記画像ｊを拡大する
ことにより、前記情報処理装置が、画像ｊの下位階層の
画像ｋを、２次元平面上で４角形を形成するように、複
数行、複数列の行列状に、時間順に並べ、各画像ｋの輝
度値あるいは色を変換することにより、画像ｋを並べた
２次元平面全体により前記画像ｊを表現することを特徴
とする。

【００１３】

【００１４】

【００１５】

【００１６】

【作用】前述の手段によれば、ビデオ情報源のビデオ特
徴を解析し、該解析結果を階層的に構造化し、該ビデオ
情報源の階層構造を可視化し、該可視化ビデオ情報へア
クセスするビデオ情報検索方法において、前記ビデオ情
報解析処理は、ビデオの画像、音声、字幕、タイムコー
ド、外部入力信号を解析し、ビデオ情報の空間的変化特
徴及び時間的変化特徴を抽出し、前記ビデオ構造化処理
は、ビデオの画像、音声、字幕、タイムコード、外部入
力信号を解析し、ビデオ情報の空間的変化特徴及び時間
的変化特徴を抽出した条件による構造条件を基に階層的
に構造化することより、ビデオ情報から所望のビデオま
たはシーンを検索する場合に、検索者と所望情報との位
置関係を検索者に意識させつつビデオ構造の積極的利用
を行うので、検索過程を直感的にしかも効率よく行うこ
とができる。

【００１７】

【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。

【００１８】図１は本発明にかかる情報処理装置（コン
ピュータ）を用いてビデオ情報検索方法を行う一実施例
の機能構成及びその処理手順を示すブロック機能構成図
であり、１０１はビデオの特徴（インデスク）がビデオ
に付加されているかどうか判断するビデオ特徴判断部、
１０２は特徴（インデスク）を抽出してビデオに付加す
るビデオ情報解析処理部、１０３は階層的に構造化する
階層的構造化処理部、１０４は構造化条件情報蓄積部、
１０５は構造化ビデオ情報蓄積・管理部、１０６は構造
化ビデオ情報（階層構造）に基づいてビデオの可視化を
行う構造化情報可視化処理部、１０７はビデオ情報アク
セス部である。

【００１９】本実施例のビデオ情報検索方法は、図１に
示すように、入力されたビデオは、デオ特徴判断部１０
１において、ビデオの特徴（インデスク）がビデオ情報
に付加されているかどうかを判断する。もし、付加され
ていないときは、ビデオ情報解析処理部１０２におい
て、前記ビデオ情報に入力ビデオの特徴（インデスク）
を抽出して付加する。

【００２０】ここで、ビデオ情報解析処理部１０２で抽
出される特徴（インデスク）とは、ビデオ情報の物理的
な特徴（輝度、色の変化、被写体の動き等）からビデオ
構造に寄与する意味のある特徴（シーンチェンジ点、カ
メラ操作、ショット、シーン、ストーリー等）が自動ま
たは半自動で抽出され、記述されて入力ビデオに付加さ
れる。例えば、シーンチェンジ検出に関する方法として
大辻他が報告している（K.Otsuji,Y.Tonomura,Projecti
on Detecting Filter for Video Cut Detection,ACM Mu
ltimedia'93 Conference Proceedings,pp.251-257,199
3、参照）。

【００２１】また、カメラ操作抽出に関して阿久津他が
報告している（阿久津、外村、時空間画像を用いたグロ
ーバルな動き情報の抽出、１９９２年電子情報通信学会
秋季大会、参照）。

【００２２】被写体の認識によるビデオのインデクシン
グに関して上田他が報告している（上田他、動画像解析
結果に基ずく映像情報のブラウジング、１９９４年電子
情報通信学会春季大会、参照）。

【００２３】これらの報告されている方法を用いて自動
または半自動でビデオの特徴をインデクスとしてビデオ
に記述、付加する。

【００２４】ビデオ特徴（インデクス）情報が記述、付
加されたビデオは、階層的構造化処理部１０３におい
て、階層的に構造化する。ビデオ特徴（インデクス）情
報を用いない単純な階層構造の例を図２に示す。この例
は、ビデオの時間解像度を用いたものを示している。上
層に向かうほど時間解像度が粗くなり（時間サンプリン
グ間隔が大きくなる）、例えば、最上位層では、最下位
層の１０００倍速に相当する。

【００２５】また、ビデオ特徴（インデクス）情報を用
いることにより、単純な時間サンプリングから代表画面
によるサンプリングが可能となる。上位層は下層の代表
画面で構成される。

【００２６】次に、図３に示した階層は、ビデオ特徴
（インデクス）の物理的な情報を用いた階層を示してい
る。輝度、色の変化、被写体の動き等の物理的な情報を
用い特徴の連続性から順次最上位層の映像を時間的に分
割した例であり、最下位層では、フレーム、画素等のレ
ベルまで分割し、階層的に構造化しているものである。

【００２７】また、ビデオには第４図に示したような下
層の物理的な層から上層の意味的な層をなす階層構造が
存在すると考えられる。この構造は、各層における情報
が図に示した単位（画素、セグメント、フレーム、ショ
ット、シーン、ストーリー）で管理されていると考えら
れる。

【００２８】この場合の例を映画を用いて具体的に説明
すると、最上位層では「タイトル」が次に「代表的なシ
ーン」がそして各「ショット」という具合にビデオは意
味的に階層的に構造化する。

【００２９】以上説明した階層構造は、構造化条件情報
蓄積部１０４に蓄積されている構造化条件に基づいて階
層的構造化処理部１０３において構成される。階層的構
造化処理部１０３において構造化されたビデオは、構造
化ビデオ情報蓄積・管理部１０５に蓄積され、構造化情
報可視化処理部１０６の可視化のためのビデオ情報源と
なる。

【００３０】構造化情報可視化処理部１０６では、構造
化ビデオ情報（階層構造）に基づいてビデオの可視化を
行う。この可視化は可視化するための装置に依存すると
ころが大きい。

【００３１】以下、ビデオの構造を用いたビデオ情報の
可視化についての実施例を説明する。ここで、可視化と
は、検索者の興味に応じて可視化されるビデオ情報の形
の変形を伴うものである。検索者の興味は、ビデオ情報
アクセス手順によって構造化情報可視化手順へと入力さ
れる。この入力デバイスとしてマウス、ジョイスッティ
ック、キーボードからデータグローブまで様々対象とな
る。

【００３２】これら入力デバイスからの信号を検索者か
らの興味の意志として表現する方法には、ビデオ情報に
近づくことを表現する方法が考えられる。すなわち、ビ
デオ情報へズームする方法かまたは、ビデオ情報へ距離
的に近づく方法である。

【００３３】ズームする方法と距離的に近づく方法と
は、「ビデオ情報へ近づくこと」が「ビデオ情報の詳細
な部分へ近づくこと」であることと同じであるが、距離
的に近づく方法は、遠近法の効果によりビデオ情報との
距離を検索者に意識させることが可能な点で異なる。

【００３４】可視化するためのシステムの容易性、安価
性からズームする方法がより一般的であるが、最近の計
算機能力の向上から距離的に近づく方法の実現も可能で
ある。距離的に近づく方法は、検索者とビデオ情報との
位置関係が直感的に意識できること等の有効性から、以
下この距離的に近づく方法を用いた例を示す。検索者の
興味の意識の表現として距離メタファーを用いる。距離
メタファーとは計算機上の仮想空間の距離の概念を導入
に空間内における人と情報との関係を距離で比喩的に用
いることである。

【００３５】ビデオ検索のための仮想空間に検索者と可
視化されたビデオ情報が存在する。可視化はビデオの構
造情報を用いて行われている。遠くからビデオ情報を検
索した場合、検索者は空間上に存在するビデオのタイト
ルを観察することとなりこの単位で検索することとな
る。興味を示したタイトルと他のタイトルとの関係（空
間的位置関係）を意識しつつ、興味を示したタイトルへ
近づくと、近づくにつれてストーリーを構成するシーン
が観察可能となる。この距離ではシーン単位での検索で
ある。

【００３６】次に、より近づくことによりショット、フ
レーム、セグメント、画素等の細かさでビデオ映像が観
察でき、検索可能である。ビデオ情報として映画を例に
取り、具体的に説明する。映画は、ビデオ情報解析手順
により解析され、ビデオ構造化手順によって図４に示し
たような階層構造をもつ構造に構造化されている。

【００３７】図５に可視化の様子を示す。図５におい
て、５０１は映像の一つのショットを時空間画像として
表している。一つの時空間画像５０１の拡大図を５０２
に示す。一般の映画には、千数百個のショットが存在す
る。これらのショットを時間順に並べたもの（時間順配
列ショット群）が５０３である。並べ方はいろいろ考え
られるが、この例の時間順配列ショット群５０３では向
かって左上から右下へ順次四角形を形成するように並べ
たものである。

【００３８】さて、時間順配列ショット群５０３を検索
者が仮想空間内の遠方から観察した場合、時間順配列シ
ョット群５０３は、観察画像５０６として観察できる。
すなわち、この場合、映画のタイトルを観察することに
なる。検索者は遠方より映画のタイトルを観察し、所望
（興味ある）の映画を認識し、より多くの情報を得るた
めに近づく行為を行う。観察画像５０６に近づくと、観
察画像５０６は５０５のように観察できる。５０５は映
画の代表的なシーン（５０４）から形成されている。こ
の段階で検索者は、所望の（興味ある）の映画のシーン
を認識することが可能である。

【００３９】同様に、より多くのシーンの情報を得るた
めに５０５へ近づくと、時間順配列ショット群５０３が
観察可能となり、ショット単位で観察または検索可能と
なる。これら行為は、映画情報までの距離による関係か
ら得られる情報を変化させているため観察または検索過
程が連続しており、観察者は、映画との距離（情報の多
さ）を意識しつつ検索可能となる。

【００４０】この視覚化は、検索による空間移動の行為
をより自然に検索者に感じさせるために、空間の遠近法
による表現と、検索者の視覚特性（視距離に応じて空間
分解が異なる）を用いている。タイトルはシーンを用い
て表現し、シーンはショットで表現することで実現して
いる。表現は、シーン、ショットの画像の輝度値、色等
を適宜変換することによって行うことが可能である。

【００４１】以上までは、画像の可視化について説明し
てきたが、音についても前記示した実施例に含まれる。
実施例での音の扱いは、遠くから映画を観察すれば、タ
イトル音（タイトル音楽）が近づくにつれてシーンを代
表する音が、ショットの音がそれぞれ距離移動に対して
連続的に聞こえる。

【００４２】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において種々変更可能
であることは言うまでもない。

【００４３】

【発明の効果】本願において開示される発明のうち代表
的なものによる効果を簡単に説明すると、以下のとおり
である。

【００４４】本発明によれば、ビデオ情報から所望のビ
デオまたはシーンを検索する場合に、検索者と所望情報
との位置関係を検索者に意識させつつビデオ構造の積極
的利用を行うので、検索過程を直感的にしかも効率よく
行うことができる。

【図面の簡単な説明】

【図１】本発明にかかる情報処理装置（コンピュータ）
を用いてビデオ情報検索方法を行う一実施例の機能構成
及びその処理手順を示すブロック機能構成図である。

【図２】本実施例のビデオ特徴（インデクス）情報を用
いない単純な階層構造の例を示す図である。

【図３】本実施例のビデオ特徴（インデクス）の物理的
な情報を用いた階層を示す図である。

【図４】本実施例のビデオ情報の意味的階層構造を示す
図である。

【図５】本実施例のビデオ情報の構造化情報を用いた可
視化（映像インターフェイス）を説明すめための図であ
る。

【符号の説明】 １０１…デオ特徴判断部、１０２…ビデオ情報解析処理
部、１０３…階層的構造化処理部、１０４…構造化条件
情報蓄積部、１０５…構造化ビデオ情報蓄積・管理部、
１０６…構造化情報可視化処理部、１０７…ビデオ情報
アクセス部。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−268517（ＪＰ，Ａ) 特開 平５−30464（ＪＰ，Ａ) 特開 平５−282379（ＪＰ，Ａ) 上田博唯、他３名，動画像解析に基づ くビデオ構造の視覚化とその応用，電子 情報通信学会論文誌Ｊ76−Ｄ−ＩＩ, 1993年 ８月25日，第Ｊ76−Ｄ−ＩＩ 巻，第８号，ｐ．1572−1580 月刊アスキー1991年３月号，1991年 ３月 １日，第15巻，第３号，ｐ．236 −237 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 所定のビデオ情報が、フレーム、ショッ
   ト、シーンを含む階層に構造化された構造化ビデオ情報
   を構造化ビデオ情報蓄積・管理部に蓄積しておき、 情報処理装置によって、前記構造化ビデオ情報蓄積・管
   理部に蓄積された構造化ビデオ情報を検索する ビデオ情
   報検索方法であって、前記構造化ビデオ情報蓄積・管理部には、前記各階層を
   代表する画像が蓄積されており、 前記情報処理装置が、前記 構造化ビデオ情報のある階層
   の画像ｉの下位階層の画像ｊを、２次元平面上で４角形
   を形成するように、複数行、複数列の行列状に、時間順
   に並べ、 各画像ｊの輝度値あるいは色を変換することにより、画
   像ｊを並べた２次元平面全体により前記画像ｉを表現す
   る ことを特徴とするビデオ情報検索方法。
2. 【請求項２】 前記画像ｊを拡大することにより、前記
   情報処理装置が、画像ｊの下位階層の画像ｋを、２次元
   平面上で４角形を形成するように、複数行、複数列の行
   列状に、時間順に並べ、 各画像ｋの輝度値あるいは色を変換することにより、画
   像ｋを並べた２次元平面全体により前記画像ｊを表現す
   る ことを特徴とする請求項１に記載のビデオ情報検索方
   法。