WO2004047437A1

WO2004047437A1 - 映像閲覧システムおよび方法

Info

Publication number: WO2004047437A1
Application number: PCT/JP2003/014672
Authority: WO
Inventors: Eiji Kasutani; Takami Sato; Akio Yamada; Ryoma Oami
Original assignee: Nec Corporation
Priority date: 2002-11-19
Filing date: 2003-11-18
Publication date: 2004-06-03
Also published as: KR100705094B1; JP4228662B2; EP1505830A4; US20050226598A1; EP1505830A1; CN100438600C; JP2004172788A; CN1692639A; KR20050044759A

Abstract

複数種類の映像群の利用状況を容易に把握できる映像閲覧システムおよび方法を提供する。オンエア映像、編集映像および素材映像を映像記憶部１０６に記憶し、これら映像群の一連の対応関係から得られる相互の対応関係を対応情報記憶部１０８に記憶する。オンエア映像、編集映像および素材映像のうちいずれか１つの映像が指定されると、対応情報検索部１０７は相互対応関係を参照して指定された映像に対応する他の映像を特定し、指定された映像と特定された映像との対応関係が表示部１０２に可視化表示される。

Description

明細書映像閲覧システムおよび方法

技術分野

本発明は複数の映像群から任意の映像を検索して閲覧する技術に係り、特に映像制作に関する情報を閲覧するための映像閲覧システムおよび方法に関する。背景技術

本発明に関する現時点での技術水準をより十分に説明する目的で、本願で引用され或いは特定される特許、特許出願、特許公報、科学論文等の全てを、ここに、参照することでそれらの全ての説明を組入れる。

まず、以下の説明において、現場で撮影された映像等に代表される基礎となる映像を「素材映像」、素材映像を編集して制作された映像を「編集映像」、編集映像をもとに最終的に放送された映像を「オンエア映像」とそれぞれ呼ぶことにする。一般に、映像の制作には編集作業が不可欠であり、現場で撮影された映像を全てそのまま使用することはまれである。また、放送局では、編集された映像を放送する際にも、時間の制限で途中カットしたり、テロップなどが割り込むこともある。このために、実際にオンエアされた映像と編集された映像とは必ずしも全て一致していない。このようなオンエア映像や編集映像を保存しておき、その中から必要な部分を選択して新たな映像を制作するには、これら材料となる映像群を管理し、目標の映像を検索して閲覧できることが必要である。

このような映像閲覧システムの一例は、特開平 1 1一 2 6 6 4 2 2号公報に開示されている。同公報に開示された放送番組管理装置は、完パケ（オンエア映像）と白素材（編集映像）との間の対応付けを予めメモリに格納しておく。具体的には、メモリに記憶されている完パケデ一タを 1カツト毎のショットに分割し、この完パケショットの映像と白素材中の映像区間との類似性をフレーム画像の相関値を用いて判定する。こうして、完パケショット毎の映像区間情報と、類似判定された白素材の映像区間情報とを対応付けることができる（上記公報中段落番号 0 0 4 8〜 5 8、図 1 0、図 1 1参照）。この完パケ /白素材関連データに基づいて、任意の完パケ映像区間に対応する白素材映像区間を相互に検索再生することが可能となる（上記公報中段落番号 0 0 6 0 , 0 0 6 1、図 1 2参照）。発明が解決しょうとする課題

しかしながら、上記従来のシステムは、オンエア映像および編集映像に関連する素材映像へのァクセスが考慮されていない。素材映像は種々の目的に沿つて利用されるものであるが、その後の映像制作の母体であり一次資料を提供する貴重な映像群でもある。

たとえば、編集映像はその時々の問題意識や意図に沿って素材映像を部分的に利用して制作されるが、時が経てば問題意識も変化し、同じ素材映像の別の部分が重要なシーンとして認識されるかもしれない。ニュースを例に取ると、同日に放送するニュースの制作は、編集映像の使いまわしで済ますことができても、後日、特集番組などのより詳しいコンテンッを制作する際には、編集映像だけでは不十分であり、素材映像まで遡って必要な映像を探すことが多い。

このように、使用済部分のみを集めてコンテンツを制作したり、逆に未放送部分を利用して新たなコンテンッを制作する場合など、素材映像の利用状況の把握が重要となる。上記従来のシステムでは、オンエア映像に対応した編集映像を再生するだけで、素材映像のどの箇所がどの映像に使われていたか把握できない。

従って、本発明の目的は、複数の映像群の利用状況を容易に把握できる映像閲覧システムおよび方法を提供することにある。

本発明の他の目的は、オンエア映像および編集映像に関連する素材映像へ容易にアクセスすることにより制作効率を上げることのできる映像閲覧システムおよび方法を提供することにある。発明の開示

本発明の第 1の側面による映像閲覧システムによれば、第 1の映像群、前記第 1 の映像群を用いて制作された第 2の映像群および前記第 2の映像群を用いて制作された第 3の映像群のうちいずれか 1つの映像群の映像を指定することにより、前記指定された映像と対応関係を持つ他の映像群の映像を特定し当該対応関係を表示する。

本発明の第 2の側面による映像閲覧システムは、ある映像群の少なくとも 1つの映像を用いて次の映像群の映像が制作されるという一連の対応関係を有する複数の映像群を検索可能に格納する第 1格納部と、前記一連の対応関係から得られる相互の対応関係を検索可能に格納する第 2格納部と、前記複数の映像群のいずれか 1つの映像群の映像が指定されると、前記第 2格納部を参照して前記指定された映像と対応関係を有する他の映像群の映像を特定し、前記指定された映像と前記特定された映像との対応関係を表示部に表示する制御部とを含む。

本発明の第 3の側面による映像閲覧方法によれば、 a ) ある映像群の少なくとも 1つの映像を用いて次の映像群の映像が制作されるという一連の対応関係を有する複数の映像群を検索可能に格納し、 b ) 前記一連の対応関係から生成された相互の対応関係を格納し、 c ) 前記複数の映像群のいずれか 1つの映像群の映像が指定されると、前記相互の対応関係を参照して前記指定された映像と対応関係を有する他の映像群の映像を特定し、 d ) 前記指定された映像を表示画面の第 1の領域に表示し、 e ) 前記指定された映像と前記特定された映像との対応関係と前記特定された映像との対応関係を前記表示画面の第 2の領域に表示する。

本発明の第 4の側面によれば複数の映像から所望の映像を閲覧するための映像閲覧方法において、第 1の映像群、前記第 1の映像群を用いて制作された第 2の映像群および前記第 2の映像群を用いて制作された第 3の映像群のうちいずれか 1つの映像群の映像を指定することにより、指定された映像と対応関係を持つ他の映像群の映像を特定し、前記指定された映像と前記特定された映像との対応関係を表示する。

前記対応関係は、ある映像群の少なくとも 1つの映像を用いて次の映像群の映像が制作されるという一連の対応関係から生成されることが可能である。更に、前記複数の映像群にそれぞれ対応して所定の表示フォームを用意し、前記指定された映像が属する映像群に対応する表示フォームで、前記指定された映像と前記特定された映像との対応関係を表示することが可能である。更に、前記表示フォームは、前記指定された映像の映像区間を基準にして前記特定された映像の映像区間を対比表示することが可能である。

上述したように、本発明によれば、複数の映像群の利用状況を容易に把握することができる。たとえば、複数の映像群がオンエア映像、編集映像および素材映像からなる場合、素材映像が指定されると、その素材映像を利用した編集映像およびォンエア映像が特定され、その情報が表示される。編集映像が指定されると、その編集映像の制作に用いた素材映像が特定され、その情報が表示される。また、オンェァ映像が指定されると、そのオンエア映像に含まれる編集映像が特定され、その情報とその制作に用いた素材映像の情報とが表示される。このようにオンエア映像、編集映像、素材映像という複数の映像群同士の対応関係を可視化することができ、素材映像を含めて映像の利用状況を容易に把握することが可能となる。

また、編集映像およびオンエア映像が素材映像まで対応付けられるため、オンェァ映像および編集映像に関連する素材映像へ容易にアクセスすることができ、映像の制作効率を上げることができる。

複数の映像群の 1つの映像群の映像が指定されたとき、指定された映像の映像区間を基準にして特定された映像の映像区間を対比表示することが望ましい。これによって、指定された映像の映像区間内で他の映像群のどの映像が対応しているかを容易に理解することができる。

また、指定された映像と特定された映像との対応関係において特定された映像が指定されると、その特定された映像を検索し、指定された映像として表示することが望ましい。たとえば、オンエア映像、編集映像、素材映像などの複数の映像群同士の対応関係をマークなどで表示し、表示されたマ一クをポインタで指定することによりマークに対応する映像の映像区間へアクセスすることができる。これによつて関連する映像へのアクセスが容易になり制作効率を上げることができる。図面の簡単な説明

図 1は、本発明の第 1実施形態による映像閲覧システムの構成を示すブロック図である。

図 2 Aは、第 1実施形態におけるオンエア映像対応情報のフォーマツトの一例を示す図である。

図 2 Bは、編集映像対応情報のフォーマツトの一例を示す図である。

図 2 Cは、素材映像対応情報のフォーマツトの一例を示す図である。

図 2 Dは、汎用の対応情報フォ一マツトの一例を示す図である。

図 3 Aは、第 1実施形態におけるオンエア映像対応情報の格納テ一ブルの一例を示す模式図である。

図 3 Bは、編集映像対応情報の格納テーブルの一例を示す模式図である。

図 3 Cは、素材映像対応情報の格納テ一ブルの一例を示す模式図である。

図 4は、第 1実施形態における対応情報を生成するシステム構成の一例を示すプロック図である。

図 5 Aは、第 1実施形態におけるオンエア映像一編集映像の対応関係と編集映像一素材映像の対応関係とを示す模式図である。

図 5 Bは、オンエア映像一編集映像一素材映像の対応関係を示す模式図である。図 6は、本発明の第 1実施形態における素材映像対応情報の閲覧表示例を示す図である。

図 7は、本発明の第 1実施形態における編集映像対応情報の閲覧表示例を示す図である。

図 8は、本発明の第 1実施形態におけるオンエア映像対応情報の閲覧表示例を示す図である。

図 9は、本発明の第 1実施形態による映像閲覧システムの操作画面の一例を示す模式図である。

図 1 0は、本発明の第 1実施形態の全体的動作を示すフローチャートである。図 1 1は、本発明の第 2実施形態による映像閲覧システムの構成を示すブロック図である。

図 1 2は、本発明の第 3実施形態による映像閲覧システムのブロック図である。図 1 3は、本発明の第 3実施形態における素材映像対応情報の閲覧表示例を示す図である。

図 1 4は、本発明の第 3実施形態におけるオンエア映像対応情報の閲覧表示例を示す図である。

図 1 5は、本発明の第 4実施形態による映像閲覧システムのブロック図である。発明を実施するための最良の形態

(第 1実施形態）

A：システム構成

図 1は、本発明の第 1実施形態による映像閲覧システムの構成を示すプロック図である。図 1において、入力部 1 0 1はキーボードやポインティングデバイスなどの入力デバイスからなり、閲覧映像の指定、データ入力あるいは種々の命令の入力を行うことができる。表示部 1 0 2はモニタであり、後述する映像閲覧画面を表示し、入力部 1 0 1と協働してグラフィカルなユーザインタフェースを提供する。本実施形態による映像閲覧システムには、制御プログラム 1 0 4を実行することにより映像閲覧に関する処理やシステム全体の動作を制御するプログラム制御プロセッサ 1 0 3、映像検索部 1 0 5、映像記憶部 1 0 6、対応情報検索部 1 0 7および対応情報記憶部 1 0 8を含む。映像検索部 1 0 5および対応情報検索部 1 0 7は、プログラム制御プロセッサ 1 0 3の制御のもとで、後述する映像検索および対応情報検索をそれぞれ実行する。

映像記憶部 1 0 6には、オンエア映像群（OA) 、編集映像群（E D) および素材映像群（RAW) が格納されている。素材映像群 (R AW) は、現場で撮影された素材映像が、例えばディジタル画像データとして記憶されたものであり、それぞれの素材映像はユニークな識別子とともに管理される。タイトルや制作日時など映像関連情報を併せて保持することも可能である。

編集映像群（E D) は、素材映像を厳選して編集された放送用の映像が、例えばディジタル画像デ一夕として記憶されたものであり、それぞれの編集映像はュニークな識別子とともに管理される。タイトルや制作日時など映像関連情報を併せて保持することも可能である。

オンエア映像群（O A) は、最終的に放送された映像が、例えばディジタル画像データとして記憶されたものであり、それぞれのオンエア映像はュ二一クな識別子とともに管理される。タイトルや制作日時など映像関連情報を併せて保持することも可能である。

映像検索部 1 0 5は、プログラム制御プロセッサ 1 0 3から映像検索指令を受け取ると、指定された映像識別子に対応する映像データを映像記憶部 1 0 6から検索する。読み出された映像データは、後述する映像デ一夕関連情報と併せて表示部 1 0 2に表示される。映像検索指令に映像の開始位置が含まれる場合には、読み出された映像を開始位置より再生することも、選択された映像を開始位置で頭だししておくこともできる。

対応情報記憶部 1 0 8には、オンエア映像対応情報（OA— R E L ) 、編集映像対応情報（E D— R E L) および素材映像対応情報（R AW— R E L) が格納されている。これら対応情報については、後で詳細に説明する。

対応情報検索部 1 0 7は、対応情報検索指令を受け取ると、指定された映像に関する対応情報を対応情報記憶部 1 0 8から検索する。読み出された対応情報は、後述するように、所定のフォームで表示部 1 0 2に表示される。その際、対応する他の映像へのアクセスを可能にするポインタを併せて表示する。

B：対応情報

図 2 Aは、オンエア映像対応情報のフォーマットの一例を示す図である。図 2 Bは、編集映像対応情報のフォーマットの一例を示す図である。図 2 Cは、素材映像対応情報のフォーマットの一例を示す図である。図 2 Dは、汎用の対応情報フォ —マツトの一例を示す図である。

図 2 Aに示すように、オンエア映像対応情報は、オンエア映像と編集映像と素材映像との間の対応関係を記述した情報である。すなわち、あるオンエア映像のどの箇所がどの編集映像/素材映像のどの箇所から引用されたものなのかが記述されている。オンエア映像対応情報は 6個のカラムから構成され、カラム番号 1にはォンエア映像の識別子、カラム番号 2にはオンエア映像区間の開始フレーム番号、力ラム番号 3には対応する映像の識別子、カラム番号 4には対応する映像の種別（編集映像あるいは素材映像）、カラム番号 5には対応する映像の映像区間の開始フレ —ム番号、カラム番号 6には映像区間のフレーム数、をそれぞれ記述する。このような記述によつて、あるオンエア映像のある映像区間が編集映像あるいは素材映像のどの映像区間に対応しているかを特定することができる。

なお、各オンエア映像についての対応関係をそれぞれ別々の対応情報ファイルに格納しておくことも、また各オンエア映像についての対応関係を 1つの対応情報フアイルにまとめて格納しておくこともできる。たとえば、オンエア映像 Aについての対応関係を対応情報ファイル aに格納しておき、オンエア映像 Bについての対応関係を対応情報ファイル bに格納してもよいし、オンエア映像 Aおよび Bの双方についての対応関係を 1つの対応情報ファイルに格納してもよい。

図 2 (B) に示すように、編集映像対応情報は、ある編集映像のどの箇所がどの 2003/014672

9

オンエア映像のどの箇所に使われていたか、あるいは、ある編集映像のどの箇所がどの素材映像のどの箇所から引用されたものなのか、を記述した情報である。編集映像対応情報は 6個のカラムから構成され、カラム番号 1には編集映像の識別子、カラム番号 2には編集映像区間の開始フレーム番号、力ラム番号 3には対応する映像の識別子、カラム番号 4には対応する映像の種別（オンエア映像あるいは素材映像）、カラム番号 5には対応する映像の映像区間の開始フレーム番号、カラム番号 6には映像区間のフレーム数、がそれぞれ記述する。このような記述によって、ある編集映像のある映像区間がォンエア映像あるいは素材映像のどの映像区間に対応しているかを特定することができる。

図 2 Cに示すように、素材映像対応情報は、ある素材映像のどの箇所がどの編集映像ノオンエア映像のどの箇所に使われたかを記述した情報である。素材映像対応情報は 6個のカラムから構成され、カラム番号 1には素材映像の識別子、カラム番号 2には素材映像区間の開始フレーム番号、カラム番号 3には対応する映像の識別子、カラム番号 4には対応する映像の種別（編集映像あるいはオンエア映像）、力ラム番号 5には対応する映像の映像区間の開始フレーム番号、カラム番号 6には映像区間のフレーム数、がそれぞれ記述する。このような記述によって、ある素材映像のある映像区間が編集映像あるいはォンエア映像のどの映像区間に対応しているかを特定することができる。

図 2 A乃至図 2 Cに示すそれぞれの対応情報フォーマットの代わりに、図 2 Dに示す 1つのフォーマットを用いることもできる。すなわち、汎用フォーマットとして、カラム番号 1には参照元映像の識別子、カラム番号 2には参照元映像の種別（オンエア映像、編集映像あるいは素材映像）、カラム番号 3には参照元映像区間の開始フレーム番号、カラム番号 4には参照先映像の識別子、カラム番号 5には参照先映像の種別（オンエア映像、編集映像あるいは素材映像）、カラム番号 6には参照先映像区間の開始フレーム番号、カラム番号 7には映像区間のフレーム数、をそれぞれ記述する。図 3 Aは、オンエア映像対応情報の格納テーブルの一例を示す模式図である。図 3 Bは、編集映像対応情報の格納テーブルの一例を示す模式図である。図 3 Cは、素材映像対応情報の格納テーブルの一例を示す模式図である。

図 3 Aに示すように、オンエア映像対応情報は、各オンエア映像のオンエア映像区間ごとに、図 2 Aに示す形式で格納される。たとえば、格納レコード 1は、オンエア映像 OA 1の第 3フレームからの 4フレーム分が編集映像 E D 1の第 3フレームからの 4フレーム分に対応していることを示す。同様に、レコード 2は、同じォンエア映像 OA 1の第 7フレームからの 1 0フレ一ム分が編集映像 E D 2の第 5フレームからの 1 0フレーム分に対応していることを示す。図 3 Bおよび図 3 Cのテ一ブルについても同様である。

C：対応情報の生成

まず、ある編集映像のどの箇所がどの素材映像のどの箇所から引用されたものであるかの対応関係を示す情報を編集映像―素材映像間対応情報（ E D— R A W対応情報）と呼ぶ。この情報は、編集段階で選択された素材映像をシステムに記録しておけばよい。また、あるオンエア映像のどの箇所がどの編集映像のどの箇所を使つて放映したものであるのかの対応関係を示す情報をオンエア映像一編集映像間対応情報（OA— E D対応情報）と呼ぶ。この情報は、オンエア段階で実際に選択された編集映像をシステムに記録しておけばよい。

なお、 E D— R AW対応情報や OA— E D対応情報の記録がない場合には、たとえば、特開 2 0 0 2— 5 8 0 4 9公報に開示されている動画像検索技術を用いて、特徴の類似する動画像区間同士を対応付けることにより自動的に生成することもでさる。

図 4は、本実施形態における対応情報を生成するシステム構成の一例を示すプロック図である。図 5 Aは、オンエア映像一編集映像の対応関係と編集映像一素材映像の対応関係とを示す模式図である。図 5 Bは、オンエア映像一編集映像一素材映 T/JP2003/014672

1 1

像の対応関係を示す模式図である。

図 4において、対応情報生成システムは、オンエア映像-素材映像間対応情報生成部 2 0 1、オンエア映像対応情報生成部 2 0 2、編集映像対応情報生成部 2 0 3 および素材映像対応情報生成部 2 0 4を含んでいる。この対応情報生成システムは、図 1に示す本システムに内蔵させることもできる。

オンエア映像-素材映像間対応情報生成部 2 0 1は、 OA— E D対応情報および E D一 RAW対応情報を用いてオンエア一素材映像間対応情報（O A— R AW対応情報）を生成する。

具体的には、図 5 Aに示すように、はじめに OA— E D対応情報を参照してオンエア映像内で使われた編集映像データ内の各映像区間（以降、編集映像区間と呼ぶ ) を取り出す。次に、取り出された各編集映像区間について、 E D— RAW対応情報より、編集映像区間を含む編集映像の対応情報を調べることにより、編集映像区間に対応する素材映像データ内の各映像区間（以降、素材映像区間と呼ぶ）を特定できる。この特定された素材映像区間を上記オンエア映像区間に対応付けることにより OA— RAW対応情報が得られる。図 5 Bに示すように、ある特定のオンエア映像に対応する素材映像区間が複数の素材映像にまたがる場合には、各素材映像の対応する区間毎にオンエア映像との対応関係を記述する（図 3参照）。

なお、 . OA— R AW対応情報が事前に生成されて記憶されている場合には、オンエア映像-素材映像間対応情報生成部 2 0 1は不要である。

オンエア映像対応情報生成部 2 0 2は、 OA— E D対応情報および OA— RAW 対応情報より、オンエア映像毎に、オンエア映像のどの箇所がどの編集映像または素材映像のどの箇所から引用されたものなのかを記述するオンエア映像対応情報（ OA - R E L) を生成する（図 3 A参照）。

編集映像対応情報生成部 2 0 3は、 O A— E D対応情報および E D— RAW対応情報より、編集映像毎に、編集映像のどの箇所がどのオンエア映像のどの箇所に使われたか、また編集映像のどの箇所がどの素材映像のどの箇所から引用されたもの JP2003/014672

12

なのかを記述する編集映像対応情報（E D— R E L ) を生成する（図 3 B参照）。素材映像対応情報生成部 2 0 4は、〇 A - R A W対応情報および E D— R A W対応情報より、素材映像毎に、素材映像のどの箇所がどの編集映像またはオンエア映像のどの箇所に使われたかを記述する素材映像対応情報（R AW— R E L) を生成する（図 3 C参照）。

D：素材映像対応情報の表示例

図 6は素材映像対応情報の閲覧表示例を示す図である。ある素材映像が指定された場合、その素材映像の時間を表示欄 3 0 1に表示し、さらに、指定された素材映像の素材映像対応情報を参照して、そのカラム番号 3および 4にそれぞれ示された「対応する映像の識別子」および「種別」を表示ウィンドウ 3 0 2 aに一覧表示する。

また、表示ウィンドウ 3 0 2 bには、カラム番号 2に示す開始位置とカラム番号 6に示すフレーム数とから特定される素材映像区間をマーク（図中の斜線部）を用いて表示する。すなわち、素材映像対応情報を参照しながら、表示ウィンドウ 3 0 2 bには、素材映像の時間を横軸として、どの部分がどの対応映像（オンエア映像あるいは編集映像）によつて使用されているかがマ一クされる。

図 6に示す例では、この素材映像が 3つのオンエア映像と 3つの編集映像に用いられており、各素材映像の使用されている区間がマークされている。これによつて、たとえば識別子 1 1 1 1のオンエア映像に、素材映像の 2 0分から 2 5分までのシーンが使用されていることが一目でわかる。

本実施形態では、素材映像が使用されている区間の各マ一クをポタンの形で表示し、所望のマ一クをマウス等の入力部 1 0 1によりクリックすることで当該対応する映像を映像閲覧ウインドウに表示することができる。

E：編集映像対応情報の表示例図 7は、編集映像対応情報の閲覧表示例を示す図である。ある編集映像が指定された場合、その編集映像の時間を表示欄 4 0 1に表示し、さらに、カラム番号 2に示す開始位置からカラム番号 6に示すフレーム数分の編集映像区間を可視化するために、ウィンドウ 4 0 2の対応する映像の欄にマークをつける。マークの内容としては、表示欄 4 0 3に素材映像の識別子および表示欄 4 0 4に素材映像区間の代表フレームや時刻に対応したフレームなどである。

本実施形態では、対応する素材映像の各マークをポタンの形で表示し、所望のマークをマウス等の入力部 1 0 1によりクリックすることで当該対応する映像を映像閲覧ウィンドウに表示することができる。

F ：オンエア映像対応情報の表示例

図 8は、オンエア映像対応情報の閲覧表示例を示す図である。指定された映像がオンエア映像の場合は、指定されたオンエア映像に含まれる編集映像と、その制作に用いた素材映像とを表示可能である。指定されたオンエア映像の時間を表示欄 5 0 1に表示し、さらに、カラム番号 2に示す開始位置からカラム番号 6に示すフレーム数分のオンエア映像区間を可視化するために、ウィンドウ 5 0 2の対応する映像の欄にマークをつける。マークの内容として、表示欄 5 0 3に編集映像の識別子、表示欄 5 0 4に素材映像の識別子、表示欄 5 0 5に素材映像区間の代表フレームをそれぞれ提示できる。

本実施形態では、対応する編集映像および素材映像の各マークをボタンの形で表示し、所望のマークをマウス等の入力部 1 0 1によりクリックすることで当該対応する映像を映像閲覧ウィンドウに表示することができる。

また、指定された映像と同一種別の映像のリストあるいは指定された映像と対応関係を持つ他種別の映像のリストを併せて提示することもできる。

G：操作画面の表示例 JP2003/014672

14

図 9は本実施形態による映像閲覧システムの操作画面の一例を示す模式図である。表示部 1 0 2に表示された操作画面 6 0 1において、映像閱覧ウインドウ 6 0 2には閲覧者が指定した識別子に対応した映像が表示され、サムネイル表示ウインドウ 6 0 3には与えられた開始位置の画像とその前後の画像が併せて一覧表示される。閲覧する映像の指定は、入力部 1 0 1のキーボードにより映像の識別子を直接与えてもよい。また、映像の一覧を用意してマウス等を用いて利用者が映像を選択できるようにしておき、選択された映像の識別子を用いることも可能である。また、閲覧する映像の開始位置を併せて入力することも可能である。

さらに、関連情報リスト表示ウィンドウ 6 0 4には、指定された映像と同一種別の映像のリストあるいは指定された映像と対応関係を持つ他種別の映像のリストが表示される。対応情報表示ウィンドウ 6 0 5には、図 6〜図 8に例示したような対応情報が表示される。例えば、素材映像を表示させるのであれば、指定された素材映像データの映像区間に対応する編集映像データの映像区間および対応するオンェァ映像デー夕の映像区間を表示する。

このように、異なる映像種別間の対応情報が可視化され、さらに関連映像リス卜も表示されるために、映像閲覧効率をより高めることができる。また、上述したように、対応情報表示ウィンドウ 6 0 5で可視化された対応情報にポタンを設け、入力部 1 0 1のマウス等で指定することにより、その対応する映像区間に容易にァクセスすることができる。

I ：映像閲覧システムの動作

図 1 0は、本実施形態の全体的動作を示すフローチャートである。まず、対応情報記憶部 1 0 8に、予め対応付けがされているオンエア映像対応情報（OA—R E L) 、編集映像対応情報（E D— R E L) および素材映像対応情報（R AW— R E L) を記憶させておく（ステップ A 1 ) 。

禾 IJ用者は閲覧する映像を入力部 1 0 1から指定する（ステップ A 2 ) 。閲覧する映像の指定は、識別子を直接入力してもよいし、予め一覧表示された映像からユーザが選択するようにしてもよい。また、上述したように、対応情報表示ウィンドウ

605に表示された対応情報から対応関係を持つ映像区間あるいはその開始位置を選択することで、映像の指定を行うこともできる。

指定された映像の識別子が特定されると、プログラム制御プロセッサ 103は映像検索部 105に当該希望映像の検索を指示する。映像検索部 105は、指定された識別子をキーにして映像記憶部 106を検索する（ステップ A3) 。

指定された識別子を有する映像が見つかると（ステップ A3の YES) 、映像検索部 105はその指定映像デー夕をプログラム制御プロセッサ 103へ返す。プ口グラム制御プロセッサ 103は、指定映像データをデータ処理した後、表示部 10 2上の映像閲覧ウィンドウ 602に表示する（ステップ A 5) 。

続いて、プログラム制御プロセッサ 103は対応情報検索部 107に指定された識別子を用いた検索を指示する。対応情報検索部 107は、指定された識別子をキ —にして対応情報記憶部 108を検索する（ステップ A6) 。

指定された識別子を有する対応情報（図 2および図 3参照）が見つかると（ステップ A7の YES) 、指定された映像種別を判定し（ステップ A8) 、映像種別ごとに所定の形式で対応情報を可視化する。

具体的には、素材映像が指定された場合には、検索された素材映像対応情報を参照して、その対応する編集映像およびオンエア映像の映像区間や識別子等の情報を図 6に示すように表示する（ステップ A 8. 1) 。

編集映像が指定された場合には、検索された編集映像対応情報を参照して、その対応する素材映像の映像区間や識別子等の情報を図 7に示すように表示する（ステップ A 8. 2) 。

オンエア映像が指定された場合には、検索されたオンエア映像対応情報を参照して、その対応する素材映像および編集映像の映像区間や識別子等の情報を図 8に示すように表示する（ステップ A 8. 3) 。なお、ステップ A 7において対応情報が検出されなかった場合には（ステップ A 7の N O) 、対応情報は表示しない。また、ステップ A 4において与えられた識別子を持つ映像が検出されなかった場合、閲覧不能と判断し、閲覧不能を示すメッセ一ジ等を表示する（ステップ A 9 ) 。

上述したように、第 1実施形態では、素材映像が指定されると指定された素材映像を利用した編集映像およびオンエア映像の情報が表示され、編集映像が指定されると指定された編集映像の制作に用いた素材映像の情報が表示され、また、オンェァ映像が指定されると指定されたオンエア映像に含まれる編集映像の情報とその制作に用いた素材映像の情報とが表示される。このようにオンエア映像、編集映像、素材映像同士の対応関係を可視化したことで、素材映像を含めて映像の利用状況を容易に把握することができる。

さらに、オンエア映像、編集映像、素材映像同士の対応関係を可視化したうえで、可視化されたマークをボイン夕で指定することによりマークに対応する映像の映像区間へのアクセスを可能にし、制作効率を上げることができる。

また、本実施形態では、図 4に示す対応情報生成システムにより、オンエア映像と素材映像とを対応付けて、オンエア映像対応情報（OA— R E L) 、編集映像対応情報（E D— R E L) および素材映像対応情報（R AW— R E L) を生成することができる。本実施形態によれば、編集映像およびオンエア映像が素材映像まで対応付けられるため、オンエア映像および編集映像に関連する素材映像へ容易にァクセスすることができ、映像の制作効率を上げることができる。

なお、第 1実施形態では、素材映像、編集映像、オンエア映像の 3種類の映像群の場合を説明したが、例えばオンエア映像を引用して制作したコンテンツ等をも閲覧対象とする場合など、利用関係にある N (N> 3 ) 種類の映像群の場合に拡張できることは言うまでもない。

(第 2実施形態) 上記第 1実施形態では、あらかじめオンエア映像対応情報（OA— REL) 、編集映像対応情報（ED— REL) および素材映像対応情報（RAW— REL) を求めて対応情報記憶部 108に記憶している。しかし、図 4で説明したように、各対応情報は E D— R AW対応情報および OA— E D対応情報から演算により求めることができる。第 2実施形態による映像閲覧システムは、この対応情報演算機能を組込んだものである。

図 11は、本発明の第 2実施形態による映像閲覧システムの構成を示すブロック図である。図 11に示すように、本実施形態のシステムでは、図 1に示す第 1実施形態の対応情報記憶部 108の代わりに対応情報記憶部 701が設けられ、さらに対応情報生成部 702が新たに設けられている。

対応情報記憶部 701には、編集映像一素材映像間対応情報、オンエア映像一編集映像間対応情報、 ED— RAW対応情報、 OA— ED対応情報および OA— RA W対応情報のうち少なくとも 2つの対応情報が記憶されていればよい。少なくとも 2つの対応情報があれば、図 4で説明したようにオンエア映像対応情報（OA— R EL) 、編集映像対応情報（ED— REL) および素材映像対応情報（RAW - R EL) を算出できることは明らかである。ここでは、 ED— RAW対応情報および OA-ED対応情報が格納されている。

対応情報生成部 702は、プログラム制御プロセッサ 103の制御のもとで、必要な対応情報を算出する。具体的には、対応情報生成部 702は、対応情報記憶部 701から 2つの対応情報を読み出し、図 4で説明したように各対応情報を生成する。対応情報検索部 107は、指定された識別子をキーにして対応情報生成部 70 2の算出した対応情報を検索し、上述したように指定識別子を有する対応情報をプログラム制御プロセッサ 103へ返す。その他の動作は第 1実施形態と同じであるから説明は省略する。

第 2実施形態によれば、対応情報記憶部 701には、 ED— RAW対応情報、〇 A-ED対応情報および O A— R A W対応情報のうち 2つの対応情報が格納されていればよいので、必要な記憶容量を削減することができる。

(第 3実施形態）

本発明の第 3実施形態による映像閲覧システムは、素材映像およびオンエア映像のみを扱う。

図 1 2は、本発明の第 3実施形態による映像閲覧システムのブロック図である。図 1に示すプロックと同じ機能を持つプロックには同一参照番号を付して説明は省略する。

図 1 2において、映像記憶部 8 0 1には、オンエア映像群（OA) および素材映像群（R AW) が格納されている。素材映像群（R AW) およびオンエア映像群（ OA) については、第 1実施形態と同じである。また、対応情報記憶部 8 0 2には、オンエア映像対応情報（OA— R E L) および素材映像対応情報（R AW—R E L ) が格納されている。これら対応情報についても第 1実施形態と同じである。

J ：素材映像対応情報の表示例

図 1 3は、第 3実施形態における素材映像対応情報の閲覧表示例を示す図である。ある素材映像が指定された塲合、その素材映像の時間を表示欄 9 0 1に表示し、さらに、指定された素材映像の素材映像対応情報を参照して、そのカラム番号 3および 4にそれぞれ示された「対応する映像の識別子」および「種別」を表示ウィンドゥ 9 0 2 aに一覧表示する。

また、表示ウィンドウ 9 0 2 bには、カラム番号 2に示す開始位置とカラム番号 6に示すフレーム数とから特定される素材映像区間をマーク（図中の斜線部）を用いて表示する。すなわち、素材映像対応情報を参照しながら、表示ウィンドウ 9 0 2 bには、素材映像の時間を横軸として、どの部分がどの対応映像（オンエア映像 ) によって使用されているかがマークされる。

図 1 2に示す例では、この素材映像が 3つのオンエア映像に用いられており、各素材映像の使用されている区間がマークされている。これによつて、たとえば識別子 1 1 1 1のオンエア映像に素材映像の 2分から 6分までのシーンが使用されていることが一目でわかる。

本実施形態では、素材映像が使用されている区間の各マークをポタンの形で表示し、所望のマークをマウス等の入力部 1 0 1によりクリックすることで当該対応する映像を映像閲覧ウインドウに表示することができる。

K：オンエア映像対応情報の表示例

図 1 4は、第 3実施形態におけるオンエア映像対応情報の閲覧表示例を示す図である。指定された映像がオンエア映像の場合は、指定されたオンエア映像の制作に用いた素材映像を表示可能である。指定されたオンエア映像の時間を表示欄 1 0 0 1に表示し、さらに、カラム番号 2に示す開始位置からカラム番号 6に示すフレーム数分のオンエア映像区間を可視化するために、対応する映像の欄にマークをつける。マークの内容として、表示欄 1 0 0 2に素材映像の識別子、表示欄 1 0 0 3に素材映像区間の代表フレームをそれぞれ表示する。

また、指定された映像と同一種別の映像のリストあるいは指定された映像と対応関係を持つ他種別の映像のリストを併せて提示することもできる。なお、本実施形態による映像閲覧システムの操作画面は、図 9に示すものと同じであるから、説明は省略する。

上述したように、第 3実施形態では、素材映像が指定されると指定された素材映像を利用したオンエア映像の情報が表示され、オンエア映像が指定されると指定されたオンエア映像に含まれる素材映像の情報とが表示される。このようにオンエア映像および素材映像の対応関係を可視化したことで、素材映像を含めて映像の利用状況を容易に把握することができる。

さらに、オンエア映像と素材映像の対応関係を可視化したうえで、可視化されたマークをボイン夕で指定することによりマークに対応する映像の映像区間へのァクセスを可能にし、制作効率を上げることができる。

また、本実施形態では、図 4に示す対応情報生成システムにより、オンエア映像と素材映像とを対応付けて、オンエア映像対応情報（O A— R E L ) および素材映像対応情報（R AW—R E L ) を生成することができる。本実施形態によれば、ォンエア映像が素材映像まで対応付けられるため、オンエア映像に関連する素材映像へ容.易にアクセスすることができ、映像の制作効率を上げることができる。

(第 4実施形態）

図 1 5は本発明の第 4実施形態による映像閲覧システムのブロック図である。本実施形態では、図 1に示す映像検索部 1 0 5および対応情報検索部 1 0 Ίをデ一夕処理部 1 1 0 1内にソフトウェアにより実装している。すなわち、データ処理部 1 1 0 1は映像閲覧プログラム 1 1 0 2を実行することで、第 1〜第 3実施形態で説明したものと等価な映像閲覧機能を実現することができる。入力部 1 0 1、表示部 1 0 2、映像記憶部 1 0 6および対応情報記憶部 1 0 8は、映像閲覧プログラム 1 1 0 2を実行しているデータ処理部 1 1 0 1によって、第 1、第 2または第 3実施形態と同様に制御され、本発明による映像閲覧システムを実現できる。

なお、上記実施形態では、素材映像、編集映像、オンエア映像の 3種類の映像群の場合を説明したが、例えばオンエア映像を引用して制作したコンテンツ等をも閲覧対象とする場合など、利用関係を有する 3種類以上の映像群の場合に拡張できることは言うまでもない。

以上詳細に説明したように、本発明によれば、複数の映像群の利用状況を容易に把握することができる。たとえば、素材映像が指定されると、その素材映像を利用した編集映像およびオンエア映像の情報が表示され、編集映像が指定されると、その編集映像の制作に用いた素材映像の情報が表示され、また、オンエア映像が指定されると、そのオンエア映像に含まれる編集映像の情報とその制作に用いた素材映像の情報とが表示される。このようにオンエア映像、編集映像、素材映像という複数の映像群同士の対応関係を可視化することができ、素材映像を含めて映像の利用状況を容易に把握することが可能となる。

さらに、オンエア映像、編集映像、素材映像などの複数の映像群同士の対応関係を可視化したうえで、可視化されたマークをボイン夕で指定することによりマークに対応する映像の映像区間へのアクセスを容易にしたことで、制作効率を上げることができる。産業上の利用の可能性

本発明に係る映像閲覧システムおよび方法は、映像の制作のための編集作業において複数の映像から所望の映像を閲覧するための映像閲覧システム及び方法であれば、あらゆるものに適用することが可能であり、その利用の可能性において何ら限定するものではない。

幾つかの好適な実施の形態及び実施例に関連付けして本発明を説明したが、これら実施の形態及び実施例は単に実例を挙げて発明を説明するためのものであって、限定することを意味するものではないことが理解できる。本明細書を読んだ後であれば、当業者にとって等価な構成要素や技術による数多くの変更および置換が容易であることが明白であるが、このような変更および置換は、添付の請求項の真の範囲及び精神に該当するものであることは明白である。

Claims

請求の範囲

1 . 第 1の映像群、前記第 1の映像群を用いて制作された第 2の映像群および前記第 2の映像群を用いて制作された第 3の映像群のうちいずれか 1つの映像群の映像を指定することにより、指定された映像と対応関係を持つ他の映像群の映像を特定し、前記指定された映像と前記特定された映像との対応関係を表示する映像閲覧システム。

2 . 複数の映像から所望の映像を閲覧するための映像閲覧システムにおいて、

ある映像群の少なくとも 1つの映像を用いて次の映像群の映像が制作されるという一連の対応関係を有する複数の映像群を検索可能に格納する第 1格納部と、

前記一連の対応関係から得られる相互の対応関係を検索可能に格納する第 2格納部と、

前記複数の映像群のいずれか 1つの映像群の映像が指定されると、前記第 2格納部を参照して前記指定された映像と対応関係を有する他の映像群の映像を特定し、前記指定された映像と前記特定された映像との対応関係を表示部に表示する制御部とを含む映像閲覧システム。

3 . 前記第 2格納部は、前記複数の映像群ごとに各映像区間が他の映像群の 1つの映像区間に対応していることを示す対応情報を検索可能に格納する請求項 2記載の映像閲覧システム。

4. 前記一連の対応関係から前記相互の対応関係を生成する対応関係生成部を更に含む請求項 2記載の映像閲覧システム。

5 . 前記制御部は、前記指定された映像の映像区間を基準にして前記特定された映像の映像区間を対比表示する請求項 2記載の映像閲覧システム。

6 . 前記制御部は、前記指定された映像と前記特定された映像との対応関係において前記特定された映像が指定されると、前記第 1格納部から前記特定された映像を検索し、指定された映像として前記表示部に表示する請求項 2記載の映像閲覧システム。

7 . 複数の映像から所望の映像を閲覧するための映像閲覧方法において、 a ) ある映像群の少なくとも 1つの映像を用いて次の映像群の映像が制作されるという一連の対応関係を有する複数の映像群を検索可能に格納し、

b ) 前記一連の対応関係から生成された相互の対応関係を格納し、 c ) 前記複数の映像群のいずれか 1つの映像群の映像が指定されると、前記相互の対応関係を参照して前記指定された映像と対応関係を有する他の映像群の映像を特定し、

d ) 前記指定された映像を表示画面の第 1の領域に表示し、

e ) 前記指定された映像と前記特定された映像との対応関係と前記特定された映像との対応関係を前記表示画面の第 2の領域に表示する映像閲覧方法。

8 . 前記複数の映像群にそれぞれ対応して所定の表示フォームを用意し、前記指定された映像が属する映像群に対応する表示フォームで、前記指定された映像と前記特定された映像との対応関係を前記第 2の領域に表示する請求項 7記載の映像閲覧方法。

9 . 前記表示フォームは、前記指定された映像の映像区間を基準にして前記特定された映像の映像区間を対比表示する請求項 8記載の映像閲覧方法。

1 0 . 前記指定された映像と前記特定された映像との対応関係が表示されている前記表示フォームにおいて前記特定された映像が指定されると、前記特定された映像を指定された映像として、前記ステップ c ) 〜e ) を繰り返す請求項 7記載の映像閲覧方法。

1 1 . コンピュータに、ある映像群の少なくとも 1つの映像を用いて次の映像群の映像が制作されるという一連の対応関係を有する複数の映像群から所望の映像を閲覧するための映像閲覧処理を実行させるためのプログラムにおいて、

前記一連の対応関係から生成された相互の対応関係を格納するステツプと、

前記複数の映像群のいずれか 1つの映像群の映像が指定されると、前記相互の対応関係を参照して前記指定された映像と対応関係を有する他の映像群の映像を特定するステップと、

前記指定された映像を表示画面の第 1の領域に表示するステップと、前記指定された映像と前記特定された映像との対応関係を前記表示画面の第 2の領域に表示するステップとを含むコンピュータプログラム。

1 2 . 複数の映像から所望の映像を閲覧するための映像閲覧方法において、第 1の映像群、前記第 1の映像群を用いて制作された第 2の映像群および前記第 2の映像群を用いて制作された第 3の映像群のうちいずれか 1つの映像群の映像を指定することにより、指定された映像と対応関係を持つ他の映像群の映像を特定し、前記指定された映像と前記特定された映像との対応関係を表示する映像閲覧方法。

1 3 . 前記対応関係は、ある映像群の少なくとも 1つの映像を用いて次の映像群の映像が制作されるという一連の対応関係から生成される請求項 1 2記載の映像閲覧方法。

1 4. 前記複数の映像群にそれぞれ対応して所定の表示フォームを用意し、前記指定された映像が属する映像群に対応する表示フォームで、前記指定された映像と前記特定された映像との対応関係を表示する請求項 1 3記載の映像閲覧方法。

1 5 . 前記表示フォームは、前記指定された映像の映像区間を基準にして前記特定された映像の映像区間を対比表示する請求項 1 4記載の映像閲覧方法。