JP3613543B2 - 動画像編集装置 - Google Patents

Description

【０００１】
【発明の属する利用分野】
本発明は、テレビジョン放送番組制作、ビデオ番組制作などの動画像編集時等に用いられる動画像編集装置に関する。
【０００２】
【従来の技術】
従来から、テレビジョン放送番組制作、ビデオ番組制作設備では、コンピュータを用いて高機能化が急速に進展している。特に近年では、テープカウンタを頼りに、早送り、巻戻しを繰り返すようなビデオテープレコーダーによる映像編集方法ではなく、素材映像を廉価で取り扱いや保存が容易なハードディスクに格納することによって編集を行う動画像編集装置、いわゆるノンリニア編集装置の進歩がめざましい。
【０００３】
図２は従来の動画像編集装置の構成の一例を示すブロック図である。
２０１はシーン変化点検出部、２０２は磁気記憶装置、２０３はモニタ、２０４はフレームバッファ、２０５はメインメモリ、２０６は入力装置、２０７はＶＴＲ、２０８はビデオインターフェイス、２０９は画像圧縮部、２１０はオーディオインターフェイス、２１１はＣＰＵ、２１２はバス、２１４は画像縮小部である。
シーン変化点検出部２０１、磁気記憶装置２０２、モニタ２０３、フレームバッファ２０４、メインメモリ２０５、入力装置２０６、ビデオインターフェイス２０７、オーディオインターフェイス２１０、画像圧縮部２０９、及び画像縮小部２１４はバス２１２を通してＣＰＵ２１１に接続され、ＶＴＲ２０７は前記ビデオインターフェイス２０８と前記オーディオインターフェイス２１０に接続されている。
【０００４】
図２において、ＣＰＵ２１１はバス２１２によって、接続されている他の構成要素と信号を送受し合い、該各構成要素はそれぞれ前記ＣＰＵ２１１からのアクセス信号により制御される。また、前記ＣＰＵ２１１への指示はオペレータがマウスまたはキーボード等の入力装置２０６によって行う。ＶＴＲ２０７は、複数のシーンからなる一連の動画像情報を再生し、該再生した情報の動画像をビデオインターフェイス２０８に送るとともに、該再生した情報の音声信号をオーディオインターフェイス２１０に送る。該オーディオインターフェイス２１０は入力した音声信号をディジタル化して磁気記憶装置２０２に送る。該磁気記憶装置２０２は送られてきた音声情報を格納する。前記ビデオインターフェイス２０８は、送られてきた動画像をこの動画像編集装置で扱うフォーマットに変換し、シーン変化点検出部２０１，前記磁気記憶装置２０２，メインメモリ２０５，画像圧縮部２０９，画像縮小部２１４に送る。前記画像圧縮部２０９は、送られてきた動画像を圧縮符号化し、前記磁気記憶装置２０２に送る。前記磁気記憶装置２０２は送られてきた映像情報を格納する。前記シーン変化点検出部２０１は入力された動画像をフレーム毎に解析し、各フレーム間の色分布の変化の大きさからシーンの変化点を検出する。画像縮小部２１４は前記シーン変化点検出部２０１の解析結果から各フレームを８０画素×６０画素に縮小した縮小動画像即ち、Ｍ−アイコンを作成する。作成された該Ｍ−アイコンは前記磁気記憶装置２０２に送られ格納される。また、該Ｍ−アイコンと前記シーン変化点検出部２０１の検出結果との関係を記述した動画像解析情報（シーンの変化点のフレーム番号を含む）も、前記磁気記憶装置２０２に送られ格納される。モニタ２０３は前記磁気記憶装置２０２に格納された動画像をその解析情報に基づいて表示を行い、オペレータにＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。フレームバッファ２０４は前記モニタ２０３に表示するための画像を記憶する。前記メインメモリ２０５は、前記ＣＰＵ２１１の各種制御プログラムを記憶する。
【０００５】
なお、前記磁気記憶装置２０２のかわりに、他の記憶媒体、例えば、光磁気記憶装置を用いたり、あるいはネットワークを介したリモートファイルを用いてもよい。また、前記入力装置２０６に使用されるマウスは、トラックボール等、他のポインティングデバイスを用いてもよい。
【０００６】
オペレータは、シーン変化点検出部２０１で得たシーン解析情報を反映させた縮小動画像（ Ｍ−アイコン）を編集操作対象とし、編集画面上で階層構造（ツリー構造）状に組立てることにより、編集を進めていく。
【０００７】
図３はその編集画面の一例を示す図で、前記モニタ２０３上に表示される。３００は編集画面、３０１はツリー構造表示エリア、３０２はＭ−アイコン、３０３はＭ−アイコンを拡大して表示した略図、３０４は素材エリア、３０５は各種機能ボタン群、３０７は複数のカットやシーンを一まとまりとして編集したことを表したＭ−アイコンである。
ツリー構造表示用エリア３０１に示すように、Ｍ−アイコン３０２を編集画面３００内で階層構造（ツリー構造）状に組立てることにより、編集を行っていく。上位の階層は、それに属する下位の階層を一つのまとまりとして表現したものであり、物語でいうところの章や節に相当する。最上位の階層がストーリー全体を表す。素材エリア３０４はシーン変化点検出部２０１の解析結果から、画像縮小部２１４が作成したＭ−アイコン３０２を並べておくエリアで、オペレータはここから編集したい素材を選んで、前記ツリー構造表示エリア３０１にツリー構造を構築する。各種機能ボタン群３０５は前記編集画面３００上で各種編集を行うための操作ボタンである。
【０００８】
以上述べたように上記動画像編集装置では、オペレータの負担を軽減することが可能となっている。即ち、
シーンやカットを単位とした編集を行うことができるので、ストーリーの組立が容易である。しかも、入力された動画像に対するシーン単位の分割が自動的に行われるので、オペレータの手を煩わすことはない。更に、動画像を階層構造状に記憶して管理することができるので、必要なシーンやカットの検索が容易になる。
【０００９】
テレビジョン放送番組制作、ビデオ番組制作などの動画像制作の過程、即ち動画像編集では、制作に使用する映像にまつわる情報（以下、映像付随情報と称する）、例えば撮影日時，撮影場所，撮影意図といった撮影関連情報、映像内の出演者の肖像権，音楽の著作権，利用可能範囲，使用期限といった権利関連情報、台本，字幕などの映像付加情報、編集履歴，タイムコードなどの編集関連情報、等が多岐にわたり大量に発生する。更には、編集意図に代表される様々な抽象度をもった情報が大量に発生する。 以下に、従来のノンリニア編集装置での映像付随情報の管理方法を述べる。
【００１０】
従来のノンリニア編集装置の映像付随情報の管理方法の具体例（情報管理・表示方法）を、図４と図５によって説明する。図４と図５は、それぞれ各映像素材あるいは静止画素材について、素材名，素材媒体の種類，素材媒体の長さ，コメント等の映像付随情報を表示したものである。 ４０１は素材の種類別アイコンの表示欄、４０１−１と４０１−２は素材アイコン、４０２は素材名の表示欄、４０３は映像，音声等の区別の表示欄、４０４は素材の長さの表示欄、５０１は素材の代表アイコンの表示欄、５０２は素材の題名，種類，素材長の表示欄、５０３は素材の編集時のコメント表示欄、５０４は素材のラベルの表示欄である。
【００１１】
図４において、素材の種類別アイコンの表示欄４０１には、素材の種類を表すための素材アイコン４０１−１または４０１−２が表示されている。例えば、素材アイコン４０１−１はこの素材がプログラムであることを示し、素材アイコン４０１−２はこの素材がシーンであることを示している。この他に素材アイコンは、１カットを表すもの等がある。素材名の表示欄４０２は左側の前記素材の種類別アイコンの表示欄４０１で表した素材の題名を表示し、映像・音声等の区別の表示欄４０３はその素材が音声でできていれば“Ａ２”、映像でできていれば“Ｖ”または“Ｖ１”で表示している。また、その右隣の素材長の表示欄４０４にはその素材の長さを表示している。
【００１２】
また、図５において、素材の代表アイコンの表示欄５０１には音声素材アイコン５０１−１，静止画像素材アイコン５０１−２，音声情報を伴った動画像素材アイコン５０１−３，フォルダアイコン５０１−４，音声情報を伴なわない動画像素材アイコン５０１−５等が表示される。素材の題名，種類，素材長の表示欄５０２は左側の前記素材の代表アイコンの表示欄５０１で表した素材の題名，種類，素材長等を表示する。例えば、前記音声素材アイコン５０１−１の右欄は“題名”，“動画像”，“素材長”が記されており、前記静止画像素材アイコン５０１−２の右欄は“題名”，“静止画”，“素材長”が記されている。また、音声情報を伴った動画像素材アイコン５０１−３や音声情報を伴なわない動画像素材アイコン５０１−５の右欄は“題名”，“動画像”，“素材長”が記されており、前記フォルダアイコン５０１−４の右欄は“フォルダ名”，“フォルダ”，“フォルダの中の素材数”が記されている。更に、素材の編集状態の表示欄５０３は、編集状態やその素材に対する編集に必要な簡単な情報を記述してあり、素材のラベルの表示欄５０４はその素材のラベル名を記述している。
【００１３】
図４や図５において、以上述べたような情報を付加する場合、付加したい情報の情報欄をウィンドウ内から探し出し、マウスなどの前記入力装置２０６により該情報欄を選択することで入力可能状態としてから、キーボードなどの前記入力装置２０６により文字を入力することで、これを実現する。例えば、動画像素材アイコン５０１−３に「インタビュー」というラベル名を付加したい場合、まず動画像素材アイコン５０１−３のラベル名の情報欄５０５をマウスで選択し、入力可能状態にする。その状態で、キーボードから「インタビュー」と入力するとラベル名情報欄５０５上に「インタビュー」の文字が表示される。
【００１４】
しかし、上述の図４と図５で説明した映像付随情報の表示方法では、動画像編集中に発生する様々な抽象度を持つ情報に対してそれを表示や管理が困難である。以下、情報の抽象度の簡単な具体例をもとに理由を述べる。
【００１５】
番組を制作する場合、オペレータは、番組を物語でいうところの起承転結あるいは章節項のように階層構造的に考えて作成しようとする。その際にはオペレータの頭の中には階層構造を組み立てるもととなる概念情報が存在する。例えば、“山の四季”を描いたドキュメンタリー番組を制作する場合を例にとる。
【００１６】
図８は、“山の四季”を描いたドキュメンタリー番組を制作する場合に、製作者の頭に組立てられた階層構造の概念情報を描いた図で、映像付随情報の抽象度を説明する図でもある。図８において、
具体例（１）：
番組は、山の四季を紹介するためのものである。こうした番組を制作する場合のオペレータの思考手順を以下に列記する。
【００１７】
手持ちの映像データとしては、“淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる”映像データ８０１，“川が雪解け水で水かさを増して流れている”映像データ８０２，“ふきのとうが芽を出している”映像データ８０３，“動物たちが冬眠からさめて動き始める”映像データ８０４，“鳥のさえずっている”映像データ８０５，“森林が鮮やかな黄緑色に染まっている”映像データ８０６，“セミの鳴く”映像データ８０７，“燃えるような紅葉”映像データ８０８，“あたり一面が銀世界におおわれている”映像データ８０９が既に所有されている。
【００１８】
オペレータは最初にそれらの手持ちの映像データを一通り眺め渡し、前記“山の四季”の映像データ８１７を春から冬にかけて順に紹介しようと計画し、“春”の映像データ８１３，“夏”の映像データ８１４，“秋”の映像データ８１５，“冬”の映像データ８１６の４部構成で作成しようと考える。また、手持の映像データでは不足と考えた場合は、別に映像データの入手を検討する。更に、“春”の中身を、“雪解け”，“芽吹き”，“啓蟄”の３構成しようと思考する。そして“雪解け”を“淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる”様子を撮影した“淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる”映像データ８０１と“川が雪解け水で水かさを増して流れている”様子を撮影した“川が雪解け水で水かさを増して流れている”映像データ８０２で構成して、“雪解け”の映像データ８１０を編集しようとする。前記“淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる”映像データ８０１と、前記“川が雪解け水で水かさを増して流れている”映像データ８０２は、生の映像データで視覚的な情報であり、最も具体的な（抽象度の低い）情報である。
【００１９】
その他の“春”の中身として、“芽吹き”を前記“ふきのとうが芽を出している”映像データ８０３で、“啓蟄”を前記“動物たちが冬眠からさめて動き始める”映像データ８０４と前記“鳥のさえずっている”映像データ８０５で組合わせることによって、“芽吹き”の映像データ８１１と“啓蟄”の映像データ８１２の２つの映像データで構成し“春”の映像データ８１３を編集しようと考えたとする。
前記“雪解け”の映像データ８１０，前記“芽吹き”の映像データ８１１，前記“啓蟄”の映像データ８１２といったものは、前記映像データ８０１，８０２とは異なり、概念的な（抽象度の比較的高い）情報である。その他、“夏”の映像データ８１４，“秋”の映像データ８１５，“冬”の映像データ８１６の構成は、前記“春”の映像データ８１３と同様に考えられるので省略するが、それらの構成の“鳥のさえずっている”映像データ８０５、“森林が鮮やかな黄緑色に染まっている”映像データ８０６、“セミの鳴く”映像データ８０７、“燃えるような紅葉”映像データ８０８、“あたり一面が銀世界におおわれている”映像データ８０９も、最も具体的な情報である。
また、前記“春”の映像データ８１３，前記“夏”の映像データ８１４，前記“秋”の映像データ８１５，前記“冬”の映像データ８１６は、前記映像データ８１０，８１１，８１２より、さらに概念的な（抽象度の高い）情報である。更に番組“山の四季”の全体構成である“山の四季”の映像データ８１７は、最も抽象的な情報である。結果として、この番組には４段階の抽象度レベルをもつ編集意図情報があるということになる。こうした情報は、編集意図の明確化や映像再利用時の検索キーワードなどとして重要なものである。
【００２０】
上述の図４の形態でこの編集意図情報を管理しようとするならば、例えば、図１２に示すようになり、対応しきれない状況が発生する。１２０１−１は編集後の映像素材、即ち番組“山の四季”の映像データ８１７を表す素材アイコン、１２０１−２は“淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる”映像データ８０１を表す素材アイコン、１２０１−３は“川が雪解け水で水かさを増して流れている”映像データ８０２を表す素材アイコンである。また１２０２は各素材アイコンの編集意図を記入する情報欄である。他の素材アイコンとそれに付随する項目の欄は、説明しないので省略した。前記映像データ８０１，８０２は、情報欄１２０２に、それぞれの情報として記入できる。また、映像データ８１７も前記情報欄１２０２にその情報として記入できる。しかし、映像データ８１０，８１３といった中間の抽象度レベルの情報は、相当する記入欄がない。映像データ８１４〜８１６，８１１，８１２に関しても同様である。もし、素材アイコン１２０２−１の行に映像データ８１７，８１３〜８１６，８１０〜８１２をすべて書込んだならば、単純な並列表記となり、情報のレベル（抽象度レベル）が失われてしまう。このように、図４，図５，図１２のような映像素材単位でしか情報表示や管理できないような、表面的で画一的な方法では、様々な抽象度をもった情報に適切に対応しきれない。
【００２１】
具体例（２）：
番組にはナレーションというものがある。これもまた、重要な映像付随情報の一つで、映像の流れに密着した情報である。前記具体例（１）で述べた、前記“淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる”映像データ８０１に対して「春の暖かい陽射しの中で…」とのナレーションＡを入れ、前記“ふきのとうが芽を出している”映像データ８０３に対して「ふきのとうが…」とのナレーションＢを入れる場合を考える。こうした場合、ナレーションＡは前記“淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる”映像データ８０１と対応付けられ、ナレーションＢは前記“ふきのとうが芽を出している”映像データ８０３とと対応付けられる、といった具合に情報が各映像に１対１に対応付けられている必要がある。このように、ナレーション情報は、映像に密着した最も具体性の高い（抽象度の低い）情報であると言える。
前述の具体例（２）のような情報管理方法では、上述の図４，図５，図１２にナレーション情報の情報欄を設け、その記述を付加し、ナレーション情報の傍にその対応する映像のフレームナンバや時刻をつけたとしても、数字の羅列だけであるから、対応関係が分かりにくいのは、明らかである。また、複数の素材にまたがったナレーションがあった場合、それを記述する適切な手段も有さない。たとえば前記素材の編集状態の表示欄５０３に前記ナレーションＡと前記ナレーションＢといったナレーション情報の記述を付加したとしても、前記ナレーションＡと前記ナレーションＢがどの映像に対応しているか分からない。このようなことは、字幕やせりふ情報等の同種の情報に関してもあてはまる。
【００２２】
具体例（３）：
制作した一連の映像の中のある区間に、ある人物が登場するような場合、この人物に関する肖像権やプロフィール等の関連情報が、映像付随情報の一つとして発生する。こうした情報は、素材の一部分にしか適用されない情報であるが、映像の長さや種類によっては、例えば登場人物の数が多い映像であったりすれば、たちまち情報量は増大する。これを、上述の図４，図５，図１２のように、一つの情報種類につき一つの情報欄を設けているような方法で記述と管理をしようとするならば、たちまち画面スペース等に問題が発生することは明らかである。
【００２３】
【発明が解決しようとする課題】
上述の映像付随情報の表示欄は、素材名やその長さといった表面的な情報を記述することはできるが、台本情報などの映像の流れに関連付けて記述するのは困難であった。また、素材の一部分にだけしか適用されない情報、例えば、一部分のみに登場する人物のプロフィール情報などに関する記述をすることは不可能であった。
【００２４】
例えば上述の具体例（１）のように、オペレータは番組を階層構造的に考え、作成しようとするのが通常である。しかし、上述のような制作思考途中に発生する概念は、重要な映像付随情報の一つであり、抽象度の高いレベルの情報から、もっとも抽象度の低いレベルの情報まで４段階の抽象度レベルをもつ情報が一つの番組の中に存在していることになる。こうした情報に関しては上述の従来の情報管理方法では、記述や管理をすることができない
また、上述の具体例（２）のように、従来の表示方法で従来の表示欄に前記ナレーション情報の記述を付加したとしても、各ナレーション情報がどの映像に対応しているか分からない。このように、映像の編集の流れに沿って発生する情報を従来のような方法で明確に記述及び管理を行うことは不可能である。このようなことは、字幕やせりふ情報等の同種の情報に関しても同様である。
【００２５】
また、上述の具体例（３）のように、従来の表示方法では画面スペース等に問題が発生する。
【００２６】
このように、従来のいわゆるノンリニア編集装置と呼ばれる動画像編集装置においての映像付随情報は、映像素材の長さやオペレータのコメント程度の位置付けでしかなく、更には、映像素材別に画一的な情報を与えるだけの情報管理方法しかできないため、前述のような抽象度の異なる様々な映像付随情報に関して十分に対応できなかった。
【００２７】
しかし映像制作の過程では、映像にまつわる情報、例えば撮影日時，撮影場所，撮影意図といった撮影関連情報、出演者の肖像権，音楽などの著作権，利用可能範囲，使用期限といった権利関連情報、台本，字幕などの映像付加情報、編集履歴，タイムコードなどの編集関連情報、等が大量に発生する。
【００２８】
こうした映像付随情報に対して、従来放送局で実施されてきたテープベースの編集においては、映像制作者がそれらの情報を取材，編集，放送メモといった形でメモ用紙、あるいはフロッピーディスク等に記録し保管していた。また、映像情報についてはビデオテープ，ハードディスク等に格納されていた。このように、情報の種類によって格納するメディアが異なるため、それぞれ別途に管理を行わなければならず、時間が経過するにつれてこれら各情報のそれぞれに対する関係（関連付け）が曖昧になり、最終的には散逸してしまうことが多かった。
【００２９】
本発明の目的は、これら映像付随情報を柔軟に関連付け、より容易な一元管理を可能とした動画像編集装置を提供することにある。
【００３０】
【課題を解決するための手段】
本発明では、上記の課題を解決するために、様々な抽象度をもつ情報に対して、ツリー構造によって階層毎に各種映像付随情報を関連付けすることで、抽象度に応じた情報管理を可能とした。また、映像の流れに密着した情報を編集時に表示されるＭ−アイコンのツリー構造と関連付けすることで、対応する映像を明確にわかるようにし、複数の素材にまたがったナレーションに対しては、ツリー構造の上位層に関連付けする方法で実現した。
【００３１】
また、関連付けする方法は映像付随情報の各種ソースメディア別のアイコンを用意し、Ｍ−アイコンにドラッグ＆ドロップする方法等のＧＵＩによって実現した。
【００３２】
更に、映像素材に対して映像解析技術を応用して得られた解析情報を、該解析情報と関連付けした解析情報アイコンとして表示することで、柔軟な関連付けを可能にした。
【００３３】
また更には、Ｍ−アイコン毎にどんな情報が関連付けされたかが視覚的に分るような表示ゾーンを各Ｍ−アイコンに設けた。
【００３４】
また更なる方法として、映像付随情報を任意のフォーマットで入力できる情報欄を設け、その情報欄の情報を必要なグループ毎に指定して、そのグループ毎に情報項目を割当てることによって容易な入力方法及び表示方法を持つ編集装置を実現した。
【００３５】
【発明の実施の形態】
本発明は動画像編集装置における映像付随情報の一元的管理方法に関するものである。
【００３６】
本発明の一実施例を図１１と図２を用いて説明する。
【００３７】
図１１はＶＴＲから、映像や音声が磁気記憶装置に編集され格納される動作を図解的に表した図である。図２は動画像編集装置の構成を示すブロック図で、従来技術で説明したものと同じ構成である。
【００３８】
図１１と図２において、映像や音声が磁気記憶装置に編集され格納される動作を説明する。まず、入力装置２０６の指示によりＶＴＲ２０７に装着済みのビデオテープから映像信号が出力され、前記ＶＴＲ２０７からフレーム単位の動画像がビデオインターフェイス２０８、バス２１２を介してシーン変化点検出部２０１に供給される。該シーン変化点検出部２０１はこの入力された動画像をデジタル化して、各画像間の色分布情報を解析し、シーンの変化点の検出を行う。前記シーン変化点検出部２０１によって生成されたシーン変化点のフレーム番号は動画像解析情報（シーン変化点情報）として磁気記憶装置２０２に記憶される。また同時に、Ｍ−アイコンが前記磁気記憶装置２０２に格納される。このＭ−アイコンは、前記シーン変化点検出部２０１に入力された動画像を、表示するＧＵＩ環境のサイズにあわせて画像縮小部２１４において縮小化処理した縮小画像（例えば、８０画素×６０画素）で、本編集装置において操作の対象となるものである。一般的に符号化された動画像から所定のフレームを取り出し映像信号に戻して画像再生するためには、符号化された動画像を復号化する必要があり、ＣＰＵ２１１では復号化のための処理時間を要する。上述の実施例のように、縮小画像（ Ｍ−アイコン）を、あらかじめ高速表示用画像として格納しておけば、復号化の処理時間を要せずに処理時間をより短くして、素早く画像の中身を確認することができる。
【００３９】
更に同時に、動画像を画像圧縮部２０９により画像圧縮技術を用いて符号化し、前記磁気記憶装置２０２に格納する。この動画像（圧縮動画像）は、例えば、編集最終結果を詳細に見たい場合などに用いられるものである。また音声に関しては、ＶＴＲ２０７の音声出力信号が、オーディオインターフェイス２１０を介してデジタル化され前記磁気記憶装置２０２に格納される。
【００４０】
オペレータは、前記磁気記録装置２０２に登録したＭ−アイコンの読出しをマウスまたはキーボード等の入力装置２０６を使って指示する。この指示に従ってＣＰＵ２１１は対応する動画像のシーン解析情報を前記磁気記憶装置２０２から読出す。その情報に基づいて、各シーンの１フレーム目のみをＭ−アイコンから読出し、モニタ２０３に表示する。この表示されたＭ−アイコンを操作することによって、本発明の動画像編集装置を動作させる。
【００４１】
図１は前述のＭ−アイコンを用いた編集画面の一例である。図１の符号は従来技術で説明した図３と共通であるが、その他に３０６，３０６−１，３０６−２，３０６−３は情報存在表示ゾーン、３１１はカットやシーンのＭ−アイコン、３１２は複数のカットやシーンのＭ−アイコン、３１３はストーリー全体のＭ−アイコン、３２１はインフォメーションボタン、３２２は登場人物検出指示ボタン、３３１はスキャナアイコン、３３２はＦＡＸアイコン、３３３はＴＥＬアイコン、３４１は肖像権アイコンである。
【００４２】
図３において、オペレータは、このＭ−アイコン３０２を用いて、ツリー構造表示用ウィンドウ３０１に示すような階層構造（ツリー構造）状に組立てることにより、ストーリーを編集していく。
このツリー構造による編集形態は、映像構造を視覚的に把握しやすくストーリーの組立てが容易であるといった利点がある他に、様々な抽象度を持つ映像付随情報を効率良く管理ために最適な環境をもたらす。例えば、従来技術で述べた３つの具体例に対する管理方法について以下に述べる。
【００４３】
具体例（１）
従来技術で述べた番組を本動画像編集装置で作成する場合、その画面は図１０のようになる。図１０は本発明の編集画面の他の実施例で、１００１〜１００５，１０１１〜１０１３，１０２１，１０２２，１０３１はＭ―アイコンで、他の符号は図１と共通である。最下層にあるＭ−アイコン１００１〜１００５は、映像データそのものを表し、Ｍ−アイコン１００１は“淡い陽光の中で氷柱が…”の映像データ８０１、Ｍ−アイコン１００２は“川が雪解け水で…”の映像データ８０２、Ｍ−アイコン１００３は“ふきのとうが…”の映像データ８０３、Ｍ−アイコン１００４は“動物たちが冬眠…”の映像データ８０４、Ｍ−アイコン１００５は“鳥のさえずっている…”の映像データ８０５である。ツリー最下層の図示しない他のＭ−アイコンも同様に他の映像データである。こうした最下層のＭ−アイコンに対しては、前述の概念の中で最も抽象度の低い情報、例えばＭ−アイコン１００１には、“淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちている”という説明情報を、Ｍ−アイコン１００２には、“川が雪解け水で水かさを増して流れている”という説明情報を関連付ける。
【００４４】
その一つ上の階層では、前記Ｍ−アイコン１００１と１００２とが結合されてＭ−アイコン１０１１を形成している。これは、前記“淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちている”映像データ８０１と前記“川が雪解け水で水かさを増して流れている”映像データ８０２とから成る１シーンであり、このＭ−アイコン１０１１に前述の“雪解け”の説明情報を関連付ける。同様にＭ−アイコン１０１２には”芽吹き”の説明情報を、Ｍ−アイコン１０１３には”啓蟄”の説明情報を関連付けする。
【００４５】
さらにもう一つ上の階層では、Ｍ−アイコン１０１１，１０１２，１０１３が結合されてＭ−アイコン１０２１が形成されている。これは、“雪解け”、“芽吹き”、“啓蟄”の３シーンから１つの“春”のシーンが形成されていることを表し、このＭ−アイコン１０２１には“春”の説明情報を関連付けする。同様にＭ−アイコン１０２２には“夏”の説明情報を関連付けする。
【００４６】
最上層のＭ−アイコン１０３１は、番組全体を表す。このＭ−アイコン１０３１には、“山の四季”の説明情報や“山の四季を紹介する”といった目的情報を関連付けする。
【００４７】
具体例（２）
従来技術の説明で述べたナレーション情報は、例えば「春の暖かい陽射しの中で…」といったナレーション８１１は、最下層のＭ−アイコン１００１に、「ふきのとうが…」といったナレーション８１２はＭ−アイコン１００３に関連付けすれば、映像とナレーション情報が完全に一対一で管理できる。
また、映像編集の過程では、映像に曲をＢＧＭとして後から重ねる場合がある。こうしたＢＧＭには、その曲名や長さ、演奏者、著作権といった情報が付随している。こうした情報を関連を映像に関連付けする場合、ＢＧＭは、複数のカットあるいはシーンにまたがっている場合が多いため中位層からより上位層に関連付けられる。図１０の例で言えば、例えば前記“春”のシーン全体に春らしいＢＧＭが重ねられていた場合、そのＢＧＭ情報は前記Ｍ−アイコン１０２１とに関連付けする。
更に、編集した番組の放送予定といったよりグローバルな情報は、ストーリー全体を表す最上層のＭ−アイコン１０３１に関連付けする。
このように、本発明のツリー構造への情報の関連付けによる情報管理方法は、情報の抽象度に応じたきめの細かい情報管理を可能にする。
【００４８】
上記の関連付けが行われると、例えば、下位の階層にあるカットやシーンを表すＭ−アイコン３１１の編集関連情報ゾーン３０６‐１に台本と字幕の文字情報が関連付けられていることを示す“台”アイコンと“字”アイコンが表示され（図１には図示しない）、中位の階層にある複数のカットやシーンにまたがっているＭ−アイコン３１２の編集関連情報ゾーン３０６‐２にはＢＧＭの曲名や演奏者の名前や著作権と関連付けられていることを示す“曲”アイコンや“者”アイコンや“著”アイコンが表示され（図１には図示しない）、最上位の階層にあるストーリーを表すＭ−アイコン３１３の編集関連情報ゾーン３０６‐３には放送来歴と関連付けられていることを示す“歴”アイコンが表示される（図１には図示しない）。
尚、映像データの組合せや編集結果によらない、縮小動画像そのものに関る映像付随情報については、素材エリア３０４内においても関連付けができる。
【００４９】
従来の動画像編集装置においては、こうした抽象度の異なる様々な情報に対し、映像素材別の画一的な管理しかできなかったが、上述のツリー構造への関連付けによる管理方法は情報の抽象度に応じたきめの細かい情報管理を可能にする。
【００５０】
テレビジョン放送番組やビデオ番組等の動画像編集物には最初から最後まで全ての映像を流す完全版と、要点のみを抽出しまとめたダイジェスト版とがある。本編集装置で完全版を編集し作成したとする。その作成されたツリー構造下層において、カットあるいはシーン毎にそれをダイジェスト版に用いるかどうかを判断し、ダイジェスト版に用いるカットあるいはシーンにはダイジェスト版使用可の情報を与えておく。また、完全版とダイジェスト版との切換え情報を、最上層のＭ−アイコン３１３の編集関連情報ゾーン３０６‐３に“全”アイコンと“ダ”アイコンとを与えておく（図１には図示しない）。実際に、ダイジェスト版を使用したい場合には、制作者が、最上層のＭ−アイコンに与えられた、完全版／ダイジェスト版情報を切換えるだけで、瞬時にダイジェスト版に切換わる。このように、下層には個々の情報を、上層にはその管理情報を付加できるようにすることにより、１つの編集結果が様々なバリエーションを持ち、多様な放送に使用できる。
【００５１】
次に、実際の編集装置において、各種映像付随情報をどのようにコンピュータ内に取込んで映像情報と関連付けするか、関連付けられた付随情報をオペレータにどう表示するかについて述べる。
【００５２】
まず、本編集装置における関連付け方法の一例について述べる。
図１に示すツリー構造において、Ｍ−アイコン３０２に代表されるシーンに対し、映像付随情報、例えば映像中の登場人物Ａに関して肖像権情報が存在した場合を例に説明を進める。
【００５３】
肖像権情報をオペレータに伝えるメディアとしては、メモ用紙，ファックス，電話，インターネット等があげられる。
もし、その肖像権情報がメモ用紙でもたらされた場合、関連付けの手段としては、以下の２通りの方法がある。
１つは、まずＭ−アイコン３０２をマウスで選択した状態で、インフォメーションボタン３２１をクリックする。するとそのシーンに関わる各種情報を入力し表示する図６のような情報ウィンドウがモニタ２０３上に表示される。図６において、６００は権利に関係する情報ウインドウ、６０１は肖像権のアイコン表示を指示するチェックボックス、６０２は情報表示欄、６０３は情報ウインドウを他の情報ジャンルに関係するウインドウに切換えるタグボタン、６０４は使用期限に関する強調表示を指示するチェックボックス、６０５はリンクボタン、６０６は入力結果を有効とするＯＫボタン、６０７は入力結果を無効とするキャンセルボタンである。この情報ウィンドウ６００は、情報項目とその情報内容を一覧表示するものである。オペレータは肖像権の項目入力する場合は、肖像権の記入欄６０２にメモ書きの内容をキーボード等の入力装置２０６で入力する。このように付加したい情報を、その情報を入力するためにあらかじめ用意された情報欄に入力・表示する方式を、以下固定フォーマット方式と称する。従来の技術で説明した図４，図５，図１２の例もこのフォーマット方式である。
【００５４】
これを装置側から見た、フローチャートで書くと図７のようになる。マウスなどの入力装置２０６（図２）からの割込み入力が発生する（ステップ１００）とＣＰＵ２１１はまず、それがインフォメーションボタン３２１（図１）が押されたものであるかをチェックする（ステップ１０１）。チェックした結果、そうであるならば、割込み発生前にＭ−アイコン３０２が選択されていたかどうかをチェックする（ステップ１０２）。チェックした結果、選択されていたと判断された場合、情報ウィンドウ６００（図６）がモニタ２０３上に表示される（ステップ１０３）。
次に、前記ＣＰＵ２１１は再びマウス・キーボード等の前記入力装置２０６からの割込みが入るのを待つ（ステップ１０４）。割込みが発生した場合、前記ＣＰＵ２１１は、その割込みの種類によって、それぞれの処理を実行する（ステップ１０５〜ステップ１１１ → ステップ１１２〜ステップ１１９）
例えば、情報表示欄６０２に対して前記入力装置２０６のキーボードからの入力があった場合（ステップ１０７）、前記ＣＰＵ２１１はその入力内容をメインメモリ２０５に書込む（ステップ１１３）。
また、チェックボックス６０１が前記入力装置２０６のマウスによってチェックされた場合（ステップ１０８）、前記ＣＰＵ２１１はあらかじめ前記メインメモリ２０５上にある肖像権アイコン３４１の表示オンオフ情報を読出して切換え、再び前記メインメモリ２０５に書込む（ステップ１１４）。
タグボタン６０３がマウスで押された場合（ステップ１１１）、前記ＣＰＵ２１１はその押されたタグボタンの種類によって、ウィンドウ６００の情報ジャンルを切換え、表示する（ステップ１１７）。
【００５５】
また、強調表示指示チェックボックス６０４が前記入力装置２０６のマウスによってチェックされた場合（ステップ１０９）、前記ＣＰＵ２１１は、前記メインメモリ２０５上にある前記肖像権アイコン３４１の表示オンオフ情報を読出し、もしオンであったならば（ステップ１１５）、あらかじめ前記メインメモリ２０５上にある前記肖像権アイコン３４１の強調表示オンオフ情報を読出して切換え、再び前記メインメモリ２０５に書込む（ステップ１１９）。リンクボタン６０５が前記入力装置２０６のマウスによって押された場合（ステップ１１０）、前記ＣＰＵ２１１は、リンク内容の有無をチェックし、リンク内容があればそれを前記モニタ２０３上に表示する（ステップ１１６）。
また、ＯＫボタン６０６が前記入力装置２０６のマウスによって押された場合（ステップ１０５）、前記ＣＰＵ２１１は、前記情報ウィンドウ６００が開かれてからこれまで前記メインメモリ２０５に書かれた情報をすべて読出し、前記Ｍ−アイコン３０２の付随情報として前記メインメモリ２０５に再格納する（ステップ１１２）。そして、前記ウィンドウ６００を閉じ、前記Ｍ−アイコン３０２の選択状態を解除し元の状態に戻す（ステップ１１８）。
また、キャンセルボタン６０７が押された場合（ステップ１０６）、前記情報ウィンドウ６００が開かれてからこれまで前記メインメモリ２０５に書かれた情報をすべて破棄し、前記ウィンドウ６００を閉じ、前記Ｍ−アイコン３０２の選択状態を解除し元の状態に戻す（ステップ１１８）。
このようにして、個々の関連付けは実現される。
【００５６】
更に具体的に、図１のＭ−アイコン３０２に代表されるシーンに対し、映像付随情報、例えば映像中の登場人物Ａに関して“人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない”という肖像権使用期限情報が存在した場合を例に説明する。
こうした情報は、たいていメモ書きの形でオペレータに伝えられる。オペレータはまず、Ｍ−アイコン３０２をマウス等の入力装置２０６で選択した状態で、インフォメーションボタン３２１をクリックする。するとそのシーンに関わる各種情報を入力・表示するために前述の図６のような情報ウィンドウがモニタ２０３上に表示される。オペレータは記入したい情報に対応する情報表示欄をウィンドウ内から探し出す。そして見つけたならば、マウスなどの入力装置２０６により、該情報表示欄を選択可能状態とし、該状態で、キーボードなどの前記入力装置２０６により文字を入力する。前述の“人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない”という肖像権使用期限情報は、使用期限の項目横の記入欄６０４が適切に対応する情報表示欄であり、オペレータはここにキーボード等の入力装置２０６を用いて“１９９８年１２月３１日”と記入する。この入力した情報を有効にし、本編集装置上に保持させたい場合には、ＯＫボタン６０６をマウス等の入力装置２０６でクリックする。
【００５７】
肖像権情報がメモ用紙でもたらされた場合のもう１つの関連付け方法は、スキャナを用いる方法である。オペレータはスキャナを用いてコンピュータへの取込みを行う。すると、取込まれた画像データが、図１の素材エリア３０４にスキャナアイコン３３１として表示される。そのスキャナアイコン３３１をＭ−アイコン３０２にマウスでドラッグ＆ドロップする。コンピュータは、ドロップされた画像データに対し文字認識技術を応用し自動的に肖像権に関する記述であることを判断し、肖像権の項目に記入する。以上のような方法によって肖像権情報がＭ−アイコン３０２に関連付けられる。
【００５８】
もしその情報が、ファックスのように直接コンピュータで受信されるような場合は、同様に、素材エリアにＦＡＸアイコン３３２として表示され、Ｍ−アイコン３０２にマウスでドラッグ＆ドロップすることにより肖像権の項目に記入される。
【００５９】
また、電話でもたらされた場合は、その音声をコンピュータに取り込む。取込まれた音声データは、ＴＥＬアイコン３３３として、素材エリア３０４に表示され、以下の動作は上述の通りである。
【００６０】
図１において、スキャナアイコン３３１、ＦＡＸアイコン３３２、ＴＥＬアイコン３３３で代表するマルチメディアアイコンによって、マルチメディアの情報を取込む方法を説明したが、インターネット通信，インタトラネット，通信機器等他の方法による取り込も上述した動作や、類似の方法によって実現できることは自明である。また、前記マルチメディアアイコンの表示場所は、素材エリア３０４とは別の場所でもよく、別のウインドウを開いてもよく、１つの種類のアイコン、例えばスキャナアイコンが複数あってもよい。また、一画面で表示できない場合は、画面のスクロールやページ変更機能等で切換えができる。
【００６１】
また図９は、複数のシーンにまたがって同一の肖像権情報を関連付けした場合を説明する図である。 ７０１〜７０６はそれぞれ１つのカットあるいはシーンを表すＭ−アイコン、７０７はＭ−アイコン７０１〜７０４をまとめた１つ上位のＭ−アイコンで、７０８は画面上のすべてのＭ−アイコン７０１〜７０６をまとめたＭ−アイコンである。図９のＭ−アイコン７０１〜７０６の中から特定のＭ−アイコンを関連付けたい場合は、そのＭ−アイコン７０１〜７０６の中から複数選択し、上記と同様の操作を行えばよい。また、選択するＭ−アイコンが７０１〜７０４であれば、その上位のＭ−アイコン７０７を選択することによって実行できるし、編集前のまだ素材エリア３０４内にあるＭ−アイコンに関連付けてもよい。
【００６２】
以上の方法は、ある特定のＭ−アイコン、今回はＭ−アイコン３０２に関連付けするといった目的があった場合の手順である。ここで、もし登場人物Ａが、どのシーンに登場するか一目ではわからない、あるいは多量であるため、複数選択が大変であるといった場合に対してより便利な関連付け方法がある。以下、図９を例にとって説明する。Ｍ−アイコン７０１〜７０６で表される映像中でＭ−アイコン７０１と７０３だけに登場人物Ａが登場する場合、まず、オペレータは、ストーリー全体を表す最上層のＭ−アイコン７０８をマウスで選択し、登場人物検出指示ボタン３２２をマウスで押す。選択するＭ−アイコンは、最上層に限ったものではなく、あらかじめ登場人物Ａの登場する区間がわかっている場合などは、その上層のＭ−アイコン例えば（Ｍ−アイコン７０７）でもよい。すると、前記Ｍ−アイコン７０８に属する映像すなわち前記Ｍ−アイコン７０１〜７０６の映像が適当な間隔で一覧表示される。オペレータはその中から登場人物Ａが登場している画面を一つ探し出し、これが登場人物Ａであるとマウスで指示する。そして、検出開始をするために前記登場人物検出指示ボタン３２２を押すことで検出開始を指示する。
編集装置は、先に指示された登場人物Ａからその特徴量、例えば皮膚の色や髪の毛の色、身長、体形などをを抽出し、それをもとに前記Ｍ−アイコン７０１〜７０６の映像に対し、検出を行う。この検出機能は公知の技術であり、上述のシーン変化点検出同様、画像認識技術を応用したものである。検出処理が終了すると得られた検出情報を抽象化したアイコン、すなわち登場人物検出結果アイコン７０９が作成・表示される。このアイコン７０９をマウスで選択し、前述のキーボードによる入力方法かドラッグ＆ドロップ方法を用いて、情報、例えば肖像権情報を関連付けすると、登場人物Ａが登場するＭ−アイコン７０１と７０３に自動で情報が分配され、一度に関連付けが終了する。こうした機能は、ＣＭなどに毎回使用される定型の音声、例えばＣＭにおいて映像と同時に流れる宣伝したい製品の “キャッチフレーズ”のような音声を、音声認識技術により検出し、検出されたシーンに対して製品メーカの情報を関連付けたり、あるいは特定の効果音、例えば、波の音を音声認識技術により検出し、検出されたシーンに対して、海に関する情報を関連付けするなど、様々な関連付けを可能にする。
【００６３】
このように、映像解析技術により得られた映像解析情報を有効的に利用して、より柔軟な映像情報と映像付随情報との関連付けを実現している。
【００６４】
次に、関連付けられた情報をどのようにして表示するかについて記述する。
上記の方法にて肖像権情報と関連付けられたＭ−アイコン３０２には、縮小動画像の下に設けた情報存在ゾーン３０６に小さな肖像権アイコン３４１が表示される。これは、そのシーンに肖像権情報が関連付けられていることを表す。これにより、該シーンにどういった情報が付加されているのかが、一目瞭然になり、そのシーンを使おうとする編集者に対して使用上の注意を喚起することにもなる。このアイコンは、もちろん文字の他、記号，イラスト，絵，等を用いてもよい。また、映像使用期限情報などが付加されているシーンにおいて、既に期限が切れている場合や期限日が近い場合などは、該ボタンをそれぞれ特徴のある色や枠を使って表示する。これは、使用期限が切れてしまったシーンを誤って使用しないようにすることに大変有効である。このように、色を変える等の強調をすることで、表示に更に詳しい情報を与えられる。これは、大きさを変えたり、飾り枠を付けることでも行うことができる。
【００６５】
図３のＭ−アイコン３０２に代表されるシーンに関連付けられた情報内容を見る場合、オペレータはＭ−アイコン３０２をマウスで選択した状態で、インフォメーションボタン３２１をクリックする。すると、図６のような情報ウィンドウが表示される。ウィンドウ６００は、撮影関連情報，権利関連情報，映像付加情報，編集関連情報といった具合にジャンル毎に多層ウィンドウ化され、その切換えはタグボタン６０３にて行われる。前述の肖像権アイコン３４１の表示のオンオフは、チェックボックス６０１で行えるようになっている。上述の関連付け方法にてファックス，スキャナ，インターネットなどの電子媒体よりもたらされた情報項目に関しては情報欄６０２の横にリンクボタン６０５が表示される。オペレータがリンクボタン６０５を押すと、ファックスやスキャナで取込んだ画像データがモニタ２０３に表示される。また、その表示の上には、送信元のファックス番号などの情報が表示される。更に、電話によって得られた音声情報も同様にリンクボタン６０５の押下げによって再生される。このように、情報ウィンドウから各マルチメディア情報への容易な呼出し方法を装備している。
【００６６】
更にこのリンクボタン６０５は、例えば、登場人物プロフィール情報がインターネットのホームページ上にある場合、情報ウィンドウ６００の登場人物プロフィールの項にそのホームページアドレスを入力することで、そのホームページとの間にリンクする際にも使用することができる。
【００６７】
これら関連付けされた情報群に対し、検索を行いたい場合には、以下のように行う。まず、ツリー構造の中で検索対象の箇所の最上位に位置するＭ−アイコンを選択する。これは、複数選択も可能である。その状態で各種機能ボタン群３０５の中の検索ボタンをマウスでクリックすると、検索条件を入力するウィンドウが表示される。検索条件には、例えば名前，日付等のようなキーワード的な条件から、前述の画像認識技術の応用により抽出した特徴量的な条件、例えば茶髪の女性といった条件がある。あるいはこれは、カメラワーク情報といったものが既に関連付けされていた場合などでは、ズームインしていく映像といった条件などでも検索可能である。検索条件を入力後、前記検索ボタンをクリックすると、検索が始まる。検索が終了し、検索結果が表示されるが、発見された場合には、該当するＭ−アイコンが、色付けにより強調表示される。また発見されなかった場合には、その旨を記したメッセージが表示される。
【００６８】
また、前述のＦＡＸアイコン３３２に代表されるマルチメディアアイコンを選択し、前記検索ボタンをクリックすると、そのファックス情報と関連付けられたすべてのＭ−アイコンが強調されて表示される。これは、スキャナアイコン等の他のマルチメディアアイコンでも同様である。
【００６９】
ここでの検索は、上述のリンクボタン６０５による映像情報からマルチメディア情報の呼出しと逆の呼出しに相当し、双方向の呼出し方法が実現されている。
【００７０】
さらには、前述の映像解析技術の応用により得られた登場人物アイコン７０９に代表される映像解析情報アイコンを選択しても、同様に関連付けられた全てのＭ−アイコンが強調されて表示され、瞬時の検索が可能となっている。
【００７１】
次に、図６によって説明した固定フォーマット方式による情報入力方法と別の情報入力方法（以下フリーフォーマット方式と称する）を述べる。
映像付随情報の種類は多岐のジャンルにわたる。こうした情報は、似たような情報をグループにまとめるなどの分類分けをして管理するのが一般的である。しかし、こうした情報の分類分けは、その情報を利用する人毎あるいは制作現場毎に適切とされる方法が異なる。例えば、ある制作現場では、権利関連情報が業務上重要であるから、権利関連情報を一覧できるように一まとまりにしたいと考えるであろう。また別の制作現場では、権利関連すべては必要でないから必要な映像の使用期限情報のみを一まとまりにしたいと考えるかもしれない。更に、必要な情報の種類そのものさえも、利用する人や制作現場毎に異なるであろう。更にはまた、映像付随情報はすべての素材映像に必ずしも一律に存在するものではない。例えば、すべての映像に肖像権が発生するわけではなく、肖像権情報のない映像もある。このように映像付随情報は言うなれば少量多品種型の情報である。
【００７２】
前記固定フォーマット方式は、あらかじめ情報欄をすべての素材に対して一律に用意しておく方式である。この方式で多岐にわたる情報に対応するためには、多数の情報欄を設置する必要がある。設置した多数のジャンルの情報欄すべてに情報が付加されるような使い方をする限りにおいては問題はない。しかし映像付随情報は少量多品種型の情報である場合がほとんどで、設置した情報欄の一部しか使用せず、情報欄は空白だらけとなることが多い。つまり、存在しない情報のために余計なＧＵＩスペースを用意しなければならない。
またＧＵＩスペースの増大は、オペレータが情報の存在を把握しにくいといった問題を生む。更に、同一種類の情報が複数存在した場合にも管理しにくい。
【００７３】
これを従来技術で説明した図５を用いて説明する。図５には、情報の種類としては情報欄５０２に代表される“題名”、情報欄５０３に代表される“コメント”、情報欄５０４に代表される“ラベル”の３種類がある。“題名”の欄は、素材またはフォルダの名前や種類，素材長またはフォルダ内の素材数などを記入・表示する欄である。この種類の情報は、どんな素材にも必ず存在するものである。図５を見てもわかるようにこのような情報に対しては、“題名”の列すべて情報が記入されていてＧＵＩスペース上、無駄がない。しかし、隣の“コメント”の列を見ると、音声素材アイコン５０１−１・フォルダアイコン５０１−４の情報欄が空白となっている。“ラベル”の列も同様であり、これらの空白は、ＧＵＩスペース上の無駄である。
【００７４】
この例では、素材が５つで情報の種類が３つであるため、さほど問題とはならないが、素材の数や情報の種類が増大した場合、ＧＵＩスペースの無駄は大きな問題となる。また、動画像素材アイコン５０１−５に対して情報欄５０３には、既に「人が横切るシーンをカット ０：００：０１：１２」といった“コメント”情報が付加されているが、別の“コメント”情報を追加したいといった場合は、記入欄の行数を増やさなくてはならない。行数を増やすと“題名”や“ラベル”の列も１行ずつ空白行が増加することになり、これもＧＵＩスペースの無駄となる。
以上は、ＧＵＩ上の問題点である。
【００７５】
次に操作上の問題点をあげる。
動画像編集の現場では、撮影された映像素材に対しその撮影日時，撮影場所といった撮影情報から、素材名，素材長といった素材情報，使用期限，利用可能範囲といった権利情報，映像素材をどのように編集し最終的にどのくらいの時間長の映像に仕上げればよいのかといった編集指示情報，等の情報がメモ書きの形でもたらされることが多い。これらのメモ書きは、動画像編集現場でのコンピュータの導入が進むにつれ、メモ書きという非コンピュータ的な形から、テキストファイルなどのコンピュータに伝達しやすい形でもたらされるように変化してきている。このように付加したい情報を記述したものがテキストファイルなどの形で既に存在していて、例えばフロッピーディスクやインターネット，イントラネット等を介して、編集装置に取込んで各情報種類に分配して付加しようとする場合がある。このとき前記固定フォーマット方式での操作手順は、テキストファイルを開いてその中から該当する内容を見つけ出し、その文字列をマウス等で切出して、メモリにコピーした上で、上記の方法で情報欄を入力可能状態にし、そこにペーストするといった手順を踏まなくてはならない。
また、記入した情報の属する項目を移動する場合、その情報を変更先の情報欄に再記入した上で、変更元の情報を消去するといった手順を踏む必要があり、操作手順が煩雑である。
【００７６】
次に、運用的な問題点について述べる。
上述したように、動画像編集現場には様々な情報がもたらされるが、時にはもたらされた情報が準備した情報分類では適切なものがない場合もある。また、複数の情報が結合されて一つの文章の形で伝達される場合もある。これをそのまま関連付けしたいという場合や、または個々の情報への割振りは後で行うつもりで仮に入力しておこうという場合などがある。
上述の場合に対して、固定フォーマット方式はもたらされた情報を必ず細分化して関連付けすることを必要とするため不便なことが多い。
【００７７】
上述のような場合と少量多品種型の情報に対する場合について、これら映像付随情報を柔軟に入力と表示ができる方式について、以下に述べる。
まず、ＧＵＩスペースの問題であるが、本発明では、従来方式のようにあらかじめ情報項目と情報欄のペアを用意することをせず、箇条書き，文章書き等の任意のフォーマットで記入できる汎用の情報欄に情報を入力し、次にその入力された情報に見合った情報項目のタグボタンを貼り付けるいった形態をとった。つまり、必要なところに必要なだけのＧＵＩスペースを割当てるようになっていて、存在しない情報のための余計なＧＵＩスペースを必要としない。またソートボタンにより瞬時に必要な情報を表示できるようにしたことで、情報の確認も容易である。また、同一素材に対し、同一種類の情報が複数存在する場合も、それぞれの情報に情報項目タグボタンを複数度ペーストできるので、容易で柔軟な対応が可能である。
【００７８】
次に、操作上の問題点であるが、付加したい情報がテキストファイルなどの形でもたらされた場合、後述の取込みボタンを使用することで、その情報をそのまま動画像編集装置内に取込むことができるようにした。したがって従来のような煩雑な操作手順は不要である。また、取込んだ上でその内容を吟味できるので、文章の添削のような感覚で情報の入力や付加ができる。さらに、既に付加した情報の情報項目の変更は、新たな情報項目タグを上にドラッグ＆ドロップするといったワンアクションのみで実現できるようにし操作を簡便化した。
【００７９】
運用的な問題に対しては、箇条書き，文章書き等の任意のフォーマットが入力できる情報欄と階層構造的な形で用意された情報項目タグボタンを用いることで、固定フォーマット方式のように情報をあらかじめ細分化して入力することを必要とせず、現時点ではとりあえずおおまかな状態で情報を付加しておいて後で割振るような運用を可能にした。また、情報項目を階層構造的に用意することは、付加したい情報が用意した情報項目の中にニュアンス的には近いがぴったり適切なものがない場合には、その上位の情報項目タグボタンを使えるようにすることで、柔軟に対応できるようにした。更に、情報項目タグボタンの階層的な配置は、所望のタグボタンを探すのが容易になるという効果もある。
【００８０】
また、情報種類の追加も、情報項目タグボタンの追加のみで済む。また、情報項目タグボタンの階層構造も設定できるようにした。したがって、使用する動画像編集現場の用途に応じた柔軟な対応が可能である。
【００８１】
このフリーフォーマット方式の映像付随情報の入力及び表示方法について、以下に具体的な実施例をあげて説明する。
情報ウィンドウを呼出すまでに要する手順は、固定フォーマット方式と同様である。呼出されたウィンドウは図１３〜図１８のようになる。図１３〜図１８において、１００は情報ウィンドウ、１０１は各種映像付随情報の情報項目タグボタン、１０２は情報項目タグを貼り付けるタグ貼り付けエリア、１０３は任意のフォーマットが入力できる情報欄、１０４は情報欄の表示範囲を設定するスクロールバー、１０５は表示する情報項目タグを切換える切換えボタン、１０６は情報の重要度を設定する重要度設定ボタン、１０７は情報欄に表示された情報を並べ替える処理を指示するソートボタン、１０８は情報欄にテキストファイルの内容の取込みを指示する取込みボタン、６０６は入力結果を有効とするＯＫボタン、６０７は入力結果を無効とするキャンセルボタンである。
【００８２】
図１３において、情報ウィンドウ１００が呼出された状態で、オペレータはまず、伝達された情報をキーボードなどの入力装置２０６で入力する。本例では“人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない”と入力する。すると図１４に示すようになる。次に記入した文字列の中で情報として利用する文字列の先頭と末尾に改行をキーボード等の入力装置２０６を入力し、該文字列を全体の文の中から切出す。本例では、“１９９８年１２月３１日”の文字列の先頭と末尾に改行を入力する。すると図１５に示すようになる。この文字列の切出し方法は改行による方法以外、コピー・ペースト等、他の方法でもよい。図１５を見てわかるように、切出された文字列の上下には、切出されたことを明示する切出し明示線１１１が表示される。次に、情報項目タグボタン１０１がおかれたタグボタン群の中から、該当する情報項目タグボタンを探し出す。この情報項目タグボタン群は、図１９に示すような階層構造的な形で格納されている。オペレータは切換えボタン１０５をマウスでクリックすることでその階層間を移動して表示する情報項目タグボタンを切換える。本例では、図１５の情報項目タグボタン１０１の“権利情報”をマウスで選択状態にし、該状態で切換えボタン１０５の下向き矢印部分をマウスでクリックする。すると図１６に示すように前記情報項目タグボタン１０１は、“権利情報”，“撮影情報”，“素材情報”，“編集情報”から図１９の“権利情報”の階層構造で下位にある“肖像権情報”，“著作権情報”に変る。更に、情報項目タグボタン１１２の“肖像権情報”を選択状態にし、同様に切換えボタン１０５の下向き矢印部分をマウスでクリックすると、図１９の“肖像権情報”の階層構造で下位にある情報項目タグボタン１１３の“肖像権者の氏名”の意味を示す略称“肖／氏名”，“使用期限”の意味を示す略称“肖／使用期限”，“使用可能範囲”の意味を示す略称“肖／使用可囲”が表示され、図１７に示すようになる。
【００８３】
オペレータは、この前記情報項目タグボタン１１３をマウスでドラッグし、前述の切出された文字列の真左でかつタグ貼付けエリア１０２内である位置にドロップする。すると図１８に示すように、ドラッグされた前記情報項目タグボタン１１３の複製の情報項目タグボタン１１４が作成されて所望の文字列の左側に配置される。
【００８４】
更に、はじめに入力した文字列“人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない”の中の“人物Ａ”という文字列を、肖像権者氏名情報として、関連付けしたいと場合には、該文字列を上述した方法と同様に切出して、上述と同様の操作で情報項目タグボタン１１３の“肖／使用期限”を選んでドラッグ＆ドロップすることで実現する。尚、図１３には図示しないが、前述の固定フォーマット方式でのリンクボタン６０５（図６）は、このタグボタンエリア１０９に設けられ、上記と同様に階層構造的に動作する。
【００８５】
情報数がある一定数を超え、一つの画面内に表示できない場合には、マウスでスクロールバー１０４を動かし表示範囲を変更できる。また、タグボタンエリア１０９にタグボタン１０１，１１２，１１３を一度に表示できない場合も図示していないがスクロールバー等で表示範囲を変更することは可能である。また図１９に示した階層構造は、必要となる映像付随情報の一例で、説明に必要な部分を一部省略して示している。
【００８６】
任意の情報項目タグボタンが選択された状態において、重要度設定ボタン１０６をマウスでクリックすると、その情報の重要度が設定できる。重要度高と設定された情報項目タグは、その色，フォント，外形などが変化し、重要であることをオペレータが一目で分かるようにすることができる。
【００８７】
ソートボタン１０７は、既に付加した情報の表示する順番を変更するボタンである。該ソートボタン１０７を押して、先述の重要度別に並べることを指示したならば、各情報の重要度に応じて画面上方から下方に向かって順に表示される。また、権利関係だけを並べて表示するという指示を出せば、付加された情報の中から、権利関係の情報だけを見つけ出して表示する。これは、重要な情報・特定の情報を見つけ出すのに有効な手段である。
【００８８】
更に、上述の例では、最初の文字列“人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない”をキーボードから入力したが、既に該文字列が、テキストファイルの形でもたらされている場合には、オペレータが取込みボタン１０８をマウスでクリックし、該テキストファイルの取込みを指示することで該文字列を情報欄１０３上に表示することができる。
【００８９】
既に付加した情報に対してその情報項目を変更したい場合は、変更したい情報の情報項目タグの上に新たに情報項目タグをドラッグ＆ドロップすることで実現する。
また、既に付加した情報項目を無効としたい場合は、該情報項目タグをマウスでドラッグし、タグ貼り付けエリア１０２外のエリアにドロップする。
情報項目タグボタンの数や項目内容などの属性や階層構造は、動画像編集装置から、使用する制作現場や人物に応じて設定変更できる。
【００９０】
最後にこの関連付けした情報を有効なものとして確定し、ウィンドウを閉じたい場合にはＯＫボタン１０９をマウスでクリックする。また、無効としてウィンドウを閉じたい場合はキャンセルボタン１１０をマウスでクリックする。
【００９１】
最初の段階で“人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない”という文字列を細かく分割せず、一つの情報として関連付けしたい、あるいはとりあえず今はおおまかに情報を付加しておいて後で細かく付加したいなどといった場合には、文字列全体を一つの切り出しとみなし、それに情報項目タグ１１３の上位層の情報項目タグである情報項目タグ１０１を付加しておくことも可能である。
【００９２】
また、どの情報項目に属さない空タグボタンが情報項目タグボタンとして設けられ（図示しない）、情報の振分けが難しいのでとりあえず今はおおまかに情報を付加しておいて後で細かく付加したい場合に使用する。
【００９３】
本例では、はじめに“人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない”という文章すべてを入力したが、使用期限情報しか使わないと判っている場合などは、はじめから、“１９９８年１２月３１日”だけを入力しても良い。
【００９４】
また、上記フリーフォーマット方式の実施例では、情報欄１０３内の情報文字列を切出して、各行毎に分けてから、映像情報のジャンルを割当てるため、目的の情報項目タグボタンをドラッグ＆ドロップして割当てていた。しかし、別の方法として、前記情報欄１０３内の情報文字列の必要な部分をマウス等で選択し、該選択した文字列を目的の情報項目タグボタンにドラッグ＆ドロップして、割当て及び表示を行うことも可能である。
【００９５】
【発明の効果】
以上、説明したように、本発明によれば、映像付随情報のきめの細かい一元的管理が可能になり、付随情報の散逸といったことがなくなる。また、情報の抽象度に応じたきめの細かい情報管理を可能にする。即ち、映像付随情報の入力・表示方法が簡便になり、操作を容易にかつ迅速に行うことができる。また、編集中に目的の映像素材にどんな付随情報があるかもすばやく把握でき、詳細情報の確認が容易に可能となる。更に、その操作手段も平易なインターフェイスで実現しているため、低い熟練度でも操作が可能となる。
【図面の簡単な説明】
【図１】本発明の動画編集装置の編集画面表示の一例を示す図。
【図２】ノンリニア動画編集装置の構成例を示すブロック図。
【図３】従来の動画編集装置の編集画面の一例を示す図。
【図４】従来の各種情報を入力・表示する情報ウインドウの一例を示す図。
【図５】従来の各種情報を入力・表示する情報ウインドウの他の例を示す図。
【図６】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図７】本発明の映像付随情報を映像データへ関連付けする方法の一例を示すフローチャート。
【図８】映像付随情報の抽象度を説明する図。
【図９】本発明の動画編集装置の編集画面表示の他の一例を示す図。
【図１０】本発明の動画編集装置の編集画面表示の別の一例を示す図。
【図１１】本発明において映像情報が記憶される動作を説明する図。
【図１２】従来の各種情報を入力・表示する情報ウインドウの別の例を示す図。
【図１３】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１４】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１５】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１６】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１７】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１８】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１９】本発明の情報タグボタンの階層構造を説明する図。
【符号の説明】
１００：情報ウィンドウ、 １０１，１１２，１１３，：情報項目タグボタン、 １０２：タグ貼り付けエリア、 １０３：情報欄、 １０４：スクロールバー、 １０５：切換えボタン、 １０６：重要度設定ボタン、 １０７：ソートボタン、 １０８：取込みボタン、 １０９：タグボタンエリア、 １１１：切出し明示線、 ２０１：シーン変化点検出部、 ２０２：磁気記憶装置、 ２０３：モニタ、 ２０４：フレームバッファ、 ２０５：メインメモリ、 ２０６：入力装置、 ２０７：ＶＴＲ、 ２０８：ビデオインターフェイス、 ２０９：画像圧縮部、 ２１０：オーディオインターフェイス、 ２１１：ＣＰＵ、 ２１２：バス、 ２１４：画像縮小部、 ３００：編集画面、 ３０１：ツリー構造表示エリア、 ３０２：Ｍ−アイコン、 ３０３：Ｍ−アイコンの拡大表示略図、３０４：素材エリア、 ３０５：各種機能ボタン、 ３０６，３０６−１，３０６−２，３０６−３：情報存在表示ゾーン、 ３１１：カット・シーンのＭ−アイコン、 ３０７，３１２：複数のカット・シーンのＭ−アイコン、 ３１３：ストーリー全体のＭ−アイコン、 ３２１：インフォメーションボタン、 ３２２：登場人物検出指示ボタン、 ３３１：スキャナアイコン、 ３３２：ＦＡＸアイコン、 ３３３：ＴＥＬアイコン、 ３４１：肖像権アイコン、 ４０１：素材の種類別アイコンの表示欄、 ４０１−１，４０１−２：素材アイコン、 ４０２：素材名の表示欄、 ４０３：映像・音声の区別の表示欄、 ４０４：素材の長さの表示欄、 ５０１：素材の代表アイコンの表示欄、 ５０１−１，５０１−２，５０１−３，５０１−４，５０１−５：素材アイコン、 ５０２：素材の題名・種類・素材長の表示欄、 ５０３：素材の編集時のコメント表示欄、 ５０４：素材のラベルの表示欄、 ６００：情報ウインドウ、 ６０１：肖像権チェックボックス、 ６０２：情報表示欄、 ６０３：タグボタン、 ６０４：使用期限チェックボックス、 ６０５：リンクボタン、 ６０６：ＯＫボタン、 ６０７：キャンセルボタン、 ７０１，７０２，７０３，７０４，７０５，７０６，７０７：Ｍ−アイコン、 ８０１〜８１７：映像データ、 １００１〜１００５，１０１１〜１０１３，１０２１，１０２２，１０３１：Ｍ−アイコン、 １２０１−１，１２０１−２，１２０１−３：編集後の映像素材、 １２０２：情報欄、

Claims (10)

1. 画面上に縮小動画像を表示し、該画面に表示された動画像情報を見ながらコンピュータ支援により編集を行う動画像編集装置において、映像解析手段と、該映像解析手段によって指定した検索対象の存在する縮小動画像を検索する手段を有し、該存在した縮小動画像を検索対象の存在しない縮小動画像と区別して表示したことを特徴とする動画像編集装置。
2. 画面上に縮小動画像を表示し、該画面に表示された動画像情報を見ながらコンピュータ支援により編集を行う動画像編集装置において、各種映像付随情報の入力手段と、表示画面に該入力手段に応じたアイコンを表示する手段とを有し、前記入力手段はキーボード、スキャナ、ファックスおよび電話の少なくとも一つを備え、編集画面内に表示された縮小動画像と該アイコンとを関連付けすることによって、該縮小動画像と対応する動画像と前記入力手段から入力された情報を関連付けすることを特徴とする動画像編集装置。
3. 画面上に縮小動画像を表示し、該画面に表示された動画像情報を見ながらコンピュータ支援により編集を行う動画像編集装置において、該縮小動画像に完全版かダイジェスト版かの識別ボタンを追加表示する手段と、該縮小動画像によって構成される編集番組を代表する縮小動画像に完全版かダイジェスト版かの切換えボタンを追加表示する手段とを有し、該編集番組を完全版かダイジェスト版どちらでも瞬時に切換えて放送することを特徴とする動画像編集装置。
4. 請求項２記載の動画像編集装置において、前記映像付随情報の入力手段は、前記映像付随情報の伝達される手段に応じたアイコンを選択することによって表示された、情報ウインドウ内に入力されることを特徴とする動画像編集装置。
5. 請求項４記載の動画像編集装置において、前記情報ウインドウは、映像付随情報の種類に応じて、入力または表示されるエリアが異なることを特徴とする動画像編集装置。
6. 請求項４記載の動画像編集装置において、前記情報ウインドウは、入力または表示される場所が映像付随情報の種類によらないこと特徴とする動画像編集装置。
7. 請求項６記載の動画像編集装置において、映像付随情報の関連付けを指定し、表示するための関連付けエリアと、該関連付けエリアに指定・表示する前記映像素材情報の種類毎のアイコンとを有し、前記入力または表示されるエリアの文字列を選択することによって、映像付随情報の種類を指定すること特徴とする動画像編集装置。
8. 請求項７記載の動画像編集装置において、前記映像素材情報の種類毎の前記アイコンが、あらかじめ決められた情報のレベル毎の階層構造を有し、前記階層構造にしたがって、前記表示アイコンの表示が切換ること特徴とする動画像編集装置。
9. 請求項１または請求項２のいずれかに記載の動画編集装置において、前記縮小動画像と該縮小動画像に関連する各種映像付随情報とを関連付けする手段を有し、該関連付けられた各種映像付随情報を示すアイコンを前記縮小動画像に追加表示したことを特徴とする動画像編集装置。
10. 請求項１から請求項９記載の動画像編集装置において、動画像編集の手順が記録された記録媒体。

Images