JP4820627B2 - 対応付け装置 - Google Patents

Description

本発明は、取得した複数のデータを互いに対応付ける対応付け装置に関する。

放送局などの番組制作の現場では、１つの番組を制作する場合、予め必要な映像素材を準備しておき、その後の編集作業において必要な映像素材を選択、編集して所定時間の番組を構成する。映像素材を準備するには、スタジオや屋外のロケ地など、各地で多種多様な映像を撮影する必要があり、例えば、４５分の番組では２００以上もの映像素材が撮影されることもある。そのため、撮影した膨大な数量の映像素材から所望の映像を迅速に探し出せるか否か、即ち映像素材の検索時間の短縮化が効率的な番組制作の要諦となっている。

映像素材の検索方法としては、どのような対象を撮影した映像であるか、またどのような撮影状態であったかなどという映像素材の内容等に関するメモ情報を、撮影指示者またはその補助者が撮影中やその後に撮影素材と対応付けて記録しておき、編集時にはそのメモ情報を頼りに検索を行うという手法が一般的である。

撮影素材とメモ情報を対応付けて記録するため、従来は、メモ入力の際にメモの入力者が、どの撮影素材に対するメモであるかを特定するための撮影素材識別情報を付与する必要があった。例えば、映像素材を撮影中にメモを入力する場合、メモ入力者は撮影素材識別情報を付与するために、現在撮影中の素材の識別情報を例えば撮影中のカメラを操作して撮影中素材の識別情報をカメラのモニタやファインダに表示して確認をとり、該当素材識別情報をメモとして入力した上で、本来記述したかったメモを入力する、という作業が必要になる。このため、メモ入力時の作業負担が大きいのが課題であった。なお、入力した文字を所定の文字列単位で記憶、管理することができる文書作成装置として、例えば、特許文献１に記載されるものがある。
特開平８−１８５４５２号公報 第３頁〜第８頁 図２

本発明は、上記従来の事情に鑑みてなされたものであって、メモ入力者がメモ入力時にどの映像素材に対応するメモであるかを特定するための情報を明示的に付与しなくても、メモと撮影素材を対応付けることが可能な対応付け装置を提供することにより、メモ入力の作業工数を増やすことなく、素材の検索時間を短縮出来ることを目的とする。

本発明の対応付け装置は、取得した複数のデータを互いに対応付ける対応付け装置であって、入力された単語の入力開始時刻情報と撮影された映像素材の撮影時間情報とを用いて、前記単語と前記映像素材とを対応付ける対応関係判定手段を備える。

上記構成によれば、単語の入力時刻情報に基づいて単語と映像素材との対応付けを行うことにより、映像素材の撮影中に入力が開始された単語は、当該映像素材に対するメモとして、撮影素材と対応付けられる為、単語の入力者が映像素材との対応を意識することなく従来手書きしていたのと同じ感覚で単語を入力するだけで、入力したメモ情報が該当する映像素材毎に対応付けられる。したがって、メモ入力における労力を増やすことなく、すなわち、メモ記入者が明示的に該当メモに対応する映像素材の識別情報を調べてメモと同時に記入するなどの作業を不要として、映像素材毎にメモ情報を対応付けることができる。また、メモ情報を検索キーとして所望の映像素材を迅速に検索することができる。例えば、２００本の映像素材から所望の映像素材を検索する際、従来は、撮影日をもとに検索して１０〜２０本に絞った上で、これらの映像素材を全て視聴して所望の映像素材を探していたのに対し、本発明によれば、映像素材について入力しておいた最適なキーワードを検索キーとすることができるため、映像素材を視聴することなく１〜２本に絞ることができ、作業時間を約１／１０に短縮することが可能になる。

また、本発明の対応付け装置は、入力された複数の単語間の関連性を判定することにより単語のグループ化を行う単語間関連性判定手段を備え、前記対応関係判定手段が、グループ化された単語群と前記映像素材とを対応付けるものである。

上記構成によれば、複数の単語が同一のカットに対するメモ情報としてグループ化されるため、メモ情報の入力者が本来意図したメモと映像素材とを適切に対応付けることができる。

また、本発明の対応付け装置は、前記グループ化された単語群間の関連性を判定するグループ間関連性判定手段を備え、前記対応関係判定手段は、前記グループ間関連性判定手段の判定結果に基づいて、グループ化された単語群と前記映像素材とを対応付けるものである。

上記構成によれば、複数の単語群の関係に基づいてメモと映像素材とを適切に対応付けることができる。

また、本発明の対応付け装置は、前記グループ間関連性判定手段が、修正履歴情報を用いて前記グループ化された単語群間の関連性を判定するものである。

上記構成によれば、修正履歴情報を用いて単語群間の関連性を判定することにより、たとえ単語の入力時刻が近接していなくとも、最初に入力したメモへの追記入力は同一のカットに対するメモであると判定するなど、複数の単語群の関係に基づいてメモと映像素材とを適切に対応付けることができる。

また、本発明の対応付け装置は、前記グループ間関連性判定手段が、単語が入力された際の位置情報を用いて前記グループ化された単語群間の関連性を判定するものである。

上記構成によれば、たとえ単語の入力時刻が近接していても、異なる場所で入力されたメモは関連性が低いため同一のカットに対するメモではないと判定するなど、複数の単語群の関係に基づいてメモと映像素材とを適切に対応付けることができる。

また、本発明の対応付け装置は、前記対応関係判定手段が、前記映像素材の再生動作に関する操作ログを参照して前記単語と前記映像素材とを対応付けるものである。

上記構成によれば、映像素材の撮影時間情報のみならず、映像素材再生時の再生時間情報を用いて単語と映像素材の関連性を判定するので、より高い精度で単語と映像素材の対応付けを行うことができる。

また、本発明の対応付けシステムは、本発明の対応付け装置と、単語ごとの入力開始時刻を取得、管理する入力管理装置と、前記撮影素材を撮影する撮像装置と、を備える。

さらに、本発明の入力装置は、本発明の対応付け装置に接続される入力管理装置であって、単語ごとの入力開始時刻を取得、管理する。

本発明によれば、単語の入力時刻情報に基づいて単語と映像素材との対応付けを行うことにより、映像素材の撮影中に入力が開始された単語は、当該映像素材に対するメモとして、撮影素材と対応付けられる為、単語の入力者が映像素材との対応を意識することなく従来手書きしていたのと同じ感覚で単語を入力するだけで、入力したメモ情報が該当する映像素材毎に対応付けられる。

以下、本発明の実施形態について図面を参照して説明する。

［実施の形態１］
図１は、本発明の実施の形態１に係る対応付けシステムの概要を示す図である。図１に示す対応付けシステムは、映像素材と映像素材に関するメモデータとの関連付けを行うものであり、対応付け装置１００、撮影装置２００、入力装置３００を備える。

撮影装置２００は、動画や静止画の画像データを生成可能な公知の撮像手段を含む装置である。また、入力装置３００は、入力用キーやテキストエディタプログラムを装備し、テキスト編集が可能な公知の入力手段を含む装置である。

対応付け装置１００は、撮影装置２００が撮影する映像データと、当該映像データの撮影時間情報を含む映像素材メタデータとを撮影装置２００から取得する。また、入力装置３００の操作者は、どのような対象を撮影した映像であるか、またどのような撮影状態であったかなどという映像素材の内容等に関するメモ情報（以下、メモデータと称する）を入力装置に入力するが、対応付け装置１００は、このメモデータの編集履歴を示す情報（以降、編集履歴データと称する）を入力装置３００から取得する。

対応付け装置１００は、取得したメモデータが、撮影された複数の映像素材（以降、カットと称する）のどれについて説明されたものであるかを、以下に説明する手段により適切に判定し、カットごとにメモデータを対応付ける。

尚、メモデータの入力は、撮影装置２００による撮影と並行して行われる場合もあるし、撮影後に映像内容の確認のために実施する再生の際に行われる場合もある。後述するが、再生中に行われるメモデータの入力は、撮影装置２００に再生時間情報などの操作ログを出力する機能が装備されている場合のみ、映像素材との対応付けを行うことができる。

尚、メモデータの送信は、図１に示すように無線通信機能を備えた携帯型の入力装置３００（例えば、公知の携帯電話端末を代用し、メモデータをメール本文もしくは添付ファイルとして送信することも可能）から行ってもよいし、入力装置３００と対応付け装置１００とを有線で接続して行ってもよい。

図２は、本発明の実施の形態１における対応付け装置の内部構成を示すブロック図である。対応付け装置１００は、データ取得部１０、タイムスタンプ算出部２０、単語間関連性判定部３０、対応関係判定部４０で構成される。

データ取得部１０は、撮影装置２００から出力される映像素材メタデータを取得する。また、入力装置３００から出力される編集履歴データを取得する。尚、編集履歴データは、入力装置３００に装備されたテキストエディタ用プログラム（アプリケーションソフトウェア）などで容易に生成されるものであり、決定キーが押下される毎に履歴が保存される。編集履歴データの生成は、文字の入力や削除等の履歴を蓄積しておくという公知の機能に基づくものであるため、詳細な説明は省略する。

タイムスタンプ算出部２０は、データ取得部１０が取得した編集履歴データに基づいて、編集終了後のメモデータの入力開始時刻情報及び入力終了時刻情報を単語や文節単位で出力する。

単語間関連性判定部３０は、所定の条件に基づいて単語間の関連性を判定し、関連性のある単語を「同一のカットに対するメモ（単語グループ）」としてグループ化する。また、グループ化された複数の単語のタイムスタンプをもとに、単語グループの入力開始時刻情報を抽出する。尚、後述するが、所定の条件とは「単語間の入力間隔が短い単語は、互いに同一カットに対するメモであると判断する」などの条件である。

対応関係判定部４０は、取得した映像素材のカットごとの撮影時間情報（撮影開始時刻および撮影終了時刻を含む情報）または再生時間情報（再生開始時刻および再生終了時刻を含む情報）と、単語グループに付与されたタイムスタンプ（入力開始時刻情報を含む）とを参照して、単語グループと映像素材のカットとの対応付けを行う。

次に、上記構成の対応付け装置の動作について説明する。

図３は、本発明の実施の形態１における対応付け装置の対応付け動作の手順を示すフローチャートである。はじめに、対応付け装置１００のデータ取得部１０は、入力装置３００からメモデータの編集履歴データを取得する（ステップＳ１０１）。図４は、入力装置３００に操作者が入力するメモデータの入力例を示す図である。一方、図５は、データ取得部１０が取得する編集履歴データのデータ構造を模式的に示す図である。図４に示すようなメモ入力に対して、入力開始時刻や入力終了時刻、入力位置（行、列）などの編集履歴情報が単語や文節単位で保持されている。

データ取得部１０は、同様に撮影装置２００から、撮影装置の動作や撮影映像（カット）の撮影時刻等に関する映像素材メタデータを取得する（ステップＳ１０２）。図６は取得した一つの撮影素材の撮影素材メタデータのデータ構造を模式的に示す図である。例えば、デジタルビデオカメラで撮影されたMPEG−2ムービーは、素材ファイルプロパティ情報として、ファイル名、種別、データサイズ、データ作成日時、長さなどの情報を素材ファイル内に保持している。従って、撮影素材ファイルのヘッダ部分を解析することにより、ファイル名、種別、データサイズ、データ作成日時、長さなどの撮影素材メタデータを取得することが可能である。
また、撮影機器として「DVCPRO Ｐ２ｃａｍ」を用いた場合には、撮影と同時にＣｌｉｐメタデータと呼ばれる素材メタデータが生成されるため、撮影素材ファイルの解析を行うことなく撮影素材メタデータを取得することが可能である。
図７は、全ての撮影素材について、図６に示した撮影素材メタデータからメモとの対応付けに必要となる情報のみを抽出した撮影素材メタデータの一例である。撮影における「開始時刻」および「終了時刻」情報を用いてメモとの対応付けを行うため、本実施例では撮影素材メタデータの「ファイル名」を「対象カット」、「作成日時」の時刻情報を「開始時間」、「作成日時」に「長さ」を足した時刻情報を「終了時刻」として使用している。
図８は操作ログの一例を示す図である。操作ログとしては、再生、再生終了、早送り、早送り終了などの「動作」と動作が行われた「時刻」とともに、再生については「対象カット」が保持されている。
図９は、内部処理により「撮影」と「再生」について時系列で統合された映像素材メタデータのデータ構造を模式的に示す図である。尚、図８および図９では、操作ログの生成が可能な撮影装置２００から取得した映像素材メタデータの例を示している。即ち、撮影動作時だけでなく、撮影後に行う再生確認時についてもカットの再生時間等に関するデータが保持される。本実施例では、再生開始後に一時停止、巻き戻し、早送りなどを繰り返し、最終的に当該カットの再生を停止するまでの動作を「再生確認」動作と定義し、すべての当該動作の開始から終了までの時刻をそれぞれ開始時刻、終了時刻として保持するようにしている。例えば、図８において対象カット「カットＡ」に対して、「再生」が「２０：１０」に行われ、「再生終了」が「２０：２０」に行われているため、図９において対象カット「カットＡ」の再生確認の開始時刻は「２０：１０」、終了時刻は「２０：２０」である。また、対象カット「カットＢ」に対して、「再生」が「２０：２０」に行われ、「早送り」が「２０：２２」に行われ、「早送り終了」が「２０：２３」に行われ、「再生終了」が「２０：２７」に行われているため、図９において対象カット「カットＢ」の再生確認の開始時刻は「２０：２０」、終了時刻は「２０：２７」である。図に示すように、撮影順と再生確認順は必ずしも同じとは限らず、また、同一カットが複数回再生確認されたり、任意のカットが一度も再生確認されなかったりすることもある。

次に、タイムスタンプ算出部２０は、データ取得部１０が取得した編集履歴データに基づいて、入力開始時刻情報及び入力終了時刻情報、即ち、タイムスタンプを編集終了後のメモデータについて単語や文節単位で算出する（ステップＳ１０３）。図１０は、タイムスタンプ算出部２０の算出動作手順を示すフローチャートである。

はじめに、タイムスタンプ算出部２０は、すべての編集履歴データの読み込みが完了したか否かを判定する（ステップＳ２０１）。読み込みが完了していない場合、タイムスタンプ算出部２０は、１つ分の編集履歴データを読み込む（ステップＳ２０２）。次に、読み込んだ編集履歴データの「動作」が「入力」であるか否かを判定し（ステップＳ２０３）、「入力」である場合は更に、同一の位置情報を持つ文字列が内部テーブルに存在するか否かを判定する（ステップＳ２０４）。

同一の位置情報を持つ文字列が内部テーブルに存在する場合、タイムスタンプ算出部２０は、対象の内部テーブルの文字列に当該編集履歴データの対象文字を追加し（ステップＳ２０５）、追加により移動した内部テーブルの入力位置を修正する（ステップＳ２０６）。一方、同一の位置情報を持つ文字列が内部テーブルに存在しない場合、当該編集履歴データの対象文字列、入力開始時刻、入力終了時刻、入力文字の位置に関する情報（即ち、行・列の情報）を内部テーブルに保存する（ステップＳ２０７）。

一方、ステップＳ２０３の判定において、動作が「入力」でない場合、次にタイムスタンプ算出部２０は、動作が「削除」であるか否かを判定する（ステップＳ２０８）。動作が「削除」である場合、内部テーブルの入力文字列から削除対象の文字を消去し（ステップＳ２０９）、削除により移動した内部テーブルの入力位置を修正する（ステップＳ２１０）。

例えば、図１１は、図５に示す編集履歴データの６行目までが読み込まれた時点の内部テーブルのデータ構造を模式的に示す図であるが、次に、図５に示す編集履歴データの７行目が読み込まれると、内部テーブルは図１２に示すように変更される。つまり、動作が「入力」であり、且つ「同一の位置情報を持つ文字列が内部テーブルに存在しない」ため、データが１行追加された。一方、図５に示す編集履歴データの９行目までが読み込まれると、内部テーブルは図１３に示すように変更される。この場合、動作が「削除」であるので、１行目のデータの“部屋”という文字列が空白に変更された。その際、削除に伴って、“部屋”という文字列に続く“の”と“様子”の文字列は「入力位置」が移動するため、内部テーブルの２、３行目の「列」の数値も変更された。更に、図５に示す編集履歴データの１０行目までが読み込まれると、内部テーブルは図１４に示すように変更される。動作が「入力」であり、且つ「同一の位置情報を持つ文字列が内部テーブルに存在する」ため、対象の内部テーブルの文字列、即ち１行目のデータの「文字列」（空白）に“書斎”が追加された。その際、追加に伴って、“書斎”という文字列に続く“の”と“様子”の文字列の「入力位置」が再び移動するため、内部テーブルの２、３行目の「列」の数値も変更された。

ステップＳ２０６、ステップＳ２０７、ステップＳ２１０のそれぞれの処理終了後や、ステップＳ２０８の判定において動作が「削除」でない場合は、再びステップＳ２０１へ戻り、同様の手順を繰り返す。一方、ステップＳ２０１において全ての編集履歴データの読み込みが完了した場合、タイムスタンプ算出部２０は内部テーブルを出力して（ステップＳ２１０）、動作を終了する。

図１５は、タイムスタンプ算出部２０の出力データのデータ構造を模式的に示す図である。入力開始時刻および入力終了時刻のデータが、追記や削除などの編集が反映された単語に関して抽出されている。

次に、図３のフローチャートに戻り、単語間関連性判定部３０は、タイムスタンプ算出部２０の出力データに対して、所定の条件に基づいて単語間の関連性を判定し、単語を、同一のカットに対する１つのメモ（単語グループ）にグループ化する（ステップＳ１０４）。関連性の判定には、さまざまな条件を設定することが可能であるが、一例として平均入力文字数により単語間の関連性を判定する方法について説明する。例えば、「書斎」、「の」、「様子」という３つの単語は、本来、同一のカットに対する１つのメモ、即ち「書斎の様子」である。ところが、編集履歴データでは最小単位の単語ごとに区別されてしまっている。そこで、「入力速度が特定値（実施例では平均値）を下回るまでに入力された複数の単語は、同じメモの一部である確率が高い」という推定に基づいて、単語間の関連性を判定し、単語グループとしてグループ化する。

図１６は、単語間関連性判定部３０の単語間関連性判定動作手順を示すフローチャートである。はじめに、単語間関連性判定部３０は、編集履歴データから一定期間毎の平均入力文字数を算出する（ステップＳ３０１）。そして、平均入力文字数が任意の閾値を下回った点で認識されている単語をグループ分けする。図１７は、単語のグループ分けの概要を示す図である。図の例では、一分ごとの入力文字数を算出した結果をグラフ化している。そして一分間の入力文字数が平均入力文字数を下回った時点から次に平均入力文字数を下回った時点までを一つの単語グループとしてまとめている。
なお、今回は前述のように一定期間ごとの平均入力文字数を算出し、一分間の入力文字数が平均入力文字数を下回った時点で単語グループを区切っているが、単語をグループ化する方法はこれに限定しない。例えば、平均入力文字数ではなく、任意の入力文字数を下回った場合で単語を区切ってグループ化してもよい。例えば、一文字一文字の文字の入力間隔を算出し、入力間隔の平均値を上回ったり、任意に定めた入力間隔を上回ったりした時点を文字の区切れ目と判定してグループ化してもよい。例えば、文字列中に改行、句読点、空白などがあれば、それを単語の区切れ目と判定してグループ化してもよい。

尚、単語のグループ化が行われると、入力開始時刻および入力終了時刻の情報も統合される。図１８は、単語間関連性判定部３０の出力データのデータ構造を模式的に示す図である。入力開始時刻および入力終了時刻のデータが、グループ化された単語グループに関して整理されている。

次に、再び図３のフローチャートに戻り、対応関係判定部４０は、映像素材メタデータ（図９参照）とメモデータ（図１８参照）を参照して、カットの撮影時間または再生時間と単語グループの入力開始時刻との関連性を判定し、カットとメモデータの対応付けを行う（ステップＳ１０５）。

ここで、図１９は、単語グループの入力開始時刻と、カットの撮影時間または再生時間の関係を時間経過で整理した図である。任意の単語グループがどのカットについて記述したメモデータであるかは、次の基準に従って判定される。

図２０は、後述する撮影時間情報を用いた対応付け動作における判定基準である「メモデータの入力時刻とカットの撮影時間との対応関係」を説明するための図である。本実施の形態１では、任意カットの撮影中に入力が開始されたメモデータは当該カットに関する情報であると推定する。また、異なる２つのカットの撮影の合間に入力が開始されたメモデータは前後いずれかのカットに関する情報であると推定する。但し、後述するように、異なる２つのカットの撮影の合間に入力が開始される場合、合間の時間を適切な条件で二分し、前の時間は直前に撮影されたカットに関する情報であると推定し、後の時間は直後に撮影されるカットに関する情報であると推定するように設定してもかまわない。

次に、対応関係判定部４０の具体的な判定動作について説明する。図２１は、撮影時間情報を用いた対応付け動作の手順を示すフローチャートである。また、図２２は、撮影時間情報を用いた対応付け動作による対応付け候補判定結果を模式的に示す図である。はじめに、「Ｃ＝カット数」及び「Ｎ＝１」の初期設定を行う（ステップＳ４０１およびステップＳ４０２）。次に、対応関係判定部４０は、「撮影開始前に入力されるメモデータは、その後撮影が開始されるカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカット（ここではＮ＝１であるので最初のカットを意味する）の撮影開始時刻以前に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ４０３）。

次に、対応関係判定部４０は、「撮影中に入力されるメモデータは、現在撮影中のカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカットの撮影開始から撮影終了までの時間内に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ４０４）。例えば、カットＡは撮影時間が１３：００から１３：１０までで（図９参照）、また「書斎の様子」というメモは入力開始時刻が１３：０１であるため（図１８参照）、「書斎の様子」というメモの対応付け候補に“カットＡ”が追加される（図２２参照）。

次に、Ｍ＝Ｎ＋１番目のカットの撮影開始時刻−Ｎ番目のカットの撮影終了時刻のＭを算出し（ステップＳ４０５）、更に対応関係判定部４０は、「撮影終了後所定の経過時間以内に入力されるメモデータは、その撮影が終了したカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカットの撮影終了時刻からＭ×Ｘ時間内に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ４０６）。ここでＸは、撮影終了後の経過時間を任意に設定するための係数である。例えば、カットＡの撮影終了時刻１３：１０から次のカットＢの撮影開始時刻１３：３０までの時間Ｍは２０分で（図９参照）、また「照明なし」というメモは入力開始時刻が１３：１２で（図１８参照）、１３：１０から２０分×０．５＝１０分以内であるため、このメモの対応付け候補に“カットＡ”が追加される（図２２参照）。尚、ここではＮ番目のカットの撮影終了時刻からＮ＋１番目のカットの撮影開始時刻までの時間を丁度二等分する例（Ｘ＝０．５）を用いたが、番組のジャンル、撮影スタイルによっては係数Ｘの値が変わるため、該当係数Ｘは利用者により設定可能とする。ここで係数Ｘの設定方法は本発明の主眼ではないため説明を省略する。

次に、対応関係判定部４０は、「撮影終了後所定の経過時間以降で、且つ次のカットの撮影開始前に入力されるメモデータは、その撮影が終了したカットについてのメモであるか、またはその後撮影が開始されるカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカットの撮影終了時刻からＭ×Ｘ時間以降かつＮ＋１番目のカットの撮影開始時刻内に入力開始時刻を持つメモの対応付け候補にカットＮとカットＮ＋１を追加する（ステップＳ４０７）。例えば、カットＢの撮影終了時刻１３：４０から次のカットＣの撮影開始時刻１４：００までの時間Ｍは２０分で（図９参照）、また「漁港とカモメ」というメモは入力開始時刻が１３：５５で（図１８参照）、１３：４０＋２０分×０．５＝１３：５０以降であるため、このメモの対応付け候補に“カットＢとカットＣ”が追加される（図２２参照）。尚、ここではＮ番目のカットの撮影終了時刻からＮ＋１番目のカットの撮影開始時刻までの時間を丁度二等分する例（Ｘ＝０．５）を用いた。

次に、対応関係判定部４０は、Ｎの数値を１だけインクリメントして（ステップＳ４０８）、Ｎの値がＣの値に到達したか否かを判定する（ステップＳ４０９）。

Ｎの値がＣの値に到達していない場合（ステップＳ４０９のＮＯ）、対応関係判定部４０は、ステップＳ４０４に戻り、上記と同様の処理を次のカットに対して再度実行する。

一方、Ｎの値がＣの値に到達した場合（ステップＳ４０９のＹＥＳ）、即ち最後のカットとなった場合、対応関係判定部４０は、「最後のカットの撮影中に入力されるメモデータは、撮影中の最後のカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカット（ここでは最後のカットを意味する）の撮影開始から撮影終了までの時間内に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ４１０）。

次に、対応関係判定部４０は、最後のカットの撮影終了後に入力されるメモデータは、最後に撮影したカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカット（ここでは最後のカットを意味する）の撮影終了以後に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ４１１）。例えば、カットＥの撮影終了時刻は１４：３５で（図９参照）、また「薄暗い」というメモは入力開始時刻が２０：１５であるため（図１８参照）、このメモの対応付け候補に“カットＥ”が追加される（図２２参照）。

以上の手順により、撮影を行ったカットと入力されたメモデータの対応付けが行われる。尚、上記の手順では、撮影の合間の時間を割合で区切っているが、別の方法で区切りを検出しても良い。例えば、撮影の合間に書かれたメモの入力間隔を調べて、一番間隔が開いている箇所を区切れ目としても良い。また、図１４で示したように、合間の時間に入力開始されたメモには、前後に撮影された２つのカット両方を候補として対応付けるようにしてもよい。ところで、本実施例では、Ｍ×0.5時間以内のメモは直前のカットに、それ以降のメモは両方のカットに対応付けているが、これは割り当ての一例である。尚、撮影の合間に入力されたメモは、図２０で示したように、前後両方のカットに対応付けても良い（X＝０の場合がこれに該当）し、Ｍ×X時間以内のメモは直前のカットに、それ以降のメモは直後のカットにのみ対応付けるようにしてもよい。

次に、図２３は、再生時間情報を用いた対応付け動作の手順を示すフローチャートである。また、図２４は、再生時間情報を用いた対応付け動作による対応付け候補判定結果を模式的に示す図である。はじめに、「Ｃ＝再生確認した延べカット数」及び「Ｎ＝１」の初期設定を行う（ステップＳ５０１およびステップＳ５０２）。

次に、対応関係判定部４０は、「再生中に入力されるメモデータは、現在再生中のカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカットの再生確認時間内に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ５０３）。例えば、カットＡの再生確認時間は２０：１０から２０：２０までで（図９参照）、また「薄暗い」というメモは入力開始時刻が２０：１５であるため（図１８参照）、このメモの対応付け候補に“カットＡ”が追加される（図２４参照）。

次に、対応関係判定部４０は、「任意のカットの再生終了後から次の別カットの再生開始前にまでに入力されるメモデータは、直前に再生を終了したカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカットの再生確認終了後からＮ＋１番目のカットの再生確認以前に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ５０４）。

次に、対応関係判定部４０は、Ｎの数値を１だけインクリメントして（ステップＳ５０５）、Ｎの値がＣの値に到達したか否かを判定する（ステップＳ５０６）。

Ｎの値がＣの値に到達していない場合（ステップＳ５０６のＮＯ）、対応関係判定部４０は、ステップＳ５０３に戻り、上記と同様の処理を次のカットに対して再度実行する。

一方、Ｎの値がＣの値に到達した場合（ステップＳ５０６のＹＥＳ）、即ち最後のカットとなった場合、対応関係判定部４０は、「最後のカットの再生中または再生終了後に入力されるメモデータは、最後に再生したカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカット（ここでは最後のカットを意味する）の再生確認時間内もしくは再生確認終了後に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ５０７）。例えば、カットＥの再生確認時間は２１：３０から２１：３５までで（図９参照）、また「手振れＮＧ」というメモは入力開始時刻が２１：３３であるため（図１８参照）、このメモの対応付け候補に“カットＥ”が追加される（図２４参照）。

以上の手順により、再生を行ったカットと入力されたメモデータの対応付けが行われる。

対応関係判定部４０は、「撮影時間情報を用いた対応付け」および「再生時間情報を用いた対応付け」の対応付け候補判定結果に基づいて、最終的な対応付けを決定する。図２５は、カットとメモデータの最終的な対応付け結果を模式的に示す図である。尚、本実施の形態では、最後に撮影したカットの撮影終了後に入力されたメモデータについては、再生時間による対応付け候補が優先されるように設定している。従って、「撮影時間情報を用いた対応付け」では“カットＥ”と判定されていた「薄暗い」というメモは、「再生時間情報を用いた対応付け」で“カットＡ”と判定されたため、最終的に“カットＡ”と判定されている。同様に、「テロップ」というメモも“カットＥ”から“カットＡ”に判定が変更されている。図２６は、カットに対応付けられたメモデータを概念的に示す図である。

以上説明したように、本実施の形態に係る対応付けシステムによれば、単語の入力時刻情報に基づいて単語と映像素材との対応付けを行うことにより、映像素材の撮影中や撮影直後に入力が開始された単語および、再生確認中に入力された単語は、当該映像素材に対するメモとして、撮影素材と対応付けられる。すなわち、メモ入力者がメモ入力を行う際に、どの映像素材に対応するメモであるかを特定するための撮影素材識別情報を調べたり、調べた撮影素材識別情報をメモとともに入力したりという作業を必要とせずに、メモした単語と撮影素材を対応付けることが出来る。また、映像素材の撮影時間情報のみならず、映像素材再生時の再生時間情報を用いて単語と映像素材の対応関係を判定することにより、より高い精度で単語と映像素材の対応付けを行うことができる。また、素材検索時には、メモした単語をキーワードとして、素材の意図する素材を素早く見つけることが可能である。

［実施の形態２］
図２７は、本発明の実施の形態２に係る対応付けシステムの概要を示す図である。対応付けシステムは、対応付け装置１１０、撮影装置２００、入力装置３１０を備える。撮影装置２００は、実施の形態１で用いた撮影装置と同じであるため説明を省略する。

入力装置３１０は、入力用キーやテキストエディタプログラムを装備し、テキスト編集が可能な入力手段を含む装置である。図に示すように、入力装置３１０は、主に、ユーザ入力受付部３１１、編集履歴付与部３１２、時刻管理部３１３、メタデータ保持部３１４、メタデータ登録部３１５などで構成される。

ユーザ入力受付部３１１は、入力装置の操作者からの入力を受け付ける。編集履歴付与部３１２は、時計機能を有する時刻管理部３１３を参照して、テキストの入力に関する編集履歴を付与する。メタデータ保持部３１４は、編集履歴に関するメタデータを生成、保持する。メタデータ登録部３１５は、生成したメタデータを登録する。つまり、本実施の形態では、メモデータの入力に関する編集履歴データが入力装置３１０で生成される。

対応付け装置１１０は、撮影装置２００が撮影する映像データと、当該映像データの撮影時間情報を含む映像素材メタデータとを撮影装置２００から取得する。また、入力装置３１０の操作者が入力したメモデータの編集履歴データを入力装置３１０から取得する。

対応付け装置１１０は、取得したメモデータが、撮影された複数のカットのどれについて説明されたものであるかを、以下に説明する手段により適切に判定し、カットごとにメモデータを対応付ける。

尚、メモデータの入力は、撮影装置２００による撮影と同時に並行して行われる場合もあるし、撮影後に映像内容の確認のために実施する再生の際に行われる場合もある。後述するが、再生中に行われるメモデータの入力は、撮影装置２００に再生時間情報などの操作ログを出力する機能が装備されている場合のみ、映像素材との対応付けを行うことができる。

尚、入力装置３１０と撮影装置２００はそれぞれの機能を有する同一の装置としてもよい。

対応付け装置１１０は、データ取得部１０、タイムスタンプ算出部２０、単語間関連性判定部３０、対応関係判定部４０、およびグループ間関連性判定部５０で構成される。つまり、実施の形態２で用いる対応付け装置１１０は、実施の形態１で用いた対応付け装置１００にグループ間関連性判定部５０が追加された構成となっている。

データ取得部１０は、撮影装置２００から出力される映像素材メタデータを取得する。また、入力装置３００から出力されるメモデータの編集履歴データを取得する。

タイムスタンプ算出部２０は、データ取得部１０が取得した編集履歴データに基づいて、編集終了後のメモデータの入力開始時刻情報及び入力終了時刻情報を単語や文節単位で出力する。

単語間関連性判定部３０は、所定の条件に基づいて単語間の関連性を判定し、関連性のある単語を「同一のカットに対するメモ（単語グループ）」としてグループ化する。また、グループ化された複数の単語のタイムスタンプをもとに、単語グループの入力開始時刻情報を抽出する。

グループ間関連性判定部５０は、メモデータとカットの対応付け精度を向上させるため、単語間関連性判定部３０でグループ化された単語グループについて、メモデータの修正履歴に基づいてそれぞれの関連性を判定する。例えば、メモデータの入力時刻情報に基づく判定ではカットとの対応付けが適切に行えない単語グループがある場合、もし当該単語グループと関連性が高い別の単語グループの存在が確認できれば、別の単語グループが対応付けられているカットを当該単語グループにも適用することができる。

従って、実施の形態２では、対応関係判定部４０は、カットの撮影時間情報または再生時間情報と、単語グループの入力開始時刻情報に加え、単語グループ間の関連性情報を参照して、単語グループと映像素材のカットとの対応付けを行う。

次に、上記構成のシステムにおける対応付け装置の動作について説明する。

図２８は、本発明の実施の形態２における対応付け装置の対応付け動作の手順を示すフローチャートである。はじめに、対応付け装置１１０のデータ取得部１０は、入力装置３００からメモデータの編集履歴データを取得する（ステップＳ６０１）。図２９は、入力装置３１０に操作者が入力するメモデータの入力例を示す図である。

ここで、入力装置３１０におけるメモデータ入力動作について説明する。図３０は、実施の形態２で用いる入力装置３１０のメモデータ入力動作手順を示すフローチャートである。はじめに、ユーザ入力受付部３１１は、文字を入力するための文字入力ボタンが押下されたか否かを判定する（ステップＳ７０１）。押下された場合、編集履歴付与部３１２は、時刻管理部３１３を参照して入力開始時刻を取得する（ステップＳ７０２）。

次に、ユーザ入力受付部３１１は、入力を確定するための決定ボタンが押下されたか否かを判定する（ステップＳ７０３）。押下された場合、編集履歴付与部３１２は、同様に入力終了時刻を取得し（ステップＳ７０４）、「動作」を“入力”として、文字列、行、列の情報を保存する（ステップＳ７０５）。更に、入力開始時刻／入力終了時刻を動作開始時刻／動作終了時刻として保存し（ステップＳ７０６）、入力された文字以降の文字列について行、列の情報を修正する（ステップＳ７０７）。これは、文字の入力が記述の最後尾ではなく、文中であった場合に、それ以降に予め書かれている文字の位置情報（行、列）を修正するための処理である。例えば、メモ内の任意文字の左隣に１文字を追記すると、当該任意文字は右側に１文字分ずれることになるので、その（行、列）情報は、列を＋１とする。

一方、文字入力ボタンが押下されたか否かの判定においてボタンが押下されていない場合、次にユーザ入力受付部３１１は、入力した文字を削除するための削除ボタンが押下されたか否かを判定する（ステップＳ７０８）。押下された場合、編集履歴付与部３１２は、削除終了時刻を取得し（ステップＳ７０９）、「動作」を“削除”として、文字列、行、列の情報を保存する（ステップＳ７１０）。更に、削除終了時刻を動作終了時刻として保存し（ステップＳ７１１）、削除された文字以降の文字列について行、列の情報を修正する（ステップＳ７１２）。これは、削除した文字が最後尾の文字ではなく、文中であった場合に、それ以降に予め書かれている文字の位置情報（行、列）を修正するための処理である。例えば、メモ内の任意文字の左隣の１文字を削除すると、当該任意文字は左側に１文字分ずれることになるので、その（行、列）情報は、列を−１とする。

図３１は、対応付け装置１１０のデータ取得部１０が入力装置３１０から取得する編集履歴データのデータ構造を模式的に示す図である。図２９に示すようなメモ入力に対して、入力開始時刻や入力終了時刻、入力位置（行、列）などの編集履歴情報が単語や文節単位で保持されている。

図２８のフローチャートに戻り、データ取得部１０は、同様に撮影装置２００から、撮影装置の動作やカットの撮影時刻等に関する映像素材メタデータを取得する（ステップＳ６０２）。図３２は、取得した映像素材メタデータのデータ構造を模式的に示す図である。また、図３３は、内部処理により「撮影」と「再生」について時系列で統合された映像素材メタデータのデータ構造を模式的に示す図である。尚、図３２および図３３では、操作ログの生成が可能な撮影装置２００から取得した映像素材メタデータの例を示している。即ち、撮影動作時だけでなく、撮影後に行う再生確認動作時についてもカットの再生時刻等に関するデータが保持される。図３２および図３３の例では、再生開始後に一時停止、巻き戻し、早送りなどを繰り返し、最終的に当該カットを停止するまでの動作を「再生確認」動作と定義し、すべての当該動作の開始から終了までの時刻をそれぞれ開始時刻、終了時刻として保持するようにしている。図に示すように、撮影順と再生確認順は必ずしも同じとは限らず、また、同一カットが複数回再生確認されたり、任意のカットが一度も再生確認されなかったりすることもある。

次に、タイムスタンプ算出部２０は、データ取得部１０が取得した編集履歴データに基づいて、入力開始時刻情報及び入力終了時刻情報、即ち、タイムスタンプを編集終了後のメモデータについて単語や文節単位で算出する（ステップＳ６０３）。図３４は、タイムスタンプ算出部２０の算出動作手順を示すフローチャートである。

はじめに、タイムスタンプ算出部２０は、すべての編集履歴データの読み込みが完了したか否かを判定する（ステップＳ８０１）。読み込みが完了していない場合、タイムスタンプ算出部２０は、１つ分の編集履歴データを読み込む（ステップＳ８０２）。次に、読み込んだ編集履歴データの「動作」が「入力」であるか否かを判定し（ステップＳ８０３）、「入力」である場合は更に、同一の位置情報を持つ文字列が内部テーブルに存在するか否かを判定する（ステップＳ８０４）。

同一の位置情報を持つ文字列が内部テーブルに存在する場合、タイムスタンプ算出部２０は、対象の内部テーブルの文字列に当該編集履歴データの対象文字を追加し（ステップＳ８０５）、対象の内部テーブルの編集時刻に動作開始時刻を保存する（ステップＳ８０６）そして、追加により移動した内部テーブルの入力位置を修正する（ステップＳ８０７）。一方、同一の位置情報を持つ文字列が内部テーブルに存在しない場合、当該編集履歴データの対象文字列、動作開始時刻、動作終了時刻、入力文字の位置に関する情報（即ち、行・列の情報）を内部テーブルに保存する（ステップＳ８０８）。

一方、ステップＳ８０３の判定において、動作が「入力」でない場合、次にタイムスタンプ算出部２０は、動作が「削除」であるか否かを判定する（ステップＳ８０９）。動作が「削除」である場合、内部テーブルの入力文字列から削除対象の文字を消去し（ステップＳ８１０）、対象の内部テーブルの編集時刻に動作終了時刻を保存する（ステップＳ８１１）。更に、削除により移動した内部テーブルの入力位置を修正する（実施例１と同様。）（ステップＳ８１２）。

ステップＳ８０７、ステップＳ８０８、ステップＳ８１２のそれぞれの処理終了後や、ステップＳ８０９の判定において動作が「削除」でない場合は、再びステップＳ８０１へ戻り、同様の手順を繰り返す。一方、ステップＳ８０１において全ての編集履歴データの読み込みが完了した場合、タイムスタンプ算出部２０は内部テーブルを出力して（ステップＳ８１３）、動作を終了する。

図３５は、タイムスタンプ算出部２０の出力データのデータ構造を模式的に示す図である。入力開始時刻および入力終了時刻に加え、編集が行われた時刻のデータが、追記や削除などの編集が反映された単語に関して抽出されている。

次に、図２８のフローチャートに戻り、単語間関連性判定部３０は、タイムスタンプ算出部２０の出力データに対して、所定の条件に基づいて単語間の関連性を判定し、関連性のある単語を「同一のカットに対するメモ（単語グループ）」としてグループ化する（ステップＳ６０４）。関連性の判定には、さまざまな条件を設定することが可能であるが、一例として平均入力文字数により単語間の関連性を判定する方法を用いる。尚、この方法の詳細については実施の形態１で記述したので説明を省略する。

尚、単語のグループ化が行われると、入力開始時刻および入力終了時刻の情報も統合される。図３６は、単語間関連性判定部３０の出力データのデータ構造を模式的に示す図である。入力開始時刻および入力終了時刻のデータが、単語グループに関して整理されている。

次に、再び図２８のフローチャートに戻り、グループ間関連性判定部５０は、メモデータの修正履歴に基づいて、単語間関連性判定部３０でグループ化された単語グループそれぞれの関連性を判定する（ステップＳ６０５）。図３７は、修正履歴に基づくグループ間関連性判定動作の手順を示すフローチャートである。グループ間関連性判定部５０は、修正履歴ありの単語グループについて以下の作業を繰り返す（ステップＳ９０１）。

はじめに、グループ間関連性判定部５０は、対象の単語グループの修正時刻の前後Ｘ分以内と入力開始時刻から入力終了時刻までの時間が重なっている単語グループがあるか否かを判定する（ステップＳ９０２）。該当する単語グループがある場合、グループ間関連性判定部５０は、対象の単語グループと該当する単語グループとの関連性を「高」に設定する（ステップＳ９０３）。グループ間関連性判定部５０は、ステップＳ９０２からステップＳ９０３までの判定動作を、修正履歴を持つすべての単語グループに繰り返す（ステップＳ９０４）。尚、上記においてＸは任意の数値を設定してよい。

図３８は、グループ間関連性判定部５０の出力データのデータ構造を模式的に示す図である。単語グループ間の関連性は、相互に関連する単語グループの文字列の番号で把握できる。例えば、Ｎｏ．１の単語グループ「書斎の様子」の関連性「４」は、“Ｎｏ．４の単語グループ「ナレーション挿入」と関連性が高い”ことを示す。尚、本実施の形態では、関連性を「高／低（無し）」だけで判定したが、図３７のステップＳ９０２の判定手順において重なり具合が大きいものほど数値を高くするなど、数値を用いて関連性を表現するようにしてもよい。その際は、任意に設定した閾値を超過した場合に関連性が高いと判定する。

次に、再び図２８のフローチャートに戻り、対応関係判定部４０は、映像素材メタデータ（図３３参照）とメモデータ（図３８参照）を参照して、カットの撮影時間または再生時間と単語グループの入力開始時刻との関連性、単語グループ間の関連性、をそれぞれ判定し、カットとメモデータの対応付けを行う（ステップＳ６０６）。

ここで、図３９は、単語グループの入力開始時刻と、カットの撮影時間または再生時間の関係を時間経過で整理した図である。実施の形態１と比較して、単語グループごとの関連性をカットとメモデータの対応付けに用いることができるので、より精度の高い対応付けが行える。

任意の単語グループがどのカットについて記述したメモデータであるかは、実施の形態１で示したのと同じ次の基準に従って判定される。即ち、任意カットの撮影中に入力が開始されたメモデータは当該カットに関する情報であると推定する。また、異なる２つのカットの撮影の合間に入力が開始されたメモデータは前後いずれかのカットに関する情報であると推定する。但し、後述するように、異なる２つのカットの撮影の合間に入力が開始される場合、合間の時間を適切な条件で二分し、前の時間は直前に撮影されたカットに関する情報であると推定し、後の時間は直後に撮影されるカットに関する情報であると推定するように設定してもかまわない。

次に、対応関係判定部４０の具体的な判定動作について説明する。図４０は、撮影時間情報を用いた対応付け動作の手順を示すフローチャートである。また、図４１は、撮影時間情報を用いた対応付け動作による対応付け候補判定結果を模式的に示す図である。はじめに、「Ｃ＝カット数」及び「Ｎ＝１」の初期設定を行う（ステップＳ１００１およびステップＳ１００２）。次に、対応関係判定部４０は、「撮影開始前に入力されるメモデータは、その後撮影が開始されるカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカット（ここではＮ＝１であるので最初のカットを意味する）の撮影開始時刻以前に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ１００３）。

次に、対応関係判定部４０は、「撮影中に入力されるメモデータは、現在撮影中のカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカットの撮影開始から撮影終了までの時間内に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ１００４）。例えば、カットＡは撮影時間が１３：００から１３：１０までで（図３３参照）、また「書斎の様子」というメモは入力開始時刻が１３：０１であるため（図３８参照）、このメモの対応付け候補に“カットＡ”が追加される（図４１参照）。

次に、対応関係判定部４０は、Ｎの数値を１だけインクリメントして（ステップＳ１００５）、Ｎの値がＣの値に到達したか否かを判定する（ステップＳ１００６）。

Ｎの値がＣの値に到達していない場合（ステップＳ１００６のＮＯ）、対応関係判定部４０は、ステップＳ１００４に戻り、上記と同様の処理を次のカットに対して再度実行する。

一方、Ｎの値がＣの値に到達した場合（ステップＳ１００６のＹＥＳ）、即ち最後のカットとなった場合、対応関係判定部４０は、「最後のカットの撮影中に入力されるメモデータは、撮影中の最後のカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカット（ここでは最後のカットを意味する）の撮影開始から撮影終了までの時間内に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ１００７）。

次に、対応関係判定部４０は、最後のカットの撮影終了後に入力されるメモデータは、最後に撮影したカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカット（ここでは最後のカットを意味する）の撮影終了以後に入力開始時刻を持つメモの対応付け候補にカットＮを追加する（ステップＳ１００８）。例えば、カットＥの撮影終了時刻は１４：３５で（図３３参照）、また「薄暗い」というメモは入力開始時刻が２０：１５であるため（図３８参照）、このメモの対応付け候補に“カットＥ”が追加される（図４１参照）。

以上の手順により、撮影を行ったカットと入力されたメモデータの対応付けが行われる。尚、上記の手順では、撮影の合間の時間を割合で区切っているが、別の方法で区切りを検出しても良い。例えば、撮影の合間に書かれたメモの入力間隔を調べて、一番間隔が開いている箇所を区切れ目としても良い。また、前述の基準に従って、合間の時間に入力開始されたメモには、前後に撮影された２つのカット両方を候補として対応付けるようにしてもよい。

次に、再生時間情報を用いた対応付け動作について説明する。この対応付け動作では、実施の形態１における対応付け動作手順のフローチャート（図２３参照）を用いて対応付けを行い、その後撮影時間情報を用いた対応付け候補と再生時間情報を用いた対応付け候補とをマージする方法を用いてもよい。しかし、ここでは「再生中に入力されるメモデータは、現在再生中のカットについてのメモである確率が撮影時間情報を用いた対応結果よりも高い」という推定に基づいて対応付けを実行することにより、より精度の高い対応付けを行う例について説明する。図４２は、再生時間情報を用いた対応付け動作の手順を示すフローチャートである。はじめに、「Ｃ＝再生確認した延べカット数」及び「Ｎ＝１」の初期設定を行う（ステップＳ１１０１およびステップＳ１１０２）。

次に、対応関係判定部４０は、「再生中に入力されるメモデータは、現在再生中のカットについてのメモである確率が、撮影時刻による対応付けの結果よりも高い」という推定に基づいて、Ｎ番目のカット（ここではＮ＝１であるので最初のカットを意味する）の再生確認時間内に入力開始時刻を持つメモについて、録画時間による対応付け候補を削除し、対応付け候補にカットＮを追加する（ステップＳ１１０３）。例えば、最初のカットＡの再生時間は２０：１０から２０：２０までで（図３３参照）、また「薄暗い」というメモは入力開始時刻が２０：１５であるため（図３８参照）、撮影時間による対応付けの結果このメモの対応付け候補となっていた“カットＥ”を削除し、“カットＡ”が採用される（図４１参照）。

次に、対応関係判定部４０は、「任意のカットの再生終了後から次の別カットの再生開始前にまでに入力されるメモデータは、直前に再生を終了したカットについてのメモである確率が、撮影時刻による対応付けの結果よりも高い」という推定に基づいて、Ｎ番目のカット（ここではＮ＝１であるので最初のカットを意味する）の再生確認終了後からＮ＋１番目のカット（同様に、ここでは２番目のカットを意味する）の再生確認以前に入力開始時刻を持つメモについて、録画時間による対応付け候補を削除し、対応付け候補にカットＮを追加する（ステップＳ１１０４）。

次に、対応関係判定部４０は、「再生中にメモの修正が実行されるメモデータは、現在再生中のカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカットの再生確認時間内に修正時刻を持つメモについて、録画時間による対応付け候補にカットＮが含まれていればカットＮ以外の対応付け候補を削除する（ステップＳ１１０５）。

更に、対応関係判定部４０は、「任意のカットの再生終了後から次の別カットの再生開始前にまでにメモの修正が実行されるメモデータは、直前に再生を終了したカットについてのメモである確率が高い」という推定に基づいて、Ｎ番目のカットの再生確認終了後からＮ＋１番目のカットの再生確認以前に修正時刻を持つメモについて、録画時間にカットＮが含まれていればカットＮ以外の対応付け候補を削除する（ステップＳ１１０６）。

次に、対応関係判定部４０は、Ｎの数値を１だけインクリメントして（ステップＳ１１０７）、Ｎの値がＣの値に到達したか否かを判定する（ステップＳ１１０８）。

Ｎの値がＣの値に到達していない場合（ステップＳ１１０８のＮＯ）、対応関係判定部４０は、ステップＳ１１０５に戻り、上記と同様の処理を次のカットに対して再度実行する。

一方、Ｎの値がＣの値に到達した場合（ステップＳ１１０８のＹＥＳ）、即ち最後のカットとなった場合、対応関係判定部４０は、「最後のカットの再生中または再生終了後に入力されるメモデータは、最後に再生したカットについてのメモである確率が、撮影時刻による対応付けの結果よりも高い」という推定に基づいて、Ｎ番目のカット（ここでは最後のカットを意味する）の再生確認時間内もしくは再生確認終了後に入力開始時刻を持つメモについて、録画時間による対応付け候補を削除し、対応付け候補にカットＮを追加する（ステップＳ１１０９）。

更に、対応関係判定部４０は、「最後のカットの再生中または再生終了後にメモの修正が実行されるメモデータは、最後に再生したカットについてのメモである確率が、撮影時刻による対応付けの結果よりも高い」という推定に基づいて、Ｎ番目のカット（ここでは最後のカットを意味する）の再生確認時間内もしくは再生確認終了後に修正時刻を持つメモについて、録画時間による対応付け候補にカットＮが含まれていればカットＮ以外の対応付け候補を削除する（ステップＳ１１１０）。

以上の手順により、再生を行ったカットと入力されたメモデータの対応付けが行われる。図４３は、再生時間情報を用いた対応付け動作による対応付け候補判定結果を模式的に示す図である。

対応関係判定部４０は、「撮影時間情報を用いた対応付け」と「再生時間情報を用いた対応付け」それぞれの対応付け候補判定結果を統合して、メモデータの入力時刻に基づいた対応付けを決定する。図４４は、カットとメモデータとのメモデータの入力時刻に基づいた対応付け結果を模式的に示す図である。

次に、対応関係判定部４０は、単語グループ間の関連性に基づいた対応付け候補の判定を行う。図４５は、単語グループ間関連性情報を用いた対応付け動作の手順を示すフローチャートである。対応関係判定部４０は、対応付け候補が２つ以上あるメモについて以下の作業を繰り返す（ステップＳ１２０１）。例えば、図４４に示すように、「ナレーション挿入」には、カットＡ、カットＢという二つの対応付け候補が存在する。以下、この「ナレーション挿入」というメモを具体例として説明する。

はじめに、対応関係判定部４０は、相互に関連性の高い単語グループが存在するか否かを判定する（ステップＳ１２０２）。図３８に示すように「ナレーション挿入」には、関連性の高いグループとして、「書斎の様子」が存在する。存在する場合、対応関係判定部４０は、更に関連性の高い単語グループと共通の対応付け候補が有るか否かを判定する（ステップＳ１２０３）。図４４に示すように、「ナレーション挿入」と関連性の高い単語グループである「書斎の様子」とは、対応付け候補としてカットＡが共通する。共通の対応付け候補が有る場合、対応関係判定部４０は、関連性の高い単語グループと非共通の対応付け候補を削除し（ステップＳ１２０４）、共通の対応付け候補だけにする。すなわち、「ナレーション挿入」については、関連性の高い「書斎の様子」と非共通の対応付け候補であるカットＢを削除し、共通の対応付け候補であるカットＡを対応付ける。対応関係判定部４０は、ステップＳ１２０２からステップＳ１２０４までの判定動作を、対応付け候補が２つ以上あるすべてのメモについて繰り返す（ステップＳ１２０５）。

図４６は、単語グループ間の関連性を用いた対応付け候補判定結果を模式的に示す図である。例えば、上述したように、当初、図４４のカットとメモデータとのメモデータの入力時刻に基づいた対応付け結果により“カットＡとカットＢ”が対応付けられていた「ナレーション挿入」は、図３８に示すグループ間関連性判定部５０の出力データに基づいて、“カットＡ”に対応付けが変更されている。図４７は、カットに対応付けられたメモデータを概念的に示す図である。

以上説明したように、本実施の形態に係る対応付けシステムによれば、修正履歴情報を用いて、複数の単語が同一のカットに対するメモ情報としてグループ化されるため、メモ情報の入力者が本来意図したメモと映像素材とを適切に対応付けることができる。

［実施の形態３］
次に、実施の形態２で説明したグループ間関連性判定部５０で、入力装置３１０の位置情報に基づいてグループ間関連性の判定を行う例について説明する。図４８は、本発明の実施の形態３に係る対応付けシステムの概要を示す図である。対応付けシステムは、対応付け装置１１０、撮影装置２００、入力装置３２０を備える。実施の形態２の構成と比較して、入力装置３２０に位置情報取得部３１６が追加されている点が異なる。

位置情報取得部３１６は、ＧＰＳ（Global Positioning System）により、入力装置３２０本体の現在位置情報を所定の周期で出力する。その他の内部構成および各部の機能は実施の形態２のそれらと同様であるため、説明を省略する。尚、位置情報取得部を、撮像装置内部に設けてもよいし、別装置として構成しディレクター等に装着させてもよい。

次に、上記構成のシステムにおける対応付け装置の動作について説明する。

図４９は、本発明の実施の形態３における対応付け装置の対応付け動作の手順を示すフローチャートである。はじめに、対応付け装置１１０のデータ取得部１０は、入力装置３２０からメモデータの編集履歴データとＧＰＳからの位置情報を取得する（ステップＳ１３０１）。編集履歴データの取得方法は、実施の形態２と同様であるので説明を省略する。図５０は、データ取得部１０が取得する位置情報のデータ構造を模式的に示す図である。入力装置３２０の緯度と軽度に関するデータが所定周期で出力される。

次のステップＳ１３０２からステップＳ１３０４までの手順は、実施の形態２の図２８のフローチャートにおけるステップＳ６０２からステップＳ６０４までの手順と同様であるので説明を省略する。

次に、グループ間関連性判定部５０は、メモデータの修正履歴と位置情報に基づいて、単語間関連性判定部３０でグループ化された単語グループそれぞれの関連性を判定する（ステップＳ１３０５）。尚、修正履歴に基づくグループ間関連性の判定は実施の形態２の方法と同じであるため、説明を省略する。ここでは、位置情報に基づくグループ間関連性の判定について説明する。

図５１は、位置情報に基づくグループ間関連性判定動作の手順を示すフローチャートである。グループ間関連性判定部５０は、取得した位置情報から一定期間ごとの移動量を算出する（ステップＳ１４０１）。本実施例では、一定期間を一分として、一分ごとの移動量を算出している。次に、算出した移動量から平均移動量を算出する（ステップＳ１４０２）。これにより、入力装置３２０の操作者がほぼ静止した状態にあるのか、または車中などで移動している状態にあるのかなどが把握できる。従って、２つのメモデータの入力時刻が近接していても、例えば、メモを入力した場所が異なると判定される場合、それら２つのメモは同じカットについて入力されたものではなく、別々のカットについて入力されたメモデータである可能性が高いと推定できる。
なお、一定期間を一分としているが、この値は変更可能である。
本実施例では、ドキュメンタリー番組の制作における一回の撮影（録画開始から停止まで）時間がおよそ一分であるため、一分ごとの移動量を算出することで移動中と静止中の検出を行っているが、一回の撮影時間が短いジャンルの番組を制作する場合には、作業量算出間隔を短くすればよい。

次に、グループ間関連性判定部５０は、平均移動距離が所定の閾値を下回った時刻を入力装置の状態（移動中または静止中）の区切りと判定する（ステップＳ１４０３）。即ち、閾値より移動量が少ない場合、当該入力装置３２０の操作者はほぼ静止した状態であると判定され、移動量が閾値を超過している場合、当該入力装置３２０の操作者は移動中であると判定される。

図５２は、位置情報に基づくグループ間関連性判定の状況を説明するための図である。上記の判定動作により、入力装置が移動中であるか静止中であるかが区別される。この区切りを参照して、例えば、移動中に入力されたメモデータと静止中に入力されたメモデータとは関連性が低い（即ち、同じカットについて入力したメモデータではない）と判定できる。一般的な番組制作では、ロケ地に到着すると撮影準備を行い、その後撮影を行い、次のロケ地に移動するといったフローが繰り返される。したがって、移動中はロケ地の移動であり、静止中は撮影準備もしくは撮影中である可能性が高い。移動中は直前に撮影したカットのメモを書いている可能性が高く、撮影準備中はこれから撮影するカットのメモを書いている可能性が高い。したがって、撮影の合間に移動中と静止中の切れ目がある場合には、この以前と以降で別のカットに関するメモが書かれている可能性が高い。

図５３は、グループ間関連性判定部５０の出力データのデータ構造を模式的に示す図である。位置的な区切りがある（即ち、入力位置が異なる）ので相互に関連性が低いと推定される単語グループは、単語グループの文字列の番号で把握できる。例えば、Ｎｏ．７の単語グループ「後半◎」とＮｏ．８の単語グループ「漁港とカモメ」は、関連性が低いことを示す。尚、ここでは修正履歴に基づく単語グループ間の関連性判定結果は省略してある。

次に、再び図４９のフローチャートに戻り、対応関係判定部４０は、映像素材メタデータとメモデータを参照して、カットの撮影時間または再生時間と単語グループの入力開始時刻との関連性、単語グループ間の関連性（修正履歴や位置情報）、をそれぞれ判定し、カットとメモデータの対応付けを行う（ステップＳ１３０６）。

ここで、図５４は、単語グループの入力開始時刻と、カットの撮影時間または再生時間の関係を時間経過で整理した図である。ＧＰＳの位置情報に基づいて、入力した場所の異なるメモは関連性が低い、即ち、別のカットについてのメモであると判定できるので、実施の形態１と比較してより精度の高い対応付けが行える。対応関係判定部４０の具体的な判定動作のうち、以下では位置情報を用いた対応付け動作についてのみ説明する。

図５５は、位置情報を用いた対応付け動作の手順を示すフローチャートである。対応関係判定部４０は、対応付け候補が２つ以上あるメモについて以下の作業を繰り返す（ステップＳ１５０１）。

はじめに、対応関係判定部４０は、相互に関連性の低い単語グループが存在するか否かを判定する（ステップＳ１５０２）。存在する場合、対応関係判定部４０は、更に関連性の低い単語グループと共通の対応付け候補が有るか否かを判定する（ステップＳ１５０３）。共通の対応付け候補が有る場合、対応関係判定部４０は、関連性の低い単語グループと共通の対応付け候補を削除する（ステップＳ１５０４）。対応関係判定部４０は、ステップＳ１４０２からステップＳ１４０４までの判定動作を、対応付け候補が２つ以上あるすべてのメモについて繰り返す（ステップＳ１５０５）。

図５６は、単語グループ間の関連性を用いた対応付け候補判定結果を模式的に示す図である。「後半◎」と「漁港とカモメ」は関連性が低く、同じカットについてのメモではないと判定されたため、当初“カットＢとカットＣ”が対応付けられていた「漁港とカモメ」は“カットＣ”に対応付けが変更されている。尚、ここでは修正履歴に基づく単語グループ間の関連性判定結果は別途反映されるものとする。図５７は、カットに対応付けられたメモデータを概念的に示す図である。

以上説明したように、本実施の形態に係る対応付けシステムによれば、入力装置の位置情報を用いることにより、たとえ単語の入力時刻が近接していても、異なる場所で入力されたメモ情報は関連性が低いためグループ化しないと判定するなど、複数の単語を同一のカットに対するメモ情報として適切にグループ化することができる。

なお、本実施例では、文字入力装置を使用して入力したメモが文字列として管理されているが、撮影素材と対応付けるメモが文字列でなくても、本発明の対応付け装置により撮影素材と対応付けることができる。例えば、ペンタブレット等を用いて入力されたメモを撮影素材と対応付けることも可能である。ここでペンタブレットとは、板状の本体であるタブレットの上で専用のペン型入力端末等を動かすことにより、手書き入力された軌跡をデジタルデータとして管理出来る入力端末である。入力されたデータは、特定もしくは不特定な時間間隔ごとに、その時間内に入力された軌跡を入力データとして入力時刻情報とともに管理している。したがって、この１つ１つの入力データを本実施例における１つの単語とし、本発明の対応付け装置によって、入力データのグループ化、撮影素材との対応付けを行うことで、ペンタブレット等を用いて入力されたメモを撮影素材と対応付けることも可能である。このように、入力データと入力時刻情報とを管理する機能を有する入力装置であれば、いずれの入力装置を使用して入力したデータであっても、映像素材との対応付けが可能である。

本発明の対応付け装置は、単語の入力時刻情報に基づいて単語と映像素材との対応付けを行うことにより、映像素材の撮影中に入力が開始された単語は、当該映像素材に対するメモとして、撮影素材と対応付けられる為、単語の入力者が映像素材との対応を意識することなく従来手書きしていたのと同じ感覚で単語を入力するだけで、入力したメモ情報が該当する映像素材毎に対応付けられ、メモをキーワードとして、素材の検索を迅速に行える効果を有し、取得した複数のデータを互いに対応付ける対応付け装置等に有用である。

本発明の実施の形態１に係る対応付けシステムの概要を示す図 本発明の実施の形態１における対応付け装置の内部構成を示すブロック図 本発明の実施の形態１における対応付け装置の対応付け動作の手順を示すフローチャート 入力装置に操作者が入力するメモデータの入力例を示す図 データ取得部が取得する編集履歴データのデータ構造を模式的に示す図 取得した一つの撮影素材の撮影素材メタデータのデータ構造を模式的に示す図 全ての撮影素材について、撮影素材メタデータからメモとの対応付けに必要となる情報のみを抽出した撮影素材メタデータの一例を示す図 操作ログの一例を示す図 内部処理により「撮影」と「再生」について時系列で統合された映像素材メタデータのデータ構造を模式的に示す図 タイムスタンプ算出部の算出動作手順を示すフローチャート 図５に示す編集履歴データの６行目までが読み込まれた時点の内部テーブルのデータ構造を模式的に示す図 図５に示す編集履歴データの７行目までが読み込まれた時点の内部テーブルのデータ構造を模式的に示す図 図５に示す編集履歴データの９行目までが読み込まれた時点の内部テーブルのデータ構造を模式的に示す図 図５に示す編集履歴データの１０行目までが読み込まれた時点の内部テーブルのデータ構造を模式的に示す図 タイムスタンプ算出部の出力データのデータ構造を模式的に示す図 単語間関連性判定部の単語間関連性判定動作手順を示すフローチャート 単語のグループ分けの概要を示す図 単語間関連性判定部の出力データのデータ構造を模式的に示す図 単語グループの入力開始時刻と、カットの撮影時間または再生時間の関係を時間経過で整理した図 メモデータの入力時刻とカットの撮影時間との対応関係を説明するための図 撮影時間情報を用いた対応付け動作の手順を示すフローチャート 撮影時間情報を用いた対応付け動作による対応付け候補判定結果を模式的に示す図 再生時間情報を用いた対応付け動作の手順を示すフローチャート 再生時間情報を用いた対応付け動作による対応付け候補判定結果を模式的に示す図 カットとメモデータの最終的な対応付け結果を模式的に示す図 カットに対応付けられたメモデータを概念的に示す図 本発明の実施の形態２に係る対応付けシステムの概要を示す図 本発明の実施の形態２における対応付け装置の対応付け動作の手順を示すフローチャート 入力装置に操作者が入力するメモデータの入力例を示す図 実施の形態２で用いる入力装置のメモデータ入力動作手順を示すフローチャート 対応付け装置のデータ取得部が入力装置から取得する編集履歴データのデータ構造を模式的に示す図 取得した映像素材メタデータのデータ構造を模式的に示す図 内部処理により「撮影」と「再生」について時系列で統合された映像素材メタデータのデータ構造を模式的に示す図 タイムスタンプ算出部の算出動作手順を示すフローチャート タイムスタンプ算出部の出力データのデータ構造を模式的に示す図 単語間関連性判定部の出力データのデータ構造を模式的に示す図 修正履歴に基づくグループ間関連性判定動作の手順を示すフローチャート グループ間関連性判定部５０の出力データのデータ構造を模式的に示す図 単語グループの入力開始時刻と、カットの撮影時間または再生時間の関係を時間経過で整理した図 撮影時間情報を用いた対応付け動作の手順を示すフローチャート 撮影時間情報を用いた対応付け動作による対応付け候補判定結果を模式的に示す図 再生時間情報を用いた対応付け動作の手順を示すフローチャート 再生時間情報を用いた対応付け動作による対応付け候補判定結果を模式的に示す図 カットとメモデータとのメモデータの入力時刻に基づいた対応付け結果を模式的に示す図 単語グループ間関連性情報を用いた対応付け動作の手順を示すフローチャート 単語グループ間の関連性を用いた対応付け候補判定結果を模式的に示す図 カットに対応付けられたメモデータを概念的に示す図 本発明の実施の形態３に係る対応付けシステムの概要を示す図 本発明の実施の形態３における対応付け装置の対応付け動作の手順を示すフローチャート データ取得部が取得する位置情報のデータ構造を模式的に示す図 位置情報に基づくグループ間関連性判定動作の手順を示すフローチャート 位置情報に基づくグループ間関連性判定の状況を説明するための図 グループ間関連性判定部５０の出力データのデータ構造を模式的に示す図 単語グループの入力開始時刻と、カットの撮影時間または再生時間の関係を時間経過で整理した図 位置情報を用いた対応付け動作の手順を示すフローチャート 単語グループ間の関連性を用いた対応付け候補判定結果を模式的に示す図 カットに対応付けられたメモデータを概念的に示す図

符号の説明

１０ データ取得部
２０ タイムスタンプ算出部
３０ 単語間関連性判定部
４０ 対応関係判定部
５０グループ間関連性判定部
１００、１１０ 対応付け装置
２００ 撮影装置
３００、３１０、３２０ 入力装置
３１１ ユーザ入力受付部
３１２ 編集履歴付与部
３１３ 時刻管理部
３１４ メタデータ保持部
３１５ メタデータ登録部
３１６ 位置情報取得部

Claims (9)

1. 取得した複数のデータを互いに対応付ける対応付け装置であって、
   入力された単語の入力開始時刻情報と撮影された映像素材の撮影時間情報とを用いて、前記単語と前記映像素材とを対応付ける対応関係判定手段を備え、
   前記対応関係判定手段は、
   前記映像素材の撮影中に入力された単語は、前記撮影中の映像素材に対応付けし、
   全ての映像素材の撮影後に入力された単語は、最後に撮影された映像素材への対応付けを、前記全ての映像素材のうち前記最後に撮影された映像素材以外の映像素材への対応付けに対して、優先し、
   前記映像素材の撮影の合間に入力された単語は、単語入力の直前、又は単語入力の直後の映像素材への対応付けを、前記全ての映像素材のうち前記映像素材以外の映像素材への対応付けに対して、優先する、
   対応付け装置。
2. 入力された複数の単語間の関連性を判定することにより単語のグループ化を行う単語間関連性判定手段を備え、
   前記対応関係判定手段は、グループ化された単語群と前記映像素材とを対応付ける請求項１記載の対応付け装置。
3. 前記グループ化された単語群間の関連性を判定するグループ間関連性判定手段を備え、
   前記対応関係判定手段は、前記グループ間関連性判定手段の判定結果に基づいて、グループ化された単語群と前記映像素材とを対応付ける請求項２記載の対応付け装置。
4. 前記グループ間関連性判定手段は、修正履歴情報を用いて前記グループ化された単語群間の関連性を判定する請求項３記載の対応付け装置。
5. 前記グループ間関連性判定手段は、単語が入力された際の位置情報を用いて前記グループ化された単語群間の関連性を判定する請求項３記載の対応付け装置。
6. さらに、対応付け装置の位置情報を取得する位置情報取得部を有し、
   前記対応関係判定手段は、
   前記映像素材の撮影の合間に入力された単語は、前記位置情報を用いて対応付ける映像素材を選択する請求項１ないし５のいずれか一項記載の対応付け装置。
7. 請求項１ないし６のいずれか一項記載の対応付け装置と、単語ごとの入力開始時刻を取得、管理する入力管理装置と、前記撮影素材を撮影する撮像装置と、を備える対応付けシステム。
8. 請求項１ないし６のいずれか一項記載の対応付け装置に接続される入力管理装置であって、
   単語ごとの入力開始時刻を取得、管理する入力管理装置。
9. 前記対応関係判定手段は、
   前記映像素材の再生確認中に入力された単語は、前記再生確認中の映像素材に対応つける請求項１ないし６のいずれか一項記載の対応付け装置。

Images