JP6772487B2 - 収録データ解析方法および収録データ解析装置 - Google Patents

Description

本発明は、収録データを解析する技術に関する。

画像や音声を含む複数の収録データの相互間の時間的な関係を解析する技術が従来から提案されている。例えば特許文献１には、同じ被写体を異なる撮影位置から撮影する複数の画像の撮影時に録音された複数の音声データを解析することで、当該複数の画像を同期するための時間ずれ情報を生成する技術が開示されている。具体的には、２つの音声データ間の相互相関関数が最大となるずれ時間に応じて時間ずれ情報が生成される。

特開２００８−１９３５６１号公報

ところで、時間軸上の関係（ずれ時間）を解析すべき複数の収録データの中に、他の収録データとの関連性がない収録データ（例えば被写体や撮影時間が相違する無関係の収録データ）が混在する可能性がある。特許文献１の構成では、解析対象の収録データが無関係な収録データを含んでいたとしても何らかのずれ時間が算出される。したがって、他の収録データと関連性がなく本来ならば同期しない収録データについて、時間軸上の関係が誤推定されてしまう。以上の事情を考慮して、本発明は、複数の収録データの中に関連性がない収録データが含まれているか否かを適切に評価することを目的とする。

以上の課題を解決するために、本発明の第１態様に係る収録データ解析方法は、コンピュータが、Ｎ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の２個の収録データの各々における収録対象の時間変化を表す時間信号の時間差を算定し、Ｎ個の収録データ対にわたる時間差の合計値に応じて、Ｎ個の収録データの中に関連性がない収録データが含まれているか否かを評価する。以上の方法では、Ｎ個の収録データを循環的に配列したときのＮ個の収録データ対にわたる時間差の合計値に応じて、Ｎ個の収録データの中に関連性がない収録データが含まれているか否かを適切に評価することが可能である。

本発明の好適な態様において、時間差の算定では、互いに関連性があるＮ−１個の収録データと、Ｎ−１個の収録データに対する関連性が不明な１個の収録データとを含むＮ個の収録データについて、収録データ対毎の時間差を算定し、評価では、Ｎ個の収録データの中に関連性がない収録データが含まれていると評価した場合に、１個の収録データをＮ−１個の収録データに対する関連性がない収録データと判定する。以上の方法では、Ｎ個の収録データの中に関連性がない収録データが含まれていると評価された場合に、Ｎ−１個の収録データに対する関連性がない収録データが特定される。関連性の有無が不明なＮ個の収録データに関する時間差の合計値に応じて、関連性のない収録データの有無を評価するだけでは、Ｎ個のうちの何れの収録データが、他の収録データに対する関連性がないものであるのかまでは特定できない。前述の好適な方法では、互いに関連性があることが既知であるＮ−１個の収録データと、Ｎ−１個の収録データに対する関連性が不明である１個の収録データとを含むＮ個の収録データについて、収録データ対毎の時間差の合計値に応じて関連性の有無が評価されるから、１個の収録データについてＮ−１個の収録データとの関連性の有無を判定することが可能である。

本発明の第２態様に係る収録データ解析方法は、コンピュータが、複数の収録データを含む未知データ群から対象収録データを順次に選択する一方、対象収録データの選択毎に、互いに関連性がある複数の収録データを含む関連データ群と当該対象収録データとを含むＮ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の２個の収録データの各々における収録対象の時間変化を表す時間信号の時間差を算定し、Ｎ個の収録データ対にわたる時間差の合計値に応じて、関連データ群に対する対象収録データの関連性の有無を評価し、当該関連性が肯定された場合に当該対象収録データを未知データ群から関連データ群に移行する。以上の方法では、関連性の有無が不明な複数の収録データの各々（対象収録データ）について、互いに関連性があることが既知である複数の収録データとの関連性の有無が評価され、関連性があると評価された対象収録データが関連データ群に追加される。したがって、関連性の有無が不明な複数の収録データを、関連性が既知である複数の収録データの集合（関連データ群）と、関連性がない収録データの集合とに分類することが可能である。

第２態様の好適例では、関連性の有無の評価において、関連データ群に対する関連性が否定された収録データを未知データ群から無関連データ群に移行する一方、対象収録データを関連データ群に移行するたびに、無関連データ群に含まれる収録データを未知データ群に移行する。以上の態様では、対象収録データが関連データ群に移行されるたびに無関連データ群の収録データが未知データ群に移行されるから、無関連データ群に一度は移行された収録データでも、関連データ群に新たに移行された収録データとの関連性があれば、関連データ群に改めて含められ得る。したがって、互いに関連性がある複数の収録データを漏れなく関連データ群に選別することが可能である。

本発明の好適な態様において、時間信号は、音響を収録対象として収録された音響信号である。以上の方法では、Ｎ個の収録データ対の各々における音響信号の時間差の合計値が算定される。したがって、動画等の時間信号は収録条件（例えば撮影位置）に応じた時間変動の相違が大きいが、音響信号は収録条件に応じた時間変動の相違が小さいから、複数の収録データの間の時間差を高精度に特定でき、関連性がない収録データが含まれているか否かをより適切に評価することが可能である。

本発明の第１態様に係る収録データ解析装置は、Ｎ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の２個の収録データの各々における収録対象の時間変化を表す時間信号の時間差を算定する算定部と、Ｎ個の収録データ対にわたる時間差の合計値に応じて、Ｎ個の収録データの中に関連性がない収録データが含まれているか否かを評価する評価部とを具備する。以上の構成では、Ｎ個の収録データを循環的に配列したときのＮ個の収録データ対にわたる時間差の合計値に応じて、Ｎ個の収録データの中に関連性がない収録データが含まれているか否かを適切に評価することが可能である。

本発明の第２態様に係る収録データ解析装置は、複数の収録データを含む未知データ群から対象収録データを順次に選択する選択部と、対象収録データの選択毎に、互いに関連性がある複数の収録データを含む関連データ群と当該対象収録データとを含むＮ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の２個の収録データの各々における収録対象の時間変化を表す時間信号の時間差を算定する算定部と、対象収録データの選択毎に、Ｎ個の収録データ対にわたる時間差の合計値に応じて、関連データ群に対する対象収録データの関連性の有無を評価し、当該関連性が肯定された場合に当該対象収録データを関連データ群に追加する評価部とを具備する。以上の構成によれば、関連性の有無が不明な複数の収録データを、関連性が既知である複数の収録データの集合（関連データ群）と、関連性がない収録データの集合とに分類することが可能である。

第１実施形態に係る収録データ編集システムの構成図である。 相互に関連性があるＮ個の収録データの説明図である。 相互に関連性のあるＮ−１個の収録データと、Ｎ−１個の収録データと関連性がある１個の収録データとを含むＮ個の収録データの説明図である。 相互に関連性のあるＮ−１個の収録データと、Ｎ−１個の収録データと関連性がない１個の収録データとを含むＮ個の収録データの説明図である。 制御装置がコンテンツＺを生成する処理のフローチャートである。 第２実施形態に係る収録データ編集システムの構成図である。 評価部における対象収録データを移行する処理のイメージ図である。 制御装置がコンテンツＺを生成する処理のフローチャートである。 無関連データ群に含まれる収録データが再評価により関連性が肯定される場合の説明図である。

＜第１実施形態＞
図１は、第１実施形態に係る収録データ編集システム１０の構成図である。収録データ編集システム１０は、音響（例えば音声や楽音）および動画を処理するためのコンピュータシステムであり、図１に例示される通り、制御装置２２と記憶装置２４と収録データ取得装置２６と表示装置３２と放音装置３４と操作装置３６とを具備する。例えば携帯電話機やスマートフォン、タブレット端末、パーソナルコンピュータ等の可搬型の情報処理装置で収録データ編集システム１０は好適に実現され得るが、据置型の情報処理装置で収録データ編集システム１０を実現することも可能である。

制御装置２２は、収録データ編集システム１０の各要素を統括的に制御する演算処理装置（例えばＣＰＵ）である。収録データ取得装置２６は、複数の収録装置の各々が撮影した収録データＸを取得する。収録装置は、音響を収音する収音装置と動画を撮像する撮像装置とを具備する映像機器であり、例えば、音響および動画の収録に専用されるデジタルカムコーダ等の映像機器や、収録機能を搭載した携帯電話機またはスマートフォン等の情報端末である。収録データＸは、収録装置が収録した音響と動画とを表すデータである。

第１実施形態の収録データ取得装置２６は、Ｎ個の収録データＸを取得する（Ｎは３以上の自然数）。具体的には、収録データ取得装置２６は、Ｎ個の収録データＸを、例えばWi-Fi（登録商標）やBluetooth（登録商標）等の公知の近距離無線通信により各収録装置から取得することや、各収録装置が収録した収録データＸを保存する記憶装置からインターネット等の通信網を介して取得することが可能である。

記憶装置２４は、例えば磁気記録媒体や半導体記録媒体等の公知の記録媒体で構成され、制御装置２２が実行するプログラムや制御装置２２が使用する各種のデータを記憶する。第１実施形態の記憶装置２４は、収録データ取得装置２６が取得したＮ個の収録データＸ（Ｘ1，Ｘ2，……，ＸN）を記憶する。Ｎ個の収録データＸをあらかじめ記憶装置２４に保存しておくことも可能である。この場合、収録データ編集システム１０から収録データ取得装置２６は省略され得る。また、収録データ編集システム１０が通信可能なサーバに記憶装置２４（すなわちクラウドストレージ）を設置することも可能である。この場合、収録データ編集システム１０から記憶装置２４は省略され得る。

複数の収録装置の各々は、例えば相異なる位置で共通の収録対象（被写体）の音響および動画を並列に収録する。例えば、音響ホール等の共通の音響空間の相異なる地点に複数の収録装置が配置されて各々が別個の角度から例えば舞台や観客の様子を収録して収録データＸを生成する。第１実施形態の収録データＸは、収音装置が収音した音響を表す音響信号と撮像装置が撮像した動画を表す画像信号とを含む。例えば、舞台に設置された放音装置（例えばスピーカー）から舞台で行われる演劇用の楽曲の演奏音が再生されている場合、各収録装置が収録する収録データＸの音響には、演奏音（ただし音量等の音響特性は相違し得る）が共通に含有される。

各収録装置の利用者は、自身の収録装置による収録を別々に開始する。したがって、音響や動画の収録の開始点は、Ｎ個の収録データＸの間で厳密には一致せず、収録データＸ毎に相違し得る。つまり、Ｎ個の収録データＸには、時間差がある。

記憶装置２４には、基本的には、相互に関連性のあるＮ個の収録データＸが記憶される。しかし、記憶装置２４に記憶されるＮ個の収録データＸの中には、例えば収録装置の利用者の操作ミス等により、他の収録データＸとの関連性がない収録データＸが混在する可能性がある。相互に関連性がある収録データＸとは、収録の対象（被写体）や場所が相互に共通し（内容的な関連）、かつ、収録期間が時間軸上で部分的に重複する（時間的な関連）関係にある収録データＸである。例えば信頼性のある利用者（例えば収録対象のイベントの関係者）が内容的および時間的に関連するように収録したＮ−１個の収録データＸについては関連性が担保される。また、収録位置や収録時間を示すデータが収録データＸに付加された場合を想定すると、収録位置や収録時間の共通性を解析することで、互いに関連性があるＮ−１個の収録データＸを確保できる。他方、関連性がない収録データＸとは、内容的な関連および時間的な関連の少なくとも一方がない収録データＸである。関連性がない収録データＸとは、例えば、他の収録データＸの収録期間と同じ期間に収録しているが異なるイベントの様子を収録した収録データＸ（収録対象の部分的な重複がない場合）や、収録したイベントは同じであるが他の収録データＸの収録の終了以降に収録を開始した収録データＸ（収録期間の時間軸上の部分的な重複がない場合）などである。つまり、関連性がない収録データＸは、他の複数の収録データＸが共通に含有する音響を含まない。第１実施形態では、Ｎ個の収録データＸ1〜ＸNが、互いに関連性があるＮ−１個の収録データＸ1〜ＸN-1と、Ｎ−１個の収録データＸ1〜ＸN-1に対する関連性が不明な１個の収録データＸNとを含む場合を想定する。Ｎ−１個の収録データＸ1〜ＸN-1は、互いに関連性があることが任意の方法で予め確認された収録データＸである。

図１の表示装置３２（例えば液晶表示パネル）は、制御装置２２から指示された画像を表示する。放音装置３４（例えばスピーカーやヘッドホン）は、制御装置２２から指示された音響を放音する。操作装置３６は、利用者からの指示を受付ける入力機器であり、例えば利用者による操作を検知する複数の操作子や表示装置３２の表示面に対する利用者の接触を検知するタッチパネルで構成される。

制御装置２２は、記憶装置２４に記憶されたプログラムを実行することで、Ｎ個の収録データＸを処理するための複数の機能（収録データ解析部４０，編集処理部４６）を実現する。なお、制御装置２２の一部の機能を音響処理または画像処理の専用の電子回路で実現した構成や、制御装置２２の機能を複数の装置に分散した構成も採用され得る。

収録データ解析部４０は、図２に例示される通り、収録装置が生成したＮ個の収録データＸ（Ｘ1〜ＸN）を循環的に配列したときに相前後する２個の収録データＸ（Ｘi，Ｘj）間の時間差Ｏij（ｉ,ｊ＝１〜Ｎ，ｉ≠ｊ）を特定し、時間差Ｏijの合計値ＳからＮ個の収録データの中に関連性がない収録データＸが含まれているか否かを評価する。Ｎ個の収録データＸ1〜ＸNの循環的な配列とは、Ｎ個の収録データＸ1〜ＸNを直列に配列するとともに最後の収録データＸNに先頭の収録データＸ1を後続させた配列（環状配列）を意味する。したがって、Ｎ個の収録データＸ1〜ＸNの循環的な配列には、相前後する２個の収録データＸ（Ｘi，Ｘj）で構成されるＮ個の対（以下「収録データ対」という）Ｐijが包含される。すなわち、数値ｉと数値ｊとの組合せは、（ｉ,ｊ）＝（１,２），（２,３），……（Ｎ−１,Ｎ），（Ｎ,１）のＮ通りである。図２から理解される通り、時間差Ｏijは、収録データＸiを基準としたときの収録データＸjの相対的な時間（オフセット）を意味する。なお、循環的に配列されたＮ個の収録データＸの順列は任意である。

図１に例示される通り、第１実施形態の収録データ解析部４０は、算定部４２と評価部４４とを具備する。算定部４２は、Ｎ個の収録データＸ（Ｘ1，Ｘ2，……，ＸN）を循環的に配列したときに相前後する２個の収録データＸで構成されるＮ個の収録データ対Ｐijの各々について、当該収録データ対Ｐijの２個の収録データＸの各々における音響信号の時間差Ｏijを算定する。

具体的には、算定部４２は、Ｎ個の収録データ対Ｐijの各々について、収録データＸiと収録データＸjとの間における音響信号の相互相関Ｃij(τ)の絶対値|Ｃij(τ)|が最大となる時間差τを収録データ対Ｐijの時間差Ｏijとして算定する。相互相関Ｃij(τ)は、以下の数式(１)で表現される通り、収録データＸiに含まれる音響信号ｙi(ｔ)の始点と収録データＸjに含まれる音響信号ｙj(ｔ)の始点とを時間軸上で一致させてから、音響信号ｙi(ｔ)に対する音響信号ｙj(ｔ)の時間差（時間軸上のシフト量）τを変数として両者間の時間波形の相関の程度を示した数値列である。収録データＸiと収録データＸjとが関連性がない場合、前述した通り、収録データＸiと収録データＸjとは共通の音響を含有しないため、相互相関Ｃij(τ)は有意な値をとらない。なお、時間差τは、負の数値もとり得る。したがって、例えば、収録データＸjが時間軸上で収録データＸiの後方に位置する場合に時間差Ｏijは正数となり、収録データＸjが時間軸上で収録データＸiの前方に位置する場合に時間差Ｏijは負数となる。

また、相互相関Ｃij(τ)は、数式(２)で表現される通り、音響信号ｙi(ｔ)の周波数スペクトルＹi(ｆ)と音響信号ｙj(ｔ)の周波数スペクトルＹj(ｆ)とのクロススペクトルの逆フーリエ変換（IFFT）で算出することも可能である。ｆは周波数を意味し、Ｙi^＊(ｆ)は、Ｙi(ｆ)の複素共役である。数式(２)の演算により相互相関Ｃij(τ)を算定する構成によれば、数式(１)を演算する構成と比較して、相互相関Ｃij(τ)を算出する計算量を低減できるという利点がある。

図３は、相互に関連性があるＮ−１個の収録データＸ（Ｘ1〜ＸN-1）の説明図である。図２に例示される通り、Ｎ−１個の収録データＸについて相互に関連性がある場合、Ｎ−１個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓ（Ｓ＝Ｏ12＋Ｏ23＋……＋ＯN-11）は０に近い数値（理想的には０）となる。

ここで、相互に関連性があるＮ−１個の収録データＸ1〜ＸN-1に、関連性が不明な１個の収録データ（以下「未知収録データ」という）ＸNを加えてＮ個の収録データＸ1〜ＸNとした場合を想定する。未知収録データＸNについて収録データＸ1〜ＸN-1との間で関連性がある場合、図２に例示される通り、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓ（Ｓ＝Ｏ12＋Ｏ23＋……＋ＯN1）は０に近い数値（理想的には０）となる。他方、未知収録データＸNについて収録データＸ1〜ＸN-1との間で関連性がない場合、図４に例示される通り、収録データＸN-1と未知収録データＸNとが時間軸上で部分的に重複していない（つまり関連性がない）ため、収録データ対Ｐijの相互相関Ｃij(τ)が有意な値とならない。したがって、時間差Ｏijの合計値Ｓは０から乖離した数値となる。以上の説明から理解される通り、時間差Ｏijの合計値Ｓは、関連性がない収録データＸがＮ個の収録データＸに含まれているか否か（未知収録データＸについて収録データＸ1〜ＸN-1との関連性があるか否か）の指標として利用可能である。すなわち、時間差Ｏijの合計値Ｓが０から離れる場合、Ｎ個の収録データＸの中に関連性がない収録データＸが含まれていると推定できる。

以上の傾向を考慮して、図１の評価部４４は、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓに応じて、Ｎ個の収録データＸの中に関連性がない収録データＸが含まれているか否かを評価する。第１実施形態では、前述した通り、Ｎ個の収録データＸ1〜ＸNは、互いに関連性があるＮ−１個の収録データＸ1〜ＸN-1と、Ｎ−１個の収録データＸ1〜ＸN-1に対する関連性が不明な１個の未知収録データＸNとを含む。以上の前提のもとでは、Ｎ個の収録データＸの中に関連性のない収録データＸが含まれている場合には、未知収録データＸNについて他のＮ−１個の収録データＸ1〜ＸN-1との関連性がないことを意味する。なお、第１実施形態において未知収録データＸNは、Ｎ−１個の収録データＸ1〜ＸN−１の配列の末尾に加えるが、未知収録データＸNを加える位置は任意である。

第１実施形態の評価部４４は、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓが所定の閾値を上回る場合、未知収録データＸNをＮ−１個の収録データＸに対する関連性がない収録データＸと判定するとともにＮ個の収録データＸから除外する。一方、第１実施形態の評価部４４は、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓが所定の閾値を下回る場合、未知収録データＸNをＮ−１個の収録データＸに対する関連性がある収録データＸと判定し、Ｎ個の収録データＸからは除外しない。なお、閾値は、実験的または統計的に選定される。

図１の編集処理部４６は、未知収録データＸNをＮ−１個の収録データＸ1〜ＸN-1に対する関連性がないと評価部４４が判定した場合、Ｎ−１個の収録データＸ1〜ＸN-1を相互に同期させたコンテンツＺを生成する。一方、編集処理部４６は、未知収録データＸNをＮ−１個の収録データＸ1〜ＸN-1に対する関連性があると評価部４４が判定した場合、Ｎ個の収録データＸ1〜ＸNを相互に同期させたコンテンツＺを生成する。収録データＸの同期とは、各収録データＸの音響および動画の時間軸を複数の収録データＸについて相互に合致させた状態を意味する。なお、収録データＸの同期には公知の技術が任意に採用され得るが、算定部４２で算定した時間差Ｏijを使用して複数の収録データＸを同期することも可能である。図１の編集処理部４６で生成されたコンテンツＺは、制御装置２２の指示により再生される。具体的には、コンテンツＺの動画は表示装置３２で表示され、コンテンツＺの音響は放音装置３４で放音される。

ところで、Ｎ−１個の収録データＸ1〜ＸN-1と関連性がない収録データＸNを除外せずにＮ個の収録データＸ1〜ＸNを同期する構成によれば、本来ならば同期しない収録データＸNについて、時間軸上の関係が誤推定されてしまう。第１実施形態では、Ｎ−１個の収録データＸ1〜ＸN-1と関連性がない収録データＸNが除外されるから、互いに関連性がある収録データＸだけを対象として相互に同期させることが可能である。

なお、Ｎ−１個の収録データＸ1〜ＸNと関連性がない収録データＸNをＮ個の収録データＸ1〜ＸNから除外する方法としては、例えば、収録データＸの収録期間（例えば開始時刻と終了時刻）を示す情報を参照して、Ｎ−１個の収録データＸ1〜ＸN-1と時間的な関連性がない収録データＸNを除外する構成（以下「対比例」という）も想定される。しかし、対比例では、同時期に収録された結果として時間的な関連はあるけれども内容的な関連がない収録データＸNが、Ｎ−１個の収録データＸ1〜ＸN-1と関連性があると誤判定されて除外されない。これに対して第１実施形態では、時間差Ｏijの合計値Ｓに応じてＮ−１個の収録データＸ1〜ＸN-1と関連性がない収録データＸを判定することができるので、時間的な関連はあるが内容的な関連がない収録データＸNについても、適切に除外することが可能である。また、収録期間を示す情報が存在しない収録データＸについて評価できるという利点もある。

図５は、制御装置２２がコンテンツＺを生成する処理のフローチャートである。操作装置３６に対する利用者からの指示を契機として図５の処理が開始される。例えば、収録データ取得装置２６が、舞台で実演される演劇の様子を相異なる位置から収録した互いに関連性があるＮ−１個の収録データＸと、Ｎ−１個の収録データＸに対する関連性が不明な１個の未知収録データＸとを含むＮ個の収録データＸを取得した場合を想定する。図５の処理を開始すると、算定部４２は、Ｎ個の収録データ対Ｐij（Ｐ12〜ＰN1）の各々について、相互相関Ｃij(τ)の絶対値|Ｃij(τ)|が最大となる時間差τを、収録データ対Ｐijの音響信号ｙi(ｔ)と音響信号ｙj(ｔ)との時間差Ｏij（Ｏ12〜ＯN1）として算定する（ＳA1）。

評価部４４は、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓを算出する（ＳB1）。次に、評価部４４は、Ｎ個の収録データＸの中に関連性がない収録データＸが含まれているか否かを、合計値Ｓと閾値との比較により評価する（ＳB2）。具体的には、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓが所定の閾値を上回る場合、評価部４４は、未知収録データＸをＮ−１個の収録データＸに対する関連性がない収録データＸと判定して（ＳB2：ＹＥＳ）、Ｎ個の収録データＸから除外する（ＳB3）。他方、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓが所定の閾値を下回る場合、評価部４４は、未知収録データＸについてＮ−１個の収録データＸに対する関連性があると判定し（ＳB2：ＮＯ）、Ｎ個の収録データＸから除外しない（ＳB4）。

編集処理部４６は、評価部４４による処理の結果を踏まえてコンテンツＺを生成する（ＳC1）。具体的には、編集処理部４６は、関連性がない収録データＸNを評価部４４が除外した場合（ＳB3）、Ｎ−１個の収録データＸを相互に同期させたコンテンツＺを生成し、未知収録データＸをＮ個の収録データＸから評価部４４が除外しなかった場合（ＳB4）、未知収録データＸを含むＮ個の収録データＸを相互に同期させたコンテンツＺを生成する。以上に説明した通り、算定部４２は、Ｎ個の収録データ対Ｐijの時間差Ｏijを算定する処理（ステップＳA1）を行い、評価部４４は、Ｎ個の収録データＸの中に関連性がない収録データＸが含まれているか否かを評価する処理（ステップＳB1〜ＳB4）を行う。

以上の説明から理解される通り、第１実施形態では、Ｎ個の収録データＸを循環的に配列したときのＮ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓに応じて、Ｎ個の収録データＸの中に関連性がない収録データＸが含まれているか否かを適切に評価できる。

関連性の有無が不明なＮ個の収録データＸに関する時間差Ｏijの合計値Ｓに応じて、関連性のない収録データＸの有無を評価するだけでは、Ｎ個のうちの何れの収録データＸが、他の収録データＸに対する関連性がないものであるのかまでは特定できない。第１実施形態では特に、互いに関連性があることが既知であるＮ−１個の収録データＸと、Ｎ−１個の収録データＸに対する関連性が不明である１個の収録データＸとを含むＮ個の収録データＸについて、収録データ対Ｐij毎の時間差Ｏijの合計値Ｓに応じて関連性の有無が評価されるから、１個の収録データＸNについてＮ−１個の収録データＸとの関連性の有無を判定することが可能である。

＜第２実施形態＞
本発明の第２実施形態について説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

第１実施形態では、１個の未知収録データＸについて他の収録データＸとの関連性があるか否かを評価したが、第２実施形態では複数の収録データＸの各々について他の収録データＸと関連性があるか否かを評価する。

図６は、第２実施形態に係る収録データ編集システム１０の構成図である。第１実施形態の記憶装置２４は、互いに関連性があるＮ−１個の収録データＸと１個の未知収録データＸとを記憶するが、第２実施形態の記憶装置２４は、互いに関連する複数の収録データＸと、他の収録データＸに対する関連性が不明な複数の未知収録データＸとを記憶する。

第２実施形態の収録データ解析部４０の処理においては、図７に例示される通り、相互に関連性があることが既知である複数の収録データＸの集合（以下「関連データ群」という）Ｃ1と、関連データ群Ｃ1内の収録データＸとの関連性の有無が不明である複数の未知収録データＸの集合（以下「未知データ群」という）Ｃ2と、未知データ群Ｃ2の複数の未知収録データＸのうち関連データ群Ｃ1の収録データＸとの関連性が否定された収録データＸの集合（以下「無関連データ群」という）Ｃ3とを便宜的に想定する。図６に例示される通り、第２実施形態の収録データ解析部４０は、第１実施形態と同様の算定部４２および評価部４４に選択部４８を追加した構成であり、未知データ群Ｃ2に含まれる複数の未知収録データＸの各々について、関連データ群Ｃ1の複数の収録データＸとの関連性の有無を評価する。

図６の選択部４８は、未知データ群Ｃ2から１個の未知収録データＸを対象収録データＸとして順次に選択する。第２実施形態の算定部４２は、選択部４８が選択した１個の対象収録データＸと関連データ群Ｃ1内の複数（Ｎ−１個）の収録データＸとを含むＮ個の収録データＸについて、第１実施形態と同様に、収録データ対Ｐij毎に時間差Ｏijを算定する。第２実施形態の評価部４４は、時間差Ｏijの合計値Ｓに応じて、対象収録データＸについて関連データ群Ｃ1内の各収録データＸとの関連性の有無（関連性がない収録データＸがＮ個の収録データＸの中に含まれるか否か）を、第１実施形態と同様に評価する。第２実施形態の評価部４４は、図７に例示される通り、対象収録データＸについて関連性が肯定された場合、対象収録データＸを未知データ群Ｃ2から関連データ群Ｃ1に移行する一方、対象収録データＸについて関連性が否定された場合は、対象収録データＸを未知データ群Ｃ2から無関連データ群Ｃ3に移行する。収録データ解析部４０（選択部４８，算定部４２，評価部４４）での処理は、未知データ群Ｃ2から収録データＸがなくなるまで、つまり空になるまで反復される。第２実施形態の編集処理部４６は、収録データ解析部４０での処理が完了した後、関連データ群Ｃ1に含まれる複数の収録データＸを相互に同期させたコンテンツＺを第１実施形態と同様に生成する。

図８は、第２実施形態における制御装置２２がコンテンツＺを生成する処理のフローチャートである。第１実施形態と同様に、操作装置３６に対する利用者からの指示を契機として図８の処理が開始される。図８の処理を開始すると、選択部４８は、未知データ群Ｃ2から１個の対象収録データＸを選択する（ＳD1）。算定部４２は、選択部４８が選択した１個の対象収録データＸと関連データ群Ｃ1内の複数（Ｎ−１個）の収録データＸとを含むＮ個の収録データＸについて、収録データ対Ｐij毎に時間差Ｏijを算定する（ＳA1）。評価部４４は、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓを算出する（ＳB1）。次に、評価部４４は、Ｎ個の収録データＸの中に関連性がない収録データＸが含まれているか否かを、合計値Ｓと閾値との比較により評価する（ＳB2）。具体的には、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓが所定の閾値を上回る場合、評価部４４は、未知収録データＸNを関連データ群Ｃ1に対する関連性がない収録データＸと判定して（ＳB2：ＹＥＳ）、対象収録データＸを未知データ群Ｃ2から無関連データ群Ｃ3に移行する（ＳB3）。他方、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓが所定の閾値を下回る場合、評価部４４は、対象収録データＸを関連データ群Ｃ1に対する関連性がある収録データＸと判定して（ＳB2：ＮＯ）、対象収録データＸを未知データ群Ｃ2から関連データ群Ｃ1に移行する（ＳB4）。したがって、関連データ群Ｃ1の収録データＸの総数が１だけ増加する。そして、対象収録データＸを関連データ群Ｃ1に移行すると（すなわち関連データ群Ｃ1に対する対象収録データＸの関連性が肯定されると）、評価部４４は、無関連データ群Ｃ3に含まれる全ての収録データＸを未知データ群Ｃ2に移行する（ＳB5）。すなわち、無関連データ群Ｃ3が初期化される。

ここで、１個の対象収録データＸを未知データ群Ｃ2から関連データ群Ｃ1に移行した場合、過去の評価で関連性が否定された無関連データ群Ｃ3内の収録データＸについて関連性の有無を再評価すると、関連性が肯定される場合がある。例えば、図９に例示される通り、関連データ群Ｃ1に含まれる収録データＸ1および収録データＸ2と、対象収録データＸN（破線）との３個の収録データＸとについて関連性を評価した場合、対象収録データＸNは収録データＸ2と時間軸上で部分的に重複していないため、関連データ群Ｃ1（収録データＸ1，Ｘ2）に対する関連性がないと判定され無関連データ群Ｃ3に追加される。しかし、評価部４４が収録データＸ3を関連データ群Ｃ1に追加した場合、無関連データ群Ｃ3に含まれる対象収録データＸN（実線）は、図９に例示される通り、収録データＸ3とは時間軸上で部分的に重複するため、評価部４４が再び評価すると、関連データ群Ｃ1（収録データＸ1〜Ｘ3）に対する関連性が肯定される。そこで、対象収録データＸNを未知データ群Ｃ2から関連データ群Ｃ1に移行した場合（ＳB4）、評価部４４は、前述の通り、無関連データ群Ｃ3に含まれる全ての収録データＸを未知データ群Ｃ2に移行し（ＳB5）、評価部４４で再評価する。

評価部４４が対象収録データＸを移行すると（ＳB3，ＳB4）、選択部４８は、未知データ群Ｃ2に収録データＸがあるか否か、つまり未知データ群Ｃ2が空であるか否かを判断する（ＳD2）。未知データ群Ｃ2が空である場合（ＳD2：ＹＥＳ）、編集処理部４６は、関連データ群Ｃ1に含まれる複数の収録データＸを相互に同期させたコンテンツＺを生成する（ＳC1）。一方、未知データ群Ｃ2が空でない場合（ＳD2：ＮＯ）、収録データ解析部４０は、未知データ群Ｃ2内の各未知収録データＸについてステップＳD1〜ＳB4の処理を反復する。以上に説明した通り、選択部４８は、未知データ群Ｃ2から対象収録データＸを選択する処理（ＳD1，ＳD2）を行い、算定部４２は、Ｎ個の収録データ対Ｐijの時間差Ｏijを算定する処理（ＳA1）を行い、評価部４４は、Ｎ個の収録データＸの中に関連性がない収録データＸが含まれているか否かを評価する処理（ＳB1〜ＳB5）を行う。第２実施形態の収録データ解析部４０（選択部４８，算定部４２，評価部４４）は、関連データ群Ｃ1に対する関連性がない収録データＸを未知データ群Ｃ2から除外する処理と言える。

第２実施形態においても第１実施形態と同様の効果が実現される。第２実施形態では特に、関連性の有無が不明な複数の収録データＸを、関連データ群Ｃ1と無関連データ群Ｃ3とに分類することが可能である。また、第２実施形態では、対象収録データＸが関連データ群Ｃ1に移行されるたびに、無関連データ群Ｃ3の収録データＸが未知データ群Ｃ2に移行される。したがって、無関連データ群Ｃ3に一度は移行された収録データＸでも、関連データ群Ｃ1に新たに移行された収録データＸとの関連性があれば、関連データ群Ｃ1に改めて選別され得る。すなわち、関連性がある複数の収録データＸを漏れなく関連データ群Ｃ1に選別することが可能である。

＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。

（１）前述の各形態では、収録データ対Ｐijの各収録データＸに含まれる音響信号ｙ(ｔ)の時間差τに応じて時間差Ｏijを算定したが、時間差τの算出に使用される信号は音響信号ｙ(ｔ)に限定されない。例えば、各収録データＸの音響に共通の発話内容が含まれる場合は、各収録データＸの発話内容を音声認識により解析し、解析結果を２個の収録データＸ間で比較することで時間差Ｏijを算出することも可能である。また、音響信号ｙ(ｔ)から抽出される特徴量（例えば音高）の時間変化を示す時間信号を２個の収録データＸ間で比較する（例えば相互相関Ｃij(τ)を算定する）ことで時間差Ｏijを算定してもよい。さらには、収録データ対Ｐijに含まれる動画を表す画像信号から、例えば画像の明度の時間変化を示す時間信号を生成し、２個の収録データＸ間で時間信号を比較することで時間差Ｏijを算定することも可能である。以上の説明から理解される通り、時間差Ｏijの算定に使用される信号は、収録データ対Ｐijの２個の収録データＸの各々における収録対象（音響または動画）の時間変化を表す時間信号であれば任意である。ただし、音響信号ｙ(ｔ)は収録条件（例えば撮影位置）に応じた時間変動の相違が小さいという傾向を考慮すると、音響信号ｙ(ｔ)を使用した前述の各形態の構成では、動画等の時間信号を使用した構成と比較して、複数の収録データＸ1〜ＸNの間の時間差Ｏijを高精度に特定できるという利点がある。

（２）前述の各形態では、相互相関Ｃij(τ)に応じて収録データ対Ｐijの時間差Ｏijを算定したが、時間差Ｏijの算定に利用する指標は相互相関Ｃij(τ)に限定されない。例えば正規化相互相関に応じて収録データ対Ｐijの時間差Ｏijを算定することも可能である。時間差Ｏijの算定に利用する指標は、収録データ対Ｐijの２個の収録データＸの各々における収録対象の時間変化を表す時間信号の時間差Ｏijが算出できれば任意である。

（３）前述の各形態では、相互相関Ｃij(τ)の絶対値|Ｃij(τ)|が最大となる時間差τを時間差Ｏijとして確定したが、相互相関Ｃij(τ)の絶対値|Ｃij(τ)|から特定される複数の候補値から時間差Ｏijを選択することも可能である。例えば、算定部４２は、相互相関Ｃij(τ)の絶対値|Ｃij(τ)|の相異なる極大点（例えば絶対値|Ｃij(τ)|の移動平均の極大点）に対応する複数の時間差τを時間差Ｏijの候補として特定し、複数の候補値の何れかを時間差Ｏijとして算定する。例えば、複数の候補値のうち合計値Ｓの絶対値が最小となる候補値が時間差Ｏijとして選択される。以上の構成では、時間差Ｏijを高精度に特定することが可能である。

（４）前述の各形態では、評価部４４は、互いに関連性があるＮ−１個の収録データＸと関連性が不明の１個の未知収録データＸとを含むＮ個の収録データＸの中に関連性がない収録データＸが含まれているか否かを評価したが、互いに関連性がある複数の収録データＸと複数の未知収録データＸとを含むＮ個の収録データＸについて、時間差Ｏijの合計値Ｓに応じて関連性の有無を評価することも可能である。すなわち、未知収録データＸは複数でもよい。

（５）前述の各形態では、編集処理部４６を収録データ編集システム１０に搭載したが、編集処理部４６を収録データ編集システム１０とは別個のサーバ装置や端末装置に搭載することも可能である。この場合、収録データ編集システム１０は、相互に関連する複数の収録データＸをサーバ装置や端末装置に送信する。以上の説明から理解される通り、前述の各形態における収録データ編集システム１０は、Ｎ個の収録データＸについて時間差Ｏijを解析することで、互いに関連性があるＮ−１個の収録データＸに対して関連性がない収録データＸを除外する収録データ解析部４０を具備する装置（すなわち収録データ解析装置）の例示であり、本発明の収録データ解析装置において編集処理（編集処理部４６）は必須ではない。

（６）第２実施形態では、記憶装置２４が記憶する複数の未知収録データＸの全てについて関連性の有無を評価したが、記憶装置２４が記憶する未知収録データＸの一部について関連性の有無を評価することも可能である。例えば、収録データ解析部４０は、各収録データＸの収録期間（例えば開始時刻と終了時刻）を示す時間情報を未知収録データＸとともに記憶装置２４から取得し、時間情報が示す収録時間が時間軸上でＮ−１個の収録データＸと重複する未知収録データＸを特定して第２実施形態と同様の動作を実行する。すなわち、Ｎ−１個の収録データＸに対して関連性がないことが明白である未知収録データＸが処理対象から除外される。なお、時間情報から未知収録データＸとＮ−１個の収録データＸとの関連性の有無を評価することも可能であるが、実際には、収録装置で計測される時刻には収録装置毎に誤差が生じ得るから、第２実施形態の構成で未知収録データＸの関連性の有無を評価する意義はある。以上の構成によれば、Ｎ−１個の収録データＸと関連性がない未知収録データＸを処理対象から除外することができるから、記憶装置２４が記憶する全部の未知収録データＸを処理対象とする構成と比較して、収録データ解析部４０の処理負荷を軽減することが可能である。

（７）前述の各形態で例示した収録データ解析部４０は、前述の通り制御装置２２とプログラムとの協働で実現される。プログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。

（８）本発明は、前述の各形態に係る収録データ解析部４０の動作方法（収録データ解析方法）としても特定され得る。具体的には、本発明の第１態様に係る収録データ解析方法においては、コンピュータ（単体の装置のほか、相互に別体の複数の装置で構成されたコンピュータシステムも含む）が、Ｎ個（Ｎは３以上の自然数）の収録データＸを循環的に配列したときに相前後する２個の収録データＸで構成されるＮ個の収録データ対Ｐijの各々について、当該収録データ対Ｐijの２個の収録データＸの各々における収録対象の時間変化を表す時間信号の時間差Ｏijを算定し、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓに応じて、Ｎ個の収録データＸの中に関連性がない収録データＸが含まれているか否かを評価する。

また、本発明の第２態様に係る収録データ解析方法においては、コンピュータ（単体の装置のほか、相互に別体の複数の装置で構成されたコンピュータシステムも含む）が、複数の収録データＸを含む未知データ群Ｃ2から対象収録データＸを順次に選択する一方、対象収録データＸの選択毎に、互いに関連性がある複数の収録データＸを含む関連データ群Ｃ1と当該対象収録データＸとを含むＮ個（Ｎは３以上の自然数）の収録データＸを循環的に配列したときに相前後する２個の収録データＸで構成されるＮ個の収録データ対Ｐijの各々について、当該収録データ対Ｐijの２個の収録データＸの各々における収録対象の時間変化を表す時間信号の時間差Ｏijを算定し、Ｎ個の収録データ対Ｐijにわたる時間差Ｏijの合計値Ｓに応じて、関連データ群Ｃ1に対する対象収録データＸの関連性の有無を評価し、当該関連性が肯定された場合に当該対象収録データＸを未知データ群Ｃ2から関連データ群Ｃ1に移行する。

１０……収録データ編集システム，２２……制御装置，２４……記憶装置，２６……収録データ取得装置，３２……表示装置，３４……放音装置，３６……操作装置，４０……収録データ解析部，４２……算定部，４４……評価部，４６……編集処理部，４８……選択部。

Claims (7)

1. コンピュータが、
   Ｎ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の前記２個の収録データの各々における収録対象の時間変化を表す時間信号の相互相関の絶対値が最大となる時間差を算定し、
   前記Ｎ個の収録データ対にわたる時間差の合計値が閾値を上回るか否かに応じて、前記Ｎ個の収録データの中に関連性がない収録データが含まれているか否かを評価する
   収録データ解析方法。
2. 前記時間差の算定においては、互いに関連性があるＮ−１個の収録データと、前記Ｎ−１個の収録データに対する関連性が不明な１個の収録データとを含む前記Ｎ個の収録データについて、前記収録データ対毎の時間差を算定し、
   前記評価においては、前記Ｎ個の収録データの中に関連性がない収録データが含まれていると評価した場合に、前記１個の収録データを前記Ｎ−１個の収録データに対する関連性がない収録データと判定する
   請求項１の収録データ解析方法。
3. コンピュータが、
   複数の収録データを含む未知データ群から対象収録データを順次に選択する一方、
   前記対象収録データの選択毎に、
   互いに関連性がある複数の収録データを含む関連データ群と当該対象収録データとを含むＮ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の前記２個の収録データの各々における収録対象の時間変化を表す時間信号の相互相関の絶対値が最大となる時間差を算定し、
   前記Ｎ個の収録データ対にわたる時間差の合計値が閾値を上回るか否かに応じて、前記関連データ群に対する前記対象収録データの関連性の有無を評価し、当該関連性が肯定された場合に当該対象収録データを前記未知データ群から前記関連データ群に移行する
   収録データ解析方法。
4. 前記関連性の有無の評価において、前記関連データ群に対する関連性が否定された収録データを前記未知データ群から無関連データ群に移行する一方、
   前記対象収録データを前記関連データ群に移行するたびに、前記無関連データ群に含まれる収録データを前記未知データ群に移行する
   請求項３の収録データ解析方法。
5. 前記時間信号は、音響を前記収録対象として収録された音響信号である
   請求項１から請求項４の何れかの収録データ解析方法。
6. Ｎ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の前記２個の収録データの各々における収録対象の時間変化を表す時間信号の相互相関の絶対値が最大となる時間差を算定する算定部と、
   前記Ｎ個の収録データ対にわたる時間差の合計値が閾値を上回るか否かに応じて、前記Ｎ個の収録データの中に関連性がない収録データが含まれているか否かを評価する評価部と
   を具備する収録データ解析装置。
7. 複数の収録データを含む未知データ群から対象収録データを順次に選択する選択部と、
   前記対象収録データの選択毎に、互いに関連性がある複数の収録データを含む関連データ群と当該対象収録データとを含むＮ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の前記２個の収録データの各々における収録対象の時間変化を表す時間信号の相互相関の絶対値が最大となる時間差を算定する算定部と、
   前記対象収録データの選択毎に、前記Ｎ個の収録データ対にわたる時間差の合計値が閾値を上回るか否かに応じて、前記関連データ群に対する前記対象収録データの関連性の有無を評価し、当該関連性が肯定された場合に当該対象収録データを前記関連データ群に追加する評価部と
   を具備する収録データ解析装置。
   

Images