JP6168453B2 - 信号記録装置、カメラレコーダおよび信号処理装置 - Google Patents

Description

本開示は、記録されるメタデータに基づいて、映像・音声素材の分類を行う信号記録装置に関する。

近年、光ディスクや、半導体メモリなどのランダムアクセス可能な記録媒体に、映像データや音声データをファイル化して記録する装置が一般的になっている。例えば、放送局や映像制作会社などにおいても、このような記録媒体を備えた編集装置を利用して映像編集作業などが行なわれている。このような映像編集作業を行うため、映像や音声などの素材は、これら素材の付加情報であるメタデータとともに記録媒体に記録され、メタデータを利用して編集作業等の効率化が図られている。

特許文献１は、このような状況を背景として、記録媒体に記録された映像や音声（素材）に関する付加情報としてのメタデータを記録する手法を開示する。記録装置は、記録媒体に対して映像及び音声を記録する記録部と、映像及び音声データとメタデータとを多重化するマルチプレクサとを備える。例えば、入力されたメタデータは、マルチプレクサにより映像及び音声データと多重化され、映像及び音声データと関連付けられて記録媒体に記録される。これにより、所望の映像データを検索する際の時間を低減することができる。

また、特許文献２は、人間の顔画像を分析するものであって、画像中の顔の大きさ、顔の位置によって画像を分類する分類システムを開示する。分類システムは、顔の大きさ等のメタデータやあらかじめ決められる編集テンプレートに基づいて画像を分類する。これにより、メタデータに基づいて効率的に分類することができる。

特開２００１−２９２４１１号公報 特開２００１−２７３５０５号公報

本開示は、操作負担を軽減しつつ、映像・音声素材の分類を行うことができる信号記録装置を提供する。

本開示における信号記録装置は、映像及び音声のうち少なくともいずれか１つを含むＡＶ信号と共に記録されるメタデータである記録メタデータを生成するメタデータ生成部と、記録メタデータを受けて、分類規則が格納された分類データベースを参照して、ＡＶ信号のうち当該記録メタデータに係る部分がどのプレイリストに分類されるかを判断し、この判断結果を示す分類情報を出力する分類判断部と、分類情報に従って、ＡＶ信号に関するプレイリストを生成するプレイリスト生成部と、ＡＶ信号、記録メタデータ、およびプレイリストを、記録媒体に記録する記録部とを備えている。

本開示における信号記録装置は、操作負担を軽減しつつ、映像・音声素材の分類を自動的に行うのに有効である。

実施の形態１に係るカメラレコーダの構成を示すブロック図 管理情報ファイルの一例 プレイリストファイルの一例 分類規則の一例 第１のアイテムタイプのプレイリスト生成処理の例 第２のアイテムタイプのプレイリスト生成処理の例 音声特徴を用いる場合の分類規則の一例 （ａ）（ｂ）は分類規則の他の例 実施の形態２に係る信号処理装置の構成を示すブロック図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜図８を用いて、実施の形態１を説明する。なお、記録開始から記録停止までの区間の一連続な映像データと、その付加情報との集合をショットと呼ぶ。付加情報は、映像データを管理するための情報やメタデータを含む。

［１−１．構成］
図１は実施の形態１に係るカメラレコーダの構成を示すブロック図である。カメラレコーダ１は、カメラ部１００と、特徴抽出部１０１と、記録部１０２と、記録媒体１０３と、メタデータ入力部１１０と、メタデータ生成部１１１と、プレイリスト生成部１１２と、分類判断部１１３とを備えている。本実施形態に係る信号記録装置は、メタデータ生成部１１１、分類判断部１１３、プレイリスト生成部１１２、特徴抽出部１０１、および記録部１０２を備えている。

カメラ部１００は、被写体を撮像し、ＡＶ信号としての映像信号に変換して出力する。カメラ部１００の構成および動作は、一般的なカメラレコーダで用いられるカメラ部と同様である。また、カメラ部１００は、映像信号を撮像した条件に関する撮像情報（例えば、焦点距離情報）をメタデータＭＥＴＡとして、メタデータ生成部１１１に提供する。なお、カメラ部１００は、映像信号に加えて音声信号を出力する構成や、音声信号だけを出力する構成としてもよい。

メタデータ入力部１１０は、使用者からの入力操作を受け付け、入力されたメタデータＭＥＴＡをメタデータ生成部１１１に提供する。メタデータ入力部１１０は、例えば、キーボードから文字を入力する形態や、釦に特定の文字列（例えば、「Good」）を割り付け、その釦を押下することでその文字列を入力する形態により、メタデータＭＥＴＡを入力する。これらのメタデータＭＥＴＡの入力方法は、一般的に広く知られているので、詳細な説明は省略する。

特徴抽出部１０１は、カメラ部１００から入力されたＡＶ信号の特徴を抽出する。特徴抽出部１０１は、入力された映像信号から特徴抽出（例えば、シーンチェンジ検出や顔認識）を行い、映像信号を記録部１０２に出力するとともに、抽出結果を示す特徴情報をメタデータＭＥＴＡとしてメタデータ生成部１１１に出力する。また、音声信号が入力されたときは、その音声信号の特徴抽出を行う。特徴抽出部１０１は、映像信号に含まれた映像や音声信号に含まれた音声との比較に用いる特徴基準データを格納する特徴データベース１０１ａを備えている。特徴基準データは、例えば、顔の映像の特徴点、声質の周波数特性などである。特徴抽出部１０１は、映像信号に含まれた映像について、所定の特徴を含むか否か、例えば、所定の人物の顔を含むか否かを判断する。あるいは、音声信号に含まれた音声について、所定の特徴を含むか否か、例えば、所定の人物の声を含むか否かを判断する。これらの場合、特徴抽出部１０１から出力される特徴情報は、判断に用いられた所定の特徴と、ＡＶ信号においてこの所定の特徴を含む部分とを特定する情報となる。なお、特徴データベース１０１ａに格納された特徴基準データは、カメラレコーダ１の外部から更新可能である。

メタデータ生成部１１１は、入力されるメタデータＭＥＴＡから、ＡＶ信号とともに記録するメタデータ（以下、記録メタデータと呼ぶ）ＲＭＥＴＡを生成する。メタデータＭＥＴＡは、カメラ部１００、メタデータ入力部１１０、および特徴抽出部１０１から供給される。メタデータ生成部１１１は、記録メタデータＲＭＥＴＡをプレイリスト生成部１１２および記録部１０２に提供する。記録メタデータＲＭＥＴＡを生成する処理の詳細については後述する。

本実施形態では、メタデータの例として、次のようなものを用いるものとする。
「ShotMark」「TextMemo」「FocalLength」「StartTime」
「ShotMark」は、ショットに対してマーキングを行うためのメタデータであり、「ON」「OFF」のどちらかが設定される。例えば、重要なショットは、「ShotMark」を「ON」に設定することによって、その他のショットと区別される。
「TextMemo」は、映像データに対するメモ書きとしてのメタデータであり、任意の文字列が設定される。
「FocalLength」は、カメラ部１００における焦点距離に関するメタデータであり、例えばミリメートル単位の数値が設定される。
「StartTime」は、各ショットの映像データの記録開始時刻に関するメタデータであり、例えば、文字列や特定の時刻からのカウント値等で設定される。本実施の形態では、「StartTime」には文字列を設定するものとする。例えば、時刻１０時１２分１３秒は、文字列「10:12:13」として設定される。

プレイリスト生成部１１２は、メタデータ生成部１１１から供給される記録メタデータＲＭＥＴＡと、後述する分類判断部１１３から送られる分類情報ＣＬＳとに基づいて、ＡＶ信号に関するプレイリストＰＬＳＴを生成する。ここで、プレイリストとは、プレイアイテムから構成されるリストである。プレイアイテムは、ＡＶ信号を再生する場合の１要素であり、映像データや再生区間情報（例えば、再生開始時刻、再生区間長）を含む。例えば、再生装置は、このプレイリストに記述されたプレイアイテムを順番に再生する。プレイリストやプレイリストファイルの生成方法や運用は、一般的に広く知られているので、詳細な説明は省略する。なお、プレイリストファイルを生成する処理の詳細については後述する。

また、プレイリスト生成部１１２は、分類判断部１１３に記録メタデータＲＭＥＴＡを提供し、その応答として、分類判断部１１３から分類情報ＣＬＳを供給される。

分類判断部１１３は、メタデータ生成部１１１からプレイリスト生成部１１２を介して供給された記録メタデータＲＭＥＴＡに基づいて、分類情報ＣＬＳを決定し、この分類情報ＣＬＳをプレイリスト生成部１１２に提供する。ここで、分類情報とは、映像データまたは音声データを分類するための識別情報である。分類判断部１１３は、分類規則を格納する分類データベース１１３ａを備えている。分類データベース１１３ａは、カメラレコーダ１の外部から更新可能である。プレイリスト生成部１１２は、例えば、この分類情報に基づいて、映像データまたは音声データを追記する（関連付ける）プレイリストを決定する。この処理により、映像データまたは音声データはプレイリストを用いて分類される。

記録部１０２は、カメラ部１００から特徴抽出部１０１を介して提供される映像信号を映像データに変換し、その映像データを映像ファイルとして記録媒体１０３に記録する。記録部１０２は、適宜、映像信号に対して圧縮符号化を施して映像データとしてもよい。圧縮符号化方式としては、例えば、広く利用されているＭＰＥＧ（Moving Picture Experts Group）−２方式や、ＭＰＥＧ−４／ＡＶＣ（Advanced Video Coding）方式、あるいは業務用のデジタルＶＴＲ（Video Tape Recorder）の規格の一つであるＳＭＰＴＥ（Society of Motion Picture and Television Engineers）−３１４Ｍ（DV-Based 25M）規格が挙げられる。なお、本実施の形態では、どのような圧縮符号化方式でも適用することができる。また、例えば、記録媒体１０３に十分な記録容量が確保できる場合には、映像信号に対して圧縮符号化を施さなくてもよい。圧縮符号化した映像データや非圧縮の映像データをファイルとして記録する方法は一般的に広く知られているので、詳細な説明は省略する。

また、音声信号が提供された場合、記録部１０２は、映像信号と同様に、音声信号を音声データに変換した後、音声ファイルとして記録媒体１０３に記録する。音声信号には、圧縮符号化を施してよいし、非圧縮の音声データとしてもよい。音声データは、音声ファイルとして記録媒体２０３に記録される。これらの音声信号の記録処理については、一般的に広く知られているので、詳細な説明は省略する。

記録媒体１０３は、適宜、ファイルシステム等により管理されている。映像データや音声データをファイルとして記録する方法は一般的に広く知られているので、詳細な説明は省略する。なお、記録媒体１０３は、カメラレコーダ１に内蔵する構成でもよいし、カメラレコーダ１から着脱可能な構成としてもよい。着脱可能な構成とする場合には、カメラレコーダ１に記録媒体１０３を着脱するためのスロットを備えればよい。

また、記録部１０２は、供給された記録メタデータＲＭＥＴＡを映像データまたは音声データと関連付けて記録する。例えば、記録媒体１０３に対して、映像データまたは音声データと共に、記録メタデータＲＭＥＴＡを含む管理情報ファイルと、プレイリストＰＬＳＴを表すプレイリストファイルとを記録する。

図２は管理情報ファイルの一例である。管理情報ファイルには、記録メタデータ等のショットを管理するための情報が含まれる。管理情報ファイルは、例えば、テキスト形式のファイルとして記録され、それぞれの要素の区切りはカンマで区切られているＣＳＶ（Comma Separated Value）形式や、項目（タグ）となる文字列に「：」とその値を記載する形式とすればよい。すなわち、上述した記録メタデータＲＭＥＴＡを管理情報ファイルとして記録する際、記録部１０２は、例えば、記録メタデータＲＭＥＴＡの各要素（項目とその値）を文字列に変換してテキストファイルを生成する。

図２の例では、管理情報ファイルは、「<Shot>」「<TextMemo List>」「<FocalLength List>」のタグによって領域分割されている。これは、付与対象が異なるメタデータを便宜的に区別して容易に扱えるようにするためである。

「<Shot>」の領域は、ショットを付与対象にしたメタデータやコンテンツ管理上必要なデータが記録される。例えば、「ShotName」はショットの名称であり、任意の文字列を設定できる。「ShotMark」「StartTime」は、上述したメタデータである。これらのデータは図２のように文字列に変換してファイルとして記録される。

「<TextMemo List>」の領域は、メタデータ「TextMemo」を記録するための領域である。メタデータ「TextMemo」は付与対象が（ショットではなく）映像データ中の位置であるため、１つのショットの中に複数のデータが記録される。この領域では、ショット先頭からのオフセット、メタデータの値（すなわち、文字列）を順に記録する。図２の例で、「<TextMemo List>」の領域に２行の情報が記録されているのは、このショットには、２つのメタデータ「TextMemo」が記録されていることを表す。なお、図２の例では、オフセットをフレーム数で表している。

「<FocalLength List>」の領域は、メタデータ「FocalLength」を記録するための領域である。メタデータ「FocalLength」は付与対象が（ショットではなく）映像データ中の位置であるため、１つのショットの中に複数のデータが記録される。この領域では、ショット先頭からのオフセット、メタデータの値（すなわち、焦点距離）を順に記録する。

図３はプレイリストファイルの一例である。図３の例では、プレイリストファイルは、「<PlayList>」と「<Item List>」のタグによって領域分割されている。「<PlayList>」の領域は、プレイリストを付与対象とするメタデータが記録される。この領域には、例えば、プレイリストの名称が記録される。図３では、プレイリストの名称は「Goal」とされている。

「<Item List>」の領域は、プレイアイテムに関する情報が記録される。プレイアイテムに関する情報は例えば、各プレイアイテムが参照するショットに関する情報と再生区間情報（開始点と区間長）とを含む。また、この領域には、複数のプレイアイテムに関する情報が記録される。したがって、それぞれの要素の区切りはカンマで区切られるＣＳＶ形式によって記録する。さらに、１つのプレイアイテムは１行に記録する。

図３の「<Item List>」の領域は、各プレイアイテムの情報が、「ShotName」、「StartTime」、区間長の順に記録されている。また、図３の「<Item List>」の領域には、２行分の情報、すなわち２つのプレイアイテムに関する情報が記録されている。「ShotName」は、プレイアイテムが参照するショットの名称である。「StartTime」は、プレイアイテムの再生開始時刻である。区間長は、プレイアイテムの区間長（尺）である。区間長には例えば「SartTime」からのフレーム数が設定される。例えば１行目の情報は、プレイアイテムが、「００００」という名称を持つショットを参照し、１０時１２分１３秒から１００フレームの再生を行うことを表している。

なお、本実施の形態では、記録部１０２と、メタデータ生成部１１１と、プレイリスト生成部１１２と、分類判断部１１３とは、マイコンとそれに含まれるメモリ、および、その上で動作するプログラムで構成されるものとする。また、特徴抽出部１０１とカメラ部１００とは、例えば、ハードウエアモジュールや信号演算装置とそれらを制御するプログラムとで構成される。

［１−２．カメラレコーダ動作］
カメラレコーダ１は、記録動作、特徴抽出処理、メタデータ生成処理、分類判断処理、プレイリスト生成処理、メタデータ記録処理の各動作を行う。以下、それぞれの動作について詳細に説明する。なお、ここでの説明では、カメラ部１００は映像信号を出力するものとする。

［記録動作］
まず、カメラレコーダ１の基本的な記録動作について説明する。使用者は、操作部（図示しない）を介してカメラレコーダ１に記録開始指示及び記録停止指示を行う。例えば、使用者は、記録停止中に記録開始／終了釦を押下することで記録開始を指示する。この記録開始指示は、記録部１０２に供給され、記録部１０２は、例えば、圧縮符号化された映像データの記録を開始する。また、例えば、使用者は、記録動作中に操作部（図示しない）の記録開始／終了釦を押下することで記録停止を指示する。この記録停止指示は、記録部１０２に供給され、記録部１０２は、例えば、圧縮符号化された映像データの記録を停止する。これらのカメラレコーダ１における記録動作は、一般的に利用されるカメラレコーダと同様である。

［特徴抽出処理］
特徴抽出部１０１は例えば、映像信号から所定の人物の顔を検出して、この検出結果をメタデータＭＥＴＡとしてメタデータ生成部１１１に提供する。例えば、映像信号から検出された顔映像と、特徴データベース１０１ａに格納された特徴基準データとを比較し、適合性を検証することによって、映像に含まれた人物を特定する。特徴基準データとしては、例えば、画像の顔に関する特徴点の集合が用いられる。特徴データベース１０１ａには、特徴基準データと人物の名前とが関連付けて保存されている。なお、顔検出処理は一般的に広く知られているので、詳細な説明は省略する。

特徴抽出部１０１の検出結果は、メタデータ生成部１１１において、メタデータ「TextMemo」として処理される。メタデータ生成部１１１は、特徴抽出結果を受信したとき、メタデータ「Text Memo」として例えば、文字列「FaceDetection:950,460,Mr.U」と設定すればよい。ここで、「FaceDetection」は、この「TextMemo」が顔検出結果の情報であることを示す名称（タグ）である。以下、座標位置（水平画素位置、垂直画素位置）、検出された人物の名前と続く。すなわち、この例の場合、特徴抽出部１０１は、水平画素位置「９５０」、垂直画素位置「４６０」の位置に、「Ｍｒ．Ｕ」という名前の人物の顔を検出したことを表している。

なお、顔検出の場合、特徴抽出結果は、メタデータ生成部１１１にて適宜間引かれるとする。これは、例えば、同じ人物を撮影し続け、映像フレーム毎に顔検出処理を施した場合、映像フレーム毎に特徴抽出結果が通知されるためである。例えば、特徴抽出結果の変化点（検出される人物の変化や座標位置の変化）を検知して、変化点のみを記録メタデータＲＭＥＴＡとすればよい。

［メタデータ生成処理］
メタデータ生成部１１１は、入力される（１つまたは複数の）メタデータＭＥＴＡから記録メタデータＲＭＥＴＡを生成する。メタデータ生成部１１１は、メタデータＭＥＴＡの付与対象を決定し、その後、メタデータＭＥＴＡを選別して記録メタデータＲＭＥＴＡを決定する。

まず、メタデータ付与対象の決定処理は次のように行えばよい。一般的に、メタデータは、その項目の意味や内容により付与対象の範囲が決まる。例えば、メタデータ「ShotMark」「StartTime」は、記録区間のすべてに関する情報であるため、ショットに対して付与される。また例えば、メタデータ「TextMemo」「FocalLength」は、映像データ中のある特定の位置（例えば、映像フレームや時刻）に関する情報であるため、ショット中（映像データ中）の任意の位置に対して付与される。このため、例えば、メタデータの各項目に対して予め付与対象を定めた付与対象テーブルを作成しておき、メタデータ生成部１１１は、メタデータＭＥＴＡが入力されたとき、この付与対象テーブルを参照して、付与対象を決定すればよい。

また、記録メタデータの選別・決定処理は次のように行えばよい。メタデータ生成部１１１は例えば、入力されたメタデータＭＥＴＡを適宜間引いて記録メタデータＲＭＥＴＡとする。これは、大量のメタデータＭＥＴＡが入力された場合、その全てを記録すると記録メタデータＲＭＡＴＡが多すぎて、逆に、使用者の検索性や利便性が悪くなる可能性があるためである。

例えばメタデータ「ShotMark」は、ショットに対して付与される。ここで使用者が、メタデータ入力部１１０を介して、同一ショット内で「ON」と「OFF」との両方を入力したとする。この場合、同一ショットに対して「ON」と「OFF」との両方を付与することができない。このため、本実施の形態では、メタデータ生成部１１１は、後に入力されたデータを採用するものとする。

また例えば、メタデータ「FocalLength」は、カメラ部１００の動作に追従して動的に更新される。カメラ部１００が、メタデータ「FocalLength」をその値が更新されるたびに通知する構成であるとき、カメラ部１００がゆっくりと動作した場合には、少しずつ値が異なるメタデータ「FocalLength」がメタデータ生成部１１１に何回も通知される。この場合は例えば、メタデータ生成部１１１は、ある一定時間、メタデータ「FocalLength」が通知されなくなったことを確認してから、最新のメタデータ「FocalLength」の値を記録メタデータＲＭＥＴＡとすればよい。

［分類判断処理］
分類判断部１１３は、メタデータ生成部１１１からプレイリスト生成部１１２を介して記録メタデータＲＭＥＴＡが供給された場合に、分類判断処理を実行する。すなわち分類判断部１１３は、供給された記録メタデータＲＭＥＴＡについて、分類データベース１１３ａに格納された分類規則を参照して、分類情報ＣＬＳを取得し、メタデータ生成部１１１に提供する。

図４は分類データベース１１３ａに格納された分類規則の一例である。分類規則とは、記録メタデータから分類情報を決定するために用いられる規則のことである。

図４に示すように、分類規則はここでは、分類条件と分類情報とから構成される。分類条件は、記録メタデータに基づいて分類情報を決定するための条件であり、判断情報と判断条件とから構成される。判断情報は、分類判断の対象となる項目を表し、記録メタデータやその他の制御情報が設定される。ここで、その他の制御情報には、判断情報がない場合や判断情報が既出以外の項目であることを示す情報を含む。例えば、図４の例では、判断情報が既出以外の項目を「Else」と表している。判断条件は、判断情報の各項目に対応した条件である。

分類情報は、分類条件を満たした場合に関連付けられる識別情報であり、ここでは分類プレイリスト情報とアイテムタイプとから構成される。この識別情報は、プレイリスト生成処理のために用いられる。分類プレイリスト情報は、プレイリストの識別子であり、例えば、プレイリスト番号や名称（図４の例では、「PL#1」等）を設定すればよい。アイテムタイプは、プレイリストを生成するための種別を示す。例えば、プレイアイテムとして、ショット全体をプレイリストに追記する場合（アイテムタイプ「Type1」）や、記録メタデータの位置の前後区間をプレイリストに追記する場合（アイテムタイプ「Type2」）が挙げられる。これらのアイテムタイプは、記録メタデータの付与対象により決定される。すなわち、記録メタデータの付与対象が、ショットのときは「Type1」が、映像データ中の特定の位置のときは「Type2」が設定される。

なお、図４の分類規則における最終行（判断情報が「Else」である行）は、判断情報の記録メタデータがないため、Type1としておけばよい。また、図４中の判断情報が「Else」である行の判断条件「(none)」は、判断条件がないことを示している。

分類判断処理について、図４の分類規則を用いた場合を例にとって説明する。例えば、記録メタデータＲＭＥＴＡとしてメタデータ「ShotMark」及び値「ON」を受信した場合、分類判断部１１３は、図４の分類規則に従って、プレイリスト番号「PL#1」とアイテムタイプ「Type1」を分類情報ＣＬＳとして決定する。これは、図４の１行目の分類条件に合致したためである。もし図４の１行目の分類条件に当てはまらないときは、２行目以降の分類条件に合致するか否かを確認していく。

また、記録メタデータＲＭＥＴＡとして、文字列「TM_A」を含むメタデータ「TextMemo」を受信した場合は、図４の２行目の分類条件に合致するため、分類判断部１１３は、プレイリスト番号「PL#2」とアイテムタイプ「Type2」を分類情報ＣＬＳとして決定する。記録メタデータＲＭＥＴＡとして、メタデータ「FocalLength」及び１００を超える値を受信した場合、図４の３行目の分類条件に合致するため、分類判断部１１３は、プレイリスト番号「PL#3」とアイテムタイプ「Type2」を分類情報ＣＬＳとして決定する。記録メタデータＲＭＥＴＡとして、メタデータ「StartTime」および、１０時００分００秒以降の値を受信した場合は、図４の４行目の分類条件に合致するため、分類判断部１１３は、プレイリスト番号「PL#4」とアイテムタイプ「Type1」を分類情報ＣＬＳとして決定する。また、記録メタデータＲＭＥＴＡとして、「FaceDetection」および「Mr.U」を含むメタデータ「TextMemo」を受信した場合は、図４の５行目の分類条件に合致するため、分類判断部１１３は、プレイリスト番号「PL#6」とアイテムタイプ「Type2」を分類情報ＣＬＳとして決定する。

このように、記録メタデータＲＭＥＴＡについて、分類条件の合致の有無を順に判断して、例えば、最初に分類条件に合致した場合に、その分類条件に対応する分類情報ＣＬＳを決定すればよい。

［プレイリスト生成処理］
プレイリスト生成部１１２は、まず、供給された記録メタデータＲＭＥＴＡを分類判断部１１３に提供し、その応答として分類情報ＣＬＳを受信する。その後、プレイリスト生成部１１２は、この受信した分類情報ＣＬＳに基づいてプレイリスト生成処理を実行する。プレイリスト生成部１１２は、分類情報ＣＬＳが含むアイテムタイプに従って異なるプレイリスト生成処理を行う。ここで、アイテムタイプ「Type1」を第１のアイテムタイプ、アイテムタイプ「Type2」を第２のアイテムタイプと呼ぶ。すなわち、第１のアイテムタイプはメタデータの付与対象がショットであり、第２のアイテムタイプはメタデータの付与対象が映像データ中の特定の位置である。以下、２つのアイテムタイプに対するプレイリスト生成処理の具体例を説明する。

図５は第１のアイテムタイプ「Type1」のプレイリスト生成処理の例を示す。図５では、各ショット「Shot#1」「Shot#2」「Shot#3」にメタデータ「ShotMark」が付与されており、メタデータ「ShotMark」の値が「ON」であるショットからプレイリスト「PL#1」を生成している。これは、図４の分類規則の１行目に対応している。図５の例では、ショット「Shot#1」「Shot#3」はメタデータ「ShotMark」の値が「ON」である。したがって、プレイリスト生成処理後には、この２つのショット「Shot#1」「Shot#3」の全区間を各プレイアイテムとするプレイリスト「PL#1」が生成される。なお、図５における「Item#1」「Item#2」はプレイリスト「PL#1」に含まれるプレイアイテムを指す。ずなわち、図５の例では、「Item#1」はショット「Shot#1」の全区間に対応し、「Item#2」はショット「Shot#3」の全区間に対応する。このように、第１のアイテムタイプの場合には、プレイリスト生成部１１２は、分類条件を満たすメタデータが付与されたショットの全区間から所定区間を、プレイアイテムとして該当プレイリストに追記すればよい。

図６は第２のアイテムタイプ「Type2」のプレイリスト生成処理の例を示す。図６では、各ショット「Shot#1」「Shot#2」「Shot#3」にメタデータ「TextMemo」が付与されており、「TextMemo」が文字列「TM_A」を含むショットからプレイリスト「PL#2」を生成している。これは、図４の分類規則の２行目に対応している。図６の例では、ショット「Shot#1」「Shot#2」は文字列「TM_A」を含むメタデータ「TextMemo」が付与されている。一方、ショット「Shot#3」は文字列「TM_A」を含まないメタデータ「TextMemo」が付与されている。したがって、プレイリスト生成処理後には、ショット「Shot#1」「Shot#2」におけるメタデータ「TextMemo」が付与された位置の前後を含めた区間を各プレイアイテムとするプレイリスト「PL#2」が生成される。例えば、メタデータ「TextMemo」が付与された位置の２秒前から後ろ２秒までの映像データ区間をプレイアイテムとすればよい。

なお、図６における「Item#1」「Item#2」は、プレイリスト「PL#2」に含まれるプレイアイテムを指す。すなわち、図６の例では、「Item#1」は、ショット「Shot#1」において値が「TM_A」であるメタデータ「TextMemo」が付与された位置の前後２秒の区間に対応し、「Item#2」は、ショット「Shot#2」において値が「TM_A」であるメタデータ「TextMemo」が付与された位置の前後２秒の区間に対応する。なお、ここでの説明では、メタデータが付与された位置の前後２秒をプレイアイテムとする例を説明したが、前後２秒以外でもよいし、撮影の用途や目的によってプレイアイテムの範囲を変更する構成にしてもよい。

このように、第２のアイテムタイプの場合には、プレイリスト生成部１１２は、ショットの一部区間（該当メタデータが付与される前後区間）をプレイアイテムとして該当プレイリストに追記すればよい。

なお、プレイリスト生成処理は、第１のアイテムタイプと第２のアイテムタイプとが混在した場合にも、これらの処理の組み合わせで実現可能である。また、プレイリストをプレイリストファイルとして記録する処理は、一般的に広く知られているので、詳細な説明は省略する。

このような分類判断処理及びプレイリスト生成処理によって、例えば、撮影状態が良いショットに対して「ShotMark」の値を「ON」とすることによって、良いショットのプレイリストを作成することができる。また、例えば、スポーツのゴール時に「TextMemo」として「Goal」を入力し、「Goal」の前後区間を１つのプレイリストに設定する分類規則を作成しておけば、撮影時に自動的にゴールシーン集（すなわち、値が「Goal」である記録メタデータ「TextMemo」に関連付けられたプレイリスト）を生成することができる。

また本実施の形態では、記録メタデータとプレイリストとを関連付けることによって、プレイリストによる分類処理と使用者への提示を容易にしている。

例えば、スポーツのゴールシーンに対して、値を「Goal」とする記録メタデータ「TextMemo」を付与する場合、この記録メタデータに関連付けられる区間の映像データを集めるとゴールシーン集が完成する。この場合、カメラレコーダ１は、上で説明した処理により、メタデータ「TextMemo」の値「Goal」の入力に基づいて自動的にプレイリストを用いた分類を実施することができる。ここで、この記録メタデータの値（「Goal」）とプレイリストとの関連付けができれば、使用者は、プレイリスト再生に対応した再生装置を用いて、「Goal」に関連付けられたプレイリストを選択し、容易にゴールシーン集を再生することができる。

この記録メタデータとプレイリストとの関連付けは、例えば、メタデータ項目の名称をプレイリストに記録することによって行うことができる。例えば図３のように、領域「<PlayList>」にメタデータ項目の名称（例えば、「Goal」）を記録すればよい。さらに、これらの名称を使用者に提示するためには、領域「<PlayList>」のメタデータ項目の名称を、例えば表示用モニタ（図示しない）に表示すればよい。この表示は、使用者が分類状態や分類された結果を認識する上で重要である。なお、他の関連付け方法としては、プレイリストファイル名にメタデータ項目の名称を用いる方法等が挙げられる。

［メタデータ記録処理］
記録部１０２は、供給された記録メタデータＲＭＥＴＡを映像データと関連付けて記録する。記録部１０２は例えば、記録媒体１０３に対して、映像データと共に、図２に示すような記録メタデータＲＭＥＴＡを含む管理情報ファイルと、図３に示すようなプレイリストＰＬＳＴを表すプレイリストファイルとを記録する。

また、管理情報ファイルと映像ファイルとは同じファイル名を設定することによって関連付けを行う。記録部１０２は、例えば、映像ファイル名を「００００．ｍｘｆ」とする場合、管理情報ファイル名を「００００．ｔｘｔ」とすればよい。これにより、拡張子を除いた名称「００００」を用いて関連付けできる。なお、管理情報ファイルに映像ファイルのファイル名を記録する方法で関連付けを行ってもよい。

またここでは、プレイリストを用いて映像データを分類する例を説明した。ただし、プレイリスト以外の形態を用いて、映像データの分類状態を示す情報を保持することも可能である。ただし、このプレイリストを記録媒体１０３に記録することによって、例えば、異なる使用者間において記録媒体１０３を受け渡すことにより、プレイリストに含まれる同じ映像データを再生することができ、再分類する手間が省ける、といった利点がある。

［１−３．効果等］
以上のように本実施形態に係る信号記録装置では、メタデータ生成部１１１は、ＡＶ信号と共に記録されるメタデータである記録メタデータＲＭＥＴＡを生成する。分類判断部１１３は、記録メタデータＲＭＥＴＡを受けて、分類規則が格納された分類データベース１１３ａを参照して、ＡＶ信号のうち当該記録メタデータＲＭＥＴＡに係る部分がどのプレイリストに分類されるかを判断し、この判断結果を示す分類情報ＣＬＳを出力する。プレイリスト生成部１１２は、分類情報ＣＬＳに従って、ＡＶ信号に関するプレイリストＰＬＳＴを生成する。記録部１０２は、ＡＶ信号、記録メタデータＲＭＥＴＡ、およびプレイリストＰＬＳＴを記録媒体１０３に記録する。

さらに、カメラ部１００は、被写体を撮像して、映像信号と、この映像信号を撮像した条件に関する撮像情報とを信号記録装置に供給する。メタデータ生成部１１１は、メタデータＭＥＴＡとして受けた撮像情報を用いて、記録メタデータＲＭＥＴＡを生成する。

これにより、記録部１０２は、ＡＶ信号を、記録メタデータＲＭＥＴＡに従ってプレイリストＰＬＳＴに分類して、記録することができる。

なお、カメラ部１００が音声信号を出力する場合も、上で説明したものと同様の処理を行うことができる。

この場合、特徴抽出部１０１は例えば、音声信号の音量の変化（音声入力開始、音声入力終了）等の音声特徴を抽出し、抽出結果を示す特徴情報をメタデータＭＥＴＡとしてメタデータ生成部１１１に提供する。ここで、音声入力開始とは、音声信号の音量レベルが低い状態から高い状態に変化することを指す。音声入力開始は、一定期間毎の音量が低レベルから高レベルに変化したことを検知することで抽出できる。また、音声入力終了とは、音声入力開始とは逆に音声信号の音量レベルが高い状態から低い状態に変化することを指す。音声入力終了は、一定期間毎の音量が高レベルから低レベルに変化したことを検知することで抽出できる。これらの音声信号の特徴抽出処理については、一般的に広く知られているので、詳細な説明は省略する。

特徴抽出部１０１から出力された特徴情報は、メタデータ生成部１１１を介して、記録メタデータＲＭＥＴＡとしてプレイリスト生成部１１２に提供される。プレイリスト生成部１１２は、分類判断部１１３を用いて、音声信号に関するプレイリストを生成する。分類判断部１１３は、記録メタデータＲＭＥＴＡと分類データベース１１３ａに格納された分類規則とに基づいて、分類情報ＣＬＳを決定する。

図７は音声特徴を用いる場合の分類規則の一例である。図７において、「AudioTrigger」は音量レベルに変化があったことを示すメタデータである。メタデータ「AudioTrigger」はその値として例えば、音声入力開始を示す「AudioIn」と音声入力終了を示す「AudioOut」とを設定可能とする。分類判断部１１３は、記録メタデータが「AudioTrigger」であってその値が「AudioIn」であるとき、図７の分類規則の１行目に従って、記録メタデータが付与された位置の前後区間の音声データをプレイアイテムとして、プレイリスト「PL#21」に追記する。これらのプレイリスト生成処理は上の説明と同様である。

また、本実施形態における分類規則は、上で示したものに限られるものではなく、用途等に応じて様々なものが考えられる。図８は分類規則の他の例である。図８（ａ）は、サッカーの試合のハイライトシーンを集めることを意図した分類規則である。メタデータ「TextMemo」が文字列「ゴール」「反則」「キック」を含むときは、このメタデータが付与された位置の前後区間をプレイリスト「PL#S1」に集める。また、キックオフの時刻が１３時であるため、メタデータ「StartTime」が１２時５５分〜１３時５分の範囲にあるショットをプレイリスト「PL#S2」に集める。図８（ｂ）は、政治報道において首相の動向を示す映像を集めることを意図した分類規則である。メタデータ「TextMemo」が「FaceDetection」または「VoiceDetection」および「Ｆ首相」を含むときは、このメタデータが付与された位置の前後区間をプレイリスト「PL#N1」に集める。なお、「VoiceDetection」は、この「TextMemo」が声検出結果の情報であることを示す名称（タグ）である。また、メタデータ「FocalLength」の値が「１５０」を超えているときは、映像がクローズアップになっていると考えられるので、このメタデータが付与された位置の前後区間をプレイリスト「PL#N1」に集める。

（実施の形態２）
以下、図９を用いて、実施の形態２を説明する。

［２−１．構成］
図９は実施の形態２に係る信号処理装置の構成を示すブロック図である。図９の信号処理装置２は、図１のカメラデコーダ１と同様に、特徴抽出部１０１と、記録部１０２と、記録媒体１０３と、メタデータ入力部１１０と、メタデータ生成部１１１と、プレイリスト生成部１１２と、分類判断部１１３とを備えている。信号処理装置２はさらに、入力部２００と、再生部２２０とを備えている。

入力部２００は、信号処理装置２の外部からＡＶ信号を入力し、特徴抽出部１０１に提供する。入力部２００は例えば、業務用として一般的に利用されるＳＭＰＴＥ（Society of Motion Picture and Television Engineers）−２９２Ｍにて規格化されているＨＤ−ＳＤＩ（High Definition Serial Digital Interface）を用いてＡＶ信号を入力する構成とすればよい。

再生部２２０は、記録媒体１０３のＡＶデータを再生する。再生部２２０は例えば、記録媒体１０３にＡＶファイルとして記録されたＡＶデータを読み出し、復号化を行い、ＡＶ信号として出力する。信号処理装置２は、再生部２２０から出力されたＡＶ信号が、入力部２００に入力可能な構成である。

［２−２．処理］
信号処理装置２は、実施の形態１のカメラレコーダ１と同様に、使用者の記録開始及び記録停止指示により、入力されたＡＶ信号を記録媒体１０３に記録する。入力部２００は、入力されたＡＶ信号を特徴抽出部１０１に提供する。以降の処理は、実施の形態１と同様に行えばよい。これらの処理により、信号処理装置２は、入力されたＡＶ信号に対してプレイリストを用いた分類を行うことができる。

再生部２２０は、使用者の再生開始及び再生停止指示に基づいて、記録媒体１０３に記録されたＡＶデータの読み出しや復号化処理を開始及び停止する。これらの信号の再生処理については、一般的に広く知られているので、詳細な説明は省略する。再生部２２０は、再生されたＡＶ信号を入力部２００に提供する。この構成により、記録媒体１０３にプレイリストを記録することができる。したがって、信号処理装置２は、記録媒体１０３に記録されたＡＶデータの集合に対して、プレイリストを用いた分類を実施することができる。

［２−３．効果等］
以上のように本実施形態に係る信号記録装置では、メタデータ生成部１１１は、ＡＶ信号と共に記録されるメタデータである記録メタデータＲＭＥＴＡを生成する。分類判断部１１３は、記録メタデータＲＭＥＴＡを受けて、分類規則が格納された分類データベース１１３ａを参照して、ＡＶ信号のうち当該記録メタデータＲＭＥＴＡに係る部分がどのプレイリストに分類されるかを判断し、この判断結果を示す分類情報ＣＬＳを出力する。プレイリスト生成部１１２は、分類情報ＣＬＳに従って、ＡＶ信号に関するプレイリストＰＬＳＴを生成する。記録部１０２は、ＡＶ信号、記録メタデータＲＭＥＴＡ、およびプレイリストＰＬＳＴを記録媒体１０３に記録する。

さらに、再生部２２０は、記録媒体１０３から、ＡＶ信号を再生する。入力部２００は、再生部２２０によって再生されたＡＶ信号を、信号記録装置に供給する。

これにより、信号処理装置２は、記録媒体１０３に記録されている素材（映像データ及び音声データ）を、記録メタデータＲＭＥＴＡに従ってプレイリストＰＬＳＴに分類して記録することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１では、管理情報ファイルの一例として、ＣＳＶ形式やタグを用いたテキストファイルの例を用いて説明した。ファイル形式は、映像データ及び音声データと関連付けてメタデータを記録できればよい。したがって、タグ形式やＣＳＶ形式の管理情報ファイルに限定されない。例えば、マークアップ言語の１つであるＸＭＬ（eXtensible Markup Language）形式を利用して記録してもよい。

実施の形態２では、信号処理装置２の構成として、記録媒体１０３からＡＶ信号を再生する例を説明した。記録媒体１０３は、記録用記録媒体と再生するＡＶデータを格納した再生用記録媒体とに分けてもよい。この場合、記録部１０２は記録用記録媒体に記録を行い、再生部２２０は再生用記録媒体からＡＶ信号の再生を行えばよい。したがって、再生部２２０の接続先は記録媒体１０３に限定されない。ただし、共通の記録媒体にアクセスする方が、使用者の記録媒体の取り扱いが容易になる。

また、上述した実施の形態２では、入力部２００は、映像及び音声信号を入力するとして説明したが、映像信号だけを入力する構成としてもいいし、音声信号だけを入力する構成としてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、ＡＶ信号を記録する信号記録装置において、操作負担を軽減しつつ、映像・音声素材を自動的に分類するのに有効である。具体的には、カメラレコーダ、ムービー、カメラ機能付き携帯電話機、スマートフォン、映像音声信号記録再生装置などに、本開示は適用可能である。

１ カメラレコーダ
１００ カメラ部
１０１ 特徴抽出部
１０１ａ 特徴データベース
１０２ 記録部
１１１ メタデータ生成部
１１２ プレイリスト生成部
１１３ 分類判断部
１１３ａ 分類データベース
２００ 入力部
２２０ 再生部

Claims (9)

1. 映像及び音声のうち少なくともいずれか１つを含むＡＶ信号を記録する信号記録装置であって、
   前記ＡＶ信号と共に記録されるメタデータである記録メタデータを生成するメタデータ生成部と、
   前記記録メタデータを受けて、分類規則が格納された分類データベースを参照して、前記ＡＶ信号のうち当該記録メタデータに係る部分がどのプレイリストに分類されるかを判断し、この判断結果を示す分類情報を出力する分類判断部と、
   前記分類情報に従って、前記ＡＶ信号に関するプレイリストを生成するプレイリスト生成部と、
   前記ＡＶ信号、前記記録メタデータ、および前記プレイリストを、記録媒体に記録する記録部とを備え、
   外部から、前記分類データベースに格納された分類規則が更新可能なように、構成されている
   ことを特徴とする信号記録装置。
2. 請求項１記載の信号記録装置において、
   前記ＡＶ信号に含まれた映像または音声について所定の特徴を含むか否かを判断し、含むとき、当該所定の特徴と、前記ＡＶ信号において当該所定の特徴を含む部分とを特定する特徴情報を、前記メタデータ生成部に出力する特徴抽出部を備え、
   前記メタデータ生成部は、前記特徴情報を用いて、前記記録メタデータを生成する
   ことを特徴とする信号記録装置。
3. 請求項２記載の信号記録装置において、
   前記特徴抽出部は、前記ＡＶ信号に含まれた映像が所定の人物の顔を含むか否か、または、前記ＡＶ信号に含まれた音声が所定の人物の声を含むか否か、を判断する
   ことを特徴とする信号記録装置。
4. 請求項２記載の信号記録装置において、
   前記特徴抽出部は、前記判断のために、前記ＡＶ信号に含まれた映像または音声との比較に用いる特徴基準データを格納する特徴データベースを備えており、
   外部から、前記特徴データベースに格納された特徴基準データが更新可能なように、構成されている
   ことを特徴とする信号記録装置。
5. 請求項１記載の信号記録装置において、
   前記プレイリスト生成部は、前記記録メタデータが付与されたショットの全区間から所定区間をプレイアイテムとして、プレイリストを生成する
   ことを特徴とする信号記録装置。
6. 請求項１記載の信号記録装置において、
   前記プレイリスト生成部は、前記記録メタデータが付与された位置の前後区間をプレイアイテムとして、プレイリストを生成する
   ことを特徴とする信号記録装置。
7. 請求項１記載の信号記録装置と、
   被写体を撮像して、前記信号記録装置に、映像信号と、前記映像信号を撮像した条件に関する撮像情報とを供給するカメラ部とを備え、
   前記信号記録装置における前記メタデータ生成部は、前記撮像情報を用いて、前記記録メタデータを生成する
   ことを特徴とするカメラレコーダ。
8. 請求項１記載の信号記録装置と、
   前記記録媒体から、ＡＶ信号を再生する再生部と、
   前記再生部によって再生されたＡＶ信号を、前記信号記録装置に供給する入力部とを備えた
   ことを特徴とする信号処理装置。
9. 映像及び音声のうち少なくともいずれか１つを含むＡＶ信号を記録する信号記録装置であって、
   前記ＡＶ信号と共に記録されるメタデータである記録メタデータを生成するメタデータ生成部と、
   前記記録メタデータを受けて、分類規則が格納された分類データベースを参照して、前記ＡＶ信号のうち当該記録メタデータに係る部分がどのプレイリストに分類されるかを判断し、この判断結果を示す分類情報を出力する分類判断部と、
   前記分類情報に従って、前記ＡＶ信号に関するプレイリストを生成するプレイリスト生成部と、
   前記ＡＶ信号、前記記録メタデータ、および前記プレイリストを、記録媒体に記録する記録部とを備え、
   前記分類規則は、複数の分類情報に夫々対応付けられた複数の分類条件を含み、前記複数の分類情報の各々は互いに異なる分類プレイリスト情報を含み、
   前記分類判断部は、前記記録メタデータが前記複数の分類条件の中の１つの分類条件を満足する場合、当該１つの分類条件に対応する分類情報を出力する
   ことを特徴とする信号記録装置。

Images