JP4849339B2 - 情報処理装置および方法 - Google Patents

Description

本発明は、情報処理装置および方法に関し、特に、安価な構成で迅速に、所望のデータを抽出することができるようにする情報処理装置および方法に関する。

例えば、放送されたデータなど、時系列データからのメタデータの抽出処理においては、入力されたデータから検出される所定の特徴量などの、時間軸上での変化を検出することが重要となる。

すなわち、メタデータを抽出するための検出器が、時間軸上で過去のデータを参照して、現在入力されているデータから検出される所定の特徴量などと比較する必要がある。

図１は、従来のメタデータ抽出装置の構成例を示す図である。

同図において、メタデータ抽出装置１０には、例えば、動画像のデータなどの時間的に連続したデータが入力データとして入力される。

検出器１１は、入力データから所定の特徴量などを検出して出力データとして出力するが、検出器１１が出力するデータは、遅延素子１２に蓄積されるようになされている。そして、検出器１１は、現在入力されている入力データから得られる所定の特徴量と、遅延素子１２に蓄積されている特徴量を比較するなどして所定の条件を満たす動画像の区間などを検出することでメタデータが抽出されるようになされている。

また、表示素子に、画像の全体的な流れを示す複数のスリット状の画像からなる静止画像が表示されると共に、その静止画像を構成する各スリット状の画像にそれぞれ対応させて当該各スリット状の画像に対応する音声データの概要、例えばレベル、種類等が視覚的に表示され、画像および音声の全体的な流れを精度よく認識可能となり、編集作業等を一層効率よく行うことができるようにする技術も提案されている。

特許第３１５８２９１号公報

しかしながら、過去のデータを参照して、現在入力されているデータから検出される所定の特徴量などと比較する構成の場合、入力データが、常に時刻が単調に増加する順序で投入されなければならず、処理の並列化は非常に困難となる。

本発明はこのような状況に鑑みてなされたものであり、安価な構成で迅速に、所望のデータを抽出することができるようにするものである。

本発明の一側面は、所定の時間連続して供給される情報から、前記連続した時間の中で予め設定された条件を満たす情報が供給された時刻に関する付随情報を検出する情報処理装置であって、時間的に連続して供給された前記情報を、所定の時間間隔で複数の時間的に連続する情報に分割する分割手段と、前記分割された複数の時間的に連続する情報の、それぞれの特徴量を時間的に連続して検出する特徴量検出手段と、前記特徴量検出手段により検出された、複数の時間的に連続する前記特徴量を、予め設定された時間だけ蓄積し、蓄積された前記特徴量と、前記特徴量検出手段により新たに検出された前記特徴量に基づいて、複数の時間的に連続する特徴量変化情報を検出する変化情報検出手段と、前記変化情報検出手段により検出された、前記複数の時間的に連続する前記特徴量変化情報を、任意の時間だけ蓄積し、蓄積された前記特徴量変化情報を解析して、前記供給された情報と同じく時間的に連続する前記付随情報を検出する付随情報検出手段とを備え、前記分割手段は、時間的に連続して供給された前記情報を分割するとき、分割された複数の情報において第Ｎ番目の情報と、第Ｎ＋１番目の情報のそれぞれの一部が、前記変化情報検出手段が前記特徴量を蓄積する時間に対応する時間分だけ、重複するように前記情報を分割し、前記特徴量検出手段は、前記分割手段により分割された複数の時間的に連続する情報を、より短い時間間隔でさらに分割して、それぞれの情報の特徴量を時間的に連続して検出する情報処理装置である。

前記時間的に連続する情報は、動画または音声の情報であり、前記動画または音声のメタデータとして前記付随情報を検出するようにすることができる。

本発明の一側面は、所定の時間連続して供給される情報から、前記連続した時間の中で予め設定された条件を満たす情報が供給された時刻に関する付随情報を検出する情報処理装置の情報処理方法であって、時間的に連続して供給された前記情報を、所定の時間間隔で複数の時間的に連続する情報に分割し、前記分割された複数の時間的に連続する情報の、それぞれの特徴量を時間的に連続して検出し、前記特徴量検出手段により検出された、複数の時間的に連続する前記特徴量を、予め設定された時間だけ蓄積し、蓄積された前記特徴量と、前記特徴量検出手段により新たに検出された前記特徴量に基づいて、複数の時間的に連続する特徴量変化情報を検出し、前記検出された、前記複数の時間的に連続する前記特徴量変化情報を、任意の時間だけ蓄積し、蓄積された前記特徴量変化情報を解析して、前記供給された情報と同じく時間的に連続する前記付随情報を検出するステップを含み、時間的に連続して供給された前記情報を分割するとき、分割された複数の情報において第Ｎ番目の情報と、第Ｎ＋１番目の情報のそれぞれの一部が、前記特徴量を蓄積する時間に対応する時間分だけ、重複するように前記情報が分割され、前記分割された複数の時間的に連続する情報を、より短い時間間隔でさらに分割して、それぞれの情報の特徴量が時間的に連続して検出される情報処理方法である。

本発明の一側面においては、時間的に連続して供給された前記情報が、所定の時間間隔で複数の時間的に連続する情報に分割され、前記分割された複数の時間的に連続する情報の、それぞれの特徴量が時間的に連続して検出され、前記検出された、複数の時間的に連続する前記特徴量が、予め設定された時間だけそれぞれ蓄積され、蓄積された前記特徴量と、新たに検出された前記特徴量に基づいて、複数の時間的に連続する特徴量変化情報がそれぞれ検出され、前記検出された、前記複数の時間的に連続する前記特徴量変化情報を、任意の時間だけ蓄積し、蓄積された前記特徴量変化情報を解析して、前記供給された情報と同じく時間的に連続する前記付随情報が検出される。また、時間的に連続して供給された前記情報を分割するとき、分割された複数の情報において第Ｎ番目の情報と、第Ｎ＋１番目の情報のそれぞれの一部が、前記特徴量を蓄積する時間に対応する時間分だけ、重複するように前記情報が分割され、前記分割された複数の時間的に連続する情報を、より短い時間間隔でさらに分割して、それぞれの情報の特徴量が時間的に連続して検出される。

本発明によれば、安価な構成で迅速に、所望のデータを抽出することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の情報処理装置は、所定の時間連続して供給される情報から、前記連続した時間の中で予め設定された条件を満たす情報が供給された時刻に関する付随情報（例えば、メタデータ）を検出する情報処理装置であって、時間的に連続して供給された前記情報を、所定の時間間隔で複数の時間的に連続する情報に分割する分割手段（例えば、図５のデマルチプレクサ）と、前記分割された複数の時間的に連続する情報の、それぞれの特徴量を時間的に連続して検出する特徴量検出手段（例えば、図２のベースレベル検出部６０）と、前記特徴量検出手段により検出された、複数の時間的に連続する前記特徴量を、予め設定された時間だけ蓄積し、蓄積された前記特徴量と、前記特徴量検出手段により新たに検出された前記特徴量に基づいて、複数の時間的に連続する特徴量変化情報（例えば、中間データ）を検出する変化情報検出手段（例えば、図２のローレベル検出部７０）と、前記変化情報検出手段により検出された、前記複数の時間的に連続する前記特徴量変化情報を、任意の時間だけ蓄積し、蓄積された前記特徴量変化情報を解析して、前記供給された情報と同じく時間的に連続する前記付随情報を検出する付随情報検出手段とを備え、前記分割手段は、時間的に連続して供給された前記情報を分割するとき、分割された複数の情報において第Ｎ番目の情報と、第Ｎ＋１番目の情報のそれぞれの一部が、前記変化情報検出手段が前記特徴量を蓄積する時間に対応する時間分だけ、重複するように前記情報を分割し、前記特徴量検出手段は、前記分割手段により分割された複数の時間的に連続する情報を、より短い時間間隔でさらに分割して、それぞれの情報の特徴量を時間的に連続して検出する。

本発明の第１の側面の情報処理方法は、所定の時間連続して供給される情報から、前記連続した時間の中で予め設定された条件を満たす情報が供給された時刻に関する付随情報（例えば、メタデータ）を検出する情報処理装置の情報処理方法であって、時間的に連続して供給された前記情報を、所定の時間間隔で複数の時間的に連続する情報に分割し（例えば、図８のステップＳ１０の処理）、前記分割された複数の時間的に連続する情報の、それぞれの特徴量を時間的に連続して検出し（例えば、図８のステップＳ１１の処理）、前記特徴量検出手段により検出された、複数の時間的に連続する前記特徴量を、予め設定された時間だけ蓄積し、蓄積された前記特徴量と、前記特徴量検出手段により新たに検出された前記特徴量に基づいて、複数の時間的に連続する特徴量変化情報（例えば、中間データ）を検出し（例えば、図８のステップＳ１２の処理）、前記検出された、前記複数の時間的に連続する前記特徴量変化情報を、任意の時間だけ蓄積し、蓄積された前記特徴量変化情報を解析して、前記供給された情報と同じく時間的に連続する前記付随情報を検出するステップを含み、時間的に連続して供給された前記情報を分割するとき、分割された複数の情報において第Ｎ番目の情報と、第Ｎ＋１番目の情報のそれぞれの一部が、前記特徴量を蓄積する時間に対応する時間分だけ、重複するように前記情報が分割され、前記分割された複数の時間的に連続する情報を、より短い時間間隔でさらに分割して、それぞれの情報の特徴量が時間的に連続して検出される。

以下、図面を参照して、本発明の実施の形態について説明する。

図２は、本発明の一実施の形態に係るメタデータ抽出装置の構成例を示すブロック図である。このメタデータ抽出装置４０は、入力データとして入力される時間的に連続するデータから、そのデータのメタデータを抽出し、入力データにメタデータが付加されたデータを、出力データとして出力するようになされている。

ここで、入力データは、例えば、動画像、音声などのデータであって、時間的に連続するデータとされ、メタデータは、動画像、音声などのデータの中で予め定められた条件を満たす区間を特定するための情報とされる。入力データは、例えば、動画像と音声により構成されるコンテンツのデータとされ、メタデータは、例えば、そのコンテンツの中のハイライトシーン、CMなどの区間を特定するための情報とされる。メタデータ抽出装置４０は、例えば、HDD（Hard Disk Drive）レコーダなどとして構成され、必要に応じてHDDなどに記録されたコンテンツのメタデータを抽出してユーザに提示するようになされている。

図２のメタデータ抽出装置４０は、ベースレベル検出部６０、ローレベル検出部７０、およびハイレベル検出部８０により構成されている。

ベースレベル検出部６０は、入力データそのものから、特徴量を検出するようになされている。ベースレベル検出部６０は、例えば、１フレーム分の画像および音声のデータの入力を受け付けて、１フレーム分の画像の輝度のヒストグラムを表す情報、1フレーム分の画像のコントラストを表す情報、または音声のレベルを表す情報などの特徴量を検出するようになされており、検出された特徴量と、入力データのフレーム位置（時刻）を対応付けたデータを、ベースレベル出力データとしてローレベル検出部７０に出力するようになされている。

ベースレベル検出部６０は、遅延素子などのバッファを持たない構成とされ、例えば、第１番目のフレームの画像および音声のデータが入力されたとき、第１番目のフレームの画像および音声のデータの特徴量を検出してベースレベル出力データを出力し、第２番目のフレームの画像および音声のデータが入力されたとき、第２番目のフレームの画像および音声のデータの特徴量を検出してベースレベル出力データを出力するようになされている。

ローレベル検出部７０は、ベースレベル検出部６０から出力されたベースレベル出力データに基づいて、例えば、コンテンツの中でシーンチェンジが発生したか、所定の時間以上、音声のレベルが予め設定された閾値を越える（または無音）区間があったかなどの情報を中間データとして検出し、検出された中間データと、入力データの区間とを対応付けたデータを、ローレベル出力データとしてハイレベル検出部８０に出力するようになされている。

ローレベル検出部７０は、例えば５秒分の連続する入力データに対応するベースレベル出力データを蓄積可能な遅延素子などのバッファを有する構成とされ、例えば、バッファに蓄積されたベースレベル出力データと、現在入力されているベースレベル出力データとを比較することで、中間データを検出してローレベル出力データを出力するようになされている。

ハイレベルデータ検出部８０は、ローレベル検出部７０から出力されたローレベル出力データに基づいて、例えば、コンテンツの中のハイライトシーン、CMなどの区間を特定するための情報をメタデータとして検出し、検出されたメタデータと、入力データの区間とを対応付けたデータを、ハイレベル出力データとして出力するようになされている。すなわち、ハイレベル出力データが、メタデータ抽出装置４０の出力データとなる。

ハイレベル検出部８０は、例えば、数十分の連続する入力データに対応するローレベル出力データを蓄積可能な遅延素子などのバッファを有する構成とされ、例えば、バッファに蓄積されたローレベル出力データのうちの所定の区間と他の区間とを比較することで、またはバッファに蓄積されたローレベル出力データと、現在入力されているローレベル出力データとを比較することで、メタデータを検出してハイレベル出力データを出力するようになされている。

ハイレベル検出部８０のバッファは、ローレベル検出部７０のバッファに蓄積されるデータ（ベースレベル出力データ）に対応する入力データの時間と比較して、充分に長い時間の入力データに対応するデータ（ローレベル出力データ）を蓄積可能な構成とされている。

ベースレベル検出部６０がバッファを持たない構成であるのに対して、ローレベル検出部７０は、有限の遅延区間のバッファを有する構成とされ、ハイレベル検出部８０は、いわば無限の遅延区間のバッファを有する構成とされている。勿論、ハイレベル検出部８０のバッファも実際には有限の容量であるが、ローレベル検出部７０のバッファと比較して充分な時間的長さのデータを蓄積可能なので、いわば無限の遅延区間のバッファと考えることができる。

図３は、ベースレベル検出部６０を構成するベースレベル検出器の構成例を示すブロック図である。

同図に示されるベースレベル検出器６１は、例えば、入力された１フレーム分の画像および音声のデータから、その１フレーム分の画像の輝度のヒストグラムを表す情報、1フレーム分の画像のコントラストを表す情報、または音声のレベルを表す情報などの特徴量を検出する検出器が並列に接続された構成とされており、同図においては、検出器１０２−１乃至検出器１０２−NのＮ個の検出器が並列に接続されている。

入力データは、スイッチ１２１により、FIFO１０１−１乃至FIFO１０１−Nに順番に供給されるようになされている。例えば、入力データであるコンテンツの第１番目のフレームのデータが、FIFO１０１−１に入力され、第２番目のフレームのデータが、FIFO１０１−２に入力され、第３番目のフレームのデータが、FIFO１０１−３に入力され、・・・第N番目のフレームのデータが、FIFO１０１−Nに入力されるようになされており、第N＋１番目の第１番目のフレームのデータは、再びFIFO１０１−１に入力されるようになされている。

検出器１０２−１乃至検出器１０２−Nは、それぞれFIFO１０１−１乃至FIFO１０１−Nから、例えば、１フレーム分の画像および音声のデータを読み出して、その１フレーム分の画像の輝度のヒストグラムを表す情報、1フレーム分の画像のコントラストを表す情報、または音声のレベルを表す情報などの特徴量を検出して、検出された特徴量と、入力データのフレーム位置を対応付けたデータを、それぞれFIFO１０３−１乃至FIFO１０３−Nに出力するようになされている。

そして、スイッチ１２２がFIFO１０３−１乃至FIFO１０３−Nから順番にデータを読み出してベースレベル出力データを出力する。すなわち、ベースレベル出力データは、例えば、時間的に連続したＮフレーム分の入力データに対応するデータとして出力される。

このようなベースレベル検出器６１が複数個並列に接続されてベースレベル検出部６０が構成されている。

図４は、ローレベル検出部７０を構成するローレベル検出器７１の構成例を示すブロック図である。同図に示されるように、ローレベル検出器７１は、FIR(Finite Impulse Response )フィルタ型の構成とされる。

同図において、ローレベル検出器７１は、図中「D」と四角形の枠で示される遅延素子が複数個直列に接続された有限遅延バッファ２０２を有する構成とされる。有限遅延バッファ２０２は、図中左側から、図中右側に向かって、入力されたデータが順番に出力される構成とされており、有限遅延バッファ２０２の図中右側の遅延素子は、時間的に前のデータが蓄積され、図中左側の遅延素子は、時間的に後のデータが蓄積される。

検出器２０１は、例えば、有限遅延バッファ２０２の中の、図中右側に位置する連続した所定の個数の遅延素子に蓄積された、例えば数秒間分（例えば、数十フレーム分）のコンテンツの画像および音声のデータ（入力データ）に対応する時間的に前のベースレベル出力データと、有限遅延バッファ２０２の中の、図中左側に位置する連続した所定の個数の遅延素子に蓄積された、その数倍の時間的長さ（例えば、数百フレーム分）のコンテンツの画像および音声のデータに対応する時間的に後のベースレベル出力データとを比較して、その比較結果に基づいて、例えば、コンテンツの中で最初の数秒間の区間と次の数秒間の区間との間でシーンチェンジが発生したか、音声のレベルが予め設定された閾値を越えて増大した（または減少した）区間があったかなどの情報を中間データとして検出するようになされている。

そして、検出器２０１により検出された中間データと、入力データの区間とを対応付けたデータが、ローレベル出力データとして出力される。すなわち、ローレベル出力データは、時間的に連続する入力データにおいて、例えば、所定の時間間隔で順番に抽出された複数の区間のそれぞれにおいて、シーンチェンジが発生したか否か、音声のレベルが予め設定された閾値を越えて増大したか否か、または減少したか否かなどを表すデータであって、やはり入力データと同じく時間的に連続したデータとなる。

このようなローレベル検出器７１が複数個並列に接続されてローレベル検出部７０が構成されている。

ここで、具体的にどのように、ローレベル検出器７１が並列に接続されるかについて説明する。図５は、ローレベル検出部７０の構成を説明するためのブロック図である。同図の例では、ローレベル検出部７０において、ローレベル検出器７１がＭ個並列に接続されている。

同図において、ベースレベル検出器６１−１乃至６１−Ｍは、それぞれ図３を参照して上述したベースレベル検出器６１と同様の構成を有し、Ｍ個並列に接続されたベースレベル検出器６１−１乃至６１−Mに対して、デマルチプレクサ５０が接続されている。デマルチプレクサ５０は、スイッチ５１を順番に切り替えることにより、ベースレベル検出器６１−１乃至６１−Mに対して所定の区間の入力データを供給するようになされている。

デマルチプレクサ５０は、時間的に連続する入力データを、例えば、数十秒分の投入単位データに分割し、ベースレベル検出器６１−１には、第１番目の投入単位データを供給し、ベースレベル検出器６１−２には、第２番目の投入単位データを供給し、ベースレベル検出器６１−３には、第３番目の投入単位データを供給し、・・・ベースレベル検出器６１−Mには、第M番目の投入単位データを供給する。そして第M+1番目の投入単位データは、再びベースレベル検出器６１−１に供給されるようになされている。

ベースレベル検出器６１−１乃至６１−Mのそれぞれには、図３を参照して上述したように、検出器１０２−１乃至１０２−Ｎが設けられており、１つのベースレベル検出器６１から、例えば、時間的に連続するＮフレーム分の入力データに対応するベースレベル出力データが出力される。

ローレベル検出器７１−１乃至７１−Ｍのそれぞれは、図４を参照して上述したローレベル検出器７１と同様の構成を有し、ベースレベル検出器６１−１乃至６１−Mのそれぞれから出力されるベースレベル出力データに基づいて、上述した中間データを検出し、ローレベル出力データを、FIFO７２−１乃至FIFO７２−Mに出力する。

そして、スイッチ７３がFIFO７２−１乃至FIFO７２−Mから順番にデータを読み出してローレベル出力データを出力する。すなわち、スイッチ７３によりFIFO７２−１乃至FIFO７２−Mから順番に、それぞれ１回ずつデータが読み出されると、ローレベル出力データは、例えば、時間的に連続したM×数十秒分の入力データに対応するデータとして出力される。

このようにベースレベル検出部６０においては、複数のベースレベル検出器６１が並列に接続され、ローレベル検出部７０においては、複数のローレベル検出器７１が並列に接続されるようにすることができる。

また、図３を参照して上述したようにベースレベル検出器６１には、それぞれN個の検出器１０２が設けられているので、このように構成されるメタデータ抽出装置４０においては、ベースレベル検出部６０において、Ｎ×Ｍ個の検出器１０２が並列に接続されていることになり、入力データからの特徴量の検出の処理を、Ｎ×Ｍ個の検出器１０２により並列に実行することが可能となる。

なお、デマルチプレクサ５０は、例えば、ベースレベル検出部６０の一部として構成されるようにしてもよいし、独立して設けられるようにしてもよい。

図６は、図５のデマルチプレクサ５０による入力データの供給方式を説明する図である。

同図は、図中横軸が時間とされ、同図の入力データ３０１は、デマルチプレクサ５０に入力される時間的に連続した入力データ（音声および画像のデータ）とされる。デマルチプレクサ５０は、入力データ３０１を、図中に示された時間的長さを有する複数の投入単位データに分割して、複数のベースレベル検出器６１に、分割された投入単位データを順番に供給する。ここでは説明を簡単にするため、ベースレベル検出器６１A乃至ベースレベル検出器６１Dの４台のベースレベル検出器により、ベースレベル検出部６０が構成されているものとする。

この例では、投入単位データ３２１−１は、ベースレベル検出器６１Aに供給され、投入単位データ３２１−２は、ベースレベル検出器６１Bに供給され、投入単位データ３２１−３は、ベースレベル検出器６１Ｃに供給され、投入単位データ３２１−４は、ベースレベル検出器６１Ｄに供給される。そして、投入単位データ３２１−１１は、ベースレベル検出器６１Ａに供給され、投入単位データ３２１−１２は、ベースレベル検出器６１Bに供給され、投入単位データ３２１−１３は、ベースレベル検出器６１Ｃに供給される。

図５を参照して上述した場合と同様に、ローレベル検出器が並列に接続されている場合、ベースレベル検出器６１Ａ乃至ベースレベル検出器６１Ｄから出力されるベースレベル出力データは、それぞれ投入単位の時間分のベースレベル出力データとなって、ローレベル検出器７１Ａ乃至ローレベル検出器７１Ｄに供給されることになる。

図４を参照して上述したように、ローレベル検出器７１の検出器２０１は、バッファ２０２に蓄積された時間的に前のデータ（ベースレベル出力データ）と、時間的に後のデータとを比較して、その比較結果に基づいて、例えば、コンテンツの中で最初の数秒間の区間と次の数秒間の区間との間でシーンチェンジが発生したか、音声のレベルが予め設定された閾値を越えて増大した（または減少した）区間があったかなどの情報を中間データとして検出するようになされている。従って、バッファ２０２にデータが完全に蓄積されるまでは、中間データの検出ができない。バッファ２０２にデータが完全に蓄積されるまでの時間が、図中検出遅延として示されている。

すなわち、投入単位データ３２１−１に対応してベースレベル検出器６１Ａから出力されたベースレベル出力データは、ローレベル検出器７１Ａに供給されるが、区間３０２−１として示される区間のベースレベル出力データは、検出遅延となるため、中間データの検出がなされないことになる。そして、区間３０２−１に続く区間３０３−１においてローレベル検出器７１Ａにより中間データが検出されることになる。

同様に、区間３０２−２、区間３０２−３、・・・で示される区間のベースレベル出力データは、検出遅延となるため、中間データの検出がなされず、区間３０３−２、区間３０３−３、・・・においてローレベル検出器７１Ｂ、ローレベル検出器７１Ｃ、・・・により中間データが検出されることになる。

このため、ローレベル検出部７０から、中間データと、入力データの区間とが対応付けられた時間的に連続するデータとしてローレベル出力データを出力させるためには、区間３０３−１、区間３０３−２、区間３０３−３、区間３０３−４、区間３０３−１１、区間３０３−１２、区間３０３−１３に対応する中間データを連続して検出させて出力させる必要がある。

このため、デマルチプレクサ５０は、複数のベースレベル検出器のそれぞれについて供給される投入単位データの一部が重複（オーバーラップ）するように、投入単位データを分割して供給する。

具体的には、入力データ３０１から生成される投入単位データにおいて、ベースレベル検出器６１Ａに供給される投入単位データ３２１−１の図中右側の一部であって、区間３０２−２と同じ部分がベースレベル検出器６１Ｂにも重複して供給される。投入単位データ３２１−２の図中右側の一部であって、区間３０２−３と同じ部分がやはり重複しており、投入単位データ３２１−３、・・・についても同様である。

このように、デマルチプレクサ５０は、入力データ３０１から投入単位データを生成するとき、例えば、Ｋ番目の投入単位データと、Ｋ＋１番目の投入単位データとが、検出遅延の時間分だけ重複するように、入力データ３０１を分割して投入単位データを生成する。

このようにすることで、バッファを持たないベースレベル検出部６０において並列に処理されて出力されてくるベースレベル検出データを、いわば有限の遅延区間のバッファを有するローレベル検出部７０により並列に処理させて、時間的に連続するローレベル検出データを出力させるようにすることができる。

なお、重複する部分の処理に係る付加をできるだけ少なくし、メタデータ抽出装置４０全体の処理を効率化させるためには、投入単位データ全体の時間的長さに対して検出遅延の時間的長さが充分短くなるようにローレベル検出部７０を設計することが好ましい。

図７は、ハイレベル検出部８０を構成するハイレベル検出器８１の構成例を示すブロック図である。同図に示されるように、ハイレベル検出器８１は、IIR(Infinite Impulse Response) フィルタ型の構成とされる。

同図において、検出器８２は、入力された時間的に連続するローレベル出力データを、バッファ８３に蓄積し、蓄積されたローレベル出力データの任意の区間を他の区間と比較するなどして、例えば、コンテンツの中のハイライトシーン、CMなどの区間を特定するための情報をメタデータとして検出し、検出されたメタデータと、入力データの区間とを対応付けたデータを、ハイレベル出力データとして出力する。

なお、上述したように、バッファ８３は、例えば、数十分間の時間的に連続するローレベル出力データを蓄積可能となるように構成されている。

メタデータの抽出処理においては、例えば、時間的に連続するコンテンツのデータの中で、過去のデータを参照して、現在入力されているデータから検出される所定の特徴量などと比較する必要があるため、入力データが、常に時刻が単調に増加する順序で投入されなければならず、処理の並列化は非常に困難となる。このため、従来のメタデータ抽出処理は、極めて大きい容量のバッファを有する検出器を用いることにより行われていたが、処理に時間がかかるとともに、装置のコストの抑制が困難であった。

これに対して、本発明のメタデータ抽出装置４０によれば、入力データが３段階に分けられて解析されてメタデータが抽出されるので、処理を並列化して処理時間を短くすることが可能となる。すなわち、本発明によれば、バッファを必要とせず、入力データそのものから特徴量などを抽出する処理を行うベースレベル検出部６０と、有限の遅延区間のバッファを必要とする処理を行うローレベル検出部７０の構成を並列化して処理時間を短くすることができる。

また、本発明のメタデータ抽出装置４０によれば、入力データが３段階に分けられて解析されてメタデータが抽出されるので、バッファの容量を抑制することが可能となり、装置のコストも抑制することができる。すなわち、ベースレベル検出部６０は、バッファを必要とせず、ローレベル検出部７０も、有限の遅延区間のバッファのみを必要とする。ハイレベル検出部８０は、従来と同様に、いわば無限の遅延区間のバッファを必要とするが、従来とは異なり、バッファに蓄積されるデータのサイズは、極めて小さいものとすることが可能となる。

つまり、従来のメタデータ抽出処理では、入力データそのものを、極めて長い時間分蓄積可能な容量を有するバッファが必要であったのに対して、ハイレベル検出部８０のバッファ（バッファ８３）は、例えば、入力データの区間を特定する情報が付加された中間データであるローレベル出力データを、極めて長い時間分蓄積可能な容量を有するバッファとすることで足りる。

次に、図８のフローチャートを参照して、メタデータ抽出装置４０によるメタデータ抽出処理について説明する。

ステップＳ１０において、デマルチプレクサ５０は、入力データを分割する。このとき、図６を参照して上述したように入力データが投入単位データに分割される。

ステップＳ１１において、ベースレベル検出部６０は、ステップＳ１０の処理で分割されたそれぞれの入力データ（投入単位データ）について、図９を参照して後述するベースレベル検出処理を実行する。

ここで、図９のフローチャートを参照して、図８のステップＳ１１のベースレベル検出処理の詳細について説明する。

ステップＳ１０１において、検出器１０２−１乃至検出器１０２−Ｎのそれぞれは、入力データを解析する。このとき、検出器１０２−１乃至検出器１０２−Nは、それぞれFIFO１０１−１乃至FIFO１０１−Nから、例えば、１フレーム分の画像および音声のデータを読み出して解析する。

ステップＳ１０２において、検出器１０２−１乃至検出器１０２−Ｎのそれぞれは、ステップＳ１０１の処理で読み出した１フレーム分の画像の輝度のヒストグラムを表す情報、1フレーム分の画像のコントラストを表す情報、または音声のレベルを表す情報などの特徴量を検出する。

ステップＳ１０３において、スイッチ１２２は、ベースレベル検出データを出力する。ステップＳ１０２の処理で、検出された特徴量と、入力データのフレーム位置を対応付けたデータを、FIFO１０３−１乃至FIFO１０３−Nから順番にデータを読み出してベースレベル出力データを出力する。これにより、時間的に連続したデータとしてベースレベル出力データが出力される。

なお、ステップＳ１０１乃至Ｓ１０３の処理は、並列に接続された複数個のベースレベル検出器６１でそれぞれ実行される。すなわち、図６を参照して上述したように入力データが投入単位データに分割されて、各ベースレベル検出器６１に供給されて、各ベースレベル検出器６１がそれぞれステップＳ１０１乃至Ｓ１０３の処理を実行する。

図８に戻って、ステップＳ１１の処理の後、ローレベル検出部７０は、ステップＳ１２において、図１０を参照して後述するローレベル検出処理を実行する。

ここで、図１０のフローチャートを参照して、図８のステップＳ１２のローレベル検出処理の詳細について説明する。

ステップＳ１２１において、ローレベル検出器７１は、入力データをバッファに蓄積する。なお、ここでいう入力データは、ベースレベル検出部６０から出力されたベースレベル出力データであり、有限遅延バッファ２０２に時間的に連続するベースレベル出力データが蓄積される。

ステップＳ１２２において、ローレベル検出器７１の検出器２０１は、中間データを検出可能となるだけベースレベル出力データが蓄積されたか否かを判定し、中間データを検出可能となるだけベースレベル出力データが蓄積されたと判定されるまで待機する。ステップＳ１２２において、中間データを検出可能となるだけベースレベル出力データが蓄積されたと判定された場合、処理は、ステップＳ１２３に進む。

ステップＳ１２３において、検出器２０１は、蓄積されたデータを解析する。このとき、例えば、バッファ２０２に蓄積された時間的に前のデータ（ベースレベル出力データ）と、時間的に後のデータとを比較して、その比較結果に基づいて、例えば、コンテンツの中で最初の数秒間の区間と次の数秒間の区間との間でシーンチェンジが発生したか、音声のレベルが予め設定された閾値を越えて増大した（または減少した）区間があったかなどを特定する。

ステップＳ１２４において、検出器２０１は、ステップＳ１２３の処理による解析結果に基づいて中間データを検出する。

ステップＳ１２５において、検出器２０１により検出された中間データと、入力データの区間とを対応付けたデータが、ローレベル出力データとして出力される。

なお、ステップＳ１２１乃至Ｓ１２５の処理は、並列に接続された複数個のローレベル検出器７１でそれぞれ実行される。そして、図５を参照して上述したように、スイッチ７３により複数個のローレベル検出器７１からのローレベル出力データがそれぞれ入力されたFIFO７２−１乃至FIFO７２−Ｍが順番に選択されることで、時間的に連続したローレベル出力データがハイレベル検出部８０に出力される。

従って、ローレベル検出部７０から出力されてハイレベル検出部８０に供給されるローレベル出力データは、デマルチプレクサ５０により分割される前の入力データと同じく時間的に連続したデータとなる。

図８に戻って、ステップＳ１２の処理の後、ステップＳ１３において、ハイレベル検出部８０は、図１１を参照して後述するハイレベル検出処理を実行する。

ここで、図１１のフローチャートを参照して、図８のステップＳ１３のハイレベル検出処理の詳細について説明する。

ステップＳ１５１において、ハイレベル検出器８１は、入力データをバッファ８３に蓄積する。なお、ここでいう入力データは、ローレベル検出部７０から出力されたローレベル出力データであり、時間的に連続するローレベル出力データが蓄積される。

ステップＳ１５２において、検出器８２は、メタデータを検出可能となるだけ充分にローレベル出力データが蓄積されたか否かを判定し、メタデータを検出可能となるだけ充分にローレベル出力データが蓄積されたと判定されるまで待機する。ステップＳ１５２において、メタデータを検出可能となるだけ充分にローレベル出力データが蓄積されたと判定された場合、処理は、ステップＳ１５３に進む。

ステップＳ１５３において、検出器８２は、蓄積されたデータを解析する。このとき、ローレベル検出部７０から出力されたローレベル出力データに基づいて、時間的に連続するローレベル出力データの中のそれぞれの所定の区間において、例えば、コンテンツの中のハイライトシーン、CMなどが特定されるための所定の条件を満たすか否かなどの判定が行われる。

ステップＳ１５４において、検出器８２は、ステップＳ１５３の処理による解析結果に基づいてメタデータを検出する。

ステップＳ１５５において、ステップＳ１５４の処理で検出されたメタデータと、入力データの区間とを対応付けたデータが、ハイレベル出力データとして出力される。

このようにして、メタデータ抽出装置４０によるメタデータ抽出処理が行われる。

以上においては、メタデータ抽出装置４０が、ベースレベル検出部６０、ローレベル検出部７０、およびハイレベル検出部８０において、入力データが３段階に分けられて解析されてメタデータが抽出されるように構成される例について説明したが、例えば、図１２に示されるように、メタデータ抽出装置４０が、ベースレベル検出部６０と、ローレベル検出部７０のみから構成されるようにしてもよい。

この場合、ローレベル検出部７０から出力されるローレベル出力データがメタデータ抽出装置４０の出力データとなる。すなわち、例えば、コンテンツの中で最初の数秒間の区間と次の数秒間の区間との間でシーンチェンジが発生したか、音声のレベルが予め設定された閾値を越えて増大した（または減少した）区間があったかなどの情報がメタデータとして用いられることになる。

さらに、例えば、図１３に示されるように、メタデータ抽出装置４０が、ローレベル検出部７０と、ハイレベル検出部８０のみから構成されるようにしてもよい。

この場合、入力データは、直接、ローレベル検出部７０に入力されることとなる。すなわち、例えば、ローレベル検出器７１の検出器２０１が、入力データの特徴量などを検出し、さらに、検出された特徴量に基づいて中間データを検出することになる。

またこの場合、デマルチプレクサ５０は、例えば、ローレベル検出部７０の一部として構成されるようにしてもよいし、独立して設けられるようにしてもよい。

あるいはまた、ベースレベル検出部６０とハイレベル検出部８０のみによりメタデータ抽出装置４０が構成されるようにすることも可能である。

この場合、ハイレベル検出器８１の検出器８２は、ベースレベル出力データに基づいて中間データを検出し、さらに、検出された中間データに基づいてメタデータを検出することになる。

あるいはまた、図３と図５を参照して上述した構成を、例えば、外部記憶を持たないハードウェアなど、他の機器に適用することも可能である。さらに、図４と図５を参照して上述した構成を、例えば、記憶容量の制限された組み込み機器等のファームウェアに適用することも可能である。すなわち、本発明は、メタデータの抽出を目的とする装置への適用に限られるものではなく、時間的に連続する情報から、その情報の中の所定の区間、または所定の時刻の情報などに関する付随的な情報を、安価な構成で迅速に抽出または検出する場合などに、広く適用することが可能である。

なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

従来のメタデータ抽出装置の構成例を示すブロック図である。 本発明の一実施の形態に係るメタデータ抽出装置の構成例を示すブロック図である。 ベースレベル検出器の構成例を示すブロック図である。 ローレベル検出器の構成例を示すブロック図である。 図２のローレベル検出部の構成を説明するためのブロック図である。 図５のデマルチプレクサによる入力データの供給方式を説明する図である。 ハイレベル検出器の構成例を示すブロック図である。 メタデータ抽出処理の例を説明するフローチャートである。 ベースレベル検出処理の例を説明するフローチャートである。 ローレベル検出処理の例を説明するフローチャートである。 ハイレベル検出処理の例を説明するフローチャートである。 本発明の一実施の形態に係るメタデータ抽出装置の別の構成例を示すブロック図である。 本発明の一実施の形態に係るメタデータ抽出装置のさらに別の構成例を示すブロック図である。

符号の説明

４０ メタデータ抽出装置， ５０ デマルチプレクサ， ６０ ベースレベル検出部， ６１ ベースレベル検出器， ７０ ローレベル検出部， ７１ ローレベル検出器， ８０ ハイレベル検出部，８１ ハイレベル検出器， ８２ 検出器， ８３ バッファ， １０２−１乃至１０２−Ｎ 検出器， ２０１ 検出器， ２０２ 有限遅延バッファ

Claims (3)

1. 所定の時間連続して供給される情報から、前記連続した時間の中で予め設定された条件を満たす情報が供給された時刻に関する付随情報を検出する情報処理装置であって、
   時間的に連続して供給された前記情報を、所定の時間間隔で複数の時間的に連続する情報に分割する分割手段と、
   前記分割された複数の時間的に連続する情報の、それぞれの特徴量を時間的に連続して検出する特徴量検出手段と、
   前記特徴量検出手段により検出された、複数の時間的に連続する前記特徴量を、予め設定された時間だけ蓄積し、蓄積された前記特徴量と、前記特徴量検出手段により新たに検出された前記特徴量に基づいて、複数の時間的に連続する特徴量変化情報を検出する変化情報検出手段と、
   前記変化情報検出手段により検出された、前記複数の時間的に連続する前記特徴量変化情報を、任意の時間だけ蓄積し、蓄積された前記特徴量変化情報を解析して、前記供給された情報と同じく時間的に連続する前記付随情報を検出する付随情報検出手段とを備え、
   前記分割手段は、
   時間的に連続して供給された前記情報を分割するとき、
   分割された複数の情報において第Ｎ番目の情報と、第Ｎ＋１番目の情報のそれぞれの一部が、前記変化情報検出手段が前記特徴量を蓄積する時間に対応する時間分だけ、重複するように前記情報を分割し、
   前記特徴量検出手段は、
   前記分割手段により分割された複数の時間的に連続する情報を、より短い時間間隔でさらに分割して、それぞれの情報の特徴量を時間的に連続して検出する
   情報処理装置。
2. 前記時間的に連続する情報は、動画または音声の情報であり、前記動画または音声のメタデータとして前記付随情報を検出する
   請求項１に記載の情報処理装置。
3. 所定の時間連続して供給される情報から、前記連続した時間の中で予め設定された条件を満たす情報が供給された時刻に関する付随情報を検出する情報処理装置の情報処理方法であって、
   時間的に連続して供給された前記情報を、所定の時間間隔で複数の時間的に連続する情報に分割し、
   前記分割された複数の時間的に連続する情報の、それぞれの特徴量を時間的に連続して検出し、
   前記特徴量検出手段により検出された、複数の時間的に連続する前記特徴量を、予め設定された時間だけ蓄積し、蓄積された前記特徴量と、前記特徴量検出手段により新たに検出された前記特徴量に基づいて、複数の時間的に連続する特徴量変化情報を検出し、
   前記検出された、前記複数の時間的に連続する前記特徴量変化情報を、任意の時間だけ蓄積し、蓄積された前記特徴量変化情報を解析して、前記供給された情報と同じく時間的に連続する前記付随情報を検出するステップを含み、
   時間的に連続して供給された前記情報を分割するとき、
   分割された複数の情報において第Ｎ番目の情報と、第Ｎ＋１番目の情報のそれぞれの一部が、前記特徴量を蓄積する時間に対応する時間分だけ、重複するように前記情報が分割され、
   前記分割された複数の時間的に連続する情報を、より短い時間間隔でさらに分割して、それぞれの情報の特徴量が時間的に連続して検出される
   情報処理方法。

Images