JP4895125B2 - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents

情報処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP4895125B2
JP4895125B2 JP2007194506A JP2007194506A JP4895125B2 JP 4895125 B2 JP4895125 B2 JP 4895125B2 JP 2007194506 A JP2007194506 A JP 2007194506A JP 2007194506 A JP2007194506 A JP 2007194506A JP 4895125 B2 JP4895125 B2 JP 4895125B2
Authority
JP
Japan
Prior art keywords
information
change information
priority
amount
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007194506A
Other languages
English (en)
Other versions
JP2009033414A (ja
Inventor
象 村越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007194506A priority Critical patent/JP4895125B2/ja
Priority to US12/220,418 priority patent/US7995440B2/en
Publication of JP2009033414A publication Critical patent/JP2009033414A/ja
Application granted granted Critical
Publication of JP4895125B2 publication Critical patent/JP4895125B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、各種の電子機器において効率的に、所望のデータを抽出することができるようにする情報処理装置および方法、プログラム、並びに記録媒体に関する。
近年、例えば、HDD（Hard Disk Drive）レコーダの普及などに伴って、大量のコンテンツを録画することが容易になってきている。また、大量に録画されたコンテンツを再生するとき、ユーザが効率的に視聴できるように、例えば、コンテンツの中で予め設定された条件に合致するシーンなどを特定するためのメタデータを検出することも行われている。
例えば、放送されたコンテンツのデータなど、時間的に連続するデータからのメタデータの抽出処理においては、入力されたデータから検出される所定の特徴量などの、時間軸上での変化を検出することが重要となる。例えば、メタデータを抽出するための検出器が、時間軸上で過去のデータを参照して、現在入力されているデータから検出される所定の特徴量などと比較する必要があり、時間的に連続するデータを所定の時間分だけ蓄積するバッファなどが必要となる。
また、表示素子に、画像の全体的な流れを示す複数のスリット状の画像からなる静止画像が表示されると共に、その静止画像を構成する各スリット状の画像にそれぞれ対応させて当該各スリット状の画像に対応する音声データの概要、例えばレベル、種類等が視覚的に表示され、画像および音声の全体的な流れを精度よく認識可能となり、編集作業等を一層効率よく行うことができるようにする技術も提案されている。
特許第３１５８２９１号公報
しかしながら、過去のデータを参照して、現在入力されているデータから検出される所定の特徴量などと比較する構成の場合、比較の対象となるデータが所定の時間分だけ蓄積されなければ、特徴量の比較の処理を行うことができず、例えば、蓄積に伴う処理の遅延などが発生し、効率的に処理を実行させることが困難となる。
また、例えば、特徴量を検出してメタデータを抽出する処理などは、従来、HDDレコーダなどのいわゆるAV（audio-visual）家電製品に実装される機能として開発が行われてきたが、近年は、画像の録画再生機能を有するパーソナルコンピュータ、ゲーム機なども普及しており、メタデータを抽出する機能を、各種の電子機器への移植する必要性が高まっているが、チューニングの手間が多大なものになってしまう。
本発明はこのような状況に鑑みてなされたものであり、各種の電子機器において効率的に、所望のデータを抽出することができるようにするものである。
本発明の一側面は、時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する情報処理装置であって、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段と、前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定する蓄積量特定手段と、前記蓄積量特定手段により特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する優先度決定手段とを備え、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される情報処理装置である。
前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高い場合、前記変化情報検出手段は、前記付随情報検出手段が、単位時間あたりに、前記付随情報を検出するために前記蓄積手段から読み出す前記変化情報の量より多い前記変化情報を検出して前記蓄積手段に蓄積させるようにすることができる。
蓄積量特定手段は、前記蓄積手段に蓄積されている前記特徴量変化情報の量と、予め設定された閾値とを比較して前記蓄積量を特定するようにすることができる。
蓄積量特定手段は、現在前記蓄積手段に蓄積されている前記特徴量変化情報の量と、所定の時間だけ前に、前記蓄積手段に蓄積されていた前記特徴量変化情報の量とを比較して前記蓄積量を特定するようにすることができる。
前記時間的に連続する情報は、動画または音声の情報であり、前記動画または音声のメタデータとして前記付随情報を検出するようにすることができる。
本発明の一側面は、時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する情報処理装置のであって、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段とを有し、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出する情報処理装置の情報処理方法において、前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定し、前記特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定するステップを含み、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される情報処理方法である。
本発明の一側面は、時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する処理をコンピュータに行わせるプログラムであって、コンピュータを、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段と、前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定する蓄積量特定手段と、前記蓄積量特定手段により特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する優先度決定手段とを備え、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される情報処理装置として機能させるプログラムである。
本発明の一側面においては、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報が検出され、前記変化情報検出手段から出力された前記特徴量変化情報が、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積され、蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報が検出され、蓄積された特徴量変化情報の蓄積量が特定され、特定された前記蓄積量に基づいて、前記変化情報検出の処理と、前記付随情報検出の処理の優先度が決定される。また、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される。
本発明によれば、各種の電子機器において効率的に、所望のデータを抽出することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の情報処理装置は、時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報（例えば、メタデータ）を検出する情報処理装置であって、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報（例えば、中間データ）を検出する変化情報検出手段（例えば、図１のローレベル検出部７０）と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段（例えば、図３のバッファ８１）と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段（例えば、図１のハイレベル検出部８０）と、前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定する蓄積量特定手段（例えば、図４のバッファ情報取得部１５４）と、前記蓄積量特定手段により特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する優先度決定手段（例えば、図４のタスク優先度管理部１５３）とを備え、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される。
本発明の一側面の情報処理方法は、時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報（例えば、メタデータ）を検出する情報処理装置のであって、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報（例えば、中間データ）を検出する変化情報検出手段（例えば、図１のローレベル検出部７０）と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段（例えば、図３のバッファ８１）と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段（例えば、図１のハイレベル検出部８０）とを有する情報処理装置の情報処理方法において、前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定し（例えば、図７のステップＳ１２２の処理）、前記特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する（例えば、図７のステップＳ１２４とステップＳ１２５の処理）ステップを含み、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明の一実施の形態に係るメタデータ抽出装置の構成例を示すブロック図である。このメタデータ抽出装置４０は、入力データとして入力される時間的に連続するデータから、そのデータのメタデータを抽出し、入力データにメタデータが付加されたデータを、出力データとして出力するようになされている。
ここで、入力データは、例えば、動画像、音声などのデータであって、時間的に連続するデータとされ、メタデータは、動画像、音声などのデータの中で予め定められた条件を満たす区間を特定するための情報とされる。入力データは、例えば、動画像と音声により構成されるコンテンツのデータとされ、メタデータは、例えば、そのコンテンツの中のハイライトシーン、テロップが挿入されたシーン、CMなどの区間を特定するための情報とされる。
メタデータ抽出装置４０は、例えば、HDD（Hard Disk Drive）レコーダなどとして構成され、必要に応じてHDDなどに記録されたコンテンツのメタデータを抽出してユーザに提示するようになされている。
図１のメタデータ抽出装置４０は、コントローラ５０、第１階層検出部６０、および出力データ生成部９０により構成されており、この例では、出力データ生成部９０が、第２階層検出部７０、および第３階層検出部８０により構成されている。
すなわち、図１のメタデータ抽出装置４０においては、第１階層、第２階層、および第３階層の３階層の情報の検出が行われるようになされており、本発明では、それぞれ第１階層検出部をベースレベル検出部と、第２階層検出部をローレベル検出部と、第３階層検出部をハイレベル検出部と称することにする。
ベースレベル検出部６０は、入力データそのものから、特徴量を検出するようになされている。ベースレベル検出部６０は、所定のフレーム数に対応する（例えば、１フレーム分の）画像および音声のデータの入力を受け付けて、所定数のフレーム分の画像の輝度のヒストグラムを表す情報、所定数のフレーム分の画像のコントラストを表す情報、画像のエッジ強度を表す情報、音声のレベルを表す情報、音声の周波数成分を表す情報などの特徴量を検出するようになされており、検出された特徴量と、入力データのフレーム位置（時刻）を対応付けたデータを、ベースレベル出力データとして出力データ生成部９０に出力するようになされている。
ベースレベル検出部６０は、例えば、独立したハードウェアなどにより構成され、第１番目のフレームの画像および音声のデータが入力されたとき、第１番目のフレームの画像および音声のデータの特徴量を検出してベースレベル出力データを出力し、第２番目のフレームの画像および音声のデータが入力されたとき、第２番目のフレームの画像および音声のデータの特徴量を検出してベースレベル出力データを出力するようになされている。
出力データ生成部９０は、ベースレベル検出部６０から供給されたベースレベル出力データに基づいて出力データを生成するようになされており、例えば、内部にプロセッサやメモリなどを有する構成とされ、プログラムなどのソフトウェアをプロセッサが実行することにより、ローレベル検出部７０とハイレベル検出部８０がそれぞれ所定の処理を実行するようになされている。
ローレベル検出部７０は、ベースレベル検出部６０から出力されたベースレベル出力データに基づいて、例えば、コンテンツの中でのカットチェンジまたはショットチェンジが発生したか、テロップが検出されたかなどの情報、または画像の動きベクトル、音声の特徴などを表す情報を中間データとして検出し、検出された中間データと、入力データの区間とを対応付けたデータを、ローレベル出力データとしてハイレベル検出部８０に出力するようになされている。
ローレベル検出部７０は、例えば数秒分の時間的に連続する入力データに対応するベースレベル出力データを蓄積可能なバッファを有する構成とされ、例えば、バッファに蓄積されたベースレベル出力データと、現在入力されているベースレベル出力データとを比較することで、中間データを検出してローレベル出力データを出力するようになされている。
ハイレベル検出部８０は、ローレベル検出部７０から出力されたローレベル出力データに基づいて、例えば、そのコンテンツの中のハイライトシーン、テロップが挿入されたシーン、CMなどの区間を特定するための情報をメタデータとして検出し、検出されたメタデータと、入力データの区間とを対応付けたデータを、ハイレベル出力データとして出力するようになされている。すなわち、ハイレベル出力データが、メタデータ抽出装置４０の出力データとなる。
ハイレベル検出部８０は、例えば、数分の時間的に連続する入力データに対応するローレベル出力データを蓄積可能なバッファを有する構成とされ、バッファに蓄積されたローレベル出力データのうちの所定の区間と他の区間とを比較することで、またはバッファに蓄積されたローレベル出力データと、現在入力されているローレベル出力データとを比較することで、メタデータを検出してハイレベル出力データを出力するようになされている。
コントローラ５０は、例えば、プロセッサやメモリを有する構成とされ、プログラムなどのソフトウェアをプロセッサが実行することにより、各種の制御信号を生成し、それらの制御信号をベースレベル検出部６０または出力データ生成部９０に供給することで、メタデータ抽出装置４０の各部を制御する。
図２は、ベースレベル検出部６０により検出される特徴量、ローレベル検出部７０により検出される中間データ、ハイレベル検出部８０により検出されるメタデータの例を示す図である。
同図のデータ１０１は、特徴量として検出されるデータの例を示している。この例では、データ１０１には、それぞれ１フレーム分の画像のデータから検出された、画像の輝度のヒストグラム、画像のコントラスト、画像にテロップが含まれているか否か、画像のエッジ強度、その画像から得られるサムネイル画像（例えば、縮小画像）、画像の動きベクトル、などの情報が含まれている。
また、データ１０１には、それぞれ１フレーム分の音声のデータから検出された、音声レベルが０であったか否か（無音検出）、音声に含まれる各周波数成分の強度（オーディオスペクトル）などの情報が含まれている。
そして、１フレーム分の特徴量として検出されたデータ１０１がコンテンツのデータ数秒分、すなわち数十フレーム分蓄積され、その蓄積されたデータ１０１に基づいて、データ１０２が中間データとして検出される。
例えば、データ１０１に含まれるヒストグラムの情報に基づいて、データ１０２に含まれるショットチェンジまたはカットチェンジがあったか否かを表す情報が生成され、データ１０１に含まれるヒストグラムの情報、コントラストの情報、エッジの情報および動きベクトルの情報に基づいて、データ１０２に含まれるテロップが検出されたか否かを表す情報が生成される。
この例では、データ１０２には、この他、数十フレーム分の画像のヒストグラム、画像の動きベクトル、数十フレーム分の音の分散、音量、音の分類を表す情報が含まれている。
このように中間データとして検出されるデータ１０２は、数十フレーム分（数秒）の時間的に連続するコンテンツのデータに対応したデータとされる。
さらに、数十フレーム分の中間データとして検出されたデータ１０２がコンテンツのデータ数分に対応する分蓄積され、その蓄積されたデータ１０２に基づいて、データ１０３がメタデータとして検出される。
例えば、データ１０２に含まれるショットチェンジ検出およびカットチェンジ検出の情報、動きベクトル、音の分散などの情報に基づいて、データ１０３に含まれるシーンチェンジがあったか否かを表す情報が生成され、データ１０２に含まれるテロップ検出、動きベクトルなどの情報に基づいてデータ１０３に含まれるテロップシーンであるか否かを表す情報が生成される。
この例では、データ１０３には、この他、シーンを特定する番号などのシーンID、CMが検出されたか否かを表す情報、シーンの盛り上がり（ハイライトシーンであるか否か）、音の分類を表す情報などが含まれている。
このようにメタデータとして検出されるデータ１０３は、数分の時間的に連続するコンテンツのデータに対応したデータとされる。
このようなメタデータに基づいて、予め設定された条件に合致するシーン（例えば、数分の時間的に連続する区間）を検索することで、例えば、CMと番組が切り替わるとき、番組内のコーナーが切り替わるとき、ドラマや映画などの場面が切り替わるときなどを検索して再生するなど、録画されたコンテンツを効率的に視聴することができる。
なお、図２に示したデータ１０１乃至データ１０３は、あくまで特徴量、中間データ、およびメタデータの例を示すものであって、ベースレベル検出部６０、ローレベル検出部７０、およびハイレベル検出部８０により検出されるそれぞれのデータにおいて、必ずしも上述した情報が全て含まれる必要はないし、また、上述した情報以外の情報が含まれてもよい。
図３は、メタデータ抽出装置４０によるメタデータの検出を説明する図である。同図に示されるように、入力データを構成する画像のデータと音声のデータは、最初にベースレベル検出部６０のバッファ６１に供給されて蓄積される。そして、ベースレベル検出部６０の解析部６２が、バッファ６１に蓄積された、例えば、１フレーム分の画像または音声のデータを解析し、特徴量を検出してデータ１０１を出力する。
ベースレベル検出部６０から出力されたデータ１０１は、ベースレベル出力データとして、ローレベル検出部７０のバッファ７１に蓄積される。そして、ローレベル検出部７０の解析部７２が、バッファ７１に蓄積された数十フレーム分のベースレベル出力データを解析し、中間データを検出してデータ１０２を出力する。
ローレベル検出部７０から出力されたデータ１０２は、ローレベル出力データとして、ハイレベル検出部８０のバッファ８１に蓄積される。そして、ハイレベル検出部８０の解析部８２が、バッファ８１に蓄積された数分分のローレベル出力データを解析し、メタデータを検出してデータ１０３を出力する。
上述したように、ローレベル検出部７０とハイレベル検出部８０は、出力データ生成部９０内に構成されている。すなわち、解析部７２と解析部８２は、それぞれ、例えば、ソフトウェアにより実現される機能ブロックとされ、解析部７２と解析部８２のそれぞれによるデータの解析の処理は、例えば、同一のプロセッサとメモリを用いて実行される、異なる２つのタスクとして管理される。
従って、例えば、解析部７２の処理にかかる負荷が大きくなると、相対的に解析部８２の処理にかかる負荷を小さくしなければならず、逆に解析部８２の処理にかかる負荷が大きくなると、相対的に解析部７２の処理にかかる負荷を小さくしなければならない。このように、ローレベル検出部７０とハイレベル検出部８０の負荷のバランスをコントローラ５０が制御するようになされている。
コントローラ５０は、ローレベル検出部７０とハイレベル検出部８０の負荷のバランスを、例えば、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度により制御するようになされている。すなわち、ローレベル検出部７０の処理の優先度が高い場合、例えば、同一のプロセッサとメモリを用いて実行される２つのタスクの中で解析部７２の処理に対応するタスクが優先的に実行されるようになり、ハイレベル検出部８０の処理の優先度が高い場合、例えば、同一のプロセッサとメモリを用いて実行される２つのタスクの中で解析部８２の処理に対応するタスクが優先的に実行されるようになる。
図４は、コントローラ５０に実装されるソフトウェアの機能的構成例を示すブロック図である。
同図に示されるローレベル検出処理監視部１５１は、ローレベル検出部７０の処理の実行状態を監視する。例えば、ローレベル検出処理監視部１５１は、バッファ７１に蓄積されたベースレベル出力データの量を特定し、また、解析部７２の処理に対応するタスクの優先度を制御する。
ハイレベル検出処理監視部１５２は、ハイレベル検出部８０の処理の実行状態を監視する。例えば、ハイレベル検出処理監視部１５２は、バッファ８１に蓄積されたローレベル出力データの量を特定し、また、解析部８２の処理に対応するタスクの優先度を制御する。
ハイレベル検出処理監視部１５２により特定された、バッファ８１に蓄積されたローレベル出力データの量に関する情報は、バッファ情報取得部１５４に供給されるようになされている。
タスク優先度管理部１５３は、例えば、予め設定された時間間隔で、バッファ情報取得部１５４に、バッファ情報の取得要求を出力し、バッファ情報取得部１５４からバッファ８１に蓄積されたローレベル出力データの量に関する情報を取得する。そして、タスク優先度管理部１５３は、バッファ８１に蓄積されたローレベル出力データの量に関する情報に基づいて、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度を決定する。
上述したように、ハイレベル検出部８０は、例えば、バッファ８１に、数分の時間的に連続する入力データに対応するローレベル出力データを蓄積し、蓄積されたローレベル出力データのうちの所定の区間と他の区間とを比較することで、またはバッファ８１に蓄積されたローレベル出力データと、現在入力されているローレベル出力データとを比較することで、メタデータを検出する。従って、バッファ８１に充分な量のローレベル出力データが蓄積されなければ、ハイレベル検出部８０の処理を実行することはできない。
そこで、タスク優先度管理部１５３は、バッファ８１に充分な量のローレベル出力データが蓄積されたか否かを判定し、充分な量のローレベル出力データが蓄積されたと判定された場合、ハイレベル検出部８０の処理の優先度、すなわち解析部８２の処理に対応するタスクの優先度を相対的に高く設定し、ローレベル検出部７０の処理の優先度、すなわち解析部７２の処理に対応するタスクの優先度を相対的に低く設定する。
一方、充分な量のローレベル出力データがまだ蓄積されていないと判定された場合、ローレベル検出部７０の処理の優先度、すなわち解析部７２の処理に対応するタスクの優先度を相対的に高く設定し、ハイレベル検出部８０の処理の優先度、すなわち解析部８２の処理に対応するタスクの優先度を相対的に低く設定する。
タスク優先度管理部１５３は、設定すべきローレベル検出部７０の処理の優先度の情報を、ローレベル検出処理監視部１５１に出力し、ローレベル検出処理監視部１５１は、ローレベル検出部７０の処理の優先度、すなわち解析部７２の処理に対応するタスクの優先度を相対的に高く、または低く設定してタスクを実行させる。
また、タスク優先度管理部１５３は、設定すべきハイレベル検出部８０の処理の優先度の情報を、ハイレベル検出処理監視部１５２に出力し、ハイレベル検出処理監視部１５２は、ハイレベル検出部８０の処理の優先度、すなわち解析部８２の処理に対応するタスクの優先度を相対的に高く、または低く設定してタスクを実行させる。
このようにすることで、ローレベル検出部７０の処理の優先度とハイレベル検出部８０の処理の優先度は、それぞれ時間の経過とともに、例えば、図５に示されるように変化する。
図５において、図中上側のグラフは、縦軸がバッファ８１に蓄積されたローレベル出力データの蓄積量、横軸が時間とされ、時間の経過に伴って変化するローレベル出力データの蓄積量を線２０１で示したものである。また、図５において、図中下側のグラフは、縦軸が処理の優先度、横軸が時間とされ、時間の経過に伴って変化するローレベル検出部７０の処理の優先度を線２１１で示し、時間の経過に伴って変化するハイレベル検出部８０の処理の優先度を点線２１２で示したものである。
ここでは、バッファ８１に蓄積されたローレベル出力データの蓄積量が閾値ｋを超えた場合、ハイレベル検出部８０の処理の優先度が相対的に高く設定され、バッファ８１に蓄積されたローレベル出力データの蓄積量が閾値ｋを超えていない場合、ハイレベル検出部８０の処理の優先度が相対的に低く設定されるものとする。
線２０１で示されるように、処理開始直後（時間軸０）の時点から、時刻t1までの間、バッファ８１に蓄積されたローレベル出力データの蓄積量は序々に増えるが閾値ｋには至らない。この間、線２１１が図中点線２１２より高い位置に位置しており、ローレベル検出部７０の処理の優先度が相対的に高く設定されており、ハイレベル検出部８０の処理の優先度が相対的に低く設定されている。
時刻t1を過ぎ、バッファ８１に蓄積されたローレベル出力データの蓄積量（線２０１）が閾値ｋを超えると、ローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度が逆転されるようになされ、図中では、線２１１と点線２１２が交差し、点線２１２が図中線２１１より高い位置に位置するようになる。
時刻t1を過ぎると、ハイレベル検出部８０の処理が優先的に実行されて、バッファ８１に蓄積されたローレベル出力データが読み出されてメタデータが検出されていくが、その間ローレベル検出部７０の処理の優先度は低くなり、例えば、中間データの検出に要する時間が長くなるので、バッファ８１に蓄積されたローレベル出力データの蓄積量（線２０１）も減っていくことになる。すなわち、ハイレベル検出部８０の処理が優先的に実行された場合、ローレベル検出部７０の処理により、単位時間あたりに、バッファ８１に蓄積されていくローレベル出力データのデータ量よりも、ハイレベル検出部８０の処理により、単位時間あたりに、バッファ８１から読み出されるローレベルデータのデータ量が多くなる。
そして、時刻ｔ２において、バッファ８１に蓄積されたローレベル出力データの蓄積量（線２０１）は、再び閾値ｋを下回ることになる。
時刻t2を過ぎると、ローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度が逆転されるようになされ、図中では、線２１１と点線２１２が再び交差し、線２１１が図中点線２１２より高い位置に位置するようになる。今度は、ローレベル検出部７０の処理が優先的に実行され、ローレベル検出部７０の処理により、単位時間あたりに、バッファ８１に蓄積されていくローレベル出力データのデータ量よりも、ハイレベル検出部８０の処理により、単位時間あたりに、バッファ８１から読み出されるローレベルデータのデータ量が少なくなる。従って、バッファ８１に蓄積されたローレベル出力データの蓄積量が増えていくことになる。
同様に、時刻t3、時刻t4でもバッファ８１に蓄積されたローレベル出力データの蓄積量が閾値ｋを超えるかまたは下回るので、やはりローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度が逆転されるようになされ、図中では、線２１１と点線２１２が交差する。
このようにすることで、ローレベル検出部７０とハイレベル検出部８０の負荷のバランスが適切に制御され、プロセッサやメモリなどの資源の効率的な利用が可能となり、迅速にメタデータを抽出することができる。
次に、図６のフローチャートを参照して、コントローラ５０により実行される検出制御処理の例について説明する。
最初に、ステップＳ１０１において、タスク優先度管理部１５３は、検出制御処理を実行する必要があるか否かを判定する。例えば、コンテンツの録画が行われ、メタデータ抽出装置４０によりコンテンツのメタデータの抽出を行う必要がある場合、ステップＳ１０１では、検出制御処理を実行する必要があると判定され、処理は、ステップＳ１０２に進む。
ステップＳ１０２において、タスク優先度管理部１５３は、図７を参照して後述する優先順位判定処理を実行する。これにより、ローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度がそれぞれ判定される。
ステップＳ１０３において、タスク優先度管理部１５３は、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度を再設定する必要があるか否かを判定する。ここでは、ステップＳ１０２の処理結果に基づいて、例えば、ローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度が逆転されるようにする必要があるか否かが判定される。
なお、メタデータ抽出装置４０において、初期設定としてローレベル検出部７０の処理は、相対的な優先度が高く設定されており、ハイレベル検出部８０の処理は、相対的な優先度が低く設定されているものとする。
ステップＳ１０３において、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度を再設定する必要があると判定された場合、処理は、ステップＳ１０４に進む。
ステップＳ１０４において、タスク優先度管理部１５３は、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度を再設定する。このとき、タスク優先度管理部１５３から出力された情報に基づいて、ローレベル検出処理監視部１５１は、ローレベル検出部７０の処理の優先度、すなわち解析部７２の処理に対応するタスクの優先度を相対的に高く、または低く設定して、そのタスクを実行させ、ハイレベル検出処理監視部１５２は、ハイレベル検出部８０の処理の優先度、すなわち解析部８２の処理に対応するタスクの優先度を相対的に高く、または低く設定して、そのタスクを実行させる。
ステップＳ１０４の処理の後、またはステップＳ１０３において、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度を再設定する必要がないと判定された場合、処理は、ステップＳ１０１に戻り、それ以後の処理が繰り返し実行される。
そして、例えば、メタデータ抽出装置４０によりコンテンツのメタデータの抽出が終了するなどして、ステップＳ１０１で検出制御処理を実行する必要がないと判定された場合、処理は終了する。
次に、図７のフローチャートを参照して、図６のステップＳ１０２の優先順位判定処理の詳細な例について説明する。
ステップＳ１２１において、タスク優先度管理部１５３は、バッファ情報を取得する。このとき、タスク優先度管理部１５３は、バッファ情報取得部１５４に、バッファ情報の取得要求を出力し、バッファ情報取得部１５４からバッファ８１に蓄積されたローレベル出力データの量に関する情報をバッファ情報として取得する。
ステップＳ１２２において、タスク優先度管理部１５３は、図８または図９を参照して後述する蓄積量分析処理を実行する。これにより、バッファ８１に蓄積されたローレベル出力データのデータ量のレベルが特定される。
ここで、図８のフローチャートを参照して、図７のステップＳ１２２の蓄積量分析処理の詳細な例について説明する。
ステップＳ１４１において、タスク優先度管理部１５３は、ステップＳ１２１で取得したバッファ情報に含まれるバッファ８１に蓄積されたローレベル出力データの量の値が、予め設定された閾値ｋを超えているか否かを判定する。
ステップＳ１４１において、バッファ８１に蓄積されたローレベル出力データの量の値が閾値ｋを超えていないと判定された場合、処理は、ステップＳ１４２に進み、バッファ８１に蓄積されたローレベル出力データのデータ量のレベルを表す蓄積レベルは、「低」と特定される。
一方、ステップＳ１４１において、バッファ８１に蓄積されたローレベル出力データの量の値が閾値ｋを超えていると判定された場合、処理は、ステップＳ１４３に進み、バッファ８１に蓄積されたローレベル出力データのデータ量のレベルを表す蓄積レベルは、「高」と特定される。
ここでは、１つの閾値ｋに基づいて蓄積レベルが判定される例について説明したが、例えば、閾値k1と、閾値k1より低い閾値k2とを設定し、閾値k1を超えた場合、蓄積レベルが「高」と特定され、閾値k2を下回った場合、蓄積レベルが「低」と特定されるようにしてもよい。
あるいはまた、バッファ８１に蓄積されたローレベル出力データの量の値そのものを閾値と比較するのではなく、バッファ８１に蓄積されたローレベル出力データの量の増減（差分）を閾値と比較することにより、蓄積レベルが特定されるようにしてもよい。図９は、図７のステップＳ１２２の蓄積量分析処理の別の詳細な例について説明するフローチャートであって、バッファ８１に蓄積されたローレベル出力データの量の増減に基づいて蓄積レベルを判定する場合の例を説明するフローチャートである。
ステップＳ１６１において、タスク優先度管理部１５３は、今回（直前の）ステップＳ１２１で取得したバッファ情報に含まれるバッファ８１に蓄積されたローレベル出力データの量の値と、前回ステップＳ１２１取得したバッファ情報に含まれるバッファ８１に蓄積されたローレベル出力データの量の値とを比較し、それぞれの値の差分を演算する。
ステップＳ１６２において、タスク優先度管理部１５３は、ステップＳ１６１の処理の結果得られた差分値が、予め設定された閾値ｓを超えているか否かを判定する。
ステップＳ１６２において、バッファ８１に蓄積されたローレベル出力データの量の値が閾値ｓを超えていないと判定された場合、処理は、ステップＳ１６３に進み、バッファ８１に蓄積されたローレベル出力データのデータ量のレベルを表す蓄積レベルは、「低」と特定される。
一方、ステップＳ１６２において、バッファ８１に蓄積されたローレベル出力データの量の値が閾値ｓを超えていると判定された場合、処理は、ステップＳ１６４に進み、バッファ８１に蓄積されたローレベル出力データのデータ量のレベルを表す蓄積レベルは、「高」と特定される。
ここでは、１つの閾値ｓに基づいて蓄積レベルが判定される例について説明したが、例えば、閾値ｓ1と、閾値ｓ1より低い閾値ｓ2とを設定し、閾値ｓ1を超えた場合、蓄積レベルが「高」と特定され、閾値ｓ2を下回った場合、蓄積レベルが「低」と特定されるようにしてもよい。
さらに、時間当たりの差分の大小により蓄積レベルが判定されるようにすることも可能である。例えば、ステップＳ１６２では、前回のバッファ情報取得時からの経過時間とバッファ８１に蓄積されたローレベル出力データの量の値の差分値に基づいて得られる直線の傾き（微分値）が閾値を超えているか否かが判定されるようにしてもよい。
また、ここでは、タスク優先度管理部１５３がバッファ８１に蓄積されたローレベル出力データの量の値の差分値を演算する例について説明したが、例えば、バッファ情報取得部１５４が定期的に差分値を演算して、バッファ情報の取得要求に応じて、タスク優先度管理部１５３に、差分値を供給するようにしてもよい。
図７に戻って、ステップＳ１２２の処理の後、処理は、ステップＳ１２３に進み、タスク優先度管理部１５３は、ステップＳ１２２の処理の結果特定された蓄積レベルを判定する。
ステップＳ１２３において、蓄積レベルが「低」であると判定された場合、処理は、ステップＳ１２４に進み、タスク優先度管理部１５３は、ローレベル検出部７０の処理を優先するように制御する。一方、ステップＳ１２３において、蓄積レベルが「高」であると判定された場合、処理は、ステップＳ１２５に進み、タスク優先度管理部１５３は、ハイレベル検出部８０の処理を優先するように制御する。
これにより、図６のステップＳ１０３の処理を経て、現在のローレベル検出部７０の処理の優先度とハイレベル検出部８０の処理の優先度とを変更する必要があるか否か、すなわちそれぞれの処理の相対的優先度を逆転させる必要があるか否かが判定され、その結果、ローレベル検出処理監視部１５１が、ローレベル検出部７０の処理の優先度、すなわち解析部７２の処理に対応するタスクの優先度を相対的に高く、または低く設定して、そのタスクを実行させ、ハイレベル検出処理監視部１５２が、ハイレベル検出部８０の処理の優先度、すなわち解析部８２の処理に対応するタスクの優先度を相対的に高く、または低く設定して、そのタスクを実行させる。
ここでは、ステップＳ１２４またはステップＳ１２５において、それぞれローレベル検出部７０の処理、またはハイレベル検出部８０の処理を優先する例について説明したが、例えば、ステップＳ１２４またはステップＳ１２５では、ローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度が逆転されるようにする必要があるか否かが特定されるようにしてもよい。
このようにして、出力データ生成部９０に含まれるローレベル検出部７０、およびハイレベル検出部８０による中間データの検出、およびメタデータの検出が制御される。
このようにすることで、ローレベル検出部７０とハイレベル検出部８０の負荷のバランスが適切に制御され、プロセッサやメモリなどの資源の効率的な利用が可能となり、迅速にメタデータを抽出することができる。
また、このようにすることで、出力データ生成部９０を、例えば、汎用のマイコンなどに所定のソフトウェアなどを実装することで構成することも可能となる。すなわち、同一のプロセッサとメモリを用いてローレベル検出部７０の処理、およびハイレベル検出部８０の処理の両方を効率よく実行することが可能となる。
従って、メタデータの抽出の機能を、HDDレコーダなどの専用のAV（audio-visual）家電製品に実装するだけでなく、例えば、画像の録画再生機能を有するパーソナルコンピュータ、ゲーム機などの各種の電子機器に実装または移植することも容易となる。
以上においては、メタデータ抽出装置４０の、ベースレベル検出部６０、ローレベル検出部７０、およびハイレベル検出部８０において、入力データが３階層に分けられて解析されてメタデータが抽出されるように構成される例について説明したが、例えば、ベースレベル検出部６０と、ローレベル検出部７０のみにおいて解析が行われるようにしてもよい。
この場合、ローレベル検出部７０から出力されるローレベル出力データがメタデータ抽出装置４０の出力データとなる。
さらに、例えば、メタデータ抽出装置４０が、ローレベル検出部７０、ハイレベル検出部８０、およびコントローラ５０のみから構成されるようにしてもよい。すなわち出力データ生成部９０とコントローラ５０のみからメタデータ抽出装置４０が構成されるようにしてもよい。
この場合、入力データは、直接、ローレベル検出部７０に入力されることとなる。すなわち、例えば、ローレベル検出部７０が、入力データの特徴量などを検出し、さらに、検出された特徴量に基づいて中間データを検出することになる。
出力データ生成部９０とコントローラ５０のみからメタデータ抽出装置４０が構成される場合において、例えば、さらに、出力データ生成部９０とコントローラ５０とを一体化し、メタデータ抽出装置４０がコントローラ５０のみから構成されるようにしてもよい。すなわち、ベースレベル検出部６０、または出力データ生成部９０として専用のハードウェア等を設けずに、特徴量の検出、中間データの検出、およびメタデータの検出の処理を、すべてソフトウェアにより実行するようにし、例えば、汎用のコンピュータなどでメタデータ抽出装置４０を構成することもできる。
あるいはまた、ハイレベル検出部８０の処理によりメタデータが検出された後、そのメタデータが別のバッファに蓄積され、蓄積されたメタデータに基づいて、さらに別の検出部により別のメタデータが抽出されるようにしてもよい。
この場合、バッファ８１と別のバッファのデータの蓄積量がさらに比較されて、ハイレベル検出部８０の処理と別の検出部の処理との優先度が相対的に高くまたは低く設定されるようにすればよい。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１０に示されるような汎用のパーソナルコンピュータ５００などに、ネットワークや記録媒体からインストールされる。
図１０において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。
入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図１０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
本発明の一実施の形態に係るメタデータ抽出装置の構成例を示すブロック図である。 図１のベースレベル検出部により検出される特徴量、ローレベル検出部により検出される中間データ、ハイレベル検出部により検出されるメタデータの例を示す図である。 図１のメタデータ抽出装置によるメタデータの検出を説明する図である。 図１のコントローラに実装されるソフトウェアの機能的構成例を示すブロック図である。 時間の経過に伴って変化するデータの蓄積量と処理の優先度を示すグラフである。 検出制御処理の例を説明するフローチャートである。 優先順位判定処理の例を説明するフローチャートである。 蓄積量分析処理の例を説明するフローチャートである。 蓄積量分析処理の別の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
４０ メタデータ抽出装置， ５０ コントローラ， ６０ ベースレベル検出部， ６１ バッファ， ６２ 解析部， ７０ ローレベル検出部， ７１ バッファ， ７２ 解析部， ８０ ハイレベル検出部，８１ バッファ， ８２ 解析部， １５１ ローレベル検出処理監視部， １５２ ハイレベル検出処理監視部， １５３ タスク優先度管理部， １５４ バッファ情報取得部

Claims (8)

  1. 時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する情報処理装置であって、
    第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、
    前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、
    前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段と、
    前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定する蓄積量特定手段と、
    前記蓄積量特定手段により特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する優先度決定手段と
    を備え、
    前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、
    前記特定された前記蓄積量が、予め設定された閾値を超える場合、
    前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、
    前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、
    前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される
    情報処理装置。
  2. 前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高い場合、
    前記変化情報検出手段は、前記付随情報検出手段が、単位時間あたりに、前記付随情報を検出するために前記蓄積手段から読み出す前記変化情報の量より多い前記変化情報を検出して前記蓄積手段に蓄積させる
    請求項１に記載の情報処理装置。
  3. 蓄積量特定手段は、前記蓄積手段に蓄積されている前記特徴量変化情報の量と、予め設定された閾値とを比較して前記蓄積量を特定する
    請求項１に記載の情報処理装置。
  4. 蓄積量特定手段は、現在前記蓄積手段に蓄積されている前記特徴量変化情報の量と、所定の時間だけ前に、前記蓄積手段に蓄積されていた前記特徴量変化情報の量とを比較して前記蓄積量を特定する
    請求項１に記載の情報処理装置。
  5. 前記時間的に連続する情報は、動画または音声の情報であり、前記動画または音声のメタデータとして前記付随情報を検出する
    請求項１に記載の情報処理装置。
  6. 時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する情報処理装置のであって、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段とを有し、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出する情報処理装置の情報処理方法において、
    前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定し、
    前記特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報
    検出手段の処理の優先度を決定するステップを含み、
    前記特定された前記蓄積量が、予め設定された閾値を超える場合、
    前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、
    前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、
    前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される
    情報処理方法。
  7. 時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する処理をコンピュータに行わせるプログラムであって、
    コンピュータを、
    第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、
    前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、
    前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段と、
    前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定する蓄積量特定手段と、
    前記蓄積量特定手段により特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する優先度決定手段と
    を備え、
    前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、
    前記特定された前記蓄積量が、予め設定された閾値を超える場合、
    前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、
    前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、
    前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される情報処理装置として機能させる
    プログラム。
  8. 請求項７に記載のプログラムが記録されている記録媒体。
JP2007194506A 2007-07-26 2007-07-26 情報処理装置および方法、プログラム、並びに記録媒体 Expired - Fee Related JP4895125B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007194506A JP4895125B2 (ja) 2007-07-26 2007-07-26 情報処理装置および方法、プログラム、並びに記録媒体
US12/220,418 US7995440B2 (en) 2007-07-26 2008-07-24 Information processing apparatus and method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007194506A JP4895125B2 (ja) 2007-07-26 2007-07-26 情報処理装置および方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2009033414A JP2009033414A (ja) 2009-02-12
JP4895125B2 true JP4895125B2 (ja) 2012-03-14

Family

ID=40295228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007194506A Expired - Fee Related JP4895125B2 (ja) 2007-07-26 2007-07-26 情報処理装置および方法、プログラム、並びに記録媒体

Country Status (2)

Country Link
US (1) US7995440B2 (ja)
JP (1) JP4895125B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9817829B2 (en) * 2008-10-28 2017-11-14 Adobe Systems Incorporated Systems and methods for prioritizing textual metadata

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5191528A (en) * 1990-06-28 1993-03-02 Eaton-Kenway, Inc. Update marker system for naviagtion of an automatic guided vehicle
JP3158291B2 (ja) 1991-07-22 2001-04-23 ソニー株式会社 表示装置
JPH1093915A (ja) * 1996-09-13 1998-04-10 Matsushita Electric Ind Co Ltd 編集制御装置
US6353584B1 (en) * 1998-05-14 2002-03-05 Sony Corporation Reproducing and recording apparatus, decoding apparatus, recording apparatus, reproducing and recording method, decoding method and recording method
JP2000092469A (ja) * 1998-09-10 2000-03-31 Mitsubishi Electric Corp デジタル受信端末
JP4253934B2 (ja) * 1999-07-05 2009-04-15 ソニー株式会社 信号処理装置及び方法
JP3785068B2 (ja) * 2001-08-28 2006-06-14 日本電信電話株式会社 映像解析装置，映像解析方法，映像解析プログラムおよびそのプログラム記録媒体
JP4288609B2 (ja) * 2005-03-14 2009-07-01 ソニー株式会社 再生装置、再生方法、再生プログラム、記録装置、記録方法及び記録プログラム
US8077414B2 (en) * 2008-09-30 2011-12-13 Emc Corporation System and method for analyzing magnetic media surfaces for thermal erasures and other characteristics

Also Published As

Publication number Publication date
US20090028025A1 (en) 2009-01-29
JP2009033414A (ja) 2009-02-12
US7995440B2 (en) 2011-08-09

Similar Documents

Publication Publication Date Title
US7796860B2 (en) Method and system for playing back videos at speeds adapted to content
JP4955351B2 (ja) デジタルマルチメディア機器で保存されたマルチメディアコンテンツを管理する方法及び装置
CN1735887B (zh) 用于相似视频内容跳转的方法和设备
JP5038607B2 (ja) スマートメディアコンテンツサムネイル抽出のシステムおよび方法
US7483618B1 (en) Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest
US7058278B2 (en) Information signal processing apparatus, information signal processing method, and information signal recording apparatus
US20070053660A1 (en) Video processing apparatus
JP2003101939A (ja) 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム
WO2010140355A1 (ja) 音響信号処理装置および方法
US20110200299A1 (en) Reproduction device and reproduction method
JP5079817B2 (ja) サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機
WO2008152556A1 (en) Method and apparatus for automatically generating summaries of a multimedia file
JP2009077256A (ja) 信号処理装置、信号処理方法、およびプログラム
US8234278B2 (en) Information processing device, information processing method, and program therefor
JP4895125B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
US20090269029A1 (en) Recording/reproducing device
US20060002255A1 (en) Optimized audio / video recording and playing system and method
EP1527453A1 (en) Method, system and program product for generating a content-based table of contents
EP1434436A1 (en) Reproducer
JP4162691B2 (ja) 番組構造化装置、番組構造化方法およびプログラム
US20090226144A1 (en) Digest generation device, digest generation method, recording medium storing digest generation program thereon and integrated circuit used for digest generation device
JP2005536937A (ja) 一連のビデオ画像中でのコンテンツ特性の検出用のユニット及び方法
US8332403B2 (en) Information processing apparatus, information processing method and program
CN102034520B (zh) 电子装置及内容再现方法
KR101869905B1 (ko) 영상 재생 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111214

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees