JPWO2007000959A1 - 同一シーン検出方法および装置およびプログラムを格納した記憶媒体 - Google Patents

同一シーン検出方法および装置およびプログラムを格納した記憶媒体 Download PDF

Info

Publication number
JPWO2007000959A1
JPWO2007000959A1 JP2007523921A JP2007523921A JPWO2007000959A1 JP WO2007000959 A1 JPWO2007000959 A1 JP WO2007000959A1 JP 2007523921 A JP2007523921 A JP 2007523921A JP 2007523921 A JP2007523921 A JP 2007523921A JP WO2007000959 A1 JPWO2007000959 A1 JP WO2007000959A1
Authority
JP
Japan
Prior art keywords
video
audio
same scene
same
loop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007523921A
Other languages
English (en)
Other versions
JP5076892B2 (ja
Inventor
片岡 充照
充照 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007523921A priority Critical patent/JP5076892B2/ja
Publication of JPWO2007000959A1 publication Critical patent/JPWO2007000959A1/ja
Application granted granted Critical
Publication of JP5076892B2 publication Critical patent/JP5076892B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/377Scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4821End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/27Arrangements for recording or accumulating broadcast information or broadcast-related information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Abstract

映像や音声を蓄積する比較映像蓄積部(101)と、内容が同一である同一シーンを検出する映像比較部(102)と、同一シーンの出現する繰り返しを検出するループ検出部(103)とを有する同一シーン検出装置を提供する。これにより、同一のシーンを含んだり、同じシーンが繰り返し出現したりする映像や音声を視聴する場合、ループを検出することで重複していない部分を選択的にユーザに提示する。

Description

本発明は、デジタルテレビの受信する情報を処理する装置において、重複部分を含んだ映像や音声をユーザに提示する装置に関する。
特開2001−249874号公報は、インターネットのWebページの更新を、それぞれのWebページを巡回することで検出するソフトウェアに関する。一般にはこの種のソフトウェアは「巡回ソフト」と呼ばれる。特開2001−249874号公報は特に、1枚のWebページ上で更新された部分だけを、フォントや色などを変化させることで際立たせた表示について開示している。
特開平1−202992号公報は、テレビ信号に重畳した文字情報によってニュースなどを伝送する文字多重放送に関する。内容が更新されたことを検出し、受像器に取り付けられたランプを点灯したり、アラーム音を出してユーザに更新したことを知らせる技術について開示している。
特開2004−318389号公報は、Webページを表示するソフトウェアであるWebブラウザなどに搭載されているブックマークリストに関する。ブックマークリストに登録されたWebページが更新されているかを、ソフトウェアが自動的にWebページを巡回参照することで調査する。そして、ブックマークを表示する際に更新の状況を表示に付加する方法について開示している。
本発明の従来技術との違いを明確化するために、本発明の実施の形態に近い従来技術であるデジタルテレビの構成について説明する。
図19は従来のデジタルテレビの構成図である。図19において、デジタルテレビ1900は、アンテナ1901、受信部1902、再生部1903、EPG(Electric Program Guide)データ蓄積部1904、入力部1905、制御部1906、OSD生成部1907、提示部1908とから構成される。
アンテナ1901は、放送の電波を高周波信号に変換する。受信部1902は、アンテナ1901が出力する高周波信号を受信し、映像、音声、EPGデータ等の付加情報などのデジタル信号に分離(Demultiplex)し出力する。受信部1902はデジタルチューナーモジュール及び、MPEG2−TS(Motion Picture Expert Group 2−Transport Stream)のトランスポートデコーダで良い。なお、MPEG2−TSは国際規格であるISO/IEC13818−1で定義されている。
再生部1903は、受信部1902の出力する映像と音声のデータを受け取り、ユーザに提示すべき映像や音声の電気信号にデコードする。受信部1902が出力する映像や音声データがMPEG2と呼ばれる形式であれば、再生部1903は、MPEG2デコーダで良い。
EPGデータ蓄積部1904は、受信部1902の出力するEPGデータを蓄積する。蓄積部は半導体メモリやハードディスクなどの2次記憶媒体でよい。
入力部1905は、ユーザからの操作を受け付ける。すなわちユーザによる物理的な操作を電気信号に変換する。入力部1905は、リモコンとその受光部、本体に付けられている電気スイッチ、あるいはキーボード、マウスなどのポインティングデバイス、マイクと音声認識デバイスなどでよい。
制御部1906は、デジタルテレビ全体の制御を行うと共に、入力部1905から入力されるユーザ操作に応じて画面に表示するグラフィック映像(OSD−On Screen Display)を変化させるGUI(Graphic User Interface)などの、ユーザとの対話処理を実現する。制御部1906は、CPU(Central Processing Unit)、半導体メモリなどから構成されるマイクロコンピュータで良い。
OSD生成部1907は、制御部1906から与えられる描画命令に従い、内部に持つフレームメモリに対しグラフィックスや文字フォントを描画する。そして、フレームメモリに作られたグラフィック映像を電気信号として提示部1908に出力する。
提示部1908は、再生部1903からの映像や音声の信号と、OSD生成部1907からのグラフィック映像とを入力し、ユーザが知覚可能な物理現象である光や音に変換する。提示部1908は、プラズマディスプレイパネルや液晶ディスプレイパネルと、スピーカーとから構成されていてよい。
次に従来の装置の提示部1908において、ユーザに対し提示される画面例について説明する。
図20は、従来の装置による番組表全体を表す図である。図20において、番組表2000は、新聞の番組欄を模した配置で表示されている。横方向の各列は、コンテンツ(番組)が伝送される伝送路(放送チャンネル)を表す。また、縦方向は時間軸を表す。中央にある矩形のそれぞれは、番組表を構成する元データであるEPGデータにより定義された1つの番組を表している。またそれぞれの枠には番組のタイトルを表す文字列が表示される。図20では簡単のため、タイトルの文字列は、番組2001を除き省略してある。
ここで、番組2001に注目する。番組2001はEPGデータにおいて、1つの長い番組として定義されているため、1つの矩形として表示されている。しかしながら、ユーザが知覚する実際の映像や音声の観点においては、必ずしも1つの長い番組であることを保証してはいない。
このため例えば、ニアVOD(Near−Video On Demand)や放送局のプロモーション・チャンネルの様に同じ番組が番組2001の中で繰り返し放送されることがある。
また、同日の別時刻や、別の日に同じ番組が再放送されることがある。さらには、同じ系列局の地上アナログ放送と地上デジタル放送の様に、同時刻に別の伝送路(放送チャンネル)において同じ番組がサイマル放送(simultaneous broadcasting)として伝送される場合がある。これらが同一の番組であることを表すEPGデータが伝送されなかったり、そもそも同一と表現できるデータ形式が定義されていなかったりする場合もある。
また、音楽専門の放送局などでは実際に1つの番組(曲)毎に別々の番組として伝送していないことが多い。
また、災害発生直後に急遽放送されることになる災害状況の放送などでは、EPGデータが災害発生前の通常番組のままで、映像や音声だけが災害状況の放送になっている場合がある。また、繰り返し同じ映像や音声が流されることがある。
さらには、インターネット上のブロードバンド技術を伝送に用いた放送局などにおいては、URI(Uniform Resource Identifier)などによって特定される1つの伝送路が1つのコンテンツとなっていることがある。また、1または数個のコンテンツが繰り返し伝送されることがある。コンテンツ毎にわけられたEPGデータに相当する情報が十分に提供されていなかったり、そもそもEPGデータにあたるフォーマットが定義されていないために、どの時刻から各コンテンツが開始するか不明な可能性がある。
以上のように、実際の映像や音声といったコンテンツ(番組)が繰り返し伝送されているが、どの時刻に、各コンテンツの繰り返しの頭が始まるのかがEPGデータから得られない状況が起こり得る。上記の状況に対し、従来技術における課題は以下の通りである。
(1)同一のシーンを含んだり、同じシーンが繰り返し出現するコンテンツを視聴する場合を考える。番組表データなどのメタデータが不十分である場合にはどこに同一のシーンが重複して含まれているかは、実際にコンテンツを全て視聴するまで分からない。このため、同じシーンを何度も視聴してしまい時間を浪費してしまったり、重複していないシーンがまれに含まれていても見落としたりしていた。また、早送り再生などを用いれば多少の時間短縮は可能であるが、逆に操作を行う煩雑さは増加してしまっていた。
(2)繰り返し同じコンテンツが送られる放送を視聴しており、不定期に内容が更新される場合を考える。ユーザは更新内容をもれなく視聴するには、何度もまたは長時間、同じ内容を視聴する作業を強制される。
(3)複数の伝送路でリアルタイムに送られるコンテンツを受信可能であり、各伝送路で同じコンテンツが繰り返し送られ、不定期にコンテンツが更新される場合を考える。この時、全ての伝送路で流されているコンテンツを全て得るには、伝送路を順に変更して新しいコンテンツが流れていないかユーザが確認する必要がある。インターネットのWebページなどであればコンテンツが、ファイル形式であるため、ファイル同士の比較や、ファイルのバイト数やタイムスタンプの比較によって更新されたかどうかは速やかに判断が可能である。しかしながら、映像や音声の場合には区別ができないため、人手に頼るしかなかった。
(4)連続ドラマの複数話をまとめて蓄積しそれを再生する場合を考える。各話毎に毎回同じオープニングやエンディングあるいはCMを視聴することを強制され、ユーザにとっては時間の無駄であった。30秒間早送りするCMスキップなどの機能も従来の機器にあるが、余分な操作が必要となる。さらに、オープニングは30秒の倍数でない可能性があるので、本編が一部欠けてしまったり、重複部分を完全にスキップできなかったりした。
(5)同じコンテンツが繰り返し送られる放送を長時間蓄積した後、再生する場合を考える。蓄積の途中でコンテンツが更新された場合に、そのコンテンツの開始する位置に頭出しするためには、ユーザが画面を見て、早送りや巻き戻しなどの操作を繰り返し操作する必要があり煩雑であった。また、操作した結果、結局は更新されたコンテンツが蓄積されておらず無駄な手間を費やしてしまうこともあった。
(6)蓄積したコンテンツに含まれる重複した同一シーンやコンテンツが複数含まれていた場合、それを視聴するユーザにとって時間の無駄であり、また蓄積領域を浪費していた。
(7)同じコンテンツが繰り返し送られるが、各繰り返しに対しEPGデータに含まれる時刻情報が対応付けられていない場合を考える。このとき、1周分だけ蓄積しておきたい場合、ユーザがコンテンツの開始するタイミングを放送を視聴しながら判断して蓄積を開始し、1周終わったところで蓄積を停止する操作を行う必要があった。この様な操作は、煩雑であるだけでなく、操作するタイミングを間違えてしまうことで、蓄積したコンテンツの一部が欠けてしまったり、不必要な部分を蓄積してしまうことで蓄積領域を浪費してしまったりしていた。
本発明に係る同一シーン検出方法は、映像や音声の時間的部分であるシーンに対し、内容が同一とユーザが知覚する同一シーンを検出し同一シーン集合として抽出する。次に、各同一シーン集合に含まれる同一シーンの出現時刻の差分値を求める。そして、複数の同一シーン集合の差分値が近い同一シーンで出現時刻が近接するものの集合を同一リージョンとして選択する。そして、同一リージョンに含まれる同一シーンの時間長の合計が所定の値を超える場合に同一リージョンが差分値を出現周期とするシーンループであると判定する。そして、得られた周期性をユーザに提示する。
これにより、同一のシーンを含んだり、同じシーンが繰り返し出現するコンテンツを視聴する場合にも、どの部分が内容的に重複しているか、またどこで内容が一周しているかを映像や音声を実際に視聴することなく、画面表示を見て把握できる。従って、視聴したい部分を短時間に把握でき、時間的な無駄を省くことができる。
図1は本発明の実施の形態1における同一シーン検出装置の構成図である。 図2は本発明の実施の形態1における同一リージョン情報生成のフローチャートである。 図3は本発明の実施の形態1におけるサーチ情報の例の図である。 図4は本発明の実施の形態1における送出予定情報の例の図である。 図5は本発明の実施の形態1における同一リージョン情報の例の図である。 図6は本発明の実施の形態1におけるループ情報生成の処理フローチャートである。 図7は本発明の実施の形態1におけるループ情報のマージ処理のフローチャートである。 図8は本発明の実施の形態1におけるループ情報の例の図である。 図9は本発明の実施の形態1における画面表示の例の図である。 図10は本発明の実施の形態1における同一コンテンツの表示例の図である。 図11は本発明の実施の形態1における番組表表示の例の図である。 図12は本発明の実施の形態2におけるコンテンツ更新の通知画面の例の図である。 図13は本発明の実施の形態2におけるコンテンツ更新検出のフローチャートである。 図14は本発明の実施の形態3における複数伝送路自動巡回のフローチャートである。 図15は本発明の実施の形態4における重複自動スキップ再生のフローチャートである。 図16は本発明の実施の形態5における手動スキップ再生のフローチャートである。 図17は本発明の実施の形態6における重複シーンの削除編集のフローチャートである。 図18は本発明の実施の形態7における蓄積自動停止のフローチャートである。 図19は従来の装置の構成図である。 図20は従来の装置の画面表示の図である。
符号の説明
100 同一シーン検出装置
101 比較映像蓄積部
102 映像比較部
103 ループ検出部
104 制御部
105 アンテナ
106 受信部
107 再生部
108 入力部
109 OSD生成部
110 提示部
(実施の形態1)
本発明の実施の形態1を図1〜図11を用いて説明する。
図1は、本発明の実施の形態1における同一シーン検出装置の構成図である。図1において、同一シーン検出装置100は、アンテナ105、受信部106、再生部107、入力部108、OSD生成部109、提示部110、比較映像蓄積部101、映像比較部102、ループ検出部103、制御部104とから構成される。
以下では、複数の図の間で同一の構成要素には同一の符号を付与することで、説明を省略する。また、同じ構成要素が同一の図に複数現れる場合には、符号の末尾にアルファベット1文字を付与するものとする。
アンテナ105は、放送の電波を高周波信号に変換する。受信部106は、アンテナ105が出力する高周波信号を受信し、映像、音声、EPGデータ等の付加情報などのデジタル信号に分離し出力する。再生部107は、受信部106の出力する映像と音声のデータを受け取り、ユーザに提示すべき映像や音声の電気信号にデコードする。入力部108は、ユーザからの操作を受け付けて、ユーザによる物理的な操作を電気信号に変換する。
また、OSD生成部109は、制御部104から与えられる描画命令に従い、内部に持つフレームメモリに対しグラフィックスや文字フォントを描画する。そして、フレームメモリに作られたグラフィック映像を電気信号として提示部110に出力する。提示部110は、再生部107からの映像や音声の信号と、OSD生成部109からのグラフィック映像とを入力し、ユーザが知覚可能な物理現象である光や音に変換する。
比較映像蓄積部101は、受信部106からの映像や音声を蓄積する。映像や音声を再生部107にて再度再生可能な形式で蓄積しても良いし、2つの映像または音声が同じか否かを判断するのに十分なデータのみを蓄積してもよい。
例えば、静止画や音声をサンプリングする時間的頻度を減らしてもよい。映像の画面解像度や音声の表現ビット数を減らしてもよい。映像の輝度情報のみや音声の片チャンネルのみを用いてもよい。映像の特定の色のみや音声の特定周波数のみを用いてもよい。映像や音声の圧縮された形式におけるビットレートを用いてもよい。映像や音声を圧縮形式にエンコードする際にエンコーダ内部で中間的に得られる各種パラメータを用いてもよい。映像の輝度のヒストグラム分布や音声の周波数スペクトラム分布や音量を用いたりしてもよい。
比較映像蓄積部101は、2つの映像または音声が同じか否かを判断するのに十分なデータのみに変換する構成要素と、半導体メモリやハードディスク装置などの受動的な蓄積媒体の構成要素とから構成される。前者の構成要素はMPEG2などのエンコーダでもよい。あるいは受信部106の出力をそのまま蓄積するのであれば、半導体メモリやハードディスク装置などの受動的な蓄積媒体そのものであっても良い。
映像比較部102は、複数の映像や音声が、ユーザの知覚において同一であるかを判定する。映像比較部102は、比較映像蓄積部101に含まれる複数の映像や音声、または受信部106からの映像や音声に対し、相互に同一であるか否かを判定し、判定結果を出力する。判定結果を出力する際、どの伝送路のどの時刻からどの時刻の部分が、別のどの部分と一致するのかを表す情報を出力する。
映像や音声が圧縮されている形式であったり、途中で一旦アナログ信号に変換されたあと、A/Dコンバータによって再度デジタルデータ化される場合においては、データのビット比較において多くの部分が異なってしまう可能性がある。この場合でもユーザが提示された映像を見たり、音を聞いたりすると同一であると知覚することができる。映像比較部102においては、データのビット比較により異なっていても、ユーザの知覚により同一と判断されれば、同一であるとする。
映像や音声を比較する方法として、映像に対しては、輝度や色彩のヒストグラムや圧縮形式のビットレート変化を用い、複数の映像を比較する方法などがある。また音声に対しては、音量変化を用いたり、周波数スペクトラムのヒストグラムを用いる方法などがある。
また、映像や音声の差異をある程度許容したり、差異の大小を確からしさを表すパラメータとして出力するようにしても良い。
例えば、連続ドラマのオープニングにおいては、映像の中で出演者や話数やタイトルのテロップが異なってることがある。また、エンディングにおいては、今回のドラマの中の一部の映像が再利用されていたりする事がある。また、CMのスポンサー表示が異なることがある。音声においては、オープニング映像の裏で流される音声が異なっていることがある。また、音声と映像との切り替えを数秒ずらすなどの演出的な効果が施されることもある。
次に、映像比較部102の動作を図2を用いて詳細に説明する。図2は、発明の実施の形態1におけるにおける映像比較部102による同一リージョン情報生成のフローチャートである。同一リージョンとは、映像や音声の時間的部分(リージョン)において、ユーザの知覚の意味で同一なリージョンである。
サーチ情報を初期化する(ステップS201)。サーチ情報は映像比較部102で次にどの時刻の映像や音声を比較すべきかを示すのデータである。
次に、サーチ情報を図3を用いて説明する。
図3は、発明の実施の形態1におけるある時点でのサーチ情報の例の図である。図3において、サーチ情報310はステップS201で初期化されたサーチ情報の例である。サーチ情報310は、表形式の情報である。各行は、入力する映像や音声に対しサーチを行うべき時刻が格納される。各行は、列is_hit311、列start312、列shift313、列hit_duration314とから構成されている。
列is_hit311は、この行に対応するサーチによって映像や音声が同一であると判定されたか否かの値を格納する。
列start312は、サーチを行う映像や音声の時刻の先頭を格納する。
列shift313は、注目する映像や音声において比較すべきもう一方の時刻との時間の差分を格納する。すなわち時刻startと、時刻(start+shift)とを比較した結果、同一であると判定された際に、値が代入される。なお、列is_hit311が偽(False)の場合は同一であると判定がされていないので、列shift313に格納された値は意味を持たない。図3では、意味を持たない値であることを便宜上、横線で表している。
列hit_duration314は、注目する映像や音声において、αが0からhit_durationの間の値を取るとき、時刻(start+α)と、時刻(start+shift+α)とが同一であると判定されたことを表す。列hit_duration314は、列is_hit311が偽の値を持つときは意味を持たない。図3では意味を持たない値であることを便宜上、横線で表している。なお、処理の効率化のため、必ずしもαが0からhit_durationの間のあらゆる値をとった場合のみを同一であると判定する必要はない。すなわちαとして例えば所定時間間隔の離散値に対して同一であると判定することを条件として良い。
受信部106の出力する映像や音声を、比較映像蓄積部101が、所定間隔で映像をキャプチャして保存する(ステップS202)。全てのフレームを格納しても良いし、例えば一定時間間隔で格納しても良い。あるいは、MPEG2 VideoのGOP(Group Of Picture)といった圧縮形式固有のデータ構造により定められる時間的位置で格納しても良い。
サーチ情報から1つずつ選択することを試みる(ステップS203)。すなわち、ステップS203に入る度に、サーチ情報の行が1エントリ(1行)ずつ順に選択される。
ステップS203において、既にサーチ情報から全てのエントリを選択済みであったために、直前のステップS203で選択すべきエントリが無かった場合にはステップS202に戻る(ステップS204)。
ステップS203で選択されたサーチ情報のエントリのstartと、現在時刻nowとが近い場合に、ステップS203へ戻る(ステップS205)。startとnowとが十分な時間間隔を持たないと、例えば同じ映像が比較的長い時間持続しているときに、自分自身に対して同一であるという意味のない判定を行う可能性がある。ステップS205の条件判断を導入する意図は、このような可能性をなくすためである。
startが所定の時刻より古すぎた場合ステップS207へ、それ以外の場合ステップS208へ進む(ステップS206)。
この条件判断を導入する意図は、サーチ情報のエントリ数を一定個数に制限することで、サーチ情報全体を格納する領域を格納可能な最大サイズ以下に制限すると同時に、映像比較部102による処理速度が想定以上に遅くなることを防ぐことである。あるいは、サーチ情報のエントリ数が定数である場合には、サーチ情報の各エントリのstartがほぼ均等に配置される様に、各エントリのstartの間隔に、エントリ数を乗算した値より古いか否かで判定するようにしても良い。
startにnowを代入する。そしてステップS203へ戻る(ステップS207)。ステップS206によって、startが古すぎて意味がないと判定されているので、start値を適切な値に設定し直す。
is_hitが真(True)のときステップS213へ、それ以外の場合ステップS209へ進む(ステップS208)。
映像比較部102を用い、nowとstartの2つの時刻それぞれに対し、入力の映像や音声が同一であるか否か比較判定する(ステップS209)。
ステップS209で同一であると判定された場合ステップS211へ、それ以外の場合ステップS203へ進む(ステップS210)。
次に、伝送されるコンテンツがどのような場合に同一と判定されるかを図4を用いて詳細に説明する。
図4は、発明の実施の形態1における送出予定情報の例の図である。図2のフローチャートの説明を簡単にするために、同じ送出予定情報を4つに分けて記載している。
図4で横長の帯は、特定の伝送路においてどの時刻に、ユーザが知覚する意味でのコンテンツが伝送され、これがどの時刻に重複し繰り返しているかを模式的に表現した図である。すなわち横長の帯は、右方向が時刻の進行方向に対応しており、帯の下には伝送される時刻が記載される。なお、コロン「:」から始まる数字は、時(hour)を省略した分(minutes)のみの表記である。
帯中で縦線で分割されるそれぞれの矩形がコンテンツを表す。この矩形の中にアルファベットを記入してあるが、アルファベットが同じ矩形同士はユーザの知覚において同じコンテンツであることを表す。
送出予定情報410は、図3のサーチ情報310のエントリ311に対応している。入力の映像や音声として時刻20:00〜20:13と、20:30〜20:43とで同一のコンテンツAが伝送されている。ここで、サーチ情報310のエントリ311の時刻start=20:02に対して現在時刻nowが20:32に到達した時点で、同じコンテンツのAの開始から2分目が同一であるとステップS210で判定される。
shiftに(now−start)の値を代入する。そしてステップS203へ戻る(ステップS211)。
ステップS208で、ステップS203で選択されたエントリの入力の映像や音声が同一であると判定されていなかった(is_hitが偽)とき、かつステップS210で同一であると判定された場合、このステップS211に進んでくる。すなわち、選択されたエントリに対して、今回初めて同一であると判定されたことになる。
ステップS209の比較においては、現在時刻nowと、時刻startとを比較していたので、時刻のずれとしては(now−start)となり、そのずれの値をshitに格納する。
図4の送出予定情報410を用いて説明すると、時刻startが20:02で、現在時刻nowが20:32であるため、shiftとして(20:32−20:02)=30(分)がshiftに代入する値として採用される。
is_hitに真を代入する(ステップS212)。そしてステップS203へ戻る。選択されたエントリに対して同一であると判定されたことを表すためにこの代入を行う。
hit_durationに値(now−start−shift)を代入する(ステップS213)。すなわち映像または音声が、時刻startから時刻(start+hit_duration)の間と、時刻(now−hit_duration)から現在時刻nowの間とで、同一であると判定したことを表している。
図4の送出予定情報420で説明すると、時刻startが20:02、現在時刻nowが20:40で、shiftが30分であるため、hit_durationには(20:40−20:02−30)=8(分)が代入される。そして、斜線421(すなわち時刻20:02から20:10)と、斜線422(すなわち時刻20:32〜20:40)とで、映像や音声がこの期間同一であったことを表している。このとき、サーチ情報320には、エントリ321の情報が格納されている。
映像比較部102を用い、現在時刻nowと時刻(now−shift)の2つの時刻に対し、映像や音声が同一であるか否かを比較する(ステップS214)。
このステップS213に入るのは、選択されたエントリに対し、ステップS208で同一であると判定されたことがある場合である。現在時刻nowと時刻(now−shift)の代わりに、比較映像蓄積部101に保存されている映像や音声と比較できるように、比較する時間を調整しても良い。
ステップS214で映像が同一であると判定されなかった場合ステップS216へ、それ以外の場合ステップS203へ進む(ステップS215)。
is_hitに偽の値を代入する(ステップS216)。これまでの比較で同一であると判定されていたが、ステップS214で同一でないと判定されたので、同一でないと判定されたことを表すために偽の値を代入する。
図3で説明すると、このとき、サーチ情報は、サーチ情報330のエントリ331の様になっている。
時刻startから逆方向に、shiftだけ時刻をずらして同じ映像がどこまでの範囲にあるかをサーチする(ステップS217)。サーチ情報の各エントリに対し、startの値はステップS207の代入により設定される。しかし、エントリ間でstartの間隔が広い場合には、同一の映像や音声である区間の開始がstartと一致するとは限らないので、startから時間をさかのぼっても一致する範囲が存在する可能性がある。
このステップS217においては、時刻(start−β)と時刻(start+shift−β)とで、入力の映像や音声が同一であるβの範囲を0から順に値を大きくして探す。βの探索範囲は、ステップS203で選択されたエントリのstartより過去でかつ最も近いstartを持つ、エントリのstartの値である。
図4で説明すると、startの20:02から、コンテンツAの先頭20:00までさかのぼることができるので、βの値として2(分)が得られる。
ステップS217で逆方向にサーチした範囲の和集合をとり、その結果を同一リージョン情報にマージする(ステップS218)。そしてステップS203へ戻る。
図5は、発明の実施の形態1における同一リージョン情報の例の図である。同一リージョン情報は、注目する映像や音声の同一である時間的部分である同一リージョンを1つの行(エントリ)として表形式で表したデータである。各同一リージョンは、列start511、列shift512、列hit_duration513を持つ。サーチ情報と同一の名前は同種の内容が格納される。ただし、サーチ情報との違いは、サーチ情報で時間的に隣接する同一と判定された複数のエントリが、同一リージョン情報では単一のエントリにマージされることがあることである。
サーチ情報330のエントリ331と、ステップS217で得られたβ=2(分)に対し、同一リージョン情報510の様に、start=20:02から逆方向にβ=2分だけ戻した値が、startに代入される。また、hit_durationに対しても、サーチ情報330のエントリ331の11分に対し、βだけのばした13分が、同一リージョン表のエントリに代入される。
以上のステップS205からステップS218の処理を、ステップS203で選択されるサーチ情報のエントリそれぞれに対して行うことで、サーチ情報が作成されていく。
コンテンツAに対しては、サーチ情報340のエントリ341、エントリ342、エントリ343が作られる。
また、コンテンツDに対しては、図4の送出予定情報430に対応して、サーチ情報340のエントリ344が作成され、最終的にはサーチ情報350のエントリ352が得られる。そして同一リージョン情報のエントリ521が追加される。
また、コンテンツBに対しては、図4の送出予定情報440に対応して、サーチ情報350エントリ351が作成され、最終的にはサーチ情報360のエントリ361が得られる。そして同一リージョン情報のエントリ532が追加される。
次に、ループ検出部103の動作を図6と図7と図8とを用いて詳細に説明する。ループ検出部103は、映像比較部102の判定結果を入力し、複数の映像や音声の間で同一のものが出現する周期性の情報であるループ情報を検出し出力する。
図6は、発明の実施の形態1におけるループ情報生成の処理フローチャートである(ステップS601)。
同一リージョン情報から1つずつエントリを選択する処理を試みる。
ステップS601で既に同一リージョン情報から全てのエントリを選択済みであったために、直前のステップS601で選択すべきエントリが無かった場合には処理を終了する(ステップS602)。
同一リージョン情報に対し、同一shift毎にdurationのヒストグラムを求める(ステップS603)。
なお、この際、ある程度近いshift値を同一の値としてヒストグラムを求める。これにより、コンテンツ伝送側の時刻の揺れや、サーチ情報のエントリのstartが離散的な値をとる場合においても、取りこぼしのない検出を行うことが可能となる。
求めたヒストグラムで最大値を取るshiftの値を求める(ステップS604)。
shiftに対するヒストグラムの値の割合を求める(ステップS605)。
ステップS605で求めた割合が閾値以上であればステップS607に、それ以外の場合はステップS608へ進む(ステップS606)。
上記割合が100%に近い場合は、非常に類似したコンテンツの系列が、時間的に隣接して出現している場合に対応している。
ステップS604で得られたshiftを持つ同一リージョン情報に対して、ループ情報に情報をマージする(ステップS607)。そしてステップS601へ戻る。このループ情報へのマージ処理に対しては、図7を用いた説明を後述するものとする。
(ステップS608)3回以上同じ繰り返しであった場合にはステップS607aへ、それ以外の場合はステップS601へ進む(ステップS607)。
ステップS606で割合が少ないためにループとして却下されてステップS608に進んだ場合でも、十分な回数の繰り返しが周期的に行われることが確認できれば、ループが検出されるものとする。
次に、ステップS607の処理について、図7を用い改めて詳細に説明する。
図7は、発明の実施の形態1におけるループ情報のマージ処理のフローチャートである。
当該伝送路(チャンネル)で追加するループと隣接するエントリをループ情報から検索する(ステップS701)。
図8は、発明の実施の形態1におけるループ情報の例の図である。ループ情報において、各行はコンテンツのループに対応した表形式の情報である。ループ情報は複数の伝送路に対するループの情報を提示する。
ループ情報800の各エントリは、列channel801、列loop_type802、列start803、列duration804、列cycle805を持つ。
列channel801は、どの伝送路に対応するかを区別するために、伝送路を特定する情報を格納する。
列loop_type802は、ループの種類を表す。列loop_type802に格納される値は、open_loop、close_loop、unknownである。
open_loopは、ループが存在することが分かっていても、そのループがコンテンツとしてどの時刻から開始しているのか分からない状態を表してる。この値は、ループ情報にエントリが新たに追加される際のデフォルト値である。
close_loopは、ループがコンテンツとしてどの時刻から開始しているのかが分かっている点以外、open_loopと同様である。
unknownは擬似的なループ情報のエントリであることを表している。unknownなループを用いる意味は、ループを検出できた前後の時間が、図6でまだ処理されていないのか、あるいは、図6で処理されたが結局はループではなかったのかを区別するためある。後者の場合、loop_typeの値がunknownのエントリをループ情報に追加する。
列start803は、ループの開始時刻である。loop_typeの値がclose_loopの場合には、列start803にはループの繰り返しが開始する時刻が格納される。open_loopの場合には、ループの繰り返し中に含まれる時刻がstart803に格納される。
列duration804は、ループで同一であると判定されたコンテンツの系列の繰り返しによって覆われる時間長である。
列cycle805は、ループが出現する間隔(周期)である。
ステップS701で検索結果があった場合にはステップS703に、それ以外の場合ステップS706に進む(ステップS702)。
cycleとshiftが一致した場合ステップS704へ、それ以外の場合ステップS706へ進む(ステップS703)。ここで、cycleがほんのわずか違う場合においても一致すると判定させることで、ループ検出の失敗を防げるケースがある。
例えば同一リージョン情報530において、エントリ531と、エントリ532とはloopが30分と29分と少し異なるが、1分程度のshiftとcycleの差異を許容することで、ループ情報800のエントリ820において、1つの繰り返しの長さ(cycle)が30分のエントリにマージされる。
ステップS701で取り出されたループ情報中のエントリと、類似リージョン情報のマージすべきエントリとで、一方が他方のループ先と共通する時間的部分がある場合ステップS705へ、それ以外の場合ステップS706へ進む(ステップS704)。ここでループ先とは、同じループに含まれる繰り返しのうちの1つであることを表している。
登録済みのエントリにマージする(ステップS705)。そしてステップS708へ進む。2つのループが、cycleが一致し、かつ時間的に重複する部分があるので、同じループであると判定された場合、このステップに入る(ステップS706)。
新規にループのエントリをループ情報に追加する。
隣接したループがない場合(ステップS702からステップS706に入った場合)、cycleが一致しない場合(ステップS703からステップS706に入った場合)、一方が他方と時間的に重複しない場合(ステップS704からステップS706に入った場合)、のいずれかにおいては現在登録されているループとは異なると判断し、新たなループのエントリとして新規登録される。
typeを”open_loop”に設定する。そしてステップS708へ進む(ステップS707)。
図7の処理において、当該CHで、相互に隣接するエントリが新たに出現したか検索する(ステップS708)。ここで隣接したというのは、ループ先を含め時間的共通部分が無いが、時間が隙間無く隣接している場合である。
ステップS708での検索の結果が存在する場合ステップS710へ、それ以外の場合は処理を終了する(ステップS709)。
ステップS708で得られた1組のエントリにおいて、”open_loop”の値を持つtypeがあれば、値を”closed_loop”に変更する(ステップS710)。コンテンツの系列として異なるループが隣接して存在している場合には、その時刻が、直前のループの終了点であり、直後のループの開始点であると判断する。
ステップS708で得られた1組のエントリの接する境界が、ループの開始または終了になるようにstartの値を更新する(ステップS711)。そして処理を終了する。
次に、制御部104を説明する。制御部104は、同一シーン検出装置100全体の制御を行う。また、制御部104は、入力部108から入力されるユーザ操作に応じて画面に表示するグラフィック映像(OSD;On Screen Display)を変化させるGUI(Graphic User Interface)などの、ユーザとの対話処理を実現する。制御部104は、CPU(Central Processing Unit)、半導体メモリなどから構成されるマイクロコンピュータで良い。対話処理を行う際には、ループ検出部103の出力するループ情報を用いる。
図9は、発明の実施の形態1における画面表示の例の図である。図9において、バナー表示画面910は、再生部107で再生された映像や音声を提示部110の全面911で提示中に、バナー912をオーバーレイ表示したものである。バナー912は現在視聴している映像や音声に付随する情報を表示する。
例えば、映像や音声が伝送された伝送路(放送された放送チャンネル)や、タイトル、録画したデータ中の再生している時間的位置、そして映像や音声の中に含まれる同一コンテンツの時間的配置である。
図9において、同一コンテンツの時間的配置を表す帯表示913は横方向が再生している映像や音声の時間軸に対応している。帯表示913は着色により時間軸方向の複数の領域に分割されている。分割された領域で同じ色や模様や網掛けをされている部分は同一のコンテンツであることを表している。
帯表示913は、映像や音声の全体を一度に画面に表示しても良い。また、横軸方向に適宜スクロールさせて表示することで、同一コンテンツが細分化されて存在する場合でも視認性よく表示可能になる。あるいは横方向のスクロール表示を行う帯表示と、全体を表示する帯表示との両方を同時に表示したり、切り替えて表示させても良い。
また、現在全面911で再生している場所が映像や音声のどの時間的場所かを、カーソル914と帯表示913との相対的な位置関係により表現している。制御部104は、同一リージョン情報を参照することで、同一のコンテンツがどこに配置されているかを知り、帯表示の描画をOSD生成部109に指示する。
ここで、帯表示の他の例として図10で説明する。
図10は、本発明の実施の形態1における同一コンテンツの表示例の図である。図10では、図4の送出予定情報に対応して5種類の画面表現の例を描いている。図10において、帯表示1010は、背景巡回による帯表示の例である。背景巡回による帯表示1010は、予め色や模様の順序を決めておき、その順番で繰り返し、帯の時間軸方向を描画する。色や模様の順序は、繰り返した部分を含めて、どこが始まりでどこが終わりか分からない様な色や模様の順序を用いる。そして、コンテンツのループの周期に同期させて、色や模様が1周するように帯を着色する。
ユーザは背景巡回表示による帯表示1010を見て、巡回している周期は分かるが、帯状の時間軸で、どこが始まりでどこが終わりか分からない。
なお、簡単のため色や模様が離散的に変化するとして説明したが、帯の時間軸方向に対し連続して変化するグラデーションを用いても良い。また、三角波やサイン波などの周期的な波形を、ループの周期に同期させ帯に表示させても良い。
帯表示1020は、同一のコンテンツには同じ色や模様を施した帯表示の例である。図4の、コンテンツA、コンテンツB、コンテンツDの順の濃さの色で着色している。なお、同一のコンテンツがみつからなかったコンテンツC、コンテンツEに対しては着色していない。
このように、同一のコンテンツを同じ色で着色することは、同一のコンテンツがどこにあるのか画面表示から直感的に把握しやすい利点がある。
帯表示1030は、同一のコンテンツが存在するところを1種類の色や模様で着色する帯表示の例である。1つの帯に同一のコンテンツが数多く存在したり、帯表示の大きさに比べて非常に短い同一のコンテンツである場合には、コンテンツ毎に別々の色や模様でわけると逆に視認性が低下する可能性がある。しかし、この帯表示によれば視認性の低下を防ぐことができる。
なお、背景色を分けて描画する以外に、背景色が変わる帯の時間的位置に境界線を描画してもよい。
なお、帯表示1010での背景巡回による表示と併用し、背景巡回をさせるが、どことも一致していない部分は着色しない表示にしたり、逆にどことも一致していない部分のみ着色する表示にしても良い。
または、帯表示1020の表示と併用し、ある程度以上時間的に細かい同一コンテンツに対しては同一の色や模様で着色させても良い。
帯表示1040は、ループの繰り返しの開始と終了とが分かっている場合、それを帯の時間軸方向に分割する絵柄によって表現する方法である。ループの繰り返しの開始と終了は、ループ情報でloop_typeの値がclose_loopである場合、startから(start+duration)までの範囲の時刻(start+N*cycle)に発生する。ただしNは任意の正数で、「*」は乗算の演算子である。
帯表示1050は、帯表示1040のループの繰り返しの開始と終了を分割する絵柄と、帯表示1030による同一コンテンツが存在する部分への着色を併用した例である。同様に帯表示1050は、帯表示1010や帯表示1020併用して表示しても良い。
次に、録画された映像や音声の一覧表示画面の例について説明する。
図9において、一覧表画面920は、録画した映像や音声を、複数リスト表示する。一覧表画面920のリスト表示921が1つの録画を表し、伝送路(放送チャンネル)、録画日時、タイトルなどが表示される。更に図10で説明した帯表示も併記されている。ここでは、図10で説明したいずれの帯表示を用いても良い。
次に、番組表表示の例について説明する。
図11は、本発明の実施の形態1における番組表表示の例の図である。ここでは過去の番組表を表示しているか、毎日同じ時間には同じ放送がされるなどして、事前に伝送される映像や音声に含まれる同一リージョンやループを検出できていたと仮定している。
図11は、図20の画面2000を元に、本発明の技術を導入した画面である。従来1つの矩形で表示されていただけの番組2001が、番組1111では同一コンテンツが同色で着色され表示されている。このため、番組表示上でのコンテンツの重複が一目で分かる。同一コンテンツのうちのいずれかのみにフォーカスを表示・移動させ、フォーカスのあるコンテンツに対して予約録画することで、必要十分なコンテンツの録画を行うことが可能になる。
あるいは、過去の放送の多くを事前に録画して後日の再生に備える「ホームサーバー」にも適用できる。この場合は、過去の番組表を表示し、録画した番組について、帯表示を行い、必要なコンテンツの部分のみを永続的に保存したり、別の記憶媒体に移し替えたり、視聴したりすることが、フォーカスを移動して選択するだけで容易に実現可能になる。これにより、従来のように映像や音声をユーザが早送りや巻き戻し再生などを繰り返しながら探し出す操作が不要になる。
また、図20の伝送路2002に関する表示は、EPGデータとして別々の番組として分割しているが、そのどれとどれとが同一か視聴するまで分からない。これに対し、図11では、同一コンテンツを同じ色に着色すると共に、ループが変わる部分に絵柄1114を表示することで、コンテンツが変化する時刻も表現できる。全てのコンテンツを1回ずつ視聴したいユーザは、伝送路2002の番組の全てを視聴しながら選択しなくても、絵柄1114の上下から1つずつを選んで視聴するだけでよい。
また、画面1120は背景色の着色のかわりに、境界線を描画することで同一コンテンツの変化点を表現した番組表表示の例である。ここでは、図10の表示帯1040同様にループのloop_typeがclose_loopであり、ループの繰り返しの開始と終了とが分かる場合を想定している。ループの繰り返しの開始と終了は点線1123の様な細かい点線で、別のループに入る境界は荒い点線1122で描画している。
また、元々別々の番組としてEPGデータが送られている伝送路2002においては、同じコンテンツとの境界を一点鎖線1125で、別のコンテンツになる部分を二点鎖線1126で表現している。
(実施の形態2)
本発明の実施の形態2を図12、図13を用いて説明する。
本発明の実施の形態2は、映像や音声をリアルタイムに受信、録画、再生を行っている際に、含まれるコンテンツが、新たなコンテンツに変わることを検出しユーザに提示する処理を示す。
実施の形態1の、図2、図6、図7のフローチャートを用いて説明した、ループ情報を生成する処理は、実施の形態2においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図12は、本発明の実施の形態2におけるコンテンツ更新の通知画面の例の図である。画面1200では、比較映像蓄積部101に録画された映像や音声が全面911に再生表示されている。全面911で視聴している最中に、新たなコンテンツに変わることを検出すると、画面1200にポップアップ画面をオーバーレイ表示する。
ここでは、別の伝送路に対して新たなコンテンツが伝送されたことを、その伝送路名、更新された時刻をポップアップ画面1201で表示する。また、その伝送路で伝送されている映像や音声をポップアップ画面1202にピクチャー・イン・ピクチャーで表示する。
次に、図12の表示を実現する処理について詳細に説明する。
図13は、本発明の実施の形態2におけるコンテンツ更新検出のフローチャートである。
ループ情報から、現在選局しているCH対に関するエントリを1つずつ選択することを試みる(ステップS1301)。
ステップS1301で既に全てのループを選択済みであったために、直前のステップS1301で選択すべきエントリが無かった場合にはステップS1301へ進む(ステップS1302)。それ以外の場合はステップS1303へ進む。
新たに検出されたループであればステップS1304へ、それ以外の場合はステップS1301へ進む(ステップS1303)。
新たに検出されたループであることの判定は、いくつかの実現方法がある。
まず、第1の方法は、図7のループ情報を生成するフローチャートにおいて、ステップS710に到達したときの対象とするチャンネル(伝送路)を新たなループであると判定することである。
第2の方法は、ループ情報の該当するエントリにおいて、時刻(start+duration)から時刻(start+duration+cycle)においても、時刻startから時刻(start+cycle)と同じ映像や音声が受信されると期待する。そして、図2により生成されるサーチ情報のエントリを監視して、上記期待に背いて映像や音声が同一でないと判断された時点で新たなループに入ったと判定する方法である。
この方法は複数回以上繰り返さない場合にも検出されてしまう可能性があるが、更新されると直ぐに通知できる利点がある。
制御部104が、OSD生成部109に対し、画面1200を生成する指示を送る(ステップS1304)。画面1200が提示部110に提示されることで、ユーザにコンテンツ更新が通知される。そしてステップS1301へ戻る。
なお、受信部106で受信中の映像や音声に対してループ情報を生成する処理を行い、画面1200にピクチャー・イン・ピクチャーによる画面1202の映像表示を行わず、番組に関する情報1201のみを表示することもできる。また、チャイム音を発生させたりすることで、現在視聴中の映像や音声に対するコンテンツの更新を通知するようにしてもよい。チャイム音を鳴らすことで、装置の電源を入れてはいるが、提示部110を凝視せず、家事など別のことをユーザ行っている使用状況でも、更新されたコンテンツを見落とさない。
あるいは、受信部106に複数の伝送路を同時に受信できる能力があれば、画面911に表示している伝送路の映像や音声と異なる伝送路に対し、新たなコンテンツに更新されたことを検出でき、ピクチャー・イン・ピクチャー表示が可能となる。
あるいは、通知の方法として、通知のタイミングで自動的に画面を提示部110に表示したり、提示部110に表示する映像の輝度を低い状態から高い状態に変更したり、音声の再生レベルを、低い状態から高い状態に変更したりすることが考えられる。
特に、デジタルテレビなどの民生機器においては、リモコンからの電源オフの赤外線信号を受け取った状態では、EPGデータなどの受信のためにCPUやメモリなどからなる制御部は動作しているが、CRT、PDP、液晶などの表示デバイスには通電しない。このような状態を「スタンバイ状態」と呼ぶ。
このとき、新たなコンテンツの検出をスタンバイ状態で処理し、検出後に通知を行うタイミングでスタンバイ状態から、通常の電源オン状態に変更する。また、新たなコンテンツでない場合には自動的にスタンバイ状態に遷移することもできる。
一般に通常の電源オン状態よりもスタンバイ状態の方が消費電力は大幅に低いため、全体としての消費電力量の削減が可能になる。
(実施の形態3)
本発明の実施の形態3を図14を用いて説明する。
本発明の実施の形態3は、複数の伝送路で伝送される映像や音声に対し、同じループに属さない映像や音声をなるべく多く、かつ、短時間に巡回し終える処理を示す。これを実現するために、受信する伝送路を自動的に切り替える。
重複した映像や音声が出現すると、選局が自動的に切り替わるため、より多くの映像や音声を視聴したり蓄積したりするのに、必要最低限の時間しか必要としない。これにより、ユーザの煩雑さを低減でき、また、蓄積に必要な容量も節約できるし、全ての録画を終えるまでに必要な総電力量も削減できる。
実施の形態1の、図2、図6、図7のフローチャートを用いて説明した、ループ情報を生成する処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図14は、本発明の実施の形態3における複数伝送路で自動巡回する処理のフローチャートである。
ループを1周以上受信したことを検出した場合にはステップS1402に、それ以外の場合にはステップS1301に戻る(ステップS1401)。
具体的には、実施の形態1の図7で説明したループ情報にマージする処理において、ステップS706で新規にループを追加する処理に到達したタイミングで、ループを1周以上受信したと判断させる。
入力する映像や音声の1ループ分を比較映像蓄積部101に保存する(ステップS1402)。比較映像蓄積部101へは、再生部107で再生可能な形式で蓄積される。
ステップS1401でループを1周以上受信したと判断したタイミングでは、受信する映像や音声はループの2周目以上に到達している可能性がある。
なぜなら、ステップS1401での処理の処理遅延だけでなく、実施の形態1の図6のループ情報のマージ処理でステップS608からステップS607aに入った場合には、受信を初めてから3回以上ループを回っている可能性があるからである。
なお、ここでは1周分としたが、2周分を蓄積するようにしてもよい。2周分以上蓄積しておけば、ループの先頭が何処か分からなくても1周分はつなぎ目のない完全な形で、蓄積した映像や音声中に含まれいる。従って、頭出しさえ出来れば1周分をつなぎ目がなく再生できる利点がある。
次のCHに選局を変更する(ステップS1403)。そしてステップS1301に戻る。
(実施の形態4)
本発明の実施の形態4を図15を用いて説明する。
本発明の実施の形態4は、録画済みの映像や音声の再生中に、重複した時間的部分を自動的にスキップする方法を示す。
実施の形態1の、図2、図6、図7のフローチャートを用いて説明した、ループ情報を生成する処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図15は、本発明の実施の形態4における重複自動スキップ再生のフローチャートである。
入力部108から、ユーザが映像や音声の再生を開始させる指示を入力する(ステップS1501)。
制御部104が再生部107に指示して、比較映像蓄積部101に蓄積されている映像や音声の再生を開始する(ステップS1502)。
現在再生している時間的場所がどこであるかを、対応する同一リージョンに対応付けて記録する(ステップS1503)。
ステップS1503で記録した情報を用い、既に再生済みの同一リージョンであるか判定する(ステップS1504)。再生済みであった場合にはステップS1505へ、それ以外の場合にはステップS1506へ進む。
同一リージョンの長さだけ早送りする(ステップS1505)。既に再生済みである同一リージョンはこの処理によりスキップされる。
コンテンツの最後まで再生を終えた場合には処理を終了する(ステップS1506)。それ以外の場合にはステップS1503へ戻る。
なお、録画済みの映像や音声について説明をしたが、ネットワーク経由のストリーミング再生においても、早送り再生が行えて、その中で同一シーン検出やループ検出の処理が行えるのであれば実現可能である。
(実施の形態5)
本発明の実施の形態5では、録画済みの映像や音声の再生中に、ユーザからのスキップ再生を指示する操作を受け付け、重複した時間的部分を自動的にスキップする方法について説明する。
実施の形態1の、図2、図6、図7のフローチャートを用いて説明した、ループ情報を生成する処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図16は、本発明の実施の形態5における手動スキップ再生のフローチャートである。
ユーザからの操作の入力が無いか確認する(ステップS1601)。
ステップS1601において再生スキップの操作が入力されていた場合にはステップS1603へ、それ以外の場合にはステップS1601へ進む(ステップS1602)。
次の別ループが存在している場合にはステップS1604へ、それ以外の場合にはステップS1605へ進む(ステップS1603)。
次の別ループの先頭まで再生箇所を移動する(ステップS1604)。そしてステップS1601に戻る。
次の映像や音声の録画の再生を開始する(ステップS1605)。そしてステップS1601に戻る。
上記のように通常は次の録画までスキップするが、1つの録画の中に繰り返しが存在する場合には、次の繰り返しの冒頭までスキップして再生を始める。これにより、従来はスキップすることで見落としてしまっていた映像や音声を、見落とさない。
また、スキップ再生を行う操作は、従来からある操作に対する互換性を保持したまま拡張している。このため、ユーザにとっては新たな操作を覚えることなく高度な機能を使いこなすことが可能となる。
(実施の形態6)
本発明の実施の形態6を図17を用いて説明する。
本発明の実施の形態6は、録画された映像や音声中から重複している部分を自動的に削除する処理を示す。
実施の形態1の、図2、図6のフローチャートを用いて説明した処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図17は、本発明の実施の形態6における重複シーンの削除編集のフローチャートである。
同一リージョン情報から同一リージョンを検索する(ステップS1701)。
既出の同一リージョンであればステップS1703へ、それ以外の場合にはステップS1704へ進む(ステップS1702)。
比較映像蓄積部101に蓄積された映像や音声から、同一リージョンの長さだけ省略する(ステップS1703)。
この省略処理は、蓄積されている映像や音声の実体の一部を削除しても良い。あるいは、プレイリストを編集することで、データとして存在しているが再生時にスキップされるようにしても良い。
最後まで到達した場合にはステップS1701へ、それ以外の場合には処理を終了する(ステップS1704)。
上記では単に同一リージョンであるかで削除したが、実施の形態1の図7で説明したループの検出に基づき、ループである場合のみ削除するようにしてもよい。この場合、ニアVODの様に繰り返し再生される伝送路に適し、たとえ途中に短時間挿入されたCM等が毎回異なる状況であっても、正しく削除できる。
(実施の形態7)
本発明の実施の形態7を図18を用いて説明する。
本発明の実施の形態7は、ユーザ操作により開始された映像や音声の録画の停止を自動的に行う処理を示す。
実施の形態1の、図2、図6、図7のフローチャートを用いて説明した、ループ情報を生成する処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図18は、本発明の実施の形態7における蓄積自動停止のフローチャートである。
ユーザからのコンテンツの蓄積を開始させる指示を入力する(ステップS1801)。
蓄積を停止する(ステップS1802)。
なお、ここでは1周分としたが、2周分を蓄積するようにしてもよい。2周分以上蓄積しておけば、ループの先頭が何処か分からなくても1周分はつなぎ目のない完全な形で、蓄積した映像や音声中に含まれている。従って、頭出しさえ出来れば1周分をつなぎ目がなく再生できる利点がある。
なお、全ての実施の形態において、映像や音声をユーザが視聴する対象としたが、いずれか一方のみでも実現可能である。例えば音声のみを扱う場合、映像比較部102は音声を比較する様に構成すればよい。
また、映像比較部102による処理で、映像による判断と音声による判断との両方を同時に実行し、2種類の結果に重み付けなどを行って総合的に判断してもよい。こうすることで、より精度を高めることができる。
あるいは、より処理負荷の軽い処理を先におこない真偽の目星を予めつけることで、平均的な処理速度の向上や、消費電力の低減を達成することができる。
以上説明した本発明の同一シーン検出方法によれば、以下の効果が得られる。
(1)どの部分が内容的に重複しているか、またどこで内容が一周しているかを映像や音声を実際に視聴することなく、画面表示を見て把握できる。視聴したい部分を短時間に把握でき、時間的な無駄を省くことができる。
(2)重複していない映像や音声になったことがユーザに通知されるため、何度も同じ映像や音声を視聴する必要がない。この結果、短時間でより多様な情報を視聴可能となる。ユーザは別のコンテンツを見ていたり、あるいは画面を見ていない場合でも、通知を用いることで新たな情報を見逃さない。
(3)複数の伝送路から映像や音声を受信可能な状況において、重複部分の出現を検出した場合に自動的に別の伝送路に切り替える。無操作で行われるため、ユーザによる操作手順を省略できるだけでなく、同じ内容であるかをユーザが判別する必要すらないため、ユーザの煩雑が改善される。
(4)ニアVODの蓄積や、連続ドラマなどを複数回蓄積した際に複数回含まれる主題歌やCMなどを、同一シーンとして検出することで、自動的に再生時にスキップする。冗長な内容を視聴する必要がなくなる。
(5)蓄積したコンテンツを再生中に、スキップ再生ボタンを押すことで、重複した部分をスキップして冗長でない場所まで再生場所を進めることができる。
(6)蓄積したコンテンツに含まれる重複したシーンをユーザが確認することなく自動で省略することができる。視聴時間の短縮や、編集の自動化、蓄積領域の削減などが達成できる。
(7)ニアVOD的な放送が行われている伝送路で蓄積開始すると、コンテンツデータ情報によって繰り返しの始めや終わりが分からなくても自動的に繰り返し1回分だけ蓄積することができる。蓄積領域の無駄な浪費や、受信する為の資源を解放しないために他の伝送路の蓄積を妨げることを防止できる。
本発明の方法及び装置は、映像や音声を再生する装置において、映像や音声に過去に出現した時間的部分であるシーンが含まれる可能性がある場合に、効率よく映像や音声をユーザが視聴可能とする手法として有用である。
このため、放送を受信するテレビやセットトップボックス、ハードディスクまたはDVDのビデオレコーダ、パッケージメディアを再生するDVDプレーヤやAVビューワ、あるいはインターネットの放送局から受信するブロードバンド・レシーバなどの用途に有用である。
本発明は、デジタルテレビの受信する情報を処理する装置において、重複部分を含んだ映像や音声をユーザに提示する装置に関する。
特開2001−249874号公報は、インターネットのWebページの更新を、それぞれのWebページを巡回することで検出するソフトウェアに関する。一般にはこの種のソフトウェアは「巡回ソフト」と呼ばれる。特開2001−249874号公報は特に、1枚のWebページ上で更新された部分だけを、フォントや色などを変化させることで際立たせた表示について開示している。
特開平1−202992号公報は、テレビ信号に重畳した文字情報によってニュースなどを伝送する文字多重放送に関する。内容が更新されたことを検出し、受像器に取り付けられたランプを点灯したり、アラーム音を出してユーザに更新したことを知らせる技術について開示している。
特開2004−318389号公報は、Webページを表示するソフトウェアであるWebブラウザなどに搭載されているブックマークリストに関する。ブックマークリストに登録されたWebページが更新されているかを、ソフトウェアが自動的にWebページを巡回参照することで調査する。そして、ブックマークを表示する際に更新の状況を表示に付加する方法について開示している。
本発明の従来技術との違いを明確化するために、本発明の実施の形態に近い従来技術であるデジタルテレビの構成について説明する。
図19は従来のデジタルテレビの構成図である。図19において、デジタルテレビ1900は、アンテナ1901、受信部1902、再生部1903、EPG(Electric Program Guide)データ蓄積部1904、入力部1905、制御部1906、OSD生成部1907、提示部1908とから構成される。
アンテナ1901は、放送の電波を高周波信号に変換する。受信部1902は、アンテナ1901が出力する高周波信号を受信し、映像、音声、EPGデータ等の付加情報などのデジタル信号に分離(Demultiplex)し出力する。受信部1902はデジタルチューナーモジュール及び、MPEG2−TS(Motion Picture Expert Group 2−Transport Stream)のトランスポートデコーダで良い。なお、MPEG2−TSは国際規格であるISO/IEC13818−1で定義されている。
再生部1903は、受信部1902の出力する映像と音声のデータを受け取り、ユーザに提示すべき映像や音声の電気信号にデコードする。受信部1902が出力する映像や音声データがMPEG2と呼ばれる形式であれば、再生部1903は、MPEG2デコーダで良い。
EPGデータ蓄積部1904は、受信部1902の出力するEPGデータを蓄積する。蓄積部は半導体メモリやハードディスクなどの2次記憶媒体でよい。
入力部1905は、ユーザからの操作を受け付ける。すなわちユーザによる物理的な操作を電気信号に変換する。入力部1905は、リモコンとその受光部、本体に付けられている電気スイッチ、あるいはキーボード、マウスなどのポインティングデバイス、マイクと音声認識デバイスなどでよい。
制御部1906は、デジタルテレビ全体の制御を行うと共に、入力部1905から入力されるユーザ操作に応じて画面に表示するグラフィック映像(OSD−On Screen Display)を変化させるGUI(Graphic User Interface)などの、ユーザとの対話処理を実現する。制御部1906は、CPU(Central Processing Unit)、半導体メモリなどから構成されるマイクロコンピュータで良い。
OSD生成部1907は、制御部1906から与えられる描画命令に従い、内部に持つフレームメモリに対しグラフィックスや文字フォントを描画する。そして、フレームメモリに作られたグラフィック映像を電気信号として提示部1908に出力する。
提示部1908は、再生部1903からの映像や音声の信号と、OSD生成部1907からのグラフィック映像とを入力し、ユーザが知覚可能な物理現象である光や音に変換する。提示部1908は、プラズマディスプレイパネルや液晶ディスプレイパネルと、スピーカーとから構成されていてよい。
次に従来の装置の提示部1908において、ユーザに対し提示される画面例について説明する。
図20は、従来の装置による番組表全体を表す図である。図20において、番組表2000は、新聞の番組欄を模した配置で表示されている。横方向の各列は、コンテンツ(番組)が伝送される伝送路(放送チャンネル)を表す。また、縦方向は時間軸を表す。中央にある矩形のそれぞれは、番組表を構成する元データであるEPGデータにより定義された1つの番組を表している。またそれぞれの枠には番組のタイトルを表す文字列が表示される。図20では簡単のため、タイトルの文字列は、番組2001を除き省略してある。
ここで、番組2001に注目する。番組2001はEPGデータにおいて、1つの長い番組として定義されているため、1つの矩形として表示されている。しかしながら、ユーザが知覚する実際の映像や音声の観点においては、必ずしも1つの長い番組であることを保証してはいない。
このため例えば、ニアVOD(Near−Video On Demand)や放送局のプロモーション・チャンネルの様に同じ番組が番組2001の中で繰り返し放送されることがある。
また、同日の別時刻や、別の日に同じ番組が再放送されることがある。さらには、同じ系列局の地上アナログ放送と地上デジタル放送の様に、同時刻に別の伝送路(放送チャンネル)において同じ番組がサイマル放送(simultaneous broadcasting)として伝送される場合がある。これらが同一の番組であることを表すEPGデータが伝送されなかったり、そもそも同一と表現できるデータ形式が定義されていなかったりする場合もある。
また、音楽専門の放送局などでは実際に1つの番組(曲)毎に別々の番組として伝送していないことが多い。
また、災害発生直後に急遽放送されることになる災害状況の放送などでは、EPGデータが災害発生前の通常番組のままで、映像や音声だけが災害状況の放送になっている場合がある。また、繰り返し同じ映像や音声が流されることがある。
さらには、インターネット上のブロードバンド技術を伝送に用いた放送局などにおいては、URI(Uniform Resource Identifier)などによって特定される1つの伝送路が1つのコンテンツとなっていることがある。また、1または数個のコンテンツが繰り返し伝送されることがある。コンテンツ毎にわけられたEPGデータに相当する情報が十分に提供されていなかったり、そもそもEPGデータにあたるフォーマットが定義されていないために、どの時刻から各コンテンツが開始するか不明な可能性がある。
以上のように、実際の映像や音声といったコンテンツ(番組)が繰り返し伝送されているが、どの時刻に、各コンテンツの繰り返しの頭が始まるのかがEPGデータから得られない状況が起こり得る。上記の状況に対し、従来技術における課題は以下の通りである。
(1)同一のシーンを含んだり、同じシーンが繰り返し出現するコンテンツを視聴する場合を考える。番組表データなどのメタデータが不十分である場合にはどこに同一のシーンが重複して含まれているかは、実際にコンテンツを全て視聴するまで分からない。このため、同じシーンを何度も視聴してしまい時間を浪費してしまったり、重複していないシーンがまれに含まれていても見落としたりしていた。また、早送り再生などを用いれば多少の時間短縮は可能であるが、逆に操作を行う煩雑さは増加してしまっていた。
(2)繰り返し同じコンテンツが送られる放送を視聴しており、不定期に内容が更新される場合を考える。ユーザは更新内容をもれなく視聴するには、何度もまたは長時間、同じ内容を視聴する作業を強制される。
(3)複数の伝送路でリアルタイムに送られるコンテンツを受信可能であり、各伝送路で同じコンテンツが繰り返し送られ、不定期にコンテンツが更新される場合を考える。この時、全ての伝送路で流されているコンテンツを全て得るには、伝送路を順に変更して新しいコンテンツが流れていないかユーザが確認する必要がある。インターネットのWebページなどであればコンテンツが、ファイル形式であるため、ファイル同士の比較や、ファイルのバイト数やタイムスタンプの比較によって更新されたかどうかは速やかに判断が可能である。しかしながら、映像や音声の場合には区別ができないため、人手に頼るしかなかった。
(4)連続ドラマの複数話をまとめて蓄積しそれを再生する場合を考える。各話毎に毎回同じオープニングやエンディングあるいはCMを視聴することを強制され、ユーザにとっては時間の無駄であった。30秒間早送りするCMスキップなどの機能も従来の機器にあるが、余分な操作が必要となる。さらに、オープニングは30秒の倍数でない可能性があるので、本編が一部欠けてしまったり、重複部分を完全にスキップできなかったりした。
(5)同じコンテンツが繰り返し送られる放送を長時間蓄積した後、再生する場合を考える。蓄積の途中でコンテンツが更新された場合に、そのコンテンツの開始する位置に頭出しするためには、ユーザが画面を見て、早送りや巻き戻しなどの操作を繰り返し操作する必要があり煩雑であった。また、操作した結果、結局は更新されたコンテンツが蓄積されておらず無駄な手間を費やしてしまうこともあった。
(6)蓄積したコンテンツに含まれる重複した同一シーンやコンテンツが複数含まれていた場合、それを視聴するユーザにとって時間の無駄であり、また蓄積領域を浪費していた。
(7)同じコンテンツが繰り返し送られるが、各繰り返しに対しEPGデータに含まれる時刻情報が対応付けられていない場合を考える。このとき、1周分だけ蓄積しておきたい場合、ユーザがコンテンツの開始するタイミングを放送を視聴しながら判断して蓄積を開始し、1周終わったところで蓄積を停止する操作を行う必要があった。この様な操作は、煩雑であるだけでなく、操作するタイミングを間違えてしまうことで、蓄積したコンテンツの一部が欠けてしまったり、不必要な部分を蓄積してしまうことで蓄積領域を浪費してしまったりしていた。
本発明に係る同一シーン検出方法は、映像や音声の時間的部分であるシーンに対し、内容が同一とユーザが知覚する同一シーンを検出し同一シーン集合として抽出する。次に、各同一シーン集合に含まれる同一シーンの出現時刻の差分値を求める。そして、複数の同一シーン集合の差分値が近い同一シーンで出現時刻が近接するものの集合を同一リージョンとして選択する。そして、同一リージョンに含まれる同一シーンの時間長の合計が所定の値を超える場合に同一リージョンが差分値を出現周期とするシーンループであると判定する。そして、得られた周期性をユーザに提示する。
これにより、同一のシーンを含んだり、同じシーンが繰り返し出現するコンテンツを視聴する場合にも、どの部分が内容的に重複しているか、またどこで内容が一周しているかを映像や音声を実際に視聴することなく、画面表示を見て把握できる。従って、視聴したい部分を短時間に把握でき、時間的な無駄を省くことができる。
(実施の形態1)
本発明の実施の形態1を図1〜図11を用いて説明する。
図1は、本発明の実施の形態1における同一シーン検出装置の構成図である。図1において、同一シーン検出装置100は、アンテナ105、受信部106、再生部107、入力部108、OSD生成部109、提示部110、比較映像蓄積部101、映像比較部102、ループ検出部103、制御部104とから構成される。
以下では、複数の図の間で同一の構成要素には同一の符号を付与することで、説明を省略する。また、同じ構成要素が同一の図に複数現れる場合には、符号の末尾にアルファベット1文字を付与するものとする。
アンテナ105は、放送の電波を高周波信号に変換する。受信部106は、アンテナ105が出力する高周波信号を受信し、映像、音声、EPGデータ等の付加情報などのデジタル信号に分離し出力する。再生部107は、受信部106の出力する映像と音声のデータを受け取り、ユーザに提示すべき映像や音声の電気信号にデコードする。入力部108は、ユーザからの操作を受け付けて、ユーザによる物理的な操作を電気信号に変換する。
また、OSD生成部109は、制御部104から与えられる描画命令に従い、内部に持つフレームメモリに対しグラフィックスや文字フォントを描画する。そして、フレームメモリに作られたグラフィック映像を電気信号として提示部110に出力する。提示部110は、再生部107からの映像や音声の信号と、OSD生成部109からのグラフィック映像とを入力し、ユーザが知覚可能な物理現象である光や音に変換する。
比較映像蓄積部101は、受信部106からの映像や音声を蓄積する。映像や音声を再生部107にて再度再生可能な形式で蓄積しても良いし、2つの映像または音声が同じか否かを判断するのに十分なデータのみを蓄積してもよい。
例えば、静止画や音声をサンプリングする時間的頻度を減らしてもよい。映像の画面解像度や音声の表現ビット数を減らしてもよい。映像の輝度情報のみや音声の片チャンネルのみを用いてもよい。映像の特定の色のみや音声の特定周波数のみを用いてもよい。映像や音声の圧縮された形式におけるビットレートを用いてもよい。映像や音声を圧縮形式にエンコードする際にエンコーダ内部で中間的に得られる各種パラメータを用いてもよい。映像の輝度のヒストグラム分布や音声の周波数スペクトラム分布や音量を用いたりしてもよい。
比較映像蓄積部101は、2つの映像または音声が同じか否かを判断するのに十分なデータのみに変換する構成要素と、半導体メモリやハードディスク装置などの受動的な蓄積媒体の構成要素とから構成される。前者の構成要素はMPEG2などのエンコーダでもよい。あるいは受信部106の出力をそのまま蓄積するのであれば、半導体メモリやハードディスク装置などの受動的な蓄積媒体そのものであっても良い。
映像比較部102は、複数の映像や音声が、ユーザの知覚において同一であるかを判定する。映像比較部102は、比較映像蓄積部101に含まれる複数の映像や音声、または受信部106からの映像や音声に対し、相互に同一であるか否かを判定し、判定結果を出力する。判定結果を出力する際、どの伝送路のどの時刻からどの時刻の部分が、別のどの部分と一致するのかを表す情報を出力する。
映像や音声が圧縮されている形式であったり、途中で一旦アナログ信号に変換されたあと、A/Dコンバータによって再度デジタルデータ化される場合においては、データのビット比較において多くの部分が異なってしまう可能性がある。この場合でもユーザが提示された映像を見たり、音を聞いたりすると同一であると知覚することができる。映像比較部102においては、データのビット比較により異なっていても、ユーザの知覚により同一と判断されれば、同一であるとする。
映像や音声を比較する方法として、映像に対しては、輝度や色彩のヒストグラムや圧縮形式のビットレート変化を用い、複数の映像を比較する方法などがある。また音声に対しては、音量変化を用いたり、周波数スペクトラムのヒストグラムを用いる方法などがある。
また、映像や音声の差異をある程度許容したり、差異の大小を確からしさを表すパラメータとして出力するようにしても良い。
例えば、連続ドラマのオープニングにおいては、映像の中で出演者や話数やタイトルのテロップが異なってることがある。また、エンディングにおいては、今回のドラマの中の一部の映像が再利用されていたりする事がある。また、CMのスポンサー表示が異なることがある。音声においては、オープニング映像の裏で流される音声が異なっていることがある。また、音声と映像との切り替えを数秒ずらすなどの演出的な効果が施されることもある。
次に、映像比較部102の動作を図2を用いて詳細に説明する。図2は、発明の実施の形態1におけるにおける映像比較部102による同一リージョン情報生成のフローチャートである。同一リージョンとは、映像や音声の時間的部分(リージョン)において、ユーザの知覚の意味で同一なリージョンである。
サーチ情報を初期化する(ステップS201)。サーチ情報は映像比較部102で次にどの時刻の映像や音声を比較すべきかを示すのデータである。
次に、サーチ情報を図3を用いて説明する。
図3は、発明の実施の形態1におけるある時点でのサーチ情報の例の図である。図3において、サーチ情報310はステップS201で初期化されたサーチ情報の例である。サーチ情報310は、表形式の情報である。各行は、入力する映像や音声に対しサーチを行うべき時刻が格納される。各行は、列is_hit311、列start312、列shift313、列hit_duration314とから構成されている。
列is_hit311は、この行に対応するサーチによって映像や音声が同一であると判定されたか否かの値を格納する。
列start312は、サーチを行う映像や音声の時刻の先頭を格納する。
列shift313は、注目する映像や音声において比較すべきもう一方の時刻との時間の差分を格納する。すなわち時刻startと、時刻(start+shift)とを比較した結果、同一であると判定された際に、値が代入される。なお、列is_hit311が偽(False)の場合は同一であると判定がされていないので、列shift313に格納された値は意味を持たない。図3では、意味を持たない値であることを便宜上、横線で表している。
列hit_duration314は、注目する映像や音声において、αが0からhit_durationの間の値を取るとき、時刻(start+α)と、時刻(start+shift+α)とが同一であると判定されたことを表す。列hit_duration314は、列is_hit311が偽の値を持つときは意味を持たない。図3では意味を持たない値であることを便宜上、横線で表している。なお、処理の効率化のため、必ずしもαが0からhit_durationの間のあらゆる値をとった場合のみを同一であると判定する必要はない。すなわちαとして例えば所定時間間隔の離散値に対して同一であると判定することを条件として良い。
受信部106の出力する映像や音声を、比較映像蓄積部101が、所定間隔で映像をキャプチャして保存する(ステップS202)。全てのフレームを格納しても良いし、例えば一定時間間隔で格納しても良い。あるいは、MPEG2 VideoのGOP(Group Of Picture)といった圧縮形式固有のデータ構造により定められる時間的位置で格納しても良い。
サーチ情報から1つずつ選択することを試みる(ステップS203)。すなわち、ステップS203に入る度に、サーチ情報の行が1エントリ(1行)ずつ順に選択される。
ステップS203において、既にサーチ情報から全てのエントリを選択済みであったために、直前のステップS203で選択すべきエントリが無かった場合にはステップS202に戻る(ステップS204)。
ステップS203で選択されたサーチ情報のエントリのstartと、現在時刻nowとが近い場合に、ステップS203へ戻る(ステップS205)。startとnowとが十分な時間間隔を持たないと、例えば同じ映像が比較的長い時間持続しているときに、自分自身に対して同一であるという意味のない判定を行う可能性がある。ステップS205の条件判断を導入する意図は、このような可能性をなくすためである。
startが所定の時刻より古すぎた場合ステップS207へ、それ以外の場合ステップS208へ進む(ステップS206)。
この条件判断を導入する意図は、サーチ情報のエントリ数を一定個数に制限することで、サーチ情報全体を格納する領域を格納可能な最大サイズ以下に制限すると同時に、映像比較部102による処理速度が想定以上に遅くなることを防ぐことである。あるいは、サーチ情報のエントリ数が定数である場合には、サーチ情報の各エントリのstartがほぼ均等に配置される様に、各エントリのstartの間隔に、エントリ数を乗算した値より古いか否かで判定するようにしても良い。
startにnowを代入する。そしてステップS203へ戻る(ステップS207)。ステップS206によって、startが古すぎて意味がないと判定されているので、start値を適切な値に設定し直す。
is_hitが真(True)のときステップS213へ、それ以外の場合ステップS209へ進む(ステップS208)。
映像比較部102を用い、nowとstartの2つの時刻それぞれに対し、入力の映像や音声が同一であるか否か比較判定する(ステップS209)。
ステップS209で同一であると判定された場合ステップS211へ、それ以外の場合ステップS203へ進む(ステップS210)。
次に、伝送されるコンテンツがどのような場合に同一と判定されるかを図4を用いて詳細に説明する。
図4は、発明の実施の形態1における送出予定情報の例の図である。図2のフローチャートの説明を簡単にするために、同じ送出予定情報を4つに分けて記載している。
図4で横長の帯は、特定の伝送路においてどの時刻に、ユーザが知覚する意味でのコンテンツが伝送され、これがどの時刻に重複し繰り返しているかを模式的に表現した図である。すなわち横長の帯は、右方向が時刻の進行方向に対応しており、帯の下には伝送される時刻が記載される。なお、コロン「:」から始まる数字は、時(hour)を省略した分(minutes)のみの表記である。
帯中で縦線で分割されるそれぞれの矩形がコンテンツを表す。この矩形の中にアルファベットを記入してあるが、アルファベットが同じ矩形同士はユーザの知覚において同じコンテンツであることを表す。
送出予定情報410は、図3のサーチ情報310のエントリ311に対応している。入力の映像や音声として時刻20:00〜20:13と、20:30〜20:43とで同一のコンテンツAが伝送されている。ここで、サーチ情報310のエントリ311の時刻start=20:02に対して現在時刻nowが20:32に到達した時点で、同じコンテンツのAの開始から2分目が同一であるとステップS210で判定される。
shiftに(now−start)の値を代入する。そしてステップS203へ戻る(ステップS211)。
ステップS208で、ステップS203で選択されたエントリの入力の映像や音声が同一であると判定されていなかった(is_hitが偽)とき、かつステップS210で同一であると判定された場合、このステップS211に進んでくる。すなわち、選択されたエントリに対して、今回初めて同一であると判定されたことになる。
ステップS209の比較においては、現在時刻nowと、時刻startとを比較していたので、時刻のずれとしては(now−start)となり、そのずれの値をshitに格納する。
図4の送出予定情報410を用いて説明すると、時刻startが20:02で、現在時刻nowが20:32であるため、shiftとして(20:32−20:02)=30(分)がshiftに代入する値として採用される。
is_hitに真を代入する(ステップS212)。そしてステップS203へ戻る。選択されたエントリに対して同一であると判定されたことを表すためにこの代入を行う。
hit_durationに値(now−start−shift)を代入する(ステップS213)。すなわち映像または音声が、時刻startから時刻(start+hit_duration)の間と、時刻(now−hit_duration)から現在時刻nowの間とで、同一であると判定したことを表している。
図4の送出予定情報420で説明すると、時刻startが20:02、現在時刻nowが20:40で、shiftが30分であるため、hit_durationには(20:40−20:02−30) = 8(分)が代入される。そして、斜線421(すなわち時刻20:02から20:10)と、斜線422(すなわち時刻20:32〜20:40)とで、映像や音声がこの期間同一であったことを表している。このとき、サーチ情報320には、エントリ321の情報が格納されている。
映像比較部102を用い、現在時刻nowと時刻(now−shift)の2つの時刻に対し、映像や音声が同一であるか否かを比較する(ステップS214)。
このステップS213に入るのは、選択されたエントリに対し、ステップS208で同一であると判定されたことがある場合である。現在時刻nowと時刻(now−shift)の代わりに、比較映像蓄積部101に保存されている映像や音声と比較できるように、比較する時間を調整しても良い。
ステップS214で映像が同一であると判定されなかった場合ステップS216へ、それ以外の場合ステップS203へ進む(ステップS215)。
is_hitに偽の値を代入する(ステップS216)。これまでの比較で同一であると判定されていたが、ステップS214で同一でないと判定されたので、同一でないと判定されたことを表すために偽の値を代入する。
図3で説明すると、このとき、サーチ情報は、サーチ情報330のエントリ331の様になっている。
時刻startから逆方向に、shiftだけ時刻をずらして同じ映像がどこまでの範囲にあるかをサーチする(ステップS217)。サーチ情報の各エントリに対し、startの値はステップS207の代入により設定される。しかし、エントリ間でstartの間隔が広い場合には、同一の映像や音声である区間の開始がstartと一致するとは限らないので、startから時間をさかのぼっても一致する範囲が存在する可能性がある。
このステップS217においては、時刻(start−β)と時刻(start+shift−β)とで、入力の映像や音声が同一であるβの範囲を0から順に値を大きくして探す。βの探索範囲は、ステップS203で選択されたエントリのstartより過去でかつ最も近いstartを持つ、エントリのstartの値である。
図4で説明すると、startの20:02から、コンテンツAの先頭20:00までさかのぼることができるので、βの値として2(分)が得られる。
ステップS217で逆方向にサーチした範囲の和集合をとり、その結果を同一リージョン情報にマージする(ステップS218)。そしてステップS203へ戻る。
図5は、発明の実施の形態1における同一リージョン情報の例の図である。同一リージョン情報は、注目する映像や音声の同一である時間的部分である同一リージョンを1つの行(エントリ)として表形式で表したデータである。各同一リージョンは、列start511、列shift512、列hit_duration513を持つ。サーチ情報と同一の名前は同種の内容が格納される。ただし、サーチ情報との違いは、サーチ情報で時間的に隣接する同一と判定された複数のエントリが、同一リージョン情報では単一のエントリにマージされることがあることである。
サーチ情報330のエントリ331と、ステップS217で得られたβ=2(分)に対し、同一リージョン情報510の様に、start=20:02から逆方向にβ=2分だけ戻した値が、startに代入される。また、hit_durationに対しても、サーチ情報330のエントリ331の11分に対し、βだけのばした13分が、同一リージョン表のエントリに代入される。
以上のステップS205からステップS218の処理を、ステップS203で選択されるサーチ情報のエントリそれぞれに対して行うことで、サーチ情報が作成されていく。
コンテンツAに対しては、サーチ情報340のエントリ341、エントリ342、エントリ343が作られる。
また、コンテンツDに対しては、図4の送出予定情報430に対応して、サーチ情報340のエントリ344が作成され、最終的にはサーチ情報350のエントリ352が得られる。そして同一リージョン情報のエントリ521が追加される。
また、コンテンツBに対しては、図4の送出予定情報440に対応して、サーチ情報350エントリ351が作成され、最終的にはサーチ情報360のエントリ361が得られる。そして同一リージョン情報のエントリ532が追加される。
次に、ループ検出部103の動作を図6と図7と図8とを用いて詳細に説明する。ループ検出部103は、映像比較部102の判定結果を入力し、複数の映像や音声の間で同一のものが出現する周期性の情報であるループ情報を検出し出力する。
図6は、発明の実施の形態1におけるループ情報生成の処理フローチャートである(ステップS601)。
同一リージョン情報から1つずつエントリを選択する処理を試みる。
ステップS601で既に同一リージョン情報から全てのエントリを選択済みであったために、直前のステップS601で選択すべきエントリが無かった場合には処理を終了する(ステップS602)。
同一リージョン情報に対し、同一shift毎にdurationのヒストグラムを求める(ステップS603)。
なお、この際、ある程度近いshift値を同一の値としてヒストグラムを求める。これにより、コンテンツ伝送側の時刻の揺れや、サーチ情報のエントリのstartが離散的な値をとる場合においても、取りこぼしのない検出を行うことが可能となる。
求めたヒストグラムで最大値を取るshiftの値を求める(ステップS604)。
shiftに対するヒストグラムの値の割合を求める(ステップS605)。
ステップS605で求めた割合が閾値以上であればステップS607に、それ以外の場合はステップS608へ進む(ステップS606)。
上記割合が100%に近い場合は、非常に類似したコンテンツの系列が、時間的に隣接して出現している場合に対応している。
ステップS604で得られたshiftを持つ同一リージョン情報に対して、ループ情報に情報をマージする(ステップS607)。そしてステップS601へ戻る。このループ情報へのマージ処理に対しては、図7を用いた説明を後述するものとする。
(ステップS608)3回以上同じ繰り返しであった場合にはステップS607aへ、それ以外の場合はステップS601へ進む(ステップS607)。
ステップS606で割合が少ないためにループとして却下されてステップS608に進んだ場合でも、十分な回数の繰り返しが周期的に行われることが確認できれば、ループが検出されるものとする。
次に、ステップS607の処理について、図7を用い改めて詳細に説明する。
図7は、発明の実施の形態1におけるループ情報のマージ処理のフローチャートである。
当該伝送路(チャンネル)で追加するループと隣接するエントリをループ情報から検索する(ステップS701)。
図8は、発明の実施の形態1におけるループ情報の例の図である。ループ情報において、各行はコンテンツのループに対応した表形式の情報である。ループ情報は複数の伝送路に対するループの情報を提示する。
ループ情報800の各エントリは、列channel801、列loop_type802、列start803、列duration804、列cycle805を持つ。
列channel801は、どの伝送路に対応するかを区別するために、伝送路を特定する情報を格納する。
列loop_type802は、ループの種類を表す。列loop_type802に格納される値は、open_loop、close_loop、unknownである。
open_loopは、ループが存在することが分かっていても、そのループがコンテンツとしてどの時刻から開始しているのか分からない状態を表してる。この値は、ループ情報にエントリが新たに追加される際のデフォルト値である。
close_loopは、ループがコンテンツとしてどの時刻から開始しているのかが分かっている点以外、open_loopと同様である。
unknownは擬似的なループ情報のエントリであることを表している。unknownなループを用いる意味は、ループを検出できた前後の時間が、図6でまだ処理されていないのか、あるいは、図6で処理されたが結局はループではなかったのかを区別するためある。後者の場合、loop_typeの値がunknownのエントリをループ情報に追加する。
列start803は、ループの開始時刻である。loop_typeの値がclose_loopの場合には、列start803にはループの繰り返しが開始する時刻が格納される。open_loopの場合には、ループの繰り返し中に含まれる時刻がstart803に格納される。
列duration804は、ループで同一であると判定されたコンテンツの系列の繰り返しによって覆われる時間長である。
列cycle805は、ループが出現する間隔(周期)である。
ステップS701で検索結果があった場合にはステップS703に、それ以外の場合ステップS706に進む(ステップS702)。
cycleとshiftが一致した場合ステップS704へ、それ以外の場合ステップS706へ進む(ステップS703)。ここで、cycleがほんのわずか違う場合においても一致すると判定させることで、ループ検出の失敗を防げるケースがある。
例えば同一リージョン情報530において、エントリ531と、エントリ532とはloopが30分と29分と少し異なるが、1分程度のshiftとcycleの差異を許容することで、ループ情報800のエントリ820において、1つの繰り返しの長さ(cycle)が30分のエントリにマージされる。
ステップS701で取り出されたループ情報中のエントリと、類似リージョン情報のマージすべきエントリとで、一方が他方のループ先と共通する時間的部分がある場合ステップS705へ、それ以外の場合ステップS706へ進む(ステップS704)。ここでループ先とは、同じループに含まれる繰り返しのうちの1つであることを表している。
登録済みのエントリにマージする(ステップS705)。そしてステップS708へ進む。2つのループが、cycleが一致し、かつ時間的に重複する部分があるので、同じループであると判定された場合、このステップに入る(ステップS706)。
新規にループのエントリをループ情報に追加する。
隣接したループがない場合(ステップS702からステップS706に入った場合)、cycleが一致しない場合(ステップS703からステップS706に入った場合)、一方が他方と時間的に重複しない場合(ステップS704からステップS706に入った場合)、のいずれかにおいては現在登録されているループとは異なると判断し、新たなループのエントリとして新規登録される。
typeを”open_loop”に設定する。そしてステップS708へ進む(ステップS707)。
図7の処理において、当該CHで、相互に隣接するエントリが新たに出現したか検索する(ステップS708)。ここで隣接したというのは、ループ先を含め時間的共通部分が無いが、時間が隙間無く隣接している場合である。
ステップS708での検索の結果が存在する場合ステップS710へ、それ以外の場合は処理を終了する(ステップS709)。
ステップS708で得られた1組のエントリにおいて、”open_loop”の値を持つtypeがあれば、値を”closed_loop”に変更する(ステップS710)。コンテンツの系列として異なるループが隣接して存在している場合には、その時刻が、直前のループの終了点であり、直後のループの開始点であると判断する。
ステップS708で得られた1組のエントリの接する境界が、ループの開始または終了になるようにstartの値を更新する(ステップS711)。そして処理を終了する。
次に、制御部104を説明する。制御部104は、同一シーン検出装置100全体の制御を行う。また、制御部104は、入力部108から入力されるユーザ操作に応じて画面に表示するグラフィック映像(OSD;On Screen Display)を変化させるGUI(Graphic User Interface)などの、ユーザとの対話処理を実現する。制御部104は、CPU(Central Processing Unit)、半導体メモリなどから構成されるマイクロコンピュータで良い。対話処理を行う際には、ループ検出部103の出力するループ情報を用いる。
図9は、発明の実施の形態1における画面表示の例の図である。図9において、バナー表示画面910は、再生部107で再生された映像や音声を提示部110の全面911で提示中に、バナー912をオーバーレイ表示したものである。バナー912は現在視聴している映像や音声に付随する情報を表示する。
例えば、映像や音声が伝送された伝送路(放送された放送チャンネル)や、タイトル、録画したデータ中の再生している時間的位置、そして映像や音声の中に含まれる同一コンテンツの時間的配置である。
図9において、同一コンテンツの時間的配置を表す帯表示913は横方向が再生している映像や音声の時間軸に対応している。帯表示913は着色により時間軸方向の複数の領域に分割されている。分割された領域で同じ色や模様や網掛けをされている部分は同一のコンテンツであることを表している。
帯表示913は、映像や音声の全体を一度に画面に表示しても良い。また、横軸方向に適宜スクロールさせて表示することで、同一コンテンツが細分化されて存在する場合でも視認性よく表示可能になる。あるいは横方向のスクロール表示を行う帯表示と、全体を表示する帯表示との両方を同時に表示したり、切り替えて表示させても良い。
また、現在全面911で再生している場所が映像や音声のどの時間的場所かを、カーソル914と帯表示913との相対的な位置関係により表現している。制御部104は、同一リージョン情報を参照することで、同一のコンテンツがどこに配置されているかを知り、帯表示の描画をOSD生成部109に指示する。
ここで、帯表示の他の例として図10で説明する。
図10は、本発明の実施の形態1における同一コンテンツの表示例の図である。図10では、図4の送出予定情報に対応して5種類の画面表現の例を描いている。図10において、帯表示1010は、背景巡回による帯表示の例である。背景巡回による帯表示1010は、予め色や模様の順序を決めておき、その順番で繰り返し、帯の時間軸方向を描画する。色や模様の順序は、繰り返した部分を含めて、どこが始まりでどこが終わりか分からない様な色や模様の順序を用いる。そして、コンテンツのループの周期に同期させて、色や模様が1周するように帯を着色する。
ユーザは背景巡回表示による帯表示1010を見て、巡回している周期は分かるが、帯状の時間軸で、どこが始まりでどこが終わりか分からない。
なお、簡単のため色や模様が離散的に変化するとして説明したが、帯の時間軸方向に対し連続して変化するグラデーションを用いても良い。また、三角波やサイン波などの周期的な波形を、ループの周期に同期させ帯に表示させても良い。
帯表示1020は、同一のコンテンツには同じ色や模様を施した帯表示の例である。図4の、コンテンツA、コンテンツB、コンテンツDの順の濃さの色で着色している。なお、同一のコンテンツがみつからなかったコンテンツC、コンテンツEに対しては着色していない。
このように、同一のコンテンツを同じ色で着色することは、同一のコンテンツがどこにあるのか画面表示から直感的に把握しやすい利点がある。
帯表示1030は、同一のコンテンツが存在するところを1種類の色や模様で着色する帯表示の例である。1つの帯に同一のコンテンツが数多く存在したり、帯表示の大きさに比べて非常に短い同一のコンテンツである場合には、コンテンツ毎に別々の色や模様でわけると逆に視認性が低下する可能性がある。しかし、この帯表示によれば視認性の低下を防ぐことができる。
なお、背景色を分けて描画する以外に、背景色が変わる帯の時間的位置に境界線を描画してもよい。
なお、帯表示1010での背景巡回による表示と併用し、背景巡回をさせるが、どことも一致していない部分は着色しない表示にしたり、逆にどことも一致していない部分のみ着色する表示にしても良い。
または、帯表示1020の表示と併用し、ある程度以上時間的に細かい同一コンテンツに対しては同一の色や模様で着色させても良い。
帯表示1040は、ループの繰り返しの開始と終了とが分かっている場合、それを帯の時間軸方向に分割する絵柄によって表現する方法である。ループの繰り返しの開始と終了は、ループ情報でloop_typeの値がclose_loopである場合、startから(start+duration)までの範囲の時刻(start+N*cycle)に発生する。ただしNは任意の正数で、「*」は乗算の演算子である。
帯表示1050は、帯表示1040のループの繰り返しの開始と終了を分割する絵柄と、帯表示1030による同一コンテンツが存在する部分への着色を併用した例である。同様に帯表示1050は、帯表示1010や帯表示1020併用して表示しても良い。
次に、録画された映像や音声の一覧表示画面の例について説明する。
図9において、一覧表画面920は、録画した映像や音声を、複数リスト表示する。一覧表画面920のリスト表示921が1つの録画を表し、伝送路(放送チャンネル)、録画日時、タイトルなどが表示される。更に図10で説明した帯表示も併記されている。ここでは、図10で説明したいずれの帯表示を用いても良い。
次に、番組表表示の例について説明する。
図11は、本発明の実施の形態1における番組表表示の例の図である。ここでは過去の番組表を表示しているか、毎日同じ時間には同じ放送がされるなどして、事前に伝送される映像や音声に含まれる同一リージョンやループを検出できていたと仮定している。
図11は、図20の画面2000を元に、本発明の技術を導入した画面である。従来1つの矩形で表示されていただけの番組2001が、番組1111では同一コンテンツが同色で着色され表示されている。このため、番組表示上でのコンテンツの重複が一目で分かる。同一コンテンツのうちのいずれかのみにフォーカスを表示・移動させ、フォーカスのあるコンテンツに対して予約録画することで、必要十分なコンテンツの録画を行うことが可能になる。
あるいは、過去の放送の多くを事前に録画して後日の再生に備える「ホームサーバー」にも適用できる。この場合は、過去の番組表を表示し、録画した番組について、帯表示を行い、必要なコンテンツの部分のみを永続的に保存したり、別の記憶媒体に移し替えたり、視聴したりすることが、フォーカスを移動して選択するだけで容易に実現可能になる。これにより、従来のように映像や音声をユーザが早送りや巻き戻し再生などを繰り返しながら探し出す操作が不要になる。
また、図20の伝送路2002に関する表示は、EPGデータとして別々の番組として分割しているが、そのどれとどれとが同一か視聴するまで分からない。これに対し、図11では、同一コンテンツを同じ色に着色すると共に、ループが変わる部分に絵柄1114を表示することで、コンテンツが変化する時刻も表現できる。全てのコンテンツを1回ずつ視聴したいユーザは、伝送路2002の番組の全てを視聴しながら選択しなくても、絵柄1114の上下から1つずつを選んで視聴するだけでよい。
また、画面1120は背景色の着色のかわりに、境界線を描画することで同一コンテンツの変化点を表現した番組表表示の例である。ここでは、図10の表示帯1040同様にループのloop_typeがclose_loopであり、ループの繰り返しの開始と終了とが分かる場合を想定している。ループの繰り返しの開始と終了は点線1123の様な細かい点線で、別のループに入る境界は荒い点線1122で描画している。
また、元々別々の番組としてEPGデータが送られている伝送路2002においては、同じコンテンツとの境界を一点鎖線1125で、別のコンテンツになる部分を二点鎖線1126で表現している。
(実施の形態2)
本発明の実施の形態2を図12、図13を用いて説明する。
本発明の実施の形態2は、映像や音声をリアルタイムに受信、録画、再生を行っている際に、含まれるコンテンツが、新たなコンテンツに変わることを検出しユーザに提示する処理を示す。
実施の形態1の、図2、図6、図7のフローチャートを用いて説明した、ループ情報を生成する処理は、実施の形態2においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図12は、本発明の実施の形態2におけるコンテンツ更新の通知画面の例の図である。画面1200では、比較映像蓄積部101に録画された映像や音声が全面911に再生表示されている。全面911で視聴している最中に、新たなコンテンツに変わることを検出すると、画面1200にポップアップ画面をオーバーレイ表示する。
ここでは、別の伝送路に対して新たなコンテンツが伝送されたことを、その伝送路名、更新された時刻をポップアップ画面1201で表示する。また、その伝送路で伝送されている映像や音声をポップアップ画面1202にピクチャー・イン・ピクチャーで表示する。
次に、図12の表示を実現する処理について詳細に説明する。
図13は、本発明の実施の形態2におけるコンテンツ更新検出のフローチャートである。
ループ情報から、現在選局しているCH対に関するエントリを1つずつ選択することを試みる(ステップS1301)。
ステップS1301で既に全てのループを選択済みであったために、直前のステップS1301で選択すべきエントリが無かった場合にはステップS1301へ進む(ステップS1302)。それ以外の場合はステップS1303へ進む。
新たに検出されたループであればステップS1304へ、それ以外の場合はステップS1301へ進む(ステップS1303)。
新たに検出されたループであることの判定は、いくつかの実現方法がある。
まず、第1の方法は、図7のループ情報を生成するフローチャートにおいて、ステップS710に到達したときの対象とするチャンネル(伝送路)を新たなループであると判定することである。
第2の方法は、ループ情報の該当するエントリにおいて、時刻(start+duration)から時刻(start+duration+cycle)においても、時刻startから時刻(start+cycle)と同じ映像や音声が受信されると期待する。そして、図2により生成されるサーチ情報のエントリを監視して、上記期待に背いて映像や音声が同一でないと判断された時点で新たなループに入ったと判定する方法である。
この方法は複数回以上繰り返さない場合にも検出されてしまう可能性があるが、更新されると直ぐに通知できる利点がある。
制御部104が、OSD生成部109に対し、画面1200を生成する指示を送る(ステップS1304)。画面1200が提示部110に提示されることで、ユーザにコンテンツ更新が通知される。そしてステップS1301へ戻る。
なお、受信部106で受信中の映像や音声に対してループ情報を生成する処理を行い、画面1200にピクチャー・イン・ピクチャーによる画面1202の映像表示を行わず、番組に関する情報1201のみを表示することもできる。また、チャイム音を発生させたりすることで、現在視聴中の映像や音声に対するコンテンツの更新を通知するようにしてもよい。チャイム音を鳴らすことで、装置の電源を入れてはいるが、提示部110を凝視せず、家事など別のことをユーザ行っている使用状況でも、更新されたコンテンツを見落とさない。
あるいは、受信部106に複数の伝送路を同時に受信できる能力があれば、画面911に表示している伝送路の映像や音声と異なる伝送路に対し、新たなコンテンツに更新されたことを検出でき、ピクチャー・イン・ピクチャー表示が可能となる。
あるいは、通知の方法として、通知のタイミングで自動的に画面を提示部110に表示したり、提示部110に表示する映像の輝度を低い状態から高い状態に変更したり、音声の再生レベルを、低い状態から高い状態に変更したりすることが考えられる。
特に、デジタルテレビなどの民生機器においては、リモコンからの電源オフの赤外線信号を受け取った状態では、EPGデータなどの受信のためにCPUやメモリなどからなる制御部は動作しているが、CRT、PDP、液晶などの表示デバイスには通電しない。このような状態を「スタンバイ状態」と呼ぶ。
このとき、新たなコンテンツの検出をスタンバイ状態で処理し、検出後に通知を行うタイミングでスタンバイ状態から、通常の電源オン状態に変更する。また、新たなコンテンツでない場合には自動的にスタンバイ状態に遷移することもできる。
一般に通常の電源オン状態よりもスタンバイ状態の方が消費電力は大幅に低いため、全体としての消費電力量の削減が可能になる。
(実施の形態3)
本発明の実施の形態3を図14を用いて説明する。
本発明の実施の形態3は、複数の伝送路で伝送される映像や音声に対し、同じループに属さない映像や音声をなるべく多く、かつ、短時間に巡回し終える処理を示す。これを実現するために、受信する伝送路を自動的に切り替える。
重複した映像や音声が出現すると、選局が自動的に切り替わるため、より多くの映像や音声を視聴したり蓄積したりするのに、必要最低限の時間しか必要としない。これにより、ユーザの煩雑さを低減でき、また、蓄積に必要な容量も節約できるし、全ての録画を終えるまでに必要な総電力量も削減できる。
実施の形態1の、図2、図6、図7のフローチャートを用いて説明した、ループ情報を生成する処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図14は、本発明の実施の形態3における複数伝送路で自動巡回する処理のフローチャートである。
ループを1周以上受信したことを検出した場合にはステップS1402に、それ以外の場合にはステップS1301に戻る(ステップS1401)。
具体的には、実施の形態1の図7で説明したループ情報にマージする処理において、ステップS706で新規にループを追加する処理に到達したタイミングで、ループを1周以上受信したと判断させる。
入力する映像や音声の1ループ分を比較映像蓄積部101に保存する(ステップS1402)。比較映像蓄積部101へは、再生部107で再生可能な形式で蓄積される。
ステップS1401でループを1周以上受信したと判断したタイミングでは、受信する映像や音声はループの2周目以上に到達している可能性がある。
なぜなら、ステップS1401での処理の処理遅延だけでなく、実施の形態1の図6のループ情報のマージ処理でステップS608からステップS607aに入った場合には、受信を初めてから3回以上ループを回っている可能性があるからである。
なお、ここでは1周分としたが、2周分を蓄積するようにしてもよい。2周分以上蓄積しておけば、ループの先頭が何処か分からなくても1周分はつなぎ目のない完全な形で、蓄積した映像や音声中に含まれいる。従って、頭出しさえ出来れば1周分をつなぎ目がなく再生できる利点がある。
次のCHに選局を変更する(ステップS1403)。そしてステップS1301に戻る。
(実施の形態4)
本発明の実施の形態4を図15を用いて説明する。
本発明の実施の形態4は、録画済みの映像や音声の再生中に、重複した時間的部分を自動的にスキップする方法を示す。
実施の形態1の、図2、図6、図7のフローチャートを用いて説明した、ループ情報を生成する処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図15は、本発明の実施の形態4における重複自動スキップ再生のフローチャートである。
入力部108から、ユーザが映像や音声の再生を開始させる指示を入力する(ステップS1501)。
制御部104が再生部107に指示して、比較映像蓄積部101に蓄積されている映像や音声の再生を開始する(ステップS1502)。
現在再生している時間的場所がどこであるかを、対応する同一リージョンに対応付けて記録する(ステップS1503)。
ステップS1503で記録した情報を用い、既に再生済みの同一リージョンであるか判定する(ステップS1504)。再生済みであった場合にはステップS1505へ、それ以外の場合にはステップS1506へ進む。
同一リージョンの長さだけ早送りする(ステップS1505)。既に再生済みである同一リージョンはこの処理によりスキップされる。
コンテンツの最後まで再生を終えた場合には処理を終了する(ステップS1506)。それ以外の場合にはステップS1503へ戻る。
なお、録画済みの映像や音声について説明をしたが、ネットワーク経由のストリーミング再生においても、早送り再生が行えて、その中で同一シーン検出やループ検出の処理が行えるのであれば実現可能である。
(実施の形態5)
本発明の実施の形態5では、録画済みの映像や音声の再生中に、ユーザからのスキップ再生を指示する操作を受け付け、重複した時間的部分を自動的にスキップする方法について説明する。
実施の形態1の、図2、図6、図7のフローチャートを用いて説明した、ループ情報を生成する処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図16は、本発明の実施の形態5における手動スキップ再生のフローチャートである。
ユーザからの操作の入力が無いか確認する(ステップS1601)。
ステップS1601において再生スキップの操作が入力されていた場合にはステップS1603へ、それ以外の場合にはステップS1601へ進む(ステップS1602)。
次の別ループが存在している場合にはステップS1604へ、それ以外の場合にはステップS1605へ進む(ステップS1603)。
次の別ループの先頭まで再生箇所を移動する(ステップS1604)。そしてステップS1601に戻る。
次の映像や音声の録画の再生を開始する(ステップS1605)。そしてステップS1601に戻る。
上記のように通常は次の録画までスキップするが、1つの録画の中に繰り返しが存在する場合には、次の繰り返しの冒頭までスキップして再生を始める。これにより、従来はスキップすることで見落としてしまっていた映像や音声を、見落とさない。
また、スキップ再生を行う操作は、従来からある操作に対する互換性を保持したまま拡張している。このため、ユーザにとっては新たな操作を覚えることなく高度な機能を使いこなすことが可能となる。
(実施の形態6)
本発明の実施の形態6を図17を用いて説明する。
本発明の実施の形態6は、録画された映像や音声中から重複している部分を自動的に削除する処理を示す。
実施の形態1の、図2、図6のフローチャートを用いて説明した処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図17は、本発明の実施の形態6における重複シーンの削除編集のフローチャートである。
同一リージョン情報から同一リージョンを検索する(ステップS1701)。
既出の同一リージョンであればステップS1703へ、それ以外の場合にはステップS1704へ進む(ステップS1702)。
比較映像蓄積部101に蓄積された映像や音声から、同一リージョンの長さだけ省略する(ステップS1703)。
この省略処理は、蓄積されている映像や音声の実体の一部を削除しても良い。あるいは、プレイリストを編集することで、データとして存在しているが再生時にスキップされるようにしても良い。
最後まで到達した場合にはステップS1701へ、それ以外の場合には処理を終了する(ステップS1704)。
上記では単に同一リージョンであるかで削除したが、実施の形態1の図7で説明したループの検出に基づき、ループである場合のみ削除するようにしてもよい。この場合、ニアVODの様に繰り返し再生される伝送路に適し、たとえ途中に短時間挿入されたCM等が毎回異なる状況であっても、正しく削除できる。
(実施の形態7)
本発明の実施の形態7を図18を用いて説明する。
本発明の実施の形態7は、ユーザ操作により開始された映像や音声の録画の停止を自動的に行う処理を示す。
実施の形態1の、図2、図6、図7のフローチャートを用いて説明した、ループ情報を生成する処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態1と同様に図1で説明されるので、以下では、差分がある場合のみ説明を行う。
図18は、本発明の実施の形態7における蓄積自動停止のフローチャートである。
ユーザからのコンテンツの蓄積を開始させる指示を入力する(ステップS1801)。
蓄積を停止する(ステップS1802)。
なお、ここでは1周分としたが、2周分を蓄積するようにしてもよい。2周分以上蓄積しておけば、ループの先頭が何処か分からなくても1周分はつなぎ目のない完全な形で、蓄積した映像や音声中に含まれている。従って、頭出しさえ出来れば1周分をつなぎ目がなく再生できる利点がある。
なお、全ての実施の形態において、映像や音声をユーザが視聴する対象としたが、いずれか一方のみでも実現可能である。例えば音声のみを扱う場合、映像比較部102は音声を比較する様に構成すればよい。
また、映像比較部102による処理で、映像による判断と音声による判断との両方を同時に実行し、2種類の結果に重み付けなどを行って総合的に判断してもよい。こうすることで、より精度を高めることができる。
あるいは、より処理負荷の軽い処理を先におこない真偽の目星を予めつけることで、平均的な処理速度の向上や、消費電力の低減を達成することができる。
以上説明した本発明の同一シーン検出方法によれば、以下の効果が得られる。
(1)どの部分が内容的に重複しているか、またどこで内容が一周しているかを映像や音声を実際に視聴することなく、画面表示を見て把握できる。視聴したい部分を短時間に把握でき、時間的な無駄を省くことができる。
(2)重複していない映像や音声になったことがユーザに通知されるため、何度も同じ映像や音声を視聴する必要がない。この結果、短時間でより多様な情報を視聴可能となる。ユーザは別のコンテンツを見ていたり、あるいは画面を見ていない場合でも、通知を用いることで新たな情報を見逃さない。
(3)複数の伝送路から映像や音声を受信可能な状況において、重複部分の出現を検出した場合に自動的に別の伝送路に切り替える。無操作で行われるため、ユーザによる操作手順を省略できるだけでなく、同じ内容であるかをユーザが判別する必要すらないため、ユーザの煩雑が改善される。
(4)ニアVODの蓄積や、連続ドラマなどを複数回蓄積した際に複数回含まれる主題歌やCMなどを、同一シーンとして検出することで、自動的に再生時にスキップする。冗長な内容を視聴する必要がなくなる。
(5)蓄積したコンテンツを再生中に、スキップ再生ボタンを押すことで、重複した部分をスキップして冗長でない場所まで再生場所を進めることができる。
(6)蓄積したコンテンツに含まれる重複したシーンをユーザが確認することなく自動で省略することができる。視聴時間の短縮や、編集の自動化、蓄積領域の削減などが達成できる。
(7)ニアVOD的な放送が行われている伝送路で蓄積開始すると、コンテンツデータ情報によって繰り返しの始めや終わりが分からなくても自動的に繰り返し1回分だけ蓄積することができる。蓄積領域の無駄な浪費や、受信する為の資源を解放しないために他の伝送路の蓄積を妨げることを防止できる。
本発明の方法及び装置は、映像や音声を再生する装置において、映像や音声に過去に出現した時間的部分であるシーンが含まれる可能性がある場合に、効率よく映像や音声をユーザが視聴可能とする手法として有用である。
このため、放送を受信するテレビやセットトップボックス、ハードディスクまたはDVDのビデオレコーダ、パッケージメディアを再生するDVDプレーヤやAVビューワ、あるいはインターネットの放送局から受信するブロードバンド・レシーバなどの用途に有用である。
本発明の実施の形態1における同一シーン検出装置の構成図 本発明の実施の形態1における同一リージョン情報生成のフローチャート 本発明の実施の形態1におけるサーチ情報の例の図 本発明の実施の形態1における送出予定情報の例の図 本発明の実施の形態1における同一リージョン情報の例の図 本発明の実施の形態1におけるループ情報生成の処理フローチャート 本発明の実施の形態1におけるループ情報のマージ処理のフローチャート 本発明の実施の形態1におけるループ情報の例の図 本発明の実施の形態1における画面表示の例の図 本発明の実施の形態1における同一コンテンツの表示例の図 本発明の実施の形態1における番組表表示の例の図 本発明の実施の形態2におけるコンテンツ更新の通知画面の例の図 本発明の実施の形態2におけるコンテンツ更新検出のフローチャート 本発明の実施の形態3における複数伝送路自動巡回のフローチャート 本発明の実施の形態4における重複自動スキップ再生のフローチャート 本発明の実施の形態5における手動スキップ再生のフローチャート 本発明の実施の形態6における重複シーンの削除編集のフローチャート 本発明の実施の形態7における蓄積自動停止のフローチャート 従来の装置の構成図 従来の装置の画面表示の図
符号の説明
100 同一シーン検出装置
101 比較映像蓄積部
102 映像比較部
103 ループ検出部
104 制御部
105 アンテナ
106 受信部
107 再生部
108 入力部
109 OSD生成部
110 提示部

Claims (39)

  1. 映像または音声の時間的部分であるシーンに対しユーザが内容を同一と知覚する同一シーンを検出し同一シーン集合として抽出するステップと、
    各前記同一シーン集合に含まれる同一シーンの出現時刻の差分値を求めるステップと、
    複数の前記同一シーン集合の前記差分値が近い前記同一シーンで出現時刻が近接するものの集合を同一リージョンとして選択するステップと、
    前記同一リージョンに含まれる前記同一シーンの時間長の合計が所定の値を超える場合に前記同一リージョンが前記差分値を出現周期とするシーンループであると判定するステップと、
    前記周期性の提示を行うステップとを有する
    同一シーン検出方法。
  2. 前記周期性の提示を行うステップは、映像または音声をある方向を時間軸に対応させた図形として提示し、前記出現周期で繰り返す巡回する色または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする
    請求項1記載の同一シーン検出方法。
  3. 前記周期性の提示を行うステップは、映像または音声をある方向を時間軸に対応させた図形として提示し、同じ前記同一シーン集合に含まれる同一シーンは同じ色または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする請求項1記載の同一シーン検出方法。
  4. 前記周期性の提示を行うステップは、映像または音声をある方向を時間軸に対応させた図形として提示し、前記周期性を持つ時間的部分に対して色または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする
    請求項1記載の同一シーン検出方法。
  5. 前記周期性の提示を行うステップは、映像または音声をある方向を時間軸に対応させた図形として提示し、前記周期性を持つ時間的部分を周期性の切れ目を線分または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする
    請求項1記載の同一シーン検出方法。
  6. 前記周期性の提示を行うステップは、注目する時刻の前記映像または音声が、前記注目する時刻以前とは異なるシーンループに属する場合に新たなシーンループであることをユーザに提示することを特徴とする
    請求項1記載の同一シーン検出方法。
  7. 前記周期性の提示を行うステップは、前記注目する時刻が現在時刻近辺に到達したタイミングで前記新たなシーンループに関する前記映像または音声を提示する小ウィンドウで表示することを特徴とする
    請求項6記載の同一シーン検出方法。
  8. 前記周期性の提示を行うステップは、前記映像または音声がユーザに提示されている場合、新たな同一シーンであることを表現する絵柄や色や文字を前記映像または音声が表示されている画面と合成して表示することを特徴とする
    請求項6記載の同一シーン検出方法。
  9. 前記周期性の提示を行うステップは、現在のシーンループに入った時刻または経過時間を提示することを特徴とする
    請求項6記載の同一シーン検出方法。
  10. 前記周期性の提示を行うステップは、映像を表示している画面領域の表示の画質を変化させることを特徴とする
    請求項6記載の同一シーン検出方法。
  11. 前記周期性の提示を行うステップは、再生している音声の音量を変化させることを特徴とする
    請求項6記載の同一シーン検出方法。
  12. 前記周期性の提示を行うステップは、複数の伝送路から前記映像または音声が受信可能である場合、現在時刻における前記映像または音声が既に存在しているシーンループに含まれたと検出された場合には別の伝送路に変更することを特徴とする
    請求項1記載の同一シーン検出方法。
  13. 前記周期性の提示を行うステップは、異なるシーンループ毎に蓄積を行うことを特徴とする
    請求項12記載の同一シーン検出方法。
  14. 保存されている前記映像または音声を再生開始するステップをさらに備え、前記周期性の提示を行うステップは、再生を開始した前記映像または音声を前記同一シーン集合を抽出するステップの入力とし、前記映像または音声がいずれかの伝送路ループに含まれる場合には伝送路ループに含まれなくなるまで再生場所をスキップさせることを特徴とする
    請求項1記載の同一シーン検出方法。
  15. 保存されている前記映像または音声を再生開始するステップと、
    ユーザから時間的な再生位置を先に進める指示を入力するステップとをさらに備え、
    前記周期性の提示を行うステップは、再生を開始した前記映像または音声を前記同一シーン集合を抽出するステップの入力とし、前記映像または音声がいずれかの伝送路ループに含まれる場合には伝送路ループに含まれなくなるところで再度再生を始めることを特徴とする
    請求項1記載の同一シーン検出方法。
  16. 保存されている前記映像または音声を再生開始するステップをさらに備え、
    前記周期性の提示を行うステップは、保存されている前記映像または音声における同一シーンの重複を一部または全て取り去って再度保存することを特徴とする
    請求項1記載の同一シーン検出方法。
  17. 前記映像または音声に対して蓄積を開始するステップをさらに備え、
    前記周期性の提示を行うステップは、蓄積を行っている前記映像または音声に同一シーンを検出すると蓄積を停止することを特徴とする
    請求項1記載の同一シーン検出方法。
  18. 前記周期性の提示を行うステップは、同一シーンの2回目の繰り返しが終わった時点で蓄積を停止することを特徴とする
    請求項17記載の同一シーン検出方法。
  19. 前記周期性の提示を行うステップは、同一シーンの2回目の繰り返しを検出した時点に蓄積を停止すると共に繰り返し1周分になるように蓄積した映像または音声をトリミングすることを特徴とする
    請求項17記載の同一シーン検出方法。
  20. 映像または音声を受信して出力する受信部と、
    前記映像または音声を蓄積する蓄積部と、
    前記蓄積部に含まれる前記映像または音声の時間的部分であるシーンに対しユーザが内容を同一と知覚する同一シーンを検出し同一シーン集合として抽出し出力する比較部と、
    前記比較部の出力する各前記同一シーン集合に含まれる同一シーンの出現時刻の差分値を求めると共に複数の前記同一シーン集合の前記差分値が近い前記同一シーンで出現時刻が近接するものの集合を同一リージョンとして選択し前記同一リージョンに含まれる前記同一シーンの時間長の合計が所定の値を超える場合に前記同一リージョンが前記差分値を出現周期とする周期性を持って出現すると判定しループ情報として出力するループ検出部と、
    前記ループ検出部の出力するループ情報を入力しユーザに提示するデータを作成する制御部とを有することを特徴とする
    同一シーン検出装置。
  21. 前記制御部は、映像または音声をある方向を時間軸に対応させた図形として提示し、前記出現周期で繰り返す巡回する色または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする
    請求項20記載の同一シーン検出装置。
  22. 前記制御部は、映像または音声をある方向を時間軸に対応させた図形として提示し、同じ前記同一シーン集合に含まれる同一シーンは同じ色または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする
    請求項20記載の同一シーン検出装置。
  23. 前記制御部は、映像または音声をある方向を時間軸に対応させた図形として提示し、前記周期性を持つ時間的部分に対して色または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする
    請求項20記載の同一シーン検出装置。
  24. 前記制御部は、映像または音声をある方向を時間軸に対応させた図形として提示し、前記周期性を持つ時間的部分を周期性の切れ目を線分または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする
    請求項20記載の同一シーン検出装置。
  25. 前記制御部は、注目する時刻の前記映像または音声が、前記注目する時刻以前とは異なるシーンループに属する場合に新たなシーンループであることをユーザに提示することを特徴とする
    請求項20記載の同一シーン検出装置。
  26. 前記制御部は、前記注目する時刻が現在時刻近辺に到達したタイミングで前記新たなシーンループに関する前記映像または音声を提示する小ウィンドウで表示することを特徴とする
    請求項25記載の同一シーン検出装置。
  27. 前記制御部は、前記映像または音声のユーザへの提示と同時に前記提示を行うステップにおいて新たな同一シーンであることを表現する絵柄や色や文字を前記映像または音声がユーザが表示されている画面と合成して表示することを特徴とする
    請求項25記載の同一シーン検出装置。
  28. 前記制御部は、現在のシーンループに入った時刻または経過時間を提示することを特徴とする
    請求項25記載の同一シーン検出装置。
  29. 前記制御部は、映像を表示している画面領域の表示の画質を変化させることを特徴とする
    請求項25記載の同一シーン検出装置。
  30. 前記制御部は、再生している音声の音量を変化させることを特徴とする
    請求項25記載の同一シーン検出装置。
  31. 前記受信部は複数の伝送路から前記映像または音声が受信可能であり、
    前記制御部は現在時刻における前記映像または音声が既に存在しているシーンループに含まれたと検出された場合には別の伝送路に変更することを特徴とする
    請求項20記載の同一シーン検出装置。
  32. 前記制御部は、異なるシーンループ毎に蓄積を行うことを特徴とする
    請求項31記載の同一シーン検出装置。
  33. 前記蓄積部に保存された前記映像または音声をデコード再生する再生部をさらに備え、
    前記制御部は前記映像または音声がいずれかの伝送路ループに含まれる場合には伝送路ループに含まれなくなるまで再生場所をスキップさせることを特徴とする
    請求項20記載の同一シーン検出装置。
  34. 前記蓄積部に保存された前記映像または音声をデコード再生する再生部と
    ユーザからのスキップ再生の指示を入力する入力部とをさらに備え、前記制御部は前記入力部にスキップ再生の指示が入力されると前記映像または音声がいずれかの伝送路ループに含まれる場合には伝送路ループに含まれなくなるまで再生場所をスキップさせることを特徴とする
    請求項20記載の同一シーン検出装置。
  35. 前記制御部は、保存されている前記映像または音声における同一シーンの重複を一部または全て取り去って再度保存することを特徴とする
    請求項20記載の同一シーン検出装置。
  36. 前記制御部は、蓄積を行っている前記映像または音声に同一シーンを検出すると蓄積を停止することを特徴とする
    請求項20記載の同一シーン検出装置。
  37. 前記制御部は、同一シーンの2回目の繰り返しが終わった時点で蓄積を停止することを特徴とする
    請求項36記載の同一シーン検出装置。
  38. 前記制御部は、同一シーンの2回目の繰り返しを検出した時点で蓄積を停止すると共に繰り返し1周分になるように蓄積した映像または音声をトリミングすることを特徴とする
    請求項36記載の同一シーン検出装置。
  39. 請求項20乃至請求項38記載のいずれか1項の同一シーン検出装置を実現するコンピュータプログラムを格納した記憶媒体。
JP2007523921A 2005-06-27 2006-06-26 同一シーン検出装置およびプログラムを格納した記憶媒体 Expired - Fee Related JP5076892B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007523921A JP5076892B2 (ja) 2005-06-27 2006-06-26 同一シーン検出装置およびプログラムを格納した記憶媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005185850 2005-06-27
JP2005185850 2005-06-27
JP2007523921A JP5076892B2 (ja) 2005-06-27 2006-06-26 同一シーン検出装置およびプログラムを格納した記憶媒体
PCT/JP2006/312693 WO2007000959A1 (ja) 2005-06-27 2006-06-26 同一シーン検出方法および装置およびプログラムを格納した記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2007000959A1 true JPWO2007000959A1 (ja) 2009-01-22
JP5076892B2 JP5076892B2 (ja) 2012-11-21

Family

ID=37595210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007523921A Expired - Fee Related JP5076892B2 (ja) 2005-06-27 2006-06-26 同一シーン検出装置およびプログラムを格納した記憶媒体

Country Status (3)

Country Link
US (1) US20090103886A1 (ja)
JP (1) JP5076892B2 (ja)
WO (1) WO2007000959A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090011518A (ko) 2007-07-26 2009-02-02 엘지전자 주식회사 영상표시기기 및 영상표시방법
KR101488729B1 (ko) * 2008-05-13 2015-02-06 삼성전자주식회사 디지털 방송 송신장치 및 수신장치와 그 방법들
US9779093B2 (en) * 2012-12-19 2017-10-03 Nokia Technologies Oy Spatial seeking in media files
US9418296B1 (en) 2015-03-17 2016-08-16 Netflix, Inc. Detecting segments of a video program
US10375443B2 (en) * 2015-07-31 2019-08-06 Rovi Guides, Inc. Method for enhancing a user viewing experience when consuming a sequence of media
US10956746B1 (en) 2018-12-27 2021-03-23 Facebook, Inc. Systems and methods for automated video classification
US11138440B1 (en) 2018-12-27 2021-10-05 Facebook, Inc. Systems and methods for automated video classification
US10922548B1 (en) 2018-12-27 2021-02-16 Facebook, Inc. Systems and methods for automated video classification
US11017237B1 (en) * 2018-12-27 2021-05-25 Facebook, Inc. Systems and methods for automated video classification

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771316B1 (en) * 1996-11-01 2004-08-03 Jerry Iggulden Method and apparatus for selectively altering a televised video signal in real-time
US6278446B1 (en) * 1998-02-23 2001-08-21 Siemens Corporate Research, Inc. System for interactive organization and browsing of video
JP4029487B2 (ja) * 1998-08-17 2008-01-09 ソニー株式会社 記録装置および記録方法、再生装置および再生方法、ならびに、記録媒体
JP3590275B2 (ja) * 1998-08-31 2004-11-17 松下電器産業株式会社 記録再生装置、記録再生方法、及び記録再生プログラムを記録した記録媒体
JP2000165806A (ja) * 1998-11-30 2000-06-16 Sony Corp 情報処理装置および方法、並びに提供媒体
US6744922B1 (en) * 1999-01-29 2004-06-01 Sony Corporation Signal processing method and video/voice processing device
US6373979B1 (en) * 1999-01-29 2002-04-16 Lg Electronics, Inc. System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination
US6597859B1 (en) * 1999-12-16 2003-07-22 Intel Corporation Method and apparatus for abstracting video data
US6580437B1 (en) * 2000-06-26 2003-06-17 Siemens Corporate Research, Inc. System for organizing videos based on closed-caption information
US7089575B2 (en) * 2001-09-04 2006-08-08 Koninklijke Philips Electronics N.V. Method of using transcript information to identify and learn commercial portions of a program
US7941817B2 (en) * 2002-05-21 2011-05-10 Selevision Fz-Llc System and method for directed television and radio advertising
US8238718B2 (en) * 2002-06-19 2012-08-07 Microsoft Corporaton System and method for automatically generating video cliplets from digital video
US7149755B2 (en) * 2002-07-29 2006-12-12 Hewlett-Packard Development Company, Lp. Presenting a collection of media objects
US20040073919A1 (en) * 2002-09-26 2004-04-15 Srinivas Gutta Commercial recommender
EP1577877B1 (en) * 2002-10-24 2012-05-02 National Institute of Advanced Industrial Science and Technology Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data
JP4273202B2 (ja) * 2003-01-31 2009-06-03 独立行政法人産業技術総合研究所 楽曲再生方法及び装置
US7127120B2 (en) * 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
JP2004336507A (ja) * 2003-05-09 2004-11-25 Sony Corp 映像処理装置および方法、記録媒体、並びにプログラム
US7657102B2 (en) * 2003-08-27 2010-02-02 Microsoft Corp. System and method for fast on-line learning of transformed hidden Markov models
JP4047264B2 (ja) * 2003-09-30 2008-02-13 株式会社東芝 動画像処理装置、動画像処理方法および動画像処理プログラム

Also Published As

Publication number Publication date
JP5076892B2 (ja) 2012-11-21
WO2007000959A1 (ja) 2007-01-04
US20090103886A1 (en) 2009-04-23

Similar Documents

Publication Publication Date Title
JP5076892B2 (ja) 同一シーン検出装置およびプログラムを格納した記憶媒体
US8195029B2 (en) Content viewing support apparatus and content viewing support method, and computer program
US7978957B2 (en) Information processing apparatus and method, and program
US6754438B1 (en) Information reproducing apparatus
KR100580195B1 (ko) 복수채널 타임시프트가 가능한 녹화방법 및 그 장치
US20070006263A1 (en) Electronic device, image-processing device, and image-processing method
US20050144637A1 (en) Signal output method and channel selecting apparatus
US8510771B2 (en) Methods and apparatus for filtering content from a presentation stream using signature data
KR101007881B1 (ko) 방송 프로그램의 연속 녹화 제어 방법
KR20150056394A (ko) 영상 표시 장치 및 그 동작 방법
JP2009004872A (ja) ワンセグ放送受信装置、ワンセグ放送受信方法、およびワンセグ放送受信プログラムを記録した媒体
US20090183202A1 (en) Method and apparatus to display program information
JP2008098793A (ja) 受信装置
JP2014165752A (ja) 情報表示装置及び情報表示方法
JP2007306527A (ja) コンテンツ表示装置
JP2008182539A (ja) 放送受信記録再生装置および放送受信記録再生方法
JP4181835B2 (ja) 情報再生装置及び情報再生方法
JP5235471B2 (ja) 映像受信装置とその制御方法
KR100696831B1 (ko) 영상 녹화 시스템의 예약 녹화 방법
JP2008035218A (ja) 記録再生装置および自動録画方法
JP2006270793A (ja) ダイジェスト録画システム
JP2005204233A (ja) デジタル放送受信装置、デジタル放送送信装置、受信方法、プログラム、記録媒体および録画再生装置
JP2007068042A (ja) 受信装置および方法
JP2005151085A (ja) 録画番組一覧用サムネイル画像の作成方法、及び映像信号記録再生装置
JP2022077745A (ja) 受信装置および生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090303

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120813

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees