JP4767216B2 - ダイジェスト生成装置、方法及びプログラム - Google Patents

ダイジェスト生成装置、方法及びプログラム Download PDF

Info

Publication number
JP4767216B2
JP4767216B2 JP2007149703A JP2007149703A JP4767216B2 JP 4767216 B2 JP4767216 B2 JP 4767216B2 JP 2007149703 A JP2007149703 A JP 2007149703A JP 2007149703 A JP2007149703 A JP 2007149703A JP 4767216 B2 JP4767216 B2 JP 4767216B2
Authority
JP
Japan
Prior art keywords
characters
digest
threshold
television broadcast
broadcast program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007149703A
Other languages
English (en)
Other versions
JP2008306311A (ja
Inventor
竜彦 沼本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007149703A priority Critical patent/JP4767216B2/ja
Priority to US12/106,397 priority patent/US8290345B2/en
Publication of JP2008306311A publication Critical patent/JP2008306311A/ja
Application granted granted Critical
Publication of JP4767216B2 publication Critical patent/JP4767216B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
    • H04H60/74—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information using programme related information, e.g. title, composer or interpreter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Description

本発明は、テレビジョン放送番組の記録及び再生に関し、特に、テレビジョン放送番組のダイジェストを生成する技術に関する。
テレビジョン放送番組を記録及び再生するハードディスクレコーダなどの一部に番組をダイジェストで再生する機能を搭載したものがある。当該装置では、ユーザが指定したジャンルに応じてダイジェストシーンが抽出され再生される。ダイジェスト生成対象となるジャンルは、音楽番組であったり、野球、サッカー、ゴルフなどのスポーツ番組であったりする。例えば、野球であればホームランや三振の場面が、また、サッカーであればゴールに至るまでの場面が、ユーザがダイジェストで視聴したいと思うシーンである。
従来、映像が大きく切り替わる場面や音声レベルが所定値よりも大きくなった場面をダイジェストシーンとして検出している（例えば、特許文献１参照）。
特開２００５−３４８０７７号公報
ドラマや映画などのストーリー性を有するジャンルでは、映像が大きく切り替わったり、音声レベルが大きくなったりする場面よりも、登場人物の発話がある場面の方が、番組概要を把握する上で重要となる。したがって、このような会話が番組の内容に対して支配的であるドラマや映画などの放送番組について従来の手法でダイジェストを生成しても、ストーリー把握が困難なものが生成されるおそれがある。
上記問題に鑑み、ドラマや映画などのジャンルのテレビジョン放送番組について、容易にストーリー把握ができるようなダイジェストを生成することを課題とする。
上記課題を解決するために本発明が講じた手段は、字幕情報を含むテレビジョン放送番組のダイジェストを生成する装置として、字幕情報に基づいて、一定時間の区間ごとに当該区間において表示される字幕の文字数を算出する文字数算出部と、算出された文字数と閾値とを比較し、算出された文字数が閾値を超えている区間をテレビジョン放送番組のダイジェストシーンと特定するダイジェストシーン特定部とを備えたものとする。また、字幕情報を含むテレビジョン放送番組のダイジェストを生成する方法として、字幕情報に基づいて、一定時間の区間ごとに当該区間において表示される字幕の文字数を算出する第１のステップと、算出された文字数と閾値とを比較し、算出された文字数が閾値を超えている区間をテレビジョン放送番組のダイジェストシーンと特定する第２のステップとを備えたものとする。
これによると、テレビジョン放送番組の各区間のうち、表示される字幕の文字数が閾値を超えている区間がダイジェストシーンと特定される。すなわち、ドラマや映画などのジャンルのテレビジョン放送番組のストーリーを容易に把握できるようにするための、登場人物の発話がある場面を多く含むシーンが番組全体からまんべんなく抽出されたダイジェストが生成される。
好ましくは、文字数算出部及びダイジェスト選択部は、テレビジョン放送番組が記録されるのと並行して、文字数を算出し、あるいは、特定した区間に係る情報を記録するものとする。第１及び第２のステップについてもこれと同様である。これによると、テレビジョン放送番組の記録後に速やかにダイジェストを再生することができる。
また、好ましくは、文字数算出部は、字幕情報に基づいて発話者を識別し、当該識別した発話者ごとに文字数を算出するものとする。具体的には、文字数算出部は、字幕情報から字幕の文字色に係る情報又は字幕に付された文字情報を取得し、当該文字色に係る情報又は文字情報によって発話者を識別する。そして、ダイジェストシーン特定部は、識別された発話者ごとに算出された文字数と当該発話者に係る閾値とを比較し、識別された発話者のいずれかについての算出された文字数が当該発話者に係る閾値を超えている区間をテレビジョン放送番組のダイジェストシーンと特定する。第１及び第２のステップについてもこれと同様なものとする。これによると、登場人物別に重み付けをしたダイジェストを生成することができる。
また、好ましくは、上記のダイジェスト生成装置は、ダイジェストシーン特定部によって特定された区間の時間を合計して当該合計時間と指示された時間とを比較し、当該比較結果に応じて閾値を変更する閾値設定部を備えたものとする。そして、ダイジェストシーン特定部は、閾値が変更されたとき、区間を再特定するものとする。ダイジェスト生成方法についてもこれと同様である。これによると、指示された時間内に収まるようなダイジェストを生成することができる。
また、好ましくは、文字数算出部は、テレビジョン放送番組が記憶手段から読み出されて再生されているとき、字幕情報を先読みして文字数を算出するものとする。第１のステップについてもこれと同様である。これによると、放送番組全体についてのダイジェストシーンの特定結果を保持する必要がなくなるため、ダイジェストシーンとして特定された区間を一時的に記憶するためのバッファが小さくて済む。
本発明によると、ドラマや映画などのジャンルのテレビジョン放送番組について、容易にストーリー把握ができるようなダイジェストを生成することができる。
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
（本発明の実施形態）
図１は、本発明の実施形態に係るテレビジョン放送記録再生装置の構成を示す。アンテナ１０は、テレビジョン放送波（ＲＦ信号）を受信する。チューナ／復調部２０は、ＲＦ信号のチューニング及び復調を行い、トランスポートストリーム（ＴＳ）を出力する。ＴＳは、必要に応じて記憶手段３０に順次記録される。記憶手段３０は、メモリカード、光ディスク、磁気ディスクなどの記録媒体、これら記録媒体を備えた機器、及び有線又は無線のネットワークなどで実現可能である。ＴＳデコーダ４０は、復調されたＴＳあるいは記憶手段３０から読み出したＴＳを解析して、音声、映像、字幕、及びセクション情報などについて、それぞれのＰＥＳを構築する。記憶手段３０にＴＳをそのまま記録するのではなく、音声及び映像ＰＥＳをビットレート変換してから記録するようにしてもよい。ＡＶデコーダ５０は、映像及び音声ＰＥＳを所定のタイミングでデコードして再生可能な形態の音声及び映像データを構築する。
ダイジェスト生成装置６０Ａは、文字数算出部６２、ダイジェストシーン特定部６４及び閾値設定部６６を備えている。文字数算出部６２は、ＴＳデコーダ４０から出力された字幕ＰＥＳから字幕として表示される文字符号データを抽出するとともにその提示開始時刻及び提示終了時刻を算出する。文字符号データは、字幕ＰＥＳのデータ領域に格納された字幕文データから抽出可能である。提示開始時刻は、字幕ＰＥＳのヘッダ領域に含まれているＰＴＳ（Presentation Time Stamp）から取得可能である。提示終了時刻は、字幕文データに含まれている画面消去符号などの提示タイミングを取得することで算出可能である。
文字数算出部６２は、文字符号データの抽出などを行うと、次に、一定時間の区間ごとに表示される字幕の文字数を算出する。算出した各区間の開始及び終了時刻及び算出された文字数は、必要に応じて、記憶手段３０又は図示しないその他のバッファに記録される。図２は、文字数算出部６２によって算出された文字数の時間変化の例を表す。上記区間は、表示される文字数が適度に変化する程度の長さにする必要があるため、一の字幕の表示時間よりも長めに設定する。具体的には２０〜３０秒に設定すればよい。
ドラマや映画では登場人物ごとに異なる文字色で字幕が表示されることがある。このような文字色情報は、通常、字幕ＰＥＳのデータ領域に制御符号として格納されている。また、字幕の冒頭にその字幕の一部として括弧書きで登場人物名が表示されることがある。そこで、文字数算出部６２は、字幕ＰＥＳのデータ領域を解析して文字色情報や括弧書きの文字情報を取得し、これら情報によって発話者を識別して発話者ごとに文字数を算出してもよい。図３は、発話者別に算出された文字数の時間変化の例を示す。この例では、発話者Ａ及びＢが識別され、それぞれの文字数が算出されている。
図１に戻り、ダイジェストシーン特定部６４は、テレビジョン放送番組の各区間について、文字数算出部６２によって算出された文字数と後述する閾値設定部６６によって与えられる閾値とを比較する。そして、算出された文字数が閾値を超えている区間を処理対象のテレビジョン放送番組のダイジェストシーンと特定する。例えば、図２に示した例では、時刻ｔ１からｔ２まで、ｔ３からｔ４まで、ｔ５からｔ６まで、及びｔ７からｔ８までの各区間がダイジェストシーンと特定される。特定結果は、必要に応じて、記憶手段３０又は図示しないその他のバッファに記録される。
文字数算出部６２によって発話者ごとに文字数が算出される場合には、ダイジェストシーン特定部６４は、発話者ごとに、算出された文字数と閾値設定部６６によって与えられるその発話者用の閾値とを比較する。そして、発話者のいずれかについての文字数がその閾値を超えている区間を処理対象のテレビジョン放送番組のダイジェストシーンと特定する。例えば、図３に示した例では、発話者Ａについては、時刻ｔ１からｔ２まで、ｔ４からｔ６まで、ｔ８からｔ１０まで、及びｔ１２からｔ１３までの各区間における文字数が発話者Ａ用の閾値を超えている。一方、発話者Ｂについては、時刻ｔ２からｔ３まで、ｔ５からｔ６まで、ｔ７からｔ８まで、及びｔ９からｔ１１までの各区間における文字数が発話者Ｂ用の閾値を超えている。したがって、時刻ｔ１からｔ３まで、ｔ４からｔ６まで、ｔ７からｔ１１まで、及びｔ１２からｔ１３までの各区間がダイジェストシーンと特定される。
図１に戻り、閾値設定部６６は、ダイジェストシーン特定部６４によって特定された区間の時間を合計して、合計時間と指示されたダイジェスト再生時間とを比較する。そして、合計時間がダイジェスト再生時間を超えているとき、閾値を大きくする。閾値が変更されると、ダイジェストシーン特定部６４は、変更後の閾値を用いて区間特定の処理を再実行する。閾値が大きくなると表示文字数がその閾値を超える区間の数は少なくなり、結果として、該当する区間の合計時間は小さくなる。これにより、ダイジェストを指定時間内に収めることができる。必要であれば、閾値設定部６６は、ダイジェストシーン特定部６４によって特定された区間の合計時間がダイジェスト再生時間を下回っているとき、閾値を小さくしてもよい。これにより、生成されるダイジェストの再生時間を長くすることができる。
文字数算出部６２によって発話者ごとに文字数が算出される場合には、閾値設定部６６は、各発話者用の閾値を独立に又は連動させて変更してもよい。例えば、図３に示した例では、発話者Ａ用の閾値のみを変更してもよいし、発話者Ａ用の閾値を大きく又は小さくし、発話者Ｂ用の閾値を小さく又は大きくするようにしてもよい。また、発話者Ａ及びＢ用の閾値を同じ値又は比率で増減してもよい。
再生制御部７０は、記憶手段３０からのＴＳの読み出しを制御し、ＡＶデコーダ５０から出力された音声及び映像データを再生する。ここで、再生制御部７０は、ダイジェストシーン特定部６４によって特定された区間に相当するＴＳを読み出すように制御する。これにより、テレビジョン放送番組がダイジェストで再生される。
ダイジェストの再生は、記録されたテレビジョン放送番組の全体を解析してから行ってもよいし、字幕情報を先読みしてダイジェストシーン特定部６４で区間特定をしながら行ってもよい。後者の場合、ダイジェストシーン特定部６４の特定結果を一時的に記憶するためのバッファが小さくて済むという利点がある。
以上、本実施形態によると、テレビジョン放送番組において字幕による文字情報が多いシーン、すなわち、会話が多いシーンが番組全体からまんべんなく抽出される。これにより、ドラマや映画などのジャンルの放送番組について、ストーリー把握に優れたダイジェストの生成が可能となる。さらに、発話者ごとに閾値を設定することで、登場人物に重み付けをしたダイジェストを生成することができる。
なお、テレビジョン放送番組の記録と並行して文字数算出部６２及びダイジェストシーン特定部６４を動作させることで、テレビジョン放送番組を記憶手段３０に記録しながらダイジェストを生成することができる。このとき、ダイジェストシーン特定部６４は、ダイジェストシーンと特定した区間を受信中の放送番組と関連付けて記憶手段３０に記録するようにする。これにより、テレビジョン放送番組の記録後に速やかにダイジェストを再生することができる。なお、このようにして生成されるダイジェストについてはその再生時間を調整することができないため、閾値設定部６６は不要となる。
また、閾値設定部６６を省略してダイジェストシーン特定部６４に与えられる閾値を手動で変更してもよい。閾値を小さくすることで、ダイジェスト再生時間が長くなるものの、表示文字数の少ない区間をも含んだ、よりストーリー把握のし易いダイジェストが生成される。一方、閾値を大きくすることで、再生時間の短いダイジェストが生成される。発話者ごとに閾値が存在する場合には各閾値を手動で変更してもよい。
また、字幕に含まれる文字のうち記号、外字、括弧書き部分などはセリフを表記したものではないため、文字数算出部６２はそのようなセリフ以外の文字を除いて文字数を算出するようにしてもよい。これにより、登場人物の発話があるシーンを精度よく抽出することができる。
（参考例）
図４は、参考例に係るテレビジョン放送記録再生装置の構成を示す。本参考例に係る記録再生装置は、上記実施形態に係る記録再生装置におけるダイジェスト生成装置６０Ａとは異なる構成のダイジェスト生成装置６０Ｂを備えている。以下、上記実施形態と異なる点についてのみ説明する。
ダイジェストシーン特定部６４は、テレビジョン放送番組の各区間について、文字数算出部６２によって算出された文字数と複数の閾値のそれぞれとを比較する。そして、閾値別に、算出された文字数が閾値を超えている区間を処理対象のテレビジョン放送番組のダイジェストシーンと特定する。図５は、文字数算出部６２によって算出された文字数の時間変化の例を表す。算出された文字数は、例えば、二つの閾値と比較される。ここで、第２閾値は第１閾値よりも大きいものとする。図５に示した例では、算出された文字数は、時刻ｔ１からｔ４まで、ｔ５からｔ８まで、ｔ９からｔ１２まで、及びｔ１３からｔ１５までの各区間で第１閾値を超えており、さらに、時刻ｔ２からｔ３まで、ｔ６からｔ７まで、ｔ１０からｔ１１まで、及びｔ１３からｔ１４までの各区間で第２閾値を超えている。特定結果は、必要に応じて、記憶手段３０又は図示しないその他のバッファに記録される。
図４に戻り、ダイジェスト選択部６８は、ダイジェストシーン特定部６４によって特定された区間の時間を閾値別に合計して、合計時間のそれぞれと指示されたダイジェスト再生時間とを比較する。そして、閾値別に特定された区間の組のうち、その合計時間がダイジェスト再生時間以内であるものをダイジェストとして選択する。例えば、図５に示した例では、ダイジェスト再生時間が大きければ、第１閾値との比較で特定された区間がダイジェストとして選択され得る。一方、ダイジェスト再生時間が小さければ、第２閾値との比較で特定された区間がダイジェストとして選択され得る。再生制御部７０は、ダイジェスト選択部６８によって選択されたダイジェストに係る区間の再生を制御する。
以上、本参考例によると、ダイジェスト再生時間が指示された場合において、何度も閾値を変更してダイジェストシーンの特定処理を繰り返すことなく、一度の処理で指示された時間条件を満たすダイジェストを生成することができる。これにより、ダイジェスト生成のための処理速度を向上することができる。
なお、便宜のため、デジタル放送番組のダイジェスト生成について説明したが、本発明に係るダイジェスト生成方法は文字多重放送にも適用可能である。
また、文字算出部６２、ダイジェストシーン特定部６４、閾値設定部６６、及びダイジェスト選択部６８の各機能は、コンピュータにダイジェスト生成プログラムを実行させることによって実現可能である。
本発明に係るダイジェスト生成装置は、ドラマや映画などのジャンルのテレビジョン放送番組について、容易にストーリー把握ができるようなダイジェストを生成することができるため、テレビジョン放送記録再生装置の組み込み装置として有用である。
本発明の実施形態に係るテレビジョン放送記録再生装置の構成を示す。 文字数算出部によって算出された文字数の時間変化の例を表したグラフである。 発話者別に算出された文字数の時間変化の例を表したグラフである。 参考例に係るテレビジョン放送記録再生装置の構成を示す。 文字数算出部によって算出された文字数の時間変化の例を表したグラフである。
３０ 記憶手段
６２ 文字数算出部
６４ ダイジェストシーン特定部
６６ 閾値設定部
６８ ダイジェスト選択部

Claims (15)

  1. 字幕情報を含むテレビジョン放送番組のダイジェストを生成する装置であって、
    前記字幕情報に基づいて、一定時間の区間ごとに当該区間において表示される字幕の文字数を算出する文字数算出部と、
    前記算出された文字数と閾値とを比較し、前記算出された文字数が前記閾値を超えている区間を前記テレビジョン放送番組のダイジェストシーンと特定するダイジェストシーン特定部とを備え、
    前記文字数算出部は、前記テレビジョン放送番組が記録されるのと並行して、前記文字数を算出するものであり、
    前記ダイジェストシーン特定部は、前記テレビジョン放送番組が記録されるのと並行して、前記特定した区間に係る情報を記録する
    ことを特徴とするダイジェスト生成装置。
  2. 字幕情報を含むテレビジョン放送番組のダイジェストを生成する装置であって、
    前記字幕情報に基づいて、一定時間の区間ごとに当該区間において表示される字幕の文字数を算出する文字数算出部と、
    前記算出された文字数と閾値とを比較し、前記算出された文字数が前記閾値を超えている区間を前記テレビジョン放送番組のダイジェストシーンと特定するダイジェストシーン特定部とを備え、
    前記文字数算出部は、前記字幕情報に基づいて発話者を識別し、当該識別した発話者ごとに前記文字数を算出するものであり、
    前記ダイジェストシーン特定部は、前記識別された発話者ごとに前記算出された文字数と当該発話者に係る閾値とを比較し、前記識別された発話者のいずれかについての前記算出された文字数が当該発話者に係る閾値を超えている区間を前記テレビジョン放送番組のダイジェストシーンと特定する
    ことを特徴とするダイジェスト生成装置。
  3. 請求項２に記載のダイジェスト生成装置において、
    前記文字数算出部は、前記字幕情報から字幕の文字色に係る情報又は字幕に付された文字情報を取得し、当該文字色に係る情報又は文字情報によって発話者を識別する
    ことを特徴とするダイジェスト生成装置。
  4. 請求項２に記載のダイジェスト生成装置において、
    前記ダイジェストシーン特定部によって特定された区間の時間を合計して当該合計時間と指示された時間とを比較し、当該比較結果に応じて前記閾値を変更する閾値設定部を備え、
    前記ダイジェストシーン特定部は、前記閾値が変更されたとき、前記区間を再特定する
    ことを特徴とするダイジェスト生成装置。
  5. 字幕情報を含むテレビジョン放送番組のダイジェストを生成する装置であって、
    前記字幕情報に基づいて、一定時間の区間ごとに当該区間において表示される字幕の文字数を算出する文字数算出部と、
    前記算出された文字数と閾値とを比較し、前記算出された文字数が前記閾値を超えている区間を前記テレビジョン放送番組のダイジェストシーンと特定するダイジェストシーン特定部とを備え、
    前記文字数算出部は、前記テレビジョン放送番組が記憶手段から読み出されて再生されているとき、前記字幕情報を先読みして前記文字数を算出する
    ことを特徴とするダイジェスト生成装置。
  6. 字幕情報を含むテレビジョン放送番組のダイジェストを生成する方法であって、
    前記字幕情報に基づいて、一定時間の区間ごとに当該区間において表示される字幕の文字数を算出する第１のステップと、
    前記算出された文字数と閾値とを比較し、前記算出された文字数が前記閾値を超えている区間を前記テレビジョン放送番組のダイジェストシーンと特定する第２のステップとを備え、
    前記第１のステップでは、前記テレビジョン放送番組が記録されるのと並行して、前記文字数が算出され、
    前記第２のステップでは、前記テレビジョン放送番組が記録されるのと並行して、前記特定した区間に係る情報が記録される
    ことを特徴とするダイジェスト生成方法。
  7. 字幕情報を含むテレビジョン放送番組のダイジェストを生成する方法であって、
    前記字幕情報に基づいて、一定時間の区間ごとに当該区間において表示される字幕の文字数を算出する第１のステップと、
    前記算出された文字数と閾値とを比較し、前記算出された文字数が前記閾値を超えている区間を前記テレビジョン放送番組のダイジェストシーンと特定する第２のステップとを備え、
    前記第１のステップでは、前記字幕情報に基づいて発話者が識別され、当該識別された発話者ごとに前記文字数が算出され、
    前記第２のステップでは、前記識別された発話者ごとに前記算出された文字数と当該発話者に係る閾値とが比較され、前記識別された発話者のいずれかについての前記算出された文字数が当該発話者に係る閾値を超えている区間が前記テレビジョン放送番組のダイジェストシーンと特定される
    ことを特徴とするダイジェスト生成方法。
  8. 請求項７に記載のダイジェスト生成方法において、
    前記第１のステップでは、前記字幕情報から字幕の文字色に係る情報又は字幕に付された文字情報が取得され、当該文字色に係る情報又は文字情報によって発話者が識別される
    ことを特徴とするダイジェスト生成方法。
  9. 請求項７に記載のダイジェスト生成方法において、
    前記第２のステップで特定された区間の時間を合計して当該合計時間と指示された時間とを比較し、当該比較結果に応じて前記閾値を変更する第３のステップを備え、
    前記第２のステップでは、前記閾値が変更されたとき、前記区間が再特定される
    ことを特徴とするダイジェスト生成方法。
  10. 字幕情報を含むテレビジョン放送番組のダイジェストを生成する方法であって、
    前記字幕情報に基づいて、一定時間の区間ごとに当該区間において表示される字幕の文字数を算出する第１のステップと、
    前記算出された文字数と閾値とを比較し、前記算出された文字数が前記閾値を超えている区間を前記テレビジョン放送番組のダイジェストシーンと特定する第２のステップとを備え、
    前記第１のステップでは、前記テレビジョン放送番組が記憶手段から読み出されて再生されているとき、前記字幕情報が先読みされて前記文字数が算出される
    ことを特徴とするダイジェスト生成方法。
  11. コンピュータに、字幕情報を含むテレビジョン放送番組のダイジェストを生成させるプログラムであって、
    前記字幕情報に基づいて、一定時間の区間ごとに当該区間において表示される字幕の文字数を算出する文字数算出手段、及び
    前記算出された文字数と閾値とを比較し、前記算出された文字数が前記閾値を超えている区間を前記テレビジョン放送番組のダイジェストシーンと特定するダイジェストシーン特定手段として、コンピュータを機能させ、
    前記文字数算出手段は、前記テレビジョン放送番組が記録されるのと並行して、前記文字数を算出するものであり、
    前記ダイジェストシーン特定手段は、前記テレビジョン放送番組が記録されるのと並行して、前記特定した区間に係る情報を記録する
    ことを特徴とするダイジェスト生成プログラム。
  12. コンピュータに、字幕情報を含むテレビジョン放送番組のダイジェストを生成させるプログラムであって、
    前記字幕情報に基づいて、一定時間の区間ごとに当該区間において表示される字幕の文字数を算出する文字数算出手段、及び
    前記算出された文字数と閾値とを比較し、前記算出された文字数が前記閾値を超えている区間を前記テレビジョン放送番組のダイジェストシーンと特定するダイジェストシーン特定手段として、コンピュータを機能させ、
    前記文字数算出手段は、前記字幕情報に基づいて発話者を識別し、当該識別した発話者ごとに前記文字数を算出するものであり、
    前記ダイジェストシーン特定手段は、前記識別された発話者ごとに前記算出された文字数と当該発話者に係る閾値とを比較し、前記識別された発話者のいずれかについての前記算出された文字数が当該発話者に係る閾値を超えている区間を前記テレビジョン放送番組のダイジェストシーンと特定する
    ことを特徴とするダイジェスト生成プログラム。
  13. 請求項１２に記載のダイジェスト生成プログラムにおいて、
    前記文字数算出手段は、前記字幕情報から字幕の文字色に係る情報又は字幕に付された文字情報を取得し、当該文字色に係る情報又は文字情報によって発話者を識別する
    ことを特徴とするダイジェスト生成プログラム。
  14. 請求項１２に記載のダイジェスト生成プログラムにおいて、
    前記ダイジェストシーン特定手段によって特定された区間の時間を合計して当該合計時間と指示された時間とを比較し、当該比較結果に応じて前記閾値を変更する閾値設定手段として、コンピュータを機能させ、
    前記ダイジェストシーン特定手段は、前記閾値が変更されたとき、前記区間を再特定する
    ことを特徴とするダイジェスト生成プログラム。
  15. コンピュータに、字幕情報を含むテレビジョン放送番組のダイジェストを生成させるプログラムであって、
    前記字幕情報に基づいて、一定時間の区間ごとに当該区間において表示される字幕の文字数を算出する文字数算出手段、及び
    前記算出された文字数と閾値とを比較し、前記算出された文字数が前記閾値を超えている区間を前記テレビジョン放送番組のダイジェストシーンと特定するダイジェストシーン特定手段として、コンピュータを機能させ、
    前記文字数算出手段は、前記テレビジョン放送番組が記憶手段から読み出されて再生されているとき、前記字幕情報を先読みして前記文字数を算出する
    ことを特徴とするダイジェスト生成プログラム。
JP2007149703A 2007-06-05 2007-06-05 ダイジェスト生成装置、方法及びプログラム Expired - Fee Related JP4767216B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007149703A JP4767216B2 (ja) 2007-06-05 2007-06-05 ダイジェスト生成装置、方法及びプログラム
US12/106,397 US8290345B2 (en) 2007-06-05 2008-04-21 Digest generation for television broadcast program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007149703A JP4767216B2 (ja) 2007-06-05 2007-06-05 ダイジェスト生成装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2008306311A JP2008306311A (ja) 2008-12-18
JP4767216B2 true JP4767216B2 (ja) 2011-09-07

Family

ID=40095520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007149703A Expired - Fee Related JP4767216B2 (ja) 2007-06-05 2007-06-05 ダイジェスト生成装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US8290345B2 (ja)
JP (1) JP4767216B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250103A (ja) 2010-05-26 2011-12-08 Canon Inc 再生装置
FR3004054A1 (fr) * 2013-03-26 2014-10-03 France Telecom Generation et restitution d'un flux representatif d'un contenu audiovisuel
KR102184053B1 (ko) * 2019-03-26 2020-11-27 권택준 대사를 캐릭터별 상이한 목소리로 변환하여 전달하는 웹툰 동영상 생성 방법
JP6997996B2 (ja) * 2020-05-14 2022-01-18 ダイキン工業株式会社 情報処理方法、情報処理装置、プログラム、及び情報処理システム
US11887629B2 (en) 2020-09-10 2024-01-30 Adobe Inc. Interacting with semantic video segments through interactive tiles
US11880408B2 (en) 2020-09-10 2024-01-23 Adobe Inc. Interacting with hierarchical clusters of video segments using a metadata search
US11450112B2 (en) 2020-09-10 2022-09-20 Adobe Inc. Segmentation and hierarchical clustering of video
US11455731B2 (en) * 2020-09-10 2022-09-27 Adobe Inc. Video segmentation based on detected video features using a graphical model
US11630562B2 (en) 2020-09-10 2023-04-18 Adobe Inc. Interacting with hierarchical clusters of video segments using a video timeline
US11887371B2 (en) 2020-09-10 2024-01-30 Adobe Inc. Thumbnail video segmentation identifying thumbnail locations for a video
US11810358B2 (en) 2020-09-10 2023-11-07 Adobe Inc. Video search segmentation
US11631434B2 (en) 2020-09-10 2023-04-18 Adobe Inc. Selecting and performing operations on hierarchical clusters of video segments

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3367268B2 (ja) * 1995-04-21 2003-01-14 株式会社日立製作所 映像のダイジェスト作成装置及び方法
JPH11313291A (ja) * 1998-04-28 1999-11-09 Toshiba Corp 番組案内表示装置及び方法
JP2000023062A (ja) * 1998-06-30 2000-01-21 Toshiba Corp ダイジェスト作成システム
CN1367612A (zh) * 2000-06-30 2002-09-04 株式会社东芝 特殊再生控制信息记录方法,产生装置及方法,图象再生装置
JP4253139B2 (ja) * 2000-06-30 2009-04-08 株式会社東芝 フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体
JP3640615B2 (ja) 2001-03-02 2005-04-20 シャープ株式会社 ダイジェスト作成装置
JP2002344871A (ja) 2001-05-14 2002-11-29 Hitachi Ltd 字幕放送記録装置および記録方法
JP2004007342A (ja) * 2002-03-29 2004-01-08 Fujitsu Ltd ダイジェスト自動生成方法
JP2005018925A (ja) 2003-06-27 2005-01-20 Casio Comput Co Ltd 録画再生装置及び録画再生方法
JP2005277531A (ja) * 2004-03-23 2005-10-06 Seiko Epson Corp 動画像処理装置
JP2005348077A (ja) 2004-06-02 2005-12-15 Toshiba Corp 記録再生装置、及び再生装置。
US8392183B2 (en) * 2006-04-25 2013-03-05 Frank Elmo Weber Character-based automated media summarization
JP2008294584A (ja) * 2007-05-22 2008-12-04 Panasonic Corp ダイジェスト再生装置及び方法

Also Published As

Publication number Publication date
JP2008306311A (ja) 2008-12-18
US8290345B2 (en) 2012-10-16
US20080303943A1 (en) 2008-12-11

Similar Documents

Publication Publication Date Title
JP4767216B2 (ja) ダイジェスト生成装置、方法及びプログラム
WO2010073355A1 (ja) 番組データ処理装置、方法、およびプログラム
US8103149B2 (en) Playback system, apparatus, and method, information processing apparatus and method, and program therefor
JP2004513547A (ja) 音声特性を利用してビデオプログラム中のハイライトを検出するシステム及び方法
US7149365B2 (en) Image information summary apparatus, image information summary method and image information summary processing program
JP4435130B2 (ja) 映像再生装置、再生装置
KR20040040480A (ko) 비디오 세그먼트 우선순위에 기초하여 기록된 비디오의감소된 재생을 위한 시스템 및 방법
US20070071406A1 (en) Video recording and reproducing apparatus and video reproducing apparatus
US20070179786A1 (en) Av content processing device, av content processing method, av content processing program, and integrated circuit used in av content processing device
JP2004187029A (ja) 要約映像追いかけ再生装置
JP4735413B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
US7801420B2 (en) Video image recording and reproducing apparatus and video image recording and reproducing method
US8693847B2 (en) Contents processing apparatus and method
WO2007046171A1 (ja) 記録再生装置
JP2008048297A (ja) コンテンツ提供方法、コンテンツ提供方法のプログラム、コンテンツ提供方法のプログラムを記録した記録媒体及びコンテンツ提供装置
WO2007039995A1 (ja) ダイジェスト作成装置およびそのプログラム
JP2006270233A (ja) 信号処理方法及び信号記録再生装置
US20060263062A1 (en) Method of and apparatus for setting video signal delimiter information using silent portions
JP2008301340A (ja) ダイジェスト作成装置
US7756390B2 (en) Video signal separation information setting method and apparatus using audio modes
JP4921262B2 (ja) プレイリスト生成装置およびプレイリスト再生装置
JP4666175B2 (ja) 記録再生装置および再生装置
JP2009171277A (ja) 情報データストリームの記録装置、及び方法
JP2008004170A (ja) 情報記録再生装置
JP4380388B2 (ja) 編集方法、記録再生装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees