JP3923918B2 - 番組映像編集装置、番組映像編集方法及びプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、放映された番組映像を編集する番組映像編集装置、番組映像編集方法及びプログラムに関する。
【０００２】
【従来の技術】
一般にテレビで放映される番組（以下、テレビ番組）を放映と同時に視聴できない場合には、そのテレビ番組をビデオテープレコーダー（ＶＴＲ）やハードディスクレコーダー（ＨＤＤＲｅｃｏｒｄｅｒ）などに一旦録画しておいて、都合のよい時間に再生して視聴することで、所望のテレビ番組を見逃さないようにすることが日常的に行われている。また、所望のテレビ番組を放映と同時に視聴するとともに、そのテレビ番組を録画して、再度視聴することも日常的に行われている。
【０００３】
ところで、テレビ番組は、視聴者にとって冗長あるいは不要な映像を含むことが多い。
【０００４】
例えば、特定商品を広く宣伝することを目的とするコマーシャルフィルム(Commercial Film)（以下、ＣＦ）を含めて放映されるテレビ番組では、録画再生時にはテレビ番組だけを見たいと考える視聴者にとっては、ＣＦが不要である（何度も視聴することになるので冗長とも言える）。
【０００５】
そこで、この点を解消すべく、テレビ番組録画時にＣＦだけを録画しない機能や、再生時にＣＦを飛ばすことの出来る機能などを搭載している。
【０００６】
しかしながら、テレビ番組には、ＣＦ以外にも当該視聴者とっては冗長となる画像が含まれる。
【０００７】
例えば、最近、ＣＦの前の番組内容を見逃した視聴者のために、ＣＦ直後に、そのＣＦ直前の番組内容と同一の内容を繰り返して放映することが良くある。確かに、そのような視聴者にとっては利益になり得る面があるが、その反面、一旦番組を録画してから視聴する場合には、特定の場面を見逃すということは無く、そのような画像は冗長となる。
【０００８】
また、例えば、スポーツ番組を一旦録画し意味のある場面だけを見たいと考える視聴者にとっては、特定の場面（得点場面、贔屓の選手が映されている場面、など）以外の場面は、余計であり冗長になる。
【０００９】
以上のように現状では、録画したテレビ番組が当該視聴者にとって冗長な場面を含むような場合、それをなるべく除いて見たい場面だけを見るための工夫は、テレビ視聴者に拠っている（具体的には、例えば、早送りやスキップ等の操作が行われる）。これは、視聴者に負担を強いることにもなる。
【００１０】
なお、スポーツ番組から観客の歓声の上がった時のビデオ信号および音声信号を検出し、これをハイライトシーンとして繋いで記録する技術が知られているが、この技術では冗長な場面を省くようなことはできない（例えば、特許文献１参照）。
【００１１】
【特許文献１】
特開平３−８０７８２号公報
【００１２】
【発明が解決しようとする課題】
従来、テレビ番組が冗長な場面を含む場合、それをなるべく除いて見たい場面だけを視聴するための工夫はテレビ視聴者に拠るしかなかった。
【００１３】
本発明は、上記事情を考慮してなされたもので、番組映像からユーザ指定の映像断片を検出し、該映像断片に関するユーザ指定の編集を行うことの可能な番組映像編集装置、番組映像編集方法及びプログラムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明に係る番組映像編集装置は、番組映像を記憶する第１の記憶手段と、１又は複数の映像断片を記憶する第２の記憶手段と、前記番組映像から、前記映像断片に対して同一と評価される同一映像部分を抽出する抽出手段と、前記同一映像部分に対する編集方法を記述した編集規則を記憶する第３の記憶手段と、前記抽出手段により前記番組映像から抽出された前記同一映像部分を前記編集規則に従って編集する編集手段とからなり、前記第２の記憶手段に記憶される前記映像断片は、映像断片種別を持ち、前記第３の記憶手段に記憶される前記編集規則は、前記映像断片種別を指定して記述されるものであることを特徴とする。
【００１７】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００１８】
本発明によれば、番組映像からユーザ指定の映像断片を検出し、該映像断片に関するユーザ指定の編集を行うことが可能になる。
【００１９】
例えば、テレビ番組が冗長な場面を含む場合、それを除いて見たい場面だけを見るための工夫をテレビ視聴者に拠る必要性が減るので、テレビ視聴者は、従来のような操作の負担が減るとともに、より快適にテレビ番組又はその録画映像の再生を視聴することができるようになる。
【００２０】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００２１】
本実施形態では、本発明を映像編集機能付き録画再生機器に適用した場合を例にとって説明する。
【００２２】
図１に、本発明の一実施形態に係るＴＶ放映画像編集装置の構成例を示す。
【００２３】
図１中、１はＴＶ放映画像編集装置、２はＴＶ映像受信器、３はＴＶ映像エンコーダーを表している。なお、図１では、ＴＶ放映画像編集装置１に対して、ＴＶ映像受信器２とＴＶ映像エンコーダー３を外付けするシステムを例にとっているが、ＴＶ放映画像編集装置１に、ＴＶ映像エンコーダー３、あるいはＴＶ映像受信器２及びＴＶ映像エンコーダー３を内臓するシステムも、もちろん、可能である。
【００２４】
図１に示されるように、本実施形態のＴＶ放映画像編集装置１は、番組映像読み出し部１０１、番組映像記憶部１０２、番組映像編集部１０３、類似画像区間検出部１０４、類似音声区間検出部１０５、冗長映像記憶部（冗長映像ＤＢ）１０６、繰り返し映像編集規則記憶部１０７、映像出力部１０８、類似映像指定ユーザインタフェース部（類似映像指定ＵＩ部）１０９を備えている。
【００２５】
ＴＶ映像受信器２は、ＴＶ映像を受信し出力する。
【００２６】
ＴＶ映像エンコーダー３は、受信したＴＶ映像を、ＴＶ放映画像編集装置１の番組映像読み出し部１０１が可読の形式にエンコードする。エンコードされたＴＶ映像は、ＴＶ放映画像編集装置１の番組映像記憶部１０２に保存される。
【００２７】
冗長映像ＤＢ１０６には、例えばユーザが類似映像指定ＵＩ部１０９を利用して指定した映像が蓄積される。
【００２８】
番組映像読み出し部１０１は、番組映像記憶部１０２から編集処理の対象となる映像（例えば、或る１つの番組の録画映像）を１つ読み出す。
【００２９】
番組映像編集部１０３は、繰り返し映像編集規則記憶部１０７の編集規則に従って、入力された映像を編集する。具体的には、類似画像区間検出部１０４と類似音声区間検出部１０５を利用し、入力された映像から、冗長映像ＤＢ１０６に登録されている映像と同一の映像（であると評価されるもの）を検出し、映像編集規則１０７に従って、それら検出された映像を処理する。処理された映像は、適宜、映像出力部１０８へ出力することができる。
【００３０】
なお、同一の映像を検出する点については、画像や音声が全く同一であるときにのみ、同一であるとしてもよいが、実用的には、例えば、基準以上類似するときに、同一であるとする構成をとっても構わない（類似度の閾値等の評価基準は適宜設定して構わない）。
【００３１】
以下、具体例を用いながら本実施形態について詳しく説明する。
【００３２】
なお、本実施形態では、便宜的に、「ＴＶ映像の信号（又はデータ）」を「画像の信号（又はデータ）」と「音声の信号（又はデータ）」とからなるものとして説明する。また、それらの信号や部分信号を、実データの記述で表現する代わりに、信号区間に“Ｖ１”のように固有のタグを付与することで表現する。なお、この表現は、放送される段階で実際に当該信号区間に固有のタグ・データが付加されている場合を意味するものではないが、そのような場合を排除するものでもない。本実施形態では、放送される段階で当該信号区間に固有のタグ・データが付加されていない場合を想定して説明している。
【００３３】
さて、上記のようなシステムにおいて、番組映像読み出し部１０１が図２に示すような構成のＴＶ映像信号を読み出して、番組映像編集部１０３に送出したとする。図２において、上段の信号は映像信号中の画像信号を、下段は音声信号を表すものとする。
【００３４】
ここで、冗長映像ＤＢ１０６には、例えば図３のような知識が保存されているとする。図３に例示した知識において、１行目の“ＣＦ＝（ＣＶ３０１，ＣＳ３０１）”は、画像信号ＣＶ３０１と音声信号ＣＳ３０１が、ＣＦすなわちコマーシャル映像を構成する要素であることを表わしている。また、２行目の“ＵｓｅｒＤｅｆｉｎｅｄＲＶ＝（Ｖ３０２，Ｓ３０２）”は、映像信号Ｖ３０２と音声信号Ｓ３０２は、ユーザが類似画像ＵＩ部２１０を用いて指定した、冗長な映像（以下、ユーザ定義の冗長映像）を構成する要素であることを表わしている。
【００３５】
なお、冗長映像ＤＢ１０６には、実際に、映像信号のデータ（上記の例で言えば、画像信号ＣＶ３０１、音声信号ＣＳ３０１、映像信号Ｖ３０２及び音声信号Ｓ３０２に相当するデータ）が蓄積されているわけであるが、その際、各データは、少なくとも、画像信号か音声信号かを特定する情報、１つの映像を構成する対になる相手要素を特定する情報、ＣＦ映像を構成する要素かユーザ指定映像を構成する要素かを特定する情報によって管理される。
【００３６】
他方、繰り返し映像編集規則記憶部１０７には、例えば図４に示すような繰り返し映像編集規則が保存されているとする。図４に例示した編集規則において、規則１の「ＣＦ映像は全て削除する」は、冗長映像ＤＢ１０６に登録されているＣＦ映像と同一と評価された映像は全て削除すべきことを表わしている。また、規則２の「ユーザ定義の冗長映像は高々１回含むようにする」は、冗長映像ＤＢ１０６に登録されているユーザ定義の冗長映像と同一と評価された映像は１つのみ残して他は全て削除すべきことを表わしている。
【００３７】
もちろん、上記の編集規則は一例であり、種々の規則が可能である。例えば、「ＣＦ映像は高々１回含むようにする」、「ＣＦ映像は高々２回含むようにする」、「ユーザ定義の冗長映像は全て削除する」、「ユーザ定義の冗長映像は高々２回含むようにする」などの規則も、もちろん、可能である。
【００３８】
さて、番組映像編集部１０３は、図３に例示したような冗長映像ＤＢ１０６の知識を参照し、図４に例示したような繰り返し映像編集規則記憶部１０７の編集規則に従って、図２に例示したような映像信号を処理する。
【００３９】
図５に、図４に例示した編集規則を実現する番組映像編集部１０３による処理手順の一例を示す。ここでは、図２〜図４の具体例を用いながら説明する。
【００４０】
なお、２つの映像信号の同一性を判断する場合に、両者の画像信号又は音声信のいずれか一方でも同一と判断されれば、当該２つの映像信号を同一であるものとする方法と、両者の画像信号及び音声信号の両方がそれぞれ同一であると判断されてはじめて、当該２つの映像信号を同一であるものとする方法などがあるが、ここでは、前者の場合を例にとって説明する。
【００４１】
また、最初に画像信号による処理を行い、次いで音声信号による処理を行う場合を例にとって説明する。
【００４２】
まず、手順Ｓ１において、処理の対象となる映像Ｖａｌｌすなわち図２に示した構成を持つ映像信号を読み出す。
【００４３】
次に、手順Ｓ２に進み、冗長映像ＤＢ１０６からＣＦリストを取り出す。ＣＦリストとは、図３の１行目の右辺“（ＣＶ３０１，ＣＳ３０１）”のことである。
【００４４】
ここでは、ＣＦリストの２要素のいずれも未処理であるため、手順Ｓ３に進む。
【００４５】
手順Ｓ３では、まず、ＣＦリストの先頭要素“ＣＶ３０１”が検索対象となる。
【００４６】
ＣＶ３０１は画像信号であるので、手順Ｓ４では、類似画像区間検出部１０４を用いて図２の映像信号のうち画像信号を対象とした検索が行われる（例えば、ＣＶ３０１のデータと、Ｖａｌｌの画像信号のデータとを照合し、類似度が基準値以上であるか否か判断することを、Ｖａｌｌから画像信号のデータを切り出す範囲をシフトしながら、繰り返し実行する、などの処理が行われる）。図２の例では、映像信号Ｖａｌｌのうち区間Ｔ２−Ｔ３が画像信号としてＣＶ３０１を含んでいることを検出し、番組映像編集部１０３は、映像信号Ｖａｌｌから時区間Ｔ２−Ｔ３を削除する。
【００４７】
そして、手順Ｓ３に戻り、ＣＦリストの未処理要素であるＣＳ３０１について、類似音声区間検出部１０５を用いた検索が行われ（例えば、ＣＳ３０１のデータと、Ｖａｌｌの音声信号のデータとを照合し、類似度が基準値以上であるか否か判断することを、Ｖａｌｌから音声信号のデータを切り出す範囲をシフトしながら、繰り返し実行する、などの処理が行われる）、該当する音声区間が検出されれば番組映像編集部１０３による削除が行われる。
【００４８】
ＣＦリストについての処理が終了すると、手順はＳ５に進む。
【００４９】
手順Ｓ５では、冗長映像ＤＢ１０６からＵｓｅｒＤｅｆｉｎｅｄＲＶリストを取り出す。ＵｓｅｒＤｅｆｉｎｅｄＲＶリストとは、図３の２行目の右辺“（Ｖ３０２，Ｓ３０２）”のことである。
【００５０】
ここでは、ＵｓｅｒＤｅｆｉｎｅｄＲＶリストの２要素のいずれも未処理であるため、手順Ｓ６に進む。
【００５１】
手順Ｓ６では、まず、ＵｓｅｒＤｅｆｉｎｅｄＲＶリストの先頭要素“Ｖ３０２”が検索対象となる。
【００５２】
Ｖ３０２は画像信号であるので、手順Ｓ７では、類似画像区間検出部１０４を用いて図２の映像信号のうち画像信号を対象とした検索が行われる。図２の例では、映像信号Ｖａｌｌのうち区間Ｔ１−Ｔ２と区間Ｔ３−Ｔ４が画像信号としてＶ３０２を含んでいるものとして検出される。
【００５３】
そして、手順Ｓ８では、検出された時区間のうち時系列順で最初のもの、本例の場合には、区間Ｔ１−Ｔ２が残され、区間Ｔ３−Ｔ４が削除される。
【００５４】
そして、手順Ｓ５に戻り、ＵｓｅｒＤｅｆｉｎｅｄＲＶリストの未処理要素であるＳ３０２について、類似音声区間検出部１０５を用いた検索が行われ、該当する音声区間が検出されれば番組映像編集部１０３による余分な区間の削除が行われる。
【００５５】
本具体例の場合、この処理の結果として、図６に示すような映像信号Ｖａｌｌ´が得られる。図２と比較すると、図６では、入力された映像信号から、ＣＦ映像“ＣＶ３０１，ＣＳ３０１”がすべて削除され、ユーザ指定の冗長映像“Ｖ３０２，Ｓ３０２”が１つを残してすべて削除されていることがわかる。これによって、 “Ｖ３０１，Ｓ３０１”→“Ｖ３０２，Ｓ３０２”→“Ｖ３０３，Ｓ３０３”のように、ユーザは、当該ユーザにとって冗長のないものになった番組を鑑賞することができる。
【００５６】
このように、本実施形態のＴＶ放映画像編集装置によれば、冗長映像ＤＢ１０６に登録されたＣＦや、ユーザ定義の冗長画像など、ユーザにとって冗長（あるいは不要）である映像をＴＶ映像から削除することが可能となり、録画再生時等には、それらが削除された番組として視聴することが可能になる。
【００５７】
なお、上記では、最初に画像信号による検出・削除処理を行い、次いで音声信号による検出・削除処理を行うものとしたが、その逆に、最初に音声信号による検出・削除処理を行い、次いで画像信号による検出・削除処理を行うものとしてもよい。なお、音声信号による処理の方が効率的かつ高速に行うことができるので、後者の方が有効な場合がある。
【００５８】
また、ＣＦ映像が複数登録されている場合に、１つのＣＦ映像を構成する一対の画像信号による処理と音声信号による処理を続けて行うことを、各ＣＦ映像について繰り返し行うようにしてもよいし、最初に画像信号（又は音声信号）による処理をまとめて行い、次に音声信号（又は画像信号）による処理をまとめて行うようにしてもよい。この点は、ユーザ定義の冗長映像についても同様である。
【００５９】
また、上記では、まず、ＣＦ映像に関する処理を行い、次いで、ユーザ定義の冗長映像に関する処理を行ったが、それとは逆の順番で行ってもよいし、ＣＦ映像かユーザ定義の冗長映像かは問わずに例えば登録順などで行ってもよい。
【００６０】
また、上記では、複数検出されたユーザ定義の冗長映像と同一の映像のうち、時系列順で最初のものを残し、以降のものをすべて削除するものとしてが、もちろん、それ以外の方法も可能である。
【００６１】
すなわち、ＣＦ映像やユーザ定義の冗長映像と同一と評価された映像を１つ残す場合に、いずれの映像を削除するかについては、例えば、「高々１回含むようにする」にあたって、同一画像が２つ以上存在する場合には、時系列順で最初に出現した同一映像を残し、それ以降の同一映像を全て削除するようにしてもよいし、２番目に出現した同一映像を残すようにしてもよい。なお、同一画像が１つのみ存在する場合には、それを残せばよい。
【００６２】
また、例えば、「高々２回含むようにする」にあたって、同一画像が３以上存在する場合には、時系列順で最初に出現した同一映像と２番目に出現した同一映像を残し、それ以降の同一映像を全て削除するようにしてもよいし、最初に出現した同一映像と最後に出現した同一映像を残し、それ以降の同一映像を全て削除するようにしてもよいし、その他の方法も可能である。なお、同一画像が２つ以下のみ存在する場合には、それらを全て残せばよい。
【００６３】
また、上記では、２つの映像信号の同一性を判断する場合に、両者の画像信号又は音声信のいずれか一方でも同一と判断されれば、当該２つの映像信号を同一であるものとしたが、両者の画像信号及び音声信号の両方がそれぞれ同一であると判断されてはじめて、当該２つの映像信号を同一であるものとする方法も可能である。
【００６４】
例えば、実際に同一の場面である場合には、画像信号と音声信号のいずれか一方の照合で判断可能であるので、この方が効率的である。しかし、例えば、対談番組や討論会や公演番組などのように画面の動きが少ない番組のように、画像信号だけでは判断できない場合などがあり、また、画面の動きは大きいが、同じ音楽を繰り返し流しているような番組のように、音声信号だけでは判断できない場合などがあり、画像信号と音声信号の両方の照合を行う方が有効なこともある。
【００６５】
画像信号と音声信号の両方が一致してはじめて同一と判断する場合には、例えば、まず、１つのＣＦ映像を構成する画像信号と同じ画像信号を持つ映像を検索し、検出されたならば、次に、その検出された映像を構成する音声信号と、当該ＣＦ映像を構成する音声信号との同一性を調べ、同一であると判断されたならば、ここではじめて、当該ＣＦ映像と同一の映像が検出されたものとすればよい（もちろん、その逆に、先に音声信号で検出し、次いで映像信号で同一性を判断する方法も可能である）。この点は、ユーザ定義の冗長映像についても同様である。
【００６６】
なお、両者の画像信号又は音声信のいずれか一方でも同一と判断されれば、当該２つの映像信号を同一であるものとするか、両者の画像信号及び音声信号の両方がそれぞれ同一であると判断されてはじめて、当該２つの映像信号を同一であるものとするかを、ユーザが予め指定可能にしてもよいし、編集規則として記述するようにしてもよい。
【００６７】
また、図１では、類似画像区間検出部１０４と類似音声区間検出部１０５を備えていたが、例えば、類似画像区間検出部１０４のみ備えるようにしてもよい。この場合、冗長映像ＤＢ１０６に登録されたＣＦ映像やユーザ定義の冗長映像の画像信号のみを用いて、番組映像から、ＣＦ映像やユーザ定義の冗長映像と同一と評価される同一映像部分を抽出するようにすればよい（すなわち、２つの映像信号の画像信号が同一と判断されれば、当該２つの映像信号を同一であるものと評価し、音声信号の同一性は問わない）。同様に、類似音声区間検出部１０５のみ備える構成も可能である。
【００６８】
ところで、これまでの構成では、冗長映像ＤＢ１０６にＣＦ映像やユーザ定義の冗長映像を登録し、これを管理するにあたって、１つの映像を構成する対になる相手要素を特定できるようにしたが、１つの映像を構成する対になる相手要素を特定する必要がない場合には、１つの映像を構成する対になる相手要素を特定する情報は不要になる。例えば、２つの映像の同一性を調べる際に、画像信号と音声信号のいずれか一方が同一と評価されたときに、当該２つの映像を同一と評価する場合には、かならずしも、１つの映像を構成する対になる相手要素を特定できる必要はない。この場合には、図３の知識は、“ＣＦ＝（ＣＶ３０１，ＣＳ３０１）”のように対にするのではなく、“ＣＦ＝（ＣＶ３０１）”、“ＣＦ＝（ＣＳ３０１）”のような互いに独立した知識でもよい。
【００６９】
また、この場合には、冗長映像ＤＢ１０６には、ユーザは、ユーザ定義の情報映像として、画像信号のみ、あるいは、音声信号のみを登録することも可能である。
【００７０】
また、本実施形態において、ＴＶ映像を構成する音声データや画像データと冗長映像ＤＢ１０６中の音声データや画像データとを照応する方法については、特に制約のあるものではなく、例えば従来からある方法を利用して構わない。例えば、「白井良明編、“パターン理解”、オーム社知識科学講座９、ＩＳＢＮ４−２７４−０７３６０−２（１９８７）」には種々の基本アルゴリズムが提示されており、これらを利用することで画像信号や音声信号を照応することが可能である。
【００７１】
また、全く同じ信号が検出されたときのみ「一致している」と判定するようにしてもよいが、異なった長さの信号であっても例えば上記文献等に記載のＤＰマッチングを用いることによって「（時間長が変化しているものの）一致している」と判定することも可能である。具体的には、比較される信号同士を時間パラメータに関して正規化し、その結果について比較を行えばよい。これによって、冗長な映像の速度を変えて再生したものも検出することが可能となる。
【００７２】
また、画像信号の照応技術については、例えば、ＦＥＳＴ Ｐｒｏｊｅｃｔ編：「実践画像処理」３．３（１）“パターンマッチング”，ｐｐ．９７−１１９，シュプリンガーフェアラーク社，ＩＳＢＮ４−４３１−７０８９９−５，（２０００）に開示された技術を利用してもよい。
【００７３】
また、音声信号の照応技術については、例えば、谷萩隆嗣編：「マルチメディアとディジタル信号処理」４．２．５“連続音声認識システムの構成例”，ｐｐ．１７８−１９６，コロナ社，ＩＳＢＮ４−３３９−０１１３０−４，（１９９７）に開示された技術を利用しても。
【００７４】
また、本実施形態において、ユーザ定義の冗長映像の冗長映像ＤＢ１０６への登録方法については、どのような方法をとってもよく、特に制約はない。
【００７５】
例えば、ビデオテープレコーダー（ＶＴＲ）に本発明を適用する場合、リモートコントローラー（リモコン）のボタンに、登録すべき映像の始端と終端の指定をするためのボタンを追加して、それらのボタンが押されたときにビデオ信号にその情報が書き込まれるような機能を追加することによって、ユーザは任意に不要な画像信号区間を指定することができる。また、始端の時間情報と終端の時間情報を入力する方法も可能である。この操作は、録画映像の再生時に行うようにしてもよいし、ＴＶ放映時に行うようにしてもよい。
【００７６】
なお、ユーザが指定した始端と終端をそのまま採用してもよいし、ユーザが指定した始端より一定時間後の位置を登録すべき映像の始端とし、ユーザが指定した終端より一定時間前の位置を登録すべき映像の終端とするようにしてもよい。この場合には、ユーザが指定した始端と終端の範囲の映像の最初の部分と終わりの部分が若干再生されるので、ユーザは冗長画像が削除されたことを認識することができる（例えば、冗長画像を削除しつつ、もともとの番組構成を想像することができる）。
【００７７】
また、ユーザが指定した始端を中心とする一定時間の範囲内でシーンチェンジが検出されるときは、このシーンチェンジを始端とするようにしてもよい。終端についても同様である。
【００７８】
また、本実施形態において、ＣＦ映像の冗長映像ＤＢ１０６への登録方法についても、種々の方法が可能であり、特に制約はない。
【００７９】
例えば、インターネットあるいはＤＶＤ等の媒体から取得できるＣＦ映像については、これを取得して冗長映像ＤＢ１０６へＣＦ映像として登録するようにしてもよい。
【００８０】
また、例えば、番組本編とＣＦとの間に何らかの特徴あるいは特性の相違がある場合には、これを利用して番組映像中からＣＦ映像を検出し、冗長映像ＤＢ１０６へ登録するようにしてもよい。例えば、モノラル→音声多重→モノラルと変化した場合に、音声多重の部分をＣＦ映像と判断したり、低い音声レベル→高い音声レベル→低い音声レベルと変化した場合に、高い音声レベルの部分をＣＦ映像と判断したり、種々の方法がある。
【００８１】
また、ユーザ定義の冗長映像と同様にユーザが指定するようにしてもよい。
【００８２】
なお、ユーザ定義の冗長映像と同様に、ＣＦとして検出された映像の始端と終端もしくはユーザがＣＦとして指定した始端と終端をそのまま採用してもよいし、該始端より一定時間後の位置を登録すべき映像の始端とし、該終端より一定時間前の位置を登録すべき映像の終端とするようにしてもよい。
【００８３】
また、ユーザ定義の冗長映像と同様に、ＣＦとして検出された映像の始端もしくはユーザがＣＦとして指定した始端を中心とする一定時間の範囲内でシーンチェンジが検出されるときは、このシーンチェンジを始端とするようにしてもよい。終端についても同様である。
【００８４】
また、映像自体の解析や、前後の映像の特性の変化などをもとにして、より性格に、実際のＣＦ映像の始端と終端を推定するようにしてもよい。
【００８５】
ところで、これまでは、登録されたＣＦ映像やユーザ指定の冗長映像と同一と判定された映像を、編集規則に従って削除するものであったが、削除する代わりに、高速再生するようにしてもよい。この場合の再生速度は、予め定められていてもよいし、ユーザが設定可能にしてもよいし、高速再生する映像の通常再生時の再生所要時間に応じて（例えば、比例して）早くするようにしてもよい。
【００８６】
また、登録されたＣＦ映像やユーザ指定の冗長映像と同一と判定された映像を、編集規則に従って削除するか再生速度を速めるようにするかをユーザが設定可能にしてもよい。
【００８７】
また、登録されたＣＦ映像やユーザ指定の冗長映像と同一と判定された映像を、編集規則に従って削除するか高速再生するかを、編集規則に記述するようにしてもよい。例えば、ＣＦ映像については高速再生する方法による、ユーザ指定の冗長映像については削除する方法による、再生所要時間が基準値以上のものは削除する方法による、再生所要時間が基準値未満のものは高速再生する方法による、など、種々の規則が可能である。
【００８８】
また、再生所要時間が基準値未満のものは、削除も高速再生もせずに、通常再生する、という規則も可能である。
【００８９】
なお、高速再生する場合には、高速再生した映像データを生成し、この高速再生映像データでもとの映像データを置き換える方法と、高速再生する制御命令を付加する方法などが可能である。
【００９０】
また、番組映像記憶部１０２がランダムアクセス可能なメディアの場合には、実際に映像を削除したり、高速再生した映像で置き換えることをしてもよいが、その代わりに、当該番組映像について再生するスケジュールを示す制御情報（再生する時区間とその再生速度等の属性情報の系列）を生成し、録画再生時には、この制御情報に従って通常再生やスキップや高速再生を行って、同じ結果を得るようにしてもよい。
【００９１】
また、削除または高速再生の対象の映像部分の始端において、一旦、通常再生で再生し始めるとともに、画面に「削除」または「高速再生」などの文字を表示させるなどして、ユーザに現在再生中の映像部分が削除または高速再生の対象になっていることを呈示し、ユーザが所定の時間内に選択ボタンを押したら、スキップまたは高速再生するようにしてもよいし（この場合、所定の時間内に選択ボタンを押さなかったら通常再生になる）、あるいは、逆に、ユーザが所定の時間内に選択ボタンを押さなかったら、スキップまたは高速再生するようにしてもよい（この場合、所定の時間内に選択ボタンを押したら通常再生になる）。
【００９２】
また、上記では、冗長映像としてＣＦ映像とユーザ定義の冗長映像の２つのカテゴリーを扱ったが、それ以外の冗長映像も定義可能である。
【００９３】
また、本実施形態においては、ＴＶ映像を全て編集してから出力する場合の構成を例にとって説明したが、ＴＶ映像全体の処理が終わっていなくても処理が終わった画像から随時出力し、さらに、その画像の再生と削除の選択をユーザに委ねるような構成も可能である。例えば、冗長な画像を削除するかそのままで出力するかを選択させるためのインタフェース（例えば、ボタン）を追加し、削除対象の画像出力が始まったらそのボタン入力を待ち受けるようにすれば、ユーザ定義の冗長な画像を選択的に繰り返して見たいと考えるユーザを満足させることが出来る。
【００９４】
ところで、これまで説明した構成においては、ＣＦ映像やユーザ定義の冗長映像など、当該ユーザが冗長あるいは不要と考える映像を削除等するものであったが、同様の構成を利用して、逆に、そのような映像のみを抽出して編集することも可能である。
【００９５】
例えば、スポーツ中継において何回も繰り返し表示される映像は非常に意味のある映像である場合があり（例えば、サッカーの試合における得点の場面、野球におけるファインプレーの場面等）、そのような場面だけを視聴したいと考えるユーザにとって意味のある映像を提供することが可能となる。
【００９６】
図７に、この場合の繰り返し映像編集規則の一例を示す。図７に例示した編集規則において、規則１１の「ユーザ定義の冗長映像以外の映像は全て削除する」は、冗長映像ＤＢ１０６に登録されているユーザ定義の冗長映像と同一と評価された映像以外の映像は全て削除すべきことを表わしている。また、規則１２の「ユーザ定義の冗長映像を高々１回含むようにする」は、冗長映像ＤＢ１０６に登録されているユーザ定義の冗長映像と同一と評価された映像は１つのみ残して他は全て削除すべきことを表わしている。
【００９７】
この場合、番組映像編集部１０３は、例えば、冗長画像を１つずつ抽出してそれらを全て接続するようにすればよい。
【００９８】
なお、以上の各機能は、ソフトウェアとして記述し適当な機構をもったコンピュータに処理させても実現可能である。
また、本実施形態は、コンピュータに所定の手段を実行させるための、あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムとして実施することもできる。加えて該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。
【００９９】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１００】
【発明の効果】
本発明によれば、番組映像からユーザ指定の映像断片を検出し、該映像断片に関するユーザ指定の編集を行うことが可能になる。
【図面の簡単な説明】
【図１】 本発明の一実施形態に係るＴＶ放映画像編集装置の構成例を示す図
【図２】 処理対象となる１つのＴＶ映像信号の一例を示す図
【図３】 冗長映像記憶部に登録される情報の一例を示す図
【図４】 繰り返し映像編集規則の一例を示す図
【図５】 同実施形態に係るＴＶ放映画像編集装置の処理手順の一例を示すフローチャート
【図６】 編集後のＴＶ映像信号の一例を示す図
【図７】 繰り返し映像編集規則の他の例を示す図
【符号の説明】
１…ＴＶ放映画像編集装置、２…ＴＶ映像受信器、３…ＴＶ映像エンコーダー、１０１…番組映像読み出し部、１０２…番組映像記憶部、１０３…番組映像編集部、１０４…類似画像区間検出部、１０５…類似音声区間検出部、１０６…冗長映像記憶部、１０７…繰り返し映像編集規則記憶部、１０８…映像出力部、１０９…類似映像指定ユーザインタフェース部

Claims (15)

1. 番組映像を記憶する第１の記憶手段と、
   １又は複数の映像断片を記憶する第２の記憶手段と、
   前記番組映像から、前記映像断片に対して同一と評価される同一映像部分を抽出する抽出手段と、
   前記同一映像部分に対する編集方法を記述した編集規則を記憶する第３の記憶手段と、
   前記抽出手段により前記番組映像から抽出された前記同一映像部分を前記編集規則に従って編集する編集手段とからなり、
   前記第２の記憶手段に記憶される前記映像断片は、映像断片種別を持ち、
   前記第３の記憶手段に記憶される前記編集規則は、前記映像断片種別を指定して記述されるものであることを特徴とする番組映像編集装置。
2. 前記編集規則は、一つの前記映像断片に対して検出される前記同一映像部分を全て削除することを規定した第１の編集規則を含むものであり、
   前記編集手段は、前記第１の前記編集規則に従って、前記同一映像部分を削除するように前記番組映像を編集することを特徴とする請求項１に記載の番組映像編集装置。
3. 前記編集規則は、一つの前記映像断片に対して検出される前記同一映像部分を全て通常再生から高速再生に変更させることを規定した第２の編集規則を含むものであり、
   前記編集手段は、前記第２の前記編集規則に従って、前記同一映像部分を通常再生から高速再生に変更させるように前記番組映像を編集することを特徴とする請求項１に記載の番組映像編集装置。
4. 前記編集規則は、一つの前記映像断片に対して前記同一映像部分がｎ個以上検出された場合に、検出された前記同一映像部分のうち、ｎ個から超過した個数だけ前記同一映像部分を削除することを規定した第３の編集規則を含むものであり、
   前記編集手段は、前記第３の前記編集規則に従って、前記場合に前記同一映像部分を前記個数だけ削除するように前記番組映像を編集することを特徴とする請求項１に記載の番組映像編集装置。
5. 前記編集規則は、一つの前記映像断片に対して前記同一映像部分がｎ個以上検出された場合に、ｎ個から超過した個数だけ通常再生から高速再生に変更させることを規定した第４の編集規則を含むものであり、
   前記編集手段は、前記第４の前記編集規則に従って、前記場合に前記同一映像部分を前記個数だけ通常再生から高速再生に変更させるように前記番組映像を編集することを特徴とする請求項１に記載の番組映像編集装置。
6. 前記編集規則は、前記番組映像のうちで、いずれかの前記映像断片に対して検出される前記同一映像部分のいずれにも該当しない、同一映像部分以外の映像部分を全て削除することを規定した第５の編集規則を含むものであり、
   前記編集手段は、前記第１の前記編集規則に従って、前記同一映像部分以外の映像部分を削除するように前記番組映像を編集することを特徴とする請求項１に記載の番組映像編集装置。
7. 前記編集規則は、各々の前記映像断片に対して検出される前記同一映像部分をそれぞれ１つずつ含むように接続することを規定した第６の編集規則を含むものであり、
   前記編集手段は、前記第６の前記編集規則に従って、各々の前記映像断片に対して検出される前記同一映像部分をそれぞれ１つずつ含むように接続するように前記番組映像を編集することを特徴とする請求項１に記載の番組映像編集装置。
8. 前記番組映像は、画像信号及び音声信号を含むものであり、
   前記映像断片は、少なくとも画像信号又は音声信号を含むものであり、
   前記抽出手段は、前記番組映像中で、少なくとも前記映像断片の画像信号に対して同一と評価される画像信号を含むか又は前記映像断片の音声信号に対して同一と評価される音声信号を含む部分を、前記同一映像部分として抽出することを特徴とする請求項１に記載の番組映像編集装置。
9. 前記番組映像及び前記映像断片は、いずれも、画像信号及び音声信号を含むものであり、
   前記抽出手段は、前記番組映像中で、前記映像断片の画像信号に対して同一と評価される画像信号を含み且つ前記映像断片の音声信号に対して同一と評価される音声信号を含む部分を、前記同一映像部分として抽出することを特徴とする請求項１に記載の番組映像編集装置。
10. 前記抽出手段は、ＤＰマッチングアルゴリズムに基づいて、前記同一映像部分の抽出を行うことを特徴とする請求項１に記載の番組映像編集装置。
11. ユーザが前記第２の記憶手段に所望の前記映像断片を登録するための登録手段を更に備えたことを特徴とする請求項１に記載の番組映像編集装置。
12. 前記登録手段は、前記番組映像の放映中又は生成中にユーザにより指定された前記番組映像における時間的な始端及び終端に基づいて前記映像断片を抽出し前記第２の記憶手段へ登録することを特徴とする請求項１１に記載の番組映像編集装置。
13. 前記登録手段は、ユーザにより指定された媒体からユーザにより指定された映像を取得し、これを前記映像断片として前記第２の記憶手段へ登録することを特徴とする請求項１１に記載の番組映像編集装置。
14. 番組映像を第１の記憶手段に記憶するステップと、
    １又は複数の映像断片を第２の記憶手段に記憶するステップと、
    前記番組映像のうち前記映像断片に対して同一と評価される同一映像部分に対する編集方法を記述した編集規則を第３の記憶手段に記憶するステップと、
    前記番組映像から、前記同一映像部分を抽出するステップと、
    前記番組映像から抽出された前記同一映像部分を前記編集規則に従って編集するステップとを有し、
    前記第２の記憶手段に記憶される前記映像断片は、映像断片種別を持ち、
    前記第３の記憶手段に記憶される前記編集規則は、前記映像断片種別を指定して記述されるものであることを特徴とする番組映像編集方法。
15. コンピュータを番組映像編集装置として機能させるためのプログラムであって、
    番組映像を記憶する第１の記憶機能と、
    １又は複数の映像断片を記憶する第２の記憶機能と、
    前記番組映像から、前記映像断片に対して同一と評価される同一映像部分を抽出する抽出機能と、
    前記同一映像部分に対する編集方法を記述した編集規則を記憶する第３の記憶機能と、
    前記抽出機能により前記番組映像から抽出された前記同一映像部分を前記編集規則に従って編集する編集機能とを実現させるためのものであるとともに、
    前記第２の記憶機能に記憶される前記映像断片は、映像断片種別を持ち、
    前記第３の記憶機能に記憶される前記編集規則は、前記映像断片種別を指定して記述さ れるものであることを特徴とするプログラム。

Images