JP4366439B1 - 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 - Google Patents

映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 Download PDF

Info

Publication number
JP4366439B1
JP4366439B1 JP2009030557A JP2009030557A JP4366439B1 JP 4366439 B1 JP4366439 B1 JP 4366439B1 JP 2009030557 A JP2009030557 A JP 2009030557A JP 2009030557 A JP2009030557 A JP 2009030557A JP 4366439 B1 JP4366439 B1 JP 4366439B1
Authority
JP
Japan
Prior art keywords
scene
data
video content
editing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009030557A
Other languages
English (en)
Other versions
JP2010166539A (ja
Inventor
克己 井上
Original Assignee
克己 井上
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 克己 井上 filed Critical 克己 井上
Priority to JP2009030557A priority Critical patent/JP4366439B1/ja
Application granted granted Critical
Publication of JP4366439B1 publication Critical patent/JP4366439B1/ja
Publication of JP2010166539A publication Critical patent/JP2010166539A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】
今までのボタン操作式リモコンに代わる、映像コンテンツのフレームのナビゲーション編集機能(表示案内、音声案内機能)をもつ編集手段と関連する映像装置および遠隔編集装置
【解決方法】
カーナビゲーション装置のように快適に映像コンテンツの編集を実現できるような装置を目指すために、映像コンテンツのそれぞれのフレームの特徴を精度よく抽出するための手法を確立し、これをもとに映像コンテンツの編集に不可欠な様々なシーン探しを高速で自動化するとともに、これらのシーンを効率よく編集するためのナビゲーション表示とそのグラフィックユーザインターフェース手法、これらのシーンにインターネット情報などの付加価値を与える手法、これらの編集を可能とする映像装置ならびに遠隔編集装置のハードウエアの5つの技術要素の最適技術を見いだしこれらの技術を融合させ実現する。
【選択図】図1

Description

映像コンテンツの表示、録画、記録、撮影、再生、編集、通信、に係るコンピュータを含む映像機器とこれらの付帯装置、ならびにこれらに使用される半導体電子部品。
テレビジョン放送のデジタル化など映像コンテンツはアナログ時代に比べ飛躍的に向上し、録画装置、再生装置もDVDからBD(ブルーレイディスク)さらにはHDD式録画機、さらには半導体メモリーカードを用いたビデオカメラなど本体の性能および、記録媒体は高度化し多様化し、進歩著しい。
しかしながら一般家庭で使われる録画装置、再生装置のリモコンはアナログ時代の踏襲であるボタン式赤外線リモコンが主体であるため映像コンテンツの編集やその利用にブレーキをかけ、例えばコマーシャルシーンのカットなどの単純な編集作業においてさえも利用者に多くの時間的、肉体的、精神的負担をかけており、これらに対し以下に示すようにそれぞれの分野で様々な研究提案がなされているものの、これらが独立して存在するだけでは標準化、実用化が困難であり、これらを統合した新しい編集手段とリモコンを含む編集装置が不可欠である。
また一般家庭以外のプロ用ビデオ編集においても、その編集作業は労働集約的な作業も数多く残されており、その作業の軽減は永年の課題である。
車のナビゲーション装置は、これから進む道のどこに交差点があるのかが一目瞭然で分かり、その交差点の名前や地名、建物の名前が次々と表示され、どの交差点で曲がればいいのかが表示や音声によって適切に案内され、これらのナビゲーション機能により最短でのルート、最短での時間で快適に目的地に到着することができる。
期待される映像コンテンツの編集装置もこのような車のナビゲーション装置と同様に、映像コンテンツの編集において再生される映像コンテンツ(進む道)の中の様々なシーン(交差点)をどのように編集(曲がり)し、編集精度の高いプレイリストなどを時間的、肉体的、精神的負担を軽減し完成(目的地に到着)させることが出来るナビゲーション編集機能をもった編集装置である。
この様なナビゲーション編集機能をもった編集装置を実現させるために最低限必要となる技術要素として、
第1番目は映像コンテンツの様々なフレーム検索に利用する最適なフレームの特徴情報の選定や組合せ方法とそのシミュレーション手段
第2番目はフレームの特徴情報をもとにしてコマーシャルメッセージなどのシーン、シーン変化点、など編集に供するシーンの自動シーン探し、
第3番目は自動化して探したシーンに対する編集手段、
第4番目は自動化して探したシーンを活かすための手段として映像コンテンツとインターネットなどのマルチメディアとを融合させるための編集手段、
第5番目は今までのリモコンに代わる新しい編集機能、特に文字入力が得意な、リモコンを含む遠隔制御装置、遠隔編集装置である。
第1番目の技術要素として本願発明では、本発明の出願者、発明者による先願の特願2008−243425、および特願2008−319043では示されていななかった、映像コンテンツのフレーム特徴情報のシミュレーション方法を発明し、後述する最適なシーン特徴データやフレームインデックス(フレーム見出し)を作るための手段を開示した。
冒頭で示した映像コンテンツのナビゲーション編集に関する先願発明としては、特開2001−155036号公報がある。
この提案においての映像コンテンツの対象はソースコンテンツであり、専門編集機器用のナビゲーション編集装置であり、ソースコンテンツのDVD規格にもとづく様々なメタデータから意味ソースメタデータの特徴を識別してソースコンテンツの部分表示をするものであるが、対象が放送局などでのカメラビデオ出力の際のメタデータがもとになったものであり、これらのメタデータをもたない一般家庭で視聴するテレビジョン放送コンテンツなどの場合には実現不能であり、また全てのシーンが編集の対象ではない。
これに対し本発明の詳細は後述するが、映像コンテンツの全てのシーンを対象にして画像、音声信号をもとに独自に特徴抽出して、これを特徴抽出データとして検索する方式なので、専門映像装置はもとより、一般家庭で利用される録画装置、再生装置のテレビジョン放送番組の編集など、幅広い映像コンテンツに応用可能となるものである。
第2番目の技術要素である編集の決め手となる目的シーンを自動的に検出する方法として、
特開2007−142785号公報は記録された番組データの属性情報に対応するチャプタデータを自動抽出するものである。
特開2007−49332号公報はAVデータを効率的に検索し検索されたフレームにフラグを与えるものである。
特開2006−12347号公報は映像、音声それぞれの視聴信号から予め定められた種類の信号を検出して自動的にチャプタマークを付与するものである。
特開2003−230094号公報はマルチメディアデータを音声認識技術で認識し自動チャプタを与えるものである。
これらに限らず様々な方法で自動的に特定のシーンを検索し、チャプタマークなどを自動作成する技術が提案されている。
また従来からの音声認識や、字幕やテロップの文字認識、に加えて最近のデジタルカメラでは人の顔を認識(顔認識)してこれにフォーカスを合わせる技術や、人の笑顔を認識(スマイル認識)してシャッタを切るような認識技術も実用化されている。
特願2008−243425は本発明の出願者、発明者によるもので、映像コンテンツの全てのフレームに対応させてそれぞれのシーンの画像、音声、その変化の特徴を抽出したフレームの特徴情報をもとに様々なシーンの検出を自動化するものであり、本発明の基本となる技術である。
第3番目の技術要素の一つとして、映像コンテンツの録画装置、再生装置など多くの映像装置に利用されているチャプタマークは映像コンテンツの編集や再生に欠くことができない機能の一つである。
たとえば、本編開始シーン、シーン変化点(カット点)、ハイライトシーン、想い出のシーン、字幕シーン、コマーシャルメッセージ開始シーン、コマーシャルメッセージ終了シーン、本編終了シーンさらには一定時刻ごとなどにチャプタマークを付与しておくことにより、即座に希望するシーンの頭出しをして、再生、視聴することができる。
また再生リスト(以降プレイリストと呼ぶ)にこれらのチャプタマークを指定することにより、複数の映像コンテンツの中からお好みのシーンを抜粋して再生させるような再生、視聴が可能となる。
しかしながら、1つの映像コンテンツ上にチャプタマークを多用するとそのチャプタマークが何のためのチャプタマークであるのかが分からなくなるとともに、先送り、後戻りなどの回数が増えなかなか目的のシーンにたどりつかないなどの問題がある。
従って、通常は一つの映像コンテンツに対し、シーン変化点(カット点)、一定時刻ごとのみのチャプタマーク、コマーシャルメッセージカットのためのチャプタマーク、ハイライトシーンのみのチャプタマーク、想い出のシーンのみのチャプタマークなど限られた目的に限定してチャプタマークを付与し利用するにとどまっている。
これらのチャプタ編集を効率的に実施するためのGUI機能(Graphical User Interface)の例として、特開2005−142853号公報はチャプタマークの属性に合わせ、サムネールなどの表示形態を変え編集時にチャプタマークの意味を理解できるようにしたものである。
第4番目の技術要素に関して、映像コンテンツとインターネットの融合化に関しては様々な提案があり最近のデジタルハイビジョン受信機ではインターネット通信機能、インターネット閲覧機能、動画再生機能等を備えたものも増えてきている、また特開2003−319279号公報は、トランスポートストリームにインターネットURLを付随情報して伝送されたインターネット情報を閲覧する受信機の例である。しかしながら、映像コンテンツの任意のシーンに視聴者が利用者として必要なインターネット情報を付与編集し、映像コンテンツの再生時、当該シーンで付与したインターネット情報を自動的に閲覧できるような提案は実用化されていない。
またインターネット情報を閲覧するにおいても、テレビジョン画面の切替えや2画面表示とするなどの方法では視聴性が損なわれ、利用価値が低減する、これに対応できる適切な手段が望まれる。
参考までとするが第5番目の技術要素の一例であるが、特開2006−25120号公報は映像装置本体とリモコン間で、本体装置のメタデータ(属性データ)をリモコンに通信して、リモコン表示機にメタデータを表示させモコン操作を容易にさせるものである。
これまで映像コンテンツのナビゲーション編集機能や個別の5つの技術要素をもとに背景技術を説明してきたが、いずれも一つ一つの発明、提案は有用で有効なものであっても、それぞれが独立したものであってはコストパホーマンスやその他の条件から、特定の目的や、専門機器に限定されがちである。
新しい時代の編集ニーズを実現させるには車のナビゲーション装置のように多くの有効な機能が一体となり、一度使ったら手放せなくなるような編集装置であり、目的シーン探しの自動化、目的シーンを効率よく編集し映像コンテンツの時間編集を支援するためのGUI機能、さらには映像コンテンツとインターネットとの融合など、自動化して探した目的シーンを積極的に活かす技術(目的シーンを探し出し、確認し、利用する技術)、そしてこれらを実現させるためのハードウエア技術、少なくてもこれら5つの要素に対する最適技術を見いだし、これらの技術を融合させた成果とすることが極めて重要である。
以上のとおり本願発明では前記の最適なシーン特徴データやフレームインデックスを作るための手段に加え、特願2008−319043に示されていなかった
1)映像コンテンツの編集で特に重要な時間編集に関する編集支援の発明
2)映像装置本体と、映像装置の付帯装置間の属性データ管理(共有フォルダ化)に関する発明
3)省スペースで高速な特徴抽出、特徴検索をするための手段として必要な半導体部品に関する発明
特願2008−319043に以上の主要発明を加え国内優先出願としたものである。
先にも示したが、本発明に関連する公知技術としての特許文献は以下の特許文献1〜5を挙げることができる。
特開2001−155036号公報
特願2008−243425号
特開2005−142853号公報
特開2003−319279号公報
特開2006−25120号公報
映像コンテンツの全てのフレームごとに相互対照なデータ構成で記憶登録された、画像情報と、音声情報と、その変化の情報と、の特徴情報によるフレーム特徴情報は、映像コンテンツのフレーム再生に同期連動させるような高度な識別能力が必要な場合と、当該フレームの特徴を識別するだけのものまで様々であるが、その特徴抽出能力(特徴識別能力)を判定し、これを向上させる技術も確立されてなくその定義も不明確であった。
また、組合せ確率上の類似特徴シーンの同一判定を避ける手段もなかった。
映像装置に広く利用されるボタン操作方式赤外線リモコンはチャンネル切り替えなど通常の操作における操作性は高いものの、ボタンの数や表示機能を追加することは物理的配置上困難で、複雑な操作を必要とする映像コンテンツの編集作業などにおいては、多くの機能をテレビジョンの表示機を利用したGUI機能としており、文字入力をともなうような複雑な編集は不向きである。
このためおのずから、映像コンテンツの編集機能は限られたものに限定され、映像装置本体が有する性能、機能さらには映像コンテンツとインターネット情報の融合などすでに完成されている社会インフラを十分に活用した編集機能とは言い難い。
本発明では、このような映像装置およびそのリモコンならびに編集方法を基本から見直し、車両のナビゲーション装置のような、新しい方式の映像コンテンツの編集機能、再生機能を実現させ多大なる映像コンテンツの編集作業の時間的、肉体的、精神的負担の軽減と、編集精度の向上、ひいては映像コンテンツの質の向上と、映像コンテンツの付加価値向上を目的とする。
以上の課題を解決するために
請求項1では
映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとし、この特徴要素データを複数連結組合せしたものをシーン特徴データとし、
このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とし、このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内し、
この表示案内にもとづき映像コンテンツの任意のシーンを指定し、この指定したシーンを編集することを特徴とする。
請求項2では
前記シーン特徴データを構成する前記特徴要素データを、
1)前記画像情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの各R、G、Bレベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの各R、G、Bレベル情報と、を前記特徴要素データとする
2)前記音声情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの音声レベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの音声レベル情報と、を前記特徴要素データとする
3)前記画像の変化の情報と、音声の変化の情報と、の情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの各R、G、Bレベル情報、ならびに音声レベル情報、のそれぞれの全体平均と、1秒を超えない近隣の別な1フレームの同様情報の差分情報と、複数のサンプリングポイントの変化の範囲情報と、変化の度合いにもとづく変化速度情報と、を前記特徴要素データとする
以上の1)から3)の少なくとも14種の特徴要素データを連結組合せし構成されるシーン特徴データの前記シーン特徴データ列を検索し、検出されたシーンを時系列で表示案内することを特徴とする。
請求項3では
前記検索し、検出するシーンは
1)検索対象範囲上で同一なシーン特徴データとなるコマーシャルメッセージシーン、連続放送番組の定型シーン、再放送番組、コピーされた映像シーン、の同一シーン
2)静止画で無音声のシーンが連続する連続シーン
3)画像設定条件に適合するシーン
4)音声設定条件に適合するシーン
5)変化設定条件に適合するシーン
6)以上の1)から5)の組合せ設定条件に適合するシーン
以上の1)から6)のシーンの少なくとも1つを検索し、検出されたシーンを時系列で表示案内することを特徴とする請求項2記載の映像コンテンツの編集方法。
請求項4では
前記シーン特徴データに、音声認識機能、声紋認識機能、文字認識機能、顔認識機能、スマイル認識機能、の認識機能の検出結果を付与しこれを時系列で表示案内することを特徴とする。
請求項5では
前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも1つの特徴要素データをフレーム毎に一定期間範囲平均化するようデータの加工をして得られるデータを特徴要素推移のデータとしてこれを表示案内することを特徴とする。
請求項6では
前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも1つの特徴要素データから当該シーンの輝度、色のレベル、音および変化の範囲と変化の速度は、大きさ、広さ、変化の度合い、のいずれかを視覚認識可能なよう、特徴要素データのデータをもとにして得られるデータをシーン概要表示としてこれを表示案内することを特徴とする。
請求項7では
前記映像コンテンツの任意のシーンを指定し編集する内容は
1)シーン特徴データ列の目的とするシーンに、インターネットURL(Uniform Resource Locator)情報を付与する
2)シーン特徴データ列の目的とするシーンに、シーンに係るシーン関連情報を文字列と、イラストと、マークと、のいずれかの情報を付与する
以上の1)、2)の少なくとも1つを含むことを特徴とする。
請求項8では
映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出することを特徴とする。
請求項9では
映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出しチャプタマークとすることを特徴とする。
請求項10では
映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出しカット編集と、結合編集と、ジャンプ編集と、スクランブル編集と、プレイリスト編集と、のいずれかを自動編集すること特徴とする。
請求項11では
前記表示案内の少なくとも1つを時系列で表示し、この表示案内上で対象とする映像コンテンツの任意のシーンを指定し、
制作する映像コンテンツの仕上がり時間の目標時間を最大値と、最少値と、の双方またはいずれかで指定し、
制作途上の映像コンテンツの上記仕上がり時間を集計し、集計結果と上記目標時間を比較し、
上記目標時間と制作途上の映像コンテンツの上記仕上がり時間の時間差と、その時間差を解消すべき内容と、を意味する文字列と、イラストと、マークと、の少なくとも1つの情報を用いて表示案内することを特徴とする。
請求項12では
前記案内表示上で対象とする映像コンテンツの任意のシーンを指定するにあたって、
1)対象とする映像コンテンツの必要シーンと、不要シーンと、の範囲を指定することにより、残りのシーンを未決定シーンとする
2)対象とする映像コンテンツの必要シーンと、不要シーンと、の概中心部に、それぞれの位置指定をするとともに、
これに必要と不要のそれぞれの度合いを指定することにより、この度合い対応する位置指定シーンの前後のシーンの幅を与えそれぞれ必要シーンと不要シーンの範囲とし、残りのシーンを未決定シーンとする
以上の1)、2)のいずれかにより、必要シーンと、不要シーンと、未決定シーンと、のそれぞれの時間の集計をするとともに、上記必要シーンの集計を前記仕上がり時間とすること特徴とする。
請求項13では
前記目標時間の最大値、最少値にあって
1)前記集計した必要シーン時間が目標最大時間より長い場合、それぞれの必要シーンの開始シーンと終了シーンの一部を削除して最大時間に合わせる
2)前記集計した必要シーン時間が目標最少時間より短い場合、それぞれの必要シーンの開始シーンと終了シーンに隣接する前記未決定シーンの一部を追加して最少時間に合わせる
以上により、前記制作する映像コンテンツの仕上がり時間を自動調整すること特徴とする。
請求項14では
映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとする手段と、
この特徴要素データを複数連結組合せしたものをシーン特徴データとする手段と、
このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とする手段と、
このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内する手段と、
この表示案内にもとづき映像コンテンツの任意のシーンを指定する手段と、この指定したシーンを編集する手段と、を具備することを特徴とする。
請求項15では
請求項14の映像コンテンツの編集装置は映像装置の本体の前記シーン特徴データ列を共有フォルダとして利用する手段を有す遠隔装置であることを特徴とする。
としている。
映像コンテンツのフレーム検索に利用されるフレームの特徴情報を、それぞれのフレーム特徴概要を識別出来ればよいものと、それぞれのフレームを唯一無二の見出しとして高度に検索できるものまでを体系的にまとめるとともに、フレームの特徴情報の能力を判定するシミュレーション方法が確立されたので、使用目的に最適なフレームの特徴情報を構築することができるようになった。
このシミュレーション方法はゲーム機やくじを抽選するような乱数の判定にも幅広く応用が可能である。
映像コンテンツの編集において、多くの時間と労力を必要とする様々なシーン探し、その多くを自動化するとともに、時間尺度が伸縮可能で視覚判断しやすいナビゲーション表示とし、さらには適切な音声アナウンスを受けられるので、家庭の録画装置、再生装置からプロ用専門機器に至るまで、様々な装置の映像コンテンツの編集が、編集精度が高く、確実で効率よく実現可能となる。
特にニーズの多いコマーシャルメッセージシーン、カット点、編集に適合するシーン、などを自動検出できるとともに、検索は高速ため、様々な検索条件を設定することにより編集目的に合った最適なシーンをリアルタイムで自動検出し自動編集することも可能である。
目標とする映像コンテンツの長さ時間と、編集途上の映像コンテンツの長さ時間と、の関係の表示案内を受けられるので効率よく最適な映像コンテンツの長さ編集が可能になる。
例えばスマイル認識など、様々な認識機能によるシーン検出結果を活用可能な構成としているので、今後の認識技術の進歩に合わせ、様々な応用展開が期待できる。
映像装置と映像装置に付帯する装置の属性データを共有フォルダとして共有に出来るのでファイル交換手段や通信アルゴリズムが軽減できる。
放送のチャンネル切り替えや、単なる映像装置の再生、停止、早送りなどの単純な操作は汎用リモコンとし、複雑な編集作業を遠隔編集装置で行うなど、使い分けが可能となるので映像装置本体の機能を十分に発揮できる機能を映像装置本体に搭載することが可能になる。
また遠隔編集装置を用いなくても簡易なナビゲーション編集画面として、汎用リモコンを用いテレビジョン画面上で編集することも可能である。
チャプタマークの種類や目的別に自動、手動チャプタマークが付与可能となるので、広範囲にチャプタマークを活用することができる、また再生中はもとより録画中でもチャプタマークを付与したシーンに適切なシーンタイトルなどを付与できるのでその後の編集でチャプタマークの意図が分からなくならない。
またチャプタマークは自動、手動で適切なシーンに移動可能である。
複数の映像コンテンツからプレイリストを作成するなどの複雑な編集作業は映像装置の付帯装置とテレビジョンなど2画面を使って、理解しやすく効率的な編集方法が実現可能になる。
映像コンテンツの任意のシーンにインターネット情報やコメント情報を付与し再生時には自動閲覧可能とできるので、教育目的やその他の新しい映像コンテンツの利用、応用が可能となる。
シーン特徴データや編集ポイントなどのデータは、映像コンテンツを記録した記録媒体に並列記録、または放送電波またはインターネットで配信を受ける、などのサービスも期待できる。
シーン特徴データを抽出し、検索し、する専用半導体により省スペースで高速な検索が可能となる。
上述の通り、映像コンテンツのフレームの特徴情報を最適なものにするための手段、編集手段とこれを実現させるための部品、装置手段が一体となった発明であるとともに、その組合せの自由度が広く、遠隔編集装置やナビゲーション編集装置は文字入力を得意とする汎用パーソナルコンピュータとすることも可能であるため低価格で実用化可能である。
本発明の一実施例としての映像装置ならびに遠隔編集装置の全体構成図(実施例1) 本発明の一実施例としてのタイトル情報データ(実施例2) 本発明の一実施例としての編集ポイントデータ(実施例3) 本発明の一実施例としてのプレイリストデータ(実施例4) 本発明の一実施例としての記憶データの構成図(実施例5) 本発明の一実施例としての遠隔編集装置(実施例6) 本発明の一実施例としてのシーン特徴データ抽出、検出概念図(実施例7) 本発明の一実施例としての同一シーン判定概念図(実施例8) 本発明の一実施例としての特徴要素データ相関度判定(実施例9) 本発明の一実施例としての特徴要素データ分解能利用率判定(実施例10) 本発明の一実施例としてのシーン特徴データ列構成概念図(実施例11) 本発明の一実施例としての連続同一シーン検出概念図(実施例12) 本発明の一実施例としての特定シーン検出概念図(実施例13) 本発明の一実施例としての編集ポイント概要(実施例14) 本発明の一実施例としての繰返しシーン登録データ(実施例15) 本発明の一実施例としてのシーン検索簡易設定(実施例16) 本発明の一実施例としてのシーン検索詳細設定(実施例17) 本発明の一実施例としての適合シーン検出概念図(実施例18) 本発明の一実施例としてのシーン特徴データ検索実施例(実施例19) 本発明の一実施例としての特徴抽出オプション機能(実施例20) 本発明の一実施例としての認識情報登録(実施例21) 本発明の一実施例としての付随情報構成例(実施例22) 本発明の一実施例としての編集適合シーン検出概念図(実施例23) 本発明の一実施例としての実施方式例(実施例24) 本発明の一実施例としての遠隔編集装置録画中画面(実施例25) 本発明の一実施例としての遠隔編集装置編集時画面(実施例26) 本発明の一実施例としての遠隔編集装置詳細編集画面(実施例27) 本発明の一実施例としての遠隔編集装置音声認識検出画面(実施例28) 本発明の一実施例としての遠隔編集装置繰返しシーン登録画面(実施例29) 本発明の一実施例としての遠隔編集装置インターネット閲覧画面(実施例30) 本発明の一実施例としての二画面表示例(実施例31) 本発明の一実施例としての遠隔編集装置プレイリスト作成画面(実施例32) 本発明の一実施例としてのナビゲーション画面A(実施例33) 本発明の一実施例としてのナビゲーション画面B(実施例34) 本発明の一実施例としてのナビゲーション画面C(実施例35) 本発明の一実施例としての特徴要素推移データ(実施例36) 本発明の一実施例としての遠隔編集装置時間編集画面(実施例37)
本発明の説明で映像コンテンツとは、ビデオカメラで撮影した映像と、コンピュータグラフィックおよびアニメーションで制作した映像と、通信により提供された映像と、記録媒体により提供された映像と、前記の映像を組合せ編集した映像と、の総称である。
また可能な限り映像コンテンツのフレームの表現は主として、信号、情報、データとしての考えるもの、映像コンテンツのシーンの表現は主としてその結果としての表示内容、音声内容として考えるもの、として記述としているが明確に分離出来るものでなく同一として考えて構わない。
本発明の説明で映像装置とは前記映像コンテンツの表示、録画、記録、撮影、再生、編集、通信、に係るコンピュータを含む映像機器の総称であり、遠隔編集装置はリモコンを含む前記映像装置の付帯装置の一例である。
図1(映像装置ならびに遠隔編集装置の全体構成図)は本発明の全貌を説明するための全体構成を示すものであり、映像装置本体1にテレビジョンおよびディスプレイ3が接続され、遠隔編集装置2は双方向通信信号9、ボタン操作式リモコン4はリモコン信号10にて映像装置本体1を操作可能な状態である。
映像装置本体1には映像コンテンツ7ならびに、その属性データ8が記録媒体に記録または搭載されていて、遠隔編集装置2はこれらを編集可能なよう、マウス5、キーボード6が接続されている。
遠隔編集装置2は映像コンテンツの編集用ナビゲーション編集装置とすることも可能である。
図2(タイトル情報データ)は図1(映像装置ならびに遠隔編集装置の全体構成図)で説明した属性データ8の一部である映像コンテンツのタイトル関連情報を示すもので、映像装置本体1に記録された映像コンテンツのタイトル(番組名含む)を示すものであり、それぞれの映像コンテンツタイトル名11やメニュー選択エリア12や一例としてプレイリスト選択13などのGUI機能情報が付与されている。
図3(編集ポイントデータ)は図1(映像装置ならびに遠隔編集装置の全体構成図)で説明した属性データ8の一部であり、後述する映像コンテンツの、カット編集、結合編集、ジャンプ編集、スクランブル編集、プレイリスト編集、効果編集、などの編集の際、探し出し(検索、早送り、巻き戻し、する)、確認し(再生、一時停止、する)、利用(カット点、編集点、とする)する様々なシーンを編集ポイントとし分類しグループごとにまとめ、これに関連する情報を付与した本発明の中核をなすデータで、映像コンテンツタイトル名11の映像コンテンツから検出された様々なシーンを編集ポイント種類表示14ごとに時間表示15のフレーム(シーン)に適合シーン表示19を付与しデータ化したものであり、この時間のフレーム(シーン)に関連するチャプタマークシーン28ならびに必要編集ポイントにシーンタイトル名16、編集ポイントコメント17、プレイリスト情報26、インターネット情報18が付与されている。
図4(プレイリストデータ)は図1(映像装置ならびに遠隔編集装置の全体構成図)で説明した属性データ8の参考例として、図2(タイトル情報データ)および図3(編集ポイントデータ)をもとに作成される再生プレイリストであり、プレイリストタイトル名20ならびにGUI機能の一例として、メニュー選択エリア12にプレイリスト編集選択21が示されている。
映像装置には先に示したように映像コンテンツの表示、録画、記録、撮影、再生、編集、通信、に係るコンピュータを含む映像機器の総称であるがテレビジョンに録画、再生機能が搭載されているテレビジョン、編集機能をもったビデオカメラ、さらにはネットワークのサーバなど様々な形態があり、限定することは困難であるが、図5(記憶データの構成図)は一般例として映像装置本体1に記録または記憶媒体として搭載された記憶データの構成を示すものであり、記憶機能および媒体22には、映像コンテンツ7と、後述するシーン特徴データ列と、これまで説明をしてきた図2(タイトル情報データ)、図3(編集ポイントデータ)、図4(プレイリストデータ)、およびその他のデータが属性データ8として記憶されており、これらの属性データ8はファイルアロケーションテーブル27を通じ互いのアドレス情報を認識可能としており、属性データ8により映像コンテンツ7の任意の位置のデータの参照ならびにアクセスが可能な構造となっている。
従ってこれらの属性データ8を適切に編集することにより、映像コンテンツ7の編集をすることが可能になる。
詳細は後述するがテレビジョン放送をもとにしてシーン特徴データを作成するにはチューナ、デコーダが必要になるので映像装置本体1が相応しい、一方これらを編集するには遠隔編集装置2が相応しい、またこれらが一体になった装置など、様々な応用例が考えられ、以下に関連するハードウエア要件を説明する。
最近のHDD式録画機などは最大1TByte程度の記録容量をもつものも珍しくなく、ハイビジョン放送を数百時間分録画可能である。
後述するシーン特徴データ56の1フレーム当たりのデータサイズは4bit、14種、56bitで、2時間の映像コンテンツ1本分で付随データを含め2MByte程度である、これに編集ポイントのデータを加えても2.5MByte程度、2時間番組100本分で250MByte程度である。
近年の無線LANの規格、IEEE802.1n(Draft)は理論転送スピードが300MBPS、環境により転送スピードは低下するものの、通信自体の実力値は100MBPSを越えている。
このような通信手段を利用すれば、映像装置本体1と遠隔編集装置2で属性データ8を共有フォルダで共有し相互に利用することが可能である。
このような形態であれば、どちらでシーン特徴データ作成機能を持っても構わない。
また、都度データのやり取りをする場合でも、2時間の映像コンテンツ当たりの通信時間は2.5MByte=20Mbit/100MBPS=0.2秒程度であり極めて短時間でのデータ通信が可能である。
属性データ8などのデータ伝送にはこれらの無線LANの規格を用い、映像装置本体1と遠隔編集装置2の制御における通信はその他のリモコン通信規格に合わせることも自由である。
最近のメモリーカードでは10GByte以上の記憶容量を持つものも珍しくなく、映像装置本体1、遠隔編集装置2はこれらのメモリーカードでのデータ交換も容易である。
また映像装置本体1ならびに遠隔編集装置2を互いに連動し同期再生するための手法の1つは先に示した特願2008−243425に詳しく説明されている。
図6(遠隔編集装置)は内部に半導体メモリ記憶機能をもち、録画時に映像装置本体1で自動作成したシーン特徴データ56ならびに関連する属性データ8を映像装置本体1と双方向通信により共有フォルダとして自由に利用できる、ナビゲーション機能を備えた遠隔編集装置2の例である。
遠隔編集装置2には、図1(映像装置ならびに遠隔編集装置の全体構成図)で示すマウス5やキーボード6を取り外ししても編集が可能なよう、映像装置本体1に接続されるテレビジョンおよびディスプレイ3をもとにしてGUI機能される画面を操作するためのテレビジョン編集操作機能102、本遠隔編集装置の表示体101でGUI機能される画面を操作するための本機編集操作機能103、映像装置本体1や遠隔編集装置2の電源など操作する共通操作機能104、ならびにアナウンス、メッセージ、アラームを知らせるための音声出力機能108が付随している。
図7(シーン特徴データ抽出、検出概念図)は本発明者、出願者の先願発明である特願2008−243425により提案されている映像コンテンツのそれぞれのシーンを特徴データとして抽出し、これをもとに様々な編集ポイントを検索、検出させるための技術の抜粋図面で、画像音声信号51をもとに、シーン特徴データ抽出部52でシーン特徴データ56を作成し、このシーン特徴データ56を記憶登録されたシーン特徴データ列58に映像コンテンツごとに記憶登録しておき、検索時は、シーン特徴データ検出部57において、比較対象シーン特徴データ列63と、もとになるシーン特徴データ列59の中から互いの1フレーム分のシーン特徴データ56を選びだし、互いのデータを比較し比較対象シーン特徴データ列63の中から同一シーンをシーン徴検出機能60により検出させるものである。
シーン特徴データ56を要約すると、当該フレームの画面上100から200ポイントのサンプリングポイントから、画像と、音声と、ならびにその変化と、の大小一致比較可能なスカラー量の情報を採取しデータとし、特定のサンプリングポイントのデータをスカラー量の特徴要素データ65とするとともに、採取されたデータを平均化、度合い、率への変換などのデータ処理を行いこれもスカラー量の特徴要素データ65とし、これを組合せ連結しシーン特徴データ56とし、必要により、このシーン特徴データに付随情報を付与し、映像コンテンツごとに順次記憶登録しシーン特徴データ列としている。
特徴情報がベクトルである場合は、量に係るデータと、方向に係るデータと、を独立したスカラー量の特徴要素データ65とすることによって大小一致比較可能となる。
図7(シーン特徴データ抽出、検出概念図)の下段には上記で説明したシーン特徴データ56の構成内容が示されており、フレームごとのシーン62ごとにシーン特徴データ56は4bit構成で14種類の特徴要素データ65から構成され、関連する情報がシーン特徴データ付随情報66として付随している。
具体的な特徴要素データ65の構成を抜粋すると
1)画像情報は、1フレーム中の複数のサンプリングポイントの各R、G、Bレベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの各R、G、Bレベル情報と、を特徴要素データ65とする
2)音声情報は、1フレーム中の複数のサンプリングポイントの音声レベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの音声レベル情報と、を特徴要素データ65とする
3)変化情報は、1フレーム中の複数のサンプリングポイントの各R、G、Bレベル情報、ならびに音声レベル情報、のそれぞれの全体平均と、近隣の別な1フレームの同様情報の差分情報と、複数のサンプリングポイントの変化の範囲を示す変化画素情報と、変化の度合いにもとづく変化速度情報と、を特徴要素データ65とする
の14種の特徴要素データを連結してシーン特徴データとして
4)静止画で無音声の範囲、においては前記シーン特徴データ56に連番を付与しシーン特徴データの付随情報66とする(詳細は後述)
5)必要によりその他の関連情報を付随情報66として付与する。
以上の説明のように合計14種の特徴要素データ65をもつのは、画像情報、音声情報、その変化情報が独立して特徴検索できることとであり、特に重要なのは当該シーンの特徴を顕著に現すそれぞれのサンプリングポイントから採取された全てのデータを集計してこれを平均化した当該シーン全体の平均、画像情報、音声情報、その変化情報の特徴情報である。
さらにシーン特徴データ56をフレーム見出し(フレームインデックス)とし使用する場合にはシーン特徴データ56の唯一無二性を高めるために、特定サンプリングポイント(本実施例では画面中心部のサンプリングポイント)の画像情報、音声情報、その変化情報、を特徴要素データ65として組合せ、類似したシーンとの誤検出を避け、映像コンテンツ上の任意の1フレームが他のフレームと違いをもつシーン特徴データ56としている。
サンプリングポイント、サンプリング方法、データ構成などはこれに限るものではない。
図8(同一シーン判定概念図)は対象とする映像コンテンツ内のシーン特徴データ56の同一データを判定するものである
静止画で無音声の範囲はシーン特徴データが同一となり、これについては後述する、これ以外にも、二つの要素で同一データとなる場合があり、図に示すように同一シーン判定メモリを設け、シーン特徴データを生成するたびに、同一シーン判定メモリにシーン特徴データ56ならびに必要情報を順次記憶登録するとともに、すでに記録登録してあるシーン特徴データを検索判定することによりコマーシャルメッセージシーンや再放送シーンなどのシーンは連続して同一シーンが繰り返される繰り返しシーンとして自動判定し、必要により付随情報、識別情報を付与可能にするとともに、放送番組の場合、局情報、時間情報、タイトル情報からそれがコマーシャルメッセージか、再放送か、さらにはコピーシーンか、を自動判断させることも可能で、これらを利用することにより、コマーシャルメッセージは録画しないなどの自動編集も可能になる。
また組合せ確率要素だけでは避けられない、類似した特徴データのシーンを同一シーンと判定することは、単発的な発生となることを検出し付随情報、識別情報の必要情報を付与することにより、対象検索範囲の全てのシーン特徴データ56を、前記の繰り返しシーンを除き唯一無二のインデックスとすることも可能である。
以上説明の同一シーン判定メモリは、シーン特徴データ56の特徴要素データ65の何組かをもとにグループ化されており(図ではR平均、B平均で256グループ)、検索範囲を概ね組合せグループ数で割ったものとすることが可能で、大容量の記録媒体であってもこのグループを増やすことにより、映像コンテンツの再生に追従してこの同一シーン判定をすることが可能である。
シーン特徴データ56を設計するにあたって、特に重要なのは特徴要素データ65同士の出現相関度である、特にリアルタイム検索でのフレームの見出しとする場合は少ないデータサイズで映像コンテンツ上の任意の1フレームが他のフレームと違いをもつよう、特徴付けを行う必要があり、任意に選んだ2組の特徴要素データのそれぞれのデータ間の相関度合いのシミュレーションを行い、互いのデータ同士に強い相関がないことを判断して選出し組合せする。
図9(特徴要素データ相関度判定)は特徴要素データ65の相関度を判定するための手法の一例を示したものである。
2組の特徴要素データX、Yがそれぞれ4bit、16データで構成される際、Xのデータの0から15まで16種、とYのデータの0から15まで16種、計256通りで、大数定理にもとづく平均出現確率を10回とする2560回の試行を行いその組合せの出現頻度をマトリックス上にプロットしたものである。
表AはX、Yデータ間の相関がなく出現頻度がフラットな場合、表Bはデータ同士が完全に相関(一致)している場合、表Cでは一部のデータ間で相関をもつ場合、を示している。
本例では、X、Y2組の16データが、それぞれ10回ずつ出現することの理論値平均値10と出現頻度の差を偏差として、この二乗を分散とし、16データの分散を分散平均として、この平方根を二乗平均平方根としている(表ではY0のみ代表され示されているがY0からY15まで全て同様)。
したがって、この二乗平均平方根は相関度が全くない表Aの場合には0になり、表Bのように完全に相関する場合には38.73となる。
相関度はこの38.73を最大値1としたもので、表Cの場合の相関度は0.15である。
以上の説明のように、シーン特徴データ56を構成する複数の特徴要素データ65から2組を取り出し互いのデータ同士の個別相関度をもとめ、複数の特徴要素データ65の全ての組合せ、本例の場合の14種の特徴要素データ65の場合は14から2つをとる91の組合せ、の個別相関度の全体平均をとることにより、組合せした特徴要素データ65の全体相関度を求めることが出来る。
この全体相関度は、特徴要素データを組合せして構成されるシーン特徴データの組合せ数に反比例する関係にあり、
例えば特徴要素データが14種で全体相関度が0の場合には、全ての特徴データに相関がなく、全ての特徴データの14種分の分解能が得られることを意味している。
一方特徴要素データが14種で全体相関度が1の場合には、全ての特徴データのデータ同士のデータが全く同一のデータとなり分解能は1種分のみの分解能となることを意味している。
仮に特徴要素データが14種で全体相関度が0.5の場合には完全に相関度のない7.5種の特徴要素データの分解能力と等価となることを意味している。
この分解能はフレームの特徴を多く抽出し、よりよく識別する能力、つまりシーン特徴データ56の特徴抽出能力、特徴識別能力を判定する重要な指標となる。
したがって特徴要素データ65は最低限含める必要な特徴要素があるので、これ以外の特徴要素を選択する際、全体相関度が少なくなるよう特徴要素データを選択し組合せすればよい。
この方法は様々な特徴情報のシミュレーションに応用可能である。
以上のようなシミュレーションによってデータサイズがコンパクトで、特徴抽出能力(識別能力)の高い特徴要素データを選出することが可能である。
なお、本例では説明のため試行回数を2560回で示しているが、実際には数時間分、必要により数日間の映像コンテンツのフレーム信号をサンプリングしてデータの偏りをなくすことが重要である。
また、本例では説明上0から15までのデータがほぼ均等に分布するように表現されているが、特徴要素によってはデータの下位、中位、上位などに出現頻度が強く集中する場合がある。
図10(特徴要素データ分解能利用率判定)は1つの特徴要素データ65のそれぞれの量子化データの出現頻度を現した例である。
表Aは大数定理にもとづきそれぞれの量子化データが均等に出現している場合、表Bはそれぞれのデータの出現頻度にばらつきがある場合の例である。
表Bのような出現頻度の場合、それぞれの量子化データの出現頻度の差によって特徴要素データ65はデータ数分の理論分解能をもてない結果となる。
表Cは表Bの出現頻度の大きい量子化データから順番に左から右に並び変えしたものである。
表Cの並べ替えした出現頻度の重心位置は、表Aで示される理論重心位置より左側に偏移される。
この重心位置の意味するものは出やすい量子化データ(重心の左側)と、出にくい量子化データ(重心の右側)の中間にある量子化データ、つまり平均的な出現頻度の量子化データを意味し、平均的な出現頻度の量子化データの出現頻度が理論出現頻度より低下する結果、この特徴要素データの量子化データ数に見合う分解能が低下したことを意味し、重心位置が左に偏移するほど分解能が低下する分解能の利用率の尺度である。
この分解能利用率、本例では最大が1で、この場合は理論分解能(この場合16)となり、最低が0の場合は分解能が1となる。
以上の分解能利用率は特徴要素データの特徴抽出能力、特徴識別能力を判定する重要な指標になる。
仮に4bitからなる特徴要素データ65の分解能利用率が0.5の場合、2.5bitからなる量子化データの完全に均等に出現する量子化データの特徴要素データ65と均等な分解能であることを意味する。
それぞれの特徴要素データ65の平均値を求めることにより、シーン特徴データ56の全体の平均値とすることが出来る。
全体相関度と、分解能利用率と、をもとにシーン特徴データ56の特徴抽出能力、識別能力を総合的に判定することが出来る。
仮に4bit、14種類の特徴要素データ65で構成されるシーン特徴データ56が、先の説明の全体相関度判定が0.5で7.5種の組合せ、平均分解能利用率が0.5であった場合は2.5bitのデータとなり、この場合は、7.5種の組合せ×2.5bit=約19bitとなりその総合分解能は524288通り、期待する分解能より遥かに小さなものとなる。
以上のシミュレーション方法は疑似乱数をもとに当たりを抽選するゲーム機などの乱数シミュレーション、例えば当たりの確率検定や、当たりの確率変動コントロール、くじの確率予測など多方面で利用可能である。
以上の説明とおり互いのデータ同士に強い相関がある場合や、強い出現頻度の集中がある場合は、無駄なデータとなり、シーン特徴データ56の特徴抽出能力、識別能力を低下させることになる。
当該フレームの特徴を総合的に現す特徴要素データ、例えば画像、音声、その変化の平均データを必須の特徴要素データ65として、副次的に組合せをする特徴要素データ65においては、サンプリングポイントの選択、サンプリングパルス幅、データ処理方法、を適切に選んで相関度合いを低減させることが必要である。
先願発明の特願2008−243425ではシーン特徴データ56を制御のためのフレームの見出し(フレームインデックス)として利用するために、特徴要素データ65同士の出現相関度を考慮し映像コンテンツ上の任意の1フレームが他のフレームと違いをもつよう、14種の特徴情報で特徴付けを行うとともに、違いが出せない静止画で無音声のシーンには連番を打つなどして唯一無二性を高めている。
映像コンテンツの編集を主体とするものであれば、このような構成とすることなく、画像、音声、とその変化情報が表示案内出来る特徴情報を映像コンテンツの各フレームに対応する構成とすることでも可能である。
また、編集の内容によっては、検索する対象が画像だけ、または音声だけ、その変化だけ、の場合もあり、これらを対象とする特徴情報のみにする場合や、編集の精度に問題がない場合には、シーン特徴データ56を半分やまたその半分に間引きして抽出することも考えられる。
さらに、特徴情報をシーン特徴データとして特に記憶登録せず、テンポラリーな情報のまま様々な編集シーンを検出し表示案内する方法も考えられる。
しかしながら、コンパクトなデータサイズにまとめられ、映像コンテンツの再生に合わせてリアルタイム検索可能なシーン特徴データ56を使えば様々な高度な編集機能をもつことが可能になるので、本実施例では、先願発明の特願2008−243425の実施例にもとづくシーン特徴データ56の構成をもとにして説明をする。
図11(シーン特徴データ列構成概念図)は今までの説明のシーン特徴データ56をフレームごとに記録登録したシーン特徴データ列58、A、B、Cから、いずれかを選択し比較対照シーン特徴データ列63としてワークメモリに展開したものであり、これにはシーン特徴データ56のそのままのデータである元データ68と並列に+補正データ67、−補正データ69が記憶されている。
この+補正および−補正は図7(シーン特徴データ抽出、検出概念図)で示すように、画像、音声信号51をA/D変換機能54で量子化データしたデータ同士を比較する際の一定範囲の互いの誤差を吸収しようとするものであり、特徴要素データ65の4bitデータを3bitデータに丸め、一致および近似検索するためにそれぞれの元データ値に1を加えた+補正データと、とそれぞれの元データから1を減算した−補正データから構成されている。
これらワークメモリに展開された比較対象シーン特徴データ列63を使用した検索、検出に関する内容は後述する。
図12(連続同一シーン検出概念図)は映像コンテンツにおけるシーンの変化がない連続シーン、連続同一シーンを検出する概念を示すものであり、連続同一シーンは画像、音声とも同一のシーンが継続するもので、必然的に連続同一シーン期間はシーン特徴データ56が同一となる、連続同一シーンの始まりとなる連続同一シーンの基点シーン70のシーン特徴データ56と同一のシーン特徴データの範囲を連続同一シーン71として、シーン特徴データ56の付随情報にその連続シーン連番99が付与され、検索可能となっている。
図13(特定シーン検出概念図)は映像コンテンツの中から特定のシーンを検索する一例として映像コンテンツのシーン変化点(カット点)を検出するための概念を示している。
図7(シーン特徴データ抽出、検出概念図)で示すようにシーン特徴データ56は画像、音声ともフレーム前後の違いを差分として特徴抽出しており、変化画素の範囲や変化の速度に関する特徴データも含まれているので、これらのデータから変化の程度を検索条件とすることにより容易に変化点が検出可能である、これらに限らず画像のR、G、B信号、音声に関するデータから対象とするシーンを様々な条件で検索、検出することが可能である。
具体的には以下のシーンが検出可能である
1)検索対象範囲上で同一なシーン特徴データ56となるコマーシャルメッセージシーン、連続放送番組の定型シーン、再放送番組、コピーされた映像シーン、の同一シーン
2)静止画で無音声のシーンが連続する連続シーン
3)黒画面、青画面、緑画面、赤画面、白画面、以上のシーンと、画像設定条件に適合するシーン
4)無音声シーンと、大音声のシーンと、特定音声が連続するシーンと、音声信号のレベルが音声設定条件に適合するシーン
5)シーンチェンジと、カット点と、編集点と、画像信号ならびに音声信号の変化レベルが変化設定条件に適合するシーン
6)付随情報が付与されたシーン
7)以上1)から6)の組合せに適合するシーン
8)以上1)から7)のいずれかにより検出されるシーンと、このシーンに対する設定時間条件に適合するシーン
9)以上8)により検出される編集適合シーン
図14(編集ポイント概要)はカット編集、結合編集、ジャンプ編集、スクランブル編集、プレイリスト編集、効果編集、などの編集の際、探し出すシーン、確認するシーン、編集に利用するシーン、として必要とされる(ニーズの多い)シーンを編集ポイントとして一覧化したものであり、先に述べた図3(編集ポイントデータ)はこれらの編集ポイントデータの実例である。
編集ポイントの種類77はその種類であり、編集ポイントの概要78はそれぞれの内容を説明したものである、編集ポイントの選択機能79はこれらの編集ポイントをGUI機能で使用するかどうかを選択するなどの機能である。
これらの編集ポイントにおいてNo1の定刻シーン、No3の手動チャプタマークシーンを除く編集ポイントはシーン特徴データ56の特徴条件より自動検索されるもので、編集開始時点でこれらの編集ポイントが自動的に与えられ、ナビゲーション表示されていればどのような意図の編集でも即座に効率的な映像コンテンツの編集が可能となる。
No6の条件指定シーン設定を利用し、さらに細かく編集ポイントを抽出することも可能である。
図15(繰返しシーン登録データ)は映像コンテンツの編集上特に利用頻度の高いコマーシャルメッセージの検出に使用するために、過去に登録したコマーシャルメッセージシーンなど繰返し再生されるシーンを登録したもので、図14(編集ポイント概要)のNo5の登録データであり、繰返しシーンタイトル161に対応して当該シーンのシーン特徴データ56が登録されている。
これらのシーン特徴データ56を登録し、検索設定をしておくことにより、新しい映像コンテンツの中から同一のシーンを検索、検出させることにより、高速で確実に同一シーンを見つけ出すことができる。
ここでは、シーン特徴データ56をそれぞれ1つ登録したものとなっているが、コマーシャルメッセージシーンの開始点、中間点、終了点などを一括登録することにより、コマーシャルメッセージシーンの範囲をまとめて検索することも可能である。
コマーシャルメッセージシーンの編集に関してはこれまで様々な発明提案が行われているが必ずしも確実に検出できるものではない、この方法での同一シーンの検出の精度は極めて高い。
同一シーン検索、検出はコマーシャルメッセージシーン以外、例えば連続放送番組の開始または終了時の定型シーンなどをパスして再生、視聴したいときなどの編集に有効である。
図16(シーン検索簡易設定)は図14(編集ポイント概要)のNo6の編集ポイントの検索、検出のための条件設定例であり編集ポイント条件グループ80ごとに、4bit、0〜15のデータを大、中、小の三段階に分類して編集ポイント条件選択表示81により特徴要素データ65を簡易設定したものである。
図17(シーン検索詳細設定)は編集ポイント条件グループ80ごとに、4bit、0〜15のデータをそれぞれ上限値、下限値にデータ値として、特徴要素データ65に編集ポイント条件個別データ82を詳細設定したものである。
上限値と下限値を同一にすれば設定値をその値に一つに限定した一致または近似検出と等価である。
これらの条件設定でたとえば、火事や爆発などのシーンで画面全体が赤いシーン、ゴルフや野山などのシーンで画面全体が緑のシーン、空や海のシーンなどで画面全体が青のシーンなど容易に検出可能である。
どの様な設定方法を採るかは、対象とする装置や編集のグレードに合わせ適切なものを選択すればよい。
図18(適合シーン検出概念図)は以上様々な条件で設定登録された条件設定データと、シーン特徴データ56の1フレーム分(1シーン分)の適合シーン検出の概念を示すものである。
図の上段に示すように比較対象シーン特徴データ63は、図11(シーン特徴データ列構成概念図)で示したように、元データに並列し+補正、−補正が掛けられ、3対のデータとしてワークメモリに展開されており、この中から1フレーム分の元データ68、および+補正データ67、および−補正データ69の3対で1組となる当該シーンのシーン特徴データ56とこれまで説明してきた様々な条件をもとに範囲検出を行うものである。
図18(シーン検索簡易設定)、図17(シーン検索詳細設定)などで設定した様々な条件は編集ポイント別検索条件97に設定されていて、それぞれ上限値、下限値のデータから構成されている、これらは検索条件切り替え機能84により一組の検索条件が選択される。
適合シーン検出機能85は範囲検出機能86、OR論理回路87、14進カウンンタ機能88で構成され、特徴要素データ65ごとに互いの比較を行うものであり、比較対象シーン特徴データ63と編集ポイント別検索条件97それぞれの特徴要素データ65の範囲比較を行い範囲内であるかどうかを判定して、OR論理回路87によって+補正、中心、−補正の1対のいずれかが範囲以内であることの一致および近似をもって、量子データ誤差範囲の補正を含めた特徴要素データ65の1組の範囲検出が完了され、順次14組全部の特徴要素データ65が一致および近似することを確認することをもって、当該フレーム(シーン)が条件に適合するかどうかを判定するものである。
図19(シーン特徴データ検索実施例)は上述の検索状況の実例を示したものであり、シーン特徴データ56の特徴要素データ65をそれぞれを、編集ポイント別検索条件97の設定条件で2つの比較対象シーン特徴データ63のAおよびBを判定したものである。
それぞれ元データ(中心)68に対し±1した+補正データ67、−補正データ69と編集ポイント別条件設定97の上限値、下限値範囲を比較して範囲内であればそれぞれの特徴要素データが適合となり、全ての特徴要素データ65が適合することにより、編集ポイント別条件設定96が総合判定合格となる。
従って、同一シーンの検索条件においては、全ての検索条件の上限値、下限値を同一データとすることにより範囲検出を一致検出と同等にすることが可能になる。
先願の特願2008−243425によれば、2時間程度の映像コンテンツのシーン特徴データ列のシーン特徴データ56の数は20万程度であり、特徴要素データ65の種類が14種の場合、これらの検索を0.1μS程度のクロックのディスクリート回路により実施した場合、約350mS(約0.35秒)で実現できると共に、高速な0.01μS程度のクロックを用意し専用ロジック回路を組むことにより約3mS程度の極めて短時間で2時間程度の映像コンテンツの全範囲を検索可能であることが示されている。
本発明は先願発明で示される、検索の条件を一致検出から範囲検出に変えているが、範囲検出も1クロックで実現可能であり、複数の条件を切替え、条件別に特定シーンを検索し検出する場合はその時間が条件回数分必要になる。
2時間番組を一番遅い条件で20組の検索を行う場合では約7秒間、一番速い検索では60mSで全ての編集ポイントを検出することが可能である。
また実運用上では、シーン特徴データ56とこれをもとにした編集ポイントは録画と同時に作成することが可能であり、録画終了時に一部の編集ポイントの再検索を実施する程度とできるので、ほとんどの場合検索時間を意識する必要はない。
本発明はこの様な高速検索が可能なシーン特徴データ56を活用し、複数の検索条件であっても映像コンテンツの録画中、またはオフラインでの検索も可能となるので、様々な利用形態が実現可能となる。
これまでシーン特徴データ56は先願発明の実施例をもとにした14種として説明してきたが、これ以外の特徴をもとに特徴検出してシーン特徴データ56を作成することも可能であり、図20(特徴抽出オプション機能)はシーン特徴データ抽出機能55で抽出したシーン特徴データ56のそれぞれの特徴要素データ65を特徴データ選択機能98により追加、削除選択可能としている。
これによって画像信号、音声信号が分離されている専門機器などでの使用にはこれらに適したシーン特徴データ56を構成し実現することが可能になる。
また図20(特徴抽出オプション機能)のシーン特徴データ付随情報66として、映像コンテンツのそれぞれのシーンから検出される文字、音声、顔、スマイルなどの各種認識機能95からの結果情報を追加特徴データ欄に、シーン特徴データ付随情報66として付与させたものである。
図21(認識情報登録)では、認識情報登録187に様々な認識機能で登録された、文字、音声が一覧表示されている、音声認識音声188はその実例として、『エッフェル塔』と音声を登録して、この音声認識を認識情報検索189として指定したものである。
この音声認識情報の実施形態は後述する。
図22(付随情報構成例)は上記説明の認識機能で判定されたシーンに4bit、0を除く15種の認識機能での判定結果を付随させたものであり、この例では付随情報データが「3」となっている。
これは一例として音声認識機能で検出されたシーンの付随情報に「3」を指定することにより、以降の検索でこれを検出可能とした例である。
このような、4bit程度の少ないデータでも、もし同時に複数の認識機能判定があっても、近傍のフレームのシーン特徴データ56の付随データとすることで解決できる。
この場合の検索、検出は、これまでのアナログ値を量子化したものでないので±の補正は不要であり元になるデータ同士の一致で検出を行う。
図23(編集適合シーン検出概念図)は以上の検索で検出された編集ポイントの組合せにより編集に適合した編集適合シーンを検出するための手法の一例であり、一般的な編集では音声がなく、背景が黒などで、しばらく動きがないようなシーンを探すことが多い、条件Aでは無音シーン、連続同一シーンの二つの条件に黒、青、白のいずれかの適合シーンをOR論理回路92、ならびにAND論理回路93により、編集適合シーン検出信号94を検出させるものである。
さらに、条件Bでは上記に加え、時間設定条件90、たとえば、どこからどこの範囲、現在から10フレーム以内のフレームでなどの時間的条件を加えて検索をするものであり、これによってさらに細かなシーン検索、検出が可能となり、目的の編集ポイントを抽出することが可能となる。
以上で編集ポイントの作成から検索に関する説明を終え、以降これらの編集ポイントを利用、応用した映像コンテンツ編集用ナビゲーション表示とその実施例を説明する。
図24(実施方式例)は本発明の様々な応用形態の中で、これから説明する実施例の映像装置本体1ならびに遠隔編集装置2の機能分担の一例を示すものである。
映像装置本体1はテレビジョン放送の受信機能を持ち、これを録画、再生機能、映像コンテンツ、属性データの記憶機能ならびにシーン特徴データ56およびこれから出来る編集ポイントなどのデータを作成する機能を持っている。
映像装置本体1で作成されたシーン特徴データ56および関連データの属性データ8は共有フォルダとして管理され、遠隔編集装置2で自由に閲覧、検索、修正、追加、文字入力可能にしている。
映像装置本体1は録画、再生にかかわる同期をとるための本体の状況を示す本体ステータス信号ならびに、録画、再生の時間位置を示す、再生時間位置信号を遠隔編集装置2に適宜送信するとともに、また録画中にはシーン特徴データ56を遠隔編集装置2に適宜送信する。
このシーン特徴データ56をもとに遠隔編集装置は、様々な検索条件にもとづき、編集ポイントを自動検出し、これをもとにナビゲーション表示を実施するとともに、ナビゲーション表示をもとに、様々な編集を行い、映像装置本体1に制御信号を送信可能としている。
また付帯事項として、映像装置本体1はHDD式録画機に多く採用されている通称追っかけ録画機能を持ち、録画中にも再生の一時停止や、編集などができる機能を有したものとなっている、また必要に応じて音声認識、文字認識など各種認識機能や、フェードイン、フェードアウト、ワイプ、ディゾルブカット、スーパーインポーズ、字幕スーパなどの効果編集機能を有している。
遠隔編集装置2は属性データ8など通信機能をIPプロトコルとし、インターネット通信ならびに、インターネット閲覧可能な構成となっている。
映像装置本体1および遠隔編集装置間のその他の信号の通信手段はリモコンなど遠隔制御装置としての規格にもとづき適切なものを決めてもよい。
また先に説明した図1(映像装置ならびに遠隔編集装置の全体構成図)のとおり、映像装置本体1にはテレビジョンおよびディスプレイ3が接続され、遠隔編集装置2、ボタン操作式リモコン4はリモコン信号10双方にて操作可能な状態である。
遠隔編集装置2はマウス5、キーボード6、または図6に示すように、遠隔編集装置2には上記マウスやキーボードに代わってテレビジョン編集操作機能102、本遠隔編集装置の表示体の編集画面を操作するための本機編集操作機能103、映像装置本体1や遠隔編集装置の電源など操作する共通操作機能104がそれぞれを操作、制御可能としている。
またアナウンス、メッセージ、アラームを知らせるための音声出力機能108が付随している。
以降図25から図32までの説明を以上の映像装置本体1と遠隔編集装置2の構成をもとにする。
図25(遠隔編集装置録画中画面)の実施例ではテレビジョン放送を映像装置本体1が受信し録画し映像装置本体1から送信されるシーン特徴データ56を遠隔編集装置2が受信しこれをもとに必要な検索を行い編集ポイントマークをナビゲーション表示させた例であり、「憧れのパリ」という放送番組を録画中のものである。
本例では16種の編集ポイントを縦軸にし、横軸を時間軸としたものである。
これら16種の内、ハイライトシーンはテレビジョン画面等を観ながら手動でチャプタマークを付与したものであるが、残りの15種の編集ポイントは自動的に検出し表示させたものである。
表示画面の上方には映像コンテンツタイトル表示111として表示され、画面の縦軸に種類別編集ポイント一覧112を表示し、横軸を時間軸として、検出された編集ポイントを編集ポイントマーク113とそれぞれのタームバー上にナビゲーション表示させ再生位置表示115まで録画が完了したものである。
このように映像装置本体1から遠隔編集装置2にシーン特徴データ56を送信する場合、または遠隔編集装置2が映像装置本体1の共有フォルダのシーン特徴データ56を参照する場合、必ずしもフレームごとに実施する必要はなく、秒単位でシーン特徴データを送信するなど、そのグラフィック機能、性能と目的に合わせ適切なタイミングで実施すればよい。
時間軸は時間スケール伸縮機能116により、1画面で映像コンテンツ全体を表示することから1秒間を1画面表示させフレーム単位での確認も容易であるよう伸縮可能であるとともに、再生位置表示115が再生に合わせスクロールする場合と、再生位置表示115が固定で編集ポイントマーク113がスクロールするなど適宜状況に応じて選択可能な構成になっている。
このように録画実施中に様々な種類の編集ポイントが自動的に検出され表示(ナビゲーション表示)されていくので、利用者はこれらのナビゲーション表示を総合的に視覚認識することにより、目的に合ったシーンを効率よく探しだすことが可能になるとともに、探したシーンをGUI機能で即座に編集可能としている。
最近のHDD式録画機では、通称追いかけ録画機能を有しており録画中の再生を一時中断することも可能であり、映像装置本体制御操作機能105を設け映像装置本体を制御可能としている、これらの操作機能で、手動チャプタマーク付与機能106ならびに手動チャプタマーク付与&一時停止機能107で番組録画中、任意の時点でハイライトシーンなどにチャプタマークを手動付与できる、手動チャプタマーク付与&一時停止機能107はチャプタマークを手動付与するとこれに連動して、再生画面を自動的に一時停止し、後に説明する必要な編集を行い、再生ボタンを押すことにより再生を再開させるものである。
人間でしか判断できない、その人に特有のハイライトシーンなど手動チャプタマーク付与&一時停止機能107を利用してチャプタマーク編集をするのに有効な手段となる。
これらの手動でチャプタマークを付与したものは手動付与チャプタ再生位置表示123として表示される。
図26(遠隔編集装置編集時画面)は当該番組の録画が完了し、選択したシーンの編集をしている状況を説明するものである。
編集ポイントグループ選択表示126は、縦軸に配列された編集ポイントのグループを選択するためのGUI機能表示であり、シーン選択マーカ117は編集ポイントを選択する機能である、この例ではハイライトシーンとして手動付与されたチャプタマーク位置に対応する付随情報を付随情報152として表示し、付随情報スクロール122で付随情報をスクロール可能な構成となっており、当該シーンのシーンタイトル151とシーンに対するシーンコメント153を文字入力するとともに、関連するインターネット名称、URLを登録したものとなっている、また利用編集ポイントマーク表示114はインターネットやシーンタイトル、コメントなど意味ありの編集ポイント(シーン)を強調表示している例である。
これらの編集内容は以降、映像コンテンツが再生される時、再生シーンに連動し適正時間、遠隔編集装置2または、テレビジョンおよびディスプレイ3に表示される。
インターネットホームページ表示155は、インターネットブラウザ画面へ切り替えするための機能である。
図27(遠隔編集装置詳細編集画面)は時間スケール伸縮機能116を利用して、細かな時間間隔で詳細表示を行った例である。
まとめシーン表示128は、連続して編集ポイントが検出される場合にはその最初と最後シーンのみを記憶させグループ化して表示させたものである。
人がハイライトシーンでチャプタマークを付与する場合などは、観た結果でチャプタマークを付与するのであり、編集に適した位置とならないのが通常である、このような場合に編集適合シーン127は最適である。
一般的な編集においては編集シーンに音声があるシーン同士を結合し視聴すると音声上の違和感を生じるものであり、このようなシーンは避けたい、またシーン編集では黒シーンや大きくシーンが変化する点、これらが連続するシーンを探したいなどの共通したニーズがある。
シーン選択マーカ117は編集ポイントや任意のシーンを選択する機能でありその位置を示すマークである、本例では編集ポイント前進/後退指定機能118により選択された編集ポイントマークを左右任意の位置に移動する可能としている、これらの機能は、無音シーン124、黒シーン125、連続同一シーン129の3つ条件のいずれにも適合する、編集適合シーン127に手動付与したチャプタマークを移動させ、高品位のチャプタマーク編集、プレイリスト編集におけるスムーズなシーンチェンジが可能となる。
以上述べたような手動設定で合わせる以外、数秒程度の範囲内の近傍の編集適合シーンに手動付与したチャプタマークを自動移動させることも可能である。
これに限らず、全ての編集を詳細画面または適切な時間尺度の画面選択とすることにより、効率よく精度のよい映像コンテンツの編集を可能にする・
図28(遠隔編集装置音声認識検出画面)は既に録画された映像コンテンツの再生中のナビゲーション画面の例である、先に述べた図21(認識情報登録)で検索設定した認識機能から得られた結果をシーン特徴データ56の付随データとして登録したもので、この例では映像コンテンツの再生中、「エッフェル塔」の音声を認識したシーンを編集ポイントとして、表示し事前に編集したシーンコメント153を表示させたものである。
これに限らず、最近のデジタルカメラに搭載されるスマイル認識機能などを利用して動画像の画像を判定し一致するシーンをシーン特徴データ56の付随情報とすることにより、笑顔が見られるシーンのみをダイジェストで鑑賞するなど様々な応用が可能であり、これらの機能を利用することによりビデオカメラで撮影した自作ビデオの様々な編集を効率的に、より付加価値を上げた編集を可能とさせるものである。
今後の新しい認識技術、例えばそのシーンに最もふさわしいインターネットサイトの検索結果などをシーン特徴データ56の付随情報として自動付与するのなどの機能も期待できる。
図29(遠隔編集装置繰返しシーン登録画面)はコマーシャルメッセージシーンなど繰返し再生されるシーンを登録しておき、以降同一シーンを自動検出させる機能を実現させるものであり、繰返しシーンタイトル161を登録し、繰返しシーンサーチ登録機能160を選択することにより、先に説明した、図15(繰返しシーン登録データ)に自動登録されるものであり、以降の同一シーンの検索に使用するものである。
登録数が多くなる場合は、映像コンテンツに合わせこの中から検索対象とすべきシーンを選択することにより検索の時間を適切なものにすることが可能である。
図30(遠隔編集装置インターネット閲覧画面)は、二つの活用方法があり、その一つはインターネット情報の編集用である。
例えば映像コンテンツを再生中、一時停止させこの画面に切替えたり、ナビゲーション表示画面からシーンを指定することにより、映像コンテンツの全てのシーンにインターネットや関連情報を連動付与させることが可能となる。
インターネット閲覧ブラウザ156により、様々なインターネット情報をインターネット閲覧画面157で閲覧可能とし、インターネットURL登録機能158により閲覧しているインタターネット名称ならびにURLを登録可能としている。
図26(遠隔編集装置編集時画面)で示したインターネット情報はこの機能により付与されたものである。
ナビゲーション表示画面への復帰機能159を選択することにより、ナビゲーション編集画面に戻ることができる。
二番目の活用方法として、映像装置本体1で映像コンテンツの再生時にインターネットURLが付与された当該シーンが再生されると、遠隔編集装置2の音声出力機能108により適切なアナウンス音声が一定期間出力され、編集で付与したインターネットURLサイトが適正期間表示され、遠隔編集装置2で自由にインターネットを閲覧することが可能になる。
この機能により利用者は映像コンテンツそのものや再生紹介される様々なシーンをより深く理解し視聴可能とすることが出来るため、教育目的やコマーシャル目的など幅広い展開が可能になりこれらのインターネット情報をもった編集ポイントデータを放送電波やインターネットで配信するなど様々な応用形態が考えられる。
このとき、映像装置本体1の再生を一時停止、早送り、巻き戻しするかどうかなどは映像装置本体制御操作機能105により自由に制御可能である。
以上については、インターネットホームページの閲覧以外に、ビデオ撮影した映像コンテンツの任意のフレームに、撮影場所や、日時時間、その他のコメントや、イラスト、マークを登録しておき後日の再生に連動して閲覧するなどにも有効な活用が出来る。
図31(二画面表示例)は映像装置本体1に接続されたテレビジョンおよびディスプレイ3に表示された画面であり、画面左側の「選択された映像コンテンツ」のプレイリスト選択画面タイトル表示162は図2(タイトル情報データ)で選択された5つのプレイリスト用の映像コンテンツであり、これら5つのプレイリスト選択タイトル163、選択タイトルコンテンツ表示バー164が表示されるとともに、すでに選択登録された部分にはプレイリスト選択順序番号165、プレイリスト開始シーン166、プレイリスト終了シーン167、プレイリスト開始シーンサムネール表示168、プレイリスト終了シーンサムネール表示169が表示されている。
画面右側の「プレイリスト作成]はプレイリスト作成GUI機能170であり、プレイリスト登録選択部分171は「選択された映像コンテンツ」より映像コンテンツの選択タイトル名172を、プレイリストの再生順に指定するとともに、それぞれのタイトルの再生開始シーンならびに再生終了シーンを後述する編集ポイントマークから選択して登録するもので、開始位置編集ポイント173、開始位置編集ポイントNo174、終了位置編集ポイント175、終了位置編集ポイントNo176がそれぞれ設定されている。
ここで、編集ポイントNoは当該編集ポイントグループ内の検出の順番を示している。
以後も同様に繰返し登録可能である。
プレイリスト合計時間表示177にはこれまで選択登録されたプレイリストの再生合計時間を表示している。
図32(遠隔編集装置プレイリスト作成画面)は先に述べた図31(二画面表示例)のプレイリスト作成GUI機能170の再生開始シーンならびに再生終了シーンを指定するためのGUI機能であり、ハイライトシーンの4番目が開始シーン、○○○繰返しシーンの3番目がそれぞれ、開始位置選択マーカ119、終了位置選択マーカ120により選択され、これにもとづき先の図31(二画面表示例)のプレイリストの開始シーンならびに終了シーンが登録設定されたものである。
この様に、テレビジョンおよびディスプレイ3と遠隔編集装置2の2つの画面を連動させGUI機能することにより、遠隔編集装置2で指定したシーンをテレビジョン側の画面のサムネールで確認しながら確実な編集が可能となるなど、これまで複雑であった編集も理解しやすい操作で実現させることが可能となる。
このような2画面操作には、図6(遠隔編集装置)で説明したように、テレビジョン編集操作機能102、本機編集操作機能103、共通操作機能104が便利でありこれらを含め遠隔操作装置2の表示体101を例えばタッチパネルとしたGUI機能としてもよい。
これまでの説明では、遠隔編集装置2の遠隔編集装置表示体101を使い、編集ポイントを活用したナビゲーションGUI機能を説明してきたがこれに限るものではない、図33(ナビゲーション画面A)は文字入力やインターネット連動機能を削除し簡素化し、テレビジョンおよびディスプイレ3用のナビゲーション編集用としても実現可能な画面例である。
図34(ナビゲーション画面B)は編集ポイントを3種類に絞ったナビゲーションGUI機能である。
本例では、手動付加編集ポイントタイムバー表示178にはハイライトシーン、編集適合シーン127ならびに単色画面シーン190が選ばれている。
単色画面シーンは黒画面シーン、青画面シーンの2つを一つのタイムバーに集約し色で黒、青を表示するものであり、ナビゲーション表示する上で、そのシーンの種類とその時間位置が適切に分かるものであれば、どの様な表示方法でも構わない。
また参考実施例として、シーン選択マーカ117で選択された、選択シーンは選択編集ポイント前シーンサムネール181、選択編集ポイントサムネール182、選択編集ポイント後シーンサムネール183には指定した編集ポイントのサムネールが表示されている、また直前編集適合シーン前サムネール184、直前編集シーンサムネール185、直前編集適合シーン後サムネール186には、指定した編集ポイントの直前の編集適合シーンとその前後のシーンのサムネールが表示されていて、手動で付与したハイライトシーンは適切な位置に移動することが可能である。
上述のサムネールは、当該シーンの画面を認識するには極めて有効であるものの、サムネールデータの大きさから、多数のサムネールを用意することは現実的でなく、必要最低限のもの、例えば本例のいくつかの種類の編集ポイントなどに限られる。
またサムネールは画面の認識はできるものの、音声やシーンの変化の状況を判断することができない、さらに編集を行う上ではこれらの編集ポイント以外のシーンの概況を確認したいなどのニーズがありサムネールでは対応できない。
サムネールに代えてシーン特徴データ56の14種の特徴データをもとにしてそれぞれのシーンを視覚認識可能とすることは容易である。
図35(ナビゲーション画面C)は図34(ナビゲーション画面B)に変化大(カット点)シーン199の編集ポイントを加えたものである、変化に関する画像のデータの大きいシーンは通常カット点、編集点と呼ばれる編集を行ったシーンであり、図13(特定シーン検出概念図)に示すように、シーン特徴データ56から検出されるものである。
これらの画面を確認しハイライトタイムバーの任意の位置で選択したシーンの概要ならびに当該シーンの前後近傍のシーンを視覚認識可能なように表示したものである。
選択シーン概要表示エリア191にはシーン選択マーカ117で選択されたシーンの概要がシーン概要表示192として視覚認識可能なように表示されている、これらはすべてシーン特徴データ56の14種、4bit、16諧調のデータから作成され、画面全体色表示193には画面全体平均の輝度(Y)、R、G、B、信号のレベル、画面中央色表示194はY、R、G、B、信号のレベルを色識別可能なように表示させている、また音声ならびに変化の範囲や変化の速度に関してはそれぞれの大きさ、広さ、変化の度合いがそれぞれ視覚認識可能なよう、音声レベル表示195、変化範囲表示196、変化速度表示197として表示されている。
さらに近傍シーンの概要表示エリア198には、選択されたシーンに一番近い前後の編集ポイントのシーンの特徴を表すシーン概要表示192が視覚認識可能なよう表示されている。
シーン選択マーカ117を移動することにより、即座にこれらのシーン概要表示192は反応して移動先のシーンのシーン概要表示192として表示されるので、これらのナビゲーション表示を確認することにより、音声レベルの状況や変化の度合いを総合的に判断し効率的に編集ポイントを決定することが可能となる。
シーン概要表示192はサムネールと違い、画面そのものではないが、全てのシーンを対象としてシーン概要表示192で連続するシーンのそれぞれの特徴を一望にして比較することができるので編集には極めて便利な機能でありこれにより適切な編集シーンが選択可能となる。
これらのシーン概要表示192を実行するにあったって、サムネールとは違い新たな属性データ8をもつことなくシーン特徴データ56から直接データ参照し利用できるので、適用するハードウエアの構成に合わせて、適切に必要なシーンにサムネールを併用するなどを検討すればよい。
図36(特徴要素推移データ)はシーン特徴データ56の特徴要素データ65の2種類を、一定期間範囲(この場合は前後それぞれ5フレーム計11フレーム)で平均してできる特徴要素推移データ201を折れ線グラフにした例である。
平均化しない元データは変動が激しく、対象とするシーン近傍の状況をとらえることが難しいがこのように平均化することでフィルターがかかり、対象とするシーン近傍の状況を適切にとらえることが可能となる。
これまでの、編集ポイント同様にこれを時間尺度が伸縮自在に表示案内することにより、時間尺度に適した平均範囲とすることにより任意のシーンの周辺の状況をより詳しく知ることができる。
先に述べた編集ポイント、シーン概要表示、と組合せ最適な表示案内をすることにより、より編集能率を向上させることが可能である。
図37(遠隔編集装置時間編集画面)はR、G、Bの特徴要素データ65を輝度レベルに変換したデータと、音声要素データを、一定期間内で平均したデータ折れ線グラフ化して、前記特徴要素推移データ201として、これまでの編集ポイントと並べて表示案内させたものである。
R、G、Bや変化に係る特徴要素データを利用してもよい。
図37(遠隔編集装置時間編集画面)の中段にはカット編集と、結合編集と、ジャンプ編集と、スクランブル編集と、プレイリスト編集、効果編集、などの編集を行う際に必要となる、制作する映像コンテンツの時間長さを適正なものにする編集支援方法が示されている。
本例では海外旅行で撮影した4時間13分48秒のビデオコンテンツをDVD1枚、2時間に収まるように編集する場合の例である。
目標時間203には、目標とする時間、例えば最大時間、最少時間、適正時間、などの時間を指定する、本例では最大時間に2時間、最少時間に1時間45分00秒が指定されている。
一方、時間集計202には、編集の際、残すべきシーンを必要シーンとして、残すべきでないシーンを不要シーンとしてそれぞれ指定し、残りのシーンを未選択シーンとして集計してこれを表示させたものである。
時間案内204には時間集計202された、必要シーンと目標時間203との差の時間と、その時間差を解消するための情報が表示案内されている。
これらの、必要シーンと、不要シーンを指定するうえで、シーン選択マーカ117で範囲指定する方法と、シーン選択マーカ117で必要シーンと、不要シーンの概ね中心部を指定し、その度合いを設定することにより、その度合いに見合った範囲を自動的に付与するなどが便利である。
例えば度合いのレベルを3段階として、最低レベルは指定位置の前後にそれぞれ5秒間のシーンを付与し計10秒間とする、中間レベルはそれぞれ30秒間で計1分間、最高レベルはそれぞれ3分間で計6分間、などと指定することにより大まかではあるが編集者の意図を反映した編集が可能になる。
これらのシーン位置ならびにその度合いの指定にはチャプタマークを用いて、特定範囲内で複数回のチャプタを打つことにより、この回数を度合いのレベルとすることも可能である。
さらに編集途上で、目的時間とその段階の映像コンテンツの出来上がり時間との差の時間をもとに、集計必要シーン時間が目標最少時間より短い場合は必要シーンに未選択シーンを加えること、集計必要シーン時間が目標最大時間より長い場合は必要シーンの開始部分と終了部分の一定のシーンを削除することにより、映像コンテンツの出来上がり時間を自動調整することも可能である。
シーン特徴データ56に音声認識機能、声紋認識、文字認識機能、顔認識機能、スマイル認識機能、など様々な認識機能から得られる、検出結果が付随されていれば、これらのシーン選択の自動化も可能となり、編集作業の効率をさらに向上させることができる。
以上説明の大まかな時間編集を一次編集として、これまで説明の表示案内を参照しながら細かなシーン決めをする詳細編集に移ることが可能である。
また時間案内204は文字列のみならずマークやイラストなどの情報として表現させることも可能である。
これらの画面上でのナビゲーション表示画面のほかに編集時や録画時、再生時の様々な状況において、音声や振動により編集支援のためのアドバイスやアラームのアナウンスを適切に行うことにより、編集効率をさらに向上させることが可能になる。
編集に関する様々な発明が提案されているが、どのような認識機能が開発されるにしろ、編集の最終判断は制作者にあることはいうまでもない、これらの様々なナビゲーション編集支援機能をうまく活用することにより制作者の負担を軽減させて、質の高い映像コンテンツ、付加価値の高い映像コンテンツを効率的に作成することが本願発明の最大の目的である。
以上基本となる映像コンテンツの、カット編集、結合編集、ジャンプ編集、スクランブル編集、プレイリスト編集、効果編集、などの編集の際、探し出し(検索、早送り、巻き戻し、する)、確認し(再生、一時停止、する)、利用(カット点、編集点、とする)する様々なシーンとなる様々なナビゲーション編集の実施例の説明をしてきたが以降付帯事項を説明する。
以上の説明では、編集ポイント、ならびに特徴要素推移データ、シーン概要表示は記憶登録されたシーン特徴データをもとに作成され編集に利用されているが、探し出すシーンが特定のものに限られている場合などにはシーン特徴データ抽出の手段と同様な手段を用い、記憶登録しないテンポラリーなデータから編集ポイント、ならびに特徴要素推移データ、シーン概要表示、のデータを生成することも可能である。
チャンネル切り替など通常の操作はボタン操作式リモコン4が便利である。
ナビゲーションの検索条件は固定または限られたものとし文字入力を少なくした図34、図35のような簡単なタイムバーと編集ポイントの選択操作であれば、遠隔編集装置2によらずボタン操作式リモコン4でも十分操作編集可能である。
また、放送のチャンネル切り替などの単純操作はボタン操作式リモコン4として、編集は遠隔編集装置2とするような2ウエイ制御では、遠隔編集装置2に優先権を与え編集作業を実施しているときにはボタン式操作リモコン4の信号を受付けないようなインターロック機能を設ければよい。
これまで様々な実例で人の手を介在する編集を中心に説明してきたが、設定によりコマーシャルメッセージシーンなどは自動消去(カット)、結合、ジャンプするなど、編集ポイントでの自動編集機能を盛り込むことができることはいうまでもない。
様々な設定条件で得られた編集ポイントは選択により一般のチャプタマークとすることが可能である、編集ポイントはそのシーンを指定するのに対し、チャプタマークはシーンとシーンの境界を示すものであり、編集ポイントをチャプタマークとするには、チャプタマークを編集ポイントの前にするか後にするかを指定すればよい。
全ての編集ポイントをチャプタマークとして利用することも可能で映像装置本体1ならびに遠隔編集装置2の目的、構成、記録媒体などにより適切に決めればよい。
シーン特徴データ56は映像コンテンツの全てのフレームに対応させるデータ構成で、1フレームの当たりのその特徴要素は少なくても10種、最大20種程度、またその要素のデータ数は4bitから8bitまでのデータ構成が考えられ、1フレームあたり最大160bit程度になる。
特徴抽出データがアナログ信号をもとにしたものであればデータ数はさらに増加する。
これらの機能を回路化した特徴抽出と特徴検索の半導体部品により省スペースかつ高速検索の装置を実現させる。
遠隔編集装置2は汎用のパーソナルコンピュータとアプリケーションソフトウエアによって実現することも可能である。
近年のHDD式録画機などは多くの場合インターネット接続が可能になっており、インターネット回線を通じパーソナルコンピュータで録画予約などができるようになっている、このインターネット回線でパーソナルコンピュータとデータをやり取りすることにより、先に述べたナビゲーション編集をパーソナルコンピュータの画面として実現することが可能である。
シーン特徴データ56、編集ポイント、など編集に供するデータを標準化し、これらを記録媒体に記録して提供する、放送電波、インターネットなどの通信手段でテレビジョンおよびディスプレイ3、映像装置本体1、遠隔編集装置2が受信できこれらをもとに編集が可能となればそれぞれの装置の機能削減に役立つことは云うまでもなく、映像コンテンツやインターネットなどの社会インフラがさらに身近に利用可能となる。
シーン特徴データ56や編集ポイントなどの属性データ8を作成する機能を分離してアダプタ機能とすることも可能である。
これまで、様々な実施例をもとに本発明の説明を行ってきたが、このようなナビゲーション編集が可能となるのはひとえに先願発明によるシーン特徴データ56によるものであり、長大な映像コンテンツの各フレームの特徴を効率よく抽出し、唯一無二性をもった特徴データ構造でありながら適切なデータサイズであり、ハードウエアの負担を大きくすることなく、映像コンテンツの全てのフレーム(シーン)を高速で検索し検出可能とする技術によりはじめて実現可能となるものである。
標準化されたシーン特徴データ56を、MPEG7規格の特徴抽出データとして利用することによりさらにさまざまな応用が期待で出来る。
本願発明の全てまたは一部を利用することにより、一般家庭での放送番組コンテンツ、ビデオ撮影コンテンツ、の編集はもとよりプロ用編集までのあらゆる分野の映像コンテンツ編集の効率アップと作業負担の軽減、ならびに質の高い映像コンテンツ、付加価値の高い映像コンテンツの制作を可能にする。
1 映像装置本体 (図1)
2 遠隔編集装置 (図1)
3 テレビジョンおよびディスプレイ (図1)
4 ボタン操作式リモコン (図1)
5 マウス (図1)
6 キーボード (図1)
7 映像コンテンツ (図1)(図5)
8 属性データ (図1)(図5)
9 双方向通信信号 (図1)
10 リモコン信号 (図1)
11 映像コンテンツタイトル名 (図2)(図3)
12 メニュー選択エリア (図2)(図4)
13 プレイリスト選択 (図2)
14 編集ポイント種類表示 (図3)
15 時間表示 (図3)
16 シーンタイトル名 (図3)
17 編集ポイントコメント (図3)
18 インターネット情報 (図3)
19 適合シーン表示 (図3)
20 プレイリストタイトル名 (図4)
21 プレイリスト編集選択 (図4)
22 記憶機能および媒体 (図5)
27 ファイルアロケーションテーブル (図5)
28 チャプタマークシーン (図3)
51 画像音声信号 (図7)
52 シーン特徴データ抽出部 (図7)
54 A/D変換機能 (図7)
55 シーン特徴データ抽出機能 (図7)(図20)
56 シーン特徴データ (図7)(図11)(図15)(図19)(図20)
57 シーン特徴データ検出部 (図7)
58 記憶登録されたシーン特徴データ列 (図7)(図11)
59 もとになるシーン特徴データ列 (図7)
60 シーン特徴検出機能 (図7)
61 検出信号 (図7)
62 フレームごとのシーン (図7)
63 比較対照シーン特徴データ列 (図7)(図11)(図18)(図19)
64 時間情報 (図7)
65 特徴要素データ (図7)(図11)(図16)(図17)(図18)
66 シーン特徴データ付随情報 (図7)(図11)(図20)
67 +補正データ (図11)(図18)(図19)
68 元データ (図11)(図18)(図19)
69 −補正データ (図11)(図18)(図19)
70 連続同一シーンの基点シーン (図12)
71 連続同一シーン (図12)
77 編集ポイントの種類 (図14)
78 編集ポイントの概要 (図14)
79 編集ポイントの選択機能 (図14)
80 編集ポイント条件グループ (図16)(図17)
81 編集ポイント条件選択表示 (図16)
82 編集ポイント条件個別データ (図17)(図18)
83 +補正データ、−補正データ近似展開 (図18)
84 検索条件切り替え機能 (図18)
85 適合シーン検出機能 (図18)
86 範囲検出機能 (図18)
87 OR論理回路 (図18)
88 14進カウンンタ機能 (図18)
89 検索条件適合シーン (図18)
90 時間設定条件 (図23)
91 個別適合シーン信号 (図23)
92 OR論理回路 (図23)
93 AND論理回路 (図23)
94 編集適合シーン検出信号 (図23)
95 認識機能 (図20)
96 編集ポイント別条件設定 (図19)
97 編集ポイント別検索条件 (図18)(図19)
98 特徴データ選択機能 (図20)
99 連続シーン連番 (図12)(図20)
101 遠隔編集装置表示体 (図6)(図25)
102 テレビジョン編集操作機能 (図6)(図25)(図32)
103 本機編集操作機能 (図6)(図25)(図32)
104 共通操作機能 (図6)(図25)(図32)
105 映像装置本体制御操作機能 (図25)(図30)
106 手動チャプタマーク付与機能 (図25)
107 手動チャプタマーク付与&一時停止機能 (図25)
108 音声出力機能 (図6)(図25)
111 映像コンテンツタイトル表示 (図25)
112 種類別編集ポイント一覧 (図25)
113 編集ポイントマーク (図25)
114 利用編集ポイントマーク表示 (図26)
115 再生位置表示 (図25)
116 時間スケール伸縮機能 (図25)(図27)
117 シーン選択マーカ (図26)(図27)(図34)(図35)(図37)
118 編集ポイント前進/後退指定機能 (図27)
119 開始位置選択マーカ (図32)
120 終了位置選択マーカ (図32)
121 編集ポイントマーク表示縦軸スクロール (図25)
122 付随情報スクロール (図26)
123 手動付与チャプタ再生位置表示 (図25)
124 無音シーン (図27)
125 黒シーン (図27)
126 編集ポイントグループ選択表示 (図26)(図28)
127 編集適合シーン (図27)(図34)
128 まとめシーン表示 (図27)
129 連続同一シーン (図27)
151 シーンタイトル表示 (図26)
152 付随情報 (図26)
153 シーンコメント (図26)(図28)
154 インターネットリンク情報 (図26)
155 インターネットホームページ表示 (図26)
156 インターネット閲覧ブラウザ (図30)
157 インターネット閲覧画面 (図30)
158 インターネットURL登録機能 (図30)
159 ナビゲーション表示画面への復帰機能 (図30)
160 繰返しシーン登録機能 (図29)
161 繰返しシーンタイトル (図15)(図29)
162 プレイリスト選択画面タイトル表示 (図31)
163 プレイリスト選択タイトル (図31)
164 選択タイトルコンテンツ表示バー (図31)
165 プレイリスト選択順序番号 (図31)
166 プレイリスト開始シーン (図31)
167 プレイリスト終了シーン (図31)
168 プレイリスト開始シーンサムネール表示 (図31)
169 プレイリスト終了シーンサムネール表示 (図31)
170 プレイリスト作成GUI機能 (図31)
171 プレイリスト登録選択部分 (図31)
172 選択タイトル名 (図31)
173 開始位置編集ポイント (図31)
174 開始位置編集ポイントNo (図31)
175 終了位置編集ポイント (図31)
176 終了位置編集ポイントNo (図31)
177 プレイリスト合計時間表示 (図31)
178 手動付加編集ポイントタイムバー表示 (図34)(図35)
179 編集適合シーン表示 (図35)
181 選択編集ポイント前シーンサムネール (図34)
182 選択編集ポイントサムネール (図34)
183 選択編集ポイント後シーンサムネール (図34)
184 直前編集適合シーンシーン前サムネール (図34)
185 直前編集適合シーンサムネール (図34)
186 直前編集適合シーンシーン後サムネール (図34)
187 認識情報登録 (図21)
188 音声認識音声 (図21)
189 認識情報検索 (図21)
190 単色画面シーン (図34)(図35)
191 選択シーン概要表示エリア (図35)
192 シーン概要表示 (図35)
193 画面全体色表示 (図35)
194 画面中央色表示 ((図35)
195 音声レベル表示 (図35)
196 変化範囲表示 (図35)
197 変化速度表示 (図35)
198 近傍シーンの概要表示エリア (図35)
199 変化大(カット点)シーン (図35)
201 特徴要素推移データ (図37)
202 時間集計 (図37)
203 目標時間 (図37)
204 時間案内 (図37)
205 シーン関連情報 (図37)






























Claims (16)

  1. 映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとし、この特徴要素データを複数連結組合せしたものをシーン特徴データとし、
    このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とし、このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内し、
    この表示案内にもとづき映像コンテンツの任意のシーンを指定し、この指定したシーンを編集することを特徴とする映像コンテンツの編集方法。
  2. 前記シーン特徴データを構成する前記特徴要素データを、
    1)前記画像情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの各R、G、Bレベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの各R、G、Bレベル情報と、を前記特徴要素データとする
    2)前記音声情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの音声レベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの音声レベル情報と、を前記特徴要素データとする
    3)前記画像の変化の情報と、音声の変化の情報と、の情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの各R、G、Bレベル情報、ならびに音声レベル情報、のそれぞれの全体平均と、1秒を超えない近隣の別な1フレームの同様情報の差分情報と、複数のサンプリングポイントの変化の範囲情報と、変化の度合いにもとづく変化速度情報と、を前記特徴要素データとする
    以上の1)から3)の少なくとも14種の特徴要素データを連結組合せし構成されるシーン特徴データの前記シーン特徴データ列を検索し、検出されたシーンを時系列で表示案内することを特徴とする請求項1記載の映像コンテンツの編集方法。
  3. 前記検索し、検出するシーンは
    1)検索対象範囲上で同一なシーン特徴データとなるコマーシャルメッセージシーン、連続放送番組の定型シーン、再放送番組、コピーされた映像シーン、の同一シーン
    2)静止画で無音声のシーンが連続する連続シーン
    3)画像設定条件に適合するシーン
    4)音声設定条件に適合するシーン
    5)変化設定条件に適合するシーン
    6)以上の1)から5)の組合せ設定条件に適合するシーン
    以上の1)から6)のシーンの少なくとも1つを検索し、検出されたシーンを時系列で表示案内することを特徴とする請求項2記載の映像コンテンツの編集方法。
  4. 前記シーン特徴データに、音声認識機能、声紋認識機能、文字認識機能、顔認識機能、スマイル認識機能、の認識機能の検出結果を付与しこれを時系列で表示案内することを特徴とする請求項1記載の映像コンテンツの編集方法。
  5. 前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも1つの特徴要素データをフレーム毎に一定期間範囲平均化するようデータの加工をして得られるデータを特徴要素推移のデータとしてこれを表示案内することを特徴とする請求項1記載の映像コンテンツの編集方法。
  6. 前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも1つの特徴要素データから当該シーンの輝度、色のレベル、音および変化の範囲と変化の速度は、大きさ、広さ、変化の度合い、のいずれかを視覚認識可能なよう、特徴要素データのデータをもとにして得られるデータをシーン概要表示としてこれを表示案内することを特徴とする請求項1記載の映像コンテンツの編集方法。
  7. 前記映像コンテンツの任意のシーンを指定し編集する内容は
    1)シーン特徴データ列の目的とするシーンに、インターネットURL(Uniform Resource Locator)情報を付与する
    2)シーン特徴データ列の目的とするシーンに、シーンに係るシーン関連情報を文字列と、イラストと、マークと、のいずれかの情報を付与する
    以上の1)、2)の少なくとも1つを含むことを特徴とする請求項1記載の映像コンテンツの編集方法。
  8. 映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出することを特徴とする請求項1記載の映像コンテンツの編集方法。
  9. 映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出しチャプタマークとすることを特徴とする請求項1記載の映像コンテンツの編集方法。
  10. 映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出しカット編集と、結合編集と、ジャンプ編集と、スクランブル編集と、プレイリスト編集と、のいずれかを自動編集すること特徴とする請求項1記載の映像コンテンツの編集方法。
  11. 前記表示案内の少なくとも1つを時系列で表示し、この表示案内上で対象とする映像コンテンツの任意のシーンを指定し、
    制作する映像コンテンツの仕上がり時間の目標時間を最大値と、最少値と、の双方またはいずれかで指定し、
    制作途上の映像コンテンツの上記仕上がり時間を集計し、集計結果と上記目標時間を比較し、
    上記目標時間と制作途上の映像コンテンツの上記仕上がり時間の時間差と、その時間差を解消すべき内容と、を意味する文字列と、イラストと、マークと、の少なくとも1つの情報を用いて表示案内することを特徴とする請求項1記載の映像コンテンツの編集方法。
  12. 前記案内表示上で対象とする映像コンテンツの任意のシーンを指定するにあたって、
    1)対象とする映像コンテンツの必要シーンと、不要シーンと、の範囲を指定することにより、残りのシーンを未決定シーンとする
    2)対象とする映像コンテンツの必要シーンと、不要シーンと、の概中心部に、それぞれの位置指定をするとともに、
    これに必要と不要のそれぞれの度合いを指定することにより、この度合い対応する位置指定シーンの前後のシーンの幅を与えそれぞれ必要シーンと不要シーンの範囲とし、残りのシーンを未決定シーンとする
    以上の1)、2)のいずれかにより、必要シーンと、不要シーンと、未決定シーンと、のそれぞれの時間の集計をするとともに、上記必要シーンの集計を前記仕上がり時間とすること特徴とする請求項11記載の映像コンテンツの編集方法。
  13. 前記目標時間の最大値、最少値にあって
    1)前記集計した必要シーン時間が目標最大時間より長い場合、それぞれの必要シーンの開始シーンと終了シーンの一部を削除して最大時間に合わせる
    2)前記集計した必要シーン時間が目標最少時間より短い場合、それぞれの必要シーンの開始シーンと終了シーンに隣接する前記未決定シーンの一部を追加して最少時間に合わせる
    以上により、前記制作する映像コンテンツの仕上がり時間を自動調整すること特徴とする請求項11記載の映像コンテンツの編集方法。
  14. 映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとする手段と、
    この特徴要素データを複数連結組合せしたものをシーン特徴データとする手段と、
    このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とする手段と、
    このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内する手段と、
    この表示案内にもとづき映像コンテンツの任意のシーンを指定する手段と、この指定したシーンを編集する手段と、を具備することを特徴とする映像コンテンツの編集装置。
  15. 請求項14の映像コンテンツの編集装置は映像装置の本体の前記シーン特徴データ列を共有フォルダとして利用する手段を有す遠隔装置であることを特徴とする映像コンテンツの遠隔編集装置。
  16. 請求項15の遠隔編集装置はパーソナルコンピュータであることを特徴とする映像コンテンツの遠隔編集装置。
JP2009030557A 2008-12-16 2009-02-13 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 Expired - Fee Related JP4366439B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009030557A JP4366439B1 (ja) 2008-12-16 2009-02-13 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008319034 2008-12-16
JP2008319034 2008-12-16
JP2009030557A JP4366439B1 (ja) 2008-12-16 2009-02-13 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置

Publications (2)

Publication Number Publication Date
JP4366439B1 true JP4366439B1 (ja) 2009-11-18
JP2010166539A JP2010166539A (ja) 2010-07-29

Family

ID=41443770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009030557A Expired - Fee Related JP4366439B1 (ja) 2008-12-16 2009-02-13 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置

Country Status (1)

Country Link
JP (1) JP4366439B1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5990903B2 (ja) * 2011-12-15 2016-09-14 株式会社ニコン 画像生成装置
JP6351219B2 (ja) * 2012-08-23 2018-07-04 キヤノン株式会社 画像検索装置、画像検索方法及びプログラム
CN105139357A (zh) * 2015-08-26 2015-12-09 深圳市金立通信设备有限公司 一种图像编辑的方法及终端
KR102689843B1 (ko) * 2018-09-13 2024-07-31 삼성전자주식회사 조리 기기 및 이의 제어 방법

Also Published As

Publication number Publication date
JP2010166539A (ja) 2010-07-29

Similar Documents

Publication Publication Date Title
JP4224095B2 (ja) 情報処理装置、情報処理プログラムおよび情報処理システム
KR20070007788A (ko) 콘텐츠 재생장치
JP2006279241A (ja) 番組記録装置
EP1796387A1 (en) Video display apparatus, video display method, and video display program
JP2006211311A (ja) ダイジェスト映像生成装置
JP5079817B2 (ja) サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機
CN101431645B (zh) 节目录像再现装置以及节目录像再现方法
KR101099474B1 (ko) 녹화 재생 장치
CN101335037A (zh) 记录设备、记录/再现系统、及记录方法
JP4366439B1 (ja) 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置
JP2006139408A (ja) 特徴ベクトル生成装置、検索装置、特徴ベクトル生成方法、検索方法及びプログラム
JP2007323698A (ja) マルチメディアコンテンツ表示装置、方法及びプログラム
JP2009225207A (ja) 情報処理装置
JP2005223534A (ja) 受信装置および集計グラフ作成方法
US7844163B2 (en) Information editing device, information editing method, and computer product
JP6301616B2 (ja) 電子機器、電子機器の制御方法、及びシーン制御プログラム
JP5306550B2 (ja) 映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法
JP2007282042A (ja) 番組推薦装置及び番組推薦方法
JP4331706B2 (ja) 編集装置及び編集方法
JP2006033653A (ja) プレイリスト作成装置、その方法、ダビングリスト作成装置、及びその方法
JP2004297493A (ja) デジタルコンテンツ編集システムおよびデジタルコンテンツ編集方法
JP5053287B2 (ja) ディスプレイ、キー画像の抽出及び関連するレセプタを用いて、記録されたドキュメントを識別する方法
JP4593609B2 (ja) 番組選択装置、番組選択方法、およびプログラム
JP4725554B2 (ja) 番組記録再生システム及び番組記録再生方法
JP6440350B2 (ja) 電子機器、電子機機器の制御方法、及び情報記憶媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150828

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees