JP4366439B1 - 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 - Google Patents
映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 Download PDFInfo
- Publication number
- JP4366439B1 JP4366439B1 JP2009030557A JP2009030557A JP4366439B1 JP 4366439 B1 JP4366439 B1 JP 4366439B1 JP 2009030557 A JP2009030557 A JP 2009030557A JP 2009030557 A JP2009030557 A JP 2009030557A JP 4366439 B1 JP4366439 B1 JP 4366439B1
- Authority
- JP
- Japan
- Prior art keywords
- scene
- data
- video content
- editing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
今までのボタン操作式リモコンに代わる、映像コンテンツのフレームのナビゲーション編集機能(表示案内、音声案内機能)をもつ編集手段と関連する映像装置および遠隔編集装置
【解決方法】
カーナビゲーション装置のように快適に映像コンテンツの編集を実現できるような装置を目指すために、映像コンテンツのそれぞれのフレームの特徴を精度よく抽出するための手法を確立し、これをもとに映像コンテンツの編集に不可欠な様々なシーン探しを高速で自動化するとともに、これらのシーンを効率よく編集するためのナビゲーション表示とそのグラフィックユーザインターフェース手法、これらのシーンにインターネット情報などの付加価値を与える手法、これらの編集を可能とする映像装置ならびに遠隔編集装置のハードウエアの5つの技術要素の最適技術を見いだしこれらの技術を融合させ実現する。
【選択図】図1
Description
また一般家庭以外のプロ用ビデオ編集においても、その編集作業は労働集約的な作業も数多く残されており、その作業の軽減は永年の課題である。
第1番目は映像コンテンツの様々なフレーム検索に利用する最適なフレームの特徴情報の選定や組合せ方法とそのシミュレーション手段
第2番目はフレームの特徴情報をもとにしてコマーシャルメッセージなどのシーン、シーン変化点、など編集に供するシーンの自動シーン探し、
第3番目は自動化して探したシーンに対する編集手段、
第4番目は自動化して探したシーンを活かすための手段として映像コンテンツとインターネットなどのマルチメディアとを融合させるための編集手段、
第5番目は今までのリモコンに代わる新しい編集機能、特に文字入力が得意な、リモコンを含む遠隔制御装置、遠隔編集装置である。
この提案においての映像コンテンツの対象はソースコンテンツであり、専門編集機器用のナビゲーション編集装置であり、ソースコンテンツのDVD規格にもとづく様々なメタデータから意味ソースメタデータの特徴を識別してソースコンテンツの部分表示をするものであるが、対象が放送局などでのカメラビデオ出力の際のメタデータがもとになったものであり、これらのメタデータをもたない一般家庭で視聴するテレビジョン放送コンテンツなどの場合には実現不能であり、また全てのシーンが編集の対象ではない。
これに対し本発明の詳細は後述するが、映像コンテンツの全てのシーンを対象にして画像、音声信号をもとに独自に特徴抽出して、これを特徴抽出データとして検索する方式なので、専門映像装置はもとより、一般家庭で利用される録画装置、再生装置のテレビジョン放送番組の編集など、幅広い映像コンテンツに応用可能となるものである。
特開2007−142785号公報は記録された番組データの属性情報に対応するチャプタデータを自動抽出するものである。
特開2007−49332号公報はAVデータを効率的に検索し検索されたフレームにフラグを与えるものである。
特開2006−12347号公報は映像、音声それぞれの視聴信号から予め定められた種類の信号を検出して自動的にチャプタマークを付与するものである。
特開2003−230094号公報はマルチメディアデータを音声認識技術で認識し自動チャプタを与えるものである。
これらに限らず様々な方法で自動的に特定のシーンを検索し、チャプタマークなどを自動作成する技術が提案されている。
また従来からの音声認識や、字幕やテロップの文字認識、に加えて最近のデジタルカメラでは人の顔を認識(顔認識)してこれにフォーカスを合わせる技術や、人の笑顔を認識(スマイル認識)してシャッタを切るような認識技術も実用化されている。
特願2008−243425は本発明の出願者、発明者によるもので、映像コンテンツの全てのフレームに対応させてそれぞれのシーンの画像、音声、その変化の特徴を抽出したフレームの特徴情報をもとに様々なシーンの検出を自動化するものであり、本発明の基本となる技術である。
たとえば、本編開始シーン、シーン変化点(カット点)、ハイライトシーン、想い出のシーン、字幕シーン、コマーシャルメッセージ開始シーン、コマーシャルメッセージ終了シーン、本編終了シーンさらには一定時刻ごとなどにチャプタマークを付与しておくことにより、即座に希望するシーンの頭出しをして、再生、視聴することができる。
また再生リスト(以降プレイリストと呼ぶ)にこれらのチャプタマークを指定することにより、複数の映像コンテンツの中からお好みのシーンを抜粋して再生させるような再生、視聴が可能となる。
しかしながら、1つの映像コンテンツ上にチャプタマークを多用するとそのチャプタマークが何のためのチャプタマークであるのかが分からなくなるとともに、先送り、後戻りなどの回数が増えなかなか目的のシーンにたどりつかないなどの問題がある。
従って、通常は一つの映像コンテンツに対し、シーン変化点(カット点)、一定時刻ごとのみのチャプタマーク、コマーシャルメッセージカットのためのチャプタマーク、ハイライトシーンのみのチャプタマーク、想い出のシーンのみのチャプタマークなど限られた目的に限定してチャプタマークを付与し利用するにとどまっている。
これらのチャプタ編集を効率的に実施するためのGUI機能(Graphical User Interface)の例として、特開2005−142853号公報はチャプタマークの属性に合わせ、サムネールなどの表示形態を変え編集時にチャプタマークの意味を理解できるようにしたものである。
またインターネット情報を閲覧するにおいても、テレビジョン画面の切替えや2画面表示とするなどの方法では視聴性が損なわれ、利用価値が低減する、これに対応できる適切な手段が望まれる。
新しい時代の編集ニーズを実現させるには車のナビゲーション装置のように多くの有効な機能が一体となり、一度使ったら手放せなくなるような編集装置であり、目的シーン探しの自動化、目的シーンを効率よく編集し映像コンテンツの時間編集を支援するためのGUI機能、さらには映像コンテンツとインターネットとの融合など、自動化して探した目的シーンを積極的に活かす技術(目的シーンを探し出し、確認し、利用する技術)、そしてこれらを実現させるためのハードウエア技術、少なくてもこれら5つの要素に対する最適技術を見いだし、これらの技術を融合させた成果とすることが極めて重要である。
1)映像コンテンツの編集で特に重要な時間編集に関する編集支援の発明
2)映像装置本体と、映像装置の付帯装置間の属性データ管理(共有フォルダ化)に関する発明
3)省スペースで高速な特徴抽出、特徴検索をするための手段として必要な半導体部品に関する発明
特願2008−319043に以上の主要発明を加え国内優先出願としたものである。
また、組合せ確率上の類似特徴シーンの同一判定を避ける手段もなかった。
このためおのずから、映像コンテンツの編集機能は限られたものに限定され、映像装置本体が有する性能、機能さらには映像コンテンツとインターネット情報の融合などすでに完成されている社会インフラを十分に活用した編集機能とは言い難い。
請求項1では
映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとし、この特徴要素データを複数連結組合せしたものをシーン特徴データとし、
このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とし、このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内し、
この表示案内にもとづき映像コンテンツの任意のシーンを指定し、この指定したシーンを編集することを特徴とする。
請求項2では
前記シーン特徴データを構成する前記特徴要素データを、
1)前記画像情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの各R、G、Bレベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの各R、G、Bレベル情報と、を前記特徴要素データとする
2)前記音声情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの音声レベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの音声レベル情報と、を前記特徴要素データとする
3)前記画像の変化の情報と、音声の変化の情報と、の情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの各R、G、Bレベル情報、ならびに音声レベル情報、のそれぞれの全体平均と、1秒を超えない近隣の別な1フレームの同様情報の差分情報と、複数のサンプリングポイントの変化の範囲情報と、変化の度合いにもとづく変化速度情報と、を前記特徴要素データとする
以上の1)から3)の少なくとも14種の特徴要素データを連結組合せし構成されるシーン特徴データの前記シーン特徴データ列を検索し、検出されたシーンを時系列で表示案内することを特徴とする。
請求項3では
前記検索し、検出するシーンは
1)検索対象範囲上で同一なシーン特徴データとなるコマーシャルメッセージシーン、連続放送番組の定型シーン、再放送番組、コピーされた映像シーン、の同一シーン
2)静止画で無音声のシーンが連続する連続シーン
3)画像設定条件に適合するシーン
4)音声設定条件に適合するシーン
5)変化設定条件に適合するシーン
6)以上の1)から5)の組合せ設定条件に適合するシーン
以上の1)から6)のシーンの少なくとも1つを検索し、検出されたシーンを時系列で表示案内することを特徴とする請求項2記載の映像コンテンツの編集方法。
請求項4では
前記シーン特徴データに、音声認識機能、声紋認識機能、文字認識機能、顔認識機能、スマイル認識機能、の認識機能の検出結果を付与しこれを時系列で表示案内することを特徴とする。
請求項5では
前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも1つの特徴要素データをフレーム毎に一定期間範囲平均化するようデータの加工をして得られるデータを特徴要素推移のデータとしてこれを表示案内することを特徴とする。
請求項6では
前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも1つの特徴要素データから当該シーンの輝度、色のレベル、音および変化の範囲と変化の速度は、大きさ、広さ、変化の度合い、のいずれかを視覚認識可能なよう、特徴要素データのデータをもとにして得られるデータをシーン概要表示としてこれを表示案内することを特徴とする。
請求項7では
前記映像コンテンツの任意のシーンを指定し編集する内容は
1)シーン特徴データ列の目的とするシーンに、インターネットURL(Uniform Resource Locator)情報を付与する
2)シーン特徴データ列の目的とするシーンに、シーンに係るシーン関連情報を文字列と、イラストと、マークと、のいずれかの情報を付与する
以上の1)、2)の少なくとも1つを含むことを特徴とする。
請求項8では
映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出することを特徴とする。
請求項9では
映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出しチャプタマークとすることを特徴とする。
請求項10では
映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出しカット編集と、結合編集と、ジャンプ編集と、スクランブル編集と、プレイリスト編集と、のいずれかを自動編集すること特徴とする。
請求項11では
前記表示案内の少なくとも1つを時系列で表示し、この表示案内上で対象とする映像コンテンツの任意のシーンを指定し、
制作する映像コンテンツの仕上がり時間の目標時間を最大値と、最少値と、の双方またはいずれかで指定し、
制作途上の映像コンテンツの上記仕上がり時間を集計し、集計結果と上記目標時間を比較し、
上記目標時間と制作途上の映像コンテンツの上記仕上がり時間の時間差と、その時間差を解消すべき内容と、を意味する文字列と、イラストと、マークと、の少なくとも1つの情報を用いて表示案内することを特徴とする。
請求項12では
前記案内表示上で対象とする映像コンテンツの任意のシーンを指定するにあたって、
1)対象とする映像コンテンツの必要シーンと、不要シーンと、の範囲を指定することにより、残りのシーンを未決定シーンとする
2)対象とする映像コンテンツの必要シーンと、不要シーンと、の概中心部に、それぞれの位置指定をするとともに、
これに必要と不要のそれぞれの度合いを指定することにより、この度合い対応する位置指定シーンの前後のシーンの幅を与えそれぞれ必要シーンと不要シーンの範囲とし、残りのシーンを未決定シーンとする
以上の1)、2)のいずれかにより、必要シーンと、不要シーンと、未決定シーンと、のそれぞれの時間の集計をするとともに、上記必要シーンの集計を前記仕上がり時間とすること特徴とする。
請求項13では
前記目標時間の最大値、最少値にあって
1)前記集計した必要シーン時間が目標最大時間より長い場合、それぞれの必要シーンの開始シーンと終了シーンの一部を削除して最大時間に合わせる
2)前記集計した必要シーン時間が目標最少時間より短い場合、それぞれの必要シーンの開始シーンと終了シーンに隣接する前記未決定シーンの一部を追加して最少時間に合わせる
以上により、前記制作する映像コンテンツの仕上がり時間を自動調整すること特徴とする。
請求項14では
映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとする手段と、
この特徴要素データを複数連結組合せしたものをシーン特徴データとする手段と、
このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とする手段と、
このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内する手段と、
この表示案内にもとづき映像コンテンツの任意のシーンを指定する手段と、この指定したシーンを編集する手段と、を具備することを特徴とする。
請求項15では
請求項14の映像コンテンツの編集装置は映像装置の本体の前記シーン特徴データ列を共有フォルダとして利用する手段を有す遠隔装置であることを特徴とする。
としている。
このシミュレーション方法はゲーム機やくじを抽選するような乱数の判定にも幅広く応用が可能である。
また遠隔編集装置を用いなくても簡易なナビゲーション編集画面として、汎用リモコンを用いテレビジョン画面上で編集することも可能である。
またチャプタマークは自動、手動で適切なシーンに移動可能である。
また可能な限り映像コンテンツのフレームの表現は主として、信号、情報、データとしての考えるもの、映像コンテンツのシーンの表現は主としてその結果としての表示内容、音声内容として考えるもの、として記述としているが明確に分離出来るものでなく同一として考えて構わない。
映像装置本体1には映像コンテンツ7ならびに、その属性データ8が記録媒体に記録または搭載されていて、遠隔編集装置2はこれらを編集可能なよう、マウス5、キーボード6が接続されている。
遠隔編集装置2は映像コンテンツの編集用ナビゲーション編集装置とすることも可能である。
従ってこれらの属性データ8を適切に編集することにより、映像コンテンツ7の編集をすることが可能になる。
後述するシーン特徴データ56の1フレーム当たりのデータサイズは4bit、14種、56bitで、2時間の映像コンテンツ1本分で付随データを含め2MByte程度である、これに編集ポイントのデータを加えても2.5MByte程度、2時間番組100本分で250MByte程度である。
このような通信手段を利用すれば、映像装置本体1と遠隔編集装置2で属性データ8を共有フォルダで共有し相互に利用することが可能である。
このような形態であれば、どちらでシーン特徴データ作成機能を持っても構わない。
また、都度データのやり取りをする場合でも、2時間の映像コンテンツ当たりの通信時間は2.5MByte=20Mbit/100MBPS=0.2秒程度であり極めて短時間でのデータ通信が可能である。
遠隔編集装置2には、図1(映像装置ならびに遠隔編集装置の全体構成図)で示すマウス5やキーボード6を取り外ししても編集が可能なよう、映像装置本体1に接続されるテレビジョンおよびディスプレイ3をもとにしてGUI機能される画面を操作するためのテレビジョン編集操作機能102、本遠隔編集装置の表示体101でGUI機能される画面を操作するための本機編集操作機能103、映像装置本体1や遠隔編集装置2の電源など操作する共通操作機能104、ならびにアナウンス、メッセージ、アラームを知らせるための音声出力機能108が付随している。
特徴情報がベクトルである場合は、量に係るデータと、方向に係るデータと、を独立したスカラー量の特徴要素データ65とすることによって大小一致比較可能となる。
具体的な特徴要素データ65の構成を抜粋すると
1)画像情報は、1フレーム中の複数のサンプリングポイントの各R、G、Bレベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの各R、G、Bレベル情報と、を特徴要素データ65とする
2)音声情報は、1フレーム中の複数のサンプリングポイントの音声レベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの音声レベル情報と、を特徴要素データ65とする
3)変化情報は、1フレーム中の複数のサンプリングポイントの各R、G、Bレベル情報、ならびに音声レベル情報、のそれぞれの全体平均と、近隣の別な1フレームの同様情報の差分情報と、複数のサンプリングポイントの変化の範囲を示す変化画素情報と、変化の度合いにもとづく変化速度情報と、を特徴要素データ65とする
の14種の特徴要素データを連結してシーン特徴データとして
4)静止画で無音声の範囲、においては前記シーン特徴データ56に連番を付与しシーン特徴データの付随情報66とする(詳細は後述)
5)必要によりその他の関連情報を付随情報66として付与する。
さらにシーン特徴データ56をフレーム見出し(フレームインデックス)とし使用する場合にはシーン特徴データ56の唯一無二性を高めるために、特定サンプリングポイント(本実施例では画面中心部のサンプリングポイント)の画像情報、音声情報、その変化情報、を特徴要素データ65として組合せ、類似したシーンとの誤検出を避け、映像コンテンツ上の任意の1フレームが他のフレームと違いをもつシーン特徴データ56としている。
サンプリングポイント、サンプリング方法、データ構成などはこれに限るものではない。
静止画で無音声の範囲はシーン特徴データが同一となり、これについては後述する、これ以外にも、二つの要素で同一データとなる場合があり、図に示すように同一シーン判定メモリを設け、シーン特徴データを生成するたびに、同一シーン判定メモリにシーン特徴データ56ならびに必要情報を順次記憶登録するとともに、すでに記録登録してあるシーン特徴データを検索判定することによりコマーシャルメッセージシーンや再放送シーンなどのシーンは連続して同一シーンが繰り返される繰り返しシーンとして自動判定し、必要により付随情報、識別情報を付与可能にするとともに、放送番組の場合、局情報、時間情報、タイトル情報からそれがコマーシャルメッセージか、再放送か、さらにはコピーシーンか、を自動判断させることも可能で、これらを利用することにより、コマーシャルメッセージは録画しないなどの自動編集も可能になる。
以上説明の同一シーン判定メモリは、シーン特徴データ56の特徴要素データ65の何組かをもとにグループ化されており(図ではR平均、B平均で256グループ)、検索範囲を概ね組合せグループ数で割ったものとすることが可能で、大容量の記録媒体であってもこのグループを増やすことにより、映像コンテンツの再生に追従してこの同一シーン判定をすることが可能である。
2組の特徴要素データX、Yがそれぞれ4bit、16データで構成される際、Xのデータの0から15まで16種、とYのデータの0から15まで16種、計256通りで、大数定理にもとづく平均出現確率を10回とする2560回の試行を行いその組合せの出現頻度をマトリックス上にプロットしたものである。
本例では、X、Y2組の16データが、それぞれ10回ずつ出現することの理論値平均値10と出現頻度の差を偏差として、この二乗を分散とし、16データの分散を分散平均として、この平方根を二乗平均平方根としている(表ではY0のみ代表され示されているがY0からY15まで全て同様)。
したがって、この二乗平均平方根は相関度が全くない表Aの場合には0になり、表Bのように完全に相関する場合には38.73となる。
相関度はこの38.73を最大値1としたもので、表Cの場合の相関度は0.15である。
この全体相関度は、特徴要素データを組合せして構成されるシーン特徴データの組合せ数に反比例する関係にあり、
例えば特徴要素データが14種で全体相関度が0の場合には、全ての特徴データに相関がなく、全ての特徴データの14種分の分解能が得られることを意味している。
一方特徴要素データが14種で全体相関度が1の場合には、全ての特徴データのデータ同士のデータが全く同一のデータとなり分解能は1種分のみの分解能となることを意味している。
仮に特徴要素データが14種で全体相関度が0.5の場合には完全に相関度のない7.5種の特徴要素データの分解能力と等価となることを意味している。
この分解能はフレームの特徴を多く抽出し、よりよく識別する能力、つまりシーン特徴データ56の特徴抽出能力、特徴識別能力を判定する重要な指標となる。
したがって特徴要素データ65は最低限含める必要な特徴要素があるので、これ以外の特徴要素を選択する際、全体相関度が少なくなるよう特徴要素データを選択し組合せすればよい。
この方法は様々な特徴情報のシミュレーションに応用可能である。
以上のようなシミュレーションによってデータサイズがコンパクトで、特徴抽出能力(識別能力)の高い特徴要素データを選出することが可能である。
なお、本例では説明のため試行回数を2560回で示しているが、実際には数時間分、必要により数日間の映像コンテンツのフレーム信号をサンプリングしてデータの偏りをなくすことが重要である。
また、本例では説明上0から15までのデータがほぼ均等に分布するように表現されているが、特徴要素によってはデータの下位、中位、上位などに出現頻度が強く集中する場合がある。
表Aは大数定理にもとづきそれぞれの量子化データが均等に出現している場合、表Bはそれぞれのデータの出現頻度にばらつきがある場合の例である。
表Bのような出現頻度の場合、それぞれの量子化データの出現頻度の差によって特徴要素データ65はデータ数分の理論分解能をもてない結果となる。
表Cは表Bの出現頻度の大きい量子化データから順番に左から右に並び変えしたものである。
この重心位置の意味するものは出やすい量子化データ(重心の左側)と、出にくい量子化データ(重心の右側)の中間にある量子化データ、つまり平均的な出現頻度の量子化データを意味し、平均的な出現頻度の量子化データの出現頻度が理論出現頻度より低下する結果、この特徴要素データの量子化データ数に見合う分解能が低下したことを意味し、重心位置が左に偏移するほど分解能が低下する分解能の利用率の尺度である。
この分解能利用率、本例では最大が1で、この場合は理論分解能(この場合16)となり、最低が0の場合は分解能が1となる。
以上の分解能利用率は特徴要素データの特徴抽出能力、特徴識別能力を判定する重要な指標になる。
仮に4bitからなる特徴要素データ65の分解能利用率が0.5の場合、2.5bitからなる量子化データの完全に均等に出現する量子化データの特徴要素データ65と均等な分解能であることを意味する。
それぞれの特徴要素データ65の平均値を求めることにより、シーン特徴データ56の全体の平均値とすることが出来る。
仮に4bit、14種類の特徴要素データ65で構成されるシーン特徴データ56が、先の説明の全体相関度判定が0.5で7.5種の組合せ、平均分解能利用率が0.5であった場合は2.5bitのデータとなり、この場合は、7.5種の組合せ×2.5bit=約19bitとなりその総合分解能は524288通り、期待する分解能より遥かに小さなものとなる。
当該フレームの特徴を総合的に現す特徴要素データ、例えば画像、音声、その変化の平均データを必須の特徴要素データ65として、副次的に組合せをする特徴要素データ65においては、サンプリングポイントの選択、サンプリングパルス幅、データ処理方法、を適切に選んで相関度合いを低減させることが必要である。
先願発明の特願2008−243425ではシーン特徴データ56を制御のためのフレームの見出し(フレームインデックス)として利用するために、特徴要素データ65同士の出現相関度を考慮し映像コンテンツ上の任意の1フレームが他のフレームと違いをもつよう、14種の特徴情報で特徴付けを行うとともに、違いが出せない静止画で無音声のシーンには連番を打つなどして唯一無二性を高めている。
映像コンテンツの編集を主体とするものであれば、このような構成とすることなく、画像、音声、とその変化情報が表示案内出来る特徴情報を映像コンテンツの各フレームに対応する構成とすることでも可能である。
さらに、特徴情報をシーン特徴データとして特に記憶登録せず、テンポラリーな情報のまま様々な編集シーンを検出し表示案内する方法も考えられる。
この+補正および−補正は図7(シーン特徴データ抽出、検出概念図)で示すように、画像、音声信号51をA/D変換機能54で量子化データしたデータ同士を比較する際の一定範囲の互いの誤差を吸収しようとするものであり、特徴要素データ65の4bitデータを3bitデータに丸め、一致および近似検索するためにそれぞれの元データ値に1を加えた+補正データと、とそれぞれの元データから1を減算した−補正データから構成されている。
これらワークメモリに展開された比較対象シーン特徴データ列63を使用した検索、検出に関する内容は後述する。
図7(シーン特徴データ抽出、検出概念図)で示すようにシーン特徴データ56は画像、音声ともフレーム前後の違いを差分として特徴抽出しており、変化画素の範囲や変化の速度に関する特徴データも含まれているので、これらのデータから変化の程度を検索条件とすることにより容易に変化点が検出可能である、これらに限らず画像のR、G、B信号、音声に関するデータから対象とするシーンを様々な条件で検索、検出することが可能である。
1)検索対象範囲上で同一なシーン特徴データ56となるコマーシャルメッセージシーン、連続放送番組の定型シーン、再放送番組、コピーされた映像シーン、の同一シーン
2)静止画で無音声のシーンが連続する連続シーン
3)黒画面、青画面、緑画面、赤画面、白画面、以上のシーンと、画像設定条件に適合するシーン
4)無音声シーンと、大音声のシーンと、特定音声が連続するシーンと、音声信号のレベルが音声設定条件に適合するシーン
5)シーンチェンジと、カット点と、編集点と、画像信号ならびに音声信号の変化レベルが変化設定条件に適合するシーン
6)付随情報が付与されたシーン
7)以上1)から6)の組合せに適合するシーン
8)以上1)から7)のいずれかにより検出されるシーンと、このシーンに対する設定時間条件に適合するシーン
9)以上8)により検出される編集適合シーン
編集ポイントの種類77はその種類であり、編集ポイントの概要78はそれぞれの内容を説明したものである、編集ポイントの選択機能79はこれらの編集ポイントをGUI機能で使用するかどうかを選択するなどの機能である。
これらの編集ポイントにおいてNo1の定刻シーン、No3の手動チャプタマークシーンを除く編集ポイントはシーン特徴データ56の特徴条件より自動検索されるもので、編集開始時点でこれらの編集ポイントが自動的に与えられ、ナビゲーション表示されていればどのような意図の編集でも即座に効率的な映像コンテンツの編集が可能となる。
No6の条件指定シーン設定を利用し、さらに細かく編集ポイントを抽出することも可能である。
これらのシーン特徴データ56を登録し、検索設定をしておくことにより、新しい映像コンテンツの中から同一のシーンを検索、検出させることにより、高速で確実に同一シーンを見つけ出すことができる。
ここでは、シーン特徴データ56をそれぞれ1つ登録したものとなっているが、コマーシャルメッセージシーンの開始点、中間点、終了点などを一括登録することにより、コマーシャルメッセージシーンの範囲をまとめて検索することも可能である。
コマーシャルメッセージシーンの編集に関してはこれまで様々な発明提案が行われているが必ずしも確実に検出できるものではない、この方法での同一シーンの検出の精度は極めて高い。
同一シーン検索、検出はコマーシャルメッセージシーン以外、例えば連続放送番組の開始または終了時の定型シーンなどをパスして再生、視聴したいときなどの編集に有効である。
上限値と下限値を同一にすれば設定値をその値に一つに限定した一致または近似検出と等価である。
これらの条件設定でたとえば、火事や爆発などのシーンで画面全体が赤いシーン、ゴルフや野山などのシーンで画面全体が緑のシーン、空や海のシーンなどで画面全体が青のシーンなど容易に検出可能である。
どの様な設定方法を採るかは、対象とする装置や編集のグレードに合わせ適切なものを選択すればよい。
図の上段に示すように比較対象シーン特徴データ63は、図11(シーン特徴データ列構成概念図)で示したように、元データに並列し+補正、−補正が掛けられ、3対のデータとしてワークメモリに展開されており、この中から1フレーム分の元データ68、および+補正データ67、および−補正データ69の3対で1組となる当該シーンのシーン特徴データ56とこれまで説明してきた様々な条件をもとに範囲検出を行うものである。
図18(シーン検索簡易設定)、図17(シーン検索詳細設定)などで設定した様々な条件は編集ポイント別検索条件97に設定されていて、それぞれ上限値、下限値のデータから構成されている、これらは検索条件切り替え機能84により一組の検索条件が選択される。
適合シーン検出機能85は範囲検出機能86、OR論理回路87、14進カウンンタ機能88で構成され、特徴要素データ65ごとに互いの比較を行うものであり、比較対象シーン特徴データ63と編集ポイント別検索条件97それぞれの特徴要素データ65の範囲比較を行い範囲内であるかどうかを判定して、OR論理回路87によって+補正、中心、−補正の1対のいずれかが範囲以内であることの一致および近似をもって、量子データ誤差範囲の補正を含めた特徴要素データ65の1組の範囲検出が完了され、順次14組全部の特徴要素データ65が一致および近似することを確認することをもって、当該フレーム(シーン)が条件に適合するかどうかを判定するものである。
それぞれ元データ(中心)68に対し±1した+補正データ67、−補正データ69と編集ポイント別条件設定97の上限値、下限値範囲を比較して範囲内であればそれぞれの特徴要素データが適合となり、全ての特徴要素データ65が適合することにより、編集ポイント別条件設定96が総合判定合格となる。
従って、同一シーンの検索条件においては、全ての検索条件の上限値、下限値を同一データとすることにより範囲検出を一致検出と同等にすることが可能になる。
本発明は先願発明で示される、検索の条件を一致検出から範囲検出に変えているが、範囲検出も1クロックで実現可能であり、複数の条件を切替え、条件別に特定シーンを検索し検出する場合はその時間が条件回数分必要になる。
2時間番組を一番遅い条件で20組の検索を行う場合では約7秒間、一番速い検索では60mSで全ての編集ポイントを検出することが可能である。
また実運用上では、シーン特徴データ56とこれをもとにした編集ポイントは録画と同時に作成することが可能であり、録画終了時に一部の編集ポイントの再検索を実施する程度とできるので、ほとんどの場合検索時間を意識する必要はない。
これによって画像信号、音声信号が分離されている専門機器などでの使用にはこれらに適したシーン特徴データ56を構成し実現することが可能になる。
この音声認識情報の実施形態は後述する。
これは一例として音声認識機能で検出されたシーンの付随情報に「3」を指定することにより、以降の検索でこれを検出可能とした例である。
このような、4bit程度の少ないデータでも、もし同時に複数の認識機能判定があっても、近傍のフレームのシーン特徴データ56の付随データとすることで解決できる。
この場合の検索、検出は、これまでのアナログ値を量子化したものでないので±の補正は不要であり元になるデータ同士の一致で検出を行う。
さらに、条件Bでは上記に加え、時間設定条件90、たとえば、どこからどこの範囲、現在から10フレーム以内のフレームでなどの時間的条件を加えて検索をするものであり、これによってさらに細かなシーン検索、検出が可能となり、目的の編集ポイントを抽出することが可能となる。
映像装置本体1はテレビジョン放送の受信機能を持ち、これを録画、再生機能、映像コンテンツ、属性データの記憶機能ならびにシーン特徴データ56およびこれから出来る編集ポイントなどのデータを作成する機能を持っている。
映像装置本体1で作成されたシーン特徴データ56および関連データの属性データ8は共有フォルダとして管理され、遠隔編集装置2で自由に閲覧、検索、修正、追加、文字入力可能にしている。
映像装置本体1は録画、再生にかかわる同期をとるための本体の状況を示す本体ステータス信号ならびに、録画、再生の時間位置を示す、再生時間位置信号を遠隔編集装置2に適宜送信するとともに、また録画中にはシーン特徴データ56を遠隔編集装置2に適宜送信する。
このシーン特徴データ56をもとに遠隔編集装置は、様々な検索条件にもとづき、編集ポイントを自動検出し、これをもとにナビゲーション表示を実施するとともに、ナビゲーション表示をもとに、様々な編集を行い、映像装置本体1に制御信号を送信可能としている。
遠隔編集装置2は属性データ8など通信機能をIPプロトコルとし、インターネット通信ならびに、インターネット閲覧可能な構成となっている。
映像装置本体1および遠隔編集装置間のその他の信号の通信手段はリモコンなど遠隔制御装置としての規格にもとづき適切なものを決めてもよい。
また先に説明した図1(映像装置ならびに遠隔編集装置の全体構成図)のとおり、映像装置本体1にはテレビジョンおよびディスプレイ3が接続され、遠隔編集装置2、ボタン操作式リモコン4はリモコン信号10双方にて操作可能な状態である。
遠隔編集装置2はマウス5、キーボード6、または図6に示すように、遠隔編集装置2には上記マウスやキーボードに代わってテレビジョン編集操作機能102、本遠隔編集装置の表示体の編集画面を操作するための本機編集操作機能103、映像装置本体1や遠隔編集装置の電源など操作する共通操作機能104がそれぞれを操作、制御可能としている。
またアナウンス、メッセージ、アラームを知らせるための音声出力機能108が付随している。
本例では16種の編集ポイントを縦軸にし、横軸を時間軸としたものである。
これら16種の内、ハイライトシーンはテレビジョン画面等を観ながら手動でチャプタマークを付与したものであるが、残りの15種の編集ポイントは自動的に検出し表示させたものである。
表示画面の上方には映像コンテンツタイトル表示111として表示され、画面の縦軸に種類別編集ポイント一覧112を表示し、横軸を時間軸として、検出された編集ポイントを編集ポイントマーク113とそれぞれのタームバー上にナビゲーション表示させ再生位置表示115まで録画が完了したものである。
これらの手動でチャプタマークを付与したものは手動付与チャプタ再生位置表示123として表示される。
編集ポイントグループ選択表示126は、縦軸に配列された編集ポイントのグループを選択するためのGUI機能表示であり、シーン選択マーカ117は編集ポイントを選択する機能である、この例ではハイライトシーンとして手動付与されたチャプタマーク位置に対応する付随情報を付随情報152として表示し、付随情報スクロール122で付随情報をスクロール可能な構成となっており、当該シーンのシーンタイトル151とシーンに対するシーンコメント153を文字入力するとともに、関連するインターネット名称、URLを登録したものとなっている、また利用編集ポイントマーク表示114はインターネットやシーンタイトル、コメントなど意味ありの編集ポイント(シーン)を強調表示している例である。
これらの編集内容は以降、映像コンテンツが再生される時、再生シーンに連動し適正時間、遠隔編集装置2または、テレビジョンおよびディスプレイ3に表示される。
インターネットホームページ表示155は、インターネットブラウザ画面へ切り替えするための機能である。
まとめシーン表示128は、連続して編集ポイントが検出される場合にはその最初と最後シーンのみを記憶させグループ化して表示させたものである。
人がハイライトシーンでチャプタマークを付与する場合などは、観た結果でチャプタマークを付与するのであり、編集に適した位置とならないのが通常である、このような場合に編集適合シーン127は最適である。
シーン選択マーカ117は編集ポイントや任意のシーンを選択する機能でありその位置を示すマークである、本例では編集ポイント前進/後退指定機能118により選択された編集ポイントマークを左右任意の位置に移動する可能としている、これらの機能は、無音シーン124、黒シーン125、連続同一シーン129の3つ条件のいずれにも適合する、編集適合シーン127に手動付与したチャプタマークを移動させ、高品位のチャプタマーク編集、プレイリスト編集におけるスムーズなシーンチェンジが可能となる。
以上述べたような手動設定で合わせる以外、数秒程度の範囲内の近傍の編集適合シーンに手動付与したチャプタマークを自動移動させることも可能である。
これに限らず、全ての編集を詳細画面または適切な時間尺度の画面選択とすることにより、効率よく精度のよい映像コンテンツの編集を可能にする・
今後の新しい認識技術、例えばそのシーンに最もふさわしいインターネットサイトの検索結果などをシーン特徴データ56の付随情報として自動付与するのなどの機能も期待できる。
登録数が多くなる場合は、映像コンテンツに合わせこの中から検索対象とすべきシーンを選択することにより検索の時間を適切なものにすることが可能である。
例えば映像コンテンツを再生中、一時停止させこの画面に切替えたり、ナビゲーション表示画面からシーンを指定することにより、映像コンテンツの全てのシーンにインターネットや関連情報を連動付与させることが可能となる。
インターネット閲覧ブラウザ156により、様々なインターネット情報をインターネット閲覧画面157で閲覧可能とし、インターネットURL登録機能158により閲覧しているインタターネット名称ならびにURLを登録可能としている。
図26(遠隔編集装置編集時画面)で示したインターネット情報はこの機能により付与されたものである。
ナビゲーション表示画面への復帰機能159を選択することにより、ナビゲーション編集画面に戻ることができる。
この機能により利用者は映像コンテンツそのものや再生紹介される様々なシーンをより深く理解し視聴可能とすることが出来るため、教育目的やコマーシャル目的など幅広い展開が可能になりこれらのインターネット情報をもった編集ポイントデータを放送電波やインターネットで配信するなど様々な応用形態が考えられる。
このとき、映像装置本体1の再生を一時停止、早送り、巻き戻しするかどうかなどは映像装置本体制御操作機能105により自由に制御可能である。
画面右側の「プレイリスト作成]はプレイリスト作成GUI機能170であり、プレイリスト登録選択部分171は「選択された映像コンテンツ」より映像コンテンツの選択タイトル名172を、プレイリストの再生順に指定するとともに、それぞれのタイトルの再生開始シーンならびに再生終了シーンを後述する編集ポイントマークから選択して登録するもので、開始位置編集ポイント173、開始位置編集ポイントNo174、終了位置編集ポイント175、終了位置編集ポイントNo176がそれぞれ設定されている。
ここで、編集ポイントNoは当該編集ポイントグループ内の検出の順番を示している。
以後も同様に繰返し登録可能である。
プレイリスト合計時間表示177にはこれまで選択登録されたプレイリストの再生合計時間を表示している。
この様に、テレビジョンおよびディスプレイ3と遠隔編集装置2の2つの画面を連動させGUI機能することにより、遠隔編集装置2で指定したシーンをテレビジョン側の画面のサムネールで確認しながら確実な編集が可能となるなど、これまで複雑であった編集も理解しやすい操作で実現させることが可能となる。
本例では、手動付加編集ポイントタイムバー表示178にはハイライトシーン、編集適合シーン127ならびに単色画面シーン190が選ばれている。
単色画面シーンは黒画面シーン、青画面シーンの2つを一つのタイムバーに集約し色で黒、青を表示するものであり、ナビゲーション表示する上で、そのシーンの種類とその時間位置が適切に分かるものであれば、どの様な表示方法でも構わない。
またサムネールは画面の認識はできるものの、音声やシーンの変化の状況を判断することができない、さらに編集を行う上ではこれらの編集ポイント以外のシーンの概況を確認したいなどのニーズがありサムネールでは対応できない。
サムネールに代えてシーン特徴データ56の14種の特徴データをもとにしてそれぞれのシーンを視覚認識可能とすることは容易である。
これらの画面を確認しハイライトタイムバーの任意の位置で選択したシーンの概要ならびに当該シーンの前後近傍のシーンを視覚認識可能なように表示したものである。
選択シーン概要表示エリア191にはシーン選択マーカ117で選択されたシーンの概要がシーン概要表示192として視覚認識可能なように表示されている、これらはすべてシーン特徴データ56の14種、4bit、16諧調のデータから作成され、画面全体色表示193には画面全体平均の輝度(Y)、R、G、B、信号のレベル、画面中央色表示194はY、R、G、B、信号のレベルを色識別可能なように表示させている、また音声ならびに変化の範囲や変化の速度に関してはそれぞれの大きさ、広さ、変化の度合いがそれぞれ視覚認識可能なよう、音声レベル表示195、変化範囲表示196、変化速度表示197として表示されている。
さらに近傍シーンの概要表示エリア198には、選択されたシーンに一番近い前後の編集ポイントのシーンの特徴を表すシーン概要表示192が視覚認識可能なよう表示されている。
シーン概要表示192はサムネールと違い、画面そのものではないが、全てのシーンを対象としてシーン概要表示192で連続するシーンのそれぞれの特徴を一望にして比較することができるので編集には極めて便利な機能でありこれにより適切な編集シーンが選択可能となる。
平均化しない元データは変動が激しく、対象とするシーン近傍の状況をとらえることが難しいがこのように平均化することでフィルターがかかり、対象とするシーン近傍の状況を適切にとらえることが可能となる。
これまでの、編集ポイント同様にこれを時間尺度が伸縮自在に表示案内することにより、時間尺度に適した平均範囲とすることにより任意のシーンの周辺の状況をより詳しく知ることができる。
先に述べた編集ポイント、シーン概要表示、と組合せ最適な表示案内をすることにより、より編集能率を向上させることが可能である。
R、G、Bや変化に係る特徴要素データを利用してもよい。
本例では海外旅行で撮影した4時間13分48秒のビデオコンテンツをDVD1枚、2時間に収まるように編集する場合の例である。
目標時間203には、目標とする時間、例えば最大時間、最少時間、適正時間、などの時間を指定する、本例では最大時間に2時間、最少時間に1時間45分00秒が指定されている。
一方、時間集計202には、編集の際、残すべきシーンを必要シーンとして、残すべきでないシーンを不要シーンとしてそれぞれ指定し、残りのシーンを未選択シーンとして集計してこれを表示させたものである。
時間案内204には時間集計202された、必要シーンと目標時間203との差の時間と、その時間差を解消するための情報が表示案内されている。
例えば度合いのレベルを3段階として、最低レベルは指定位置の前後にそれぞれ5秒間のシーンを付与し計10秒間とする、中間レベルはそれぞれ30秒間で計1分間、最高レベルはそれぞれ3分間で計6分間、などと指定することにより大まかではあるが編集者の意図を反映した編集が可能になる。
これらのシーン位置ならびにその度合いの指定にはチャプタマークを用いて、特定範囲内で複数回のチャプタを打つことにより、この回数を度合いのレベルとすることも可能である。
また時間案内204は文字列のみならずマークやイラストなどの情報として表現させることも可能である。
ナビゲーションの検索条件は固定または限られたものとし文字入力を少なくした図34、図35のような簡単なタイムバーと編集ポイントの選択操作であれば、遠隔編集装置2によらずボタン操作式リモコン4でも十分操作編集可能である。
全ての編集ポイントをチャプタマークとして利用することも可能で映像装置本体1ならびに遠隔編集装置2の目的、構成、記録媒体などにより適切に決めればよい。
特徴抽出データがアナログ信号をもとにしたものであればデータ数はさらに増加する。
これらの機能を回路化した特徴抽出と特徴検索の半導体部品により省スペースかつ高速検索の装置を実現させる。
近年のHDD式録画機などは多くの場合インターネット接続が可能になっており、インターネット回線を通じパーソナルコンピュータで録画予約などができるようになっている、このインターネット回線でパーソナルコンピュータとデータをやり取りすることにより、先に述べたナビゲーション編集をパーソナルコンピュータの画面として実現することが可能である。
標準化されたシーン特徴データ56を、MPEG7規格の特徴抽出データとして利用することによりさらにさまざまな応用が期待で出来る。
2 遠隔編集装置 (図1)
3 テレビジョンおよびディスプレイ (図1)
4 ボタン操作式リモコン (図1)
5 マウス (図1)
6 キーボード (図1)
7 映像コンテンツ (図1)(図5)
8 属性データ (図1)(図5)
9 双方向通信信号 (図1)
10 リモコン信号 (図1)
11 映像コンテンツタイトル名 (図2)(図3)
12 メニュー選択エリア (図2)(図4)
13 プレイリスト選択 (図2)
14 編集ポイント種類表示 (図3)
15 時間表示 (図3)
16 シーンタイトル名 (図3)
17 編集ポイントコメント (図3)
18 インターネット情報 (図3)
19 適合シーン表示 (図3)
20 プレイリストタイトル名 (図4)
21 プレイリスト編集選択 (図4)
22 記憶機能および媒体 (図5)
27 ファイルアロケーションテーブル (図5)
28 チャプタマークシーン (図3)
51 画像音声信号 (図7)
52 シーン特徴データ抽出部 (図7)
54 A/D変換機能 (図7)
55 シーン特徴データ抽出機能 (図7)(図20)
56 シーン特徴データ (図7)(図11)(図15)(図19)(図20)
57 シーン特徴データ検出部 (図7)
58 記憶登録されたシーン特徴データ列 (図7)(図11)
59 もとになるシーン特徴データ列 (図7)
60 シーン特徴検出機能 (図7)
61 検出信号 (図7)
62 フレームごとのシーン (図7)
63 比較対照シーン特徴データ列 (図7)(図11)(図18)(図19)
64 時間情報 (図7)
65 特徴要素データ (図7)(図11)(図16)(図17)(図18)
66 シーン特徴データ付随情報 (図7)(図11)(図20)
67 +補正データ (図11)(図18)(図19)
68 元データ (図11)(図18)(図19)
69 −補正データ (図11)(図18)(図19)
70 連続同一シーンの基点シーン (図12)
71 連続同一シーン (図12)
77 編集ポイントの種類 (図14)
78 編集ポイントの概要 (図14)
79 編集ポイントの選択機能 (図14)
80 編集ポイント条件グループ (図16)(図17)
81 編集ポイント条件選択表示 (図16)
82 編集ポイント条件個別データ (図17)(図18)
83 +補正データ、−補正データ近似展開 (図18)
84 検索条件切り替え機能 (図18)
85 適合シーン検出機能 (図18)
86 範囲検出機能 (図18)
87 OR論理回路 (図18)
88 14進カウンンタ機能 (図18)
89 検索条件適合シーン (図18)
90 時間設定条件 (図23)
91 個別適合シーン信号 (図23)
92 OR論理回路 (図23)
93 AND論理回路 (図23)
94 編集適合シーン検出信号 (図23)
95 認識機能 (図20)
96 編集ポイント別条件設定 (図19)
97 編集ポイント別検索条件 (図18)(図19)
98 特徴データ選択機能 (図20)
99 連続シーン連番 (図12)(図20)
101 遠隔編集装置表示体 (図6)(図25)
102 テレビジョン編集操作機能 (図6)(図25)(図32)
103 本機編集操作機能 (図6)(図25)(図32)
104 共通操作機能 (図6)(図25)(図32)
105 映像装置本体制御操作機能 (図25)(図30)
106 手動チャプタマーク付与機能 (図25)
107 手動チャプタマーク付与&一時停止機能 (図25)
108 音声出力機能 (図6)(図25)
111 映像コンテンツタイトル表示 (図25)
112 種類別編集ポイント一覧 (図25)
113 編集ポイントマーク (図25)
114 利用編集ポイントマーク表示 (図26)
115 再生位置表示 (図25)
116 時間スケール伸縮機能 (図25)(図27)
117 シーン選択マーカ (図26)(図27)(図34)(図35)(図37)
118 編集ポイント前進/後退指定機能 (図27)
119 開始位置選択マーカ (図32)
120 終了位置選択マーカ (図32)
121 編集ポイントマーク表示縦軸スクロール (図25)
122 付随情報スクロール (図26)
123 手動付与チャプタ再生位置表示 (図25)
124 無音シーン (図27)
125 黒シーン (図27)
126 編集ポイントグループ選択表示 (図26)(図28)
127 編集適合シーン (図27)(図34)
128 まとめシーン表示 (図27)
129 連続同一シーン (図27)
151 シーンタイトル表示 (図26)
152 付随情報 (図26)
153 シーンコメント (図26)(図28)
154 インターネットリンク情報 (図26)
155 インターネットホームページ表示 (図26)
156 インターネット閲覧ブラウザ (図30)
157 インターネット閲覧画面 (図30)
158 インターネットURL登録機能 (図30)
159 ナビゲーション表示画面への復帰機能 (図30)
160 繰返しシーン登録機能 (図29)
161 繰返しシーンタイトル (図15)(図29)
162 プレイリスト選択画面タイトル表示 (図31)
163 プレイリスト選択タイトル (図31)
164 選択タイトルコンテンツ表示バー (図31)
165 プレイリスト選択順序番号 (図31)
166 プレイリスト開始シーン (図31)
167 プレイリスト終了シーン (図31)
168 プレイリスト開始シーンサムネール表示 (図31)
169 プレイリスト終了シーンサムネール表示 (図31)
170 プレイリスト作成GUI機能 (図31)
171 プレイリスト登録選択部分 (図31)
172 選択タイトル名 (図31)
173 開始位置編集ポイント (図31)
174 開始位置編集ポイントNo (図31)
175 終了位置編集ポイント (図31)
176 終了位置編集ポイントNo (図31)
177 プレイリスト合計時間表示 (図31)
178 手動付加編集ポイントタイムバー表示 (図34)(図35)
179 編集適合シーン表示 (図35)
181 選択編集ポイント前シーンサムネール (図34)
182 選択編集ポイントサムネール (図34)
183 選択編集ポイント後シーンサムネール (図34)
184 直前編集適合シーンシーン前サムネール (図34)
185 直前編集適合シーンサムネール (図34)
186 直前編集適合シーンシーン後サムネール (図34)
187 認識情報登録 (図21)
188 音声認識音声 (図21)
189 認識情報検索 (図21)
190 単色画面シーン (図34)(図35)
191 選択シーン概要表示エリア (図35)
192 シーン概要表示 (図35)
193 画面全体色表示 (図35)
194 画面中央色表示 ((図35)
195 音声レベル表示 (図35)
196 変化範囲表示 (図35)
197 変化速度表示 (図35)
198 近傍シーンの概要表示エリア (図35)
199 変化大(カット点)シーン (図35)
201 特徴要素推移データ (図37)
202 時間集計 (図37)
203 目標時間 (図37)
204 時間案内 (図37)
205 シーン関連情報 (図37)
Claims (16)
- 映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとし、この特徴要素データを複数連結組合せしたものをシーン特徴データとし、
このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とし、このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内し、
この表示案内にもとづき映像コンテンツの任意のシーンを指定し、この指定したシーンを編集することを特徴とする映像コンテンツの編集方法。 - 前記シーン特徴データを構成する前記特徴要素データを、
1)前記画像情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの各R、G、Bレベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの各R、G、Bレベル情報と、を前記特徴要素データとする
2)前記音声情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの音声レベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの音声レベル情報と、を前記特徴要素データとする
3)前記画像の変化の情報と、音声の変化の情報と、の情報は、1フレーム中の画素数を超えない複数のサンプリングポイントの各R、G、Bレベル情報、ならびに音声レベル情報、のそれぞれの全体平均と、1秒を超えない近隣の別な1フレームの同様情報の差分情報と、複数のサンプリングポイントの変化の範囲情報と、変化の度合いにもとづく変化速度情報と、を前記特徴要素データとする
以上の1)から3)の少なくとも14種の特徴要素データを連結組合せし構成されるシーン特徴データの前記シーン特徴データ列を検索し、検出されたシーンを時系列で表示案内することを特徴とする請求項1記載の映像コンテンツの編集方法。 - 前記検索し、検出するシーンは
1)検索対象範囲上で同一なシーン特徴データとなるコマーシャルメッセージシーン、連続放送番組の定型シーン、再放送番組、コピーされた映像シーン、の同一シーン
2)静止画で無音声のシーンが連続する連続シーン
3)画像設定条件に適合するシーン
4)音声設定条件に適合するシーン
5)変化設定条件に適合するシーン
6)以上の1)から5)の組合せ設定条件に適合するシーン
以上の1)から6)のシーンの少なくとも1つを検索し、検出されたシーンを時系列で表示案内することを特徴とする請求項2記載の映像コンテンツの編集方法。 - 前記シーン特徴データに、音声認識機能、声紋認識機能、文字認識機能、顔認識機能、スマイル認識機能、の認識機能の検出結果を付与しこれを時系列で表示案内することを特徴とする請求項1記載の映像コンテンツの編集方法。
- 前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも1つの特徴要素データをフレーム毎に一定期間範囲平均化するようデータの加工をして得られるデータを特徴要素推移のデータとしてこれを表示案内することを特徴とする請求項1記載の映像コンテンツの編集方法。
- 前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも1つの特徴要素データから当該シーンの輝度、色のレベル、音および変化の範囲と変化の速度は、大きさ、広さ、変化の度合い、のいずれかを視覚認識可能なよう、特徴要素データのデータをもとにして得られるデータをシーン概要表示としてこれを表示案内することを特徴とする請求項1記載の映像コンテンツの編集方法。
- 前記映像コンテンツの任意のシーンを指定し編集する内容は
1)シーン特徴データ列の目的とするシーンに、インターネットURL(Uniform Resource Locator)情報を付与する
2)シーン特徴データ列の目的とするシーンに、シーンに係るシーン関連情報を文字列と、イラストと、マークと、のいずれかの情報を付与する
以上の1)、2)の少なくとも1つを含むことを特徴とする請求項1記載の映像コンテンツの編集方法。 - 映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出することを特徴とする請求項1記載の映像コンテンツの編集方法。
- 映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出しチャプタマークとすることを特徴とする請求項1記載の映像コンテンツの編集方法。
- 映像コンテンツの録画または再生時、請求項3記載のシーンの少なくとも1つを検索し、検出しカット編集と、結合編集と、ジャンプ編集と、スクランブル編集と、プレイリスト編集と、のいずれかを自動編集すること特徴とする請求項1記載の映像コンテンツの編集方法。
- 前記表示案内の少なくとも1つを時系列で表示し、この表示案内上で対象とする映像コンテンツの任意のシーンを指定し、
制作する映像コンテンツの仕上がり時間の目標時間を最大値と、最少値と、の双方またはいずれかで指定し、
制作途上の映像コンテンツの上記仕上がり時間を集計し、集計結果と上記目標時間を比較し、
上記目標時間と制作途上の映像コンテンツの上記仕上がり時間の時間差と、その時間差を解消すべき内容と、を意味する文字列と、イラストと、マークと、の少なくとも1つの情報を用いて表示案内することを特徴とする請求項1記載の映像コンテンツの編集方法。 - 前記案内表示上で対象とする映像コンテンツの任意のシーンを指定するにあたって、
1)対象とする映像コンテンツの必要シーンと、不要シーンと、の範囲を指定することにより、残りのシーンを未決定シーンとする
2)対象とする映像コンテンツの必要シーンと、不要シーンと、の概中心部に、それぞれの位置指定をするとともに、
これに必要と不要のそれぞれの度合いを指定することにより、この度合い対応する位置指定シーンの前後のシーンの幅を与えそれぞれ必要シーンと不要シーンの範囲とし、残りのシーンを未決定シーンとする
以上の1)、2)のいずれかにより、必要シーンと、不要シーンと、未決定シーンと、のそれぞれの時間の集計をするとともに、上記必要シーンの集計を前記仕上がり時間とすること特徴とする請求項11記載の映像コンテンツの編集方法。 - 前記目標時間の最大値、最少値にあって
1)前記集計した必要シーン時間が目標最大時間より長い場合、それぞれの必要シーンの開始シーンと終了シーンの一部を削除して最大時間に合わせる
2)前記集計した必要シーン時間が目標最少時間より短い場合、それぞれの必要シーンの開始シーンと終了シーンに隣接する前記未決定シーンの一部を追加して最少時間に合わせる
以上により、前記制作する映像コンテンツの仕上がり時間を自動調整すること特徴とする請求項11記載の映像コンテンツの編集方法。 - 映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとする手段と、
この特徴要素データを複数連結組合せしたものをシーン特徴データとする手段と、
このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とする手段と、
このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内する手段と、
この表示案内にもとづき映像コンテンツの任意のシーンを指定する手段と、この指定したシーンを編集する手段と、を具備することを特徴とする映像コンテンツの編集装置。 - 請求項14の映像コンテンツの編集装置は映像装置の本体の前記シーン特徴データ列を共有フォルダとして利用する手段を有す遠隔装置であることを特徴とする映像コンテンツの遠隔編集装置。
- 請求項15の遠隔編集装置はパーソナルコンピュータであることを特徴とする映像コンテンツの遠隔編集装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009030557A JP4366439B1 (ja) | 2008-12-16 | 2009-02-13 | 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008319034 | 2008-12-16 | ||
JP2008319034 | 2008-12-16 | ||
JP2009030557A JP4366439B1 (ja) | 2008-12-16 | 2009-02-13 | 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4366439B1 true JP4366439B1 (ja) | 2009-11-18 |
JP2010166539A JP2010166539A (ja) | 2010-07-29 |
Family
ID=41443770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009030557A Expired - Fee Related JP4366439B1 (ja) | 2008-12-16 | 2009-02-13 | 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4366439B1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5990903B2 (ja) * | 2011-12-15 | 2016-09-14 | 株式会社ニコン | 画像生成装置 |
JP6351219B2 (ja) * | 2012-08-23 | 2018-07-04 | キヤノン株式会社 | 画像検索装置、画像検索方法及びプログラム |
CN105139357A (zh) * | 2015-08-26 | 2015-12-09 | 深圳市金立通信设备有限公司 | 一种图像编辑的方法及终端 |
KR102689843B1 (ko) * | 2018-09-13 | 2024-07-31 | 삼성전자주식회사 | 조리 기기 및 이의 제어 방법 |
-
2009
- 2009-02-13 JP JP2009030557A patent/JP4366439B1/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010166539A (ja) | 2010-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4224095B2 (ja) | 情報処理装置、情報処理プログラムおよび情報処理システム | |
KR20070007788A (ko) | 콘텐츠 재생장치 | |
JP2006279241A (ja) | 番組記録装置 | |
EP1796387A1 (en) | Video display apparatus, video display method, and video display program | |
JP2006211311A (ja) | ダイジェスト映像生成装置 | |
JP5079817B2 (ja) | サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機 | |
CN101431645B (zh) | 节目录像再现装置以及节目录像再现方法 | |
KR101099474B1 (ko) | 녹화 재생 장치 | |
CN101335037A (zh) | 记录设备、记录/再现系统、及记录方法 | |
JP4366439B1 (ja) | 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 | |
JP2006139408A (ja) | 特徴ベクトル生成装置、検索装置、特徴ベクトル生成方法、検索方法及びプログラム | |
JP2007323698A (ja) | マルチメディアコンテンツ表示装置、方法及びプログラム | |
JP2009225207A (ja) | 情報処理装置 | |
JP2005223534A (ja) | 受信装置および集計グラフ作成方法 | |
US7844163B2 (en) | Information editing device, information editing method, and computer product | |
JP6301616B2 (ja) | 電子機器、電子機器の制御方法、及びシーン制御プログラム | |
JP5306550B2 (ja) | 映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法 | |
JP2007282042A (ja) | 番組推薦装置及び番組推薦方法 | |
JP4331706B2 (ja) | 編集装置及び編集方法 | |
JP2006033653A (ja) | プレイリスト作成装置、その方法、ダビングリスト作成装置、及びその方法 | |
JP2004297493A (ja) | デジタルコンテンツ編集システムおよびデジタルコンテンツ編集方法 | |
JP5053287B2 (ja) | ディスプレイ、キー画像の抽出及び関連するレセプタを用いて、記録されたドキュメントを識別する方法 | |
JP4593609B2 (ja) | 番組選択装置、番組選択方法、およびプログラム | |
JP4725554B2 (ja) | 番組記録再生システム及び番組記録再生方法 | |
JP6440350B2 (ja) | 電子機器、電子機機器の制御方法、及び情報記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090824 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150828 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |