JP4366439B1 - 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 - Google Patents

Abstract

【課題】
今までのボタン操作式リモコンに代わる、映像コンテンツのフレームのナビゲーション編集機能（表示案内、音声案内機能）をもつ編集手段と関連する映像装置および遠隔編集装置
【解決方法】
カーナビゲーション装置のように快適に映像コンテンツの編集を実現できるような装置を目指すために、映像コンテンツのそれぞれのフレームの特徴を精度よく抽出するための手法を確立し、これをもとに映像コンテンツの編集に不可欠な様々なシーン探しを高速で自動化するとともに、これらのシーンを効率よく編集するためのナビゲーション表示とそのグラフィックユーザインターフェース手法、これらのシーンにインターネット情報などの付加価値を与える手法、これらの編集を可能とする映像装置ならびに遠隔編集装置のハードウエアの５つの技術要素の最適技術を見いだしこれらの技術を融合させ実現する。
【選択図】図１

Description

映像コンテンツの表示、録画、記録、撮影、再生、編集、通信、に係るコンピュータを含む映像機器とこれらの付帯装置、ならびにこれらに使用される半導体電子部品。

テレビジョン放送のデジタル化など映像コンテンツはアナログ時代に比べ飛躍的に向上し、録画装置、再生装置もＤＶＤからＢＤ（ブルーレイディスク）さらにはＨＤＤ式録画機、さらには半導体メモリーカードを用いたビデオカメラなど本体の性能および、記録媒体は高度化し多様化し、進歩著しい。

しかしながら一般家庭で使われる録画装置、再生装置のリモコンはアナログ時代の踏襲であるボタン式赤外線リモコンが主体であるため映像コンテンツの編集やその利用にブレーキをかけ、例えばコマーシャルシーンのカットなどの単純な編集作業においてさえも利用者に多くの時間的、肉体的、精神的負担をかけており、これらに対し以下に示すようにそれぞれの分野で様々な研究提案がなされているものの、これらが独立して存在するだけでは標準化、実用化が困難であり、これらを統合した新しい編集手段とリモコンを含む編集装置が不可欠である。
また一般家庭以外のプロ用ビデオ編集においても、その編集作業は労働集約的な作業も数多く残されており、その作業の軽減は永年の課題である。

車のナビゲーション装置は、これから進む道のどこに交差点があるのかが一目瞭然で分かり、その交差点の名前や地名、建物の名前が次々と表示され、どの交差点で曲がればいいのかが表示や音声によって適切に案内され、これらのナビゲーション機能により最短でのルート、最短での時間で快適に目的地に到着することができる。

期待される映像コンテンツの編集装置もこのような車のナビゲーション装置と同様に、映像コンテンツの編集において再生される映像コンテンツ（進む道）の中の様々なシーン（交差点）をどのように編集（曲がり）し、編集精度の高いプレイリストなどを時間的、肉体的、精神的負担を軽減し完成（目的地に到着）させることが出来るナビゲーション編集機能をもった編集装置である。

この様なナビゲーション編集機能をもった編集装置を実現させるために最低限必要となる技術要素として、
第１番目は映像コンテンツの様々なフレーム検索に利用する最適なフレームの特徴情報の選定や組合せ方法とそのシミュレーション手段
第２番目はフレームの特徴情報をもとにしてコマーシャルメッセージなどのシーン、シーン変化点、など編集に供するシーンの自動シーン探し、
第３番目は自動化して探したシーンに対する編集手段、
第４番目は自動化して探したシーンを活かすための手段として映像コンテンツとインターネットなどのマルチメディアとを融合させるための編集手段、
第５番目は今までのリモコンに代わる新しい編集機能、特に文字入力が得意な、リモコンを含む遠隔制御装置、遠隔編集装置である。

第１番目の技術要素として本願発明では、本発明の出願者、発明者による先願の特願２００８−２４３４２５、および特願２００８−３１９０４３では示されていななかった、映像コンテンツのフレーム特徴情報のシミュレーション方法を発明し、後述する最適なシーン特徴データやフレームインデックス（フレーム見出し）を作るための手段を開示した。

冒頭で示した映像コンテンツのナビゲーション編集に関する先願発明としては、特開２００１−１５５０３６号公報がある。
この提案においての映像コンテンツの対象はソースコンテンツであり、専門編集機器用のナビゲーション編集装置であり、ソースコンテンツのＤＶＤ規格にもとづく様々なメタデータから意味ソースメタデータの特徴を識別してソースコンテンツの部分表示をするものであるが、対象が放送局などでのカメラビデオ出力の際のメタデータがもとになったものであり、これらのメタデータをもたない一般家庭で視聴するテレビジョン放送コンテンツなどの場合には実現不能であり、また全てのシーンが編集の対象ではない。
これに対し本発明の詳細は後述するが、映像コンテンツの全てのシーンを対象にして画像、音声信号をもとに独自に特徴抽出して、これを特徴抽出データとして検索する方式なので、専門映像装置はもとより、一般家庭で利用される録画装置、再生装置のテレビジョン放送番組の編集など、幅広い映像コンテンツに応用可能となるものである。

第２番目の技術要素である編集の決め手となる目的シーンを自動的に検出する方法として、
特開２００７−１４２７８５号公報は記録された番組データの属性情報に対応するチャプタデータを自動抽出するものである。
特開２００７−４９３３２号公報はＡＶデータを効率的に検索し検索されたフレームにフラグを与えるものである。
特開２００６−１２３４７号公報は映像、音声それぞれの視聴信号から予め定められた種類の信号を検出して自動的にチャプタマークを付与するものである。
特開２００３−２３００９４号公報はマルチメディアデータを音声認識技術で認識し自動チャプタを与えるものである。
これらに限らず様々な方法で自動的に特定のシーンを検索し、チャプタマークなどを自動作成する技術が提案されている。
また従来からの音声認識や、字幕やテロップの文字認識、に加えて最近のデジタルカメラでは人の顔を認識（顔認識）してこれにフォーカスを合わせる技術や、人の笑顔を認識（スマイル認識）してシャッタを切るような認識技術も実用化されている。
特願２００８−２４３４２５は本発明の出願者、発明者によるもので、映像コンテンツの全てのフレームに対応させてそれぞれのシーンの画像、音声、その変化の特徴を抽出したフレームの特徴情報をもとに様々なシーンの検出を自動化するものであり、本発明の基本となる技術である。

第３番目の技術要素の一つとして、映像コンテンツの録画装置、再生装置など多くの映像装置に利用されているチャプタマークは映像コンテンツの編集や再生に欠くことができない機能の一つである。
たとえば、本編開始シーン、シーン変化点（カット点）、ハイライトシーン、想い出のシーン、字幕シーン、コマーシャルメッセージ開始シーン、コマーシャルメッセージ終了シーン、本編終了シーンさらには一定時刻ごとなどにチャプタマークを付与しておくことにより、即座に希望するシーンの頭出しをして、再生、視聴することができる。
また再生リスト（以降プレイリストと呼ぶ）にこれらのチャプタマークを指定することにより、複数の映像コンテンツの中からお好みのシーンを抜粋して再生させるような再生、視聴が可能となる。
しかしながら、１つの映像コンテンツ上にチャプタマークを多用するとそのチャプタマークが何のためのチャプタマークであるのかが分からなくなるとともに、先送り、後戻りなどの回数が増えなかなか目的のシーンにたどりつかないなどの問題がある。
従って、通常は一つの映像コンテンツに対し、シーン変化点（カット点）、一定時刻ごとのみのチャプタマーク、コマーシャルメッセージカットのためのチャプタマーク、ハイライトシーンのみのチャプタマーク、想い出のシーンのみのチャプタマークなど限られた目的に限定してチャプタマークを付与し利用するにとどまっている。
これらのチャプタ編集を効率的に実施するためのＧＵＩ機能（Graphical User Interface）の例として、特開２００５−１４２８５３号公報はチャプタマークの属性に合わせ、サムネールなどの表示形態を変え編集時にチャプタマークの意味を理解できるようにしたものである。

第４番目の技術要素に関して、映像コンテンツとインターネットの融合化に関しては様々な提案があり最近のデジタルハイビジョン受信機ではインターネット通信機能、インターネット閲覧機能、動画再生機能等を備えたものも増えてきている、また特開２００３−３１９２７９号公報は、トランスポートストリームにインターネットＵＲＬを付随情報して伝送されたインターネット情報を閲覧する受信機の例である。しかしながら、映像コンテンツの任意のシーンに視聴者が利用者として必要なインターネット情報を付与編集し、映像コンテンツの再生時、当該シーンで付与したインターネット情報を自動的に閲覧できるような提案は実用化されていない。
またインターネット情報を閲覧するにおいても、テレビジョン画面の切替えや２画面表示とするなどの方法では視聴性が損なわれ、利用価値が低減する、これに対応できる適切な手段が望まれる。

参考までとするが第５番目の技術要素の一例であるが、特開２００６−２５１２０号公報は映像装置本体とリモコン間で、本体装置のメタデータ（属性データ）をリモコンに通信して、リモコン表示機にメタデータを表示させモコン操作を容易にさせるものである。

これまで映像コンテンツのナビゲーション編集機能や個別の５つの技術要素をもとに背景技術を説明してきたが、いずれも一つ一つの発明、提案は有用で有効なものであっても、それぞれが独立したものであってはコストパホーマンスやその他の条件から、特定の目的や、専門機器に限定されがちである。
新しい時代の編集ニーズを実現させるには車のナビゲーション装置のように多くの有効な機能が一体となり、一度使ったら手放せなくなるような編集装置であり、目的シーン探しの自動化、目的シーンを効率よく編集し映像コンテンツの時間編集を支援するためのＧＵＩ機能、さらには映像コンテンツとインターネットとの融合など、自動化して探した目的シーンを積極的に活かす技術（目的シーンを探し出し、確認し、利用する技術）、そしてこれらを実現させるためのハードウエア技術、少なくてもこれら５つの要素に対する最適技術を見いだし、これらの技術を融合させた成果とすることが極めて重要である。

以上のとおり本願発明では前記の最適なシーン特徴データやフレームインデックスを作るための手段に加え、特願２００８−３１９０４３に示されていなかった
１）映像コンテンツの編集で特に重要な時間編集に関する編集支援の発明
２）映像装置本体と、映像装置の付帯装置間の属性データ管理（共有フォルダ化）に関する発明
３）省スペースで高速な特徴抽出、特徴検索をするための手段として必要な半導体部品に関する発明
特願２００８−３１９０４３に以上の主要発明を加え国内優先出願としたものである。

先にも示したが、本発明に関連する公知技術としての特許文献は以下の特許文献１〜５を挙げることができる。

特開２００１−１５５０３６号公報

特願２００８−２４３４２５号

特開２００５−１４２８５３号公報

特開２００３−３１９２７９号公報

特開２００６−２５１２０号公報

映像コンテンツの全てのフレームごとに相互対照なデータ構成で記憶登録された、画像情報と、音声情報と、その変化の情報と、の特徴情報によるフレーム特徴情報は、映像コンテンツのフレーム再生に同期連動させるような高度な識別能力が必要な場合と、当該フレームの特徴を識別するだけのものまで様々であるが、その特徴抽出能力（特徴識別能力）を判定し、これを向上させる技術も確立されてなくその定義も不明確であった。
また、組合せ確率上の類似特徴シーンの同一判定を避ける手段もなかった。

映像装置に広く利用されるボタン操作方式赤外線リモコンはチャンネル切り替えなど通常の操作における操作性は高いものの、ボタンの数や表示機能を追加することは物理的配置上困難で、複雑な操作を必要とする映像コンテンツの編集作業などにおいては、多くの機能をテレビジョンの表示機を利用したＧＵＩ機能としており、文字入力をともなうような複雑な編集は不向きである。
このためおのずから、映像コンテンツの編集機能は限られたものに限定され、映像装置本体が有する性能、機能さらには映像コンテンツとインターネット情報の融合などすでに完成されている社会インフラを十分に活用した編集機能とは言い難い。

本発明では、このような映像装置およびそのリモコンならびに編集方法を基本から見直し、車両のナビゲーション装置のような、新しい方式の映像コンテンツの編集機能、再生機能を実現させ多大なる映像コンテンツの編集作業の時間的、肉体的、精神的負担の軽減と、編集精度の向上、ひいては映像コンテンツの質の向上と、映像コンテンツの付加価値向上を目的とする。

以上の課題を解決するために
請求項１では
映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとし、この特徴要素データを複数連結組合せしたものをシーン特徴データとし、
このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とし、このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内し、
この表示案内にもとづき映像コンテンツの任意のシーンを指定し、この指定したシーンを編集することを特徴とする。
請求項２では
前記シーン特徴データを構成する前記特徴要素データを、
１）前記画像情報は、１フレーム中の画素数を超えない複数のサンプリングポイントの各Ｒ、Ｇ、Ｂレベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの各Ｒ、Ｇ、Ｂレベル情報と、を前記特徴要素データとする
２）前記音声情報は、１フレーム中の画素数を超えない複数のサンプリングポイントの音声レベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの音声レベル情報と、を前記特徴要素データとする
３）前記画像の変化の情報と、音声の変化の情報と、の情報は、１フレーム中の画素数を超えない複数のサンプリングポイントの各Ｒ、Ｇ、Ｂレベル情報、ならびに音声レベル情報、のそれぞれの全体平均と、１秒を超えない近隣の別な１フレームの同様情報の差分情報と、複数のサンプリングポイントの変化の範囲情報と、変化の度合いにもとづく変化速度情報と、を前記特徴要素データとする
以上の１）から３）の少なくとも１４種の特徴要素データを連結組合せし構成されるシーン特徴データの前記シーン特徴データ列を検索し、検出されたシーンを時系列で表示案内することを特徴とする。
請求項３では
前記検索し、検出するシーンは
１）検索対象範囲上で同一なシーン特徴データとなるコマーシャルメッセージシーン、連続放送番組の定型シーン、再放送番組、コピーされた映像シーン、の同一シーン
２）静止画で無音声のシーンが連続する連続シーン
３）画像設定条件に適合するシーン
４）音声設定条件に適合するシーン
５）変化設定条件に適合するシーン
６）以上の１）から５）の組合せ設定条件に適合するシーン
以上の１）から６）のシーンの少なくとも１つを検索し、検出されたシーンを時系列で表示案内することを特徴とする請求項２記載の映像コンテンツの編集方法。
請求項４では
前記シーン特徴データに、音声認識機能、声紋認識機能、文字認識機能、顔認識機能、スマイル認識機能、の認識機能の検出結果を付与しこれを時系列で表示案内することを特徴とする。
請求項５では
前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも１つの特徴要素データをフレーム毎に一定期間範囲平均化するようデータの加工をして得られるデータを特徴要素推移のデータとしてこれを表示案内することを特徴とする。
請求項６では
前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも１つの特徴要素データから当該シーンの輝度、色のレベル、音および変化の範囲と変化の速度は、大きさ、広さ、変化の度合い、のいずれかを視覚認識可能なよう、特徴要素データのデータをもとにして得られるデータをシーン概要表示としてこれを表示案内することを特徴とする。
請求項７では
前記映像コンテンツの任意のシーンを指定し編集する内容は
１）シーン特徴データ列の目的とするシーンに、インターネットＵＲＬ(Uniform Resource Locator)情報を付与する
２）シーン特徴データ列の目的とするシーンに、シーンに係るシーン関連情報を文字列と、イラストと、マークと、のいずれかの情報を付与する
以上の１）、２）の少なくとも１つを含むことを特徴とする。
請求項８では
映像コンテンツの録画または再生時、請求項３記載のシーンの少なくとも１つを検索し、検出することを特徴とする。
請求項９では
映像コンテンツの録画または再生時、請求項３記載のシーンの少なくとも１つを検索し、検出しチャプタマークとすることを特徴とする。
請求項１０では
映像コンテンツの録画または再生時、請求項３記載のシーンの少なくとも１つを検索し、検出しカット編集と、結合編集と、ジャンプ編集と、スクランブル編集と、プレイリスト編集と、のいずれかを自動編集すること特徴とする。
請求項１１では
前記表示案内の少なくとも１つを時系列で表示し、この表示案内上で対象とする映像コンテンツの任意のシーンを指定し、
制作する映像コンテンツの仕上がり時間の目標時間を最大値と、最少値と、の双方またはいずれかで指定し、
制作途上の映像コンテンツの上記仕上がり時間を集計し、集計結果と上記目標時間を比較し、
上記目標時間と制作途上の映像コンテンツの上記仕上がり時間の時間差と、その時間差を解消すべき内容と、を意味する文字列と、イラストと、マークと、の少なくとも１つの情報を用いて表示案内することを特徴とする。
請求項１２では
前記案内表示上で対象とする映像コンテンツの任意のシーンを指定するにあたって、
１）対象とする映像コンテンツの必要シーンと、不要シーンと、の範囲を指定することにより、残りのシーンを未決定シーンとする
２）対象とする映像コンテンツの必要シーンと、不要シーンと、の概中心部に、それぞれの位置指定をするとともに、
これに必要と不要のそれぞれの度合いを指定することにより、この度合い対応する位置指定シーンの前後のシーンの幅を与えそれぞれ必要シーンと不要シーンの範囲とし、残りのシーンを未決定シーンとする
以上の１）、２）のいずれかにより、必要シーンと、不要シーンと、未決定シーンと、のそれぞれの時間の集計をするとともに、上記必要シーンの集計を前記仕上がり時間とすること特徴とする。
請求項１３では
前記目標時間の最大値、最少値にあって
１）前記集計した必要シーン時間が目標最大時間より長い場合、それぞれの必要シーンの開始シーンと終了シーンの一部を削除して最大時間に合わせる
２）前記集計した必要シーン時間が目標最少時間より短い場合、それぞれの必要シーンの開始シーンと終了シーンに隣接する前記未決定シーンの一部を追加して最少時間に合わせる
以上により、前記制作する映像コンテンツの仕上がり時間を自動調整すること特徴とする。
請求項１４では
映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとする手段と、
この特徴要素データを複数連結組合せしたものをシーン特徴データとする手段と、
このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とする手段と、
このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内する手段と、
この表示案内にもとづき映像コンテンツの任意のシーンを指定する手段と、この指定したシーンを編集する手段と、を具備することを特徴とする。
請求項１５では
請求項１４の映像コンテンツの編集装置は映像装置の本体の前記シーン特徴データ列を共有フォルダとして利用する手段を有す遠隔装置であることを特徴とする。
としている。

映像コンテンツのフレーム検索に利用されるフレームの特徴情報を、それぞれのフレーム特徴概要を識別出来ればよいものと、それぞれのフレームを唯一無二の見出しとして高度に検索できるものまでを体系的にまとめるとともに、フレームの特徴情報の能力を判定するシミュレーション方法が確立されたので、使用目的に最適なフレームの特徴情報を構築することができるようになった。
このシミュレーション方法はゲーム機やくじを抽選するような乱数の判定にも幅広く応用が可能である。

映像コンテンツの編集において、多くの時間と労力を必要とする様々なシーン探し、その多くを自動化するとともに、時間尺度が伸縮可能で視覚判断しやすいナビゲーション表示とし、さらには適切な音声アナウンスを受けられるので、家庭の録画装置、再生装置からプロ用専門機器に至るまで、様々な装置の映像コンテンツの編集が、編集精度が高く、確実で効率よく実現可能となる。

特にニーズの多いコマーシャルメッセージシーン、カット点、編集に適合するシーン、などを自動検出できるとともに、検索は高速ため、様々な検索条件を設定することにより編集目的に合った最適なシーンをリアルタイムで自動検出し自動編集することも可能である。

目標とする映像コンテンツの長さ時間と、編集途上の映像コンテンツの長さ時間と、の関係の表示案内を受けられるので効率よく最適な映像コンテンツの長さ編集が可能になる。

例えばスマイル認識など、様々な認識機能によるシーン検出結果を活用可能な構成としているので、今後の認識技術の進歩に合わせ、様々な応用展開が期待できる。

映像装置と映像装置に付帯する装置の属性データを共有フォルダとして共有に出来るのでファイル交換手段や通信アルゴリズムが軽減できる。

放送のチャンネル切り替えや、単なる映像装置の再生、停止、早送りなどの単純な操作は汎用リモコンとし、複雑な編集作業を遠隔編集装置で行うなど、使い分けが可能となるので映像装置本体の機能を十分に発揮できる機能を映像装置本体に搭載することが可能になる。
また遠隔編集装置を用いなくても簡易なナビゲーション編集画面として、汎用リモコンを用いテレビジョン画面上で編集することも可能である。

チャプタマークの種類や目的別に自動、手動チャプタマークが付与可能となるので、広範囲にチャプタマークを活用することができる、また再生中はもとより録画中でもチャプタマークを付与したシーンに適切なシーンタイトルなどを付与できるのでその後の編集でチャプタマークの意図が分からなくならない。
またチャプタマークは自動、手動で適切なシーンに移動可能である。

複数の映像コンテンツからプレイリストを作成するなどの複雑な編集作業は映像装置の付帯装置とテレビジョンなど２画面を使って、理解しやすく効率的な編集方法が実現可能になる。

映像コンテンツの任意のシーンにインターネット情報やコメント情報を付与し再生時には自動閲覧可能とできるので、教育目的やその他の新しい映像コンテンツの利用、応用が可能となる。

シーン特徴データや編集ポイントなどのデータは、映像コンテンツを記録した記録媒体に並列記録、または放送電波またはインターネットで配信を受ける、などのサービスも期待できる。

シーン特徴データを抽出し、検索し、する専用半導体により省スペースで高速な検索が可能となる。

上述の通り、映像コンテンツのフレームの特徴情報を最適なものにするための手段、編集手段とこれを実現させるための部品、装置手段が一体となった発明であるとともに、その組合せの自由度が広く、遠隔編集装置やナビゲーション編集装置は文字入力を得意とする汎用パーソナルコンピュータとすることも可能であるため低価格で実用化可能である。

本発明の一実施例としての映像装置ならびに遠隔編集装置の全体構成図（実施例１） 本発明の一実施例としてのタイトル情報データ（実施例２） 本発明の一実施例としての編集ポイントデータ（実施例３） 本発明の一実施例としてのプレイリストデータ（実施例４） 本発明の一実施例としての記憶データの構成図（実施例５） 本発明の一実施例としての遠隔編集装置（実施例６） 本発明の一実施例としてのシーン特徴データ抽出、検出概念図（実施例７） 本発明の一実施例としての同一シーン判定概念図（実施例８） 本発明の一実施例としての特徴要素データ相関度判定（実施例９） 本発明の一実施例としての特徴要素データ分解能利用率判定（実施例１０） 本発明の一実施例としてのシーン特徴データ列構成概念図（実施例１１） 本発明の一実施例としての連続同一シーン検出概念図（実施例１２） 本発明の一実施例としての特定シーン検出概念図（実施例１３） 本発明の一実施例としての編集ポイント概要（実施例１４） 本発明の一実施例としての繰返しシーン登録データ（実施例１５） 本発明の一実施例としてのシーン検索簡易設定（実施例１６） 本発明の一実施例としてのシーン検索詳細設定（実施例１７） 本発明の一実施例としての適合シーン検出概念図（実施例１８） 本発明の一実施例としてのシーン特徴データ検索実施例（実施例１９） 本発明の一実施例としての特徴抽出オプション機能（実施例２０） 本発明の一実施例としての認識情報登録（実施例２１） 本発明の一実施例としての付随情報構成例（実施例２２） 本発明の一実施例としての編集適合シーン検出概念図（実施例２３） 本発明の一実施例としての実施方式例（実施例２４） 本発明の一実施例としての遠隔編集装置録画中画面（実施例２５） 本発明の一実施例としての遠隔編集装置編集時画面（実施例２６） 本発明の一実施例としての遠隔編集装置詳細編集画面（実施例２７） 本発明の一実施例としての遠隔編集装置音声認識検出画面（実施例２８） 本発明の一実施例としての遠隔編集装置繰返しシーン登録画面（実施例２９） 本発明の一実施例としての遠隔編集装置インターネット閲覧画面（実施例３０） 本発明の一実施例としての二画面表示例（実施例３１） 本発明の一実施例としての遠隔編集装置プレイリスト作成画面（実施例３２） 本発明の一実施例としてのナビゲーション画面Ａ（実施例３３） 本発明の一実施例としてのナビゲーション画面Ｂ（実施例３４） 本発明の一実施例としてのナビゲーション画面Ｃ（実施例３５） 本発明の一実施例としての特徴要素推移データ（実施例３６） 本発明の一実施例としての遠隔編集装置時間編集画面（実施例３７）

本発明の説明で映像コンテンツとは、ビデオカメラで撮影した映像と、コンピュータグラフィックおよびアニメーションで制作した映像と、通信により提供された映像と、記録媒体により提供された映像と、前記の映像を組合せ編集した映像と、の総称である。
また可能な限り映像コンテンツのフレームの表現は主として、信号、情報、データとしての考えるもの、映像コンテンツのシーンの表現は主としてその結果としての表示内容、音声内容として考えるもの、として記述としているが明確に分離出来るものでなく同一として考えて構わない。

本発明の説明で映像装置とは前記映像コンテンツの表示、録画、記録、撮影、再生、編集、通信、に係るコンピュータを含む映像機器の総称であり、遠隔編集装置はリモコンを含む前記映像装置の付帯装置の一例である。

図１（映像装置ならびに遠隔編集装置の全体構成図）は本発明の全貌を説明するための全体構成を示すものであり、映像装置本体１にテレビジョンおよびディスプレイ３が接続され、遠隔編集装置２は双方向通信信号９、ボタン操作式リモコン４はリモコン信号１０にて映像装置本体１を操作可能な状態である。
映像装置本体１には映像コンテンツ７ならびに、その属性データ８が記録媒体に記録または搭載されていて、遠隔編集装置２はこれらを編集可能なよう、マウス５、キーボード６が接続されている。
遠隔編集装置２は映像コンテンツの編集用ナビゲーション編集装置とすることも可能である。

図２（タイトル情報データ）は図１（映像装置ならびに遠隔編集装置の全体構成図）で説明した属性データ８の一部である映像コンテンツのタイトル関連情報を示すもので、映像装置本体１に記録された映像コンテンツのタイトル（番組名含む）を示すものであり、それぞれの映像コンテンツタイトル名１１やメニュー選択エリア１２や一例としてプレイリスト選択１３などのＧＵＩ機能情報が付与されている。

図３（編集ポイントデータ）は図１（映像装置ならびに遠隔編集装置の全体構成図）で説明した属性データ８の一部であり、後述する映像コンテンツの、カット編集、結合編集、ジャンプ編集、スクランブル編集、プレイリスト編集、効果編集、などの編集の際、探し出し（検索、早送り、巻き戻し、する）、確認し（再生、一時停止、する）、利用（カット点、編集点、とする）する様々なシーンを編集ポイントとし分類しグループごとにまとめ、これに関連する情報を付与した本発明の中核をなすデータで、映像コンテンツタイトル名１１の映像コンテンツから検出された様々なシーンを編集ポイント種類表示１４ごとに時間表示１５のフレーム（シーン）に適合シーン表示１９を付与しデータ化したものであり、この時間のフレーム（シーン）に関連するチャプタマークシーン２８ならびに必要編集ポイントにシーンタイトル名１６、編集ポイントコメント１７、プレイリスト情報２６、インターネット情報１８が付与されている。

図４（プレイリストデータ）は図１（映像装置ならびに遠隔編集装置の全体構成図）で説明した属性データ８の参考例として、図２（タイトル情報データ）および図３（編集ポイントデータ）をもとに作成される再生プレイリストであり、プレイリストタイトル名２０ならびにＧＵＩ機能の一例として、メニュー選択エリア１２にプレイリスト編集選択２１が示されている。

映像装置には先に示したように映像コンテンツの表示、録画、記録、撮影、再生、編集、通信、に係るコンピュータを含む映像機器の総称であるがテレビジョンに録画、再生機能が搭載されているテレビジョン、編集機能をもったビデオカメラ、さらにはネットワークのサーバなど様々な形態があり、限定することは困難であるが、図５（記憶データの構成図）は一般例として映像装置本体１に記録または記憶媒体として搭載された記憶データの構成を示すものであり、記憶機能および媒体２２には、映像コンテンツ７と、後述するシーン特徴データ列と、これまで説明をしてきた図２（タイトル情報データ）、図３（編集ポイントデータ）、図４（プレイリストデータ）、およびその他のデータが属性データ８として記憶されており、これらの属性データ８はファイルアロケーションテーブル２７を通じ互いのアドレス情報を認識可能としており、属性データ８により映像コンテンツ７の任意の位置のデータの参照ならびにアクセスが可能な構造となっている。
従ってこれらの属性データ８を適切に編集することにより、映像コンテンツ７の編集をすることが可能になる。

詳細は後述するがテレビジョン放送をもとにしてシーン特徴データを作成するにはチューナ、デコーダが必要になるので映像装置本体１が相応しい、一方これらを編集するには遠隔編集装置２が相応しい、またこれらが一体になった装置など、様々な応用例が考えられ、以下に関連するハードウエア要件を説明する。

最近のＨＤＤ式録画機などは最大１ＴＢｙｔｅ程度の記録容量をもつものも珍しくなく、ハイビジョン放送を数百時間分録画可能である。
後述するシーン特徴データ５６の１フレーム当たりのデータサイズは４ｂｉｔ、１４種、５６ｂｉｔで、２時間の映像コンテンツ１本分で付随データを含め２ＭＢｙｔｅ程度である、これに編集ポイントのデータを加えても２．５ＭＢｙｔｅ程度、２時間番組１００本分で２５０ＭＢｙｔｅ程度である。

近年の無線ＬＡＮの規格、ＩＥＥＥ８０２．１ｎ（Ｄｒaft）は理論転送スピードが３００ＭＢＰＳ、環境により転送スピードは低下するものの、通信自体の実力値は１００ＭＢＰＳを越えている。
このような通信手段を利用すれば、映像装置本体１と遠隔編集装置２で属性データ８を共有フォルダで共有し相互に利用することが可能である。
このような形態であれば、どちらでシーン特徴データ作成機能を持っても構わない。
また、都度データのやり取りをする場合でも、２時間の映像コンテンツ当たりの通信時間は２．５ＭＢｙｔｅ＝２０Ｍｂｉｔ／１００ＭＢＰＳ＝０．２秒程度であり極めて短時間でのデータ通信が可能である。

属性データ８などのデータ伝送にはこれらの無線ＬＡＮの規格を用い、映像装置本体１と遠隔編集装置２の制御における通信はその他のリモコン通信規格に合わせることも自由である。

最近のメモリーカードでは１０ＧＢｙｔｅ以上の記憶容量を持つものも珍しくなく、映像装置本体１、遠隔編集装置２はこれらのメモリーカードでのデータ交換も容易である。

また映像装置本体１ならびに遠隔編集装置２を互いに連動し同期再生するための手法の１つは先に示した特願２００８−２４３４２５に詳しく説明されている。

図６（遠隔編集装置）は内部に半導体メモリ記憶機能をもち、録画時に映像装置本体１で自動作成したシーン特徴データ５６ならびに関連する属性データ８を映像装置本体１と双方向通信により共有フォルダとして自由に利用できる、ナビゲーション機能を備えた遠隔編集装置２の例である。
遠隔編集装置２には、図１（映像装置ならびに遠隔編集装置の全体構成図）で示すマウス５やキーボード６を取り外ししても編集が可能なよう、映像装置本体１に接続されるテレビジョンおよびディスプレイ３をもとにしてＧＵＩ機能される画面を操作するためのテレビジョン編集操作機能１０２、本遠隔編集装置の表示体１０１でＧＵＩ機能される画面を操作するための本機編集操作機能１０３、映像装置本体１や遠隔編集装置２の電源など操作する共通操作機能１０４、ならびにアナウンス、メッセージ、アラームを知らせるための音声出力機能１０８が付随している。

図７（シーン特徴データ抽出、検出概念図）は本発明者、出願者の先願発明である特願２００８−２４３４２５により提案されている映像コンテンツのそれぞれのシーンを特徴データとして抽出し、これをもとに様々な編集ポイントを検索、検出させるための技術の抜粋図面で、画像音声信号５１をもとに、シーン特徴データ抽出部５２でシーン特徴データ５６を作成し、このシーン特徴データ５６を記憶登録されたシーン特徴データ列５８に映像コンテンツごとに記憶登録しておき、検索時は、シーン特徴データ検出部５７において、比較対象シーン特徴データ列６３と、もとになるシーン特徴データ列５９の中から互いの1フレーム分のシーン特徴データ５６を選びだし、互いのデータを比較し比較対象シーン特徴データ列６３の中から同一シーンをシーン徴検出機能６０により検出させるものである。

シーン特徴データ５６を要約すると、当該フレームの画面上１００から２００ポイントのサンプリングポイントから、画像と、音声と、ならびにその変化と、の大小一致比較可能なスカラー量の情報を採取しデータとし、特定のサンプリングポイントのデータをスカラー量の特徴要素データ６５とするとともに、採取されたデータを平均化、度合い、率への変換などのデータ処理を行いこれもスカラー量の特徴要素データ６５とし、これを組合せ連結しシーン特徴データ５６とし、必要により、このシーン特徴データに付随情報を付与し、映像コンテンツごとに順次記憶登録しシーン特徴データ列としている。
特徴情報がベクトルである場合は、量に係るデータと、方向に係るデータと、を独立したスカラー量の特徴要素データ６５とすることによって大小一致比較可能となる。

図７（シーン特徴データ抽出、検出概念図）の下段には上記で説明したシーン特徴データ５６の構成内容が示されており、フレームごとのシーン６２ごとにシーン特徴データ５６は４ｂｉｔ構成で１４種類の特徴要素データ６５から構成され、関連する情報がシーン特徴データ付随情報６６として付随している。
具体的な特徴要素データ６５の構成を抜粋すると
１）画像情報は、１フレーム中の複数のサンプリングポイントの各Ｒ、Ｇ、Ｂレベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの各Ｒ、Ｇ、Ｂレベル情報と、を特徴要素データ６５とする
２）音声情報は、１フレーム中の複数のサンプリングポイントの音声レベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの音声レベル情報と、を特徴要素データ６５とする
３）変化情報は、１フレーム中の複数のサンプリングポイントの各Ｒ、Ｇ、Ｂレベル情報、ならびに音声レベル情報、のそれぞれの全体平均と、近隣の別な１フレームの同様情報の差分情報と、複数のサンプリングポイントの変化の範囲を示す変化画素情報と、変化の度合いにもとづく変化速度情報と、を特徴要素データ６５とする
の１４種の特徴要素データを連結してシーン特徴データとして
４）静止画で無音声の範囲、においては前記シーン特徴データ５６に連番を付与しシーン特徴データの付随情報６６とする（詳細は後述）
５）必要によりその他の関連情報を付随情報６６として付与する。

以上の説明のように合計１４種の特徴要素データ６５をもつのは、画像情報、音声情報、その変化情報が独立して特徴検索できることとであり、特に重要なのは当該シーンの特徴を顕著に現すそれぞれのサンプリングポイントから採取された全てのデータを集計してこれを平均化した当該シーン全体の平均、画像情報、音声情報、その変化情報の特徴情報である。
さらにシーン特徴データ５６をフレーム見出し（フレームインデックス）とし使用する場合にはシーン特徴データ５６の唯一無二性を高めるために、特定サンプリングポイント（本実施例では画面中心部のサンプリングポイント）の画像情報、音声情報、その変化情報、を特徴要素データ６５として組合せ、類似したシーンとの誤検出を避け、映像コンテンツ上の任意の１フレームが他のフレームと違いをもつシーン特徴データ５６としている。
サンプリングポイント、サンプリング方法、データ構成などはこれに限るものではない。

図８（同一シーン判定概念図）は対象とする映像コンテンツ内のシーン特徴データ５６の同一データを判定するものである
静止画で無音声の範囲はシーン特徴データが同一となり、これについては後述する、これ以外にも、二つの要素で同一データとなる場合があり、図に示すように同一シーン判定メモリを設け、シーン特徴データを生成するたびに、同一シーン判定メモリにシーン特徴データ５６ならびに必要情報を順次記憶登録するとともに、すでに記録登録してあるシーン特徴データを検索判定することによりコマーシャルメッセージシーンや再放送シーンなどのシーンは連続して同一シーンが繰り返される繰り返しシーンとして自動判定し、必要により付随情報、識別情報を付与可能にするとともに、放送番組の場合、局情報、時間情報、タイトル情報からそれがコマーシャルメッセージか、再放送か、さらにはコピーシーンか、を自動判断させることも可能で、これらを利用することにより、コマーシャルメッセージは録画しないなどの自動編集も可能になる。

また組合せ確率要素だけでは避けられない、類似した特徴データのシーンを同一シーンと判定することは、単発的な発生となることを検出し付随情報、識別情報の必要情報を付与することにより、対象検索範囲の全てのシーン特徴データ５６を、前記の繰り返しシーンを除き唯一無二のインデックスとすることも可能である。
以上説明の同一シーン判定メモリは、シーン特徴データ５６の特徴要素データ６５の何組かをもとにグループ化されており（図ではＲ平均、Ｂ平均で２５６グループ）、検索範囲を概ね組合せグループ数で割ったものとすることが可能で、大容量の記録媒体であってもこのグループを増やすことにより、映像コンテンツの再生に追従してこの同一シーン判定をすることが可能である。

シーン特徴データ５６を設計するにあたって、特に重要なのは特徴要素データ６５同士の出現相関度である、特にリアルタイム検索でのフレームの見出しとする場合は少ないデータサイズで映像コンテンツ上の任意の１フレームが他のフレームと違いをもつよう、特徴付けを行う必要があり、任意に選んだ２組の特徴要素データのそれぞれのデータ間の相関度合いのシミュレーションを行い、互いのデータ同士に強い相関がないことを判断して選出し組合せする。

図９（特徴要素データ相関度判定）は特徴要素データ６５の相関度を判定するための手法の一例を示したものである。
２組の特徴要素データＸ、Ｙがそれぞれ４ｂｉｔ、１６データで構成される際、Ｘのデータの０から１５まで１６種、とＹのデータの０から１５まで１６種、計２５６通りで、大数定理にもとづく平均出現確率を１０回とする２５６０回の試行を行いその組合せの出現頻度をマトリックス上にプロットしたものである。

表ＡはＸ、Ｙデータ間の相関がなく出現頻度がフラットな場合、表Ｂはデータ同士が完全に相関（一致）している場合、表Ｃでは一部のデータ間で相関をもつ場合、を示している。
本例では、Ｘ、Ｙ２組の１６データが、それぞれ１０回ずつ出現することの理論値平均値１０と出現頻度の差を偏差として、この二乗を分散とし、１６データの分散を分散平均として、この平方根を二乗平均平方根としている（表ではＹ０のみ代表され示されているがＹ０からＹ１５まで全て同様）。
したがって、この二乗平均平方根は相関度が全くない表Ａの場合には０になり、表Ｂのように完全に相関する場合には３８．７３となる。
相関度はこの３８．７３を最大値１としたもので、表Ｃの場合の相関度は０．１５である。

以上の説明のように、シーン特徴データ５６を構成する複数の特徴要素データ６５から２組を取り出し互いのデータ同士の個別相関度をもとめ、複数の特徴要素データ６５の全ての組合せ、本例の場合の１４種の特徴要素データ６５の場合は１４から２つをとる９１の組合せ、の個別相関度の全体平均をとることにより、組合せした特徴要素データ６５の全体相関度を求めることが出来る。
この全体相関度は、特徴要素データを組合せして構成されるシーン特徴データの組合せ数に反比例する関係にあり、
例えば特徴要素データが１４種で全体相関度が０の場合には、全ての特徴データに相関がなく、全ての特徴データの１４種分の分解能が得られることを意味している。
一方特徴要素データが１４種で全体相関度が１の場合には、全ての特徴データのデータ同士のデータが全く同一のデータとなり分解能は１種分のみの分解能となることを意味している。
仮に特徴要素データが１４種で全体相関度が０．５の場合には完全に相関度のない７．５種の特徴要素データの分解能力と等価となることを意味している。
この分解能はフレームの特徴を多く抽出し、よりよく識別する能力、つまりシーン特徴データ５６の特徴抽出能力、特徴識別能力を判定する重要な指標となる。
したがって特徴要素データ６５は最低限含める必要な特徴要素があるので、これ以外の特徴要素を選択する際、全体相関度が少なくなるよう特徴要素データを選択し組合せすればよい。
この方法は様々な特徴情報のシミュレーションに応用可能である。
以上のようなシミュレーションによってデータサイズがコンパクトで、特徴抽出能力（識別能力）の高い特徴要素データを選出することが可能である。
なお、本例では説明のため試行回数を２５６０回で示しているが、実際には数時間分、必要により数日間の映像コンテンツのフレーム信号をサンプリングしてデータの偏りをなくすことが重要である。
また、本例では説明上０から１５までのデータがほぼ均等に分布するように表現されているが、特徴要素によってはデータの下位、中位、上位などに出現頻度が強く集中する場合がある。

図１０（特徴要素データ分解能利用率判定）は1つの特徴要素データ６５のそれぞれの量子化データの出現頻度を現した例である。
表Ａは大数定理にもとづきそれぞれの量子化データが均等に出現している場合、表Ｂはそれぞれのデータの出現頻度にばらつきがある場合の例である。
表Ｂのような出現頻度の場合、それぞれの量子化データの出現頻度の差によって特徴要素データ６５はデータ数分の理論分解能をもてない結果となる。
表Ｃは表Ｂの出現頻度の大きい量子化データから順番に左から右に並び変えしたものである。

表Ｃの並べ替えした出現頻度の重心位置は、表Ａで示される理論重心位置より左側に偏移される。
この重心位置の意味するものは出やすい量子化データ（重心の左側）と、出にくい量子化データ（重心の右側）の中間にある量子化データ、つまり平均的な出現頻度の量子化データを意味し、平均的な出現頻度の量子化データの出現頻度が理論出現頻度より低下する結果、この特徴要素データの量子化データ数に見合う分解能が低下したことを意味し、重心位置が左に偏移するほど分解能が低下する分解能の利用率の尺度である。
この分解能利用率、本例では最大が１で、この場合は理論分解能（この場合１６）となり、最低が０の場合は分解能が１となる。
以上の分解能利用率は特徴要素データの特徴抽出能力、特徴識別能力を判定する重要な指標になる。
仮に４ｂｉｔからなる特徴要素データ６５の分解能利用率が０．５の場合、２．５ｂｉｔからなる量子化データの完全に均等に出現する量子化データの特徴要素データ６５と均等な分解能であることを意味する。
それぞれの特徴要素データ６５の平均値を求めることにより、シーン特徴データ５６の全体の平均値とすることが出来る。

全体相関度と、分解能利用率と、をもとにシーン特徴データ５６の特徴抽出能力、識別能力を総合的に判定することが出来る。
仮に４ｂｉｔ、１４種類の特徴要素データ６５で構成されるシーン特徴データ５６が、先の説明の全体相関度判定が０．５で７．５種の組合せ、平均分解能利用率が０．５であった場合は２．５ｂｉｔのデータとなり、この場合は、７．５種の組合せ×２．５ｂｉｔ＝約１９ｂｉｔとなりその総合分解能は５２４２８８通り、期待する分解能より遥かに小さなものとなる。

以上のシミュレーション方法は疑似乱数をもとに当たりを抽選するゲーム機などの乱数シミュレーション、例えば当たりの確率検定や、当たりの確率変動コントロール、くじの確率予測など多方面で利用可能である。

以上の説明とおり互いのデータ同士に強い相関がある場合や、強い出現頻度の集中がある場合は、無駄なデータとなり、シーン特徴データ５６の特徴抽出能力、識別能力を低下させることになる。
当該フレームの特徴を総合的に現す特徴要素データ、例えば画像、音声、その変化の平均データを必須の特徴要素データ６５として、副次的に組合せをする特徴要素データ６５においては、サンプリングポイントの選択、サンプリングパルス幅、データ処理方法、を適切に選んで相関度合いを低減させることが必要である。
先願発明の特願２００８−２４３４２５ではシーン特徴データ５６を制御のためのフレームの見出し（フレームインデックス）として利用するために、特徴要素データ６５同士の出現相関度を考慮し映像コンテンツ上の任意の１フレームが他のフレームと違いをもつよう、１４種の特徴情報で特徴付けを行うとともに、違いが出せない静止画で無音声のシーンには連番を打つなどして唯一無二性を高めている。
映像コンテンツの編集を主体とするものであれば、このような構成とすることなく、画像、音声、とその変化情報が表示案内出来る特徴情報を映像コンテンツの各フレームに対応する構成とすることでも可能である。

また、編集の内容によっては、検索する対象が画像だけ、または音声だけ、その変化だけ、の場合もあり、これらを対象とする特徴情報のみにする場合や、編集の精度に問題がない場合には、シーン特徴データ５６を半分やまたその半分に間引きして抽出することも考えられる。
さらに、特徴情報をシーン特徴データとして特に記憶登録せず、テンポラリーな情報のまま様々な編集シーンを検出し表示案内する方法も考えられる。

しかしながら、コンパクトなデータサイズにまとめられ、映像コンテンツの再生に合わせてリアルタイム検索可能なシーン特徴データ５６を使えば様々な高度な編集機能をもつことが可能になるので、本実施例では、先願発明の特願２００８−２４３４２５の実施例にもとづくシーン特徴データ５６の構成をもとにして説明をする。

図１１（シーン特徴データ列構成概念図）は今までの説明のシーン特徴データ５６をフレームごとに記録登録したシーン特徴データ列５８、Ａ、Ｂ、Ｃから、いずれかを選択し比較対照シーン特徴データ列６３としてワークメモリに展開したものであり、これにはシーン特徴データ５６のそのままのデータである元データ６８と並列に＋補正データ６７、−補正データ６９が記憶されている。
この＋補正および−補正は図７（シーン特徴データ抽出、検出概念図）で示すように、画像、音声信号５１をＡ／Ｄ変換機能５４で量子化データしたデータ同士を比較する際の一定範囲の互いの誤差を吸収しようとするものであり、特徴要素データ６５の４ｂｉｔデータを３ｂｉｔデータに丸め、一致および近似検索するためにそれぞれの元データ値に１を加えた＋補正データと、とそれぞれの元データから１を減算した−補正データから構成されている。
これらワークメモリに展開された比較対象シーン特徴データ列６３を使用した検索、検出に関する内容は後述する。

図１２（連続同一シーン検出概念図）は映像コンテンツにおけるシーンの変化がない連続シーン、連続同一シーンを検出する概念を示すものであり、連続同一シーンは画像、音声とも同一のシーンが継続するもので、必然的に連続同一シーン期間はシーン特徴データ５６が同一となる、連続同一シーンの始まりとなる連続同一シーンの基点シーン７０のシーン特徴データ５６と同一のシーン特徴データの範囲を連続同一シーン７１として、シーン特徴データ５６の付随情報にその連続シーン連番９９が付与され、検索可能となっている。

図１３（特定シーン検出概念図）は映像コンテンツの中から特定のシーンを検索する一例として映像コンテンツのシーン変化点（カット点）を検出するための概念を示している。
図７（シーン特徴データ抽出、検出概念図）で示すようにシーン特徴データ５６は画像、音声ともフレーム前後の違いを差分として特徴抽出しており、変化画素の範囲や変化の速度に関する特徴データも含まれているので、これらのデータから変化の程度を検索条件とすることにより容易に変化点が検出可能である、これらに限らず画像のＲ、Ｇ、Ｂ信号、音声に関するデータから対象とするシーンを様々な条件で検索、検出することが可能である。

具体的には以下のシーンが検出可能である
１）検索対象範囲上で同一なシーン特徴データ５６となるコマーシャルメッセージシーン、連続放送番組の定型シーン、再放送番組、コピーされた映像シーン、の同一シーン
２）静止画で無音声のシーンが連続する連続シーン
３）黒画面、青画面、緑画面、赤画面、白画面、以上のシーンと、画像設定条件に適合するシーン
４）無音声シーンと、大音声のシーンと、特定音声が連続するシーンと、音声信号のレベルが音声設定条件に適合するシーン
５）シーンチェンジと、カット点と、編集点と、画像信号ならびに音声信号の変化レベルが変化設定条件に適合するシーン
６）付随情報が付与されたシーン
７）以上１）から６）の組合せに適合するシーン
８）以上１）から７）のいずれかにより検出されるシーンと、このシーンに対する設定時間条件に適合するシーン
９）以上８）により検出される編集適合シーン

図１４（編集ポイント概要）はカット編集、結合編集、ジャンプ編集、スクランブル編集、プレイリスト編集、効果編集、などの編集の際、探し出すシーン、確認するシーン、編集に利用するシーン、として必要とされる（ニーズの多い）シーンを編集ポイントとして一覧化したものであり、先に述べた図３（編集ポイントデータ）はこれらの編集ポイントデータの実例である。
編集ポイントの種類７７はその種類であり、編集ポイントの概要７８はそれぞれの内容を説明したものである、編集ポイントの選択機能７９はこれらの編集ポイントをＧＵＩ機能で使用するかどうかを選択するなどの機能である。
これらの編集ポイントにおいてＮｏ１の定刻シーン、Ｎｏ３の手動チャプタマークシーンを除く編集ポイントはシーン特徴データ５６の特徴条件より自動検索されるもので、編集開始時点でこれらの編集ポイントが自動的に与えられ、ナビゲーション表示されていればどのような意図の編集でも即座に効率的な映像コンテンツの編集が可能となる。
Ｎｏ６の条件指定シーン設定を利用し、さらに細かく編集ポイントを抽出することも可能である。

図１５（繰返しシーン登録データ）は映像コンテンツの編集上特に利用頻度の高いコマーシャルメッセージの検出に使用するために、過去に登録したコマーシャルメッセージシーンなど繰返し再生されるシーンを登録したもので、図１４（編集ポイント概要）のＮｏ５の登録データであり、繰返しシーンタイトル１６１に対応して当該シーンのシーン特徴データ５６が登録されている。
これらのシーン特徴データ５６を登録し、検索設定をしておくことにより、新しい映像コンテンツの中から同一のシーンを検索、検出させることにより、高速で確実に同一シーンを見つけ出すことができる。
ここでは、シーン特徴データ５６をそれぞれ１つ登録したものとなっているが、コマーシャルメッセージシーンの開始点、中間点、終了点などを一括登録することにより、コマーシャルメッセージシーンの範囲をまとめて検索することも可能である。
コマーシャルメッセージシーンの編集に関してはこれまで様々な発明提案が行われているが必ずしも確実に検出できるものではない、この方法での同一シーンの検出の精度は極めて高い。
同一シーン検索、検出はコマーシャルメッセージシーン以外、例えば連続放送番組の開始または終了時の定型シーンなどをパスして再生、視聴したいときなどの編集に有効である。

図１６（シーン検索簡易設定）は図１４（編集ポイント概要）のＮｏ６の編集ポイントの検索、検出のための条件設定例であり編集ポイント条件グループ８０ごとに、４bit、０〜１５のデータを大、中、小の三段階に分類して編集ポイント条件選択表示８１により特徴要素データ６５を簡易設定したものである。

図１７（シーン検索詳細設定）は編集ポイント条件グループ８０ごとに、４bit、０〜１５のデータをそれぞれ上限値、下限値にデータ値として、特徴要素データ６５に編集ポイント条件個別データ８２を詳細設定したものである。
上限値と下限値を同一にすれば設定値をその値に一つに限定した一致または近似検出と等価である。
これらの条件設定でたとえば、火事や爆発などのシーンで画面全体が赤いシーン、ゴルフや野山などのシーンで画面全体が緑のシーン、空や海のシーンなどで画面全体が青のシーンなど容易に検出可能である。
どの様な設定方法を採るかは、対象とする装置や編集のグレードに合わせ適切なものを選択すればよい。

図１８（適合シーン検出概念図）は以上様々な条件で設定登録された条件設定データと、シーン特徴データ５６の１フレーム分（１シーン分）の適合シーン検出の概念を示すものである。
図の上段に示すように比較対象シーン特徴データ６３は、図１１（シーン特徴データ列構成概念図）で示したように、元データに並列し＋補正、−補正が掛けられ、３対のデータとしてワークメモリに展開されており、この中から１フレーム分の元データ６８、および＋補正データ６７、および−補正データ６９の３対で１組となる当該シーンのシーン特徴データ５６とこれまで説明してきた様々な条件をもとに範囲検出を行うものである。
図１８（シーン検索簡易設定）、図１７（シーン検索詳細設定）などで設定した様々な条件は編集ポイント別検索条件９７に設定されていて、それぞれ上限値、下限値のデータから構成されている、これらは検索条件切り替え機能８４により一組の検索条件が選択される。
適合シーン検出機能８５は範囲検出機能８６、OR論理回路８７、１４進カウンンタ機能８８で構成され、特徴要素データ６５ごとに互いの比較を行うものであり、比較対象シーン特徴データ６３と編集ポイント別検索条件９７それぞれの特徴要素データ６５の範囲比較を行い範囲内であるかどうかを判定して、ＯＲ論理回路８７によって＋補正、中心、−補正の１対のいずれかが範囲以内であることの一致および近似をもって、量子データ誤差範囲の補正を含めた特徴要素データ６５の１組の範囲検出が完了され、順次１４組全部の特徴要素データ６５が一致および近似することを確認することをもって、当該フレーム（シーン）が条件に適合するかどうかを判定するものである。

図１９（シーン特徴データ検索実施例）は上述の検索状況の実例を示したものであり、シーン特徴データ５６の特徴要素データ６５をそれぞれを、編集ポイント別検索条件９７の設定条件で２つの比較対象シーン特徴データ６３のＡおよびＢを判定したものである。
それぞれ元データ（中心）６８に対し±１した＋補正データ６７、−補正データ６９と編集ポイント別条件設定９７の上限値、下限値範囲を比較して範囲内であればそれぞれの特徴要素データが適合となり、全ての特徴要素データ６５が適合することにより、編集ポイント別条件設定９６が総合判定合格となる。
従って、同一シーンの検索条件においては、全ての検索条件の上限値、下限値を同一データとすることにより範囲検出を一致検出と同等にすることが可能になる。

先願の特願２００８−２４３４２５によれば、２時間程度の映像コンテンツのシーン特徴データ列のシーン特徴データ５６の数は２０万程度であり、特徴要素データ６５の種類が１４種の場合、これらの検索を０．１μＳ程度のクロックのディスクリート回路により実施した場合、約３５０ｍＳ（約０．３５秒）で実現できると共に、高速な０．０１μＳ程度のクロックを用意し専用ロジック回路を組むことにより約３ｍＳ程度の極めて短時間で２時間程度の映像コンテンツの全範囲を検索可能であることが示されている。
本発明は先願発明で示される、検索の条件を一致検出から範囲検出に変えているが、範囲検出も１クロックで実現可能であり、複数の条件を切替え、条件別に特定シーンを検索し検出する場合はその時間が条件回数分必要になる。
２時間番組を一番遅い条件で２０組の検索を行う場合では約７秒間、一番速い検索では６０ｍＳで全ての編集ポイントを検出することが可能である。
また実運用上では、シーン特徴データ５６とこれをもとにした編集ポイントは録画と同時に作成することが可能であり、録画終了時に一部の編集ポイントの再検索を実施する程度とできるので、ほとんどの場合検索時間を意識する必要はない。

本発明はこの様な高速検索が可能なシーン特徴データ５６を活用し、複数の検索条件であっても映像コンテンツの録画中、またはオフラインでの検索も可能となるので、様々な利用形態が実現可能となる。

これまでシーン特徴データ５６は先願発明の実施例をもとにした１４種として説明してきたが、これ以外の特徴をもとに特徴検出してシーン特徴データ５６を作成することも可能であり、図２０（特徴抽出オプション機能）はシーン特徴データ抽出機能５５で抽出したシーン特徴データ５６のそれぞれの特徴要素データ６５を特徴データ選択機能９８により追加、削除選択可能としている。
これによって画像信号、音声信号が分離されている専門機器などでの使用にはこれらに適したシーン特徴データ５６を構成し実現することが可能になる。

また図２０（特徴抽出オプション機能）のシーン特徴データ付随情報６６として、映像コンテンツのそれぞれのシーンから検出される文字、音声、顔、スマイルなどの各種認識機能９５からの結果情報を追加特徴データ欄に、シーン特徴データ付随情報６６として付与させたものである。

図２１（認識情報登録）では、認識情報登録１８７に様々な認識機能で登録された、文字、音声が一覧表示されている、音声認識音声１８８はその実例として、『エッフェル塔』と音声を登録して、この音声認識を認識情報検索１８９として指定したものである。
この音声認識情報の実施形態は後述する。

図２２（付随情報構成例）は上記説明の認識機能で判定されたシーンに４ｂｉｔ、０を除く１５種の認識機能での判定結果を付随させたものであり、この例では付随情報データが「３」となっている。
これは一例として音声認識機能で検出されたシーンの付随情報に「３」を指定することにより、以降の検索でこれを検出可能とした例である。
このような、４ｂｉｔ程度の少ないデータでも、もし同時に複数の認識機能判定があっても、近傍のフレームのシーン特徴データ５６の付随データとすることで解決できる。
この場合の検索、検出は、これまでのアナログ値を量子化したものでないので±の補正は不要であり元になるデータ同士の一致で検出を行う。

図２３（編集適合シーン検出概念図）は以上の検索で検出された編集ポイントの組合せにより編集に適合した編集適合シーンを検出するための手法の一例であり、一般的な編集では音声がなく、背景が黒などで、しばらく動きがないようなシーンを探すことが多い、条件Ａでは無音シーン、連続同一シーンの二つの条件に黒、青、白のいずれかの適合シーンをＯＲ論理回路９２、ならびにＡＮＤ論理回路９３により、編集適合シーン検出信号９４を検出させるものである。
さらに、条件Ｂでは上記に加え、時間設定条件９０、たとえば、どこからどこの範囲、現在から１０フレーム以内のフレームでなどの時間的条件を加えて検索をするものであり、これによってさらに細かなシーン検索、検出が可能となり、目的の編集ポイントを抽出することが可能となる。

以上で編集ポイントの作成から検索に関する説明を終え、以降これらの編集ポイントを利用、応用した映像コンテンツ編集用ナビゲーション表示とその実施例を説明する。

図２４（実施方式例）は本発明の様々な応用形態の中で、これから説明する実施例の映像装置本体１ならびに遠隔編集装置２の機能分担の一例を示すものである。
映像装置本体１はテレビジョン放送の受信機能を持ち、これを録画、再生機能、映像コンテンツ、属性データの記憶機能ならびにシーン特徴データ５６およびこれから出来る編集ポイントなどのデータを作成する機能を持っている。
映像装置本体１で作成されたシーン特徴データ５６および関連データの属性データ８は共有フォルダとして管理され、遠隔編集装置２で自由に閲覧、検索、修正、追加、文字入力可能にしている。
映像装置本体１は録画、再生にかかわる同期をとるための本体の状況を示す本体ステータス信号ならびに、録画、再生の時間位置を示す、再生時間位置信号を遠隔編集装置２に適宜送信するとともに、また録画中にはシーン特徴データ５６を遠隔編集装置２に適宜送信する。
このシーン特徴データ５６をもとに遠隔編集装置は、様々な検索条件にもとづき、編集ポイントを自動検出し、これをもとにナビゲーション表示を実施するとともに、ナビゲーション表示をもとに、様々な編集を行い、映像装置本体１に制御信号を送信可能としている。

また付帯事項として、映像装置本体１はＨＤＤ式録画機に多く採用されている通称追っかけ録画機能を持ち、録画中にも再生の一時停止や、編集などができる機能を有したものとなっている、また必要に応じて音声認識、文字認識など各種認識機能や、フェードイン、フェードアウト、ワイプ、ディゾルブカット、スーパーインポーズ、字幕スーパなどの効果編集機能を有している。
遠隔編集装置２は属性データ８など通信機能をＩＰプロトコルとし、インターネット通信ならびに、インターネット閲覧可能な構成となっている。
映像装置本体１および遠隔編集装置間のその他の信号の通信手段はリモコンなど遠隔制御装置としての規格にもとづき適切なものを決めてもよい。
また先に説明した図１（映像装置ならびに遠隔編集装置の全体構成図）のとおり、映像装置本体１にはテレビジョンおよびディスプレイ３が接続され、遠隔編集装置２、ボタン操作式リモコン４はリモコン信号１０双方にて操作可能な状態である。
遠隔編集装置２はマウス５、キーボード６、または図６に示すように、遠隔編集装置２には上記マウスやキーボードに代わってテレビジョン編集操作機能１０２、本遠隔編集装置の表示体の編集画面を操作するための本機編集操作機能１０３、映像装置本体１や遠隔編集装置の電源など操作する共通操作機能１０４がそれぞれを操作、制御可能としている。
またアナウンス、メッセージ、アラームを知らせるための音声出力機能１０８が付随している。

以降図２５から図３２までの説明を以上の映像装置本体１と遠隔編集装置２の構成をもとにする。

図２５（遠隔編集装置録画中画面）の実施例ではテレビジョン放送を映像装置本体１が受信し録画し映像装置本体１から送信されるシーン特徴データ５６を遠隔編集装置２が受信しこれをもとに必要な検索を行い編集ポイントマークをナビゲーション表示させた例であり、「憧れのパリ」という放送番組を録画中のものである。
本例では１６種の編集ポイントを縦軸にし、横軸を時間軸としたものである。
これら１６種の内、ハイライトシーンはテレビジョン画面等を観ながら手動でチャプタマークを付与したものであるが、残りの１５種の編集ポイントは自動的に検出し表示させたものである。
表示画面の上方には映像コンテンツタイトル表示１１１として表示され、画面の縦軸に種類別編集ポイント一覧１１２を表示し、横軸を時間軸として、検出された編集ポイントを編集ポイントマーク１１３とそれぞれのタームバー上にナビゲーション表示させ再生位置表示１１５まで録画が完了したものである。

このように映像装置本体１から遠隔編集装置２にシーン特徴データ５６を送信する場合、または遠隔編集装置２が映像装置本体１の共有フォルダのシーン特徴データ５６を参照する場合、必ずしもフレームごとに実施する必要はなく、秒単位でシーン特徴データを送信するなど、そのグラフィック機能、性能と目的に合わせ適切なタイミングで実施すればよい。

時間軸は時間スケール伸縮機能１１６により、１画面で映像コンテンツ全体を表示することから１秒間を１画面表示させフレーム単位での確認も容易であるよう伸縮可能であるとともに、再生位置表示１１５が再生に合わせスクロールする場合と、再生位置表示１１５が固定で編集ポイントマーク１１３がスクロールするなど適宜状況に応じて選択可能な構成になっている。

このように録画実施中に様々な種類の編集ポイントが自動的に検出され表示（ナビゲーション表示）されていくので、利用者はこれらのナビゲーション表示を総合的に視覚認識することにより、目的に合ったシーンを効率よく探しだすことが可能になるとともに、探したシーンをＧＵＩ機能で即座に編集可能としている。

最近のＨＤＤ式録画機では、通称追いかけ録画機能を有しており録画中の再生を一時中断することも可能であり、映像装置本体制御操作機能１０５を設け映像装置本体を制御可能としている、これらの操作機能で、手動チャプタマーク付与機能１０６ならびに手動チャプタマーク付与＆一時停止機能１０７で番組録画中、任意の時点でハイライトシーンなどにチャプタマークを手動付与できる、手動チャプタマーク付与＆一時停止機能１０７はチャプタマークを手動付与するとこれに連動して、再生画面を自動的に一時停止し、後に説明する必要な編集を行い、再生ボタンを押すことにより再生を再開させるものである。

人間でしか判断できない、その人に特有のハイライトシーンなど手動チャプタマーク付与＆一時停止機能１０７を利用してチャプタマーク編集をするのに有効な手段となる。
これらの手動でチャプタマークを付与したものは手動付与チャプタ再生位置表示１２３として表示される。

図２６（遠隔編集装置編集時画面）は当該番組の録画が完了し、選択したシーンの編集をしている状況を説明するものである。
編集ポイントグループ選択表示１２６は、縦軸に配列された編集ポイントのグループを選択するためのＧＵＩ機能表示であり、シーン選択マーカ１１７は編集ポイントを選択する機能である、この例ではハイライトシーンとして手動付与されたチャプタマーク位置に対応する付随情報を付随情報１５２として表示し、付随情報スクロール１２２で付随情報をスクロール可能な構成となっており、当該シーンのシーンタイトル１５１とシーンに対するシーンコメント１５３を文字入力するとともに、関連するインターネット名称、ＵＲＬを登録したものとなっている、また利用編集ポイントマーク表示１１４はインターネットやシーンタイトル、コメントなど意味ありの編集ポイント（シーン）を強調表示している例である。
これらの編集内容は以降、映像コンテンツが再生される時、再生シーンに連動し適正時間、遠隔編集装置２または、テレビジョンおよびディスプレイ３に表示される。
インターネットホームページ表示１５５は、インターネットブラウザ画面へ切り替えするための機能である。

図２７（遠隔編集装置詳細編集画面）は時間スケール伸縮機能１１６を利用して、細かな時間間隔で詳細表示を行った例である。
まとめシーン表示１２８は、連続して編集ポイントが検出される場合にはその最初と最後シーンのみを記憶させグループ化して表示させたものである。
人がハイライトシーンでチャプタマークを付与する場合などは、観た結果でチャプタマークを付与するのであり、編集に適した位置とならないのが通常である、このような場合に編集適合シーン１２７は最適である。

一般的な編集においては編集シーンに音声があるシーン同士を結合し視聴すると音声上の違和感を生じるものであり、このようなシーンは避けたい、またシーン編集では黒シーンや大きくシーンが変化する点、これらが連続するシーンを探したいなどの共通したニーズがある。
シーン選択マーカ１１７は編集ポイントや任意のシーンを選択する機能でありその位置を示すマークである、本例では編集ポイント前進/後退指定機能１１８により選択された編集ポイントマークを左右任意の位置に移動する可能としている、これらの機能は、無音シーン１２４、黒シーン１２５、連続同一シーン１２９の３つ条件のいずれにも適合する、編集適合シーン１２７に手動付与したチャプタマークを移動させ、高品位のチャプタマーク編集、プレイリスト編集におけるスムーズなシーンチェンジが可能となる。
以上述べたような手動設定で合わせる以外、数秒程度の範囲内の近傍の編集適合シーンに手動付与したチャプタマークを自動移動させることも可能である。
これに限らず、全ての編集を詳細画面または適切な時間尺度の画面選択とすることにより、効率よく精度のよい映像コンテンツの編集を可能にする・

図２８（遠隔編集装置音声認識検出画面）は既に録画された映像コンテンツの再生中のナビゲーション画面の例である、先に述べた図２１（認識情報登録）で検索設定した認識機能から得られた結果をシーン特徴データ５６の付随データとして登録したもので、この例では映像コンテンツの再生中、「エッフェル塔」の音声を認識したシーンを編集ポイントとして、表示し事前に編集したシーンコメント１５３を表示させたものである。

これに限らず、最近のデジタルカメラに搭載されるスマイル認識機能などを利用して動画像の画像を判定し一致するシーンをシーン特徴データ５６の付随情報とすることにより、笑顔が見られるシーンのみをダイジェストで鑑賞するなど様々な応用が可能であり、これらの機能を利用することによりビデオカメラで撮影した自作ビデオの様々な編集を効率的に、より付加価値を上げた編集を可能とさせるものである。
今後の新しい認識技術、例えばそのシーンに最もふさわしいインターネットサイトの検索結果などをシーン特徴データ５６の付随情報として自動付与するのなどの機能も期待できる。

図２９（遠隔編集装置繰返しシーン登録画面）はコマーシャルメッセージシーンなど繰返し再生されるシーンを登録しておき、以降同一シーンを自動検出させる機能を実現させるものであり、繰返しシーンタイトル１６１を登録し、繰返しシーンサーチ登録機能１６０を選択することにより、先に説明した、図１５（繰返しシーン登録データ）に自動登録されるものであり、以降の同一シーンの検索に使用するものである。
登録数が多くなる場合は、映像コンテンツに合わせこの中から検索対象とすべきシーンを選択することにより検索の時間を適切なものにすることが可能である。

図３０（遠隔編集装置インターネット閲覧画面）は、二つの活用方法があり、その一つはインターネット情報の編集用である。
例えば映像コンテンツを再生中、一時停止させこの画面に切替えたり、ナビゲーション表示画面からシーンを指定することにより、映像コンテンツの全てのシーンにインターネットや関連情報を連動付与させることが可能となる。
インターネット閲覧ブラウザ１５６により、様々なインターネット情報をインターネット閲覧画面１５７で閲覧可能とし、インターネットＵＲＬ登録機能１５８により閲覧しているインタターネット名称ならびにＵＲＬを登録可能としている。
図２６（遠隔編集装置編集時画面）で示したインターネット情報はこの機能により付与されたものである。
ナビゲーション表示画面への復帰機能１５９を選択することにより、ナビゲーション編集画面に戻ることができる。

二番目の活用方法として、映像装置本体１で映像コンテンツの再生時にインターネットＵＲＬが付与された当該シーンが再生されると、遠隔編集装置２の音声出力機能１０８により適切なアナウンス音声が一定期間出力され、編集で付与したインターネットＵＲＬサイトが適正期間表示され、遠隔編集装置２で自由にインターネットを閲覧することが可能になる。
この機能により利用者は映像コンテンツそのものや再生紹介される様々なシーンをより深く理解し視聴可能とすることが出来るため、教育目的やコマーシャル目的など幅広い展開が可能になりこれらのインターネット情報をもった編集ポイントデータを放送電波やインターネットで配信するなど様々な応用形態が考えられる。
このとき、映像装置本体１の再生を一時停止、早送り、巻き戻しするかどうかなどは映像装置本体制御操作機能１０５により自由に制御可能である。

以上については、インターネットホームページの閲覧以外に、ビデオ撮影した映像コンテンツの任意のフレームに、撮影場所や、日時時間、その他のコメントや、イラスト、マークを登録しておき後日の再生に連動して閲覧するなどにも有効な活用が出来る。

図３１（二画面表示例）は映像装置本体１に接続されたテレビジョンおよびディスプレイ３に表示された画面であり、画面左側の「選択された映像コンテンツ」のプレイリスト選択画面タイトル表示１６２は図２（タイトル情報データ）で選択された５つのプレイリスト用の映像コンテンツであり、これら５つのプレイリスト選択タイトル１６３、選択タイトルコンテンツ表示バー１６４が表示されるとともに、すでに選択登録された部分にはプレイリスト選択順序番号１６５、プレイリスト開始シーン１６６、プレイリスト終了シーン１６７、プレイリスト開始シーンサムネール表示１６８、プレイリスト終了シーンサムネール表示１６９が表示されている。
画面右側の「プレイリスト作成］はプレイリスト作成ＧＵＩ機能１７０であり、プレイリスト登録選択部分１７１は「選択された映像コンテンツ」より映像コンテンツの選択タイトル名１７２を、プレイリストの再生順に指定するとともに、それぞれのタイトルの再生開始シーンならびに再生終了シーンを後述する編集ポイントマークから選択して登録するもので、開始位置編集ポイント１７３、開始位置編集ポイントＮｏ１７４、終了位置編集ポイント１７５、終了位置編集ポイントＮｏ１７６がそれぞれ設定されている。
ここで、編集ポイントＮｏは当該編集ポイントグループ内の検出の順番を示している。
以後も同様に繰返し登録可能である。
プレイリスト合計時間表示１７７にはこれまで選択登録されたプレイリストの再生合計時間を表示している。

図３２（遠隔編集装置プレイリスト作成画面）は先に述べた図３１（二画面表示例）のプレイリスト作成ＧＵＩ機能１７０の再生開始シーンならびに再生終了シーンを指定するためのＧＵＩ機能であり、ハイライトシーンの４番目が開始シーン、○○○繰返しシーンの３番目がそれぞれ、開始位置選択マーカ１１９、終了位置選択マーカ１２０により選択され、これにもとづき先の図３１（二画面表示例）のプレイリストの開始シーンならびに終了シーンが登録設定されたものである。
この様に、テレビジョンおよびディスプレイ３と遠隔編集装置２の２つの画面を連動させＧＵＩ機能することにより、遠隔編集装置２で指定したシーンをテレビジョン側の画面のサムネールで確認しながら確実な編集が可能となるなど、これまで複雑であった編集も理解しやすい操作で実現させることが可能となる。

このような２画面操作には、図６（遠隔編集装置）で説明したように、テレビジョン編集操作機能１０２、本機編集操作機能１０３、共通操作機能１０４が便利でありこれらを含め遠隔操作装置２の表示体１０１を例えばタッチパネルとしたＧＵＩ機能としてもよい。

これまでの説明では、遠隔編集装置２の遠隔編集装置表示体１０１を使い、編集ポイントを活用したナビゲーションＧＵＩ機能を説明してきたがこれに限るものではない、図３３（ナビゲーション画面Ａ）は文字入力やインターネット連動機能を削除し簡素化し、テレビジョンおよびディスプイレ３用のナビゲーション編集用としても実現可能な画面例である。

図３４（ナビゲーション画面Ｂ）は編集ポイントを３種類に絞ったナビゲーションＧＵＩ機能である。
本例では、手動付加編集ポイントタイムバー表示１７８にはハイライトシーン、編集適合シーン１２７ならびに単色画面シーン１９０が選ばれている。
単色画面シーンは黒画面シーン、青画面シーンの２つを一つのタイムバーに集約し色で黒、青を表示するものであり、ナビゲーション表示する上で、そのシーンの種類とその時間位置が適切に分かるものであれば、どの様な表示方法でも構わない。

また参考実施例として、シーン選択マーカ１１７で選択された、選択シーンは選択編集ポイント前シーンサムネール１８１、選択編集ポイントサムネール１８２、選択編集ポイント後シーンサムネール１８３には指定した編集ポイントのサムネールが表示されている、また直前編集適合シーン前サムネール１８４、直前編集シーンサムネール１８５、直前編集適合シーン後サムネール１８６には、指定した編集ポイントの直前の編集適合シーンとその前後のシーンのサムネールが表示されていて、手動で付与したハイライトシーンは適切な位置に移動することが可能である。

上述のサムネールは、当該シーンの画面を認識するには極めて有効であるものの、サムネールデータの大きさから、多数のサムネールを用意することは現実的でなく、必要最低限のもの、例えば本例のいくつかの種類の編集ポイントなどに限られる。
またサムネールは画面の認識はできるものの、音声やシーンの変化の状況を判断することができない、さらに編集を行う上ではこれらの編集ポイント以外のシーンの概況を確認したいなどのニーズがありサムネールでは対応できない。
サムネールに代えてシーン特徴データ５６の１４種の特徴データをもとにしてそれぞれのシーンを視覚認識可能とすることは容易である。

図３５（ナビゲーション画面Ｃ）は図３４（ナビゲーション画面Ｂ）に変化大（カット点）シーン１９９の編集ポイントを加えたものである、変化に関する画像のデータの大きいシーンは通常カット点、編集点と呼ばれる編集を行ったシーンであり、図１３（特定シーン検出概念図）に示すように、シーン特徴データ５６から検出されるものである。
これらの画面を確認しハイライトタイムバーの任意の位置で選択したシーンの概要ならびに当該シーンの前後近傍のシーンを視覚認識可能なように表示したものである。
選択シーン概要表示エリア１９１にはシーン選択マーカ１１７で選択されたシーンの概要がシーン概要表示１９２として視覚認識可能なように表示されている、これらはすべてシーン特徴データ５６の１４種、４ｂｉｔ、１６諧調のデータから作成され、画面全体色表示１９３には画面全体平均の輝度（Ｙ）、Ｒ、Ｇ、Ｂ、信号のレベル、画面中央色表示１９４はＹ、Ｒ、Ｇ、Ｂ、信号のレベルを色識別可能なように表示させている、また音声ならびに変化の範囲や変化の速度に関してはそれぞれの大きさ、広さ、変化の度合いがそれぞれ視覚認識可能なよう、音声レベル表示１９５、変化範囲表示１９６、変化速度表示１９７として表示されている。
さらに近傍シーンの概要表示エリア１９８には、選択されたシーンに一番近い前後の編集ポイントのシーンの特徴を表すシーン概要表示１９２が視覚認識可能なよう表示されている。

シーン選択マーカ１１７を移動することにより、即座にこれらのシーン概要表示１９２は反応して移動先のシーンのシーン概要表示１９２として表示されるので、これらのナビゲーション表示を確認することにより、音声レベルの状況や変化の度合いを総合的に判断し効率的に編集ポイントを決定することが可能となる。
シーン概要表示１９２はサムネールと違い、画面そのものではないが、全てのシーンを対象としてシーン概要表示１９２で連続するシーンのそれぞれの特徴を一望にして比較することができるので編集には極めて便利な機能でありこれにより適切な編集シーンが選択可能となる。

これらのシーン概要表示１９２を実行するにあったって、サムネールとは違い新たな属性データ８をもつことなくシーン特徴データ５６から直接データ参照し利用できるので、適用するハードウエアの構成に合わせて、適切に必要なシーンにサムネールを併用するなどを検討すればよい。

図３６（特徴要素推移データ）はシーン特徴データ５６の特徴要素データ６５の２種類を、一定期間範囲（この場合は前後それぞれ５フレーム計１１フレーム）で平均してできる特徴要素推移データ２０１を折れ線グラフにした例である。
平均化しない元データは変動が激しく、対象とするシーン近傍の状況をとらえることが難しいがこのように平均化することでフィルターがかかり、対象とするシーン近傍の状況を適切にとらえることが可能となる。
これまでの、編集ポイント同様にこれを時間尺度が伸縮自在に表示案内することにより、時間尺度に適した平均範囲とすることにより任意のシーンの周辺の状況をより詳しく知ることができる。
先に述べた編集ポイント、シーン概要表示、と組合せ最適な表示案内をすることにより、より編集能率を向上させることが可能である。

図３７（遠隔編集装置時間編集画面）はＲ、Ｇ、Ｂの特徴要素データ６５を輝度レベルに変換したデータと、音声要素データを、一定期間内で平均したデータ折れ線グラフ化して、前記特徴要素推移データ２０１として、これまでの編集ポイントと並べて表示案内させたものである。
Ｒ、Ｇ、Ｂや変化に係る特徴要素データを利用してもよい。

図３７（遠隔編集装置時間編集画面）の中段にはカット編集と、結合編集と、ジャンプ編集と、スクランブル編集と、プレイリスト編集、効果編集、などの編集を行う際に必要となる、制作する映像コンテンツの時間長さを適正なものにする編集支援方法が示されている。
本例では海外旅行で撮影した４時間１３分４８秒のビデオコンテンツをＤＶＤ１枚、２時間に収まるように編集する場合の例である。
目標時間２０３には、目標とする時間、例えば最大時間、最少時間、適正時間、などの時間を指定する、本例では最大時間に２時間、最少時間に１時間４５分００秒が指定されている。
一方、時間集計２０２には、編集の際、残すべきシーンを必要シーンとして、残すべきでないシーンを不要シーンとしてそれぞれ指定し、残りのシーンを未選択シーンとして集計してこれを表示させたものである。
時間案内２０４には時間集計２０２された、必要シーンと目標時間２０３との差の時間と、その時間差を解消するための情報が表示案内されている。

これらの、必要シーンと、不要シーンを指定するうえで、シーン選択マーカ１１７で範囲指定する方法と、シーン選択マーカ１１７で必要シーンと、不要シーンの概ね中心部を指定し、その度合いを設定することにより、その度合いに見合った範囲を自動的に付与するなどが便利である。
例えば度合いのレベルを３段階として、最低レベルは指定位置の前後にそれぞれ５秒間のシーンを付与し計１０秒間とする、中間レベルはそれぞれ３０秒間で計１分間、最高レベルはそれぞれ３分間で計６分間、などと指定することにより大まかではあるが編集者の意図を反映した編集が可能になる。
これらのシーン位置ならびにその度合いの指定にはチャプタマークを用いて、特定範囲内で複数回のチャプタを打つことにより、この回数を度合いのレベルとすることも可能である。

さらに編集途上で、目的時間とその段階の映像コンテンツの出来上がり時間との差の時間をもとに、集計必要シーン時間が目標最少時間より短い場合は必要シーンに未選択シーンを加えること、集計必要シーン時間が目標最大時間より長い場合は必要シーンの開始部分と終了部分の一定のシーンを削除することにより、映像コンテンツの出来上がり時間を自動調整することも可能である。

シーン特徴データ５６に音声認識機能、声紋認識、文字認識機能、顔認識機能、スマイル認識機能、など様々な認識機能から得られる、検出結果が付随されていれば、これらのシーン選択の自動化も可能となり、編集作業の効率をさらに向上させることができる。

以上説明の大まかな時間編集を一次編集として、これまで説明の表示案内を参照しながら細かなシーン決めをする詳細編集に移ることが可能である。
また時間案内２０４は文字列のみならずマークやイラストなどの情報として表現させることも可能である。

これらの画面上でのナビゲーション表示画面のほかに編集時や録画時、再生時の様々な状況において、音声や振動により編集支援のためのアドバイスやアラームのアナウンスを適切に行うことにより、編集効率をさらに向上させることが可能になる。

編集に関する様々な発明が提案されているが、どのような認識機能が開発されるにしろ、編集の最終判断は制作者にあることはいうまでもない、これらの様々なナビゲーション編集支援機能をうまく活用することにより制作者の負担を軽減させて、質の高い映像コンテンツ、付加価値の高い映像コンテンツを効率的に作成することが本願発明の最大の目的である。

以上基本となる映像コンテンツの、カット編集、結合編集、ジャンプ編集、スクランブル編集、プレイリスト編集、効果編集、などの編集の際、探し出し（検索、早送り、巻き戻し、する）、確認し（再生、一時停止、する）、利用（カット点、編集点、とする）する様々なシーンとなる様々なナビゲーション編集の実施例の説明をしてきたが以降付帯事項を説明する。

以上の説明では、編集ポイント、ならびに特徴要素推移データ、シーン概要表示は記憶登録されたシーン特徴データをもとに作成され編集に利用されているが、探し出すシーンが特定のものに限られている場合などにはシーン特徴データ抽出の手段と同様な手段を用い、記憶登録しないテンポラリーなデータから編集ポイント、ならびに特徴要素推移データ、シーン概要表示、のデータを生成することも可能である。

チャンネル切り替など通常の操作はボタン操作式リモコン４が便利である。
ナビゲーションの検索条件は固定または限られたものとし文字入力を少なくした図３４、図３５のような簡単なタイムバーと編集ポイントの選択操作であれば、遠隔編集装置２によらずボタン操作式リモコン４でも十分操作編集可能である。

また、放送のチャンネル切り替などの単純操作はボタン操作式リモコン４として、編集は遠隔編集装置２とするような２ウエイ制御では、遠隔編集装置２に優先権を与え編集作業を実施しているときにはボタン式操作リモコン４の信号を受付けないようなインターロック機能を設ければよい。

これまで様々な実例で人の手を介在する編集を中心に説明してきたが、設定によりコマーシャルメッセージシーンなどは自動消去（カット）、結合、ジャンプするなど、編集ポイントでの自動編集機能を盛り込むことができることはいうまでもない。

様々な設定条件で得られた編集ポイントは選択により一般のチャプタマークとすることが可能である、編集ポイントはそのシーンを指定するのに対し、チャプタマークはシーンとシーンの境界を示すものであり、編集ポイントをチャプタマークとするには、チャプタマークを編集ポイントの前にするか後にするかを指定すればよい。
全ての編集ポイントをチャプタマークとして利用することも可能で映像装置本体１ならびに遠隔編集装置２の目的、構成、記録媒体などにより適切に決めればよい。

シーン特徴データ５６は映像コンテンツの全てのフレームに対応させるデータ構成で、1フレームの当たりのその特徴要素は少なくても１０種、最大２０種程度、またその要素のデータ数は４ｂｉｔから８ｂｉｔまでのデータ構成が考えられ、1フレームあたり最大１６０ｂｉｔ程度になる。
特徴抽出データがアナログ信号をもとにしたものであればデータ数はさらに増加する。
これらの機能を回路化した特徴抽出と特徴検索の半導体部品により省スペースかつ高速検索の装置を実現させる。

遠隔編集装置２は汎用のパーソナルコンピュータとアプリケーションソフトウエアによって実現することも可能である。
近年のＨＤＤ式録画機などは多くの場合インターネット接続が可能になっており、インターネット回線を通じパーソナルコンピュータで録画予約などができるようになっている、このインターネット回線でパーソナルコンピュータとデータをやり取りすることにより、先に述べたナビゲーション編集をパーソナルコンピュータの画面として実現することが可能である。

シーン特徴データ５６、編集ポイント、など編集に供するデータを標準化し、これらを記録媒体に記録して提供する、放送電波、インターネットなどの通信手段でテレビジョンおよびディスプレイ３、映像装置本体１、遠隔編集装置２が受信できこれらをもとに編集が可能となればそれぞれの装置の機能削減に役立つことは云うまでもなく、映像コンテンツやインターネットなどの社会インフラがさらに身近に利用可能となる。

シーン特徴データ５６や編集ポイントなどの属性データ８を作成する機能を分離してアダプタ機能とすることも可能である。

これまで、様々な実施例をもとに本発明の説明を行ってきたが、このようなナビゲーション編集が可能となるのはひとえに先願発明によるシーン特徴データ５６によるものであり、長大な映像コンテンツの各フレームの特徴を効率よく抽出し、唯一無二性をもった特徴データ構造でありながら適切なデータサイズであり、ハードウエアの負担を大きくすることなく、映像コンテンツの全てのフレーム（シーン）を高速で検索し検出可能とする技術によりはじめて実現可能となるものである。
標準化されたシーン特徴データ５６を、ＭＰＥG７規格の特徴抽出データとして利用することによりさらにさまざまな応用が期待で出来る。

本願発明の全てまたは一部を利用することにより、一般家庭での放送番組コンテンツ、ビデオ撮影コンテンツ、の編集はもとよりプロ用編集までのあらゆる分野の映像コンテンツ編集の効率アップと作業負担の軽減、ならびに質の高い映像コンテンツ、付加価値の高い映像コンテンツの制作を可能にする。

１ 映像装置本体 （図１）
２ 遠隔編集装置 （図１）
３ テレビジョンおよびディスプレイ （図１）
４ ボタン操作式リモコン （図１）
５ マウス （図１）
６ キーボード （図１）
７ 映像コンテンツ （図１）（図５）
８ 属性データ （図１）（図５）
９ 双方向通信信号 （図１）
１０ リモコン信号 （図１）
１１ 映像コンテンツタイトル名 （図２）（図３）
１２ メニュー選択エリア （図２）（図４）
１３ プレイリスト選択 （図２）
１４ 編集ポイント種類表示 （図３）
１５ 時間表示 （図３）
１６ シーンタイトル名 （図３）
１７ 編集ポイントコメント （図３）
１８ インターネット情報 （図３）
１９ 適合シーン表示 （図３）
２０ プレイリストタイトル名 （図４）
２１ プレイリスト編集選択 （図４）
２２ 記憶機能および媒体 （図５）
２７ ファイルアロケーションテーブル （図５）
２８ チャプタマークシーン （図３）
５１ 画像音声信号 （図７）
５２ シーン特徴データ抽出部 （図７）
５４ A/D変換機能 （図７）
５５ シーン特徴データ抽出機能 （図７）（図２０）
５６ シーン特徴データ （図７）（図１１）（図１５）（図１９）（図２０）
５７ シーン特徴データ検出部 （図７）
５８ 記憶登録されたシーン特徴データ列 （図７）（図１１）
５９ もとになるシーン特徴データ列 （図７）
６０ シーン特徴検出機能 （図７）
６１ 検出信号 （図７）
６２ フレームごとのシーン （図７）
６３ 比較対照シーン特徴データ列 （図７）（図１１）（図１８）（図１９）
６４ 時間情報 （図７）
６５ 特徴要素データ （図７）（図１１）（図１６）（図１７）（図１８）
６６ シーン特徴データ付随情報 （図７）（図１１）（図２０）
６７ ＋補正データ （図１１）（図１８）（図１９）
６８ 元データ （図１１）（図１８）（図１９）
６９ −補正データ （図１１）（図１８）（図１９）
７０ 連続同一シーンの基点シーン （図１２）
７１ 連続同一シーン （図１２）
７７ 編集ポイントの種類 （図１４）
７８ 編集ポイントの概要 （図１４）
７９ 編集ポイントの選択機能 （図１４）
８０ 編集ポイント条件グループ （図１６）（図１７）
８１ 編集ポイント条件選択表示 （図１６）
８２ 編集ポイント条件個別データ （図１７）（図１８）
８３ ＋補正データ、−補正データ近似展開 （図１８）
８４ 検索条件切り替え機能 （図１８）
８５ 適合シーン検出機能 （図１８）
８６ 範囲検出機能 （図１８）
８７ OR論理回路 （図１８）
８８ １４進カウンンタ機能 （図１８）
８９ 検索条件適合シーン （図１８）
９０ 時間設定条件 （図２３）
９１ 個別適合シーン信号 （図２３）
９２ OR論理回路 （図２３）
９３ AND論理回路 （図２３）
９４ 編集適合シーン検出信号 （図２３）
９５ 認識機能 （図２０）
９６ 編集ポイント別条件設定 （図１９）
９７ 編集ポイント別検索条件 （図１８）（図１９）
９８ 特徴データ選択機能 （図２０）
９９ 連続シーン連番 （図１２）（図２０）
１０１ 遠隔編集装置表示体 （図６）（図２５）
１０２ テレビジョン編集操作機能 （図６）（図２５）（図３２）
１０３ 本機編集操作機能 （図６）（図２５）（図３２）
１０４ 共通操作機能 （図６）（図２５）（図３２）
１０５ 映像装置本体制御操作機能 （図２５）（図３０）
１０６ 手動チャプタマーク付与機能 （図２５）
１０７ 手動チャプタマーク付与＆一時停止機能 （図２５）
１０８ 音声出力機能 （図６）（図２５）
１１１ 映像コンテンツタイトル表示 （図２５）
１１２ 種類別編集ポイント一覧 （図２５）
１１３ 編集ポイントマーク （図２５）
１１４ 利用編集ポイントマーク表示 （図２６）
１１５ 再生位置表示 （図２５）
１１６ 時間スケール伸縮機能 （図２５）（図２７）
１１７ シーン選択マーカ （図２６）（図２７）（図３４）（図３５）（図３７）
１１８ 編集ポイント前進/後退指定機能 （図２７）
１１９ 開始位置選択マーカ （図３２）
１２０ 終了位置選択マーカ （図３２）
１２１ 編集ポイントマーク表示縦軸スクロール （図２５）
１２２ 付随情報スクロール （図２６）
１２３ 手動付与チャプタ再生位置表示 （図２５）
１２４ 無音シーン （図２７）
１２５ 黒シーン （図２７）
１２６ 編集ポイントグループ選択表示 （図２６）（図２８）
１２７ 編集適合シーン （図２７）（図３４）
１２８ まとめシーン表示 （図２７）
１２９ 連続同一シーン （図２７）
１５１ シーンタイトル表示 （図２６）
１５２ 付随情報 （図２６）
１５３ シーンコメント （図２６）（図２８）
１５４ インターネットリンク情報 （図２６）
１５５ インターネットホームページ表示 （図２６）
１５６ インターネット閲覧ブラウザ （図３０）
１５７ インターネット閲覧画面 （図３０）
１５８ インターネットＵＲＬ登録機能 （図３０）
１５９ ナビゲーション表示画面への復帰機能 （図３０）
１６０ 繰返しシーン登録機能 （図２９）
１６１ 繰返しシーンタイトル （図１５）（図２９）
１６２ プレイリスト選択画面タイトル表示 （図３１）
１６３ プレイリスト選択タイトル （図３１）
１６４ 選択タイトルコンテンツ表示バー （図３１）
１６５ プレイリスト選択順序番号 （図３１）
１６６ プレイリスト開始シーン （図３１）
１６７ プレイリスト終了シーン （図３１）
１６８ プレイリスト開始シーンサムネール表示 （図３１）
１６９ プレイリスト終了シーンサムネール表示 （図３１）
１７０ プレイリスト作成ＧＵＩ機能 （図３１）
１７１ プレイリスト登録選択部分 （図３１）
１７２ 選択タイトル名 （図３１）
１７３ 開始位置編集ポイント （図３１）
１７４ 開始位置編集ポイントＮｏ （図３１）
１７５ 終了位置編集ポイント （図３１）
１７６ 終了位置編集ポイントNo （図３１）
１７７ プレイリスト合計時間表示 （図３１）
１７８ 手動付加編集ポイントタイムバー表示 （図３４）（図３５）
１７９ 編集適合シーン表示 （図３５）
１８１ 選択編集ポイント前シーンサムネール （図３４）
１８２ 選択編集ポイントサムネール （図３４）
１８３ 選択編集ポイント後シーンサムネール （図３４）
１８４ 直前編集適合シーンシーン前サムネール （図３４）
１８５ 直前編集適合シーンサムネール （図３４）
１８６ 直前編集適合シーンシーン後サムネール （図３４）
１８７ 認識情報登録 （図２１）
１８８ 音声認識音声 （図２１）
１８９ 認識情報検索 （図２１）
１９０ 単色画面シーン （図３４）（図３５）
１９１ 選択シーン概要表示エリア （図３５）
１９２ シーン概要表示 （図３５）
１９３ 画面全体色表示 （図３５）
１９４ 画面中央色表示 （（図３５）
１９５ 音声レベル表示 （図３５）
１９６ 変化範囲表示 （図３５）
１９７ 変化速度表示 （図３５）
１９８ 近傍シーンの概要表示エリア （図３５）
１９９ 変化大（カット点）シーン （図３５）
２０１ 特徴要素推移データ （図３７）
２０２ 時間集計 （図３７）
２０３ 目標時間 （図３７）
２０４ 時間案内 （図３７）
２０５ シーン関連情報 （図３７）

Claims (16)

1. 映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとし、この特徴要素データを複数連結組合せしたものをシーン特徴データとし、
   このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とし、このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内し、
   この表示案内にもとづき映像コンテンツの任意のシーンを指定し、この指定したシーンを編集することを特徴とする映像コンテンツの編集方法。
2. 前記シーン特徴データを構成する前記特徴要素データを、
   １）前記画像情報は、１フレーム中の画素数を超えない複数のサンプリングポイントの各Ｒ、Ｇ、Ｂレベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの各Ｒ、Ｇ、Ｂレベル情報と、を前記特徴要素データとする
   ２）前記音声情報は、１フレーム中の画素数を超えない複数のサンプリングポイントの音声レベル情報の全体平均と、前記フレームの中心部のサンプリングポイントの音声レベル情報と、を前記特徴要素データとする
   ３）前記画像の変化の情報と、音声の変化の情報と、の情報は、１フレーム中の画素数を超えない複数のサンプリングポイントの各Ｒ、Ｇ、Ｂレベル情報、ならびに音声レベル情報、のそれぞれの全体平均と、１秒を超えない近隣の別な１フレームの同様情報の差分情報と、複数のサンプリングポイントの変化の範囲情報と、変化の度合いにもとづく変化速度情報と、を前記特徴要素データとする
   以上の１）から３）の少なくとも１４種の特徴要素データを連結組合せし構成されるシーン特徴データの前記シーン特徴データ列を検索し、検出されたシーンを時系列で表示案内することを特徴とする請求項１記載の映像コンテンツの編集方法。
3. 前記検索し、検出するシーンは
   １）検索対象範囲上で同一なシーン特徴データとなるコマーシャルメッセージシーン、連続放送番組の定型シーン、再放送番組、コピーされた映像シーン、の同一シーン
   ２）静止画で無音声のシーンが連続する連続シーン
   ３）画像設定条件に適合するシーン
   ４）音声設定条件に適合するシーン
   ５）変化設定条件に適合するシーン
   ６）以上の１）から５）の組合せ設定条件に適合するシーン
   以上の１）から６）のシーンの少なくとも１つを検索し、検出されたシーンを時系列で表示案内することを特徴とする請求項２記載の映像コンテンツの編集方法。
4. 前記シーン特徴データに、音声認識機能、声紋認識機能、文字認識機能、顔認識機能、スマイル認識機能、の認識機能の検出結果を付与しこれを時系列で表示案内することを特徴とする請求項１記載の映像コンテンツの編集方法。
5. 前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも１つの特徴要素データをフレーム毎に一定期間範囲平均化するようデータの加工をして得られるデータを特徴要素推移のデータとしてこれを表示案内することを特徴とする請求項１記載の映像コンテンツの編集方法。
6. 前記シーン特徴データを構成する前記特徴要素データの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、の少なくとも１つの特徴要素データから当該シーンの輝度、色のレベル、音および変化の範囲と変化の速度は、大きさ、広さ、変化の度合い、のいずれかを視覚認識可能なよう、特徴要素データのデータをもとにして得られるデータをシーン概要表示としてこれを表示案内することを特徴とする請求項１記載の映像コンテンツの編集方法。
7. 前記映像コンテンツの任意のシーンを指定し編集する内容は
   １）シーン特徴データ列の目的とするシーンに、インターネットＵＲＬ(Uniform Resource Locator)情報を付与する
   ２）シーン特徴データ列の目的とするシーンに、シーンに係るシーン関連情報を文字列と、イラストと、マークと、のいずれかの情報を付与する
   以上の１）、２）の少なくとも１つを含むことを特徴とする請求項１記載の映像コンテンツの編集方法。
8. 映像コンテンツの録画または再生時、請求項３記載のシーンの少なくとも１つを検索し、検出することを特徴とする請求項１記載の映像コンテンツの編集方法。
9. 映像コンテンツの録画または再生時、請求項３記載のシーンの少なくとも１つを検索し、検出しチャプタマークとすることを特徴とする請求項１記載の映像コンテンツの編集方法。
10. 映像コンテンツの録画または再生時、請求項３記載のシーンの少なくとも１つを検索し、検出しカット編集と、結合編集と、ジャンプ編集と、スクランブル編集と、プレイリスト編集と、のいずれかを自動編集すること特徴とする請求項１記載の映像コンテンツの編集方法。
11. 前記表示案内の少なくとも１つを時系列で表示し、この表示案内上で対象とする映像コンテンツの任意のシーンを指定し、
    制作する映像コンテンツの仕上がり時間の目標時間を最大値と、最少値と、の双方またはいずれかで指定し、
    制作途上の映像コンテンツの上記仕上がり時間を集計し、集計結果と上記目標時間を比較し、
    上記目標時間と制作途上の映像コンテンツの上記仕上がり時間の時間差と、その時間差を解消すべき内容と、を意味する文字列と、イラストと、マークと、の少なくとも１つの情報を用いて表示案内することを特徴とする請求項１記載の映像コンテンツの編集方法。
12. 前記案内表示上で対象とする映像コンテンツの任意のシーンを指定するにあたって、
    １）対象とする映像コンテンツの必要シーンと、不要シーンと、の範囲を指定することにより、残りのシーンを未決定シーンとする
    ２）対象とする映像コンテンツの必要シーンと、不要シーンと、の概中心部に、それぞれの位置指定をするとともに、
    これに必要と不要のそれぞれの度合いを指定することにより、この度合い対応する位置指定シーンの前後のシーンの幅を与えそれぞれ必要シーンと不要シーンの範囲とし、残りのシーンを未決定シーンとする
    以上の１）、２）のいずれかにより、必要シーンと、不要シーンと、未決定シーンと、のそれぞれの時間の集計をするとともに、上記必要シーンの集計を前記仕上がり時間とすること特徴とする請求項１１記載の映像コンテンツの編集方法。
13. 前記目標時間の最大値、最少値にあって
    １）前記集計した必要シーン時間が目標最大時間より長い場合、それぞれの必要シーンの開始シーンと終了シーンの一部を削除して最大時間に合わせる
    ２）前記集計した必要シーン時間が目標最少時間より短い場合、それぞれの必要シーンの開始シーンと終了シーンに隣接する前記未決定シーンの一部を追加して最少時間に合わせる
    以上により、前記制作する映像コンテンツの仕上がり時間を自動調整すること特徴とする請求項１１記載の映像コンテンツの編集方法。
14. 映像コンテンツのそれぞれのシーンを構成するフレームの、当該フレームの画素数を超えない複数のサンプリングポイントの、画像の情報と、音声の情報と、画像の変化の情報と、音声の変化の情報と、から得られる大小一致比較可能なスカラー量のデータを特徴要素データとする手段と、
    この特徴要素データを複数連結組合せしたものをシーン特徴データとする手段と、
    このシーン特徴データに対象とする映像コンテンツのフレームの時間情報を付与することによって、この映像コンテンツの全フレームと相互対照なデータ構成で順次記憶登録したシーン特徴データのデータ列をシーン特徴データ列とする手段と、
    このシーン特徴データ列を、検索し、検出されたシーンを時系列で表示案内する手段と、
    この表示案内にもとづき映像コンテンツの任意のシーンを指定する手段と、この指定したシーンを編集する手段と、を具備することを特徴とする映像コンテンツの編集装置。
15. 請求項１４の映像コンテンツの編集装置は映像装置の本体の前記シーン特徴データ列を共有フォルダとして利用する手段を有す遠隔装置であることを特徴とする映像コンテンツの遠隔編集装置。
    
16. 請求項１５の遠隔編集装置はパーソナルコンピュータであることを特徴とする映像コンテンツの遠隔編集装置。
    

Images