JP4434094B2 - タグ情報生成装置、タグ情報生成方法及びプログラム - Google Patents

Description

発明の一つの形態は、本編画像を構成する任意の場面の任意の部分領域に付与するタグ情報を生成する装置に関する。また、発明の他の形態は、当該機能を実現するタグ情報の生成方法及びプログラムに関する。

昨今の通信インフラの整備や記録容量の増大に伴い、従来から提案されてきた様々なサービスの実用化が求められている。その一つに、動画像中の特定領域にタグ情報を付与しておき、視聴者の操作によって関連する情報を任意に表示させるサービスがある。
特開平７−２３１３０８号公報

しかし、現実的な作業量で、動画像中の任意の部分領域にタグ情報を付与できる技術は未だ確立されていない。

そこで、発明者らは、現実的な作業量で本編画像にタグ情報を付与できる技術を提案する。
まず、本編画像に付与するキー画像を生成するタグ情報生成装置として、発明者らは、以下の処理機能を有するものを提案する。
（ａ１）作業画面に選択した本編画像の時間情報を取得する処理機能
（ａ２）作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定する処理機能
（ａ３）設定したキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する処理機能
（ａ４）本編画像と同じ時間情報を付したキー画像を生成する処理機能であって、作業画面を通じて設定されたキー領域に領域識別情報を付与したキー画像を生成する処理機能

また、本編画像に付与するインデックス情報を生成するタグ情報生成装置として、発明者らは、以下の処理機能を有するものを提案する。
（ｂ１）作業画面に選択した本編画像の時間情報を取得する処理機能
（ｂ２）作業者が任意に特定した本編画像中の部分領域に対応する位置に設定されるキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する処理機能
（ｂ３）キー領域に付与した領域識別情報と時間情報との対応関係を列記したインデックス情報を生成する処理機能

発明に係る技術を搭載した装置では、タグ情報の埋め込み位置を与えるキー画像を本編画像とは別に生成する。この際、作業者は、タグ情報の埋め込み先となるキー領域の指定作業とその領域を識別する情報の付与作業を実行するだけで良い。これらの作業は、基本的に作業画面に対する簡単な入力作業で実現できる。また、本編画像の内容によっては、これらの作業の多くを自動化することができる。
また、発明に係る技術を搭載した装置では、時間情報と各キー領域を識別する情報との対応関係を列記するインデックス情報を自動的に生成する。インデックス情報を用意することにより、キー画面に情報を直接記録する場合に比して、各キー領域に対する情報の関連付け作業を効率化できる。

以下、発明に係る技術の形態例を、タグ情報の生成、配信（配布）、再生の各ステージ別に説明する。
なお、本明細書で特に図示又は記載されない部分には、当該技術分野の周知又は公知技術を適用する。
また以下に説明する形態例は、発明の一つの形態例であって、これらに限定されるものではない。

（Ａ）タグ情報生成装置
以下、実用的な作業量でタグ情報を生成できるタグ情報生成装置を説明する。
（Ａ−１）リニア編集システム
タグ情報生成装置は、リニア編集システムとして実現することができる。

（ａ）システム構成
図１に、リニア編集システムの構成例を示す。
このリニア編集システムは、本編画像再生装置１、合成出力装置３、キー情報入力装置５、表示装置７、キーパターン生成装置９、キー画像記録装置１１で構成される。
本編画像再生装置１は、磁気テープに記録された本編画像を再生する装置である。例えば、ＶＴＲで構成する。再生された本編画像は合成出力装置３に出力される。同時に再生されるタイムコードは、キー情報入力装置５に出力される。なお、タイムコードは、本編画像の時間位置を与える時間情報の一つである。

合成出力装置３は、入力された本編画像にタグ情報の埋め込み領域を与えるキーパターンを合成する装置である。例えば、キャラクタジェネレータで構成する。キーパターンは、キー情報入力装置５から与えられるキー領域情報に基づいて生成される。キー領域情報は、キーパターンの画面内の位置と選択範囲に関する情報で与えられる。合成画像は表示装置７に出力される。

図２に、表示装置７の表示画面例を示す。図２（Ａ）は、タグ情報の埋め込み画面に選択された画面例（作業画面例）である。作業画面は、本編画像再生装置１の再生動作を一時停止した際に出力されている本編画像として与えられる。
図２（Ｂ）は、合成出力装置３で生成されたキーパターン２１、２３を本編画像に合成した作業画面例である。この例の場合、キーパターン２１は、画面右側に表示された車両全体を囲むように位置と範囲が決定されている。また、キーパターン２３は、画面左下側に表示された２つの靴を囲むように位置と範囲が決められている。

キーパターンの形状は、合成出力装置３が自動的に決定する方法、キー情報入力装置５を通じて形状を選択する方法、投げ縄などのドローツールを用いて任意に指定する方法がある。図２の場合、キー情報入力装置５を通じて正方形状と円形状とが選択されている。
キーパターン２１、２３を配置する位置と範囲は、表示装置７の合成画面の確認を通じて作業者が決定する。
以下、個々のキーパターンが配置される画面上の位置と範囲を「キー領域」という。

キー情報入力装置５は、タグ情報を規定するキー情報を入力する装置である。
この明細書において、「タグ情報」は、任意に指定された部分領域に埋め込まれる情報をいう。
このリニア編集システムでは、タグ情報として「キー画像」と「インデックス情報」とが生成される。
ここで、「キー画像」は、タグ情報の埋め込み位置を示す本編画像と対をなす画像をいう。また、「インデックス情報」は、キー画像の各時点についてキー領域とその識別情報との対応関係を記録する情報をいう。

また、「タグ情報を規定するキー情報」は、キー領域とインデックス情報の生成に必要な情報、すなわち、位置、範囲、時間、領域の識別情報等をいう。もっとも、この例の場合、時間情報は、タイムコードとして本編画像再生装置１から与えられる。
キー情報入力装置５は、例えば、ビデオ編集機やコンピュータで構成する。図では、コンピュータで構成する場合について表している。

キーパターンの位置と範囲は、マウスその他の入力装置５Ａを通じて入力される。また、キーパターンを識別する情報は、キーボードのキー操作やマウスのクリック操作その他を用いて入力される。
なお、キーパターンの位置と範囲は、タグ付けする部分領域のおおよその位置と範囲を与えれば良い。従って、厳密な位置合わせは必要ではない。このため、キー領域の設定を現実的な作業量の範囲で実現できる。例えば、一般的な編集作業であるテロップを入れるのと同程度の作業で実現できる。

この例の場合、キーパターンを識別する情報の一つとして、グレースケール値（明度値）を使用する。グレースケール値で与えることでキー領域の設定部分を輝度変化としても確認できる。もっとも、タグ情報は、配布の際に圧縮処理を経る可能性がある。従って、グレースケール値は、圧縮処理後も識別できる程度にある程度離れた値であることが望ましい。例えば、車両に対応するキーパターン２１には値「２０」、靴に対応するキーパターン２３には値「４０」を入力する。

キー情報入力装置５は、キー画像の生成用にキー領域情報と領域識別情報をキーパターン生成装置９に出力し、タイムコードをキー画像記録装置１１に出力する。また、キー情報入力装置５は、作業画面の時間情報にキー領域と領域識別情報とを組み合わせたインデックス情報を出力する。
キーパターン生成装置９は、作業画面について設定されたキー領域情報と領域識別情報とに基づいてキーパターンを生成する装置である。例えば、キージェネレータやキャラクタジェネレータで構成する。図２（Ｃ）に、キーパターン２１、２３を含む画面例を示す。

なお、キーパターン生成装置９は、新たなキー領域情報と領域識別情報が与えられるまで同じキーパターンを生成する。このことは、キー情報を全てのフレームについて入力しなくて良いことを意味する。この意味でも、作業量は格段に低減される。
もっとも、キーパターンの発生位置が固定されると、タグ情報の埋め込み位置と対象とするオブジェクト（被写体像）とにズレが発生する。従って、作業者は、表示装置７の画面を確認して適宜、キー領域の位置と範囲を修正又は再設定することになる。

生成されたキーパターンはタイムコードと共にキー画像記録装置１１に与えられ、本編画像と同じ時間長を有するキー画像として記録される。
なお、リニア編集システムであるので、キー画像記録装置１１の記録媒体には磁気テープが使用される。

（ｂ）タグ情報生成装置としての機能構成
このリニア編集システムのタグ情報生成装置としての機能構成を説明する。なお、以下では、インデックス情報を、時間情報、領域識別情報、オブジェクト識別情報とで構成する場合について説明する。

図３に、タグ情報生成装置としての機能構成を示す。タグ情報生成装置は、時間情報取得部３１、キー領域設定部３３、識別情報付与部３５、オブジェクト識別情報付与部３６、キー画像生成部３７、インデックス情報生成部３９で構成される。
このうち、時間情報取得部３１、キー領域設定部３３、識別情報付与部３５、オブジェクト識別情報付与部３６、インデックス情報生成部３９は、キー情報入力装置５を通じて実現される。また、キー画像生成部３７は、キーパターン生成装置９とキー画像記録装置１１を通じて実現される。

まず、時間情報取得部３１は、作業画面に選択した本編画像の時間情報を取得する処理機能を実現する。
キー領域設定部３３は、作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定する処理機能を実現する。
識別情報付与部３５は、設定したキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する機能を実現する。

オブジェクト識別情報付与部３６は、設定したキー領域で特定するオブジェクトの識別を可能とする識別情報を付与する機能を実現する。この例の場合、領域識別情報は数値で与えられるのに対し、オブジェクト識別情報は文字で与えられる。このため、確認作業には、オブジェクト識別情報の方が容易である。なお、オブジェクト識別情報も数値で与えることも可能である。

キー画像生成部３７は、本編画像と同じ時間情報を付したキー画像を生成する処理機能を実現する機能部であって、作業画面を通じて設定されたキー領域に領域識別情報を付与したキー画像を生成する機能に対応する。図４に、キー画像とタグ情報を規定するキー情報との対応関係を示す。図４より、キー画像は、本編画像と時間位置が一対一に対応する画像として生成されることが分かる。

インデックス情報生成部３９は、キー領域に付与した領域識別情報と時間情報とオブジェクト識別情報との対応関係を列記したインデックス情報を生成する処理機能に対応する。
図５に、インデックス情報とタグ情報を規定するキー情報との対応関係を示す。図５に示すように、インデックス情報は、時間情報と領域識別情報とオブジェクト識別情報とを記録したテキスト形式やＸＭＬ文書形式として与えられる。
図６に、インデックス情報の一例を示す。タイムコードは、「時：分：秒：フレーム」で与えられる。従って、図６は、本編画像の「００時００分１０秒００フレーム」以降に、２つのタグ情報が設定されたことを意味する。

すなわち、グレースケール値の「２０」と「４０」を用いて２つのタグ情報が設定されていることを意味する。
図６には、各領域識別情報が本編画像のどのオブジェクト（被写体像）に対応付けられているかを作業者が確認できるようにオブジェクト識別情報も記録されている。オブジェクト識別情報を挿入することで、領域識別情報と意図するオブジェクトとの一致不一致の確認に利用できる。また、後述するようにリンク情報の埋め込みにも使用できる。

（ｃ）タグ付け操作と内部処理との関係
図７に、タグ付け操作とこれに関連して実行される内部処理との対応関係を示す。なお、タグ付け操作は、キー情報入力装置５の入力装置５Ａを通じて入力される。
作業画面の選択操作の受付時、キー情報入力装置５は、本編画像再生装置１に対して本編画像の再生を指示する。また、作業画面の決定操作の受付時、キー情報入力装置５は、本編画像再生装置１に対して再生動作の一時停止を指示する。

また、作業画面の決定後に部分領域の指示入力を受け付けたとき、キー情報入力装置５は、キー領域情報を合成出力装置３に与える。このとき、表示装置７の画面には、作業画面（本編画像の静止画面）にキーパターンを合成した画像が表示される。
また、指定した部分領域について領域識別情報の指定入力を受け付けたとき、キー情報入力装置５は、領域識別情報を合成出力装置３に与えると共にキーパターン生成部９に出力する。これによりキー画像が生成される。この際、領域識別情報と時間情報とオブジェクト識別情報とに基づいて、キー情報入力装置５は、インデックス情報を生成する。

図８に、キー情報入力装置５にインストールするプログラムの処理内容を示す。
プログラムは、作業画面が決定されたかを判定する（Ｓ１）。作業画面の決定時、プログラムは、時間情報としてタイムコードを取得する（Ｓ２）。続いて、プログラムは、キー領域の設定を受け付ける（Ｓ３）。キー領域が設定されると、プログラムは、キー領域に対応付ける領域識別情報の設定を受け付ける（Ｓ４）。
この後、プログラムは、タグ付けが終了したか否かを判定し（Ｓ５）、終了が判定されるまで新たなキー領域の設定処理を継続する。
そして、タグ付けが終了すると、確定したインデックス情報とキー画像の出力を指示する（Ｓ６）。
このような処理プログラムをキー情報入力装置５で実行させることにより、タグ情報の生成処理が実現される。

（ｄ）効果
以上の処理機能を有するキー情報入力装置５に、本編画像再生装置１、合成出力装置３、キーパターン生成装置９、キー画像記録装置１１を接続してリニア編集システムを構築することにより、タグ情報を現実的な作業量で記録できるシステムを実現できる。
すなわち、メタデータのようなテキストベースのデータ入力ではなく、視覚的かつ単純な領域指定によってキー領域を設定することができる。また、本編画像の内容によっては、これらの作業の多くを自動化することができる。

また、設定されたキー領域は、新たな選択画面について新たなキー領域が設定されるまで（オブジェクトは同じ場合も含む。）、後続するフレームについても継続される。このため、入力作業量の削減を実現できる。
また、領域識別情報としてグレースケール値を採用することにより、キー領域の違いを明度の違いとして視覚的にも簡単に確認することができる。
また、時間情報と各キー領域を識別する情報との対応関係を列記するインデックス情報を自動的に生成することにより、手入力の場合に比して、各キー領域に対する情報の関連付け作業を効率化できる。

（Ａ−２）ノンリニア編集システム
タグ情報生成装置は、ノンリニア編集システムとしても実現することができる。
（ａ）システム構成
図９に、ノンリニア編集システムの構成例を示す。ノンリニア編集システムは、基本的にコンピュータ単独で構成される。
このノンリニア編集システムは、ＣＰＵ（プロセッサ）４１、入力装置４３、表示装置４５、ハードディスクドライブ装置４７、メインメモリ４９で構成される。

すなわち、リニア編集システムの本編画像再生装置１とキー画像記録装置１１は、ハードディスクドライブ装置４７で実現される。また、合成出力装置３とキーパターン生成装置９は、メインメモリ４９を作業領域に使用してＣＰＵ４１で実行されるプログラムを通じて実現される。
勿論、キー情報入力装置５も、メインメモリ４９を作業領域に使用してＣＰＵ４１で実行されるプログラムを通じて実現される。

例えば、作業画面の決定時、ハードディスクドライブ装置４７から読み出された本編画像はメインメモリ４９を経由して表示装置４５に出力される。
また例えば、キー領域の設定時、入力装置４３からの操作によって生成されたキーパターンと本編画像とがメインメモリ４９で合成され、表示装置４５に出力される。この際、キーパターンには、入力装置４３を通じて入力されたインデックス情報が反映される。
なお、メインメモリ４９に生成されたキーパターン（図２（Ｃ）、図４）とインデックス情報（図５）とは、ハードディスクドライブ装置４７に記録される。

（ｂ）効果
ノンリニア編集システムの場合にも、リニア編集システムと同様の効果を実現できる。すなわち、タグ情報を現実的な作業量で記録できるシステムを実現できる。

（Ａ−３）キー領域の入力補助機能
（ａ）色条件による領域抽出
前述の説明では、キー領域を手作業で設定する場合について説明した。
ここでは、作業画面内で指定された部分領域のうち作業者が予め指定した色条件を満たす領域をキー領域に設定する手法について説明する。
図１０に処理イメージを示す。図１０は、被写体像の靴をキー領域に設定する例である。なお、被写体像の靴は赤色とする。

この場合、図１０（Ａ）に示すように、靴を含む広い領域５１を指定する。このとき、キー領域の抽出条件として特定の色条件（例えば、色相値ＸＸからＹＹの範囲の赤レベル）を定めておけば、靴に対応する部分領域５３だけを正確に抽出することができる。なお、抽出条件の登録は、領域の指定前でも後でも良い。
図１１に、色条件によるキー領域の自動抽出機能を実現するキー領域設定部３３（図３）の内部構成例を示す。

キー領域設定部３３は、指定領域保持部６１、領域抽出部６３、抽出条件保持部６５で構成する。このうち、指定領域保持部６１は、入力装置を通じて指定された領域５１を保持する記憶領域である。すなわち、指定領域保持部６１は、抽出処理範囲を与える領域を保持する記憶領域である。
領域抽出部６３は、本編画像について指定された領域５１の範囲について、色条件を満たす部分領域を抽出する信号処理部である。
抽出条件保持部６５は、抽出条件を保持する記憶領域である。この例では、入力装置を通じて指定された色条件を保持するのに使用される。

この処理機能は、キー領域として設定したい領域と周辺領域の色相の違いが大きい場合に特に効果的である。
なお、抽出条件は色条件だけでなく、特定の形状や模様などでも良い。これらの場合も、色条件に基づく領域抽出と同様に入力工数の簡略化を実現できる。

（ｂ）特徴量に基づくキー領域の追従機能
前述の説明では、キー領域を手作業で設定する場合について説明した。
ここでは、設定されたキー領域の特徴量を記憶させ、本編画像内の被写体の移動に応じてキー領域を自動的に追従させる手法について説明する。
図１２に処理イメージを示す。図１２も、被写体像の靴をキー領域として設定した例について表している。

キー領域の追従機能を適用すれば、図１２に示すように、キー領域を設定した被写体像が画面内にある限り、本編画像内の被写体像の移動に追従するようにキー領域も移動させることができる。
この追従機能の搭載により、作業者の作業量は格段に低減される。

図１３に、キー領域の自動追従機能を実現するキー領域設定部３３（図３）の内部構成例を示す。
キー領域設定部３３は、特徴量記憶部８１と領域追従部８３とで構成する。特徴量記憶部８１は、入力装置を通じて設定されたキー領域に対応する本編画像の特徴量（例えば、色相、明度、形状など）を記憶する記憶領域である。
領域追従部８３は、記憶された特徴量と合致する部分領域を本編画像から抽出し、抽出された部分領域をキー領域情報として出力する信号処理部である。なお、部分領域の抽出技術には、周知の画像処理技術を適用する。

なお、以上の説明では、キー領域の手動入力を前提として説明したが、キー領域の設定操作とは無関係に特徴量を登録しておき、特徴量を満たす部分領域を本編画像から自動的に抽出してキー領域に設定しても良い。
特徴量には、例えば特定の色範囲、特定の色の組み合わせ、特定の記号や形状、特定の文字列を使用する。

この機能を用いれば、タグ情報の付加作業のかなりの部分を自動化できる。
その上、一部のライブ番組にタグ情報を自動的に付加することもできる。例えば、スポーツのライブ中継番組において、広告看板の特徴を予め登録しておけば、画面に映る広告看板をキー領域として自動的に設定することが可能になる。すなわち、広告看板にタグ情報を自動的に埋め込むことが技術的に可能になる。

例えば、広告看板が赤色であれば、赤色の色範囲を特徴量に指定すれば、画面内にある赤色の部分領域をキー領域に設定することができる。なお、撮影角度によっては、選手や観客など広告看板以外にも特徴量を満たす部分領域が抽出される可能性がある。この場合には、作業者が広告看板をクリックし、その他はキー領域の設定対象からキャンセルするような作業を行えば十分実用化できる。

また例えば、広告看板が青地に黄色文字であれば、この色パターンを特徴量に指定すれば、同様の色パターンを含む部分領域をキー領域に設定することができる。
また例えば、広告看板の形状や広告看板であることを示す特殊な記号を特徴量に指定すれば、同様の形状や記号を含む部分領域をキー領域に設定することができる。
また例えば、広告看板にある企業名や商品名などの文字を特徴量として指定すれば、同様の文字を含む部分領域をキー領域に設定することができる。この場合には、文字認識技術を組み合わせることもできる。

（ｃ）補間処理によるキー領域の追従機能
前述の説明では、特徴量に基づくキー領域の自動追従機能について説明した。
ここでは、キー領域に設定する被写体像がある作業画面（開始点）からある作業画面（終了点）までの移動軌跡が予測される場合に、２つの画面について設定したキー領域の位置情報を用いて画面間のキー領域位置を補間演算により自動的に設定する手法を説明する。

図１４に処理イメージを示す。図１４も、被写体像の車両をキー領域として設定した例について表している。
図１４（Ａ）は、開始点に選択した作業画面上で車両が位置する部分領域９１にキー領域を設定した状態を示す。
図１４（Ｂ）は、終了点に選択した作業画面上で車両が位置する部分領域９３にキー領域を設定した状態を示す。

図１５に、２つの時点間で被写体像である車両が直線的に移動する場合の軌跡を示す。この場合、２つの時点間の任意の時点において、タグ付けの対象である車両は、移動時の加速度を考慮して部分領域９５に位置すると予測される。
従って、予測された部分領域をキー領域に自動的に設定する手法を採用すれば、少ない作業量でかなり正確な領域指定が可能になる。
また、前述した特徴量に基づく追従処理に比べ、演算量が少なく済む。

図１６に、キー領域の自動追従機能を実現するキー領域設定部３３（図３）の内部構成例を示す。
キー領域設定部３３は、キー領域保持部１０１と領域位置補間部１０３とで構成する。キー領域保持部１０１は、開始点に設定された作業画面で設定されたキー領域の位置を保持する領域１０１Ａと、終了点に設定された作業画面で設定されたキー領域の位置を保持する領域１０１Ｂとを有する記憶領域である。

領域位置補間部１０３は、開始点におけるキー領域の位置と終了点におけるキー領域の位置を２点間の時間位置に応じて補間する信号処理部である。
移動時の加速度や軌跡を参照できる場合、領域位置補間部１０３は、これらの情報を参照してキー領域の位置を求める。
もっとも、図１５の場合には、直線的な移動であるので２点間の時間比に応じた位置をキー領域の位置と推定する。

（Ａ−４）変形例
ここでは、リニア編集システムやノンリニア編集システムについての他の変形例について説明する。
前述の説明では、キー領域の設定時に、キー領域情報として位置と範囲を入力する場合について説明した。
しかし、キー領域は固定形状（固定範囲）として、位置だけを入力しても良い。

また、キー領域は、図１７（Ａ）に示すように円形状だけでなく、図１７（Ｂ）に示すような楕円形状でも良い。また、図１８（Ａ）に示すように正方形状だけでなく、図１８（Ｂ）に示すような六角形状その他の多角形状でも良い。また、キー領域は任意形状でも良い。これらキー領域用のパターンは、キー操作によっていずれかを選択できることが望ましい。
なお、キー領域の形状は、時間の経過と共に自動的に変化する機能を選択できることが望ましい。例えば、あるキー領域が開始点を円形状で指定され、終了点を楕円形状で指定された場合、中間時点でのキー領域の形状を円形状から楕円形状に少しずつ変形させるモーフ機能を適用する。モーフ機能は既知の機能である。

また、前述の説明では、本編画像とキー画像の再生位置を表す時間情報としてタイムコードを用いるものとして説明したが、フレーム数を用いることもできる。
また、前述の説明では、図１９（Ａ）に示すように、本編画像１１１のサイズとキー画像１１３のサイズが同じ場合について説明したが、図１９（Ｂ）に示すようにキー画像１１３のサイズを本編画像１１１のサイズの数分の１に設定しても良い。例えば１／２でも、１／４でも良い。

例えば本編画像のサイズが1920×1080で、キー画像のサイズが 960× 540の場合、キー画像のサイズは縦横とも本編画像の１／２になる。従って、本編画像上の座標（ｘ，ｙ）＝（１０，２０）は、キー画像の座標（５，１０）として与えられる。
キー領域と本編画像との位置関係は、キー領域の設定時に確認済みである。このため、キー画像のサイズは小さくても何ら問題は生じない。
むしろ、キー画像のサイズを小さくできることでデータサイズを小さくすることができる。

また、前述の説明では、キー領域に対応付ける領域識別情報としてグレースケール値（明度値）を用いる場合について説明したが、色相値を用いても良い。
例えば、赤、青、黄色、緑などに対応する色相値を用いても領域の識別に支障なく用いることができる。加えて、画面上で複数のキー領域を視覚的に確認する場合にも色の違いより確認が容易になる。

また、前述の説明では、タグ情報の埋め込み対象（キー領域の設定対象）である被写体像として「靴」、「車両」、「広告看板」などを例示して説明したが、本編画像に登場する出演者、選手などの人物、動物、生物などをタグ情報の埋め込み対象（キー領域の設定対象）としても良い。

（Ｂ）リンク情報付きインデックス情報生成装置及びタグ情報付き画像データ生成装置
（Ｂ−１）リンク情報付きインデックス情報生成装置
ここでは、先に生成したインデックス情報にリンク情報を付加する装置について説明する。すなわち、リンク情報付きインデックス情報の生成装置について説明する。
先に生成したインデックス情報を用いれば、本編画像について設定された同一画面内のキー領域を識別することが可能である。しかし、この段階では、サービスの目的とする情報を観者に提供することはできない。

そこで、発明者らは、先に生成したインデックス情報にリンク情報を付加する。
図２０に、リンク情報の埋め込みイメージを示す。
図２０（Ａ）は、リンク情報埋め込み部１２１において、ＵＲＬ（Uniform Resource Locator）を埋め込む場合を示す。
図２０（Ｂ）は、リンク情報埋め込み部１２１において、広告（ＣＭ）識別子（ローカルアドレス）を埋め込む場合を示す。なお、リンク情報として広告（ＣＭ）自体を埋め込むことも技術的には可能である。

このようにインデックス情報にリンク情報を埋め込むことで、タグ情報の埋め込まれた部分領域とＵＲＬ又は広告との関連づけが完結することになる。
図２１に、リンク情報埋め込み部１２１の内部構成例を示す。リンク情報埋め込み部１２１は、データベース１２１Ａと情報埋め込み部１２１Ｂとで構成する。
データベース１２１Ａは、作業者が任意に特定した本編画像中の部分領域を与えるキー領域に付された領域識別情報と、部分領域の関連情報にアクセスするためのリンク情報との対応関係を記憶する領域である。
すなわち、オブジェクト識別情報とリンク情報との対応関係又は領域識別情報とリンク情報との対応関係を記憶する領域である。なお、対応関係は、作業者等が事前に登録する。もっとも、対応関係を手入力でその都度入力することも可能である。

情報埋め込み部１２１Ｂは、キー領域に付与した領域識別情報と時間情報との対応関係を列記したインデックス情報に、データベースを参照して対応するリンク情報を埋め込む信号処理部である。
図２２に、リンク情報付きインデックス情報の生成例を示す。図２２は、リンク情報としてＵＲＬを埋め込んだ例である。
図２２の場合、「００時１４分１０秒００フレーム」に２つのタグ情報が設定されている。１つは靴に対応する領域識別情報「２０」であり、１つは車両に対応する領域識別情報「４０」である。

この例の場合、領域識別情報「２０」には、部分領域に対するリンク情報として「http://www.xxx.com/yy/yy」が対応付けられる。
同様に、領域識別情報「４０」には、部分領域に対するリンク情報として「http://www.zzz.com/pp/pp」が対応付けられる。
このリンク情報埋め込み部１２１の使用により、キー領域を識別する情報（例えば領域識別情報やオブジェクト識別情報）とリンク情報との対応関係の整合性が確保される限り、キー領域とリンク情報との対応付け作業が効率化される。

また、このように本編画像とその関連情報とを分けて取り扱うと、別々にメンテナンスできるので様々な効果が期待される。
例えば、ＵＲＬのリンク切れなど、関連情報サイトのアドレス変更に伴うメンテナンスは、リンク情報付きインデックス情報だけをメンテナンスすれば良く、保守や管理に要する負担を軽減できる。

また例えば、再配布（再放送）時の各広告主との間の契約切れなどに対しても、リンク情報付きインデックス情報から個別に該当部分を削除するだけで済み作業負担が少なくなる。
また例えば、キー領域を追加的に登録する場合にも、タグ付け作業は必要となるものの、更新されるのはキー画像とインデックス情報（リンク情報付きインデックス情報）だけであり、本編画像には傷をつけないで済む。

（Ｂ−２）タグ情報付き画像データ生成装置
さて、このリンク情報付きインデックス情報と、本編画像と、キー画像の全てが揃うと、発明者らの意図するサービスの提供が可能になる。すなわち、本編画像を視聴する観者のクリック操作をトリガーとして関連情報を表示させることが可能になる。
その一方で、これら画像や情報をそれぞれ単独で扱えるようにすると、本編画像だけが記録又は複製される可能性がある。リンク情報が広告の場合、本編画像しか記録又は複製されないことは、広告機会の喪失を意味する。しかし、それでは広告を主要な収入源とするメディア産業の発展を阻害することになる。

そこで、発明者らは、リンク情報付きインデックス情報と、本編画像と、キー画像とを相互に関連づけて出力する技術を提案する。これにより、本編画像と共に、タグ情報（リンク情報付きインデックス情報とキー画像）も一体に複製又は記録される必然性を高めることができる。

特に、本編画像の複製や記録の条件として、リンク情報付きインデックス情報と、本編画像と、キー画像の全てが揃っていることを要求すれば、自由な視聴を可能としながらも広告機会も確保することが可能になる。
また、本編画像が正常に再生できる条件として、リンク情報付きインデックス情報と、本編画像と、キー画像の全てが揃っていることを要求しても、自由な視聴を可能としながらも広告機会も確保することが可能になる。

また、この手法は、本編画像をハードディスクドライブ装置その他のランダムアクセス可能な記録媒体に蓄積して視聴する場合の広告（ＣＭ）スキップ対策としても有効である。本編画像の隙間に挿入される広告とは異なり、広告（ＣＭ）スキップ機能の対象とならないためである。
また、広告（ＣＭ）の表示には、観者のクリック操作が必要である。このため、観者の意図とは関係なく勝手にポップアップされる場合のような心理的な抵抗を観者に与えずに済む。実際、本編画像内でタグ情報の埋め込まれた領域をクリックするのは、観者が関心を示した結果であるので、垂れ流し形式の広告（ＣＭ）よりも高い広告効果を期待できる。

（ａ）システム構成
以下、タグ情報付き画像データ生成装置について説明する。
図２３に、タグ情報付き画像データ生成装置の内部構成例を示す。タグ情報付き画像データ生成装置は、リンク情報埋め込み部１２１（図２１）とデータ出力部１２３とで構成する。
データ出力部１２３は、リンク情報付きインデックス情報と、本編画像（ライブ画像を含む。）と、キー画像とを相互に関連付けて出力する信号処理部である。

なお、タグ情報付き画像データ生成装置は、図２４に示すプログラムとしても実現できる。
すなわち、インデックス情報にリンク情報を埋め込んでリンク情報付きインデックス情報を生成する処理（Ｓ１１）と、リンク情報付きインデックス情報、本編画像、キー画像を相互に関連付けて出力する処理（Ｓ１２）で実現できる。
ここで、関連付けられたタグ付き画像データの出力先は、伝送路又は記録媒体である。このうち、伝送路を出力先とする配信形態には、例えば配信（ダウンロード、ストリーミング）、放送がある。

（ｂ）出力時のデータ形式
以下、データ出力部１２３から出力されるタグ付き画像データのデータ出力例を説明する。
（ｂ１）データ出力例１
図２５に、データ出力例の１つを示す。この出力例では、共に非圧縮の本編画像とキー画像に対して、リンク情報付きインデックス情報を付加して一体化し、１つのファイルとして扱う。生成されたファイルには、独自の拡張子「ｃｍｏｖ」を付ける。以下、本編画像、キー画像、リンク情報付きインデックス情報を一体化したファイルを「ｃｍｏｖファイル」と言う。もっとも、他の拡張しを付けることも可能である。例えば「ｏｃｖ（Object Click Video）」を付けても良い。

このデータ出力例のように、本編画像とキー画像とリンク情報付きインデックス情報とを一体化すると、本編画像だけが分離されて利用されるのを防止するのに有効である。
このデータ出力例は、画像データをファイル形式で扱う場合、例えばストリーミング、ダウンロード、記録媒体での配布に好適である。

（ｂ２）データ出力例２
図２６に、データ出力例の１つを示す。この出力例では、共に圧縮符号化した本編画像とキー画像に対して、リンク情報付きインデックス情報を付加して一体化し、１つのファイルとして扱う。この場合も、生成されたファイルには、独自の拡張子「ｃｍｏｖ」を付ける。
また、この出力例だけでなく、他の出力例にも共通するが、圧縮符号化方式は可逆符号化方式でも非可逆符号化方式でも良い。一般に、配信時や配布用には圧縮率の高い非可逆圧縮符号化方式が用いられる。また、マスタデータの保存用や編集段階では可逆圧縮符号化方式が用いられる。

なお、図示していないが、生成されたファイルにはヘッダが付けられている。ヘッダは、リンク情報付きインデックス情報の中に含むか、これとは別に用意する。
ヘッダには、ファイル内に格納されたリンク情報付きインデックス情報の位置、本編画像やキー画像の先頭位置、フレーム数、画サイズ（縦横ピクセル数）、圧縮方式、ファイル内におけるリンク情報付きインデックス情報／本編画像／キー画像の配置情報（アドレスオフセット）等を記載する。

このデータ出力例も、本編画像とキー画像とリンク情報付きインデックス情報とが一体化されているので、本編画像だけが分離されて利用されるのを防止するのに有効である。また、圧縮符号化されているので、データ容量が小さく済む。また、このデータ出力例も、画像データをファイル形式で扱う場合、例えばストリーミング、ダウンロード、記録媒体での配布に好適である。
また、このデータ出力例は、最初に又は任意のタイミングでリンク情報付きインデックス情報だけを読み出すことが可能である。従って、関連情報一覧を表示するのが容易である。

（ｂ３）データ出力例３
図２７に、データ出力例の１つを示す。この出力例も、本編画像とキー画像を共に圧縮符号して一体化し、１つのファイルとして扱う点で前述した２つの出力例と同じである。この場合も、独自の拡張子「ｃｍｏｖ」を付ける。
この出力例に特有の部分は、リンク情報付きインデックス情報を圧縮キー画像のメタデータエリアに搭載する点である。メタデータは、本編画像に関する情報を記述するデータをいう。例えば、タイムコード、著作権情報、撮影者、登場人物、撮影地等がある。

このデータ出力例も、本編画像とキー画像とリンク情報付きインデックス情報とが一体化されているので、本編画像だけが分離されて利用されるのを防止するのに有効である。また、圧縮符号化されているので、データ容量が小さく済む。また、このデータ出力例も、画像データをファイル形式で扱う場合、例えばストリーミング、ダウンロード、記録媒体での配布に好適である。

なお、リンク情報付きインデックス情報は、圧縮本編画像のメタデータエリアに搭載しても良い。
また、このデータ出力例の場合、個々のリンク情報付きインデックス情報には、対応するシーン（時間区間）に関するタグ情報だけを持てば良い。従って、個々のリンク情報付きインデックス情報のサイズを一定にすることも可能である。このため、このデータ出力形式は、放送や長尺のコンテンツに適している。

（ｂ４）データ出力例４
図２８に、データ出力例の１つを示す。この出力例は、４本のデータチャネルのうち３本を本編画像に、残る１本をキー画像に割り当てた画像データを圧縮符号化し、これにリンク情報付きインデックス情報を付加することにより１つのファイルとして扱う。
なお、図２８は、本編画像用の３本のデータチャネルにＲ（赤）Ｇ（緑）Ｂ（青）の３チャネルを割り当てる場合について表している。もっとも、この３本のデータチャネルは、１本の輝度データと２本の色差データでも良い。

この場合も、一体化されたファイルに独自の拡張子「ｃｍｏｖ」を付ける。
また、このデータ出力例も、本編画像とキー画像とリンク情報付きインデックス情報とが一体化されているので、本編画像だけが分離されて利用されるのを防止するのに有効である。また、圧縮符号化されているので、データ容量が小さく済む。また、このデータ出力例も、画像データをファイル形式で扱う場合、例えばストリーミング、ダウンロード、記録媒体での配布に好適である。

（ｂ５）データ出力例５
図２９に、データ出力例の１つを示す。この出力例も、４本のデータチャネルのうち３本を本編画像に、残る１本をキー画像に割り当てた画像データを圧縮符号化し、これにリンク情報付きインデックス情報を付加することにより１つのファイルとして扱う。すなわち、生成されたファイルに独自の拡張子「ｃｍｏｖ」を付けて管理する。
ただし、この出力例では、リンク情報付きインデックス情報をキー画像のメタデータエリアに搭載する。

この出力例も、本編画像用の３本のデータチャネルにＲ（赤）Ｇ（緑）Ｂ（青）の３チャネルを割り当てる場合について表しているが、１本の輝度データと２本の色差データを割り当てることもできる。
このデータ出力例も、本編画像とキー画像とリンク情報付きインデックス情報とが一体化されているので、本編画像だけが分離されて利用されるのを防止するのに有効である。また、圧縮符号化されているので、データ容量が小さく済む。また、このデータ出力例も、画像データをｃｍｏｖファイル形式で扱う場合、例えばダウンロード、記録媒体での配布に好適である。

なお、圧縮符号化処理は、リンク情報付きインデックス情報を付加したキー画像（１チャネル）と本編画像（３チャネル）とを一体化したファイルを圧縮符号化しても良い。この場合、圧縮符号化には可逆符号化方式を採用する。編集段階やマスターデータとしての保存に効果的である。

（ｂ６）データ出力例６
図３０に、データ出力例の１つを示す。この出力例は、本編画像をメインチャネルに出力すると同時に、キー画像をサブチャネルに出力し、その際、リンク情報付きインデックス情報を本編画像又はキー画像のメタデータエリアに搭載する。
図３０（Ａ）は、リンク情報付きインデックス情報をキー画像（サブチャネル）のメタデータエリアに搭載する例、図３０（Ｂ）は、リンク情報付きインデックス情報を本編画像（メインチャネル）のメタデータエリアに搭載する例である。

このデータ出力例は、画像データを放送形態で配布する場合に好適な出力例である。このデータ形式を採用すれば、放送形態でも、観者が特定した部分領域の関連情報を画面表示できる仕組みを実現できる。なお、本編画像の記録時には、対をなすサブチャネルの記録を条件とすれば、本編画像だけが分離されて利用されるのを防止するのに有効である。
例えば、このデータ出力形式で本編画像を放送すれば、既存のチューナーでは本編画像を普通に受信できるが、コピー禁止が有効であったり、スクランブル機能が有効となり視聴が禁止されるといった運用が可能である。

一方、このデータ出力形式に対応したチューナーでは、キー画像とリンク情報付きインデックスを同時に受信した場合（クリック機能が有効の場合）に、コピー禁止やスクランブル機能等の制限を解除できる運用が可能になる。
また、ハードディスクドライブ装置等に保存する際に、ｃｍｏｖファイル形式で保存する場合に、本編画像に対するコピー禁止やスクランブル機能等が解除できる運用が可能になる。

（ｂ７）データ出力例７
図３１（Ａ）に、データ出力例の１つを示す。この出力例も放送形態に好適な出力形態である。ただし、このデータ出力例では、サブチャネルを用いない。すなわち、メインチャネルに、本編画像のメタデータエリアに、キー画像とリンク情報付きインデックス情報を搭載する。
このデータ形式を採用すれば、放送形態でも、観者が特定した部分領域の関連情報を画面表示できる仕組みを実現できる。また、本編画像とキー画像とリンク情報付きインデックス情報とが一体化されているので、本編画像だけが分離されて利用されるのを防止するのに有効である。

この他、図３１（Ｂ）に示すように、リンク情報のリンク先に当たる関連情報（例えば、広告（ＣＭ））をキー画像やリンク情報付きインデックス情報と共にメタデータエリアに記録することも有効である。
なお、リンク情報は、関連情報（例えば、広告（ＣＭ））の何ページ目かを与える情報や個々の関連情報に固有の識別情報（例えば、番号）で与える。

この場合、リンク先の関連情報が一体化されているので、インターネット経由で関連情報を取得する必要がない。従って、再生装置がインターネットに接続されていない場合に有効である。また、再生装置がインターネットに接続されている場合でも、通信帯域が十分でない場合や通信状態が良好でない場合に効果的である。
なお、このようにリンク情報のリンク先に当たる関連情報を本編画像と一体化する方法は、前述したｃｍｏｖファイル形式のデータ出力例にも有効である。

（Ｃ）タグ情報表示制御装置及び情報処理装置（表示装置）
ここでは、タグ情報付き画像データを再生する際の処理動作、すなわち観者側の情報処理装置で実行される処理動作について説明する。
なお、情報処理装置は、後述するタグ情報表示制御装置又は同等の機能をソフトウェア的に実現できる装置であれば商品形態は問わない。
例えば、コンピュータ、磁気ディスク装置、光ディスクプレーヤ、セットトップボックス、ホームサーバーその他の大容量ストレージ装置、表示装置、ゲーム機器、ディジタルカメラ、携帯情報端末、携帯電話その他を含む。

この情報処理装置によるタグ情報付き画像データの再生には、２通りの再生態様がある。
再生態様の１つは、蓄積型の再生である。
蓄積型の再生とは、タグ情報付き画像データの全体が記録媒体に蓄積された状態で再生が開始される場合をいう。

例えば光ディスクその他の大容量メディアに記録された状態で配布されたタグ情報付き画像データ（ｃｍｏｖファイル）を再生する場合がある。
また例えば、インターネット経由でダウンロードしたタグ情報付き画像データ（ｃｍｏｖファイル）をローカルメディア上から再生する場合がある。
この際、本編画像とキー画像が同期再生される。ただし、キー画像は、画面上に表示されない。

また例えば、放送形式やストリーミング形式で受信した本編画像、キー画像及びリンク情報付きインデックス情報をタグ情報付き画像データ（ｃｍｏｖファイル）に再構成して記録した記録メディア上から再生する場合がある。なお、この記録メディアは、可搬型の記録メディアの他、再生装置が搭載するローカルメディアの両方を含む。
また、他の再生態様の１つは、ストリーミング型の再生である。
ストリーミング型の再生とは、ストリーミングファイルをダウンロード順に再生する場合をいう。

なお、ストリーミング型の再生では、まず最初にリンク情報付きインデックス情報がダウンロードされ、メインメモリ上に保存される。この後、本編画像とキー画像が再生順にダウンロードされてメインメモリ上に保存され、本編画像とキー画像が同期再生される。
この場合もキー画像は、画面上に表示されない。

（Ｃ−１）画像再生システム
以下、蓄積型の再生とストリーミング型の再生に共通する画像再生システムについて説明する。
（ａ）機能構成
図３２に、画像再生システムの構成例を示す。
画像再生システムは、タグ情報表示制御装置１３１、入力装置１３３、再生装置１３５、表示装置１３７で構成される。

まず、タグ情報表示制御装置１３１以外の構成要素について説明する。
入力装置１３３は、タグ情報付き画像データを視聴する観者からの操作指示を入力する装置である。
再生装置１３５は、タグ情報付き画像データを記録領域から再生する装置である。記録媒体に応じた再生機構が使用される。なお、蓄積型の再生の場合には、大容量記憶媒体が用いられ、ストリーミング型の再生の場合には、メインメモリ（半導体記憶装置）が用いられる。
表示装置１３７は、本編画像を表示する表示デバイスである。表示デバイスには、既知の様々な表示デバイスを使用できる。例えば、ＣＲＴディスプレイ、フラットディスプレイ、投射型表示デバイス（例えば液晶パネル、ＤＭＤ（登録商標）素子）を使用する。

タグ情報表示制御装置１３１は、以上の周辺装置を制御して本編画像の表示及び指定領域の関連情報の表示を制御する制御ユニットである。タグ情報表示制御装置１３１は、ソフトウェア的にも実現できるし、ハードウェア的にも実現できる。
ここでは、機能構成について説明する。
タグ情報表示制御装置１３１は、再生制御部１４１、インデックス情報読出部１４３、ポインタ移動受付部１４５、ポインタ位置取得部１４７、ポインタ位置判定部１４９、識別情報読出部１５１、リンク情報読出部１５３、関連情報表示制御部１５５で構成される。

再生制御部１４１は、本編画像の再生指示の受付時、本編画像と同じ時間情報（例えばタイムコード）を有するキー画像を同期再生させる制御装置である。すなわち、本編画像とキー画像の同期再生を制御する。
インデックス情報読出部１４３は、本編画像及びキー画像に関連付けられたリンク情報付きインデックス情報を読み出す信号処理装置である。
ポインタ移動受付部１４５は、本編画像の観者による画面内のポインタ移動を、入力装置１３３を通じて受け付ける信号処理装置である。

ポインタ位置取得部１４７は、画面内のポインタ位置を取得する信号処理装置である。
ポインタ位置判定部１４９は、本編画像と同期再生されるキー画像を参照し、ポインタ位置がキー領域の範囲内か否かを判定する信号処理装置である。すなわち、現在表示されている本編画像と同じ時間位置のキー画像とポインタとのマッチング判定が実行される。
識別情報読出部１５１は、ポインタ位置がキー領域の範囲内のとき、キー領域について設定されている領域識別情報を読み出す信号処理装置である。例えばポインタが、靴に対応するキー領域に属する場合には、キー領域のグレースケール値が読み出される。

リンク情報読出部１５３は、参照したキー画像の時間情報と読み出された領域識別情報とに基づいてリンク情報付きインデックス情報を参照し、当該領域識別情報に対応するリンク情報を読み出す信号処理装置である。
関連情報表示制御部１５５は、読み出されたリンク情報で特定されたリンク先より関連情報を取得して表示する信号処理装置である。
例えばリンク情報がＵＲＬで与えられる場合、関連情報表示制御部１５５は、不図示の通信機能を通じてアクセスしたウェブサイトから必要な関連情報を取得して表示装置１３７に与える。
また例えばリンク情報が本編画像と共に受信又は蓄積されている関連情報の識別情報である場合、再生装置１３５を通じて必要な関連情報を取得して表示装置１３７に与える。

（ｂ）具体例
図３３に、画像再生システムをコンピュータで実現する場合の構成例を示す。
この画像再生システムは、ＣＰＵ（プロセッサ）１６１、入力装置１６３、表示装置１６５、ハードディスクドライブ装置１６７、メインメモリ１６９で構成される。
すなわち、図３３に示したタグ情報表示制御装置１３１の処理機能は、ＣＰＵ１６１で実行されるプログラムを通じて実現される。

例えば、観者の指定したポインタの座標位置がキー領域に含まれるか否かの判定処理、ポインタの位置するキー領域に付されている領域識別情報に基づくリンク情報の読み出し処理がＣＰＵ１６１で実行される。
なお、図３３は、蓄積型の再生を前提とする。すなわち、本編画像、キー画像、タグ情報付きインデックス情報がハードディスクドライブ装置１６７からメインメモリ１６９に読み出されるものとして描いている。
従って、ストリーミング型の場合、本編画像、キー画像、タグ情報付きインデックス情報はメインメモリ１６９に直接保存された状態で処理が進行する。

（Ｃ−２）観者の操作と内部処理との関係
図３４に、観者の操作とこれに関連して実行される内部処理との対応関係を示す。なお、観者の操作は、入力装置１６３（１３３）を通じて入力される。
本編画像の再生受付時、ＣＰＵ１６１は、タグ情報付きインデックス情報の読み込みと本編画像の再生（表示）を指示する。この際、ＣＰＵ１６１は、キー画像の同期再生も指示する。また、ＣＰＵ１６１は、後述するガイド機能を起動する。ガイド機能とは、観者にキー領域の埋め込みの存在を知らせ、また適切なキー領域の操作を補助する機能である。

また、タグ付けされたオブジェクト（被写体像）のクリック操作の受付時、ＣＰＵ１６１は、クリック座標を検出し（ポインタ位置を取得し）、同一時刻が付されたキー画像よりクリック座標に対応する領域識別情報を取得する。例えば、グレースケール値を取得する。
この後、ＣＰＵ１６１は、領域識別情報を用いて同一時刻又は該当時刻を含む時間区間に対応付けられたタグ情報付きインデックス情報を参照し、対応するリンク情報より関連情報を取得する。取得した関連情報は、表示装置１６５の画面上に表示される。表示は、本編画像に対するスーパーインポーズでも良いし、子画面表示でも良い。

図３５に、前述したタグ情報表示制御機能に対応するプログラムの処理内容を示す。
プログラムは、タグ情報付きインデックス情報の読み出し処理で開始される（Ｓ２１）。次に、プログラムは、本編画像とキー画像の同期再生を制御する（Ｓ２２）。
この後、表示装置１６５の画面上に表示されるポインタ移動の入力を受け付け、ポインタ位置を判定する（Ｓ２３、Ｓ２４）。
図３６（Ａ）にポインタ１７１の表示例を示す。図では、ポインタ１７１が、被写体像の靴の位置に位置決めされている。

次に、プログラムは、ポインタ位置がキー領域内か否かを判定する（Ｓ２５）。この判定処理において、プログラムは、本編画像と同一時刻のキー画像を参照する。図３６（Ｂ）に、本編画像と対をなすキー画像を示す。繰り返しになるが、キー画像は内部処理用であり、観者に対しては表示されない。
図３６は、「００時１４分３０秒１２フレーム」について設定されたキー画像例である。この例の場合、車両の対応位置に正方形状のキー領域（グレースケール値＝２０）が設定され、靴の対応位置に円形状のキー領域（グレースケール値＝４０）が設定されている。

判定処理は、ポインタの座標（Ｘ、Ｙ）がキー領域上に位置するか否かによって実行される。
この判定処理においてポインタ位置がキー領域にないと判定された場合（否定結果が得られた場合）、プログラムは、ポインタ移動を受け付ける状態に戻る。ポインタがタグ情報の埋め込まれていない領域を指定しているためである。
一方、判定処理においてポインタ位置がキー領域にあると判定された場合（肯定結果が得られた場合）、プログラムは、キー領域の領域識別情報に基づいてタグ情報付きインデックス情報にアクセスし、操作時と同一時刻について対応する領域識別情報に対応付けられたリンク情報を読み出す（Ｓ２６）。

この後、プログラムは、リンク情報で与えられる関連情報を取得して表示装置１６５の画面上に表示させる（Ｓ２７）。
図３７に、関連情報の表示例を示す。図３７では、画面上部に関連情報のソースを示すＵＲＬアドレス（http://www.xxx.com/yy/yy）が表示される。
また、画面中央には、ポインタで指定した靴が大きな画面サイズで表示される。同時に、画面左上方には、価格（この例の場合、「９８＄」）が表示される。
勿論、観者の操作によって関連情報の表示ウィンドウを閉じることができる。

この後、プログラムは、本編画像の再生が終了したか否かを判定する（Ｓ２８）。再生中の場合（否定結果が得られた場合）、プログラムは、更なるキー領域の指定に備えてポインタ位置の入力受付状態に戻る。
一方、再生終了が確認された場合（肯定結果が得られた場合）、プログラムは、タグ情報の表示制御機能を終了する。
このような処理プログラムを、ＣＰＵ１６１に実行させることにより、タグ情報の表示処理が実行される。

（Ｃ−３）ガイド機能
以上説明したように、タグ情報付き画像データを再生することで、観者の主体的な操作の結果としてポインタ位置に埋め込まれた関連情報を画面上で確認することができる。
ここでは、観者によるキー領域の指定を補助するために好適な表示機能を説明する。

（ａ）ガイド機能１
本来、キー画像は判定処理用にのみ用意された画像であるが、観者による画面操作を補助するのに用いることも可能である。
例えば、本編画像と同期再生されるキー画像にキー領域が含まれるとき、当該キー領域に対応する本編画像の部分領域を観者が認識可能な表示態様で表示する機能（キー領域表示制御部）をタグ情報表示制御装置１３１の機能として搭載することも可能である。

図３８に、この表示機能を採用する場合の表示例を示す。図３８では、本編画像とキー画像が合成された状態で表示されている。
この際、タグ情報が埋め込まれている本編画像の部分領域の輝度を変更して表示しても良い。本編画像の本来の輝度に対して異なる輝度を与えることにより、タグ情報が埋め込まれている部分領域の識別を容易にできる。
なお、輝度変化は、キー画像を構成する各キー領域に与えられた領域識別情報（グレースケール値や色相値）に応じて与えても良い。

また、キー領域に与えられた領域識別情報の違いによらず全て同じ輝度変化を与えても良い。観者にとって必要なのは、タグ情報が埋め込まれている部分領域を識別することであり、領域の違いを識別することではなないからである。
因みに、輝度変化は、本来の輝度レベルに対して輝度を上げる場合だけでなく、輝度を下げる場合、また輝度を周期的に点滅させる方法もある。ここで、輝度変化は、本編画像の輝度の数％で与えても良い。
なお、タグ情報が埋め込まれている部分領域の輝度を一様に変更する方法は、本編画像の画質を低下させ視聴の妨げにもなる。
従って、この輝度変化による表示態様は、部分領域の輝度を変化させる表示態様が観者によって選択された場合にのみ実行されることが望ましい。もっとも、常に、タグ情報の埋め込み領域の輝度を変化させても良い。

また、タグ情報が埋め込まれている部分領域の表示態様を変更して観者に通知する手法としては、部分領域の色相を変更して表示する方法も考えられる。
例えば、色相の変化は、キー画像を構成する各キー領域に与えられた領域識別情報（色相値やグレースケール値）に応じて与えても良い。
また、キー領域に与えられた領域識別情報の違いによらず全て同じ色相変化を与えても良い。例えば、タグ情報が埋め込まれている部分領域には領域全体に赤色を付したり、赤色の枠を表示しても良い。勿論、表示に使用する色は任意である。
この色相の変化による表示態様も、部分領域の輝度を変化させる表示態様が観者によって選択された場合にのみ実行されることが望ましい。その一方、常に、タグ情報の埋め込み領域の輝度を変化させても良い。

（ｂ）ガイド機能２
前述したガイド機能１は、ポインタの位置によらず、タグ情報が埋め込まれた部分領域の表示態様を変更したが、これでは本編画像の視聴を妨げる場合も考えられる。
そこで、ポインタ位置がキー領域の範囲内と判定された場合やキー領域に近づいた場合に、タグ情報が埋め込まれている本編画像の部分領域を観者が認識可能な表示態様で表示する機能（タグ領域位置通知部）をタグ情報表示制御装置１３１の機能として搭載することも可能である。

図３９に、この表示機能を採用する場合の表示例を示す。図３９の場合も、前述した他の例と同様、被写体像の靴にタグ情報が埋め込まれている場合である。
図３９（Ａ）は、ポインタ１７３がキー画面について設定されたキー領域の上に位置しない場合の表示例である。このとき、表示画面には何らの変化も認められない。
従って、観者は、現在のポイント位置には、何らのタグ情報が埋め込まれていないことが分かる。また、本編画像の視聴に支障を与えることもない。

図３９（Ｂ）は、ポインタ１７３がキー画像について設定されたキー領域の上に位置した場合の表示例である。このとき、靴に対応するキー領域の表示態様が変化する。例えば、ガイド機能１のように輝度が変化したり、色相が変化する。
この変換によって、観者は、現在のポイント位置には、タグ情報が埋め込まれていることを視覚的に確認することができる。
なお、この表示例の場合、本編画像の表示態様の変化は、靴に対応するキー領域だけであり、車両に対応するキー領域は変化しない。
このため、タグ情報を表示させる際の本編画像の画質低下を最小限に留めることができる。特に、多数の領域にタグ情報が埋め込まれている場合に効果的である。

（ｃ）ガイド機能３
前述した２つのガイド機能では、本編画像の表示態様を変化させる場合について説明した。しかし、これでは本編画像の視聴を妨げる場合も考えられる。
そこで、ポインタ位置がキー領域の範囲内と判定されたとき、タグ情報が埋め込まれている本編画像の部分領域に位置するポインタの表示態様を変更する機能（ポインタ形状変更部）をタグ情報表示制御装置１３１の機能として搭載する手法を説明する。

図４０及び図４１に、この表示機能を採用する場合の表示例を示す。
このうち、図４０（Ａ）及び図４１（Ａ）は、いずれもポインタ１７５がキー画面について設定されたキー領域の上に位置しない場合の表示例を示している。この場合、ポインタ１７５は、基本的なサイズ及び形状で表示される。
図４０（Ｂ）及び図４１（Ｂ）は、いずれもポインタ１７５がキー画面について設定されたキー領域の上に位置した場合の表示例である。
図４０（Ｂ）では、ポインタ１７７のサイズは同じまま、輝度や色相などの表示態様が変化している例である。

図４１（Ｂ）では、ポインタ１７９の輝度や色相は同じまま、サイズや形状などの表示態様が変化している例である。
この表示機能の場合、ポインタの表示態様だけを変更することにより、本編画像の画質にはなんらの影響も与えずに済む。
また、ポインタの表示態様を変更するだけであるため演算量も少なくて済む。また、観者の注意が集まっているポインタの表示態様を変更するため、キー領域の確認が容易である。

（Ｄ）他の形態例
（ａ）前述した各機能に対応するプログラムは、ネットワーク経由で配布しても良く、記憶媒体に格納して配布しても良い。配布用の記憶媒体は、磁気記憶媒体、光学式記憶媒体、半導体記憶媒体その他を含む。
（ｂ）前述の形態例には、発明の趣旨の範囲内で様々な変形例が考えられる。また、本明細書の記載に基づいて創作される又は組み合わせられる各種の変形例及び応用例も考えられる。

リニア編集システムの構成例を示す図である。 作業画面の表示例と生成されるキー画像との対応関係を示す図である。 タグ情報生成装置としての機能構成例を示す図である。 キー画像とタグ情報を規定するキー情報との対応関係を示す図である。 インデックス情報とタグ情報を規定するキー情報との対応関係を示す図である。 インデックス情報の一例を示す図である。 タグ付け操作とこれに関連して実行される内部処理との対応関係を示す図である。 キー情報入力装置にインストールするプログラムの処理内容の概要を示す図である。 ノンリニア編集システムの構成例を示す図である。 被写体像の靴をキー領域に設定する場合の処理イメージを示す図である。 色条件によるキー領域の自動抽出機能を実現するキー領域設定部の内部構成例を示す図である。 被写体像の靴の特徴量を追従するようにキー領域を設定する場合の処理イメージを示す図である。 キー領域の自動追従機能を実現するキー領域設定部の内部構成例を示す図である。 開始点に選択した作業画面上で設定されたキー領域と終了点に選択した作業画面上で設定されたキー領域との位置関係を示す図である。 ２つの時点間で被写体像である靴が直線的に移動する場合の軌跡を示す図である。 キー領域の自動追従機能を実現するキー領域設定部の内部構成例を示す図である。 固定形状で用意するキー領域の形状例を示す図である。 固定形状で用意するキー領域の形状例を示す図である。 本編画像のサイズとキー画像のサイズの関係を示す図である。 インデックス情報に対するリンク情報の埋め込みイメージを示す図である。 リンク情報埋め込み部の内部構成例を示す図である。 リンク情報付きインデックス情報の生成例を示す図である。 タグ情報付き画像データ生成装置の内部構成例を示す図である。 タグ情報付き画像データ生成装置に対応するプログラムの処理内容の概要を示す図である。 データ出力例を示す図である。 データ出力例を示す図である。 データ出力例を示す図である。 データ出力例を示す図である。 データ出力例を示す図である。 データ出力例を示す図である。 データ出力例を示す図である。 画像再生システムの構成例を示す図である。 画像再生システムをコンピュータで実現する場合の構成例を示す図である。 観者の操作とこれに関連して実行される内部処理との対応関係を示す図である。 タグ情報表示制御機能に対応するプログラムの処理内容の概要を示す図である。 ある時点の本編画像に対するポインタの表示と対応するキー画像との対応関係を示す図である。 関連情報の表示例を示す図である。 ガイド機能による表示例を示す図である。 ガイド機能による表示例を示す図である。 ガイド機能による表示例を示す図である。 ガイド機能による表示例を示す図である。

符号の説明

３１ 時間情報取得部
３３ キー領域設定部
３５ 識別情報付与部
３６ オブジェクト識別情報付与部
３７ キー画像生成部
３９ インデックス情報生成部
１２１ リンク情報埋め込み部
１２１Ａ データベース
１２１Ｂ 情報埋め込み部
１２３ データ出力部
１３１ タグ情報表示制御装置
１４１ 再生制御部
１４３ インデックス情報読出部
１４５ ポインタ移動受付部
１４７ ポインタ位置取得部
１４９ ポインタ位置判定部
１５１ 識別情報読出部
１５３ リンク情報読出部
１５５ 関連情報表示制御部

Claims (23)

1. 作業画面に選択した本編画像の時間情報を取得する時間情報取得部と、
   作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定するキー領域設定部と、
   設定したキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する識別情報付与部と、
   本編画像と同じ時間情報を付したキー画像を生成するキー画像生成部であって、作業画面を通じて設定されたキー領域に前記領域識別情報を付与したキー画像を生成するキー画像生成部と
   を有することを特徴とするタグ情報生成装置。
2. 請求項１に記載のタグ情報生成装置において、
   前記キー領域は、作業者が事前に設定した円、多角形又は任意の形状である
   ことを特徴とするタグ情報生成装置。
3. 請求項１に記載のタグ情報生成装置において、
   前記時間情報は、タイムコードで与えられる
   ことを特徴とするタグ情報生成装置。
4. 請求項１に記載のタグ情報生成装置において、
   前記時間情報は、フレーム数で与えられる
   ことを特徴とするタグ情報生成装置。
5. 請求項１に記載のタグ情報生成装置において、
   前記キー画像の画面サイズは、本編画像の数分の１である
   ことを特徴とするタグ情報生成装置。
6. 請求項１に記載のタグ情報生成装置において、
   設定されたキー領域を作業画面の本編画像上にスーパーインポーズして表示する合成出力部
   を有することを特徴とするタグ情報生成装置。
7. 請求項１に記載のタグ情報生成装置において、
   前記キー領域設定部は、作業画面内で指定された部分領域のうち作業者が予め指定した色条件を満たす領域をキー領域に設定する
   を有することを特徴とするタグ情報生成装置。
8. 請求項１に記載のタグ情報生成装置において、
   前記キー領域設定部は、作業者が任意に特定した部分領域を本編画像から自動的に抽出し、当該部分領域の画面内の移動に追従するように各時点に対応するキー画面のキー領域を自動設定する
   ことを特徴とするタグ情報生成装置。
9. 請求項１に記載のタグ情報生成装置において、
   前記キー領域設定部は、開始点に対応する作業画面で設定されたキー領域と終了点に対応する作業画面で設定されたキー領域との位置変化に追従するように、２点間の各時点に対応するキー画面のキー領域を自動設定する
   ことを特徴とするタグ情報生成装置。
10. 請求項１に記載のタグ情報生成装置において、
    前記キー領域設定部は、予め定めた条件を満たす部分領域を本編画像から自動的に抽出し、当該部分領域に対応するキー領域を設定する
    ことを特徴とするタグ情報生成装置。
11. 請求項１０に記載のタグ情報生成装置において、
    前記予め定めた条件は、特定の色範囲で与えられる
    ことを特徴とするタグ情報生成装置。
12. 請求項１０に記載のタグ情報生成装置において、
    前記予め定めた条件は、特定の色の組み合わせで与えられる
    ことを特徴とするタグ情報生成装置。
13. 請求項１０に記載のタグ情報生成装置において、
    前記予め定めた条件は、特定の記号や形状である
    ことを特徴とするタグ情報生成装置。
14. 請求項１０に記載のタグ情報生成装置において、
    前記予め定めた条件は、特定の文字列で与えられる
    ことを特徴とするタグ情報生成装置。
15. 請求項１に記載のタグ情報生成装置において、
    前記識別情報は、明度値で与えられる
    ことを特徴とするタグ情報生成装置。
16. 請求項１に記載のタグ情報生成装置において、
    前記識別情報は、色相値で与えられる
    ことを特徴とするタグ情報生成装置。
17. 作業画面に選択した本編画像の時間情報を取得する時間情報取得部と、
    作業者が任意に特定した本編画像中の部分領域に対応する位置に設定されるキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する識別情報付与部と、
    キー領域に付与した領域識別情報と時間情報との対応関係を列記したインデックス情報を生成するインデックス情報生成部と
    を有することを特徴とするタグ情報生成装置。
18. 請求項１７に記載のタグ情報生成装置において、
    前記インデックス情報は、キー領域として指定したオブジェクトを識別するオブジェクト識別情報を、前記領域識別情報と時間情報に関連づけて列記する
    ことを特徴とするタグ情報生成装置。
19. 作業画面に選択した本編画像の時間情報を取得する時間情報取得部と、
    作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定するキー領域設定部と、
    設定したキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する識別情報付与部と、
    本編画像と同じ時間情報を付したキー画像を生成するキー画像生成部であって、作業画面を通じて設定されたキー領域に前記領域識別情報を付与したキー画像を生成するキー画像生成部と、
    キー領域に付与した領域識別情報と時間情報との対応関係を列記したインデックス情報を生成するインデックス情報生成部と
    を有することを特徴とするタグ情報生成装置。
20. 作業画面に選択した本編画像の時間情報を取得する処理と、
    作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定する処理と、
    設定したキー領域に、当該キー領域とその周辺領域との識別を可能とする領域識別情報を付与する処理と、
    本編画像と同じ時間情報を付したキー画像を生成する処理であって、作業画面を通じて設定されたキー領域に前記領域識別情報を付与したキー画像を生成する処理と
    を有することを特徴とするタグ情報生成方法。
21. 作業画面に選択した本編画像の時間情報を取得する処理と、
    作業者が任意に特定した本編画像中の部分領域に対応する位置に設定されるキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する処理と、
    キー領域に付与した領域識別情報と時間情報との対応関係を列記したインデックス情報を生成する処理と
    を有することを特徴とするタグ情報生成方法。
22. 作業画面に選択した本編画像の時間情報を取得する処理と、
    作業者が任意に特定した本編画像中の部分領域に対応する位置にキー領域を設定する処理と、
    設定したキー領域に、当該キー領域とその周辺領域との識別を可能とする領域識別情報を付与する処理と、
    本編画像と同じ時間情報を付したキー画像を生成する処理であって、作業画面を通じて設定されたキー領域に前記領域識別情報を付与したキー画像を生成する処理と
    をコンピュータに実行させることを特徴とするプログラム。
23. 作業画面に選択した本編画像の時間情報を取得する処理と、
    作業者が任意に特定した本編画像中の部分領域に対応する位置に設定されるキー領域に、当該キー領域と周辺領域との識別を可能とする領域識別情報を付与する処理と、
    キー領域に付与した領域識別情報と時間情報との対応関係を列記したインデックス情報を生成する処理と
    をコンピュータに実行させることを特徴とするプログラム。
    

Images