JP4854156B2 - リンクマークの位置情報の伝送方法と、その表示方法及びシステム - Google Patents
リンクマークの位置情報の伝送方法と、その表示方法及びシステム Download PDFInfo
- Publication number
- JP4854156B2 JP4854156B2 JP2001297565A JP2001297565A JP4854156B2 JP 4854156 B2 JP4854156 B2 JP 4854156B2 JP 2001297565 A JP2001297565 A JP 2001297565A JP 2001297565 A JP2001297565 A JP 2001297565A JP 4854156 B2 JP4854156 B2 JP 4854156B2
- Authority
- JP
- Japan
- Prior art keywords
- link mark
- position information
- information
- link
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明が属する技術分野】
本発明は画像中に表示されるリンクマークの位置情報の伝送方法及びそのシステムに関し、特に生放送のように、リンクマークを表示させたい対象物の移動位置が予測できないものであっても、対象物の移動に追従してリンクマークを表示することが出来るリンクマークの位置情報の伝送方法及びそのシステムに関する。
【０００２】
【従来の技術】
近年のデジタル化に伴い、放送業界もデジタル化が進んでいる。代表的なサービスとして、デジタル放送やデータ放送がある。
【０００３】
これらのサービスにおいて、画像中の対象物、例えば人物と、この人物の情報とをリンクさせて提供するサービスがある。このサービスでは、ある対象物が他の情報とリンクされていることを示すリンクマークを対象物上に表示させる必要がある。
【０００４】
そこで、従来では、移動する対象物に追従させるように画像中にリンクマークを表示させるため、対象物の移動を調べ、それに追従するようにリンクマークの位置情報を予め決定しておき、画像とともに送信していた。そして、タイマーなどにより、対象物の移動とのタイミングの調整を図りながら、位置情報に基づいてリンクマークを表示していた。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の方法は、予め収録された番組のように、放送に先立って、リンクマークを表示させたい対象物の移動を調べることができるものであればリンクマークを適切に表示することも可能であるが、生放送のように放送に先立って対象物の移動を調べることが出来ないものについては、リンクマークの位置情報を用意することができず、リンクマークを表示することができなかった。
【０００６】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、生放送のように、リンクマークを表示させたい対象物の移動位置が予測できないものであっても、対象物の移動に追従してリンクマークの位置情報を適切に受信側に伝送することができ、リンクマークを適切に表示することが出来るリンクマークの位置情報の伝送の技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成する第１の本発明は、データ放送におけるリンクマークの位置情報の伝送方法であって、画像中の所定の対象物を特定するリンクマークの位置情報を、イベントメッセージに記述し、符号化された画像とは異なる情報として、前記リンクマークの表示位置を変更する必要が生じるごとに、符号化された画像と多重化したトランスポートストリームを伝送することを特徴とする。
【０００８】
上記目的を達成する第２の本発明は、データ放送におけるリンクマークの位置情報の伝送方法であって、画像中の所定の対象物を特定するリンクマークの位置情報を、ＭＰＥＧ２におけるトランスポート・プライベート・データ領域、または、ＭＰＥＧ２におけるＰＥＳのプライベート・データ領域に記述し、符号化された画像とは異なる情報として、前記リンクマークの表示位置を変更する必要が生じるごとに、符号化された画像と多重化したトランスポートストリームを伝送することを特徴とする。
【００１１】
上記目的を達成する第３の本発明は、上記第１又は第２の発明において、表示するリンクマークが複数ある場合、リンクマークの位置情報に、どの対象物のリンクマークかを識別する識別情報を含めることを特徴とする。
【００１２】
上記目的を達成する第４の本発明は、上記第１から第３の発明のいずれかにおいて、表示するリンクマークが複数ある場合、リンクマークの位置情報に、対象物の付属情報を含めることを特徴とする。
【００１３】
上記目的を達成する第５の本発明は、上記第１から第４の発明のいずれかにおいて、画像のカット点において、リンクマークの位置情報をリセットする情報を伝送することを特徴とする。
【００１４】
上記目的を達成する第６の本発明は、動画像中の対象物を特定するリンクマークを表示させる表示方法であって、符号化された画像とは異なる情報として、前記リンクマークの表示位置を、イベントメッセージ、ＭＰＥＧ２におけるトランスポート・プライベート・データ領域、または、ＭＰＥＧ２におけるＰＥＳのプライベート・データ領域に記述し、前記リンクマークの表示位置を変更する必要が生じるごとに、トランスポートストリームに多重された動画像の所定の対象物を特定するリンクマークの位置情報を受信するステップと、前記受信したリンクマークの位置情報に基づいてリンクマークを表示するステップとからなることを特徴とする。
【００１８】
上記目的を達成する第７の本発明は、上記第６の発明において、表示するリンクマークが複数ある場合、リンクマークの位置情報に、どの対象物のリンクマークかを識別する識別情報を含めることを特徴とする。
【００１９】
上記目的を達成する第８の本発明は、上記第６又は第７の発明において、表示するリンクマークが複数ある場合、リンクマークの位置情報に、対象物の付属情報を含めることを特徴とする。
【００２０】
上記目的を達成する第９の本発明は、上記第６から第８の発明のいずれかにおいて、画像のカット点において、リンクマークの位置情報をリセットする情報を伝送することを特徴とする。
【００２１】
上記目的を達成する第１０の本発明は、データ放送におけるリンクマークの位置情報の伝送システムであって、画像中の所定の対象物を特定する手段と、前記特定された対象物の画像中の座標情報を計算する手段と、前記計算された座標情報に基づいて、対象物を識別する為のリンクマークの位置情報を生成する手段と、
前記画像を符号化する手段と、イベントメッセージ、ＭＰＥＧ２におけるトランスポート・プライベート・データ領域、または、ＭＰＥＧ２におけるＰＥＳのプライベート・データ領域に記述した前記リンクマークの位置情報と、前記符号化された画像とを多重化してトランスポートストリームを伝送する手段とを有することを特徴とする。
【００２５】
上記目的を達成する第１１の本発明は、上記第１０の発明において、移動する対象物を追跡して対象物の画像中の座標情報を更新する手段を更に有することを特徴とする。
【００２６】
上記目的を達成する第１２の本発明は、上記第１０又は第１１の発明において、対象物の移動に対して、空間的又は時間的マージンを記憶し、対象物の移動が前記空間的又は時間的マージン内である場合には、リンクマークの位置情報を更新しない手段を更に有することを特徴とする。
【００２７】
上記目的を達成する第１３の本発明は、上記第１０から第１２の発明のいずれかにおいて、入力された複数の映像信号を選択して出力すると共に、出力される映像信号を識別する識別情報を出力する映像切替手段と、前記入力される各映像信号におけるリンクマーク位置情報を規定するパラメータ情報が記憶され、前記識別情報に対応するパラメータ情報にもとづいて、リンクマーク位置情報を生成する手段を更に有することを特徴とする。
【００２８】
【発明の実施の形態】
本発明の実施の形態を説明する。
【００２９】
尚、実施の形態の説明にあたって、本発明の効果がより顕著に表れる例として、スポーツ番組などの生放送を例にして説明する。
【００３０】
図１は本実施の形態を説明する為の図である。
【００３１】
本発明は、図１に示されるように、所定の対象物（選手）を区別するためのリンクマークを表示する表示位置の情報（以下、リンクマーク位置情報という）を、対象物の動きに追従させる為に、画像データとは別に又は画像データとともに、リアルタイム、すなわちリンクマークの表示位置を変更する必要が生じる度に伝送することを特徴とする。
【００３２】
ここでリンクマークは、図１に示される如く、選手（対象物）を囲むような四角形であっても良いし、また、画面に表示されている選手上の任意場所に表示される点でも良く、さらに矢印のようなアイコンでも良く、他と区別しようとする選手（対象物）が識別できれば、どのような形であっても良い。
【００３３】
リンクマーク位置情報としては、例えば座標などが考えられる。リンク情報が選手（対象物）を囲むような四角形である場合、四角形の向かい合う二つの頂点の座標を与えれば、リンクマークの位置や大きさを特定することができる。また、四角形である場合、４つの頂点の座標を位置情報としても良い。さらに、リンクマークが選手上の任意場所に表示される点である場合には、リンクマーク位置情報は１つの座標の情報であっても良い。
【００３４】
また、リンクマークで特定される画像中の対象物にリンク情報がある場合や、リンクマークを表示させたい対象物が複数ある場合、リンクマークを特定するリンク識別情報（リンクＩＤ）を、リンクマーク位置情報に含めて伝送しても良い。
【００３５】
さらに、対象物が複数ある場合、複数のリンクマーク位置情報を一つにまとめても良い。
【００３６】
さらに、対象物の付属情報、例えば対象物が選手である場合に、選手の名前や、現在の順位などの情報を、リンクマーク位置情報に含めて伝送しても良い。
【００３７】
そして、上述のようなリンクマーク位置情報を、リンクマークの表示位置を変更する必要が生じる毎に伝送する。伝送の方法としては、放送局から受信機で動作しているリンクマークを表示させるためのアプリケーションに対して、即座に位置情報を提供できる手段を用いる。この手段の代表的なものとしては、ＡＲＩＢ ＳＴＤ−Ｂ２４に規定されているイベントメッセージや、ＭＰＥＧで規定されているトランスポート・プライベート・データ領域や、ＰＥＳ（Packetized Elementary Stream）のプライベート・データ領域がある。
【００３８】
一方、受信側には、上述の伝送手段により、伝送されたリンクマーク位置情報に基づいて、リンクマークを表示させるための機能を持たせる。この機能を実現させる手段として、リンクマーク位置情報に基づいてリンクマークを表示させるためプログラムを受信機に搭載することで可能となる。尚、プログラムの記述方法として、ＡＲＩＢ ＳＴＤ−Ｂ２４に規定されているＢＭＬが代表的なものであるが、他のものであっても良い。
【００３９】
以上に本発明の概要を説明したが、以下具体的な説明を行う。
【００４０】
尚、本説明にあたって、リンクマーク位置情報を、ＡＲＩＢ ＳＴＤ−Ｂ２４に規定されているイベントメッセージを用いて伝送する場合を例にして説明する。
【００４１】
まず、リンクマークを図２に示される如く四角形とし、画面全体を図３に示されるような４８０×７２０ドットの座標系（原点は左上）とした場合、リンクマーク位置情報を四角形の向かい合う二つの頂点ｐ，ｑの座標として説明する。
【００４２】
具体的に説明すると、リンクマークを、画面の左上から（１２０，１２０）の位置から横１００、縦１２０の領域に表示させたい場合、イベントメッセージ記述子のprivate_data_byteに
（ｐ（１２０，１２０）， ｑ（２２０，２４０））
という内容を記述する。尚、これらの単位はドットである。
【００４３】
さらに、図４に示す如く、画像中の特定する対象物が２名の選手、例えばＡ氏とＢ氏である場合、この２名の選手を区別するために四角形のリンクマークが区別されるものでなくてはならいない。
【００４４】
そこで、本説明においては、Ａ氏のリンクマークを実線で、Ｂ氏のリンクマークを点線で表示するものとする。
【００４５】
このため、リンクマーク位置情報に、単なるリンクマークの表示位置を示す情報のみならず、伝送するリンクマーク位置情報がＡ氏とＢ氏のいずれのリンクマーク位置情報であるかを識別する情報を含める。
【００４６】
すると、Ａ氏のリンクマーク位置情報は、例えば、
（Ａ，ｐ（１２０，１２０）， ｑ（２２０，２４０））
となり、
Ｂ氏のリンクマーク位置情報は、例えば、
（Ｂ，ｐ（２５０，１８０）， ｑ（３５０，３００））
となる。
【００４７】
ここで、リンクマーク位置情報のうち“Ａ”はＡ氏のリンクマーク位置情報であることを示し、“Ｂ”はＢ氏のリンクマーク位置情報であることを示している。
【００４８】
一方、受信側では、ＢＭＬで記述されたコンテンツは、リンクマーク位置情報に含まれる“Ａ”はＡ氏のリンクマーク位置情報を示しており、座標情報に基づいてリンクマークを実線で表示し、“Ｂ”はＢ氏のリンクマーク位置情報であることを示しており、座標情報に基づいてリンクマークを点線で表示させるようにプログラムを設定しておく。そして、上述のリンクマーク位置情報が受信されると、図４に示される如く、Ａ氏のリンクマークを画面の左上から（１２０，１２０）の位置から幅１００、縦１２０の領域に実線で表示し、Ｂ氏のリンクマークを画面の左上から（２５０，１８０）の位置から幅に１００、縦１２０の領域に点線で表示する。
【００４９】
続いて、Ａ氏、Ｂ氏ともに図５の状態のように移動した場合を想定する。この場合、既に受信したリンクマーク位置情報ではカバーしきれない位置にＡ氏、Ｂ氏ともに移動しており、新たなリンクマーク位置情報が必要となる。そこで、イベントメッセージにより新たなリンクマーク位置情報を伝送する。
【００５０】
例えば、図５の状態でＡ氏のリンクマーク位置情報は、
（Ａ，ｐ（２６０，１８０）， ｑ（３６０，３００））
となる。
【００５１】
同様に、Ｂ氏のリンクマーク位置情報は、
（Ｂ，ｐ（４８０，１１０）， ｑ（５８０，２３０））
となる。
【００５２】
このようにして、移動する選手たちを追従しながら、リンクマーク位置情報をリアルタイムに伝送していくことにより、移動する選手たちの上にリンクマークを表示し続けることが可能となる。
【００５３】
尚、上述の実施の形態では、リンクマーク位置情報を、四角形の向かい合う二つの頂点の座標情報としたが、リンクマークが選手（対象物）を囲むような四角形である場合、４つの頂点の座標情報であっても良い。
【００５４】
例えば、画像全体を一つの座標系としてとらえ、画面左上を原点とする。そして、図６に示されるように、リンクマークの四角形を特定する４つの頂点の座標（ｐ，ｑ，ｒ，ｍ）を、リンクマーク位置情報とする。
【００５５】
すると、図４の状態でＡ氏のリンクマーク位置情報は、
（Ａ，ｐ（１２０，１００）， ｑ（２４０，１００），ｒ（１２０，２２０）， ｍ（２４０，２２０））
となる。
【００５６】
同様に、Ｂ氏のリンクマーク位置情報は、
（Ｂ， ｐ（２５０，１８０）， ｑ（３５０，１８０）， ｒ（２５０，３００）， ｍ（３５０，３００））
となる。
【００５７】
以上のようにリンクマーク位置情報を四角形の４つの頂点の座標情報としても良い。
【００５８】
次に、上述した方法を達成する具体的なシステムについて説明する。
【００５９】
図７は本システムに係る具体的なブロック図である。
【００６０】
図７中、１はカメラ、２はカメラ１からのビデオ画像に基づいてリンクマーク位置情報を生成するリンクマーク位置情報生成装置、３はデータカルーセル及びイベントメッセージの送出を行うデータ送出部、４はカメラ１からのビデオ画像をエンコードするエンコーダ、５はデータ送出部３からのデータとエンコードされたビデオ画像とを多重化する多重化部、６は多重化されたデータ（ＴＳ）を変調して送出する変調部、７は変調部６からのデータを受信する受信機である。
【００６１】
まず、リンクマーク位置情報生成装置２について詳細に説明する。
【００６２】
リンクマーク位置情報の生成であるが、手作業により、リンクマークの座標を入力するようにしても良いが、移動するオブジェクトに対して、オブジェクトを追跡しながら座標を入力することは、多くの労力を必要とする。
【００６３】
そこで、以下にリンクマーク位置情報を自動的に生成するリンクマーク位置情報生成装置２について説明する。
【００６４】
図８はリンクマーク位置情報生成装置２のブロック図である。
【００６５】
図８中、１０はビデオ信号が入力される対象物特定部である。この対象物特定部１０は、対象物が表示されるディスプレイと、タッチパネルやマウス等のポインティングデバイスとを有し、ディスプレイを介してタッチパネルに表示されている対象物を押下することにより、対象物を特定する。そして、対象物の押下された部分を中心として、予め定められた領域を示す領域情報を生成する。この領域情報は、例えば、上述した四角形の向かい合う二つの頂点ｐ，ｑの座標である。また、その領域情報の元となる領域（大きさ）は、予め設定し、記憶させておく。
尚、本例では、領域情報の元となる領域（大きさ）を予め設定して記憶させる構成としたが、対象物を特定する際、例えば、左上→右下と押下することにより、領域情報の元となる領域（大きさ）を設定できるように構成しても良い。この場合、押下した左上の点と右下の点とで決定される四角形の枠内の範囲が領域の大きさとなる。
【００６６】
また、対象物が複数ある場合を想定し、対象物毎にその対象物を識別する対象物識別情報を出力する。
【００６７】
ここで、具体例を説明する。例えば、画像中に対象物として２名の選手、例えばＡ氏とＢ氏があり、Ａ氏を対象物として特定する場合を考える。この場合、まず、対象物がＡ氏であることを識別する為に、対象物特定部１０に記憶されている対象物識別情報のなかからＡ氏を識別する為の識別情報を選択しておく。ここでは、Ａ氏の識別情報をＡとする。また、対象物特定部１０に設定されている領域（大きさ）が、横１００、縦１００の正方形とする。
【００６８】
そして、対象物（Ａ氏）を特定した際（タッチパネルを押下）に特定された座標が、（１２０，１２０）だとすると、領域情報は
（ｐ（７０，７０）， ｑ（１７０，１７０））
である。
【００６９】
また、Ａ氏を識別する為の識別情報はＡであるので、Ａ氏の識別情報Ａを出力する。
【００７０】
１１は対象物追跡部である。この対象物追跡部１１は、対象物特定部１０で特定された対象物の移動の際、その対象物を自動追尾する手段である。そして、追尾後の対象物の領域情報を出力する。
【００７１】
対象物追跡部１１では、対象物を自動追尾する方法を限定するものではないが、以下に代表的な自動追尾の方法について述べる。
【００７２】
自動追尾の方法としては、パターンマッチングが一般的である。このパターンマッチングの代表的なものとして、テンプレートマッチング方法がある。このテンプレートマッチング方法は、既知の対象（つまり追跡対象となる物体）をあらわすテンプレート（対象領域の画像データ、尚、本実施の形態では、領域情報で特定される領域、例えば二つの頂点ｐ，ｑの座標で特定される四角形の領域に相当する）の位置をずらしながら、各点で画像との類似度を計算し、それが最大となる点を検出する方法である。さらに、テンプレートマッチングには正規化された相互相関を用いて類似度を計算する相関法があり、ほかにも残差逐次検定法など計算量を削減して高速化する方法などが存在する。
【００７３】
また、他のパターンマッチングの方法としては、関係構造マッチングがあり、これは画像から、例えば輪郭や各種統計量などの特徴を抽出し、その特徴間の比較マッチングを行う手法である。
【００７４】
１２はリンクマーク位置情報生成部である。このリンクマーク位置情報生成部１２は、対象物追跡部１１からの領域情報に基づいて、リンクマーク位置情報を生成し、出力するものである。例えば、領域情報が
（ｐ（７０，７０）， ｑ（１７０，１７０））であり、
Ａ氏を識別する為の識別情報はＡである場合には、二つの情報を合成してリンクマーク位置情報
（Ａ，ｐ（７０，７０）， ｑ（１７０，１７０））
を生成する。
【００７５】
尚、リンクマーク位置情報の生成は、予め定められた周期、例えば、１秒ごとに行われる。
【００７６】
データ送出部３は、予め受信機で動作させるＢＭＬで記述されたプログラムが記憶されており、このプログラムをデータカルーセルで送出すると共に、リンクマーク位置情報生成装置２からのリンクマーク位置情報をイベントメッセージとして送出する。
【００７７】
ＢＭＬで記述されたプログラムは、リンクマーク位置情報を受信すると、リンクマーク位置情報に記述されているリンクマークの座標を解析し、リンクマークを表示する位置を設定する。そして、対象物の識別情報により、リンクマークの線種や色等を決定し、その線種や色等でリンクマークを画面に表示するプログラムである。
【００７８】
受信機７では、プログラム及びイベントメッセージを受信し、上述のプログラムを実行し、イベントメッセージとして受信したリンクマーク位置情報に基づいて、リンクマークを表示する。
【００７９】
続いて、上述の動作について説明する。
図９は伝送システムの動作を説明する為のフローチャートである。
【００８０】
まず、データ送出部３に、受信機で動作させるＢＭＬで記述されたプログラムを格納しておき、プログラムをデータカルーセルで送出できるようにしておく（Ｓｔｅｐ １００）。格納されるプログラムは、上述した動作を行うものであるが、リンクマークの大きさを、横１００、縦１００の正方形とし、また、識別情報が“Ａ”の場合にはリンクマークを実線で、“Ｂ”の場合にはリンクマークを点線で表示するように記述されているものとする。
【００８１】
続いて、プログラムをデータカルーセルで送出する（Ｓｔｅｐ １０１）。
受信機７では、プログラムを受信し（Ｓｔｅｐ １０２）、イベントメッセージとして送出されてくるリンクマーク位置情報を受信できるように、受信したプログラムの待ち受けプログラムを実行する（Ｓｔｅｐ １０３）。
【００８２】
一方、イベントメッセージの送出側では、対象物特定部１０により、対象物を特定する（Ｓｔｅｐ １０４）。ここでは、例えば、画像中に対象物として２名の選手、例えばＡ氏とＢ氏があり、Ａ氏を対象物として特定する場合を考える。この場合、まず、対象物がＡ氏であることを識別する為に、対象物特定部１０に記憶されている対象物識別情報のなかからＡ氏を識別する為の識別情報を選択しておく。ここでは、Ａ氏の識別情報をＡとする。また、対象物特定部１０に設定されている領域（大きさ）が、横１００、縦１００の正方形である。そして、対象物（Ａ氏）を特定した際（タッチパネルを押下）に特定された座標が、（１２０，１２０）だとすると、領域情報は
（ｐ（７０，７０）， ｑ（１７０，１７０））
である。また、Ａ氏を識別する為の識別情報はＡであるので、Ａ氏の識別情報Ａを出力する。
【００８３】
続いて、対象物追跡部１１は、対象物特定部１０で特定された対象物の移動を追跡し、追跡できる場合には新たな領域情報を出力する（Ｓｔｅｐ １０５、Ｓｔｅｐ １０６）。
尚、対象物が大きく移動した場合や、カメラ切り替えなどのシーンチェンジで対象物を追跡できなくなった場合は、Ｓｔｅｐ１０４に戻り同様な動作を繰り返す（Ｓｔｅｐ １０６）。
【００８４】
リンクマーク位置情報生成部１２では、対象物追跡部１１からの領域情報に基づいて、リンクマーク位置情報を生成し、設定された周期で出力する（Ｓｔｅｐ
１０７）。例えば、領域情報が
（ｐ（７０，７０）， ｑ（１７０，１７０））であり、
Ａ氏を識別する為の識別情報はＡである場合には、二つの情報を合成してリンクマーク位置情報
（Ａ，ｐ（７０，７０）， ｑ（１７０，１７０））
を生成する。
【００８５】
データ送出部３では、リンクマーク位置情報生成部１２からのリンクマーク位置情報をイベントメッセージとして送出する（Ｓｔｅｐ １０８）。
以下、Ｓｔｅｐ １０５に戻り同様な動作を繰り返す。
【００８６】
受信機７では、リンクマーク位置情報を受信し（Ｓｔｅｐ １０９）、表示プログラムを実行し（Ｓｔｅｐ １１０）、イベントメッセージとして受信したリンクマーク位置情報に基づいて、リンクマークが表示される（Ｓｔｅｐ １１１）。例えば、受信したリンクマーク位置情報が（Ａ，ｐ（７０，７０）， ｑ（１７０，１７０））である場合、頂点ｐ（７０，７０）， ｑ（１７０，１７０）で特定される横１００、縦１００の正方形のリンクマークが実線で表示される。
以下、Ｓｔｅｐ １０３に戻り同様な動作を繰り返す。
【００８７】
このようにして、リンクマークが自動的に表示されていく。尚、リンクマークを複数用いる場合、例えば、Ｂ氏についても同様な動作でリンクマーク位置情報を生成し、リンクマークを表示させる。尚、上述の場合、Ｂ氏のリンクマークは、点線で表示される。
【００８８】
次に、リンクマーク位置情報生成装置２の第２の実施の形態を説明する。
【００８９】
上述した実施の形態では、自動的に対象物が追尾して逐次座標データを生成するシステムについて説明した。しかしながら、自動追尾の方法によっては、僅かな対象物の移動に対しても、リンクマーク位置情報（座標データ）を更新してしまうので、人間の視覚判断によっては、その僅かな対象物の移動による座標の変化、すなわちリンクマークの移動についていけず、かえって煩わしい場合もある。そこで、第２の実施の形態では、対象物の空間的又は時間的な移動に対してリンクマークの更新にマージンを設けて、対象物の移動がそのマージン内であるならば、リンクマーク位置情報（座標データ）座標を更新しないようにしたことを特徴とする。
【００９０】
図１０は第２の実施の形態におけるリンクマーク位置情報生成装置２のブロック図である。
【００９１】
第２の実施の形態のリンクマーク位置情報装置２が上述した実施の形態のリンクマーク位置情報生成装置２と異なる所は、マージン設定部２０を設けたことである。このマージン設定部２０は、リンクマーク位置情報生成部１２に対して、対象物の移動によるリンクマーク位置情報（座標データ）の更新をしない範囲である空間的又は時間的マージンを定めるものである。
【００９２】
ここで、空間的又は時間的なマージンについて説明する。
【００９３】
空間的なマージンとは、対象物の移動によってリンクマーク位置情報（座標データ）が変化しても、そのリンクマーク位置情報（座標データ）の変化量が、予め定められた空間的な範囲内であれば、リンクマーク位置情報（座標データ）を更新しない範囲をいう。図１１は、対象物のＸ軸に対する空間マージンの例を示したものであり、対象物のＸ軸方向の移動が空間マージン幅にある場合には、リンクマーク位置情報（座標データ）を更新しない。空間マージンの具体的な例であるが、例えば、画面のフルサイズ横（x軸）６４０pixel（画素）、縦（ｙ軸）５１２pixel（これらの値は装置のハードウエアによる）に対し、空間マージンは、０から７０pixel（横で画面サイズの9分の1くらい）の間である。また、画面の中の対象物の動きによってマージンの設定を変えることが好ましく、例えば、一方向にしか動かないものは、０pixel つまり マージンなしですぐに追従するほうが人間から見てわかりやすい。また、マラソン中継など小刻みにゆれる場合や対談番組など出演者の頭が小刻みにゆれたりする場合などは、10-70pixelくらいの間で空間マージンを設定することが好ましい。
【００９４】
次に、時間的なマージンとは、対象物が一定の時間内に移動したとしても、再び元の場所に復帰するような場合、その一定の時間をいう。図１２は、対象物の時間マージンの例を示したものであり、対象物が移動後、再び対象物がマージン時間内に元の場所又は空間マージン内に復帰する場合には、リンクマーク位置情報（座標データ）を更新しない。時間的マージンの具体例であるが、例えば、短時間で、はみだして、また元の位置にもどる動きについては、0.1秒以下（テレビでいうと１−３フレームぐらい）が好ましい。
【００９５】
リンクマーク位置情報生成部１２では、マージン設定部２０により設定されたマージンを記憶し、対象物追跡部１１からの領域情報と、前回の対象物追跡部１１からの領域情報とを比較し、移動量がマージンの範囲内であれば、リンクマーク位置情報（座標データ）を更新せず、新しいリンクマーク位置情報（座標データ）を出力しない。
【００９６】
以上の構成により、座標が頻繁に変化することによるリンクの煩雑な移動を防ぐことができる。
【００９７】
続いて、上記の構成における動作を説明する。
図１３はマージンの判定動作を説明する為のフローチャートである。尚、上述した実施の形態と異なるもについてのみ説明する。
【００９８】
まず、リンクマーク位置情報生成部１２は、対象物追跡部１１から出力された領域情報と、前回対象物追跡部１１から出力された領域情報とを比較し（Ｓｔｅｐ ２００）、差が設定されているマージン内か否かを判定する（Ｓｔｅｐ ２０１）。
【００９９】
リンクマーク位置情報生成部１２は、差がマージン内であれば（Ｓｔｅｐ ２０２）、新たなリンクマーク位置情報を生成しない（Ｓｔｅｐ ２０３）。一方、差がマージンを超える場合には（Ｓｔｅｐ ２０２）、新たなリンクマーク位置情報を生成して出力する（Ｓｔｅｐ ２０４）。
【０１００】
尚、リンクマーク位置情報生成部１２は、上記の動作以外に上述した動作と同様に定められた周期毎にリンクマーク位置情報を生成して出力する。
【０１０１】
リンクマーク位置情報生成装置２の第３の実施の形態を説明する。
【０１０２】
第３の実施の形態では、図１４に示す如く、カメラ毎に上述した実施の形態で説明したシステムを設けることを特徴とする。通常、番組制作時の複数のカメラは、それぞれ役割を持っており、撮影対象物とサイズなどの構図がおおむね決定されている。そこで、入力情報の初期設定値（例えば、マージン設定部で設定されるマージン）をカメラ毎に決めておくことにより、作業の効率化を図ることができる。
【０１０３】
リンクマーク位置情報生成装置２の第４の実施の形態を説明する。
【０１０４】
第４の実施の形態では、複数のカメラをスイチャ等の映像切替機に接続してカメラを切替えて用いる場合、映像切替機の切替情報により、リンクマーク位置情報のパラメータの切替を行うことを特徴とする。
【０１０５】
図１５は第４の実施の形態におけるリンクマーク位置情報生成装置のブロック図である。
【０１０６】
図１５中、３０はスイッチャであり、複数のカメラ３１ａ〜３１ｎが接続されており、切替により、複数のカメラのうち１台のカメラのビデオ信号を選択して出力する。また、選択されたカメラを識別するカメラ識別情報を対象物特定部１０及びマージン設定部２０に出力する。
【０１０７】
対象物特定部１０には、カメラの識別情報毎にそのカメラ時の対象物の識別情報とリンクマークの領域の大きさとが予め記憶されている。また、マージン設定部２０には、カメラの識別情報毎にマージン値と物体の識別番号とが予め記憶されている。そして、スイッチャ３０からのカメラ識別情報に対応するカメラの各パラメータをリンクマーク位置情報生成部１２に出力する。
【０１０８】
このような構成にすることにより、複数のカメラを用いる場合であっても、適切なリンクマーク位置情報を生成することができる。
【０１０９】
第５の実施の形態を説明する。
【０１１０】
第５の実施の形態は、第１の実施の形態で述べたリンクマークにリンクして、リンク情報を表示させることを特徴とする。
【０１１１】
例えば、Ａ氏とＢ氏の選手情報が別途入手可能であり、表示されているリンクマークが選択された場合、選択されたリンクマークに対応した情報を表示させるようにする。Ａ氏のリンクマークが選択された場合、リンクマーク位置情報により、選択されたリンクマークはＡ氏のものであることが分かっているので、Ａ氏のリンク情報、すなわちＡ氏の選手情報を表示するようにする。
【０１１２】
【発明の効果】
本発明によれば、リンクマークの位置情報をリアルタイムで伝送することができるので、生番組のようにリンクマークの対象物の移動が特定できないものであっても、対象物の移動に合わせてリンクマークを表示することが出来る。
【図面の簡単な説明】
【図１】図１は本実施の形態を説明する為の図である。
【図２】図２は本実施の形態を説明する為の図である。
【図３】図３は本実施の形態を説明する為の図である。
【図４】図４は本実施の形態を説明する為の図である。
【図５】図５は本実施の形態を説明する為の図である。
【図６】図６は本実施の形態を説明する為の図である。
【図７】図７はリンクマーク位置情報伝送システムのブロック図である。
【図８】図８はリンクマーク位置情報生成装置２のブロック図である。
【図９】図９はリンクマーク位置情報伝送システムの動作フローチャートである。
【図１０】図１０はリンクマーク位置情報生成装置２の第２の実施の形態のブロック図である。
【図１１】図１１は対象物のＸ軸に対する空間マージンの例を示した図である。
【図１２】図１２は対象物の時間マージンの例を示した図である。
【図１３】図１３はマージン判定の動作フローチャートである。
【図１４】図１４はリンクマーク位置情報生成装置２の第３の実施の形態を説明する為の図である。
【図１５】図１５はリンクマーク位置情報生成装置２の第４の実施の形態のブロック図である。
【符号の説明】
１ カメラ
２ リンクマーク位置情報生成装置
３ データ送出部
４ エンコーダ
５ 多重化部
６ 変調部
７ 受信機
【発明が属する技術分野】
本発明は画像中に表示されるリンクマークの位置情報の伝送方法及びそのシステムに関し、特に生放送のように、リンクマークを表示させたい対象物の移動位置が予測できないものであっても、対象物の移動に追従してリンクマークを表示することが出来るリンクマークの位置情報の伝送方法及びそのシステムに関する。
【０００２】
【従来の技術】
近年のデジタル化に伴い、放送業界もデジタル化が進んでいる。代表的なサービスとして、デジタル放送やデータ放送がある。
【０００３】
これらのサービスにおいて、画像中の対象物、例えば人物と、この人物の情報とをリンクさせて提供するサービスがある。このサービスでは、ある対象物が他の情報とリンクされていることを示すリンクマークを対象物上に表示させる必要がある。
【０００４】
そこで、従来では、移動する対象物に追従させるように画像中にリンクマークを表示させるため、対象物の移動を調べ、それに追従するようにリンクマークの位置情報を予め決定しておき、画像とともに送信していた。そして、タイマーなどにより、対象物の移動とのタイミングの調整を図りながら、位置情報に基づいてリンクマークを表示していた。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の方法は、予め収録された番組のように、放送に先立って、リンクマークを表示させたい対象物の移動を調べることができるものであればリンクマークを適切に表示することも可能であるが、生放送のように放送に先立って対象物の移動を調べることが出来ないものについては、リンクマークの位置情報を用意することができず、リンクマークを表示することができなかった。
【０００６】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、生放送のように、リンクマークを表示させたい対象物の移動位置が予測できないものであっても、対象物の移動に追従してリンクマークの位置情報を適切に受信側に伝送することができ、リンクマークを適切に表示することが出来るリンクマークの位置情報の伝送の技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成する第１の本発明は、データ放送におけるリンクマークの位置情報の伝送方法であって、画像中の所定の対象物を特定するリンクマークの位置情報を、イベントメッセージに記述し、符号化された画像とは異なる情報として、前記リンクマークの表示位置を変更する必要が生じるごとに、符号化された画像と多重化したトランスポートストリームを伝送することを特徴とする。
【０００８】
上記目的を達成する第２の本発明は、データ放送におけるリンクマークの位置情報の伝送方法であって、画像中の所定の対象物を特定するリンクマークの位置情報を、ＭＰＥＧ２におけるトランスポート・プライベート・データ領域、または、ＭＰＥＧ２におけるＰＥＳのプライベート・データ領域に記述し、符号化された画像とは異なる情報として、前記リンクマークの表示位置を変更する必要が生じるごとに、符号化された画像と多重化したトランスポートストリームを伝送することを特徴とする。
【００１１】
上記目的を達成する第３の本発明は、上記第１又は第２の発明において、表示するリンクマークが複数ある場合、リンクマークの位置情報に、どの対象物のリンクマークかを識別する識別情報を含めることを特徴とする。
【００１２】
上記目的を達成する第４の本発明は、上記第１から第３の発明のいずれかにおいて、表示するリンクマークが複数ある場合、リンクマークの位置情報に、対象物の付属情報を含めることを特徴とする。
【００１３】
上記目的を達成する第５の本発明は、上記第１から第４の発明のいずれかにおいて、画像のカット点において、リンクマークの位置情報をリセットする情報を伝送することを特徴とする。
【００１４】
上記目的を達成する第６の本発明は、動画像中の対象物を特定するリンクマークを表示させる表示方法であって、符号化された画像とは異なる情報として、前記リンクマークの表示位置を、イベントメッセージ、ＭＰＥＧ２におけるトランスポート・プライベート・データ領域、または、ＭＰＥＧ２におけるＰＥＳのプライベート・データ領域に記述し、前記リンクマークの表示位置を変更する必要が生じるごとに、トランスポートストリームに多重された動画像の所定の対象物を特定するリンクマークの位置情報を受信するステップと、前記受信したリンクマークの位置情報に基づいてリンクマークを表示するステップとからなることを特徴とする。
【００１８】
上記目的を達成する第７の本発明は、上記第６の発明において、表示するリンクマークが複数ある場合、リンクマークの位置情報に、どの対象物のリンクマークかを識別する識別情報を含めることを特徴とする。
【００１９】
上記目的を達成する第８の本発明は、上記第６又は第７の発明において、表示するリンクマークが複数ある場合、リンクマークの位置情報に、対象物の付属情報を含めることを特徴とする。
【００２０】
上記目的を達成する第９の本発明は、上記第６から第８の発明のいずれかにおいて、画像のカット点において、リンクマークの位置情報をリセットする情報を伝送することを特徴とする。
【００２１】
上記目的を達成する第１０の本発明は、データ放送におけるリンクマークの位置情報の伝送システムであって、画像中の所定の対象物を特定する手段と、前記特定された対象物の画像中の座標情報を計算する手段と、前記計算された座標情報に基づいて、対象物を識別する為のリンクマークの位置情報を生成する手段と、
前記画像を符号化する手段と、イベントメッセージ、ＭＰＥＧ２におけるトランスポート・プライベート・データ領域、または、ＭＰＥＧ２におけるＰＥＳのプライベート・データ領域に記述した前記リンクマークの位置情報と、前記符号化された画像とを多重化してトランスポートストリームを伝送する手段とを有することを特徴とする。
【００２５】
上記目的を達成する第１１の本発明は、上記第１０の発明において、移動する対象物を追跡して対象物の画像中の座標情報を更新する手段を更に有することを特徴とする。
【００２６】
上記目的を達成する第１２の本発明は、上記第１０又は第１１の発明において、対象物の移動に対して、空間的又は時間的マージンを記憶し、対象物の移動が前記空間的又は時間的マージン内である場合には、リンクマークの位置情報を更新しない手段を更に有することを特徴とする。
【００２７】
上記目的を達成する第１３の本発明は、上記第１０から第１２の発明のいずれかにおいて、入力された複数の映像信号を選択して出力すると共に、出力される映像信号を識別する識別情報を出力する映像切替手段と、前記入力される各映像信号におけるリンクマーク位置情報を規定するパラメータ情報が記憶され、前記識別情報に対応するパラメータ情報にもとづいて、リンクマーク位置情報を生成する手段を更に有することを特徴とする。
【００２８】
【発明の実施の形態】
本発明の実施の形態を説明する。
【００２９】
尚、実施の形態の説明にあたって、本発明の効果がより顕著に表れる例として、スポーツ番組などの生放送を例にして説明する。
【００３０】
図１は本実施の形態を説明する為の図である。
【００３１】
本発明は、図１に示されるように、所定の対象物（選手）を区別するためのリンクマークを表示する表示位置の情報（以下、リンクマーク位置情報という）を、対象物の動きに追従させる為に、画像データとは別に又は画像データとともに、リアルタイム、すなわちリンクマークの表示位置を変更する必要が生じる度に伝送することを特徴とする。
【００３２】
ここでリンクマークは、図１に示される如く、選手（対象物）を囲むような四角形であっても良いし、また、画面に表示されている選手上の任意場所に表示される点でも良く、さらに矢印のようなアイコンでも良く、他と区別しようとする選手（対象物）が識別できれば、どのような形であっても良い。
【００３３】
リンクマーク位置情報としては、例えば座標などが考えられる。リンク情報が選手（対象物）を囲むような四角形である場合、四角形の向かい合う二つの頂点の座標を与えれば、リンクマークの位置や大きさを特定することができる。また、四角形である場合、４つの頂点の座標を位置情報としても良い。さらに、リンクマークが選手上の任意場所に表示される点である場合には、リンクマーク位置情報は１つの座標の情報であっても良い。
【００３４】
また、リンクマークで特定される画像中の対象物にリンク情報がある場合や、リンクマークを表示させたい対象物が複数ある場合、リンクマークを特定するリンク識別情報（リンクＩＤ）を、リンクマーク位置情報に含めて伝送しても良い。
【００３５】
さらに、対象物が複数ある場合、複数のリンクマーク位置情報を一つにまとめても良い。
【００３６】
さらに、対象物の付属情報、例えば対象物が選手である場合に、選手の名前や、現在の順位などの情報を、リンクマーク位置情報に含めて伝送しても良い。
【００３７】
そして、上述のようなリンクマーク位置情報を、リンクマークの表示位置を変更する必要が生じる毎に伝送する。伝送の方法としては、放送局から受信機で動作しているリンクマークを表示させるためのアプリケーションに対して、即座に位置情報を提供できる手段を用いる。この手段の代表的なものとしては、ＡＲＩＢ ＳＴＤ−Ｂ２４に規定されているイベントメッセージや、ＭＰＥＧで規定されているトランスポート・プライベート・データ領域や、ＰＥＳ（Packetized Elementary Stream）のプライベート・データ領域がある。
【００３８】
一方、受信側には、上述の伝送手段により、伝送されたリンクマーク位置情報に基づいて、リンクマークを表示させるための機能を持たせる。この機能を実現させる手段として、リンクマーク位置情報に基づいてリンクマークを表示させるためプログラムを受信機に搭載することで可能となる。尚、プログラムの記述方法として、ＡＲＩＢ ＳＴＤ−Ｂ２４に規定されているＢＭＬが代表的なものであるが、他のものであっても良い。
【００３９】
以上に本発明の概要を説明したが、以下具体的な説明を行う。
【００４０】
尚、本説明にあたって、リンクマーク位置情報を、ＡＲＩＢ ＳＴＤ−Ｂ２４に規定されているイベントメッセージを用いて伝送する場合を例にして説明する。
【００４１】
まず、リンクマークを図２に示される如く四角形とし、画面全体を図３に示されるような４８０×７２０ドットの座標系（原点は左上）とした場合、リンクマーク位置情報を四角形の向かい合う二つの頂点ｐ，ｑの座標として説明する。
【００４２】
具体的に説明すると、リンクマークを、画面の左上から（１２０，１２０）の位置から横１００、縦１２０の領域に表示させたい場合、イベントメッセージ記述子のprivate_data_byteに
（ｐ（１２０，１２０）， ｑ（２２０，２４０））
という内容を記述する。尚、これらの単位はドットである。
【００４３】
さらに、図４に示す如く、画像中の特定する対象物が２名の選手、例えばＡ氏とＢ氏である場合、この２名の選手を区別するために四角形のリンクマークが区別されるものでなくてはならいない。
【００４４】
そこで、本説明においては、Ａ氏のリンクマークを実線で、Ｂ氏のリンクマークを点線で表示するものとする。
【００４５】
このため、リンクマーク位置情報に、単なるリンクマークの表示位置を示す情報のみならず、伝送するリンクマーク位置情報がＡ氏とＢ氏のいずれのリンクマーク位置情報であるかを識別する情報を含める。
【００４６】
すると、Ａ氏のリンクマーク位置情報は、例えば、
（Ａ，ｐ（１２０，１２０）， ｑ（２２０，２４０））
となり、
Ｂ氏のリンクマーク位置情報は、例えば、
（Ｂ，ｐ（２５０，１８０）， ｑ（３５０，３００））
となる。
【００４７】
ここで、リンクマーク位置情報のうち“Ａ”はＡ氏のリンクマーク位置情報であることを示し、“Ｂ”はＢ氏のリンクマーク位置情報であることを示している。
【００４８】
一方、受信側では、ＢＭＬで記述されたコンテンツは、リンクマーク位置情報に含まれる“Ａ”はＡ氏のリンクマーク位置情報を示しており、座標情報に基づいてリンクマークを実線で表示し、“Ｂ”はＢ氏のリンクマーク位置情報であることを示しており、座標情報に基づいてリンクマークを点線で表示させるようにプログラムを設定しておく。そして、上述のリンクマーク位置情報が受信されると、図４に示される如く、Ａ氏のリンクマークを画面の左上から（１２０，１２０）の位置から幅１００、縦１２０の領域に実線で表示し、Ｂ氏のリンクマークを画面の左上から（２５０，１８０）の位置から幅に１００、縦１２０の領域に点線で表示する。
【００４９】
続いて、Ａ氏、Ｂ氏ともに図５の状態のように移動した場合を想定する。この場合、既に受信したリンクマーク位置情報ではカバーしきれない位置にＡ氏、Ｂ氏ともに移動しており、新たなリンクマーク位置情報が必要となる。そこで、イベントメッセージにより新たなリンクマーク位置情報を伝送する。
【００５０】
例えば、図５の状態でＡ氏のリンクマーク位置情報は、
（Ａ，ｐ（２６０，１８０）， ｑ（３６０，３００））
となる。
【００５１】
同様に、Ｂ氏のリンクマーク位置情報は、
（Ｂ，ｐ（４８０，１１０）， ｑ（５８０，２３０））
となる。
【００５２】
このようにして、移動する選手たちを追従しながら、リンクマーク位置情報をリアルタイムに伝送していくことにより、移動する選手たちの上にリンクマークを表示し続けることが可能となる。
【００５３】
尚、上述の実施の形態では、リンクマーク位置情報を、四角形の向かい合う二つの頂点の座標情報としたが、リンクマークが選手（対象物）を囲むような四角形である場合、４つの頂点の座標情報であっても良い。
【００５４】
例えば、画像全体を一つの座標系としてとらえ、画面左上を原点とする。そして、図６に示されるように、リンクマークの四角形を特定する４つの頂点の座標（ｐ，ｑ，ｒ，ｍ）を、リンクマーク位置情報とする。
【００５５】
すると、図４の状態でＡ氏のリンクマーク位置情報は、
（Ａ，ｐ（１２０，１００）， ｑ（２４０，１００），ｒ（１２０，２２０）， ｍ（２４０，２２０））
となる。
【００５６】
同様に、Ｂ氏のリンクマーク位置情報は、
（Ｂ， ｐ（２５０，１８０）， ｑ（３５０，１８０）， ｒ（２５０，３００）， ｍ（３５０，３００））
となる。
【００５７】
以上のようにリンクマーク位置情報を四角形の４つの頂点の座標情報としても良い。
【００５８】
次に、上述した方法を達成する具体的なシステムについて説明する。
【００５９】
図７は本システムに係る具体的なブロック図である。
【００６０】
図７中、１はカメラ、２はカメラ１からのビデオ画像に基づいてリンクマーク位置情報を生成するリンクマーク位置情報生成装置、３はデータカルーセル及びイベントメッセージの送出を行うデータ送出部、４はカメラ１からのビデオ画像をエンコードするエンコーダ、５はデータ送出部３からのデータとエンコードされたビデオ画像とを多重化する多重化部、６は多重化されたデータ（ＴＳ）を変調して送出する変調部、７は変調部６からのデータを受信する受信機である。
【００６１】
まず、リンクマーク位置情報生成装置２について詳細に説明する。
【００６２】
リンクマーク位置情報の生成であるが、手作業により、リンクマークの座標を入力するようにしても良いが、移動するオブジェクトに対して、オブジェクトを追跡しながら座標を入力することは、多くの労力を必要とする。
【００６３】
そこで、以下にリンクマーク位置情報を自動的に生成するリンクマーク位置情報生成装置２について説明する。
【００６４】
図８はリンクマーク位置情報生成装置２のブロック図である。
【００６５】
図８中、１０はビデオ信号が入力される対象物特定部である。この対象物特定部１０は、対象物が表示されるディスプレイと、タッチパネルやマウス等のポインティングデバイスとを有し、ディスプレイを介してタッチパネルに表示されている対象物を押下することにより、対象物を特定する。そして、対象物の押下された部分を中心として、予め定められた領域を示す領域情報を生成する。この領域情報は、例えば、上述した四角形の向かい合う二つの頂点ｐ，ｑの座標である。また、その領域情報の元となる領域（大きさ）は、予め設定し、記憶させておく。
尚、本例では、領域情報の元となる領域（大きさ）を予め設定して記憶させる構成としたが、対象物を特定する際、例えば、左上→右下と押下することにより、領域情報の元となる領域（大きさ）を設定できるように構成しても良い。この場合、押下した左上の点と右下の点とで決定される四角形の枠内の範囲が領域の大きさとなる。
【００６６】
また、対象物が複数ある場合を想定し、対象物毎にその対象物を識別する対象物識別情報を出力する。
【００６７】
ここで、具体例を説明する。例えば、画像中に対象物として２名の選手、例えばＡ氏とＢ氏があり、Ａ氏を対象物として特定する場合を考える。この場合、まず、対象物がＡ氏であることを識別する為に、対象物特定部１０に記憶されている対象物識別情報のなかからＡ氏を識別する為の識別情報を選択しておく。ここでは、Ａ氏の識別情報をＡとする。また、対象物特定部１０に設定されている領域（大きさ）が、横１００、縦１００の正方形とする。
【００６８】
そして、対象物（Ａ氏）を特定した際（タッチパネルを押下）に特定された座標が、（１２０，１２０）だとすると、領域情報は
（ｐ（７０，７０）， ｑ（１７０，１７０））
である。
【００６９】
また、Ａ氏を識別する為の識別情報はＡであるので、Ａ氏の識別情報Ａを出力する。
【００７０】
１１は対象物追跡部である。この対象物追跡部１１は、対象物特定部１０で特定された対象物の移動の際、その対象物を自動追尾する手段である。そして、追尾後の対象物の領域情報を出力する。
【００７１】
対象物追跡部１１では、対象物を自動追尾する方法を限定するものではないが、以下に代表的な自動追尾の方法について述べる。
【００７２】
自動追尾の方法としては、パターンマッチングが一般的である。このパターンマッチングの代表的なものとして、テンプレートマッチング方法がある。このテンプレートマッチング方法は、既知の対象（つまり追跡対象となる物体）をあらわすテンプレート（対象領域の画像データ、尚、本実施の形態では、領域情報で特定される領域、例えば二つの頂点ｐ，ｑの座標で特定される四角形の領域に相当する）の位置をずらしながら、各点で画像との類似度を計算し、それが最大となる点を検出する方法である。さらに、テンプレートマッチングには正規化された相互相関を用いて類似度を計算する相関法があり、ほかにも残差逐次検定法など計算量を削減して高速化する方法などが存在する。
【００７３】
また、他のパターンマッチングの方法としては、関係構造マッチングがあり、これは画像から、例えば輪郭や各種統計量などの特徴を抽出し、その特徴間の比較マッチングを行う手法である。
【００７４】
１２はリンクマーク位置情報生成部である。このリンクマーク位置情報生成部１２は、対象物追跡部１１からの領域情報に基づいて、リンクマーク位置情報を生成し、出力するものである。例えば、領域情報が
（ｐ（７０，７０）， ｑ（１７０，１７０））であり、
Ａ氏を識別する為の識別情報はＡである場合には、二つの情報を合成してリンクマーク位置情報
（Ａ，ｐ（７０，７０）， ｑ（１７０，１７０））
を生成する。
【００７５】
尚、リンクマーク位置情報の生成は、予め定められた周期、例えば、１秒ごとに行われる。
【００７６】
データ送出部３は、予め受信機で動作させるＢＭＬで記述されたプログラムが記憶されており、このプログラムをデータカルーセルで送出すると共に、リンクマーク位置情報生成装置２からのリンクマーク位置情報をイベントメッセージとして送出する。
【００７７】
ＢＭＬで記述されたプログラムは、リンクマーク位置情報を受信すると、リンクマーク位置情報に記述されているリンクマークの座標を解析し、リンクマークを表示する位置を設定する。そして、対象物の識別情報により、リンクマークの線種や色等を決定し、その線種や色等でリンクマークを画面に表示するプログラムである。
【００７８】
受信機７では、プログラム及びイベントメッセージを受信し、上述のプログラムを実行し、イベントメッセージとして受信したリンクマーク位置情報に基づいて、リンクマークを表示する。
【００７９】
続いて、上述の動作について説明する。
図９は伝送システムの動作を説明する為のフローチャートである。
【００８０】
まず、データ送出部３に、受信機で動作させるＢＭＬで記述されたプログラムを格納しておき、プログラムをデータカルーセルで送出できるようにしておく（Ｓｔｅｐ １００）。格納されるプログラムは、上述した動作を行うものであるが、リンクマークの大きさを、横１００、縦１００の正方形とし、また、識別情報が“Ａ”の場合にはリンクマークを実線で、“Ｂ”の場合にはリンクマークを点線で表示するように記述されているものとする。
【００８１】
続いて、プログラムをデータカルーセルで送出する（Ｓｔｅｐ １０１）。
受信機７では、プログラムを受信し（Ｓｔｅｐ １０２）、イベントメッセージとして送出されてくるリンクマーク位置情報を受信できるように、受信したプログラムの待ち受けプログラムを実行する（Ｓｔｅｐ １０３）。
【００８２】
一方、イベントメッセージの送出側では、対象物特定部１０により、対象物を特定する（Ｓｔｅｐ １０４）。ここでは、例えば、画像中に対象物として２名の選手、例えばＡ氏とＢ氏があり、Ａ氏を対象物として特定する場合を考える。この場合、まず、対象物がＡ氏であることを識別する為に、対象物特定部１０に記憶されている対象物識別情報のなかからＡ氏を識別する為の識別情報を選択しておく。ここでは、Ａ氏の識別情報をＡとする。また、対象物特定部１０に設定されている領域（大きさ）が、横１００、縦１００の正方形である。そして、対象物（Ａ氏）を特定した際（タッチパネルを押下）に特定された座標が、（１２０，１２０）だとすると、領域情報は
（ｐ（７０，７０）， ｑ（１７０，１７０））
である。また、Ａ氏を識別する為の識別情報はＡであるので、Ａ氏の識別情報Ａを出力する。
【００８３】
続いて、対象物追跡部１１は、対象物特定部１０で特定された対象物の移動を追跡し、追跡できる場合には新たな領域情報を出力する（Ｓｔｅｐ １０５、Ｓｔｅｐ １０６）。
尚、対象物が大きく移動した場合や、カメラ切り替えなどのシーンチェンジで対象物を追跡できなくなった場合は、Ｓｔｅｐ１０４に戻り同様な動作を繰り返す（Ｓｔｅｐ １０６）。
【００８４】
リンクマーク位置情報生成部１２では、対象物追跡部１１からの領域情報に基づいて、リンクマーク位置情報を生成し、設定された周期で出力する（Ｓｔｅｐ
１０７）。例えば、領域情報が
（ｐ（７０，７０）， ｑ（１７０，１７０））であり、
Ａ氏を識別する為の識別情報はＡである場合には、二つの情報を合成してリンクマーク位置情報
（Ａ，ｐ（７０，７０）， ｑ（１７０，１７０））
を生成する。
【００８５】
データ送出部３では、リンクマーク位置情報生成部１２からのリンクマーク位置情報をイベントメッセージとして送出する（Ｓｔｅｐ １０８）。
以下、Ｓｔｅｐ １０５に戻り同様な動作を繰り返す。
【００８６】
受信機７では、リンクマーク位置情報を受信し（Ｓｔｅｐ １０９）、表示プログラムを実行し（Ｓｔｅｐ １１０）、イベントメッセージとして受信したリンクマーク位置情報に基づいて、リンクマークが表示される（Ｓｔｅｐ １１１）。例えば、受信したリンクマーク位置情報が（Ａ，ｐ（７０，７０）， ｑ（１７０，１７０））である場合、頂点ｐ（７０，７０）， ｑ（１７０，１７０）で特定される横１００、縦１００の正方形のリンクマークが実線で表示される。
以下、Ｓｔｅｐ １０３に戻り同様な動作を繰り返す。
【００８７】
このようにして、リンクマークが自動的に表示されていく。尚、リンクマークを複数用いる場合、例えば、Ｂ氏についても同様な動作でリンクマーク位置情報を生成し、リンクマークを表示させる。尚、上述の場合、Ｂ氏のリンクマークは、点線で表示される。
【００８８】
次に、リンクマーク位置情報生成装置２の第２の実施の形態を説明する。
【００８９】
上述した実施の形態では、自動的に対象物が追尾して逐次座標データを生成するシステムについて説明した。しかしながら、自動追尾の方法によっては、僅かな対象物の移動に対しても、リンクマーク位置情報（座標データ）を更新してしまうので、人間の視覚判断によっては、その僅かな対象物の移動による座標の変化、すなわちリンクマークの移動についていけず、かえって煩わしい場合もある。そこで、第２の実施の形態では、対象物の空間的又は時間的な移動に対してリンクマークの更新にマージンを設けて、対象物の移動がそのマージン内であるならば、リンクマーク位置情報（座標データ）座標を更新しないようにしたことを特徴とする。
【００９０】
図１０は第２の実施の形態におけるリンクマーク位置情報生成装置２のブロック図である。
【００９１】
第２の実施の形態のリンクマーク位置情報装置２が上述した実施の形態のリンクマーク位置情報生成装置２と異なる所は、マージン設定部２０を設けたことである。このマージン設定部２０は、リンクマーク位置情報生成部１２に対して、対象物の移動によるリンクマーク位置情報（座標データ）の更新をしない範囲である空間的又は時間的マージンを定めるものである。
【００９２】
ここで、空間的又は時間的なマージンについて説明する。
【００９３】
空間的なマージンとは、対象物の移動によってリンクマーク位置情報（座標データ）が変化しても、そのリンクマーク位置情報（座標データ）の変化量が、予め定められた空間的な範囲内であれば、リンクマーク位置情報（座標データ）を更新しない範囲をいう。図１１は、対象物のＸ軸に対する空間マージンの例を示したものであり、対象物のＸ軸方向の移動が空間マージン幅にある場合には、リンクマーク位置情報（座標データ）を更新しない。空間マージンの具体的な例であるが、例えば、画面のフルサイズ横（x軸）６４０pixel（画素）、縦（ｙ軸）５１２pixel（これらの値は装置のハードウエアによる）に対し、空間マージンは、０から７０pixel（横で画面サイズの9分の1くらい）の間である。また、画面の中の対象物の動きによってマージンの設定を変えることが好ましく、例えば、一方向にしか動かないものは、０pixel つまり マージンなしですぐに追従するほうが人間から見てわかりやすい。また、マラソン中継など小刻みにゆれる場合や対談番組など出演者の頭が小刻みにゆれたりする場合などは、10-70pixelくらいの間で空間マージンを設定することが好ましい。
【００９４】
次に、時間的なマージンとは、対象物が一定の時間内に移動したとしても、再び元の場所に復帰するような場合、その一定の時間をいう。図１２は、対象物の時間マージンの例を示したものであり、対象物が移動後、再び対象物がマージン時間内に元の場所又は空間マージン内に復帰する場合には、リンクマーク位置情報（座標データ）を更新しない。時間的マージンの具体例であるが、例えば、短時間で、はみだして、また元の位置にもどる動きについては、0.1秒以下（テレビでいうと１−３フレームぐらい）が好ましい。
【００９５】
リンクマーク位置情報生成部１２では、マージン設定部２０により設定されたマージンを記憶し、対象物追跡部１１からの領域情報と、前回の対象物追跡部１１からの領域情報とを比較し、移動量がマージンの範囲内であれば、リンクマーク位置情報（座標データ）を更新せず、新しいリンクマーク位置情報（座標データ）を出力しない。
【００９６】
以上の構成により、座標が頻繁に変化することによるリンクの煩雑な移動を防ぐことができる。
【００９７】
続いて、上記の構成における動作を説明する。
図１３はマージンの判定動作を説明する為のフローチャートである。尚、上述した実施の形態と異なるもについてのみ説明する。
【００９８】
まず、リンクマーク位置情報生成部１２は、対象物追跡部１１から出力された領域情報と、前回対象物追跡部１１から出力された領域情報とを比較し（Ｓｔｅｐ ２００）、差が設定されているマージン内か否かを判定する（Ｓｔｅｐ ２０１）。
【００９９】
リンクマーク位置情報生成部１２は、差がマージン内であれば（Ｓｔｅｐ ２０２）、新たなリンクマーク位置情報を生成しない（Ｓｔｅｐ ２０３）。一方、差がマージンを超える場合には（Ｓｔｅｐ ２０２）、新たなリンクマーク位置情報を生成して出力する（Ｓｔｅｐ ２０４）。
【０１００】
尚、リンクマーク位置情報生成部１２は、上記の動作以外に上述した動作と同様に定められた周期毎にリンクマーク位置情報を生成して出力する。
【０１０１】
リンクマーク位置情報生成装置２の第３の実施の形態を説明する。
【０１０２】
第３の実施の形態では、図１４に示す如く、カメラ毎に上述した実施の形態で説明したシステムを設けることを特徴とする。通常、番組制作時の複数のカメラは、それぞれ役割を持っており、撮影対象物とサイズなどの構図がおおむね決定されている。そこで、入力情報の初期設定値（例えば、マージン設定部で設定されるマージン）をカメラ毎に決めておくことにより、作業の効率化を図ることができる。
【０１０３】
リンクマーク位置情報生成装置２の第４の実施の形態を説明する。
【０１０４】
第４の実施の形態では、複数のカメラをスイチャ等の映像切替機に接続してカメラを切替えて用いる場合、映像切替機の切替情報により、リンクマーク位置情報のパラメータの切替を行うことを特徴とする。
【０１０５】
図１５は第４の実施の形態におけるリンクマーク位置情報生成装置のブロック図である。
【０１０６】
図１５中、３０はスイッチャであり、複数のカメラ３１ａ〜３１ｎが接続されており、切替により、複数のカメラのうち１台のカメラのビデオ信号を選択して出力する。また、選択されたカメラを識別するカメラ識別情報を対象物特定部１０及びマージン設定部２０に出力する。
【０１０７】
対象物特定部１０には、カメラの識別情報毎にそのカメラ時の対象物の識別情報とリンクマークの領域の大きさとが予め記憶されている。また、マージン設定部２０には、カメラの識別情報毎にマージン値と物体の識別番号とが予め記憶されている。そして、スイッチャ３０からのカメラ識別情報に対応するカメラの各パラメータをリンクマーク位置情報生成部１２に出力する。
【０１０８】
このような構成にすることにより、複数のカメラを用いる場合であっても、適切なリンクマーク位置情報を生成することができる。
【０１０９】
第５の実施の形態を説明する。
【０１１０】
第５の実施の形態は、第１の実施の形態で述べたリンクマークにリンクして、リンク情報を表示させることを特徴とする。
【０１１１】
例えば、Ａ氏とＢ氏の選手情報が別途入手可能であり、表示されているリンクマークが選択された場合、選択されたリンクマークに対応した情報を表示させるようにする。Ａ氏のリンクマークが選択された場合、リンクマーク位置情報により、選択されたリンクマークはＡ氏のものであることが分かっているので、Ａ氏のリンク情報、すなわちＡ氏の選手情報を表示するようにする。
【０１１２】
【発明の効果】
本発明によれば、リンクマークの位置情報をリアルタイムで伝送することができるので、生番組のようにリンクマークの対象物の移動が特定できないものであっても、対象物の移動に合わせてリンクマークを表示することが出来る。
【図面の簡単な説明】
【図１】図１は本実施の形態を説明する為の図である。
【図２】図２は本実施の形態を説明する為の図である。
【図３】図３は本実施の形態を説明する為の図である。
【図４】図４は本実施の形態を説明する為の図である。
【図５】図５は本実施の形態を説明する為の図である。
【図６】図６は本実施の形態を説明する為の図である。
【図７】図７はリンクマーク位置情報伝送システムのブロック図である。
【図８】図８はリンクマーク位置情報生成装置２のブロック図である。
【図９】図９はリンクマーク位置情報伝送システムの動作フローチャートである。
【図１０】図１０はリンクマーク位置情報生成装置２の第２の実施の形態のブロック図である。
【図１１】図１１は対象物のＸ軸に対する空間マージンの例を示した図である。
【図１２】図１２は対象物の時間マージンの例を示した図である。
【図１３】図１３はマージン判定の動作フローチャートである。
【図１４】図１４はリンクマーク位置情報生成装置２の第３の実施の形態を説明する為の図である。
【図１５】図１５はリンクマーク位置情報生成装置２の第４の実施の形態のブロック図である。
【符号の説明】
１ カメラ
２ リンクマーク位置情報生成装置
３ データ送出部
４ エンコーダ
５ 多重化部
６ 変調部
７ 受信機
Claims (7)
- データ放送におけるリンクマークの位置情報の伝送方法であって、
画像中の所定の対象物を特定するリンクマークの位置情報を、イベントメッセージに記述し、符号化された画像とは異なる情報として、前記リンクマークの表示位置を変更する必要が生じるごとに、符号化された画像と多重化したトランスポートストリームを伝送することを特徴とするリンクマークの位置情報の伝送方法。 - データ放送におけるリンクマークの位置情報の伝送方法であって、
画像中の所定の対象物を特定するリンクマークの位置情報を、ＭＰＥＧ２におけるトランスポート・プライベート・データ領域、または、ＭＰＥＧ２におけるＰＥＳのプライベート・データ領域に記述し、符号化された画像とは異なる情報として、前記リンクマークの表示位置を変更する必要が生じるごとに、符号化された画像と多重化したトランスポートストリームを伝送することを特徴とするリンクマークの位置情報の伝送方法。 - 表示するリンクマークが複数ある場合、リンクマークの位置情報に、どの対象物のリンクマークかを識別する識別情報を含めることを特徴とする請求項１または請求項２に記載のリンクマークの位置情報の伝送方法。
- 表示するリンクマークが複数ある場合、リンクマークの位置情報に、対象物の付属情報を含めることを特徴とする請求項１から請求項３のいずれかに記載のリンクマークの位置情報の伝送方法。
- 画像のカット点において、リンクマークの位置情報をリセットする情報を伝送することを特徴とする請求項１から請求項４のいずれかに記載のリンクマークの位置情報の伝送方法。
- 動画像中の対象物を特定するリンクマークを表示させる表示方法であって、
符号化された画像とは異なる情報として、前記リンクマークの表示位置を、イベントメッセージ、ＭＰＥＧ２におけるトランスポート・プライベート・データ領域、または、ＭＰＥＧ２におけるＰＥＳのプライベート・データ領域に記述し、前記リンクマークの表示位置を変更する必要が生じるごとに、トランスポートストリームに多重された動画像の所定の対象物を特定するリンクマークの位置情報を受信するステップと、
前記受信したリンクマークの位置情報に基づいてリンクマークを表示するステップと
からなることを特徴とするリンクマークの表示方法。 - データ放送におけるリンクマークの位置情報の伝送システムであって、
画像中の所定の対象物を特定する手段と、
前記特定された対象物の画像中の座標情報を計算する手段と、
前記計算された座標情報に基づいて、対象物を識別する為のリンクマークの位置情報を生成する手段と、
前記画像を符号化する手段と、
イベントメッセージ、ＭＰＥＧ２におけるトランスポート・プライベート・データ領域、または、ＭＰＥＧ２におけるＰＥＳのプライベート・データ領域に記述した前記リンクマークの位置情報と、前記符号化された画像とを多重化してトランスポートストリームを伝送する手段と
を有することを特徴とするリンクマークの位置情報の伝送システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001297565A JP4854156B2 (ja) | 2000-12-27 | 2001-09-27 | リンクマークの位置情報の伝送方法と、その表示方法及びシステム |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000397530 | 2000-12-27 | ||
| JP2000397530 | 2000-12-27 | ||
| JP2000-397530 | 2000-12-27 | ||
| JP2001297565A JP4854156B2 (ja) | 2000-12-27 | 2001-09-27 | リンクマークの位置情報の伝送方法と、その表示方法及びシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002262248A JP2002262248A (ja) | 2002-09-13 |
| JP4854156B2 true JP4854156B2 (ja) | 2012-01-18 |
Family
ID=26606830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001297565A Expired - Lifetime JP4854156B2 (ja) | 2000-12-27 | 2001-09-27 | リンクマークの位置情報の伝送方法と、その表示方法及びシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4854156B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018014738A (ja) * | 2017-09-01 | 2018-01-25 | 日本テレビ放送網株式会社 | 放送システム及び放送方法 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8019175B2 (en) * | 2005-03-09 | 2011-09-13 | Qualcomm Incorporated | Region-of-interest processing for video telephony |
| US8977063B2 (en) | 2005-03-09 | 2015-03-10 | Qualcomm Incorporated | Region-of-interest extraction for video telephony |
| JP5263565B2 (ja) | 2006-10-12 | 2013-08-14 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP5211864B2 (ja) * | 2008-06-04 | 2013-06-12 | 株式会社ニコン | 画像処理装置 |
| JP6130841B2 (ja) * | 2012-09-07 | 2017-05-17 | 日立マクセル株式会社 | 受信装置 |
| JP6343136B2 (ja) * | 2013-10-15 | 2018-06-13 | 日本テレビ放送網株式会社 | 放送システム及び放送方法 |
| JP2017153129A (ja) * | 2017-04-14 | 2017-08-31 | 日立マクセル株式会社 | 受信装置 |
| WO2020246237A1 (ja) * | 2019-06-05 | 2020-12-10 | パロニム株式会社 | 情報処理システム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3737603B2 (ja) * | 1996-05-31 | 2006-01-18 | 松下電器産業株式会社 | データ通信システム及びデータ受信装置 |
| GB9902235D0 (en) * | 1999-02-01 | 1999-03-24 | Emuse Corp | Interactive system |
| JP2000287183A (ja) * | 1999-03-29 | 2000-10-13 | Sony Corp | テレビジョン信号発生装置および方法、テレビジョン信号受信装置および方法、テレビジョン放送システムおよび信号処理方法、並びに媒体 |
| JP4701479B2 (ja) * | 2000-07-05 | 2011-06-15 | ソニー株式会社 | リンク情報表示装置及びその表示方法 |
-
2001
- 2001-09-27 JP JP2001297565A patent/JP4854156B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018014738A (ja) * | 2017-09-01 | 2018-01-25 | 日本テレビ放送網株式会社 | 放送システム及び放送方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002262248A (ja) | 2002-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9794541B2 (en) | Video capture system control using virtual cameras for augmented reality | |
| US20150297949A1 (en) | Automatic sports broadcasting system | |
| EP0595808B1 (en) | Television displays having selected inserted indicia | |
| US8457350B2 (en) | System and method for data assisted chrom-keying | |
| CN108886583B (zh) | 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的系统和方法 | |
| WO2000020976A2 (en) | Method and apparatus for synchronous presentation of interactive video and audio transmissions for tv and internet environments | |
| CN107483460A (zh) | 一种多平台并行导播推流的方法及系统 | |
| US6791574B2 (en) | Method and apparatus for optimized distortion correction for add-on graphics for real time video | |
| WO2005099423A2 (en) | Automatic event videoing, tracking and content generation system | |
| GB2473282A (en) | Depth value for positioning a caption in 3D video | |
| JP4854156B2 (ja) | リンクマークの位置情報の伝送方法と、その表示方法及びシステム | |
| KR101269900B1 (ko) | 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치 | |
| JP2018201197A (ja) | ビデオカメラとクライアントデバイスとを備えるシステムおよびそれによって実行される方法 | |
| WO2016139898A1 (ja) | ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 | |
| Sabirin et al. | Toward real-time delivery of immersive sports content | |
| US20010017671A1 (en) | "Midlink" virtual insertion system and methods | |
| EP1071278B1 (en) | Multi-camera, multi-feed and interactive virtual insertion systems and methods | |
| KR20040041297A (ko) | 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법 | |
| EP1219115A2 (en) | Narrow bandwidth broadcasting system | |
| CN112019921A (zh) | 应用于虚拟演播室的肢体动作数据处理方法 | |
| US10832732B2 (en) | Television broadcast system for generating augmented images | |
| WO2016117480A1 (ja) | テレコミュニケーションシステム | |
| JP4126835B2 (ja) | 画像合成装置 | |
| CN112019922A (zh) | 应用于虚拟演播室的面部表情数据处理方法 | |
| JP4166463B2 (ja) | 映像生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080414 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110126 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110713 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111012 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111025 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141104 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4854156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |