JP4616153B2 - データ通信装置、データ通信方法およびデータ通信プログラム - Google Patents

Description

本発明は、画像表示装置に映像と共にメタデータを埋め込むデータ通信装置、データ通信方法およびデータ通信プログラムに関するものである。

電子透かしとは、静止画や動画などの画像または音声に情報を埋め込む技術であり、電子透かしが施された画像や音声を撮影または収音してデジタルデータを取得すると、このデジタルデータから画像や音声に埋め込まれていたメタデータを抽出することができる（例えば、特許文献１、非特許文献１，２参照。）。ここで、メタデータとは、画像表示装置等に表示される映像に関連した情報のことである。近年では、画像や音声から抽出したメタデータを元に様々な機能やサービスを提供する技術が提案されている。

例えば、画像の書誌情報や画像に関連する情報をメタデータとしてその画像に埋め込む画像情報提供サービス、画像に関連するＵＲＬ(Uniform Resource Locators)をメタデータとしてその画像に埋め込む画像関連インターネットサイトへの接続サービス、コンテンツのＩＤなどの画像識別子の埋め込みによる画像同定サービスや画像情報提供サービス（例えば、特許文献２参照。）などが提案されている。これらのサービスは、主に雑誌やポスター等の紙面を対象に行われている。紙面は、デジタルカメラ、デジタルビデオカメラ、スキャナ、コピー機などにより画像を安定して読み取ることができるので、画像に埋め込まれたメタデータの取り出しを容易に行える。しかし、紙面では、物理的な限界や人の視覚に及ぼす影響が少ないことから、多人数への情報提供媒体としては訴求力が弱い。そこで、街頭の大型の画像表示装置など多人数への訴求力の高い情報提供媒体（例えば、非特許文献３参照。）に電子透かしを埋め込んだ画像を表示することが望まれている。ここで、従来の大画面の画像表示装置およびこの画像表示装置に映像信号を入力するデータ通信装置を図１０，１１に示す。

図１０に示すように、大型の画像表示装置１００は、赤色、青色、緑色の何れかの色に発光するＬＥＤなどの発光素子１１１をマトリックス状に配列した表示画面１１０を有する。このような大型の画像表示装置１００は、ビル壁面などの屋内外でポスターと同様の広告表示や画像情報提供を行うものであり、静止画のみならず動画を表示することができる。

図１１に示すように、データ通信装置２００は、復号器１２１とビデオメモリ１２２とからなるデコーダ１２０と、ＤＡコンバータ１３０とからなる。このような信号処理装置２００において、画像表示装置１００の表示画面１１０に表示するデジタルデータからなる画像データは、デコーダ１２０により復号化され、ＤＡコンバータ１３０により映像信号に変換されたあと、画像表示装置１００に入力される。画像表示装置１００は、入力された映像信号にしたがって発光素子１１１を発光させることにより、表示画面１１０に映像を表示する。

このような大型の画像表示装置に電子透かしを施した画像を表示することにより、訴求力の高い各種サービスを提供することが可能となるが、従来の電子透かし技術では、画面表示装置の解像度やコントラスト、画面表示装置と観察者との距離など表示および読み取り環境の問題から、画像表示装置からの画像を安定して読み取ることが困難であった。そこで、近年では、表示および読み取り環境によらずに安定した画像の読み取りを可能とする技術が提案されている（例えば、特許文献３、非特許文献４参照。）。これは、可視光を用いた光通信の応用技術であり、画像に埋め込むメタデータを光の点滅として符号化し、画像表示装置の表示素子を画像表示時にメタデータを符号化したパタンで点滅させることにより、画像と同時にメタデータを表示するものである。このようなデータ通信装置を図３に示す。

図１２に示すように、データ通信装置３００は、映像信号生成部３１０と、点滅信号生成部３２０と、合成部３３０とから構成される。映像信号生成部３１０は、図１１を参照して説明したデータ通信装置２００と同等の構成を有し、画像表示装置１００に表示する画像データに基づいて映像信号を生成する。点滅信号生成部３２０は、画像表示装置１００に表示するメタデータに基づいて点滅信号を生成する。合成部３３０は、映像信号生成部３１０により生成された映像信号と、点滅信号生成部３２０により生成された点滅信号とを合成して合成信号を生成し、画面表示装置１００に入力する。一例として、任意の発光素子１１１に対応する映像信号の輝度変化を図１３（ａ）、点滅信号の輝度変化を図１３（ｂ）とすると、合成部３３０は、それらを合成して図１３（ｃ）に示すような輝度変化の合成信号を生成する。このような合成信号を画像表示装置１００に入力することにより、メタデータが埋め込まれた映像が表示画面１１０に表示される。この表示画面１１０に表示された映像をカメラや受光器で読み取り、その映像に含まれる点滅信号を解読することにより、その映像からメタデータを抽出することができる。

一般に、大型の画像表示装置のフレームレートは、例えば１／３０秒程度であり、比較的低速で発光素子１１１の点灯制御を行う。一方、ＩｒＤＡ(Infrared Data Association)などの光通信は、例えば数ＭＨｚ程度というフレームレートよりもはるかに高い周波数で発光素子１１１の点灯制御を行う。したがって、画像表示装置１００において、映像を１フレーム表示する時間内に、映像とは異なる光通信のための点滅表示を行うことができる。この結果、一つの画像表示装置１００上で、画像とメタデータとを同時に独立に表示することが可能となる。

特許第３３５４８８０号公報 特許第３３８３７９３号公報 特開２００４−７２３６５号公報 入江，藤井，阪本、「電子透かしを利用したコンテンツＩＤのアプリケーション」、情報処理学会、電子化知的財産室・社会基盤研究会、2000-EIP-109、ｐ．７〜１４ 中村，片山，宮地，山下，山室、「カメラ付き携帯電話機を用いたサービス仲介システムのための電子透かし検出方式」、情報処理学会・情報科学技術フォーラム２００３、ｐ．４０９〜４１０ 三菱電機株式会社、"オーロラビジョン"、［online］、［平成１７年１０月２７日検索］、インターネット、<URL:http://www.mitsubishielectric.co.jp/visual/aurora/index_b.html> 大前，カザウラ，松本，佐藤，他、「フル光接続無線システムの回線設計における一検討」、画像電子学会第３３回年次大会予稿集、ｐ．１９１，１９２

しかしながら、従来の方法では、映像全体にメタデータを埋め込んでおり、映像の所定の領域だけにメタデータを埋め込むということはできなかった。

そこで、本願発明は、上述したような課題を解決するためになされたものであり、映像の任意の場所にメタデータを埋め込むことができるデータ通信装置、データ通信方法、データ通信プログラムを提供することを目的とする。

上述したような課題を解決するために、本発明にかかるデータ通信装置は、表示画面の特定の領域から通信データを発信させるデータ通信装置であって、通信データと、通信データに対応付けられた領域情報とを複数取得する取得手段と、通信データを領域情報により特定される表示画面上の領域から領域毎に順番に発信させる発信手段とを備えたことを特徴とする。

また、本発明に係るデータ通信装置は、表示画面の特定の領域から通信データを発信させるデータ通信装置であって、通信データと、通信データに対応付けられた領域情報とを複数取得する取得手段と、領域情報に基づいて、領域が隣接しない通信データ毎に通信データをグループ分けするグループ化手段と、通信データを領域情報により特定される表示画面上の領域からグループ毎に順番に発信させる発信手段とを備えたことを特徴とする。ここで、グループ化手段は、領域情報が変化する毎にグループ分けを行うようにしてもよい。

また、上記データ通信装置において、通信データのデータ量に応じて通信データを継続して発信する継続時間を設定する継続時間設定手段をさらに備えるようにしてもよい。また、グループに含まれる通信データのうち、データ量が最大の通信データに基づいて通信データを継続して発信する継続時間を設定する継続時間設定手段をさらに備えるようにしてもよい。

また、上記データ通信装置において、表示画面上に画像を表示させる画像表示手段をさらに備え、発信手段は、可視光による点滅パターンによって通信データを画像に重畳して発信させるようにしてもよい。
また、上記データ通信装置において、発信手段は、領域情報により特定される領域の少なくとも一部が重なり合う場合は、当該領域から通信データを同時に発信させないようにしてもよい。

また、本発明にかかるデータ通信方法は、表示画面の特定の領域から通信データを発信させるデータ通信方法であって、通信データと、通信データに対応付けられた領域情報とを複数取得する取得ステップと、通信データを領域情報により特定される表示画面上の領域から領域毎に順番に発信させる発信ステップとを備えたことを特徴とする。

また、本発明にかかるデータ通信プログラムは、表示画面の特定の領域から通信データを発信させるデータ通信装置のデータ通信プログラムであって、コンピュータに、通信データと、通信データに対応付けられた領域情報とを複数取得する取得ステップと、通信データを領域情報により特定される表示画面上の領域から領域毎に順番に発信させる発信ステップとを実行させることを特徴とする

本発明によれば、複数の通信データを領域情報により特定され得表示画面上の領域からそれぞれ発信させることにより、複数の通信データを互いに干渉することなく発信させることができる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。図１は、本実施の形態にかかるデータ通信装置１の構成を示すブロック図である。なお、本実施の形態において、背景技術の欄で説明したのと同等の構成要素については、同じ名称および符号を付し、適宜説明を省略する。

データ通信装置１は、映像信号生成部１０と、点滅信号生成部２０とから構成される。このようなデータ通信装置１は、ＣＰＵ等の演算装置と、メモリ、ＨＤＤ（Hard Disc Drive）等の記憶装置と、キーボード、マウス、ポインティングデバイス、ボタン、タッチパネル等の外部から情報の入力を検出する入力装置と、インターネット、ＬＡＮ(Local Area Network)、ＷＡＮ(Wide Area Network)等の通信回線を介して各種情報の送受信を行うＩ／Ｆ装置と、ＣＲＴ(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal Display)またはＦＥＤ(Field Emission Display)等の表示装置を備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。すなわちハードウェア装置とソフトウェアとが協働することによって、上記のハードウェア資源がプログラムによって制御され、上述した映像信号生成部１０および点滅信号生成部２０が実現される。なお、上記プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供されるようにしてもよい。

映像信号生成部１０は、図１１を参照して説明したデータ通信装置２００と同等の構成を有し、外部から入力された画像データに対して復号化を行って映像信号を生成し、この映像信号を画像表示装置１００に入力する演算処理部である。これにより、画像表示装置１００には、画像データに基づく映像が表示される。ここで、画像データとは、例えば、ＭＰＥＧ(Moving Picture Experts Group)やＪＰＥＧ(Joint Photographic Expert Group)等の公知の符号化方式により符号化された動画像データまたは静止画像データのことを意味する。なお、画像データとしては、例えば、ＮＴＳＣ(National Television System Committee)などのテレビ放送のアナログ信号であってもよい。この場合、映像信号生成部１０は、そのアナログ信号に基づいて映像信号を生成する公知のアナログ機材であってもよい。

点滅信号生成部２０は、外部から入力されるメタデータと座標データから点滅信号を生成し、画像表示装置１００に入力する演算処理部である。このような点滅信号生成部２０は、受信部２１と、パタン設定部２２と、順序設定部２３と、継続時間設定部２４と、出力部２５とから構成される。ここで、メタデータとは、画像表示装置１００に表示される映像に埋め込むデジタルデータから構成される。また、座標データとは、メタデータを埋め込む画像表示装置１００上の位置に関する情報であり、図２に示すように、画像表示装置１００の表示画面１１０上の領域を指定するものである。この図２の例では、表示画面１１０上の領域が領域１〜４の４つに分割されており、それぞれの領域は座標データにより特定される。この座標データとしては、表示画面１１０上の位置を表す座標値やベクトル表現等により表される。このような座標データにより特定される表示画面１１０上の各領域には、それぞれ異なるメタデータが対応付けられる。

受信部２１は、インターネット、ＷＡＮ、ＬＡＮ等の公知の通信回線、ＣＤ，ＤＶＤ,ビデオテープ等の公知の記録媒体からメタデータと座標データとを受信するインターフェース部である。この受信部２１により受信されたメタデータおよび座標データは、パタン設定部２２、順序設定部２３および継続信号設定部２４に送出される。なお、受信部２１は、バッファメモリ等の記憶手段を備え、受信したメタデータおよび座標データを記憶するようにしてもよい。これにより、メタデータおよび座標データをインターネット等の通信回線を介して受信する場合、輻輳等の通信障害に発生しても対応することが可能となる。

パタン設定部２２は、入力されたメタデータを、座標データにより特定される画像表示装置１００の表示画面１１０上の領域に、画像表示装置１００に表示された映像からそのメタデータを読み取るカメラや受光器等に読み取り可能な表示をするために、点滅させる発光素子１１１等や点滅速度に関する点滅パタンを設定するための演算を行う演算処理部である。なお、本実施の形態において、点滅とは、発光素子１１１を点灯または消灯したりすることのみならず、発光素子１１１の輝度を増加または減少させたり、発光素子１１１または複数の発光素子１１１で構成される画素の波長を変化させたりすることも意味する。

順序設定部２３は、各領域のメタデータを点滅させる順序に関する順序信号を生成する演算処理部である。

継続時間設定部２４は、メタデータを継続して表示する時間に関する継続信号を生成する演算処理部である。

出力部２５は、パタン設定部２２により生成された点滅パタン、順序設定部２３により生成された順序信号、および、継続時間設定部２４により生成された継続信号に基づいて点滅信号を生成し、画像表示装置１００に出力する演算処理部である。

上述したデータ通信装置１により生成された映像信号および点滅信号が画像表示装置１００に入力されると、画像表示装置１００は、映像信号に基づく映像を表示するとともに、その点滅信号に基づく点滅パタンに対応する画像表示装置１００の発光素子１１１を点滅させる。このように表示される画像表示装置１００の映像をカメラや受光器で読み取り、その映像に含まれる各領域の点滅パタンを解読することにより、その映像から各領域のメタデータを抽出することができる。点滅パタンの解読は、パタン設定部２２によりメタデータを点滅パタンに変換したのと逆のアルゴリズムにしたがって行うことができる。

次に、図３を参照して、点滅信号生成部２０による点滅信号の生成動作について詳細に説明する。図３は、点滅信号の生成動作を示すフローチャートである。なお、以下においては、画像データが静止画から構成される場合を例に説明する。

［点滅パタン生成動作］
まず、メタデータおよび座標データが入力されると、パタン設定部２２は、領域毎の点滅パタンを生成する（ステップＳ３０１）。ここで、メタデータおよび座標データは、図４に示すように、メタデータと、このメタデータに対応する座標データとの組み合わせ毎に複数入力される。

座標データの構成の一例を図５に示す。図５を正面視したとき、画像表示装置１００の表示画面１１０上における左から右方向をＸ軸、上から下方向をＹ軸とする。このとき、矩形状の領域Ａの座標データは、左上と右下の２点の座標、すなわち｛（ｘ１，ｙ１），（ｘ２，ｙ２）｝で表される。

パタン設定部２２は、座標データにより指定される画像表示装置１００の表示画面１１０上の領域に、その座標データに対応付けられたメタデータを表示するために、メタデータを表す点滅の時間的な順番、すなわち、点灯および消灯のタイミングを特定する点滅パタンを生成する。この点滅パタンは、入力された全てのメタデータに対して生成される。このとき、発光素子１１１を点滅させる速度も設定される。この速度としては、例えば数ＭＨｚ程度に設定することができる。なお、座標データにより特定される領域に含まれる全ての発光素子を点滅させずに、点滅させる発光素子１１１を間引くようにしてもよい。点滅させる発光素子１１１の設定は、パタン設定部２２により行われる。

［順序信号生成動作］
また、順序設定部２３は、順序付けアルゴリズムに基づいて、順序信号を生成する（ステップＳ３０２）。順序信号は各種アルゴリズムに基づいて生成することができるが、その中でも代表的な２つの順序付けアルゴリズムについて以下に説明する。なお、順序信号は、以下に示す順序付けアルゴリズムのみならず、他のアルゴリズムに基づいて生成するようにしてもよい。

（第１の順序付けアルゴリズム）
第１の順序付けアルゴリズムは、各領域の座標の大小関係から単純に順序付けを行うものである。画面表示装置１００の表示画面１１０上の複数の領域にメタデータを埋め込む場合、カメラや受光器で可視光の点滅を読み取る際に、読み取り対象である領域のメタデータを現す発光素子１１１の点滅が、近隣の異なるメタデータを現す発光素子１１１点滅の干渉を受け、各領域のメタデータ読み取り時に雑音が発生し、結果として、メタデータを正確に読み取ることが困難となることがある。このため、第１の順序付けアルゴリズムでは、各領域に対して単純に順序付けを行い、同時に複数の領域でメタデータを表示しないことにより、メタデータ読み取り時の雑音を防ぐようにしたものである。

例えば、図５に示すように、座標データにより指定される画像表示装置１００の表示画面１１０上の領域が矩形の形状を有する場合、順序設定部２３は、左上の座標を各領域の代表点とし、この代表点の座標の値が小さい方から順番に順序付けを行う。本実施の形態では、Ｙ方向の座標の値が小さい順に順序付けを行う。なお、Ｙ方向の座標の値が同じ場合は、Ｘ方向の座標の値が小さい順に順序付けを行う。

一例として、２つの領域ｒ１，ｒ２の代表点の座標が（ｘ１，ｙ１），（ｘ２，ｙ２）とした場合、ｙ１＜ｙ２のときは、（ｘ１，ｙ１）＜（ｘ２，ｙ２）となり、ｒ１，ｒ２の順番で順序付けが行われる。また、ｙ１＝ｙ２でｘ１＜ｘ２のときは、（ｘ１，ｙ１）＜（ｘ２，ｙ２）となり、ｒ１，ｒ２の順番で順序付けが行われる。

したがって、順序がｎ番目の領域の集合をＲｎ（ｎ＝１，２，…）とし、ｋ番目に小さい代表点を持つ領域をｒ’ｋ（ｋ＝１，２，…）とすると、Ｒｎ＝｛ｒ’ｋ｝となる。

（第２の順序付けアルゴリズム）
第２の順序付けアルゴリズムは、各領域をその位置に応じてグループ化し、このグループ毎に順序付けを行うものである。画面表示装置上の複数の領域にメタデータを埋め込む場合であっても、近接しない領域は他の領域のメタデータを現す点滅の干渉を受ける程度が低いので、それらの領域を同時に点滅させても同時にメタデータを読み取ることができる。このように、複数の領域で同時にメタデータを点滅させることにより、単位時間当たりより多くのメタデータを出力することができる。このような第２の順序付けアルゴリズムについて、図６を参照して説明する。

まず、順序設定部２３は、画像表示装置１００の表示画面１１０上に設定された全ての領域の集合をＲＡ、任意の領域の集合をＲとして設定する（ステップＳ６０１）。ここで、集合Ｒには、任意の値を設定しておく。

ＲＡ，Ｒが設定されると、ｉ番目の集合Ｒを設定するため、まずｉ＝１と設定する（ステップＳ６０２）。また、Ｒを空集合として設定する（ステップＳ６０３）。

ｉおよびＲが設定されると、順序設定部２３は、ＲＡの中から代表点の座標の値が最も小さい領域をＲの要素として加える（ステップＳ６０４）。これにより、ｉ番目の集合Ｒに含める領域の基準となる領域が設定される。例えば、ＲＡに含まれる座標の値が最も小さい領域をｒ’１１とすると、このｒ’１１をＲの要素として加える、すなわちＲ＝｛ｒ’１１｝とする。

ＲにＲＡの中から領域が加えられると、順序設定部２３は、Ｑ（Ｒ）の中から代表点の座標が最も小さい領域をＲに加える（ステップＳ６０５）。ここで、Ｑ（Ｒ）とは、Ｒに含まれる領域とは近接しない領域の集合のことを意味する。したがって、Ｒには、互いに近接しない領域が加えられることとなる。例えば、上述したＲ＝｛ｒ’１１｝の場合、Ｑ（Ｒ）に含まれる座標の値が最も小さい領域をｒ’１２とすると、順序設定部２３は、そのｒ’１２をＲに加える、すなわちＲ＝｛ｒ’１１，ｒ’１２｝とする。

ＲにＱ（Ｒ）の中から領域が加えられると、順序設定部２３は、Ｑ（Ｒ）を再演算し（ステップＳ６０６）、Ｑ（Ｒ）が空集合であるか否かを確認する（ステップＳ６０７）。Ｑ（Ｒ）が空集合ではない場合（ステップＳ６０７：ＮＯ）、ステップＳ６０６の処理に戻る。Ｑ（Ｒ）が空集合ではないということは、Ｒに含まれる領域に近接しない領域が、まだＱ（Ｒ）に存在することを意味する。したがって、順序設定部２３は、Ｒに含まれる領域に近接しない領域がＱ（Ｒ）からなくなるまで、ステップＳ６０５〜６０７を繰り返す。

一方、Ｑ（Ｒ）が空集合である場合（ステップＳ６０７：ＹＥＳ）、順序設定部２３は、Ｒに順序付けを行う、すなわち、Ｒをｉ番目の集合であるＲｉと設定する（ステップＳ６０８）。例えば、上述したＲ＝｛ｒ’１１，ｒ’１２｝の場合、１番目として順序付けを行ったＲ１と設定する。

任意の集合Ｒの順序付けが行われると、順序設定部２３は、新たなＲＡを設定する（ステップＳ６０９）。具体的には、順序付けが行われたＲｉをＲＡから引いたＲＡ−Ｒｉを新たなＲＡとする。

新たなＲＡが設定されると、順序設定部２３は、ＲＡが空集合であるか否かを確認する（ステップＳ６１０）。ＲＡが空集合ではない場合（ステップＳ６１０：ＮＯ）、順序設定部２３は、次の集合の順番を変更、すなわちｉ＝ｉ＋１とし（ステップＳ６１１）、ステップＳ６０３の処理に戻る。ＲＡが空集合ではないということは、まだ何れの集合Ｒにも含まれない領域が存在することを意味する。したがって、順序設定部２３は、何れのＲにも含まれない領域がなくなるまで、すなわちＲＡの要素がなくなるまで、上述したステップＳ６０３〜Ｓ６１１を繰り返す。

一方、ＲＡが空集合である場合（ステップＳ６１０：ＹＥＳ）、順序設定部２３は、順序付けアルゴリズムの演算を終了する。これにより、順序付けが行われ、かつ、何れも近接しない領域の集合の系列Ｒ１，Ｒ２，Ｒ３…が生成される。

このような第２の順序付けアルゴリズムにおいて、Ｑ（Ｒ）を演算する際に行う、各領域が隣接しているか否かの判定は、各種判定方法を用いることができるが、その中でも代表的な３つの方法について以下に示す。なお、領域が隣接しているか否かの判定方法は、以下に示す方法に限定されず、他の判定方法によって判定するようにしてもよい。

（１）基準となる領域ｒと辺または領域を共有する領域を、領域ｒに隣接していると判定する。（２）基準となる領域ｒの重心から、任意の領域ｒ’の重心までの距離が所定の値ｃよりも小さいとき、領域ｒ’は領域ｒに隣接していると判定する。（３）基準となる領域ｒの辺上の点と、任意の領域ｒの辺上の点との最小の距離が所定の値ｃよりも小さいとき、領域ｒ’は領域ｒに隣接していると判定する。なお、本実施の形態において、「隣接する」とは、１の領域が他の領域と所定の値より近づくことを意味する。したがって、他の領域と接したり、他の領域と重なり合ったりする場合は、「隣接する」と判定する。

上述した第１，２の順序付けアルゴリズムは、領域が重なり合っている場合についても順序づけを行うことができる。例えば、図７に示すように、表示画面１１０上に４つの領域Ａ〜Ｄが存在する場合であっても、代表点の座標に基づいて順序づけを行うことができる。なお、図７において、領域Ａと領域Ｄの代表点の座標は同一となっている。このような場合、代表点が同一の領域の順序は、ランダムに決定するようにしてもよい。また、例えば左下の座標など代表点の座標を変え、この座標に基づいて決定するようにしてもよい。このようにすることにより、代表点の座標が同一の領域に対しても順序づけを行うことが可能となる。

［継続信号生成動作］
また、継続時間設定部２４は、点滅パタンの表示を継続する時間（以下、表示継続時間と呼ぶ）に関する継続信号を設定する（ステップＳ３０３）。この継続信号は、例えば、全ての領域の点滅パタンを同じ時間だけ点滅させるように設定してもよい。この場合、点滅パタンを点滅させる時間をｔとすると、ｋ番目の領域の集合における点滅パタンの表示継続時間Ｄｋは下式（１）で表される。

Ｄｋ＝ｔ ・・・（１）

また、データ量が大きい点滅パタンを有する領域は点滅時間が長くなるように継続信号を設定するようにしてもよい。例えば、ｋ番目の集合Ｒｋに含まれる領域から発信する各点滅パタンのうちデータ量が最大の点滅パタンのデータ量をＢｋとすると、このＢｋに比例した時間を表示継続時間Ｄｋに割り当てる。すなわち、下式（２）で表される。この下式（２）において、ｔ’は任意の単位時間を意味し、適宜自由に設定することができる。

Ｄｋ＝Ｂｋ×ｔ’ ・・・（２）

［点滅信号生成動作］
各領域の点滅パタン、順序信号、継続信号が生成されると、出力部２５は、それらに基づいて点滅信号を生成する（ステップＳ３０４）。この点滅信号とは、各領域における点滅パタンの表示開始時刻と表示終了時刻を特定するものである。このような点滅信号の生成動作について以下に示す。

一例として、表示画面１１０上にｎ個の領域ｒ１，ｒ２，…，ｒｎが存在する場合について説明する。まず、出力部２５は、順序信号に基づいて、それらの領域をｍ個の集合Ｒ１，Ｒ２，…，Ｒｍの何れかに属するように分類する。このとき、第１の順序付けアルゴリズムにより順序信号が生成された場合は、領域の数量と集合の数量とは等しくなる、すなわち、領域ｒｎはｎ個の集合Ｒｎの何れかに分類される。

また、出力部２５は、継続信号に基づいて、順序がｋ番目の領域の集合Ｒｋの表示継続時間Ｄｋ（Ｄ１，Ｄ２，Ｄ３，…，Ｄｍ）を検出する。

領域の集合の順序および表示継続時間の検出を行うと、出力部２５は、次のように各領域の点滅パタンを点滅させる点滅信号を生成する。まず、集合Ｒ１に属する全ての領域を表示継続時間Ｄ１の間、それぞれの点滅パタンで点滅させる。次に、集合Ｒ２に属する全ての領域を表示継続時間Ｄ２の間、それぞれの点滅パタンで点滅させる。このように順次各集合の領域で点滅パタンを点滅させｒ、集合Ｒｍに属する領域の点滅パタンの点滅が終了すると、再び集合Ｒ１に属する領域の点滅パタンを点滅させる。

このとき、各集合の点滅パタンの表示開始時刻および表示終了時刻は、以下に示すように決定される。例えば、画像表示装置１００による点滅パタンの表示開始時刻をｔ０、１番目の集合Ｒ１に属する領域の表示継続時間をＤ１、２番目の集合Ｒ２に属する領域Ｒ２に属する領域の表示継続時間をＤ２、…、ｍ番目の集合Ｒｍに属する領域Ｒｍの表示継続時間をＤｍとする。このとき、１番目の集合Ｒ１に属する領域の表示開始時刻はｔ０、表示終了時刻はｔ０＋Ｄ１となる。また、２番目の集合Ｒ２に属する領域の表示開始時刻はｔ０＋Ｄ１、表示終了時刻はｔ０＋Ｄ１＋Ｄ２となる。また、ｍ番目の集合Ｒｍに属する領域の表示開始時刻はｔ０＋Ｄ１＋Ｄ２＋…＋Ｄ（ｍ−１）、表示終了時刻はｔ０＋Ｄ１＋Ｄ２＋…＋Ｄｍとなる。

これにより、点滅パタン、この点滅パタンを点滅させる領域、各領域または各集合の領域の表示開始時刻と表示終了時刻とを特定する点滅信号が生成される。

このように、本実施の形態によれば、座標データにより特定される画像表示装置１００の表示画面１１０上の領域に、メタデータに基づく点滅パタンを表示させることにより、表示画面１１０に表示される映像の任意の場所にメタデータを埋め込むことができる。

また、本実施の形態によれば、映像に複数のメタデータを埋め込む場合、各領域を近接または隣接しない領域毎にグループ化し、このグループ化した集合毎に点滅パタンを表示させる。これにより、カメラや受光器で点滅パタンを読み取る際に、読み取り対象である領域のメタデータを現す発光素子の点滅が、近隣の異なるメタデータを現す点滅の干渉を受けることを防ぐことができる。これにより、領域の大きさや領域からの距離にかかわらず、メタデータを正確に読み取ることができる。

また、本実施の形態によれば、画像表示装置１００という可視光線を出力する装置を用いることにより、光が有する直進性や指向性という特性を有利に活用し、メタデータの受信に無線ＬＡＮなどの電波を用いて表示機器付近に基地局を設置する場合と比べて、混信することなくメタデータを受信することができる。また、複数の近接した発光素子から混信することなくメタデータを受信することもできるので、表示画面上の複数領域から別々のメタデータを提供することが可能である。

また、本実施の形態によれば、点滅パタンを表示するタイミングを制御して近接する領域の点滅パタンの干渉をなくすため、例えば、図７で示したように、重なり合う複数の領域に対して異なるメタデータを割り当てることもできる。このように、本実施の形態では、メタデータを設定する領域を適宜自由に設定することができる。

このため、例えば、表示画面上のオブジェクトに対してメタデータを設定して画面上の発光素子から送信する領域を設定する場合において、形が線上で領域設定が複雑であっても、領域の形や大きさを、他のオブジェクトに対応する領域を気にせずに受信側で読み取りが容易なように設定したり、領域定義が容易なように設定したりすることができる。また、画面全体に対するメタデータと、その中の領域やオブジェクトに対するメタデータを埋め込むこともできる。

複数の領域から光の点滅によるメタデータの通信は、透かし読み取りをする場合と比較して、メタデータを抽出するための演算量が非常に少ない。したがって、透かしよりも大量のデータを短時間で送信することができる。これにより、例えば、画像と同時にその領域に存在する人物やオブジェクトに対応する音声データをメタデータとして送信することも可能となる。また、書誌データ、著作権データ、関連情報アドレスの他に、字幕データ、音声データなどの付加データも画像とともに点滅で提供することができる。これらも広義のメタデータと見なすことができる。

なお、画像データが動画から構成される場合、上述した静止画の場合とは異なり、シーン変更等が存在するので、メタデータを表示する領域が時々刻々変化する。このため、適切に点滅パタンを点滅させるには、領域の設定やこの領域に埋め込むメタデータを動画の状況に応じて変化させなければならない。このような場合、座標データに点滅パタンの点滅開始および終了時間を加えることにより対応することができる。すなわち、画像表示装置１００上の矩形領域を表現するデータに加えて、期間を表すデータを追加し、２つの空間座標と２つの時刻とからなるデータを座標データとする。ここで、２つの空間座標とは、画像表示装置１００の表示画面１１０上の領域を表すものである。また、２つの時刻とは、動画の表示開始時刻から経過時間を表し、それぞれ領域の存在開始時刻と終了時刻を相対時間で表すものである。例えば、図８に示すように、画像表示装置１００の表示画面１１０上の領域Ｂの矩形領域の空間座標を（（ｘ１，ｙ１），（ｘ２，ｙ２））、領域Ｂが時刻ｔ１から時刻ｔ２まで存在する場合、座標データは（（ｘ１，ｙ１），（ｘ２，ｙ２），（ｔ１，ｔ２））で表される。

各領域については、上述したように座標データを設定することにより対応することができるが、全ての領域については、静止画と同様、近接する領域が同時に点滅パタンを表示させないよう、それぞれの領域における点滅パタンの表示開始時刻と表示継続時間を決定しなければならない。この場合、例えば、画像表示装置１００の表示画面１１０上において、同一の領域の組み合わせが継続する期間について、静止画の場合と同等の方法を用いることにより対応することができる。

例えば、動画開始時刻からの相対時刻０から始まる表示画面１１０上の領域が変化しない期間をＴ０（開始時刻０＝ｔ０、終了時刻ｔ１）、相対時刻ｔ１から始まる表示画面１１０上の領域が変化しない期間をＴ１（開始時刻ｔ１、終了時刻ｔ２）、…、相対時刻ｔｋから始まる画面上の領域分割の仕方が変化しない最大期間をＴｋ（開始時刻ｔｋ、終了時刻ｔ（ｋ＋１））とする。このとき、各期間Ｔｋにおいて、上述した静止画の場合と同等の方法で点滅パタン、順序信号および継続信号を生成し、これらに基づいて点滅信号を生成することにより、画像データが動画の場合であっても、メタデータを表示することができる。

また、本実施の形態では、表示画面１１０上の領域を２つの座標で表すようにしたが、領域を表す形態は２つの座標に限定されず、例えば、さらに多数の座標で表したり、ベクトルを用いて表すなど、適宜自由に設定することができる。同様に、領域の存在期間についても、２つの時刻のみらなず、例えば、開始時刻と継続時間など適宜自由に設定することができる。

また、本実施の形態では、図１に示すように、映像信号生成部１０により生成された映像信号と、点滅信号生成部２０により生成された点滅信号とを別々に画像表示装置１００に入力するようにしたが、図９に示すように、映像信号と点滅信号とを合成したものを画像表示装置１００に入力するようにしてもよい。この図９に示すデータ通信装置２の場合、映像信号生成部１０により生成された映像信号と、点滅信号生成部２０により生成された点滅信号とは、合成部３０により合成され、合成信号として画像表示装置１００に入力される。このとき、合成部３０は、映像信号のフレームレートを従来よりも高くし、これに点滅信号を合成するようにしてもよい。これにより、画像表示装置１００には、フレームレートの高い映像信号に点滅信号が合成された合成信号が入力されるので、画像表示装置１００がフレームレートの高い映像信号を出力可能な場合には、高画質の画像が出力される。

本発明は、映像を表示する表示装置に適用することができる。

本発明にかかるデータ通信装置の構成を示すブロック図である。 座標データにより特定される領域を説明するための図である。 点滅信号の生成動作を説明するフローチャートである。 メタデータと座標データのデータ構成を模式的に示す図である。 座標データの一構成例を示す図である。 順序設定部の動作を示すフローチャートである。 重なり合う領域を説明する図である。 画像データが動画から構成されるときの座標データを説明する図である。 本発明にかかるデータ通信装置の他の構成を示すブロック図である。 画像表示装置の構成を模式的に示す図である。 従来のデータ通信装置の構成を示すブロック図である。 従来のデータ通信装置の他の構成を示すブロック図である。 （ａ）映像信号、（ｂ）点滅信号、（ｃ）合成信号の輝度変化を示す図である。

符号の説明

１，２…データ通信装置、１０…映像信号生成部、２０…点滅信号生成部、２１…受信部、２２…パタン設定部、２３…順序設定部、２４…継続時間設定部、２５…出力部、１００…画像処理装置、１１０…表示画面、１１１…発光素子。

Claims (9)

1. 表示画面の特定の領域から通信データを発信させるデータ通信装置であって、
   前記通信データと、前記通信データに対応付けられた領域情報とを複数取得する取得手段と、
   前記通信データを前記領域情報により特定される前記表示画面上の領域から前記領域毎に順番に発信させる発信手段と
   を備えたことを特徴とするデータ通信装置。
2. 表示画面の特定の領域から通信データを発信させるデータ通信装置であって、
   前記通信データと、前記通信データに対応付けられた領域情報とを複数取得する取得手段と、
   前記領域情報に基づいて、前記領域が隣接しない前記通信データ毎に前記通信データをグループ分けするグループ化手段と、
   前記通信データを前記領域情報により特定される前記表示画面上の領域から前記グループ毎に順番に発信させる発信手段と
   を備えたことを特徴とするデータ通信装置。
3. 前記グループ化手段は、前記領域情報が変化する毎にグループ分けを行う
   ことを特徴とする請求項２記載のデータ通信装置。
4. 前記通信データのデータ量に応じて前記通信データを継続して発信する継続時間を設定する継続時間設定手段をさらに備える
   ことを特徴とする請求項１乃至３の何れか１項に記載のデータ通信装置。
5. 前記グループに含まれる通信データのうち、データ量が最大の通信データに基づいて前記通信データを継続して発信する継続時間を設定する継続時間設定手段と
   をさらに備えることを特徴とする請求項３記載のデータ通信装置。
6. 前記表示画面上に画像を表示させる画像表示手段をさらに備え、
   前記発信手段は、可視光による点滅パターンによって前記通信データを前記画像に重畳して発信させる
   ことを特徴とする請求項１乃至５の何れか１項に記載のデータ通信装置。
7. 表示画面の特定の領域から通信データを発信させるデータ通信方法であって、
   前記通信データと、前記通信データに対応付けられた領域情報とを複数取得する取得ステップと、
   前記通信データを前記領域情報により特定される前記表示画面上の領域から前記領域毎に順番に発信させる発信ステップと
   を備えたことを特徴とするデータ通信方法。
8. 表示画面の特定の領域から通信データを発信させるデータ通信装置のデータ通信プログラムであって、
   コンピュータに、
   前記通信データと、前記通信データに対応付けられた領域情報とを複数取得する取得ステップと、
   前記通信データを前記領域情報により特定される前記表示画面上の領域から前記領域毎に順番に発信させる発信ステップと
   を実行させることを特徴とするデータ通信プログラム。
9. 前記発信手段は、前記領域情報により特定される前記領域の少なくとも一部が重なり合う場合は、当該領域から前記通信データを同時に発信させない
   ことを特徴とする請求項１乃至６の何れか１項に記載のデータ通信装置。

Images