JP5608627B2 - 送信装置、受信装置及び方法 - Google Patents

Description

本発明は、画面を介し情報を伝達する送信装置、受信装置及び方法に関する。

携帯端末間においてプロフィール情報（電話番号、メールアドレスなど）を交換するため、赤外線通信機能を利用することが一般的である。しかしながら、これら携帯端末の一方が赤外線通信機能を備えていない場合、赤外線通信機能を利用したプロフィール情報の交換はできない。この場合、一方の携帯端末の画面上にプロフィール情報を記録したＱＲコード（登録商標）を表示し、他方の携帯端末のカメラによって表示されたＱＲコード（登録商標）を読み取ってプロフィール情報を取得する方法が利用されている。

しかしながら、ＱＲコード（登録商標）を用いた方法では、カメラの焦点を正確に合わせる必要があり、また手ブレに弱く、認識可能な読み取り角度に制約があるなどの問題があった。

上述した問題点に鑑み、本発明の課題は、画面上に表示されるカラーイメージを利用して情報を伝達する送信装置、受信装置及び方法を提供することである。

上記課題を解決するため、本発明の一特徴は、動画像によりデータを送信する送信装置であって、前記データを前記動画像を構成する複数のカラーに配分する送信データ制御部と、前記複数のカラーのそれぞれについて、前記配分されたデータを所定の色値の系列に変換し、前記色値の系列に従ってディスプレイ上の通信領域において前記複数のカラーを発光する表示部とを有する送信装置に関する。

本発明によると、画面を備えている装置であれば他の通信手段を用いることなく、画面上に表示されるカラーイメージを利用して情報を伝達する送信装置、受信装置及び方法を提供することができる。

図１は、本発明の一実施例による送信イメージを示す図である。 図２は、本発明の一実施例による送信装置の構成を示すブロック図である。 図３は、本発明の一実施例による受信装置の構成を示すブロック図である。 図４は、本発明の一実施例による通信領域を識別する方法を示す図である。 図５は、本発明の一実施例による送信装置及び受信装置の処理を示すフロー図である。 図６は、本発明の一実施例によるパケット構成を示す図である。 図７は、本発明の他の実施例による送信イメージを示す図である。 図８は、本発明の実施例による効果を示す図である。

以下、図面に基づいて本発明の実施の形態を説明する。

以下の実施例では、送信装置から受信装置にデータを送信するため、送信装置は、送信対象となるデータを複数のカラーに配分し、配分されたデータを色値の系列に変換し、変換された各カラーの色値の系列に従って動画像をディスプレイ上に表示する。受信装置は、カメラなどの撮像手段によって送信装置のディスプレイを撮影し、撮影された動画像から各カラーの色値の系列を取得し、取得した各カラーの色値の系列を復号化及び合成することによってデータを取得する。送信装置と受信装置とは、典型的には、携帯装置であるが、本発明はこれに限定されるものでない。すなわち、送信装置は、ディスプレイ上に表示される動画像を介し送信対象データを送信可能な何れか適切な装置とすることが可能であり、例えば、デスクトップパーソナルコンピュータ（ＰＣ）や街頭ディスプレイなどであってもよい。また、受信装置は、送信装置のディスプレイ上に表示される動画像を撮像し、撮像した動画像から送信対象データを取得可能な何れか適切な装置であってもよい。

図１を参照して、本発明の一実施例によるカラーイメージによる情報伝達の一例を説明する。図１は、本発明の一実施例による送信イメージを示す。

図１に示されるように、送信装置の画面上にＲＧＢの３原色のそれぞれに情報を割り当てることにより生成されるカラーイメージが表示される。図示された送信イメージは、３原色がＲ＝２５５、Ｇ＝０及びＢ＝２５５の色値に割り当てられることによって生成されるイメージである。色値「２５５」にバイナリ値「１」が割り当てられ、色値「０」にバイナリ値「０」が割り当てられる場合、図示された送信イメージは「１０１」の３ビットの情報を伝達することが可能である。このように符号化された１以上の送信イメージを所定の間隔又はフレームレートなどにより動画表示することによって、各表示フレーム毎に３ビットの情報を伝達することが可能となる。受信装置は、内蔵されたカメラなどの撮像手段を利用して表示された送信イメージを撮影し、撮影した送信イメージから情報を取得することが可能となる。

なお、図示された送信イメージでは、各原色について「２５５」と「０」の２つの色値が使用されたが、より多くの色値を用いる多値変調方式が利用されてもよい。例えば、「２５５」、「１７０」、「８５」及び「０」の４つの色値を利用し、色値「２５５」にバイナリ値「１１」が割り当てられ、色値「１７０」にバイナリ値「１０」が割り当てられ、色値「８５」にバイナリ値「０１」が割り当てられ、色値「０」にバイナリ値「００」が割り当てられてもよい。この場合、ＲＧＢの３原色を使用して、１つの送信イメージによって６ビットの情報を伝達することが可能となる。

また、以下の実施例では、ＲＧＢ方式に関して本発明を説明するが、本発明は、ＲＧＢ方式に限定されるものでなく、複数のカラーを表示可能な他の何れか適当なカラー表示方式が利用されてもよい。

上述した実施例では、ＲＧＢの各色について「２５５」、「１７０」、「８５」及び「０」の２又は４つの色値が所定の色値として使用された。しかしながら、本発明はこれに限定されるものでなく、例えば、送信装置及び受信装置が配置されている環境に応じて使用する色値を変更するようにしてもよい。例えば、送信装置及び受信装置が暗い環境にある場合、暗い色の色値を使用することを回避するようにしてもよい。このように環境に応じて使用する色値を動的に割り当てることによって、より精度の高いカラーイメージの撮像が可能となる。

以下の実施例による送信装置及び／又は受信装置は、典型的には、携帯電話端末やスマートフォンなどの携帯情報端末であり、送信装置は、端末内に搭載されたアプリケーションを利用して送信対象データをディスプレイ上に表示可能な装置であり、受信装置は、端末内に搭載されたアプリケーションと撮像手段とを利用して送信装置のディスプレイを撮像可能な装置である。送信装置及び／又は受信装置は、典型的には、補助記憶装置、メモリ装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、通信装置、表示装置、入力装置、撮像装置などの各種ハードウェアリソースの１以上から構成される。補助記憶装置は、ハードディスクやフラッシュメモリなどから構成され、後述される各種処理を実現するプログラムやデータを格納する。メモリ装置は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成され、プログラムの起動指示があった場合に、補助記憶装置からプログラムを読み出して格納する。ＣＰＵは、情報を処理するプロセッサとして機能し、メモリ装置に格納されたプログラムに従って後述される各種機能を実現する。通信装置は、ネットワークを介しサーバなどの他の装置と有線及び／又は無線接続するための各種通信回路から構成される。表示装置は、ＬＥＤディスプレイ、有機ＥＬディスプレイなどの各種ディスプレイから構成され、各種情報を表示する。入力装置は、典型的には、操作ボタン、キーボード、マウス等で構成され、移動端末のユーザが様々な操作命令を入力するのに用いられる。撮像装置は、典型的には、ＣＣＤなどの撮像素子から構成されるデジタルカメラから構成され、静止画像及び動画像を撮像して画像データを取得する。撮像装置は、送信装置が置かれている環境の明るさを検知し、所定の明るさを下回る場合にはライトを点灯するものであってもよい。なお、本発明による送信装置及び受信装置は、上述したハードウェア構成に限定されるものでなく、後述する各種機能を実現可能な回路等の他の何れか適切なハードウェア構成を有してもよい。

次に、図２を参照して、本発明の一実施例による送信装置を説明する。図２は、本発明の一実施例による送信装置の構成を示すブロック図である。

図２に示されるように、送信装置１００は、送信データ制御部１１０と、表示部１２０とを有する。表示部１２０は、Ｒ色制御部１３０Ｒ、Ｇ色制御部１３０Ｇ及びＢ色制御部１３０Ｂ、並びに対応するＲ色発光部１４０Ｒ、Ｇ色発光部１４０Ｇ及びＢ色発光部１４０Ｂを有する。

送信データ制御部１１０は、送信対象のデータをＲＧＢの各色に配分する。上述したように各色について「２５５」と「０」の２つの色値を用いて変調する場合、例えば、送信データ制御部１１０は、送信対象のデータ「ｘ_０ｘ_１ｘ_２・・・ｘ_ｎｘ_ｎ＋１ｘ_ｎ＋２」（ただし、ｘ_ｉは「０」又は「１」のバイナリ値である）の「ｘ_０ｘ_３・・・ｘ_ｎ」をＲ色制御部１３０Ｒに配分し、「ｘ_１ｘ_４・・・ｘ_ｎ＋１」をＧ色制御部１３０Ｇに配分し、「ｘ_２ｘ_５・・・ｘ_ｎ＋２」をＢ色制御部１３０Ｂに配分するようにしてもよい。また、他の実施例では、ＲＧＢの３色の何れか１色を後述するような同期信号を送信するために割当て、残りの２色によって送信対象のデータを送信してもよい。上記配分方法は、単なる一例であり、例えば、送信対象のデータを直列的に３分割してＲＧＢの各色に配分するなど他の何れか適切な配分方法が利用可能である。

また、送信データ制御部１１０は、ＲＧＢの各色に配分するデータにプリアンブルや誤り検出／訂正符号などのビット列を付加し、受信装置２００がより確実にデータを受信できるようにしてもよい。

表示部１２０は、送信データ制御部１１０から受信した送信対象のデータを１以上の送信イメージに変換し、送信装置１００のディスプレイ上の通信領域に動画表示する。この送信イメージは、何れか適当な形状により表示されてもよいが、受信装置２００による読み取りに適した形状により表示されることが好ましい。例えば、受信装置２００が送信装置１００のディスプレイを撮像する際の読み取り角度に応じて、受信装置２００が、撮像したイメージから送信イメージを適切に認識できないような形状は好ましくない。

上述した各色について「２５５」と「０」の２つの色値を用いて送信対象のデータのビット列「ｘ_０ｘ_１ｘ_２・・・ｘ_ｎｘ_ｎ＋１ｘ_ｎ＋２」を送信する場合、Ｒ色制御部１３０Ｒは、送信データ制御部１１０から提供された「ｘ_０ｘ_３・・・ｘ_ｎ」について、ｘ_ｉ＝「０」の場合には色値「０」を割当て、ｘ_ｉ＝「１」の場合には色値「２５５」を割当て、「ｘ_０ｘ_３・・・ｘ_ｎ」に対応する色値系列「０／２５５・・・」により発光するようＲ色発光部１４０Ｒを制御する。同様に、Ｇ色制御部１３０Ｇは、送信データ制御部１１０から提供された「ｘ_１ｘ_４・・・ｘ_ｎ＋１」について、ｘ_ｉ＝「０」の場合には色値「０」を割当て、ｘ_ｉ＝「１」の場合には色値「２５５」を割当て、「ｘ_１ｘ_４・・・ｘ_ｎ＋１」に対応する色値系列「０／２５５・・・」により発光するようＧ色発光部１４０Ｇを制御する。また、Ｂ色制御部１３０Ｂは、送信データ制御部１１０から提供された「ｘ_２ｘ_５・・・ｘ_ｎ＋２」について、ｘ_ｉ＝「０」の場合には色値「０」を割当て、ｘ_ｉ＝「１」の場合には色値「２５５」を割当て、「ｘ_２ｘ_５・・・ｘ_ｎ＋２」に対応する色値系列「０／２５５・・・」により発光するようＢ色発光部１４０Ｂを制御する。

Ｒ色発光部１４０Ｒ、Ｇ色発光部１４０Ｇ及びＢ色発光部１４０Ｂはそれぞれ、Ｒ色制御部１３０Ｒ、Ｇ色制御部１３０Ｇ及びＢ色制御部１３０Ｂの制御の下で各表示フレームにおいて色値系列に従ってディスプレイを発光する。本実施例では、ＲＢＧの各色について、「０」と「２５５」の２つの色値を使用しているため、送信対象のデータのビット列は、各色の点滅パターンに変換される。

次に、図３を参照して、本発明の一実施例による受信装置を説明する。図３は、本発明の一実施例による受信装置の構成を示すブロック図である。

図３に示されるように、受信装置２００は、動画像撮影部２１０と、通信領域抽出部２２０と、データ受信部２３０とを有する。

動画像撮影部２１０は、送信装置１００のディスプレイ上に表示された１以上の送信イメージから構成される動画像を撮像し、撮像した動画像を構成する１以上の撮像イメージを通信領域抽出部２２０に提供する。送信装置１００がディスプレイ上に図１に示されるような送信イメージを表示する場合、撮像イメージは、典型的には、図１に示されるような送信装置１００の機器本体を含む画像となる。

通信領域抽出部２２０は、動画像撮影部２１０から提供された１以上の撮像イメージから、送信装置１００による送信対象の通信領域を抽出し、抽出した通信領域をデータ受信部２３０に提供する。撮像イメージが図１に示されるような送信装置１００の機器本体を含む画像である場合、通信領域抽出部２２０は、撮像イメージから送信データである中央のカラー化された通信領域を抽出する。

通信領域抽出部２２０は、送信装置１００のディスプレイ上に表示される通信領域の形状に基づき通信領域を抽出してもよい。しかしながら、受信装置２００が送信装置１００のディスプレイを撮影する角度によっては通信領域の形状を正しく撮像することができない可能性がある。このため、通信領域の形状を正しく認識できるように、後述する所定の１色を同期信号として利用する方法を用いることが望ましい。

また、受信装置２００は、複数の送信装置１００のディスプレイを同時に撮影してもよい。この場合、通信領域抽出部２２０は、撮像イメージから各送信装置１００の通信領域を抽出し、抽出した複数の通信領域をデータ受信部２３０に提供する。このようにして、受信装置２００は、複数の送信装置１００のプロファイル情報などのデータを同時に受信することが可能となり、従来技術による赤外線通信などによる携帯装置間の一対一通信よりも効率的な一対多通信を実現することが可能となる。

また、本発明の好適な実施例では、図４に示されるように、送信装置１００が、ＲＧＢの３色から所定の１色を通信領域を特定するための同期信号に割当て、通信領域抽出部２２０は、この同期信号を利用して通信領域を抽出するようにしてもよい。図４に示される実施例では、同期信号として青色が割り当てられ、送信装置１００は、通信領域を青色の境界線の内部に表示するようにしてもよい。通信領域抽出部２２０は、撮像イメージ内の青色の境界線を特定することによって、特定された境界線により包囲された領域を通信領域として抽出する。もしくは送信装置１００は、通信領域内全体に青色の同期信号を他の色に重ねて表示するようにしてもよい。通信領域抽出部２２０は、撮像イメージ内の青色成分を特定することによって、通信領域として抽出する。より好ましくは、図４に示されるように、送信装置１００は、所定の点滅パターンによって同期信号に割り当てられたカラーを点滅させるようにしてもよい。この場合、通信領域抽出部２２０は、より高い精度により通信領域を特定することが可能となり、上述した一対多通信などにおける複数の通信領域の抽出に特に効果的である。

データ受信部２３０は、通信領域抽出部２２０から受信した通信領域のＲＧＢの各色の色値系列を特定し、特定した色値系列から通信領域に含まれるビット系列を特定する。例えば、ＲＧＢの各色について２つの色値「０」、「２５５」を用いて通信領域が構成されている場合、１つの撮像イメージから３ビットの情報を取得することができる。データ受信部２３０は、各撮像イメージから３ビットの情報を取得及び合成することによって、撮像された動画像から送信された情報を構成する。

次に、図５を参照して、本発明の一実施例による送信装置から受信装置へのデータ送信処理を説明する。図５は、本発明の一実施例による送信装置及び受信装置の処理を示すフロー図である。

図５に示されるように、ステップＳ１０１において、送信装置１００において送信データが発生することによって当該フローは開始される。典型的には、送信装置１００のユーザが自らのプロファイル情報などのデータをディスプレイを介し受信装置２００に送信しようとするとき、当該フローは開始される。

ステップＳ１０３において、送信装置１００は、送信対象のデータをＲＧＢの各色に配分する。あるいは、ＲＧＢのうちの１色を同期信号に割り当てる場合には、送信装置１００は、送信対象のデータを残りの２色に配分する。

ステップＳ１０５において、図６に示されるように、送信装置１００は、ＲＧＢの各色に配分したデータにプリアンブルと誤り検出／訂正符号とを付加し、各色用のパケットを生成する。付加されたプリアンブルと誤り検出／訂正符号とは、何れか既知の技術を利用して構成したものであってもよく、このような付加データを追加することによって、受信装置２００においてパケットを確実に受信することが可能になる。

ステップＳ１０７において、送信装置１００は、Ｒ色用パケット、Ｇ色用パケット及びＢ色用パケットに含まれるビット系列を色値系列に変換し、変換された各色の色値系列に従って、典型的にはＬＥＤにより構成されるディスプレイを発光させる。

ステップＳ２０１において、受信装置２００は、送信装置１００のディスプレイに表示される動画像を撮影し、撮影した動画像を取得する。

ステップＳ２０３において、受信装置２００は、撮影した動画像を構成する各撮像イメージから通信領域を抽出する。

ステップＳ２０５において、受信装置２００は、各撮像イメージから抽出した通信領域の画像データを記憶手段に蓄積する。

ステップＳ２０７において、受信装置２００は、蓄積された画像データの各色のパケットの誤り検出／訂正符号に基づき、各パケットに対して誤り検出を実行する。何れかのパケットに誤りが検出され、訂正できない場合（ステップＳ２０７：ＮＧ／訂正不可）、受信装置２００は、ステップＳ２０９において、当該パケットを破棄し、ステップＳ２０１に戻って送信装置１００から動画像を再取得する。他方、何れのパケットにも誤りが検出されない場合、又は誤りが検出されても訂正可能であった場合、受信装置２００は、ステップＳ２１１において、蓄積した各色のパケットからデータ部分を抽出する。

ステップＳ２１３において、受信装置２００は、各色のパケットから抽出したデータを合成し、送信装置１００から送信されたデータを再構成する。

ステップＳ２１５において、受信装置２００は、再構成したデータを記憶手段及び／又はディスプレイに出力する。

次に、図７を参照して、本発明の他の実施例によるカラーイメージによる情報伝達の一例を説明する。図７は、本発明の他の実施例による送信イメージを示す。

本実施例では、図７に示されるように、送信装置１００は、ディスプレイ上に２つの通信領域Ａ，Ｂが表示し、通信領域Ａ，Ｂのそれぞれに表示されるカラーイメージの色差により送信対象のデータを伝達する。図示された実施例では、通信領域Ａでは、ＲＧＢの各色がそれぞれ色値「２５５」、「０」及び「２５５」により表示され、通信領域Ｂでは、ＲＧＢの各色がそれぞれ色値「０」、「２５５」及び「０」により表示される。これら２つのカラーイメージの色差値は、ＲＧＢの各色についてそれぞれ「２５５」、「−２５５」及び「２５５」となる。色差値「２５５」をビット値「１」に割当て、色差値「−２５５」をビット値「０」に割り当てることによって、送信装置１００は、２つの通信領域Ａ，Ｂによって「１０１」の３ビットの情報を送信することができる。

図示された送信イメージでは、各原色について「２５５」と「０」の２つの色値が使用されたが、より多くの色値を用いる多値変調方式が利用されてもよい。例えば、「２５５」、「１７０」、「８５」及び「０」の４つの色値を利用してもよい。この場合、対応する４つの色差値は「２５５」、「８５」、「−８５」及び「−２５５」となり、色差値「２５５」にバイナリ値「１１」が割り当てられ、色差値「８５」にバイナリ値「１０」が割り当てられ、色差値「−８５」にバイナリ値「０１」が割り当てられ、色差値「−２５５」にバイナリ値「００」が割り当てられてもよい。この場合、ＲＧＢの３原色を使用して、１つの送信イメージによって６ビットの情報を伝達することが可能となる。

本実施例によると、１つの通信領域しか使用しない実施例と比較して、外乱光の影響によりカメラで受信した際の色が本来の色と大きく異なってしまう場合でも、２つの通信領域で一対となる発光を行い、その差分をとることによって外乱光の影響を回避することが可能となる。

次に、図８を参照して、本発明の想定される効果を説明する。図８は、本発明の実施例による効果を示す。

図８に示される計算値は、同一のフレームレート（毎秒３０フレーム）の下でＩＰｖ４アドレス（３２ビット）を送信するのに要する時間の理論値を示す。図示される表の１行目には、単色により情報を伝達する従来方式の計算結果が示され、ＩＰｖ４アドレスを送信するのに２．１３秒かかることが示される。他方、図示される表の２〜５行目には、カラーイメージにより情報を伝達する本発明の計算結果が示される。何れの方式を利用しても、本発明が従来方式より短時間に情報を伝達できることがわかる。

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 送信装置
１１０ 送信データ制御部
１２０ 表示部
２００ 受信装置
２１０ 動画像撮影部
２２０ 通信領域抽出部
２３０ データ受信部

Claims (5)

1. 動画像によりデータを送信する送信装置であって、
   前記データを前記動画像を構成する複数のカラーに配分する送信データ制御部と、
   前記複数のカラーのそれぞれについて、前記配分されたデータを所定の色値の系列に変換し、前記色値の系列に従ってディスプレイ上の通信領域において前記複数のカラーを発光する表示部と、
   を有し、
   前記表示部は、前記ディスプレイ上に２つの動画像を表示する２つの通信領域を設定し、前記２つの動画像の色差によって前記配分されたデータを送信する送信装置。
2. 動画像によりデータを送信する送信装置であって、
   前記データを前記動画像を構成する複数のカラーに配分する送信データ制御部と、
   前記複数のカラーのそれぞれについて、前記配分されたデータを所定の色値の系列に変換し、前記色値の系列に従ってディスプレイ上の通信領域において前記複数のカラーを発光する表示部と、
   を有し、
   前記送信データ制御部は、同期信号を送信するために前記複数のカラーの１つのカラーを割当て、
   前記表示部は、前記通信領域を特定するよう前記割り当てられたカラーを発光する送信装置。
3. 請求項１又は２の送信装置から前記データを受信する受信装置であって、
   前記送信装置のディスプレイを撮影する動画像撮影部と、
   前記撮影されたディスプレイのイメージを表すデータから、前記通信領域を抽出する通信領域抽出部と、
   前記抽出された通信領域に表示された前記動画像から前記複数のカラーの色値の系列を取得し、前記取得した複数のカラーの色値の系列を合成することによって、前記データを取得するデータ受信部と
   を有する、受信装置。
4. 動画像によりデータを送信する方法であって、
   送信装置が、前記データを前記動画像を構成する複数のカラーに配分するステップと、
   前記送信装置が、前記複数のカラーのそれぞれについて、前記配分されたデータを所定の色値の系列に変換し、前記色値の系列に従ってディスプレイ上の通信領域において前記複数のカラーを発光するステップと、
   受信装置が、前記送信装置のディスプレイを撮影するステップと、
   前記撮影されたディスプレイのイメージを表すデータから、前記動画像が表示される通信領域を抽出するステップと、
   前記抽出された通信領域に表示された前記動画像から前記複数のカラーの色値の系列を取得し、前記取得した複数のカラーの色値の系列を合成することによって、前記データを取得するステップと、
   を有し、
   前記送信装置は、前記ディスプレイ上に２つの動画像を表示する２つの通信領域を設定し、前記２つの動画像の色差によって前記配分されたデータを送信する方法。
5. 動画像によりデータを送信する方法であって、
   送信装置が、前記データを前記動画像を構成する複数のカラーに配分するステップと、
   前記送信装置が、前記複数のカラーのそれぞれについて、前記配分されたデータを所定の色値の系列に変換し、前記色値の系列に従ってディスプレイ上の通信領域において前記複数のカラーを発光するステップと、
   受信装置が、前記送信装置のディスプレイを撮影するステップと、
   前記撮影されたディスプレイのイメージを表すデータから、前記動画像が表示される通信領域を抽出するステップと、
   前記抽出された通信領域に表示された前記動画像から前記複数のカラーの色値の系列を取得し、前記取得した複数のカラーの色値の系列を合成することによって、前記データを取得するステップと、
   を有し、
   前記送信装置は、同期信号を送信するために前記複数のカラーの１つのカラーを割当て、前記通信領域を特定するよう前記割り当てられたカラーを発光する方法。

Images