JP4224405B2 - データ信号受信方法とその装置及びプログラム並びにその記録媒体 - Google Patents

データ信号受信方法とその装置及びプログラム並びにその記録媒体 Download PDF

Info

Publication number
JP4224405B2
JP4224405B2 JP2004002706A JP2004002706A JP4224405B2 JP 4224405 B2 JP4224405 B2 JP 4224405B2 JP 2004002706 A JP2004002706 A JP 2004002706A JP 2004002706 A JP2004002706 A JP 2004002706A JP 4224405 B2 JP4224405 B2 JP 4224405B2
Authority
JP
Japan
Prior art keywords
data
signal
optical signal
data signal
data value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004002706A
Other languages
English (en)
Other versions
JP2005198059A (ja
Inventor
健人 宮奥
豪 東野
佳伸 外村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004002706A priority Critical patent/JP4224405B2/ja
Publication of JP2005198059A publication Critical patent/JP2005198059A/ja
Application granted granted Critical
Publication of JP4224405B2 publication Critical patent/JP4224405B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Optical Communication System (AREA)

Description

本発明は、可視光を用いてデータ信号を送信する技術、及びカメラ等のイメージセンサ手段を用いて前記データ信号を含む映像を撮影し、この映像中から前記データ信号の領域を検出すると共に前記データ信号を受信する技術に関するものである。
ユビキタスネットワーク技術の進展と携帯通信端末の普及により、あらゆる場所でネットワークが利用できるようになった。これに伴い、ユーザの周囲状況を認識し、ユーザの周囲の事物を媒体として情報を提供するシステムの研究開発が進められている。具体的には、パブリックスペースに設置された情報提供デバイスが近傍のユーザの位置や動作に応じた情報を提供するシステム(非特許文献1)や、ユーザの保持する携帯情報端末に対して、視野にある実世界の事物に関連する情報を提示するAR(Augmented Reality)システム(例えば、非特許文献2)の開発が行われている。
これらのシステムでは、ユーザと周囲の事物の位置関係を認識することが重要となる。情報提示デバイスの周囲を撮影したカメラ映像から近傍に存在するユーザとその動作を検出する技術や、ユーザの視野を撮影したカメラ映像から視野内の事物を検出する技術は、ユーザと周囲の事物の位置関係を認識するための有効な手段である。
カメラで撮影された映像中のユーザや事物を検出するための有効な手法として、被写体側から発信される光信号を検出するシステムがいくつか提案されている(非特許文献1,3及び4)。これらの光信号システムは、輝度差を用いてデータ信号を送信する。一方、色情報にデータを変換し送信する光信号(色点滅信号)を用いるシステム(非特許文献5)も提案されている。
中村嘉志,伊藤日出男,西村拓一,山本吉伸,中島秀之,「無電源小型通信端末CoBITによる近距離情報支援の実現」,情報処理学会知的都市基盤研究グループ研究報告,2002−ICII−3,2002,pp.1−7 暦本純一,「2次元マトリックスコードを利用した拡張現実感システムの構成手法」,インタラクティブシステムとソフトウェアIV,近代科学社,1996,pp.199−208 松下伸行,日原大輔,後輝行,吉村真一,暦本純一,「ID Cam:シーンとIDを同時に取得可能なスマートカメラ」,情報処理学会論文誌,vol.43,No.12,Dec.2002,pp.3664−3674 青木恒,「カメラで読みとる赤外線タグとその応用」,インタラクティブシステムとソフトウェアVIII,近代科学社,2000,pp.131−136 塚本昌彦,「実空間利用のためのビジュアルなコンピュータ間通信方式」、情報処理学会研究報告(モーバイルコンピューティング2000−MBL−12),Vol.2000,No.14,2000,pp.25−32
色情報によってデータを送信する光信号(色点滅信号)を受信する場合には、環境光の影響により光源が発信した色情報がうまくイメージセンサ手段によって撮像されないことが多い。例えば、太陽や照明などの環境光が、カメラ撮像方向と同じ向きで、光源を照らす場合に、光源に反射した環境光によって、光源自体が発信する色情報の彩度が低下してしまうことなどがある。その結果、受信側においてうまく色点滅信号を検出できない問題がある。
一方、環境光の色変化が、カメラに撮影される色点滅信号に影響を与え、信号伝送誤りが発生する問題もある。
本発明は、かかる事情に鑑みなされたもので、その目的は環境光の原因による色情報の彩度低下及び信号伝送の誤りを起こさないで光信号の送信及び検出が行なえるデータ信号受信方法とその装置及びプログラム並びにその記録媒体の提供にある。
光源より発信される色情報が環境光の影響により減衰あるいは撹乱されてカメラに撮像される過程は、無線電波信号を送受信するシステムにおいて、発信された電波信号がフェージングの影響により減衰あるいは撹乱されて受信される過程に類似している。この問題を解決するために、無線通信では、複数のアンテナを用いて電波を受信するダイバーシチ方式が採用されている。本発明のデータ信号受信方法とその装置は、無線通信におけるダイバーシチに相当する手法を光信号受信に適用することにより前述した課題の改善を図っている。
すなわち、請求項1のデータ信号受信方法は、データ信号を光信号として発信する光信号源を撮像するイメージセンサ手段を用いて前記データ信号を含む映像を撮影し、この映像中から前記データ信号の領域を検出すると共に前記データ信号を受信するデータ信号受信方法であって、複数のイメージセンサ手段が個々に異なる向きから前記光信号源を撮像し、前記イメージセンサ手段から取得した映像に基くデータ信号を検出する光信号検出手段と、前記データ信号を受信する光信号受信手段有し、前記光信号受信手段が、前記イメージセンサ手段によって連続して撮像される画像フレーム間の各画素の色相差を計算した後、一定値以上の色相差が生じる画素を信号成分として抽出し、この信号成分において生じた色相差を演算処理してデータ値に変換することによってデータ値を受信する
請求項8のデータ信号受信装置は、データ信号を光信号として発信する光信号源を撮像するイメージセンサ手段を用いて前記データ信号を含む映像を撮影し、この映像中から前記データ信号の領域を検出すると共に前記データ信号を受信するデータ信号受信装置であって、個々に異なる向きから前記光信号源を撮像する複数のイメージセンサ手段と、前記イメージセンサ手段から取得した映像に基づくデータ信号を検出する光信号検出手段と、前記データ信号を受信する光信号受信手段とを備え、前記光信号受信手段は、前記イメージセンサ手段によって連続して撮像される画像フレーム間の各画素の色相差を計算し、一定値以上の色相差が生じる画素を信号成分として抽出し、この信号成分において生じた色相差を演算処理してデータ値に変換することによってデータ値を受信する
請求項2のデータ信号受信方法は、請求項1のデータ信号受信方法において、前記データ値がN進法の場合、前記色相差をN+1階調とする
請求項9のデータ信号受信装置は、請求項8のデータ信号受信装置において、前記データ値がN進法の場合、前記色相差をN+1階調とする
請求項3のデータ信号受信方法は、請求項1または2のデータ信号受信方法において、データ値列を受信した画素の連結成分で最大のものを連続信号成分として検出する
請求項10のデータ信号受信装置は、請求項8または9のデータ信号受信装置において、データ値列を受信した画素の連結成分で最大のものを連続信号成分として検出する。
請求項4のデータ信号受信方法及び請求項11のデータ信号受信装置は、光信号源より発信された色情報が環境光の影響により減衰し、受信側イメージセンサ手段において十分な彩度を持って撮像されない問題を改善させている。
受信側が、複数のイメージセンサ手段を具備し、それぞれ異なる方向から光信号源を撮像するならば、前記複数のイメージセンサ手段の少なくとも一つは、環境光の影響をあまり受けずに、データ信号検出に十分な彩度をもって光信号を撮像できる可能性がある。
そこで、請求項4のデータ信号受信方法は、請求項1から3のいずれかのデータ信号受信方法において、前記イメージセンサ手段と同数の光信号検出手段を有し、各光信号検出手段が各イメージセンサ手段に対応して独立に映像を取得して前記データ信号を検出する過程と、少なくとも一つの光信号検出手段においてデータ信号が検出された場合、前記光信号受信手段が前記データ信号を受信データ値として受信する過程とを有する。
また、請求項11のデータ信号受信装置は、請求項8から10のいずれかのデータ信号受信装置において、前記イメージセンサ手段と同数の光信号検出手段を有し、各光信号検出手段は、各イメージセンサ手段に対応して独立に映像を取得して前記データ信号を検出し、前記光信号受信手段は、少なくとも一つの光信号検出手段においてデータ信号が検出された場合においては前記データ信号を受信データ値として受信する。
請求項5のデータ信号受信方法及び請求項12のデータ信号受信装置は、環境光の変化が、受信側イメージセンサ手段に撮像される光信号の色情報に影響を与え、信号伝送誤りが発生する問題を改善させている。
受信側が、複数のイメージセンサ手段を具備し、それぞれ異なる方向から光信号源を撮像するならば、前記いずれかのイメージセンサ手段が、環境光変化の影響をあまり受けずに、光信号の色情報を正確に撮像できる可能性がある。そこで、複数のイメージセンサ手段が取得する映像から、同時に同じデータ信号が検出された際に、該データ信号を正確に受信された信号とみなすことで信号伝送誤りを防げることが期待できる。
この点を考慮し、請求項5のデータ信号受信方法及び請求項12のデータ信号受信装置は、前記複数のイメージセンサ手段によって撮像される複数の映像にそれぞれに対して、データ信号検出処理を行い、既定数以上の映像から同時に同じデータ信号が検出された場合に、該データ信号を受信している。
すなわち、請求項5のデータ信号受信方法は、請求項4のデータ信号受信方法において、前記光信号受信手段は、規定数以上の光信号検出手段からデータ信号を受信した時、同じデータ信号が検出された場合にこのデータ信号を受信データ値として受信する。
また、請求項12のデータ信号受信装置は、請求項11のデータ信号受信装置において、前記光信号受信手段は、規定数以上の光信号検出手段からデータ信号を受信した時、同じデータ信号が検出された場合にこのデータ信号を受信データ値として受信する。
請求項6のデータ信号受信方法は、請求項5のデータ信号受信方法において、規定数以上の光信号検出手段において同じデータ値が取得されと同時に他の規定数以上の光信号検出手段において前記データ値とは異なる同じデータ値が取得された場合、前記光信号受信手段は、数の多い方の光信号検出手段から同時に取得されたデータ値を受信データ値として決定する。
請求項13のデータ信号受信装置は、請求項12のデータ信号受信装置において、前記光信号受信手段は、規定数以上の光信号検出手段において同じデータ値が取得されと同時に他の規定数以上の光信号検出手段において前記データ値とは異なる同じデータ値が取得された場合においては、数の多い方の光信号検出手段から同時に取得されたデータ値を受信データ値として決定する。
請求項7のデータ信号受信方法は、請求項1から6のいずれかのデータ信号受信方法において、前記光信号は色点滅信号である。
請求項14のデータ信号受信装置は、請求項8から13のいずれかのデータ信号受信装置において、前記光信号は色点滅信号である。
また、本発明のデータ信号受信方法及びその装置はコンピュータとプログラムによっても実現でき、プログラムをコンピュータ読み取り可能な記録媒体に記録すること、ネットワークを通して提供することも可能である。前記記録媒体としては、例えばフレキシブルディスクや、MO、ROM、メモリカード、CD、DVD、リムーバルディスク等が挙げられる。
以上のように本発明のデータ信号受信方法とその装置及びプログラム並びにその記録媒体によれば、データ信号を光信号に変換して発信する光信号源をイメージセンサ手段で撮影しデータ信号を受信するシステムにおいて、環境光の原因による光信号がうまく検出できない問題や信号伝送誤りが発生する問題を改善できる。特に、環境光の影響を受けやすい色情報を含む光信号(色点滅信号)の受信において、その効果が顕著なものとなる。
本発明の実施の形態について図面を参照しながら説明する。
図1は、本発明のデータ信号受信方法の実施形態例を示した概略構成図である。
本実施形態例は、送信側において、光信号送信手段11と光信号源12とを有する。また、受信側においては、光信号源12を異なる向きから撮像するためにカメラ等の複数のイメージセンサ手段21と、イメージセンサ手段21によって撮影される映像から光信号を検出する複数の光信号検出手段22と、受信データ値(列)を決定する光信号受信手段23とを有する。
光信号送信手段11は、送信側の上位手段から送信キュー10に入力される送信データを光信号に変換し、光信号源12を用いて所定の点滅周波数fHzで光点滅信号を発信する。
光信号検出手段22は、光信号源12をfHz以上のフレームレートで撮像するイメージセンサ手段21から入力される映像から信号受信領域を抽出すると共にデータ値(列)を検出し、検出結果を光信号受信手段23に供給する。図1に示されたように、各光信号検出手段22は各イメージセンサ手段21に対応して独立に映像を取得してデータ値(列)を検出する。検出結果とは、光信号が検出された場合には該光信号によって伝送されたデータ値(列)であり、光信号が検出されなかった場合には非検出通知である。
また、光信号検出手段22は、イメージセンサ手段21からの入力映像中の連続する2画像フレームを逐次処理し、一回の光点滅を検出して一つのデータ値を取得する場合や、連続する既定数K+1の画像フレームを逐次処理し、既定数K個のデータ値からなるデータ値列を取得する場合がある。前者の場合、光信号が検出された際の検出結果は、一つのデータ値を含み、後者の場合は、データ値列を含む。
光信号受信手段23は、複数の光信号検出手段22から検出結果を受信し、これらの検出結果に基づいて受信データ値(列)を決定する。点滅周波数fHzの光源12と、fHzのフレームレートで撮像するイメージセンサ手段21とを用いる構成では、光信号検出手段22は、1000/fmsecおきに検出処理を実施し、検出結果を光信号受信手段23に供給する。このとき、複数のイメージセンサ手段21及び光信号検出手段22の処理は同期しており、光信号受信手段23は、複数の光信号検出手段22から同時に検出結果を受信する。
図2は、本発明に係る光信号受信手段の動作アゴリズムの一例を説明したフローチャートである。
光信号受信手段23は、複数の光信号検出手段22から検出結果を受信すると(S21)、いずれかの光信号検出手段22においてデータ値(列)が検出されたかどうかを識別する(S22)。検出されていない場合はS21に戻る。
ここで、少なくとも一つの光信号検出手段22からデータ値(列)を含む検出結果が取得されていた場合に、そのデータ値(列)を受信データ値(列)として決定し、受信データ値(列)を利用するアプリケーションモジュールなどの上位手段へ出力する(S23)。
この動作例において、複数の光信号検出手段22からデータ値(列)を含む検出結果が取得された場合、光信号受信手段23は、取得されたデータ値(列)が全て同じなら、該データ値(列)を受信データ値(列)として決定する。
一方、取得されたデータ値(列)が異なる場合、取得されたデータ値(列)群の中でもっとも多く存在するデータ値(列)を受信データ値(列)として決定する。
取得されたデータ値(列)が全て異なる場合、あるいは、取得されたデータ値(列)群の中でもっとも多く存在するデータ値(列)が複数ある場合、各々の光信号検出手段22に予め付与された優先順位を考慮して受信データ値(列)を決定する。例えば、取得されたデータ値(列)が全て異なる場合、優先順位の高い光信号検出手段22より受信されたデータ値(列)を受信データ値(列)として決定する。
尚、前記優先順位は、受信側のイメージセンサ手段21の位置や向きに基づいて、各々のイメージセンサ手段21及びそれに対応する光信号検出手段22に対して付与され、光信号受信手段23によって管理される。
図3も、本発明に係る光信号受信手段の動作アゴリズムの一例を説明したフローチャートである。
この場合、光信号受信手段23は、光信号検出手段22より検出結果を受信した後(S31)、既定値N個以上の光信号検出手段22において同じデータ値(列)が検出されたかどうかを識別する(S32)。検出されていない場合はS31に戻る。
次いで、N個以上の光信号検出手段22において同時に同じデータ値(列)を含む検出結果が取得されていた場合に、そのデータ値(列)を受信データ値(列)として決定し、受信データ値(列)を利用するアプリケーションモジュールなどの上位手段へ出力する(S33)。
N個以上の光信号検出手段22において同じデータ値(列)が取得され、同時に、他のN個以上の光信号検出手段22において前記データ値とは異なる同じデータ値(列)が取得された場合は、より多くの光信号検出手段22から同時に取得されたデータ値(列)を受信データ値(列)として決定する。同時に、同じ数の光信号検出手段群Aと光信号検出手段群Bが、それぞれデータ値(列)Aとデータ値(列)Bを検出したというような場合には、前記の優先順位を考慮して受信データ値(列)として決定する。
本発明のデータ信号受信方法は、特に光信号として色点滅信号を用いる場合に、効果が顕著となる。このとき、色点滅信号を用いる場合、図1に示された各手段は、光信号送信手段11が色点滅信号送信手段となり、光信号源12は色点滅信号源となり、光信号が色点滅信号となり、光信号検出手段22が色点滅信号検出手段となり、光信号受信手段23は色点滅信号受信手段となる。各手段の基本動作は上述したものと同様である。
(実施形態例1)
本発明のデータ信号受信方法が適用される色点滅信号送受信システムの具体例について述べる。ここでは、色点滅信号送信手段11と、色点滅信号検出手段22の動作アルゴリズムについて詳述する。尚、色点滅信号受信手段23の動作については、実施形態例1における光信号受信手段23の動作と同様である。
図4は、本発明のデータ信号受信方法が適用されるデータ送受信システムにおける光(色点滅)信号送信手段の動作アゴリズム例を説明したフローチャートである。
本実施形態では、データ値を色相差に変換して送信する。具体的には、色相差をN+1階調に用いる場合、色相差値一つでN進数のデータ値一つを送信できる方法を説明する。
ここで、色相の初期値をh、明度の規定値をl、彩度の規定値をsとする。色点滅信号送信手段11は、送信キュー10に送信データが入力され送信処理が開始されるまでに、色点滅信号源12に色相H=h、明度L=l、彩度S=sの色を表示しておくとともに、変数chに現在表示されている色の色相Hを入力しておく(S201)。
送信キュー10に送信データが存在する場合、データ値の送信処理に進む(S202)。任意の送信データは送信キュー10においてN進数列として管理される。すなわち、一つのデータ値は0以上N未満の整数値nとなる。
送信処理では、先ず、送信キュー10からデータ値nを取得し、送信キュー10を更新する(S203)。次いで、データ値nを色相差dhに変換する(S204)。ここで、dh=(n+1)・2π/(N+1)である。この結果、次の表示色は、色相H=ch+dh、明度L、彩度Sの色に決定される(S205)。また、色相Hは0以上2π未満の値となるので、もし、ch+dh>2πであれば、H=ch+dh−2πとなる。そして、決定された表示色(色相H、明度L、彩度Sの色)を色点滅信号源12に表示する(S206)。色点滅周波数がf[Hz]である場合、ここで1000/f[msec]間静止し、前記表示色を提示し続ける(S207)。その後、現在の表示色の色相Hを変数chに代入しS202のステップに戻る(S208)。
また、S207における静止時間は、S207以外のステップが0msecで完了すると仮定する場合は1000/f[msec]となるが、S207以外のステップでt[msec]の処理時間を要するならば(1000/f)−t[msec]である。
尚、S202において送信キュー10に送信データが無ければ、データ送信完了となる(S209)。
次いで、本実施形態におけるデータ受信システムについて説明する。
図5は、本発明のデータ信号受信方法が適用されるデータ送受信システムにおける色点滅信号検出手段の動作例を示したフローチャートである。また、図6は、図5記載のS303の動作アルゴリズムの詳細を示す。ここでは、N進数のデータ値を一つずつ受信する際の動作アルゴリズムについて説明する。
色点滅信号検出手段22は、対応するイメージセンサ手段21より連続して画像フレームI(i)を取得する。ここで、図5に示すアルゴリズムでは、画像フレームの取得周期(=フレームレート)が、送信側ディスプレイの点滅周波数に等しいものとしている。
色点滅信号検出手段22は、最新の画像フレームI(i)が取得される時点で、一つ前の画像フレームI(i−1)を保持している。図5に示す処理は、最新の画像フレームI(i)の取得イベント(S301)おきに実施される。
画像フレームI(i)が取得されると、画像フレームI(i−1)、I(i)の全ての画素について、色相差dh(x,y)(x,yは、0≦x<WIDTH,0≦y<HEIGHTの整数で、WIDTHは画像フレームの横軸画素数、HEIGHTは画像フレームの縦軸画素数)を算出する(S302)。ここで、色相差を算出する際、彩度が低い画素、すなわち、ほとんど無色な画素は色点滅信号を撮像したものとはみなせない。したがって、比較される画素の色の彩度がともに既定値より大きい場合にのみ色相差を算出し、そうでない場合は色相差を0とすることができる。
次に、各画素について算出された色相差dh(x,y)をデータ値a(x,y)に変換する。但し、色相差がデータ値に変換できない値である場合、a(x,y)には−1(データ無し)を代入する(S303)。
具体的には、図6に示したフローチャートのように、−1≦n<Nの整数nについて、色相((n+1)・2π/(n+1))−Rと色相((n+1)・2π/(N+1))+Rが色平面上でなす狭角に、算出された色相差dh(x,y)が入るかどうかを検出する(S400)。尚、Rとは、色相(値)に許容する誤差である。
図7及び図8は、それぞれ、色相((n+1)・2π/(N+1))−Rと色相((n+1)・2π/(n+1))+Rが色平面上でなす狭角、及び、これに色相差dh(x,y)が入る場合(図7)、入らない場合(図8)を示している。
上記説明および図においては、Rを一定値としているが、色相((n+1)・2π/(n+1))の値により許容誤差Rの値を変えることも可能である。一般に、光源の発色性能やカメラ等のイメージセンサ手段の色感度には特性があり、この特性を考慮する形で、許容誤差Rを可変にすること(例えば、イメージセンサの色感度が強い赤色近辺で許容誤差Rを小さくすること)は、色点滅信号の検出精度向上に寄与する。
ここで、色相((n+1)・2π/(N+1))−R及び色相((n+1)・2π/(n+1))+Rが色平面上でなす狭角にdh(x,y)が入れば、a(x,y)=nと決定する(S401)。
一方、−1≦n<Nの全ての整数nについて、色相((n+1)・2π/(N+1))−R及び色相((n+1)・2π/(N+1))+Rが色平面上でなす狭角にdh(x,y)が入らないならば、該当するデータ値がないので、a(x,y)=−1とする(S402)。
すなわち、図6に示す動作アルゴリズムによって、N=2の場合に、色平面上において色相差ah(x,y)がデータ値0、データ値1、およびデータ無し(−1)に変換される範囲を示すと図9の説明図ようになる。
全ての画素についてa(x,y)が算出された後、信号成分E(n)を抽出する(S304)。信号成分E(n)とは、a(x,y)=n(nは、0≦n<Nの整数)である画素座標の連結成分で、画素数が最大のものである。尚、図5に示す動作アルゴリズムでは、受信データ値が取りうる値である0≦n<Nの全ての整数nについてE(n)を検出するようになっているが、実際には、ループ1、ループ2内の処理においてa(x,y)を算出した際に、a(x,y)の要素として出現した値についてのみ行えばよい。
信号成分E(n)が検出された際には、E(n)に含まれる画素数が既定値TAより多いかどうかを検出する(S305)。TAは、信号成分を信号受信領域として決定するための画素数の閾値である。TAを0以上の値を設定することは、信号成分がTA以上のまとまったサイズの画素集合として検出される場合のみ有意な信号とみなすという条件を加えるになる。これによって局所的に偶然に生じた色相差をデータ信号として誤検出してしまう可能性が低減される。尚、TA=0とすれば、信号成分が検出された時点で、それが信号受信領域と決定される。
E(n)に含まれる画素数が既定値TAより多い場合、色点滅信号検出手段22は、E(n)を信号受信領域とし、nを検出データ値として、色点滅信号受信手段23に出力する(S306)。尚、信号受信領域については、該領域の座標集合に代えて、該領域を囲む矩形領域の情報を出力することや、前記矩形の重心座標を出力することができる。
一方、0≦n<Nのすべての整数nについてE(n)が検出されなかったか、または、検出されてもその画素数がTA以下であった場合には、画像フレームI(i)に取得によって受信されたデータは無いとみなす(S307)。結果、非検出通知を色点滅信号受信手段23に出力する。
この後、画像フレームナンバーi=i+1として、次画像フレームに対する処理に移行する。
(実施形態例2)
以下には、実施形態例1に示す動作アルゴリズムを基本とし、既定回数以上連続してデータ値が受信されることによって、受信されたデータ値列を有効な検出データ値列として色点滅信号受信手段23に出力するように修正した色点滅信号検出手段22の動作アルゴリズムについて説明する。
送信側の色点滅信号送信手段22の動作アルゴリズムは、図4を用いて説明したものと同様である。但し、連続信号長をKとするとき、送信キュー10に入力される送信データは、N進数のデータ値K個から構成されるデータ値列、若しくは、Kの倍数個のデータ値から構成されるデータ値列である。
図10は、本実施形態における色点滅信号検出手段の動作アルゴリズム例を示したフローチャートである。
色点滅信号検出手段23は、イメージセンサ手段21より連続して画像フレームI(i)を取得する。ここでも、画像フレームの取得周期(=フレームレート)は、色点滅信号源12の点滅周波数に等しいものとしている。また、連続信号長はKであり、データ値がK回連続して受信されることによって、受信されたデータ値列を有効な検出データとして受理するものとしている。
色点滅信号検出手段22は、前処理として、各画素において何回連続してデータ値を受信したかを保持するための配列c(x,y)の全ての値を0とする(S801)。以降の処理、S802,S803,S804,S813は、それぞれ図5を用いて説明したS301,S302,S303,S308と同様である。
ループ1、ループ2内では、S804によってa(x,y)の値が決定された後、a(x,y)!=−1(データ無し)かどうかを確認する(S805)。
そして、a(x,y)!=−1である場合、すなわち、座標(x,y)の画素においてデータ値を含む色点滅信号が受信されたとみなされる場合には、d(x,y,c(x,y))に、受信されたデータ値a(x,y)を代入し保持しておく(S806)。
配列dは、各画素座標において、連続して受信されたデータ値を保持しておくための配列である。次に、c(x,y)=c(x,y)+1とする(S807)。
一方、a(x,y)!=−1でない場合、すなわち、座標(x,y)の画素においてデータ値を含む色点滅信号が受信されなかった場合には、c(x,y)=0とする(S808)。
全ての画素について、a(x,y)、c(x,y)並びにd(x,y,c(x,y))が算出された後に、連続信号成分CEを検出する(S809)。尚、連続信号成分CEは、c(x,y)=K、であって、d(x,y,0)、d(x,y,1),…,a(x,y,K−1)が全て一致する画素座標(x,y)の連結成分で、画素数が最大のものである。すなわち、S809では、K個のデータ値からなるデータ値列を同時に受信した画素の連結成分で最大のものを連続信号成分として抽出する。
S809で、連続信号成分CEが検出された場合、連続信号成分CEの画素数がTAより多いかどうかを検出する(S810)。ここでの、TAとは連続信号成分CEを信号受信領域として決定するための画素数の閾値である。すなわち、TAを0以上の値を設定することは、連続信号成分がTA以上のまとまったサイズの画素集合として検出される場合のみ有意な信号とみなすという条件を加えるになる。これによって局所的に、偶然に“連続して”生じた色相差をデータ信号として誤検出してしまう可能性が低減される。尚、TA=0とすれば、連続信号成分が検出された時点で、それが信号受信領域と決定される。
連続信号成分CEの画素数がTAより多い場合、CEを信号受信領域とし、CE中の任意の画素座標(x,y)を選択して、d(x,y,0),d(x,y,l),…,a(x,y,K−1)を検出データ値列として、色点滅信号受信手段23に出力する(S811)。そして、再び、配列(x,y)の全ての値を0とし(S812),S813へ進む。
また、信号受信領域については、該領域の座標集合に代えて、該領域を囲む矩形領域の情報を出力することや、前記矩形の重心座標を出力することができる。
一方、連続信号成分CEの画素数がTA以下であった場合には、単に、配列c(x,y)の全ての値を0とし(S812)、S813へ進む。
また、S809において、連続信号成分CEが検出されなかった場合にも、S813へ進む。
この後、画像フレームナンバーi=i+1として(S813)、次画像フレームに対する処理に移行する。
(実施形態例3)
実施形態例2において説明した色点滅信号検出手段22の動作アルゴリズムでは、受信側は連続信号長Kの倍数個のデータ値からなるデータ値列を受信できるが、実施形態例1と実施形態例2で示した受信側動作アルゴリズムを組み合わせることで、連続信号長K以上である任意の長さのデータ値からなるデータ値列を受信することができるようになる。
この場合も、送信側の色点滅信号送信手段11の動作アルゴリズムは、図4を用いて説明したものと同様である。但し、連続信号長をKとするとき、送信キュー10に入力される送信データはK個以上のN進数のデータ値から構成されるデータ値列である。
受信側の色点滅信号検出手段22は、先ず、図10を参照しながら説明した動作アルゴリズムに基いて動作する。そして、有意な連続信号成分が検出され(S810)、信号受信領域並びに受信データ値列を出力した(S811)時点以降、前記信号受信領域に含まれる画素座標については図5を用いて説明した動作アルゴリズムを適用し、逐次検出データ値を色点滅信号受信手段に出力する。
但し、前記信号受信領域に含まれる画素座標において受信データが無く(S307)、データ値の受信が途切れた場合には、即座に、図10を参照しながら説明した動作アルゴリズムヘ遷移する。
以降、有意な連続信号成分が検出されるごとに上述の動作を行う。
上述の実施例1,2,3に示す色点滅信号検出手段22から、検出結果として、データ値/データ値若しくは非検出通知を受信する色点滅信号受信手段23の動作は、基本的に、図2及び図3を参照しながら説明した光信号受信手段23の動作と同等である。但し、実施形態例2及び3において説明した色点滅信号検出手段22を用いる場合、色点滅信号受信手段23は、1000/fおきの検出結果受信タイミングにおいて、任意の色点滅信号検出手段22より検出結果(データ値列)が受信されないことをもって非検出通知を受信したものとみなすように動作する。
以上の実施形態例で述べたデータ受信方法は、図1〜図10で示した処理工程をコンピュータのプログラムで構成し、このプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の工程の実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、フレキシブルディスクや、MO、ROM、メモリカード、CD、DVD、リムーバルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを介して提供することも可能である。
そして、これら記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。但し、コンピュータへのインストールはコンピュータ単位であり、装置やシステムが複数あることなどでインストールの対象となるコンピュータが複数ある場合には、当該プログラムは必要な処理部分毎にインストールされることは当然である。この場合、当該プログラムはコンピュータ対応に記録媒体に記録するか、またはネットワークを介してダウンロードしてもよい。
本発明のデータ信号受信方法の実施形態例を示した概略構成図。 光信号受信手段の動作アゴリズム例を説明したフローチャート。 光信号受信手段の動作アゴリズム例を説明したフローチャート。 本発明のデータ信号受信方法が適用されるデータ送受信システムにおける光(色点滅)信号送信手段の動作アゴリズム例を説明したフローチャート。 本発明のデータ信号受信方法が適用されるデータ送受信システムにおける光(色点滅)信号検出手段の動作アゴリズム例を説明したフローチャート。 図5記載のS303内の処理の動作アルゴリズム例を示したフローチャート 色相((n+1)・2π/(N+1))−Rおよび色相((n+1)・2π/(N+1))+Rが色平面上でなす狭角に色相差dh(x,y)が狭角に入る場合を示した説明図。 色相((n+1)・2π/(N+1))−Rおよび色相((n+1)・2π/(N+1)+Rが色平面上でなす狭角に色相差dh(x,y)が狭角に入らない場合を示した説明図。 N=2の場合における色相差dh(x,y)とデータ値の色平面上での関係を示した説明図。 色点滅信号検出手段の第2の動作アルゴリズム例を示したフローチャート。
符号の説明
10…送信キュー、11…光信号送信手段または色点滅信号送信手段、12…光信号源または色点滅信号源
21…イメージセンサ手段、22…光信号検出手段または色点滅信号検出手段、23…光信号受信手段または色点滅信号受信手段

Claims (16)

  1. データ信号を光信号として発信する光信号源を撮像するイメージセンサ手段を用いて前記データ信号を含む映像を撮影し、この映像中から前記データ信号の領域を検出すると共に前記データ信号を受信するデータ信号受信方法であって、
    複数のイメージセンサ手段が個々に異なる向きから前記光信号源を撮像し、前記イメージセンサ手段から取得した映像に基くデータ信号を検出する光信号検出手段と、前記データ信号を受信する光信号受信手段と有し、
    前記光信号受信手段が、前記イメージセンサ手段によって連続して撮像される画像フレーム間の各画素の色相差を計算した後、一定値以上の色相差が生じる画素を信号成分として抽出し、この信号成分において生じた色相差を演算処理してデータ値に変換することによってデータ値を受信する
    ことを特徴とするデータ信号受信方法。
  2. 前記データ値がN進法の場合、前記色相差をN+1階調とする
    ことを特徴とする請求項1に記載のデータ信号受信方法。
  3. データ値列を受信した画素の連結成分で最大のものを連続信号成分として検出する
    こと請求項1または2に記載のデータ信号受信方法。
  4. 前記イメージセンサ手段と同数の光信号検出手段を有し、
    各光信号検出手段が各イメージセンサ手段に対応して独立に映像を取得して前記データ信号を検出する過程と、
    少なくとも一つの光信号検出手段においてデータ信号が検出された場合、前記光信号受信手段が前記データ信号を受信データ値として受信する過程と
    を有する
    ことを特徴とする請求項1から3のいずれか1項に記載のデータ信号受信方法。
  5. 前記光信号受信手段は、規定数以上の光信号検出手段からデータ信号を受信した時、同じデータ信号が検出された場合にこのデータ信号を受信データ値として受信すること
    を特徴とする請求項4に記載のデータ信号受信方法。
  6. 規定数以上の光信号検出手段において同じデータ値が取得されと同時に他の規定数以上の光信号検出手段において前記データ値とは異なる同じデータ値が取得された場合、前記光信号受信手段は、数の多い方の光信号検出手段から同時に取得されたデータ値を受信データ値として決定すること
    を特徴とする請求項5に記載のデータ信号受信方法。
  7. 前記光信号は色点滅信号である
    ことを特徴とする請求項1から6のいずれか1項に記載のデータ信号受信方法。
  8. データ信号を光信号として発信する光信号源を撮像するイメージセンサ手段を用いて前記データ信号を含む映像を撮影し、この映像中から前記データ信号の領域を検出すると共に前記データ信号を受信するデータ信号受信装置であって、
    個々に異なる向きから前記光信号源を撮像する複数のイメージセンサ手段と、
    前記イメージセンサ手段から取得した映像に基づくデータ信号を検出する光信号検出手段と、
    前記データ信号を受信する光信号受信手段と
    を備え、
    前記光信号受信手段は、前記イメージセンサ手段によって連続して撮像される画像フレーム間の各画素の色相差を計算し、一定値以上の色相差が生じる画素を信号成分として抽出し、この信号成分において生じた色相差を演算処理してデータ値に変換することによってデータ値を受信する
    ことを特徴とするデータ信号受信装置。
  9. 前記データ値がN進法の場合、前記色相差をN+1階調とする
    ことを特徴とする請求項8に記載のデータ信号受信装置。
  10. データ値列を受信した画素の連結成分で最大のものを連続信号成分として検出すること
    を特徴とする請求項8または9に記載のデータ信号受信装置。
  11. 前記イメージセンサ手段と同数の光信号検出手段を有し、
    各光信号検出手段は、各イメージセンサ手段に対応して独立に映像を取得して前記データ信号を検出し、
    前記光信号受信手段は、少なくとも一つの光信号検出手段においてデータ信号が検出された場合においては前記データ信号を受信データ値として受信する
    ことを特徴とする請求項8から10のいずれか1項に記載のデータ信号受信装置。
  12. 前記光信号受信手段は、規定数以上の光信号検出手段からデータ信号を受信した時、同じデータ信号が検出された場合にこのデータ信号を受信データ値として受信すること
    を特徴とする請求項11に記載のデータ信号受信装置。
  13. 前記光信号受信手段は、規定数以上の光信号検出手段において同じデータ値が取得されと同時に他の規定数以上の光信号検出手段において前記データ値とは異なる同じデータ値が取得された場合においては、数の多い方の光信号検出手段から同時に取得されたデータ値を受信データ値として決定すること
    を特徴とする請求項12に記載のデータ信号受信装置。
  14. 前記光信号は色点滅信号である
    ことを特徴とする請求項8から13のいずれか1項に記載のデータ信号受信装置
  15. 請求項1からのいずれか1項に記載のデータ信号受信方法をコンピュータに実行させるためのプログラム。
  16. 請求項15に記載のプログラムを記録したコンピュータ読み込み可能な記録媒体。
JP2004002706A 2004-01-08 2004-01-08 データ信号受信方法とその装置及びプログラム並びにその記録媒体 Expired - Fee Related JP4224405B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004002706A JP4224405B2 (ja) 2004-01-08 2004-01-08 データ信号受信方法とその装置及びプログラム並びにその記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004002706A JP4224405B2 (ja) 2004-01-08 2004-01-08 データ信号受信方法とその装置及びプログラム並びにその記録媒体

Publications (2)

Publication Number Publication Date
JP2005198059A JP2005198059A (ja) 2005-07-21
JP4224405B2 true JP4224405B2 (ja) 2009-02-12

Family

ID=34817818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004002706A Expired - Fee Related JP4224405B2 (ja) 2004-01-08 2004-01-08 データ信号受信方法とその装置及びプログラム並びにその記録媒体

Country Status (1)

Country Link
JP (1) JP4224405B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4552074B2 (ja) 2008-05-29 2010-09-29 カシオ計算機株式会社 情報伝送システム、情報復号装置、報知方法、及び、プログラム
JP5017204B2 (ja) * 2008-07-25 2012-09-05 本田技研工業株式会社 光受信機
WO2018221472A1 (ja) * 2017-06-01 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 受信装置および受信方法

Also Published As

Publication number Publication date
JP2005198059A (ja) 2005-07-21

Similar Documents

Publication Publication Date Title
CN107992794B (zh) 一种活体检测方法、装置和存储介质
US10013765B2 (en) Method and system for image registrations
Jo et al. DisCo: Display-camera communication using rolling shutter sensors
JP4765027B2 (ja) 情報処理装置及び情報処理システム
JP6276475B2 (ja) カラービデオと深度ビデオとの同期方法、装置、および媒体
US9569695B2 (en) Adaptive search window control for visual search
JP4303087B2 (ja) データ信号の送信方法と受信方法及びその装置、システム、プログラム並びに記録媒体
JP3918813B2 (ja) データ通信システム、データ送信装置、並びにデータ受信装置
US10041784B2 (en) Distance image acquisition apparatus and distance image acquisition method
US10216267B2 (en) Portable electronic equipment and method of controlling a portable electronic equipment
US8553931B2 (en) System and method for adaptively defining a region of interest for motion analysis in digital video
US8908911B2 (en) Redundant detection filtering
JP2007248861A (ja) 画像表示装置および受信装置
KR101366776B1 (ko) 영상 객체 검출 장치 및 그 방법
KR20130102083A (ko) 손 검출을 제공하기 위한 방법 및 장치
US10586394B2 (en) Augmented reality depth sensing using dual camera receiver
US20040001074A1 (en) Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
CN113947097B (zh) 一种二维码识别的方法及电子设备
JP4224405B2 (ja) データ信号受信方法とその装置及びプログラム並びにその記録媒体
US10567699B2 (en) Information processing apparatus to improve image quality by removing flicker component from captured image
CN111310595A (zh) 用于生成信息的方法和装置
Kishino et al. Realizing a visual marker using LEDs for wearable computing environment
CN115016716A (zh) 投影交互方法和系统
CN109492451B (zh) 一种编码图像识别方法及移动终端
Jo et al. Disco: Displays that communicate

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees