JP5282899B2

JP5282899B2 - 情報復元装置及び情報復元方法

Info

Publication number: JP5282899B2
Application number: JP2009068025A
Authority: JP
Inventors: 宣男飯塚
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2009-03-19
Filing date: 2009-03-19
Publication date: 2013-09-04
Anticipated expiration: 2029-03-19
Also published as: JP2010226172A

Description

本発明は、情報復元装置及び情報復元方法に関し、詳細には、任意の情報で変調された点滅光を二次元イメージセンサで受光して、その情報を復元する情報復元装置及び情報復元方法に関する。

近年、ＬＥＤ等のデバイスに対し、その発する光を任意の情報で変調し、輝度が変化する光（以下「情報光」という。）として発光する一方、これをデジタルカメラなどの撮像装置で時間的に連続して受光、復元して同装置のディスプレイ上に表示することができる情報復元装置が知られている。
また、情報復元装置にあっては、撮像モードにおいて上記の情報光以外にも単なる照明光や外乱光等、様々な光を撮像（受光）する可能性がある。
このため、たとえば、特許文献１では、撮像画角として表示されるディスプレイ画面において、ユーザがカーソルキーを操作し情報光の画像が表示されている領域に照準枠を重ね、照準枠内の情報光の画像領域とそれ以外の画像領域とを分離して情報光の輝度変化から情報を復元する技術が記載されている。

特開２００６−２０２９４号公報

しかしながら、上記従来技術にあっては、情報の受信を所望する情報光を、ユーザの視認及び操作に基づいて選択するため、ユーザは“雑多な光が存在する撮像画角の中で、受光を所望する情報光の位置を光源を特定する”という手間を強いられる問題があった。

そこで本発明は、撮像画像から情報光の位置を特定する際のユーザの処理負担を軽減することを目的とする。

請求項１記載の発明は、撮像手段が有する撮像領域のうちの部分的な領域を撮像し、この部分的な領域の輝度変化から、光を媒体として送信された所定の統計的特性を有する光のパルス列からなる情報光に含まれる情報を復元する情報復元装置において、前記撮像手段が有する撮像領域の全領域または前記部分的な領域よりも大きな領域の中から前記統計的特性を有する光のパルス列を含む領域を特定する特定手段と、前記特定手段によって特定された領域に対応する部分画像の時系列的な輝度変化から前記情報光に含まれる情報を復元する情報復元手段と、前記パルス列における１パルス分の点灯時間の少なくとも半分の時間を露光時間とし、前記統計的特性を有する光の点灯周期の整数倍と、この点灯周期の整数倍と半分の周期とを交互に含むフレームレートで前記撮像手段を制御する撮像制御手段と、を備え、前記特定手段は、前記撮像制御手段による制御による結果に基づいて前記領域を特定することを特徴とする情報復元装置である。
請求項２記載の発明は、撮像手段が有する撮像領域のうちの部分的な領域を撮像し、この部分的な領域の輝度変化から、光を媒体として送信された所定の統計的特性を有する光のパルス列からなる情報光に含まれる情報を復元する情報復元方法において、前記撮像手段が有する撮像領域の全領域または前記部分的な領域よりも大きな領域の中から前記統計的特性を有する光のパルス列を含む領域を特定する特定工程と、前記特定工程によって特定された領域に対応する部分画像の時系列的な輝度変化から前記情報光に含まれる情報を復元する情報復元工程と、前記パルス列における１パルス分の点灯時間の少なくとも半分の時間を露光時間とし、前記統計的特性を有する光の点灯周期の整数倍と、この点灯周期の整数倍と半分の周期とを交互に含むフレームレートで前記撮像手段を制御する撮像制御ステップと、を含み、前記特定ステップは、前記撮像制御ステップによる制御による結果に基づいて前記領域を特定することを特徴とする情報復元方法である。

本発明によれば、撮像画像から情報光の位置を特定する際の処理効率の改善を図ることができ、且つ、輝度はそれほど高くはないものの明暗がくっきり変化している光源の位置を特定できるようにすることができる。

撮像装置の概念構成図である。情報光によって送信されるデータのフォーマット図である。ＣＰＵ１１ａが実行する各機能を概念的に示した図である。部分読み出し処理の概念図を示す図である。候補領域決定部１６の動作説明図である。時系列フィルタ処理の概念図である。候補領域決定部１６の処理機能を画像系列に対するデジタルフィルタ形式で表した図である。光通信情報受信モードにおける全体動作フローを示す図である。光通信情報受信モードにおける動作説明図である。エリアスケジューリングテーブル１６と処理結果テーブル２０のデータ格納の具体例を示す図である。上述の全体動作フロー（図８）の変形フローを示す図である。第２実施形態の変形例を示す図である。

以下、本発明の実施形態を図面を参照しながら説明する。
＜第１実施形態＞
図１は、撮像装置の概念構成図である。この図において、デジタルカメラ等の撮像装置１は、ＣＭＯＳ等、特定の画素領域について部分的に読出しが可能な二次元イメージセンサを含む撮像部２と、この撮像部２で撮像された画像信号にガンマ補正等の画像処理を施す画像処理部３と、各種ボタン類（撮影動作と再生動作とのモード切り換えボタン４ａやメニューボタン４ｂ、カーソルキー４ｃ及びシャッタボタン４ｄなど）を含む操作部４と、ストロボ発光部５と、液晶ディスプレイ等からなる表示部６と、固定式又は着脱式の大容量記憶デバイスで構成された記憶部７と、パーソナルコンピュータ等の外部機器８との間のデータ入出力を必要に応じて仲介する外部Ｉ／Ｆ（インターフェース）９と、バッテリ等を含む電源部１０と、制御部１１とを備えている。

制御部１１は、コンピュータ（以下、ＣＰＵ）１１ａ、不揮発性メモリ（以下、ＲＯＭ）１１ｂ、揮発性メモリ（以下、ＲＡＭ）１１ｃ及び書き換え可能型不揮発性メモリ（以下、ＰＲＯＭ）１１ｄを備えており、ＲＯＭ１１ｂに予め格納されている制御プログラムや、又は、ＰＲＯＭ１１ｄに予め又は任意に書き込まれるデータをＲＡＭ１１ｃにロードしてＣＰＵ１１ａで実行する。

図示の撮像装置１は、以下の如く動作する。先ず、本実施形態の撮像装置１は、二つのモードを選択することができるようになっている。一つは通常の静止画又は動画撮影モードであり、他の一つは光通信の情報光の受信／再生モード（以下「光通信情報受信モード」という。）である。

最初に、通常の撮影動作について説明する。操作部４のモード切り換えボタン４ａが「撮影」位置にあるとき、撮像装置１は撮影モードで動作する。この撮影モードで動作するときは、撮像部２から周期的（毎秒数十フレーム）に出力される画像信号が、画像処理部３と制御部１１を経て縮小処理され、ライブビュー画像として継続的に表示部６に表示出力される。撮影者は、このライブビュー画像を見ながら所望の構図になるように撮像部２の画角を調節し、所望の構図が得られたときにレリーズ操作（シャッタボタン４ｄの押し下げ操作）を行う。

このレリーズ操作に応答して、ＡＦ（自動焦点）とＡＥ（自動露出）が実行（このとき、光量不足であればストロボ発光部５が発光する。）され、撮像部２から高画質の画像信号が取り出される。この画像信号は、画像処理部３と制御部１１を経て記憶部７に送られて、ＪＰＥＧ形式に圧縮変換され、撮影済み画像として記憶部７に記録保存される。以上の説明は、“静止画”の撮影動作であるが、“動画”の撮影動作も概ね同様である。相違は、動画の撮影開始と撮影終了で各々レリーズ操作を行い、その間、撮像部２から出力されるフレーム画像を動画ファイル（一般的にＭＰＥＧ等の圧縮動画ファイル）に変換して記憶部７に記録保存する点にある。

さて、他の一つの撮影モード（光通信情報受信モード）が選択されているとき、撮像部２は、画像信号を周期的（毎秒数十フレーム）に出力する全画素撮像モードと、情報光の捕捉の後、この情報光により露光された画素領域についてのみ高速のフレームレートで撮像し、その時間的な輝度の変化から所定の信号にデコードする部分撮像モードとを切り換えるように駆動する。
ここで、“情報光”とは、任意の情報を光の点滅や輝度の変化によって表したものであり、具体的には、伝送すべき情報がビットデータに変換され、この変換されたビットデータの“１”を点灯、“０”を消灯として高速点滅させたものである。

図２は、情報光によって送信されるデータのフォーマット図である。この図において、データは時系列的に繰り返される複数のデータブロック１２、１２、１２・・・・・からなり、各々のデータブロック１２はヘッダ部１２ａとデータペイロード部１２ｂとからなる。ヘッダ部１２ａには信号捕捉やブロックスタート検出のためのヘッダ情報が格納されており、データペイロード部１２ｂには固定長（たとえば、１２８ビット）のデータ（任意の情報）が格納されている。なお、データペイロード部１２ｂの末尾部分にデータの終わりを示す情報（ＥＯＦシンボル）を含めてもよいし、あるいは、データペイロード部１２ｂの後に、必要に応じてＣＲＣなどの誤り訂正データを付加してもよい。本実施形態では、説明の簡単化のために、１２８ビットのデータの繰り返し送信とするが、複数のデータブロックを連結することにより、より長いデータに対応させるような拡張を行ってもよい。

ヘッダ部１２ａに格納されるヘッダ情報は、擬似乱数のプリンアンブルを用いて時間輝度変化の相関処理により、多数の画素平面のなかから、信号領域を捕捉できるようなパターンである。このデータブロックの各ビットが１であれば、ＬＥＤ等光源のＯＮ、０ならＬＥＤ光源のＯＦＦとして変調される。

本実施形態では、この光信号の変調周波数を１つの変調パルスの幅５０μｓに相当する２０ＫＨｚとする。これは、撮像装置１において、光源の２０ＫＨｚに対して２倍速の４０Ｋｆｐｓの周期でサンプリングすることで、光源の任意位相にロックさせることを可能にするためである。この設計値の場合、１つのブロックの送出時間は、ヘッダ部１２ａを７ビットとすると、５０μｓ×（１２８＋７）＝６．７５ｍｓになる。

なお、変調の方法やデータフォーマットについては、例示の方式に限るものではない。後述のように、任意サイズ（２０×２０ピクセル）の部分読み出し画像からデータを取り出せることができるものであれば、ここで述べた以外の変調方式、たとえば、４値ＰＰＭや、ソースデータの１／０ビットをいくつかの点滅パターン（複数のビットパターン）にする符号拡散であったとしても、この発明の本質は変わらない。

図３は、ＣＰＵ１１ａが実行する各機能を概念的に示した図であり、これらの各機能は、ＲＯＭ１１ｂに書込まれた制御プログラム、又は、ＰＲＯＭ１１ｄに書き込まれたデータをＣＰＵ１１ａが実行することにより実現される。

この図において、画像読み出し選択部１３、全画角撮像モード／部分撮像モード切替制御部１４、部分読み出しエリア設定部１５、候補領域決定部１６、エリアスケジューリングテーブル部１７、領域判断部１８、情報復元部１９、処理結果テーブル２０及び受信結果表示／応用制御処理部２１は、図１の制御部１１でソフトウェア的に実現される機能ブロックであり、撮像部２や表示部９は、図１の同名の構成要素と同一のものである。

図３において、破線で囲まれた範囲を示す画像読み出し選択部１３は、全画角撮像モード／部分撮像モード切替制御部１４からの選択により、撮像部２から出力された画像の全体、又は、指定された画素領域（部分読み出し領域）に対応する撮像領域を読み出す。全画角撮像モードで画像全体を読み出した場合は、表示部６と候補領域決定部１６に画像全体を出力する一方、部分撮像モードで指定された画素領域に対応する撮像領域を読み出した場合は、領域判断部１８と情報復元部１９に出力する。

部分読み出しエリア設定部１５は、撮像部２の画像の部分読み出し処理を制御するものである。ここで、部分読み出し処理とは、撮像部２から出力された画像の全体（全画角）においてＸＹ座標で指定された位置において、その位置を含む所定範囲の画素領域（後述の２０×２０ピクセルの領域）を読み出すことをいう。この部分読み出し処理に関わる機能は、特にＣＭＯＳ型二次元撮像デバイスを駆動させるドライバー（不図示）に備えられている。

図４は、上記の部分読み出し処理の概念図を示す図である。この図において、撮像部２の画像全体を示す全画角画像２２のサイズを横８００ピクセル、縦６００ピクセルとすると、部分読み出し処理では、この全画角画像２２のうち、ＸＹ座標でその位置や範囲が指定された、たとえば、２０×２０ピクセルの画素領域２３、２４を読み出す。部分読み出し処理によって得られる画素領域２３、２４の数は、ここでは二つとしているが、これは一例である。部分読み出しエリア設定部１５からの読み出し指定が二つの場合の例を示しているに過ぎない。指定数が一つの場合は当然ながら部分読み出し処理によって得られる画素領域の数も一つになるし、あるいは、指定数が二つ以上のｎ個の場合は部分読み出し処理によって得られる画素領域の数もｎ個になる。
なお、図４においては、全画角画像２２のサイズを８００ピクセル×６００ピクセルとしたが、これも一例に過ぎない。要は、画素領域２３、２４よりも広いピクセル数の画素領域であればよい。また、全画角にも限定されない。画素領域２３、２４よりも広いピクセル数の画素領域であれば、撮像部２の最大画素サイズ以下の大きさであってもよい。

候補領域決定部１６は、撮像部２からの全画角画像２２を順次蓄積し、これらの画像に基づいて、その画像内のどの部分の画素領域について部分読み出し処理を行うかを決定するための機能を有する。

図５は、候補領域決定部１６の動作説明図である。この図では、撮像部２で撮影された全画角画像２２が示されている。この全画角画像２２には、日中屋外の様々な被写体（ここでは、ビル２５、２６やテレビ塔２７、工場２８、自動車２９）の画像と一緒に、複数の情報光３０〜３２の画像が含まれている。なお、図中のビル２５、２６の黒く塗りつぶされていない窓は室内照明が点灯された明るい状態のものを示す。

同図において、情報光３０〜３２は、ビルなどの建造物に設置されたＬＥＤ等の照明装置が時系列的な輝度変化や色変化を伴いながら発光することにより情報を送信するものであるものとする。

なお、候補領域決定部１６は、全画角画像２２の中から情報光３０〜３２の位置を特定して、その位置に基づいて部分読み出し処理の候補領域を決定するが、その決定に際しては、以下に説明する時系列フィルタ処理を行う。

図６は、時系列フィルタ処理の概念図である。この図において、上段の波形（Ｒｔ）は撮像部２の露光制御パルスを示し、同波形中のＭ１までの区間は全画角撮像モードの露光制御パルスであり、Ｍ２の区間は部分撮像モードの露光制御パルスである。
一方、下段の波形（Ｔｔ）は、情報光の点滅（ＯＮ＝点灯／ＯＦＦ＝消灯）を示し、ＰＴは点灯時のパルス幅（点灯時間）を示している。なお、本実施の形態において、このパルス幅はμｓレベルの周期で輝度変調するものである。
また、中段の丸図形で囲まれたＰＡ１〜ＰＡ４は、その点滅波形の一部を拡大したものである。なお、情報光の点滅（ＯＮ／ＯＦＦ）は、図２のデータブロックを連続させたものである。
上記露光制御パルスＡ１、Ｂ１、及び、Ａ２のうち、“Ａ１”、及び、“Ａ２”は“Ａ系列”に属し、ＰＡ１、ＰＡ３に示すように情報光（点灯パルス）の出現周期の整数倍に同期している。一方、“Ｂ１”は“Ｂ系列”に属し、ＰＡ２にて示すように、上記Ａ１に対し情報光の出現周期の（整数＋１／２）倍に同期している。そして全画角撮像モードにおいては、フレームレートＦＲ１は、Ａ１→Ｂ１→Ａ２……というように間欠的動作を行って、Ａ系列またはＢ系列の何れかで同期が取れるか否かをサーチする。
なお、フレームレートＦＲ１は、露光制御パルスのパルス幅（露光時間）に対し十分長い時間（３０〜４０（ｆｐｓ））で行われる。

一方、Ａ系列とＢ系列の何れかの露光制御パルスによる露光タイミングと情報光の点灯タイミングが同期し、その輝度変化が情報光によるものと推測され、その結果、高速で部分読み出しを行う部分撮像モードＭ２になると、候補領域決定部１６は、露光時間ＥＴの２倍のフレームレートＦＲ２で連続的に露光するよう撮像部２を制御する。

図６によれば、情報光側の輝度変化のタイミングと撮像装置側の露光制御タイミングとが完全に同期していなくても、情報光の点灯時間よりも短い時間（望ましくは１／２）を露光時間とし、交互に情報光（点灯パルス）の出現周期の整数倍と（整数＋１／２）倍とを見る十分長い周期のフレームレートで全画角画像から情報光をサーチする。

図７は、候補領域決定部１６の処理機能を画像系列に対するデジタルフィルタ形式で表した図である。この図において、図６のＡ系列について情報光をサーチする側はハイパスフィルタ１６２と平均値演算部１６３とを含み、同様に図６のＢ系列側についてはハイパスフィルタ１６４と平均値演算部１６５を含む。
ハイパスフィルタ１６２、１６４は加算回路１６２ａ、１６４ａと、遅延回路１６２ｂ、１６４ｂと、係数（−１）乗算回路１６２ｃ、１６４ｃとからなる。
平均値演算部１６３、１６５は絶対値演算回路１６３ａ、１６５ａと、係数（０．１）乗算回路１６３ｂ、１６５ｂと、加算回路１６３ｃ、１６５ｃと、遅延回路１６３ｄ、１６５ｄと、係数（０．９）乗算回路１６３ｅ、１６５ｅとからなる。

ハイパスフィルタ１６２、１６５は一次のＦＩＲ（有限インパルス応答）フィルタであり、逐次に一つ前の画像（Ｚ−１）との計算によって変化があると、高い値の画像として出力する。
また、平均値演算部１６３、１６５はハイパスフィルタ１６２、１６４の変化の絶対値を平均化するためのものであり、規定枚数の中でその変化の逐次平均を出すブロックである。具体的には、平均値演算部１６３、１６５はハイパスフィルタ１６２、１６４の変化の絶対値を１：９の積算比で平均化する。

このように、候補領域決定部１６では、全画角画像（Ａ、Ｂ系列のキャプチャ画像）を撮像する度に、候補評価画像、つまり、輝度変動する領域が高い値となっている評価画像を随時更新していく。

前述したデータフォーマット（図２参照）によれば、目的信号のデータブロックで明暗変化している信号の画像領域は、データブロックの１／０のデューティが１／２であり、且つ、１と０がランダムに出ている激しい変動、つまり、高周波成分を多く持っている。
このため、全画角撮像モードにおいて、図６のフレームレートＦＲ１で周期的に撮像しても、下記の如く「統計的特性」を得ることができるので、結果として、「高周波数で変動が高い値を示す濃淡画像」を得ることができる。

たとえば、４値ＰＰＭの場合、元データの２ビットごとの「００」、「０１」、「１０」、「１１」はそれぞれ「０００１」、「００１０」、「０１００」、「１０００」のようなパルス列に変換されるが、このパルス列を１パルス幅より充分短い周期で間欠的にサンプリングすると、そのサンプリングされたデータ列は「“１”と“０”の二つの値を持ち且つ１／４の確率で“１”、３／４の確率で“０”になる」という統計的特性を有する。

したがって、情報光３０〜３２と同じ「統計的特性」を持つ濃淡画像の領域のみを目的信号（情報光３０〜３２）の候補領域として決定するだけで、他の不要な領域（たとえば、単に輝度値が高いだけの領域：上記の統計的特性を持たない）を候補から外すことができ、無駄な処理を省いて処理効率の向上を図ることができる。

なお、図７の構成（演算的な実装）は一例である。たとえば、利用環境によっては目的信号源でないにもかかわらず、同一周波数で変動する光源がきわめて多い場合などがある得るが、このような利用環境における候補画像の候補としての尤度（正解率）を想定し、対象ビット列を間欠サンプリングしたときの統計的性質を反映させるように、実装条件にあわせて既存の公知の信号処理の知見を元に最適なものを適宜設計すればよい。

エリアスケジューリングテーブル部１７は、候補領域決定部１６で決定した画素領域のＸＹ座標とその座標を中心とした所定範囲の画素領域を複数登録し得る記憶部としての機能を有する。

部分読み出しエリア設定部１５は、候補領域決定部１６で決定した順番に従って、エリアスケジューリングテーブル部１７に登録された画素領域の位置とその位置を含む所定範囲を順番に指定しながら、順次部分読み出し処理を行う。たとえば、図４を用いて説明すると、画素領域２３、２４を順次読み出すための制御を行う。

領域判断部１８は、部分読み出しエリア設定部１５にて順次複数フレームに渡って読み出された画素領域の輝度値からビットデータに復元するとともに、この復元されたビットデータを解析することで、候補領域決定部１６が決定した候補が情報光３０〜３２に対応する画素領域であるか否かを判断する機能を有する。

なお、本実施形態においては、上記図２に示したフォーマットを用いてデータを送信することから、領域判断部１８はヘッダ部１２ａをサーチしてそのデータ長に相当するフレーム数の画素領域についてビットデータに復元し、その復元されたビットデータから、その画素領域が情報光３０〜３２に対応するものか否かを判断する。

また、ヘッダ部１２ａのビットデータでなくても、復元されたビットデータがデータペイロード部１２ｂのものであった場合には、このビットデータが有意なものであったか否かを判断するようにしてもよい。

なお、領域判断方法については、情報光のデータの通信プロトコルや変調方式、フォーマット等によって左右されるので、必ずしも本実施の形態に限定されない。

情報復元部１９は、後続して読み込んだデータペイロード部１２ｂに相当するフレームの画素領域についてビットデータに復元し、その復元されたビットデータを、エリアスケジューリングテーブル部１７に登録された座標及び所定範囲と対応付けて処理結果テーブル２０に格納する。受信結果表示／応用制御処理部２１は、処理結果テーブル２０の格納内容について、たとえば所定時間以上、変化や更新がされていないか否か等を判断することにより格納の完了の有無を判断し、格納が完了したと判断すると、処理結果テーブル２０に格納されたビットデータを読み込み、このビットデータに基づく情報のライブビュー画像への重畳表示や、あるいは、他の応用制御に対し復元されたビットデータを出力する。

なお、本実施形態の撮像装置１は、全画角撮像モードにおいては、４０ｆｐｓで順次１フレームの全画角画像を読み出して出力することができるとともに、このフレームの更新タイミングで部分撮像モードに移行し、上述の候補領域決定部１６にて部分読み出し処理を行うものとして決定された２０×２０ピクセルの部分画像領域について読み出し処理を行うものとする。
また、上述の部分撮像モードにおいては、図２にて説明したように、４０（Ｋｆｐｓ：１フレーム当たり２５０（μｓ））で部分読み出し処理を行うものとする。

図８は、上述の光通信情報受信モードにおける全体動作フローを示す図であり、図９は、その動作説明図である。先ず、ＣＰＵ１１ａは、本フローチャートをスタートするに当たり、ＲＯＭ１１ｂ、ＰＲＯＭ１１ｄに書き込まれている本フローチャートに係る制御プログラムやデータを読み出し、ＲＡＭ１１ｃにロードする（スタート）。次いで、図３の全画角撮像モード／部分撮像モード切替制御部１４を制御して画像読み出し選択部１３に全画角撮像モードを選択させ、撮像部２の全画角で撮像される画像を順次取り込み、その画像に基づくライブビュー画像を表示部６に順次表示させると共に、その全画角画像を候補領域決定部１６内のバッファエリアに逐次バッファリングする（ステップＳ１）。次いで、図７を用いて説明したフィルタリング処理を行い、候補評価画像、つまり、輝度変動する領域が高い値となっている評価画像を取得・更新する（ステップＳ２）。

次に、全画角画像のバッファリングを規定枚数（ｎ）行ったか否か、すなわち、全画角モードの撮像を規定枚数（ｎ）行ったか否かを判定し（ステップＳ３）、規定枚数に達していなければ、再びステップＳ１以降を繰り返し、規定枚数に達していれば、次に、候補評価画像を二値化して部分読み出し領域を決定し、その結果をエリアスケジューリングテーブル部１７に登録する（ステップＳ４）。

たとえば、図９（ａ）に示すような全画角画像４０を取り込んだ場合には、この全画角画像４０から、まず、図９（ｂ）、（ｃ）に示すような二値化されたＡ系列候補評価画像４１とＢ系列候補評価画像４２を生成し、次いで、図９（ｄ）に示すように、これらのＡ系列候補評価画像４１とＢ系列候補評価画像４２の論理和をとった統合候補評価画像４３を生成した後、図９（ｅ）に示すような目的信号の候補領域４４〜４６を決定する。

ここで、図９（ａ）の全画角画像４０に含まれる高輝度部分は、情報光３０〜３２と、ビル２５、２６の明かりが点灯している窓（黒く塗りつぶされていない窓）であり、そのうちの情報光３０〜３２だけが点滅している。図９（ｂ）、（ｃ）の二つの候補評価画像（Ａ系列候補評価画像４１とＢ系列候補評価画像４２）において、破線２５ａは左側のビル２５の明かりが点灯している窓を表し、破線２６ａは右側のビル２６の明かりが点灯している窓を表しているが、これら二つの候補評価画像（Ａ系列候補評価画像４１とＢ系列候補評価画像４２）のいずれにも同じ数の窓（明かりが点灯している窓）が高輝度部分として含まれている。

これに対し、情報光３０〜３２は、点滅光であるため、図示の例においては、Ａ系列候補評価画像４１に情報光３０が含まれず、また、Ｂ系列候補評価画像４２に情報光３１が含まれず、結局、それら二つの候補評価画像（Ａ系列候補評価画像４１とＢ系列候補評価画像４２）の論理和画像である統合候補評価画像４３に全ての情報光３０〜３２が含まれることになり、この統合候補評価画像４３に基づいて情報光３０〜３２を部分読み出しするための部分読み出し領域４４〜４６を決定する。

次いで、エリアスケジューリングテーブル部１７に処理すべきデータが有るか否かを判定し（ステップＳ５）、処理すべきデータがなければ、処理結果テーブル２０の検出結果に基づき表示処理と制御処理とを実行（ステップＳ６）した後、再びステップＳ１以降を繰り返す。

一方、エリアスケジューリングテーブル部１７に処理すべきデータが有る場合は、エリアスケジューリングテーブル部１７からデータを一つ取り出して部分撮像モードにて読み出すべきエリア（画素領域）を設定し（ステップＳ７）、次いで、部分撮像モードで撮像を行い、その撮像によって得られた部分読み出し画像をバッファリングする（ステップＳ８）。

次いで、信号捕捉領域と信号領域時間変動からデコードを試み（ステップＳ９）、デコードしたデータが不足しているか否かを判断する（ステップＳ１０）。データが不足しているのならばステップＳ７に戻る一方、情報に復元するのに十分なデータ量がデコードできているのならばステップＳ１１に進む。ステップＳ１１にて、データについてチェックを行い、正常であれば、処理結果テーブル２０に受信処理結果を書き込んだ後（ステップＳ１２）、ステップＳ５以降を繰り返し、一方、エラー有りと判断したならば、処理結果テーブル２０に信号無しを示す情報（ここでは×記号）を書き込んだ後（ステップＳ１１）、ステップＳ５以降を繰り返す。

図１０は、エリアスケジューリングテーブル１６と処理結果テーブル２０のデータ格納の具体例を示す図である。この図において、０、１、２、・・・・・ｎのナンバー（ＮＯ）はスケジューリング番号であり、各番号ごとにエリア座標（Ｘ，Ｙ）と信号座標、処理／デコード結果が格納されている。たとえば、ＮＯ＝０にはエリア座標（４０，８０）と“×”（信号無し）が格納されており、ＮＯ＝１にはエリア座標（７６０，２１０）と信号座標（７６５，２１２）及びデコード結果“ＦＣ８７・・・・・”が格納されており、ＮＯ＝２にはエリア座標（４１０，２２０）と“処理中”が格納されている。

以上のとおり、第１実施形態においては、情報光３０〜３２の持つ統計的特性に着目し、全画角画像の中で、同じ統計的特性を有する領域を部分読み出しのための領域として決定するので、変調する周波数に比べてはるかに低い周波数のフレームレートであっても、全画角から光信号源である尤度の高い領域候補を判定でき、変調を複雑にしたり、多量の部分読み出しのスキャンをしなくてもよい。加えて、提案技術のように人為的に当該領域を指定するものに比べて手間や面倒もない。

＜第２実施形態＞
前記の第１実施形態では、光源の任意位相とのロックを可能にするために、光信号の変調周波数を１つの変調パルスの幅５０μｓに相当する２０ＫＨｚとしたが、これに限定されない。以下に説明する第２実施形態では、別の信号形式への対応例として、すでに標準化されている可視光通信の規格であるＳＣ−４ＰＰＭ形式を説明する。ちなみに、このＳＣ−４ＰＰＭ形式は「ＪＥＩＴＡＣＰ−１２２２（可視光ＩＤシステム）」の規格である。

第２実施形態では、ＳＣ−４ＰＰＭ形式の信号を探索する送信発光器からの情報受信に本発明を適用した場合について述べる。
まず、ＪＥＩＴＡ規格のＣＰ−１２２２は、
・副搬送波の周波数２８．８（ｋＨｚ）
・１シンボル時間０．４１６（ｍｓ）＝４１６（μｓ）
・１スロット時間１０４（μｓ）
と規定されている。
したがって、サブキャリアパルスの有無に合わせた変化を見るため、露光時間は、上記１スロット時間におけるサブキャリアパルス１周期分に相当する３４．６７（μｓ）とする。
これは、キャプチャ画像の位相と変調データの位相が任意の場合に対応して安定値になるように、１スロット時間の半分の２／３に合致させたことになる。
また全画角撮像モードにおけるフレームレートは「１０４（μｓ）×Ｎ＋１０４（μｓ）／２」であるので、全画角撮像モードにおける１フレームレートに相当する周期を、Ｎ＝２４９として、１０４（μｓ）×２４９＋（１０４（μｓ）／２）＝３９.８１５２（ｆｐｓ）とする。

以上のとおり、ＣＰ−１２２２のようなサブキャリア変調の信号でも問題なく本発明を適用することができる。また、その際に、さらに望ましい全画角撮像モードでの露光時間条件が得られる。

次に、候補領域の算出フィルタについて説明する。
フィルタや判定器としては、公知のデジタル信号処理において確率過程の信号に関するフィルタの構成法を使ってもよいが、２０枚（Ａ／Ｂ系列で４０サンプル）の画像で算出する簡易的な処理手段として、次に説明するフローを例示する。

図１１は、上述の全体動作フロー（図８）の変形フローを示す図である。先ず、ＣＰＵ１１ａは、本フローチャートをスタートするに当たり、ＲＯＭ１１ｂ、ＰＲＯＭ１１ｄに書き込まれている本フローチャートに係る制御プログラムやデータを読み出し、ＲＡＭ１１ｃにロードする（スタート）。次いで、図３の全画角撮像モード／部分撮像モード切替制御部１４を制御して画像読み出し選択部１３に全画角撮像モードを選択させ、撮像部２の全画角で撮像される画像を順次取り込み、その画像に基づくライブビュー画像を表示部６に順次表示させると共に、その全画角画像を候補領域決定部１６内のバッファエリアに逐次バッファリングする（ステップＳ２１）。次いで全画角画像枚数が４０枚（Ａ系列で２０枚、Ｂ系列で２０枚）バッファリングできたか否かを判断する（ステップＳ２２）。そして、バッファリングしたと判断すると、次に、Ａ系列、Ｂ系列の各々の系列の各座標について、以下の三つの処理を実行する（ステップＳ２３）。

〔第１の処理〕
系列変動を検査し画像系列から最大値／最小値／平均値を求める（ステップＳ２３−１）。
〔第２の処理〕
最大値と最小値の差分（ｄｉｆｆ）を求めると共に、平均値と最小値との差分（ｄｉｆｆ＿ａ）を求め、さらに、｜ｄｉｆｆ−ｄｉｆｆ＿ａ×４｜を演算する。そして、その演算結果が所定のしきい値よりも大きいか否かを判定し、大きい場合にはバッファ（図示せず）に“１”を格納し、大きくない場合にはバッファに“０”を格納する（ステップＳ２３−２）。
〔第３の処理〕
上記ステップＳ２３−２にて、“１”が格納された座標の変動を検査し、しきい内で同じ値が所定数（ここでは１０回）以上続いたら、このバッファの“１”を“０”に訂正する（ステップＳ２３−３）。

そして、系列Ａ／Ｂの画像のＯＲ（論理和）をとり（ステップＳ２４）、部分読み出し領域の決定とエリアスケジューリングテーブル１６への登録を行った後、第１実施形態と同様のステップＳ５移行を実行する。

以上のとおり、第２実施形態においては、ＣＰ−１２２２の標準光源をイメージセンサ通信に用いた場合であっても、効率の良い高速部分読み出しを使った信号捕捉と受信を行うことができる。

また、サブキャリア変調の信号にも適用できる。
また、４値ＰＰＭエンコードされた伝送ビットレベルのエンコード方式にも適用できる。

また、データフォーマットの一部に想定統計性質を満たさない部分が存在する場合であっても撮像周期の制御によって容易に対応することが可能になる。
また、データフォーマットに捕捉用の特別なデータ（擬似乱数的なプリアンブル）が含まれていなくても、高速データ通信処理において、信号取り出し座標の確定と受信が可能になる。
また、データデコードの処理であらかじめ代表点でなく、全ての座標に対してバイナリ化処理を行って、データ受信が成功した領域を統合して代表点を出すので、処理効率は悪いが、代表点を求めてデコードする場合にくらべて、信号の動き（または受信機側の動き）の影響を受けにくくすることができる。

なお、第２実施形態では、全画素をまずバイナリ化してから最後に領域代表座標を求めたが、これに限らない。たとえば、擬似乱数パターンとの相関を求めるような形で、まず、４値ＰＰＭ信号である領域を判定し、その領域代表を求めてから、その代表座標の変化をバイナリ化するようにしてもよい。処理効率の向上を期待でき、また、バッファメモリの容量を少なくできる。

図１２は、第２実施形態の変形例を示す図であり、４値ＰＰＭのサンプリング値系列である場合に１を出力するフィルタ構成を示す図である。この図に示すように、この構成は、前段フィルタ１６７、後段フィルタ１６８、比較器１６９、判定しきい値メモリ１７０、及び、論理回路部１７１からなり、前段フィルタ１６７は加算回路１６７ａと、遅延回路１６７ｂと係数乗算回路１６７ｃとを含み、後段フィルタ１６８は係数乗算回路１６８ａと、遅延回路１６８ｂと、加算回路１６８ｃとを含み、また、論理回路部１７１は３段の遅延回路１７１ａ〜１７１ｃと、４入力アンド回路１７１ｅ〜１７１ｈと、４入力ＯＲ回路１７１ｉとを含む。

前段フィルタ１６７に部分撮像モード以降、高速で部分読み出しされたＡ系列、Ｂ系列の両系列の部分画像をそれぞれ入力する。

この構成によれば、部分撮像モードになってから、ある値以上（ＳＯＦの領域は４値ＰＰＭをみたさないので、その分の判定余裕は必要）安定してＰＰＭ判定値が１となる領域の代表点を求めることができる。
つまり、論理回路部１７１は、４値ＰＰＭのフォーマットを満たしたときに「１」、そうでないときに「０」を出力するので、この「１」が一定時間以上続いたときに、４値ＰＰＭ信号であると判定する。

なお、本実施の形態においては、本発明を撮像装置に適用した場合について述べたが、これに限ることなく、撮像デバイス備えた電子機器、また、撮像デバイスから撮像画像を得て画像処理を行うコンピュータや画像処理システムにおいても本発明を適用させることができる。

また、直接的に本発明の機能を搭載しなくても、汎用のプログラム言語を用いて本発明を機能させるようにしたプログラムをインストールすることにより本発明を実現した場合においても、適用可能なことは言うまでもないことである。

１撮像装置
２撮像部
１５部分読み出しエリア設定部
１６候補領域決定部
１９情報復元部
３０情報光
３１情報光
３２情報光

Claims

撮像手段が有する撮像領域のうちの部分的な領域を撮像し、この部分的な領域の輝度変化から、光を媒体として送信された所定の統計的特性を有する光のパルス列からなる情報光に含まれる情報を復元する情報復元装置において、
前記撮像手段が有する撮像領域の全領域または前記部分的な領域よりも大きな領域の中から前記統計的特性を有する光のパルス列を含む領域を特定する特定手段と、
前記特定手段によって特定された領域に対応する部分画像の時系列的な輝度変化から前記情報光に含まれる情報を復元する情報復元手段と、
前記パルス列における１パルス分の点灯時間の少なくとも半分の時間を露光時間とし、前記統計的特性を有する光の点灯周期の整数倍と、この点灯周期の整数倍と半分の周期とを交互に含むフレームレートで前記撮像手段を制御する撮像制御手段と、
を備え、
前記特定手段は、前記撮像制御手段による制御による結果に基づいて前記領域を特定することを特徴とする情報復元装置。
撮像手段が有する撮像領域のうちの部分的な領域を撮像し、この部分的な領域の輝度変化から、光を媒体として送信された所定の統計的特性を有する光のパルス列からなる情報光に含まれる情報を復元する情報復元方法であって、
前記撮像手段が有する撮像領域の全領域または前記部分的な領域よりも大きな領域の中から前記統計的特性を有する光のパルス列を含む領域を特定する特定ステップと、
前記特定ステップにて特定された領域に対応する部分画像の時系列的な輝度変化から前記情報光に含まれる情報を復元する情報復元ステップと、
前記パルス列における１パルス分の点灯時間の少なくとも半分の時間を露光時間とし、前記統計的特性を有する光の点灯周期の整数倍と、この点灯周期の整数倍と半分の周期とを交互に含むフレームレートで前記撮像手段を制御する撮像制御ステップと、
を含み、
前記特定ステップは、前記撮像制御ステップによる制御による結果に基づいて前記領域を特定することを特徴とする情報復元方法。