JP5339049B2 - 情報復元装置、情報復元方法、及び、プログラム - Google Patents

Description

本発明は、情報復元装置、情報復元方法、及び、プログラムに関し、詳細には、二次元イメージセンサを用いて光を通信媒体とした情報を復元する情報復元装置、情報復元方法、及び、プログラムに関する。

伝送すべき情報を発光ユニットにて可視光や赤外光等の光信号（情報光ともいう。）に変換して出力し、該光信号を、ＣＣＤやＣＭＯＳ等の二次元イメージセンサで構成された受光ユニットにて受光して前記情報を再生する情報伝送システムが知られている。また、このような情報伝送システムにおいて、例えば、特許文献１に記載するように、情報を受信するユーザが自ら上記光信号が存在する場所を撮像画像から探して特定し、光信号を受光（撮像）するようにする技術が存在する。

特開２００６−２０２９４号公報

しかしながら、上記従来技術において撮像画像から光信号が存在する場所を探す場合、ユーザは撮像画像を複数フレームに渡って目視し、その中において、「情報を伝送している」と思われる輝度領域を判断する必要があり、光信号の場所を特定する上においては未だ改善の余地がある。

本発明は、撮像画像から容易に情報光の位置を特定できるようにすることを目的とする。

請求項１記載の発明は、撮像手段と、この撮像手段が有する撮像領域のうち、部分的な領域を撮像するよう制御する第１の撮像制御手段と、前記部分的な領域よりも広い領域の画像を順次撮像するよう制御する第２の撮像制御手段と、前記第２の撮像制御手段によって順次撮像された一枚の画像がそれ以前のタイミングで撮像された一枚の画像から変化しているか否かを判断し、この判断結果に基づいて、今回撮像された一枚の画像から、所定範囲の輝度値を有する画素領域を特定する特定手段と、この特定手段によって前記画素領域が特定された後、この画素領域を前記部分的な領域として設定する設定手段と、前記第１の撮像制御手段を制御して前記設定手段によって設定された画素領域を時間的に連続して撮像させ、この撮像された画素領域の輝度変化からビットデータからなる情報に復元する復元手段と、を備えたことを特徴とする情報復元装置である。
請求項２記載の発明は、前記特定手段は、更に特定の色を有する画素領域を特定することを特徴とする請求項１に記載の情報復元装置である。
請求項３記載の発明は、前記特定手段は、特定の形状を有するか否かに基づいて画像領域を特定することを特徴とする請求項１又は２に記載の情報復元装置である。
請求項４記載の発明は、前記特定手段は前記画素領域を複数特定するとともに、これら特定された画素領域を登録する登録手段と、前記復元手段は、前記登録手段によって登録された複数の画素領域のうちの一つに対応する画素領域からビットデータに復元することを特徴とする請求項１乃至３の何れかに記載の情報復元装置である。
請求項５記載の発明は、前記復元手段によってビットデータが復元されたか否かを判断する判断手段と、この判断手段によりビットデータが復元されなかったとき、前記登録手段によって登録され、且つ、まだ復元していない画素領域からビットデータを復元するよう前記復元手段を制御する復元制御手段と、を更に備えることを特徴とする請求項４に記載の情報復元装置である。
請求項６記載の発明は、撮像部が有する撮像領域のうち、部分的な領域を撮像するよう制御する第１の撮像制御ステップと、前記部分的な領域よりも広い領域の画像を順次撮像するよう制御する第２の撮像制御ステップと、前記第２の撮像制御ステップにて撮像された一枚の画像がそれ以前のタイミングで撮像された一枚の画像から変化しているか否かを判断し、この判断結果に基づいて、今回撮像された一枚の画像から、所定範囲の輝度値を有する画素領域を特定する特定ステップと、この特定ステップにて前記画素領域が特定された後、この画素領域を前記部分的な領域として設定する設定ステップと、この設定ステップにて設定された画素領域を前記第１の撮像制御ステップにて時間的に連続して撮像させ、この撮像された画素領域の輝度変化からビットデータからなる情報に復元する復元ステップと、からなることを特徴とする情報復元方法である。
請求項７記載の発明は、撮像部を有する電子機器が備えるコンピュータを、前記撮像部が有する撮像領域のうち、部分的な領域を撮像するよう制御する第１の撮像制御手段、前記部分的な領域よりも広い領域の画像を順次撮像するよう制御する第２の撮像制御手段、前記第２の撮像制御手段によって撮像された一枚の画像がそれ以前のタイミングで撮像された一枚の画像から変化しているか否かを判断し、この判断結果に基づいて、今回撮像された一枚の画像から所定範囲の輝度値を有する画素領域を特定する特定手段、この特定手段によって前記画素領域が特定された後、この画素領域を前記部分的な領域として設定する設定手段、前記第１の撮像制御手段を制御して前記設定手段によって設定された画素領域を時間的に連続して撮像させ、この撮像された画素領域の輝度変化からビットデータからなる情報に復元する復元手段、として機能させることを特徴とするプログラムである。

本発明によれば、撮像画像から容易に情報光の位置を特定でき、ひいては、情報の復元にかかる処理負担を軽減させることができる。

以下、本発明の実施形態を図面を参照しながら説明する。

図１は、撮像装置の概念構成図である。この図において、撮像装置１は、ＣＣＤやＣＭＯＳ等の二次元イメージセンサを含む撮像部２と、この撮像部２で撮像された画像信号に所要の画像処理（ガンマ補正等）を施す画像処理部３と、各種ボタン類（撮影動作と再生動作とのモード切り換えボタン４ａやメニューボタン４ｂ、カーソルキー４ｃ及びシャッタボタン４ｄなど）を含む操作部４と、ストロボ発光部５と、液晶ディスプレイ等からなる表示部６と、固定式又は着脱式の大容量記憶デバイスで構成された記憶部７と、パーソナルコンピュータ等の外部機器８との間のデータ入出力を必要に応じて仲介する外部Ｉ／Ｆ（インターフェース）９と、バッテリ等を含む電源部１０と、制御部１１とを備えている。

制御部１１は、コンピュータ（以下、ＣＰＵ）１１ａ、不揮発性メモリ（以下、ＲＯＭ）１１ｂ、揮発性メモリ（以下、ＲＡＭ）１１ｃ及び書き換え可能型不揮発性メモリ（以下、ＰＲＯＭ）１１ｄを備えており、ＲＯＭ１１ｂに予め格納されている制御プログラムや、又は、ＰＲＯＭ１１ｄに予め又は任意に書き込まれるデータをＲＡＭ１１ｃにロードしてＣＰＵ１１ａで実行する。

図示の撮像装置１は、以下の如く動作する。先ず、本実施形態の撮像装置１は、二つのモードを選択することができるようになっている。一つは通常の静止画又は動画撮影モードであり、他の一つは光通信の情報光の受信／再生モード（以下、光通信情報受信モードという。）である。
最初に、通常の撮影動作について説明する。操作部４のモード切り換えボタンが「撮影」位置にあるとき、撮像装置１は撮影モードで動作する。

撮影モードで動作するとき、撮像部２から周期的（毎秒数十フレーム）に出力される画像信号が、画像処理部３と制御部１１を経て縮小処理され、継続的に表示部６に表示出力される。撮影者は、このライブビュー画像を見ながら所望の構図になるように撮像部２の画角を調節し、所望の構図が得られたときにレリーズ操作（シャッタボタン４ｄの押し下げ操作）を行う。

そして、レリーズ操作に応答して、ＡＦ（自動焦点）とＡＥ（自動露出）が実行（このとき、光量不足であればストロボ発光部５が発光する。）され、撮像部２から高画質の画像信号が取り出される。この画像信号は、画像処理部３と制御部１１を経て記憶部７に送られて、ＪＰＥＧ形式に圧縮変換され、撮影済み画像として画像記憶部７ａに記録保存される。以上の説明は、“静止画”の撮影動作であるが、“動画”の撮影動作も概ね同様である。相違は、動画の撮影開始と撮影終了で各々レリーズ操作を行い、その間、撮像部２から出力されるフレーム画像を動画ファイル（一般的にＭＰＥＧ等の圧縮動画ファイル）に変換して記憶部７に記録保存する点にある。

さて、他の一つの撮影モード（光通信情報受信モード）が選択されているときの動作は、次のとおりである。この光通信情報受信モードを選択した場合も、上記の撮影モードと同様に、撮像部２から周期的（毎秒数十フレーム）に出力される画像信号が、画像処理部３と制御部１１を経て縮小処理され、継続的に表示部６に表示出力される。相違は、そのライブビュー画像に光通信により発光する情報光が含まれている場合、すなわち、情報光の“輝き”を受光した画素領域がある場合、その画素に相当する撮像領域にて当該情報光を時系列的に連続受信して情報を復元し、その復元された情報に基づいて、たとえば、ライブビュー画像に文字情報等を重畳表示する点にある。具体的な利用例としては、街中の看板等に情報光の発光体が併設されている場合、その看板と発光体とを含むライブビュー画像とともに、情報光から復元された情報を表示する。

ここで、“情報光”とは、任意の情報を光の点滅や輝度の変化によって表したものであり、具体的には、伝送すべき情報がビットデータに変換され、この変換されたビットデータの“１”を点灯、“０”を消灯として高速点滅させたものである。本実施形態の撮像装置１は、受光された光信号を輝度変化に応じて二値化することによりビットデータに復元し、該二値化した結果に含まれるビットデータに基づいて前記情報の再生を行う。

図２は、情報光によって送信されるデータのフォーマット図である。この図において、データは時系列的に繰り返される複数のデータブロック１００、１００、１００……からなり、各々のデータブロックはヘッダ部１０１とデータペイロード部１０２とからなる。ヘッダ部１０１には信号捕捉やブロックスタート検出のためのヘッダ情報が格納されており、データペイロード部１０２には固定長（たとえば、１２８ビット）のデータ（任意の情報）が格納されている。なお、データペイロード部１０２の後に、必要に応じてＣＲＣなどの誤り訂正データを付加してもよい。本実施形態では、説明の簡単化のために、１２８ビットのデータの繰り返し送信とするが、複数のデータブロックを連結することにより、より長いデータに対応させるような拡張を行ってもよい。

ヘッダ部１０１は、擬似乱数のプリンアンブルを用いて時間輝度変化の相関処理により、多数の画素平面のなかから、信号領域を捕捉できるようなパターンである。このデータブロックの各ビットが１であれば、ＬＥＤ等光源のＯＮ、０ならＬＥＤ光源のＯＦＦとして変調される。

本実施形態では、この光信号の変調周波数は、１つの変調パルスの幅５０μｓ（２０ＫＨｚ）とする。これは、光源の２０ＫＨｚに対して、２倍速の４０Ｋｆｐｓでサンプリングすることで、光源の任意位相とロックすることを可能にするためである。この設計値の場合、１つのブロックの送出時間は、ヘッダ部１０１を７ビットとすると、５０μｓ×（１２８＋７）＝６．７５ｍＳである。

なお、変調の方法やデータフォーマットについては、例示の方式に限るものではない。後述のように、２０×２０ピクセルからデータを取り出せることができるものであれば、ここで述べた以外の変調方式、たとえば、４−ＰＰＭや、ソースデータの１／０ビットをいくつかの点滅パターン（複数のビットパターン）にする符号拡散であったとしても、この発明の本質は変わらない。

図３は、ＣＰＵ１１ａが実行する各機能を概念的に示した図であり、これらの各機能は、ＲＯＭ１１ｂに書込まれた制御プログラム、又は、ＰＲＯＭ１１ｄに書き込まれたデータをＣＰＵ１１ａが実行することにより実現される。この図において、画像読み出し選択部１２、全画角撮像モード／部分撮像モード制御部１３、部分読み出しエリア設定部１４、候補領域決定部１５、エリアスケジューリングテーブル部１６、領域判断部１７、情報復元部１８、処理結果テーブル１９及び受信結果表示／応用制御処理部２０は、図１の制御部１１でソフトウェア的に実現される機能ブロックであり、撮像部２や表示部９は、図１の同名の構成要素と同一のものである。

図３において、破線で囲まれた範囲を示す画像読み出し選択部１２は、全画角撮像モード／部分撮像モード制御部１３からの選択により、撮像部２から出力された画像の全体、又は、指定された画素領域に対応する撮像領域を読み出す。画像全体を読み出した場合は、表示部６と候補領域決定部１５に画像全体を出力する一方、指定された画素領域に対応する撮像領域を読み出した場合は、情報探索部１７と情報復元部１８に出力する。

部分読み出しエリア設定部１４は、撮像部２の画像の部分読み出し処理を制御するものである。ここで、部分読み出し処理とは、撮像部２から出力された画像の全体（全画角）においてＸＹ座標で指定された位置において、その位置を含む所定範囲の画素領域を読み出すことをいう。この部分読み出し処理に関わる機能は、特にＣＭＯＳ型二次元撮像デバイスを駆動させるドライバー（不図示）に備えられている。

図４は、上記の部分読み出し処理の概念図を示すものである。この図において、撮像部２の画像全体を示す全画角画像２１のサイズを横８００ピクセル、縦６００ピクセルとすると、部分読み出し処理では、この全画角画像２１のうち、ＸＹ座標でその位置や範囲が指定された画素領域２２、２３を読み出す。本実施形態では、画素領域２２、２３のサイズを便宜的に２０ピクセル×２０ピクセルとするが、画素領域２２、２３のサイズは、手ブレや被写体ブレが検出されることによりライブビュー画像の範囲が少々相違することがあっても、十分に情報光が含まれる範囲に設定されることが望ましい。

なお、図４においては、全画角画像２１と画像領域２２、２３との対応は、全画角（８００ピクセル×６００ピクセル）―画素領域（２０ピクセル×２０ピクセル）としたが、全画角として説明した画素領域のピクセル数についてはこれに限ることは無く、要は、画素領域２２、２３よりも広いピクセル数の画素領域であれば、全画角に限定されない。

候補領域決定部１５は、撮像部２からの全画角画像２１に基づいて、その画像内のどの部分の画素領域について部分読み出し処理を行う領域を決定するための機能を有する。

図５は、候補領域決定部１５の動作説明図である。この図において、今、撮像装置１の表示部６には、撮像部２で撮影された画角α（全画角）のライブビュー画像（図４の全画角画像２１に相当）が表示されている。このライブビュー画像には、様々な被写体（ここでは、ビルやテレビ塔、工場、自動車）と一緒に、複数の情報光２４〜２６が含まれている。なお、この図では、情報光と誤認識されやすい外乱光として車両の前照灯２７も含まれている。

なお、同図において、情報光２４〜２６は、ビルや建造物に設置されたＬＥＤ等の照明装置が時系列的な輝度変化や色変化を伴いながら発光することにより情報を送信するものであるものとする。

撮像装置１は、このような情報光２４〜２６を含む画角α（全画角）を、ＣＣＤやＣＭＯＳ等の二次元イメージセンサで構成された撮像部２を用いて複数のフレーム画像にわたって時系列的に連続撮像し、それらのフレーム画像を順次処理することにより、画角α内に存在する１乃至複数の情報光から情報を復元する。

候補領域決定部１５は、画角αに基づくライブビュー画像の中から情報光２４〜２６の光による輝度を有する領域を特定して、これを部分読み出し処理の候補として決定するものである。ここで、“情報光２４〜２６の光による輝度を有する領域”の特定は、次の条件を満たすか否かによって行う。

（条件１）自然界において存在する可能性が低く、人工的な発光、若しくは、照射による所定範囲内の輝度値を有する画素領域であること。
（条件２）上記画素領域が所定の色（波長光ないしは色温度）を有すること。つまり、所定の色ないしは色温度は情報光の光源の種類に依存する。たとえば、情報光の光源がＬＥＤ等の発光ダイオードの場合、白色、赤色、青色又はそれらの中間色といった特定の色に相当する波長光ないしは色温度を有する。
（条件３）撮像画像における上記画素領域が、自然界において存在する可能性が低い、望ましくは所定の幾何学形状を有していること。

これら三つの条件のうち、必須条件は「条件１」の“所定範囲内の輝度値を有する画素領域であること”であり、他の二つの条件については、領域決定の信頼性を高めるために適宜に使用することができる付加的条件である。すなわち、条件１に条件２、３を加味することにより、情報光２４〜２６による画素領域と外乱光２７による画素領域との識別が可能となる。

これらの条件を、図５の例に当てはめた場合、「条件１」を満たすのは、全画角のうち、情報光２４〜２６が写し出されている画素領域と、車両の前照灯２７が写し出されている画素領域と判断される。したがって、候補領域決定部１５は、それらの画素領域を部分読み出し処理を行う候補として決定する。

エリアスケジューリングテーブル部１６は、候補領域決定部１５で決定した画素領域のＸＹ座標とその座標を中心とした所定範囲の画素領域を複数登録し得る記憶部としての機能を有する。

部分読み出しエリア設定部１４は、候補領域決定部１５で決定した順番に従って、エリアスケジューリングテーブル部１６に登録された画素領域の位置とその位置を含む所定範囲を順番に指定しながら、順次部分読み出し処理を行う。例えば、図４を用いて説明すると、画素領域２２、２３を順次読み出すための制御を行う。

領域判断部１７は、部分読み出しエリア設定部１４にて順次複数フレームに渡って読み出された画素領域の輝度値からビットデータに復元するとともに、この復元されたビットデータを解析することで、候補領域決定部１５が決定した候補が情報光２４〜２６に対応する画素領域であるか否かを判断する機能を有する。

なお、本実施形態においては、上記図２に示したフォーマットを用いてデータを送信することから、領域判断部１７はヘッダ部１０１をサーチしてそのデータ長に相当するフレーム数の画素領域についてビットデータに復元し、その復元されたビットデータから、その画素領域が情報光２４〜２６に対応するものか否かを判断する。

また、ヘッダ部１０１のビットデータでなくても、復元されたビットデータがデータペイロード部１０２のものであった場合には、このビットデータが有意なものであったか否かを判断するようにしてもよい。

なお、領域判断方法については、情報光のデータの通信プロトコルや変調方式、フォーマット等によって左右されるので、必ずしも本実施の形態に限定されない。

情報復元部１８は、後続して読み込んだデータペイロード部１０２に相当するフレームの画素領域についてビットデータに復元し、その復元されたビットデータを、エリアスケジューリングテーブル部１６に登録された座標及び所定範囲と対応付けて処理結果テーブル１９に格納する。受信結果表示／応用制御処理部２０は、処理結果テーブル１９の格納内容について、例えば所定時間以上、変化や更新がされていないか否か等を判断することにより格納の完了の有無を判断し、格納が完了したと判断すると、処理結果テーブル１９に格納されたビットデータを読み込み、このビットデータに基づく情報のライブビュー画像への重畳表示や、あるいは、他の応用制御に対し復元されたビットデータを出力する。

なお、本実施形態の撮像装置１は、全画角撮像モードにおいては、４０ｆｐｓで順次１フレームの全画角画像を読み出して出力することができるとともに、このフレームの更新タイミングで部分撮像モードに移行し、上述の候補領域決定部１５にて部分読み出し処理を行うものとして決定された２０×２０ピクセルの部分画像領域について読み出し処理を行うものとする。
また、上述の部分撮像モードにおいては、図２にて説明したように、４０Ｋｆｐｓ（１フレーム当たり２５０μｓ）で部分読み出し処理を行うものとする。

図６は、上述の光通信情報受信モードにおける全体動作フローを示す図であり、図７は、その動作説明図である。先ず、ＣＰＵ１１ａは、本フローチャートをスタートするに当たり、ＲＯＭ１１ｂ、ＰＲＯＭ１１ｄに書き込まれている本フローチャートに係る制御プログラムやデータを読み出し、ＲＡＭ１１ｃにロードする（スタート）。

ついで、図２の全画角撮像モード／部分撮像モード切替制御部１３を制御して画像読み出し選択部１２に全画角撮像モードを選択させ、撮像部２の全画角で撮像される画像を順次取り込み（ステップＳ１）、その画像に基づくライブビュー画像を表示部６に順次表示させる（ステップＳ２）。

そして、先ず、処理結果テーブル１９に復元されたビットデータに基づく情報が記憶されているか否かを判断し（ステップＳ３）、記憶されている場合は（ステップＳ３でＹｅｓ）、更に表示されているライブビュー画像について１フレーム前に取り込まれた画像が記憶されているか否かを判断する（ステップＳ４）。この判断については、１フレーム前に取り込まれた画像がＲＡＭ１１ｃの所定の記憶領域に一時的に記憶されているか否かで判断する。そして、ステップＳ４の判断において、１フレーム前に取り込まれた画像が記憶されていると判断すると（ステップＳ４でＹｅｓ）、この１フレーム前の画像とライブビュー画像とをピクセル単位で比較し、ズームや撮像方向を変えた等により大きく（例えば、２０パーセント以上）画角が変化しているか否かを判断する（ステップＳ５）。

そして、ステップＳ５にて大きく画角が変化していないと判断した場合、処理結果テーブル１９に記憶されている情報はそのまま利用できると判断し、処理結果テーブル１９から情報を読み出し、対応付けて記憶されている画素領域の位置に読み出された情報を表示するよう表示部６を制御し（ステップＳ７）、光通信情報受信モードを止める指示を検出したか、すなわち、当該モードの“モード抜け”を検出したか否かを判断する（ステップＳ８）。“モード抜け”を検出した場合は（ステップＳ８でＹｅｓ）、本フローチャートを終了させるが、検出しなかった場合（ステップＳ８でＮｏ）は、ステップＳ１に移行し、撮像部２の全画角で撮像される画像を順次取り込み、ライブビュー画像の更新処理を続行する。

一方、ステップＳ５において、この１フレーム前の画像とライブビュー画像との画角が大きく変化していると判断した場合（ステップＳ５でＹｅｓ）、処理結果テーブル１９に記憶されている情報は利用できないので、処理結果テーブル１９の記憶内容をクリア（消去）し（ステップＳ９）、候補領域決定部１５にて、二値化画像の生成を行う（ステップＳ１０）。また、ステップＳ３において、復元されたビットデータに基づく情報が記憶されていないと判断した場合（ステップＳ３でＮｏ）、又は、ステップＳ４において、表示されているライブビュー画像について１フレーム前に取り込まれた画像が記憶されていないと判断した場合（ステップＳ４でＮｏ）は、情報光の輝度が含まれる画素領域の候補を探すため、二値化画像の生成を行う（ステップＳ１０）。

この二値化画像の生成処理を具体的に記載すると、例えば、図７（ａ）に図示したような全画角画像３０を取り込んだ場合には、この全画角画像３０を上述の条件１に当てはめて所定範囲内の輝度値を基準にした図７（ｂ）に示すような、情報光、若しくは、照明光による輝度が高い画素領域を白レベル領域、それ以外の画素領域を黒レベル領域とした二値化画像３１を生成する。

なお、この二値化画像３１の生成処理に平行して上述の条件２に当てはめた画素毎の色の分布状態を定義した画像を生成してもよいし、これに換えて（若しくは追加して）、上述の条件３に当てはめた上記白レベル領域の形状データを生成するようにしてもよい。ステップＳ１０にて二値化画像の生成処理を終えると、候補領域決定部１５は上記白レベル領域について二値化画像３１の左―上から走査してラベリング処理し、領域の幾何重心の座標を求め（幾何重心は、図７（ｃ）において×印で示されている）、その座標を中心点に存在する２０×２０ピクセルからなる所定範囲を読み出し処理の対象領域として順次決定し、上記座標及び所定範囲をエリアスケジューリングテーブル部１６に順次登録する（ステップＳ１１）。

そしてこのステップＳ１１の処理が終了したか否かを判断し（ステップＳ１２）、処理が終了していなければ再度ステップＳ１１にて処理を続行する一方、処理が終了した場合には、上記座標及び所定範囲が登録されているか否かをチェックするため、部分読み出しエリア設定部１４がエリアスケジューリングテーブル部１６を参照する（ステップＳ１３）。

このステップＳ１３における参照処理においては、先ず、上記座標及び所定範囲が登録されているか否かを判断する（ステップＳ１４）。これは、候補領域決定部１５が実行する上記の処理は全画角画像に情報光２４〜２６、外乱光２７、若しくは、一般的な光源による輝度領域が存在するか否かに関わらず行われるため、ステップ１１の処理終了を検出した場合、エリアスケジューリングテーブル部１６に必ずしも上記座標及び所定範囲が登録されるとは限らないからである。

部分読み出しエリア設定部１４は、エリアスケジューリングテーブル部１６に上記座標及び所定範囲が登録されていると判断した場合は（ステップＳ１４でＹｅｓ）、上記座標及び所定範囲について復元処理されていないものが存在するか否かを判断する（ステップＳ１５）。

より具体的には、後述する復元処理結果をフィードバックし、エリアスケジューリングテーブル部１６の座標及び所定範囲に対応付けて“０”（未処理）／“１”（処理済み）のフラグをセットする等により復元処理されていないものが存在するか否かを判断する。

復元処理されていないものが存在すると判断した場合、その座標及び所定範囲を読み出すとともに、全画角撮像モード／部分撮像モード切替制御部１３を制御して画像読み出し選択部１２に部分撮像モードを選択させ、撮像部２の全画角で撮像される画像からこの読み出された座標及び所定範囲を４０Ｋｆｐｓ（１フレーム当たり２５０μｓ）で読み出させる、所謂部分読み出し処理を開始する。

またこの部分読み出し処理が開始されることにより、領域判断部１７では順次出力される輝度変化を所定の輝度値を基準にした“１”、“０”のビットデータに順次復元処理する（ステップＳ１７）。

次いで、領域判断部１７は、ステップＳ１７にて復元処理されたビットデータについて、このビットデータが図２に図示するヘッダ部１０１のデータであるか否かを判断する（ステップＳ１８）。このステップＳ１８の判断については、詳細には特開２００７−２６４９０５号公報にて開示される技術を採用する。すなわち、複数フレームに渡って読み出された輝度変化に対応したビットデータと、ヘッダ部１０１に設定された擬似乱数パターンで拡散されたプリアンブルデータとの相関度評価を行ってその相関度を表す評価画像を順次算出・生成するとともに、この評価画像において高い輝度（＝高い相関）領域のピークをみつけることで情報光の輝度が存在する画素領域の中心及びデータペイロード部１０２の始まりを判断する。

ステップＳ１８での判断の結果、ヘッダ部１０１のデータであると判断した場合（ステップＳ１８でＹｅｓ）、その旨を情報復元部１８に通知し、情報復元部１８では、後続するデータペイロード部１０２に相当するフレーム数だけ上記の部分読み出し処理と復元処理とを行い（ステップＳ１９）、復元処理されたビットデータについてチェックする（ステップＳ２０）。このチェックにおいては、復元したビットデータにエラーが存在するか（すなわち、データ化け等により無意味な文字列にならないか否か）を判断する（ステップＳ２１）。

復元したビットデータにエラーが存在しないと判断した場合（ステップＳ２１でＮｏ）、この復元処理されたビットデータに基づく情報と、このビットデータの復元処理にあたり、部分読み出し処理を行った座標及び所定範囲とを対応付けて処理結果テーブル１９に書き込むとともに、エリアスケジューリングテーブル部１６における今回部分読み出し処理を行った座標及び所定範囲に対応付けて、“１”（処理済み）フラグをセットする（ステップＳ２２）。この後、部分読み出しエリア設定部１４に通知することにより、部分読み出しエリア設定部１４はステップＳ１５の処理を再度実行する。

一方、ステップＳ２１において、復元したビットデータにエラーが存在すると判断した場合（ステップＳ２１でＹｅｓ）、受信エラーである旨の情報とこのビットデータの復元処理にあたり部分読み出し処理を行った座標及び所定範囲とを対応付けて処理結果テーブル１９に書き込むとともに、エリアスケジューリングテーブル部１６における今回部分読み出し処理を行った座標及び所定範囲に対応付けて、“１”（処理済み）フラグをセットする（ステップＳ２３）。この後、部分読み出しエリア設定部１４に通知することにより、部分読み出しエリア設定部１４はステップＳ１５の処理を再度実行する。

なお、ステップＳ１８において、ヘッダ部１０１のデータではないと判断した場合（ステップＳ１８でＮｏ）、領域判断部１７はヘッダ部１０１をサーチするため、順次復元処理を継続し（ステップＳ２４）、復元されたビットデータにヘッダ部１０１のデータが有るか否かを判断する（ステップＳ２５）。

ステップＳ２５にて、ヘッダ部１０１の情報が有ると判断した場合には（ステップＳ２５でＹｅｓ）、ステップＳ１９の処理を行わせるべくその旨を情報復元部１８に通知する。一方、ヘッダ部１０１の情報が無いと判断した場合には（ステップＳ２５でＮｏ）、この部分読み出し処理された座標及び所定範囲は情報光による輝度がある画素領域ではない旨の情報とこのビットデータの復元処理にあたり部分読み出し処理を行った座標及び所定範囲とを対応付けて処理結果テーブル１９に書き込むとともに、エリアスケジューリングテーブル部１６における今回部分読み出し処理を行った座標及び所定範囲に対応付けて、“１”（処理済み）フラグをセットする（ステップＳ２３）。この後、部分読み出しエリア設定部１４に通知することにより、部分読み出しエリア設定部１４はステップＳ１５の処理を再度実行する。

また、ステップＳ１４において座標及び所定範囲が登録されていないと判断した場合（ステップＳ１４でＮｏ）、及び、ステップＳ１５において座標及び所定範囲について復元処理されていないものは存在しないと判断した場合には（ステップＳ１５でＮｏ）、ステップＳ１に移行し、全画角撮像モード／部分撮像モード切替制御部１３を制御して画像読み出し選択部１２に全画角撮像モードを選択させ、撮像部２の全画角で撮像される画像を順次取り込み、ライブビュー画像の更新処理を続行する。

なお、上記ステップＳ２５の処理においては、プリアンブルが７ビットとすると最大１２８＋７×２（２倍速での撮像動作）フレームでループ判定するものとするが、図２に図示したデータブロック１００、１００、１００…のフォーマットとしてのバイオレーションを別途監視することで明らかに輝度が変動していないと判断できる場合は、直ちにステップＳ２６の処理に移行するようにしてもよい。
例えば、バイナリベースバンドによる情報変調方式においては、直流成分を抑圧するために目的信号のデータ中において同一値を５ビット以上連続させないようにしている。したがって、１０フレーム連続して輝度変化が見られない場合は情報光でないと判断することができる。したがって最短で５×２＝１０フレームに渡って輝度に変化が無い場合は、ステップＳ２６の処理に移行する。

以上のとおりであるので、本実施形態によれば、以下の効果を得られる。
（１）撮像部２に備えられている撮像デバイスが高画素であっても、情報光の輝度が含まれると想定される画素領域を決定するまでの時間を短くすることができる。
（２）また、画素領域の候補を探索する上においては、上記条件１〜３で判定するので、非常に単純且つ高速な処理で、効率の良く候補を見つけることができる。

なお、前記実施形態は様々に変形し得ることはもちろんであり、以下のようにしてもよい。

たとえば、図６のフローチャートのステップＳ１１では、例えば夜景撮影等における多数の点光源が存在する画像を撮像した場合、対象領域が多数ピックアップされてしまい、ライブビュー画像の更新処理に影響が生じる可能性が高くなる。したがって、上記のようなケースでは、重畳表示すべき情報の数に制限を設け、この数に合わせるようにエリアスケジューリングテーブル部１６の登録数を制限するようすると良い。

また、エリアスケジューリングテーブル部１６の登録数を制限しない場合においては、対象領域の登録に際し先ずＹ座標のみを登録させ、ライブビュー画像の更新タイミングに同期させて、上記のＹ座標に基づいて部分読み出し処理を行わせるようにしても良い。

更に、対象領域が小さい場合や、移動している場合、もしくは、受信機側の動きのマージンを考慮し、二値化画像３１の画像に「ぼかしフィルタ」や「膨張処理」などの画像フィルタリング処理を行って、対象領域を広げるようにしてもよい。

また、エリアスケジューリングテーブル部１６には、座標及び所定範囲に対応付けてその座標及び所定範囲が未処理か処理済みかを記憶させるようにしたが、これに加え、上記ステップ２３において受信エラーである旨が書込まれたものについてはリトライ（再試行）を行うべき旨の情報を記憶させるようにしても良い。このようにすると、受信エラーにより重畳表示されない情報の数を少なくさせることができ、利便性を向上させることができる。

更に、ライブビュー画像に重畳表示させる際において、ステップＳ２６で情報光ではない旨が書き込まれたものついては、その旨も重畳するようにしてもよい。このようにすると、ユーザがライブビュー画像を見ながら情報光を探す際、明らかに情報光か一般照明かを認識させることができる。

なお、本実施の形態においては、本発明を撮像装置に適用した場合について述べたが、これに限ることなく、撮像デバイス備えた電子機器、また、撮像デバイスから撮像画像を得て画像処理を行うコンピュータや画像処理システムにおいても本発明を適用させることができる。

また、直接的に本発明の機能を搭載しなくても、汎用のプログラム言語を用いて本発明を機能させるようにしたプログラムをインストールすることにより本発明を実現した場合においても、適用可能なことは言うまでもないことである。

撮像装置の概念構成図である。 情報光によって送信されるデータのフォーマット図である。 ＣＰＵが実行する各機能を概念的に示した図である。 部分読み出しの概念図である。 候補領域決定部１５の動作説明図である。 本実施形態の全体動作フローを示す図である。 本実施形態の動作説明図である。

符号の説明

１ 撮像装置
２ 撮像部
１４ 部分読み出しエリア設定部
１５ 候補領域決定部
１８ 情報復元部

Claims (7)

1. 撮像手段と、
   この撮像手段が有する撮像領域のうち、部分的な領域を撮像するよう制御する第１の撮像制御手段と、
   前記部分的な領域よりも広い領域の画像を順次撮像するよう制御する第２の撮像制御手段と、
   前記第２の撮像制御手段によって順次撮像された一枚の画像がそれ以前のタイミングで撮像された一枚の画像から変化しているか否かを判断し、この判断結果に基づいて、今回撮像された一枚の画像から、所定範囲の輝度値を有する画素領域を特定する特定手段と、
   この特定手段によって前記画素領域が特定された後、この画素領域を前記部分的な領域として設定する設定手段と、
   前記第１の撮像制御手段を制御して前記設定手段によって設定された画素領域を時間的に連続して撮像させ、この撮像された画素領域の輝度変化からビットデータからなる情報に復元する復元手段と、
   を備えたことを特徴とする情報復元装置。
2. 前記特定手段は、更に特定の色を有する画素領域を特定することを特徴とする請求項１に記載の情報復元装置。
3. 前記特定手段は、特定の形状を有するか否かに基づいて画像領域を特定することを特徴とする請求項１又は２に記載の情報復元装置。
4. 前記特定手段は前記画素領域を複数特定するとともに、これら特定された画素領域を登録する登録手段と、
   前記復元手段は、前記登録手段によって登録された複数の画素領域のうちの一つに対応する画素領域からビットデータに復元することを特徴とする請求項１乃至３の何れかに記載の情報復元装置。
5. 前記復元手段によってビットデータが復元されたか否かを判断する判断手段と、
   この判断手段によりビットデータが復元されなかったとき、前記登録手段によって登録され、且つ、まだ復元していない画素領域からビットデータを復元するよう前記復元手段を制御する復元制御手段と、
   を更に備えることを特徴とする請求項４に記載の情報復元装置。
6. 撮像部が有する撮像領域のうち、部分的な領域を撮像するよう制御する第１の撮像制御ステップと、
   前記部分的な領域よりも広い領域の画像を順次撮像するよう制御する第２の撮像制御ステップと、
   前記第２の撮像制御ステップにて撮像された一枚の画像がそれ以前のタイミングで撮像された一枚の画像から変化しているか否かを判断し、この判断結果に基づいて、今回撮像された一枚の画像から、所定範囲の輝度値を有する画素領域を特定する特定ステップと、
   この特定ステップにて前記画素領域が特定された後、この画素領域を前記部分的な領域として設定する設定ステップと、
   この設定ステップにて設定された画素領域を前記第１の撮像制御ステップにて時間的に連続して撮像させ、この撮像された画素領域の輝度変化からビットデータからなる情報に復元する復元ステップと、
   からなることを特徴とする情報復元方法。
7. 撮像部を有する電子機器が備えるコンピュータを、
   前記撮像部が有する撮像領域のうち、部分的な領域を撮像するよう制御する第１の撮像制御手段、
   前記部分的な領域よりも広い領域の画像を順次撮像するよう制御する第２の撮像制御手段、
   前記第２の撮像制御手段によって撮像された一枚の画像がそれ以前のタイミングで撮像された一枚の画像から変化しているか否かを判断し、この判断結果に基づいて、今回撮像された一枚の画像から所定範囲の輝度値を有する画素領域を特定する特定手段、
   この特定手段によって前記画素領域が特定された後、この画素領域を前記部分的な領域として設定する設定手段、
   前記第１の撮像制御手段を制御して前記設定手段によって設定された画素領域を時間的に連続して撮像させ、この撮像された画素領域の輝度変化からビットデータからなる情報に復元する復元手段、
   として機能させることを特徴とするプログラム。

Images