JP4868217B2 - 撮像装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、撮像装置および方法、記録媒体、並びにプログラムに関し、特に、画像の解像度を劣化させることなく、画像と光信号を同時に取得することができるようにした撮像装置および方法、記録媒体、並びにプログラムに関する。

従来より、イメージセンサの撮像機能と、センサを構成する各画素による光通信機能を備えた２次元アレイ状のセンサが提案されており、また、この２次元アレイ状のセンサを用いた新たなアプリケーションも提案されている（特許文献１参照）。

図１を参照して、２次元アレイ状のセンサの原理について説明する。図１の例においては、２次元アレイ状のセンサ１１およびレンズ１２を備えたカメラ１と、LED(light-emitting diode)などの発信光源３−１および３−２をそれぞれ備えた被写体２−１および２−２が示されている。

センサ１１は、複数の受光画素（以下、単に画素とも称する）３１−ｎで構成されている。センサ１１の画素３１−ｎ（例えば、画素３１−１および画素３１−２）は、レンズ１２を介して、センサ１１の画角境界２１内に存在する被写体２−１および２−２の画像を取得するとともに、発信光源３−１および３−２の点滅パターン２２−１および２２−２によりコード化された通信情報を検出する。

すなわち、発信光源３−１および３−２においては、例えば、図２に示されるようなLEDの光源を４KHzで点滅させ、その点滅パターンに８bit程度のデータコードを乗せて、ある間隔をおいて連続的に発光させる。これに対して、センサ１１は、LEDの点滅の約３倍の１２KHz程度でフレーム操作を行い、センサ１１の各受光画素が点滅信号のサンプリング動作を行うことにより、画面上のどの位置で、どのような通信情報が発せられているのかを認識するのである。

このようなセンサ１１を構成するデバイスアーキテクチャは、本出願人が先に出願した特許文献２乃至４でも提案されている。例えば、特許文献２および３には、図３に示されるような構成のセンサが記載されている。

図３に示されるセンサ１１は、画素アレイ３１、Ｖ(Vertical)デコーダ３２、Ｈ(Horizontal)デコーダ３３、アナログメモリアレイ３４、メモリＶデコーダ３５、コンパレータ３６、およびメモリＨデコーダ３７により構成されている。

画素アレイ３１は、光を検出する複数の画素（ピクセル）３１−ｎ（図１の画素３１−１や３１−２に対応する）を行列方向に２次元マトリクス状に配置したものであり、各画素３１−ｎより送出される信号は、垂直方向に走る信号線（垂直信号線）３８により伝達される。Ｖデコーダ３２およびＨデコーダ３３は、画素アレイ３１の画素３１−ｎの走査（掃引）を制御する。

アナログメモリアレイ３４は、画素アレイ３１からの信号を、メモリセル３４−ｍ内に一時的に記憶する。メモリＶデコーダ３５およびメモリＨデコーダ３７は、アナログメモリアレイ３４のメモリセル３４−ｍの走査（掃引）を制御する。コンパレータ３６は、アナログメモリアレイ３４のメモリセル３４−ｍから取り出されたデータを比較する。

ここで、センサ１１は、画像を取得する画像取得モードと光通信を行う光通信モードの２つの操作モードを有している。

画像取得モードにおいては、画像アレイ３１に集光された光信号が画素３１−ｎ毎に電気信号に変換され、Ｖデコーダ３２による掃引操作により、画像信号が、センサ１１上のＨデコーダ３３より逐次出力される。

一方、光通信モードにおいては、同じ画素アレイ３１で受光された光信号は、電気信号に変換された後、下方のアナログメモリアレイ３４のメモリセル３４−ｍに書き込まれるとともに、コンパレータ３６により既にメモリセル３４−ｍに記憶されている前フレーム操作時の信号と大小が比較される。この比較操作により、光点滅の立ち上がりエッジまたは立ち下がりエッジが検出され、その検出結果（光信号検出結果とも称する）が、バイナリデータとして、メモリＨデコーダ３７より逐次出力される。

これらの画像取得モードと光通信モードは、センサ１１において、図４に示されるように１５乃至６０Hz程度のサイクルで切り替わる。なお、図４の例においては、ｔは時間の経過を表している。

すなわち、センサ１１は、画像取得モードにおいて、１サイクル（例えば1/30sec）の期間に、光による電荷の蓄積と画素アレイ３１の掃引操作を行い、画像信号を逐次出力する。一方、センサ１１は、光通信モードにおいて、１サイクルの期間に、１万乃至数十万fps（例えば１２kfps）の高速な画素アレイ３１の掃引操作を行い、バイナリデータを逐次出力する。

図１に戻って、さらに、このように構成されるセンサ１１を用いたアプリケーションの一例を説明する。

例えば、被写体２−２に関連する情報として、Webサイトのアドレス（例えば、URL(uniform resource locator)）などのデータが乗せられている点滅パターン２２−２を発信する発信光源３−２を備えた被写体２−２を、２次元アレイ状のセンサ１１を備えたカメラ１で撮像する。なお、カメラ１は、携帯端末や携帯電話機などで構成されることもできる。

カメラ１は、被写体２−２の画像を取得するとともに、発信光源３−２の点滅パターン２２−２によりコード化された通信情報を検出する。そして、カメラ１は、取得した被写体２−２の画像をモニタ４２（図５）に表示するとともに、モニタ４２に表示された画像５１上に、通信情報から得られるアドレスをアイコン５２として重ね合わせて表示する。

これにより、ユーザは、図５に示されるように、モニタ４２に表示されるアイコン５２を指示するだけで、カメラ１を被写体２−２に関連したWebサイトなどに接続することができる。

図５は、このアプリケーションを実現するカメラ１の構成例を示すブロック図である。

図５の例において、カメラ１は、図３の構成を有するセンサ１１、信号処理プロセッサ４１、およびモニタ４２により構成される。

信号処理プロセッサ４１は、画像取得モードにおいて、センサ１１からの画像信号を取り込み、A/D(Analog to Digital)変換後、画像生成のための処理を行い、光通信モードにおいて、光信号検出結果を取り込み、この信号のデコード処理を行う。

その後、信号処理プロセッサ４１は、これらの情報を組み合わせ、例えば、被写体２−２（発信光源３−２）が撮像された画像５１の上に、通信情報から得られ、被写体２−２に関連する情報を表すアイコン５２を重ね合わせてモニタ４２に表示させる処理を行う。

これにより、モニタ４２には、被写体２−２（発信光源３−２）の画像５１上に、被写体２−２に関連する情報を表すアイコン５２が重ね合わされて表示される。

以上のアプリケーションを実現するカメラ１は、１つのセンサが通常の画像取得と光通信の両機能を備えるため、通常のイメージセンサを備えるカメラと略同等なサイズ、コストで構成することが可能である。

国際公開第０３／０３６８２９号パンフレット 特開２００３−１６９２５１号公報 特開２００５−２７８０３８号公報 特開２００５−２９５３８１号公報

しかしながら、このカメラ１においては、画像と光信号を同じ画素アレイ３１で受光しているので、それぞれのモードを切り替える必要が生じ、画像と光信号の同時取得が困難であった。

なお、これに対して、特許文献４においては、センサの画素アレイ内で、画像を取得するための画素と、光通信のための画素を分けて、それぞれを独立に操作することが提案されているが、この方法では、同時取得は可能になっても、光通信用画素の分の画像情報が欠損するため、取得画像の解像度劣化を生じてしまっていた。

このため、取得した画像と通信情報を用いての処理を行おうとしても、解像度劣化した画像を用いなければならず、その後の処理の精度に影響していた。

また、一般にイメージセンサは、昨今の多画素化、小サイズ化のトレンド（流行）のために、画素サイズをより小さくしようとする傾向があるが、微小な画素では、高速なスキャン（掃引）動作が必要な光通信モードにおいて、十分な検出感度が得ることが困難であることから、多画素化、小サイズ化のイメージセンサを用いることができなかった。

本発明は、このような状況に鑑みてなされたものであり、画像の解像度を劣化させることなく、画像と光信号を同時に取得することができるようにするものである。

本発明の一側面の撮像装置は、被写体を撮像する撮像装置において、情報を符号化した光学信号を発信する発信光源を備えた被写体に対応する画像信号を入力するイメージセンサと、前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサと、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行う信号処理手段とを備える。

前記情報は、前記被写体に関する情報であることができる。

前記画像信号に対応する画像を表示する表示手段をさらに備え、前記信号処理手段は、前記光学信号を復号した情報に対応する画像を生成する画像生成手段と、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号に、前記画像生成手段により生成された前記画像の画像信号を重畳する処理を行う画像重畳手段とを備え、前記表示手段は、前記信号処理手段により重畳された画像信号に対応する画像を表示することができる。

前記信号処理手段は、前記イメージセンサにより入力された前記画像信号に対応する画像から、被写体を認識する画像認識手段と、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記画像認識手段により認識された被写体を、前記光学信号を復号した情報の発信元として設定する処理を行う発信元設定手段とを備えることができる。

前記イメージセンサの光学系を駆動する第１の光学系駆動手段と、前記光通信センサの光学系を駆動する第２の光学系駆動手段と、ユーザの操作に対応するズーム値に基づいて、前記イメージセンサの光学系と、前記光通信センサの光学系を連動させるように、前記第１および第２の光学系駆動手段を制御するズーム制御手段とをさらに備えることができる。

前記イメージセンサの光学系を駆動する光学系駆動手段と、ユーザの操作に対応するズーム値に基づいて、前記光学系駆動手段による光学系の駆動を制御するズーム制御手段とをさらに備え、前記信号処理手段は、ユーザの操作に対応するズーム値に基づく前記イメージセンサの画素に対応する前記光通信センサの対応画素を算出する対応画素算出手段を備え、前記対応画素算出手段により算出される前記光通信センサの対応画素に基づいて、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行うことができる。

前記信号処理手段は、前記イメージセンサにより入力された前記画像信号に対応する画像から、前記発信光源に対応する画素を検出する画素検出手段と、前記画素検出手段により検出された前記発信光源に対応する画素と、前記光学信号を受信した前記光通信センサの画素に基づいて、画素ずれの補正量を算出する補正量算出手段とを備え、前記補正量算出手段により算出される前記画素ずれの補正量に基づいて、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力される前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行うことができる。

本発明の一側面の画像処理方法は、被写体を撮像する撮像装置の画像処理方法において、情報を符号化した光学信号を発信する発信光源を備えた被写体に対応する画像信号を入力するイメージセンサを構成する画素と、前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行うステップを含む。

本発明の一側面のプログラムは、被写体を撮像する撮像装置に画像処理を行わせるプログラムであって、情報を符号化した光学信号を発信する発信光源を備えた被写体に対応する画像信号を入力するイメージセンサを構成する画素と、前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行うステップを含む。

本発明の一側面のプログラムが記録されている記録媒体は、被写体を撮像する撮像装置に画像処理を行わせるプログラムであって、情報を符号化した光学信号を発信する発信光源を備えた被写体に対応する画像信号を入力するイメージセンサを構成する画素と、前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行うステップを含む。

本発明の一側面においては、情報を符号化した光学信号を発信する発信光源を備えた被写体に対応する画像信号を入力するイメージセンサを構成する画素と、前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理が行われる。

本発明によれば、画像の解像度を劣化させることなく、容易に、光信号と、光信号を発信する光源の画像を同時に取得することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の撮像装置（例えば、図６の携帯電話機７１）は、被写体を撮像する撮像装置において、情報を符号化した光学信号を発信する発信光源（例えば、図６の発信光源３−１）を備えた被写体（例えば、図６の被写体２−１）に対応する画像信号を入力するイメージセンサ（例えば、図７のイメージセンサ１２２）と、前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサ（例えば、図７の光通信センサ１２１）と、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行う信号処理手段（例えば、図１１のアプリケーションプロセッサ２１３）とを備える。

前記画像信号に対応する画像を表示する表示手段（例えば、図６のモニタ８２）をさらに備え、前記信号処理手段は、前記光学信号を復号した情報に対応する画像を生成する画像生成手段（例えば、図１１の画像生成部２３２）と、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号に、前記画像生成手段により生成された前記画像の画像信号を重畳する処理を行う画像重畳手段（例えば、図１１の画像重畳部２３１）とを備え、前記表示手段は、前記信号処理手段により重畳された画像信号に対応する画像を表示することができる。

前記信号処理手段は、前記イメージセンサにより入力された前記画像信号に対応する画像から、被写体を認識する画像認識手段（例えば、図２２の画像認識部３４１）と、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記画像認識手段により認識された被写体を、前記光学信号を復号した情報の発信元として設定する処理を行う発信元設定手段（例えば、図２２の情報処理部３４２）とを備えることができる。

前記イメージセンサの光学系（例えば、図１４のレンズ１１２−２）を駆動する第１の光学系駆動手段（例えば、図１４のズーム駆動部２５１−２）と、前記光通信センサの光学系（例えば、図１４のレンズ１１２−１）を駆動する第２の光学系駆動手段（例えば、図１４のズーム駆動部２５１−１）と、ユーザの操作に対応するズーム値に基づいて、前記イメージセンサの光学系と、前記光通信センサの光学系を連動させるように、前記第１および第２の光学系駆動手段を制御するズーム制御手段（例えば、図１４のズーム制御信号出力部２６１）とをさらに備えることができる。

前記イメージセンサの光学系（例えば、図１６のレンズ１１２−２）を駆動する光学系駆動手段（例えば、図１６のズーム駆動部２５１−２）と、ユーザの操作に対応するズーム値に基づいて、前記光学系駆動手段による光学系の駆動を制御するズーム制御手段（例えば、図１６のズーム制御信号出力部２６１）とをさらに備え、前記信号処理手段は、ユーザの操作に対応するズーム値に基づく前記イメージセンサの画素に対応する前記光通信センサの対応画素を算出する対応画素算出手段（例えば、図１６の対応画素換算部３０１）を備え、前記対応画素算出手段により算出される前記光通信センサの対応画素に基づいて、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行うことができる。

前記信号処理手段は、前記イメージセンサにより入力された前記画像信号に対応する画像から、前記発信光源に対応する画素を検出する画素検出手段（例えば、図２０の画像認識部３３１）と、前記画素検出手段により検出された前記発信光源に対応する画素と、前記光学信号を受信した前記光通信センサの画素に基づいて、画素ずれの補正量を算出する補正量算出手段（例えば、図２０のずれ補正量算出部３３２）とを備え、前記補正量算出手段により算出される前記画素ずれの補正量に基づいて、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行うことができる。

本発明の一側面の画像処理方法またはプログラムは、被写体を撮像する撮像装置の画像処理方法またはプログラムにおいて、情報を符号化した光学信号を発信する発信光源を備えた被写体に対応する画像信号を入力するイメージセンサを構成する画素と、前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行う（例えば、図１３のステップＳ１４）ステップを含む。

以下、図を参照して、本発明の実施の形態について説明する。

図６は、本発明を適用した撮像装置としての携帯電話機の外観の構成を示す図である。なお、図６の例において、発信光源３−１および３−２をそれぞれ備えた被写体２−１および２−２に関しては、図１の例と同様であり、対応する部分には、対応する符号が付してあり、その詳細な説明は繰り返しになるので適宜省略する。

図６に示される携帯電話機７１は、カメラ部８１、モニタ８２、および操作入力部８３を有しており、LED(light-emitting diode)などの発信光源３−１および３−２をそれぞれ備えた被写体２−１および被写体２−２を、カメラ部８１で撮像することで、撮像により得られる画像信号と発信光源３−１または３−２からの通信情報を取得し、取得した画像信号に対応する画像９１上に、通信情報に基づく画像９２−１および９２−２を重畳して、モニタ８２に表示する。

なお、発信光源３−１により発信される点滅パターン２２−１は、被写体２−１に関連する情報である、Webサイトのアドレス（例えば、URL(uniform resource locator)）や被写体２−１を説明する文などが通信情報としてコード化されたものであり、発信光源３−２により発信される点滅パターン２２−２は、被写体２−２に関連する情報である、Webサイトのアドレス（例えば、URL(uniform resource locator)）や被写体２−２を説明する文などが通信情報としてコード化されたものである。

カメラ部８１は、図７に示されるように、光通信センサ１２１およびイメージセンサ１２２が配置されるカメラボード（基板）１１１と、それぞれの焦点合わせのために、光通信センサ１２１およびイメージセンサ１２２の前面に組み込まれるそれぞれの光学系（例えば、レンズ１１２−１および１１２−２）で構成されている。

光通信センサ１２１は、CMOS（Complementary Metal Oxide Semiconductor）などの撮像素子で構成される２次元アレイ状のセンサである。すなわち、CMOS撮像素子は、一般にCCD（Charge Coupled Device）撮像素子に比し、駆動速度が速いので、情報の送信側で発信光源を比較的高い周波数で駆動させても、その点滅パターンを読み取ることができることから、光通信センサ１２１は、CMOS撮像素子で構成されることが好ましい。

イメージセンサ１２２は、例えば、CCDやCMOSなどの撮像素子で構成される２次元アレイ状のセンサである。すなわち、光通信センサ１２１およびイメージセンサ１２２は、同じ撮像素子で構成される必要はない。

図７の例の光通信センサ１２１およびイメージセンサ１２２に示される縦および横の点線は、それぞれのセンサにおける縦（Ｖ(Vertical)方向）の中央位置および横（Ｈ(Horizontal)方向）の中央位置を示しており、光通信センサ１２１およびイメージセンサ１２２は、それらの交点（各センサの中心点、すなわち、図８の光軸Ｃ１またはＣ２が通過する点）間の距離（以下、センサ間距離と称する）ｄが数mm乃至数cmとなるように、同じカメラボード１１１上に配置されている。

光通信センサ１２１は、例えば、受光画素１２１−１および受光画素１２１−２に示されるように、複数の受光画素（以下、単に画素とも称する）で構成されている。光通信センサ１２１の受光画素１２１−１および画素１２１−２は、レンズ１１２−１を介して、光通信センサ１２１の画角境界１３１（一点鎖線）内に存在する被写体２−１および２−２が備える発信光源３−１および３−２の点滅パターン２２−１および２２−２によりコード化された通信情報を検出する。すなわち、光通信センサ１２１は、光通信モードの場合の図１のセンサ１１と基本的に同様の構成をしている。

具体的には、図２を参照して上述したように、情報の送信側は、発信光源３−１や３−２を４KHzで点滅させ、その点滅パターンに８bit程度のデータコードを乗せて、ある間隔をおいて連続的に発光させている。したがって、光通信センサ１２１は、発信光源３−１や３−２の点滅の約３倍の１２KHz程度でフレーム操作を行い、光通信センサ１２１の各画素が点滅信号のサンプリング動作を行うことにより、画面上のどの位置で、どのような通信情報が発せられているのかを検出する。

イメージセンサ１２２も、図示せぬ複数の画素で構成されており、イメージセンサ１２２の画素は、レンズ１１２−２を介して、イメージセンサ１２２の画角境界１３２（実線）内に存在し、発信光源３−１および３−２をそれぞれ備えた被写体２−１および２−２の画像に対応する画像信号を取得する。すなわち、イメージセンサ１２２は、画像取得モードの場合の図１のセンサ１１と基本的に同様の構成をしている。

図６に戻って、携帯電話機７１は、上部筐体と下部筐体が図示せぬヒンジにより折りたたみ可能に構成されている。

モニタ８２は、LCD（Liquid Crystal Display）などで構成され、携帯電話機７１の上部筐体の、携帯電話機７１が折りたたまれた場合に下部筐体と対面する側に設けられている。モニタ８２は、イメージセンサ１２２により取得された画像信号に対応する画像９１上に、光通信センサ１２１により受信された通信情報に基づく画像９２−１および９２−２が重畳された画面を表示する。

なお、図６の例の場合、モニタ８２には、画像９２−１として、被写体２−１の名前や説明文が記載される吹き出し型のアイコンが、発信光源３−１から吹き出しているように画像９１上に配置されて表示されており、画像９２−２として、被写体２−２の名前や説明文が記載される吹き出し型のアイコンが、発信光源３−２から吹き出しているように画像９１上に配置されて表示されている。

すなわち、ユーザが、携帯電話機７１を用いて、発信光源３−１および３−２をそれぞれ備えた被写体２−１および２−２を撮像するだけで、モニタ８２には、被写体２−１および２−２の名前や説明文が記載される吹き出し型のアイコンが表示されるので、ユーザは、被写体２−１および２−２のことを詳しく知ることができる。

そして、ユーザにより操作入力部８３を構成するボタンなどが操作され、モニタ８２に表示される画像９２−１または９２−２が選択されることに対応して、携帯電話機７１は、選択された画像９２−１（すなわち、被写体２−１）に関連するさらなる詳しい説明情報に対応する画像を、モニタ８２に表示したり、あるいは、選択された画像９２−１（すなわち、被写体２−１）に関連したWebサイトなどに接続することもできる。

操作入力部８３は、ボタンなどで構成され、例えば、携帯電話機７１の下部筐体の、携帯電話機７１が折りたたまれた場合に上部筐体に備えられたモニタ８２と対面する側に設けられている。

なお、以下、被写体２−１および２−２、発信光源３−１および３−２、並びに、点滅パターン２２−１および２２−２を個々に区別する必要がない場合、単に、被写体２、発信光源３、並びに、点滅パターン２２と適宜称する。

また、図６の例において、画像９２−１または９２−２を吹き出し型のアイコンとしたが、吹き出し型のアイコンに限定されず、他のアイコンでもよく、さらに、文字やURLそのものを表示させるようにしてもよい。

図８は、カメラ部８１における光通信センサ１２１およびイメージセンサ１２２の画角と光軸の関係を示す図である。

光通信センサ１２１およびイメージセンサ１２２は、センサ間距離ｄだけ離して、各センサの中心点を通過する光軸Ｃ１およびＣ２が平行になるようにカメラボード１１１に配置されている。また、カメラ部８１においては、光通信センサ１２１の画角α１と、イメージセンサ１２２の画角α２の大きさが縦と横（すなわち、センサ面のＶ方向とＨ方向）で同じになるように、カメラボード１１１から、それぞれのレンズ１１２−１および１１２−２のレンズ面Ｌ１およびＬ２までの距離（すなわち、焦点距離ｆ１およびｆ２）が調整されている。

すなわち、図８の例の場合、光通信センサ１２１の画角境界１３１による投影エリアと、イメージセンサ１２２の画角境界１３２による投影エリアの大きさが縦と横で同じになっている。

なお、図８の例においては、光通信センサ１２１およびイメージセンサ１２２をＨ方向に並べて配置した場合の例が示されており、画角α１およびα２は、光通信センサ１２１およびイメージセンサ１２２のＨ方向の画角を表している。

また、光通信センサ１２１およびイメージセンサ１２２は、同じサイズである必要はなく、図８の例においては、光通信センサ１２１よりもイメージセンサ１２２のサイズが大きい場合が示されている。すなわち、図８のカメラ部８１における焦点距離ｆ１およびｆ２は、光通信センサ１２１の画角α１と、イメージセンサ１２２の画角α２の大きさが縦と横で同じになるよう、ｆ１＜ｆ２に調整されている。

以上のようにカメラボード１１１に配置され、光学系が調整されている光通信センサ１２１およびイメージセンサ１２２において、被写体（発信光源）からの光を受光する画素について、図９を参照して説明する。なお、図９は、概念図であり、図９の例においては、説明の便宜上、センササイズなどの幾何学的な関係について、あまり正確に示されていない。

図９の例においては、センサ間距離ｄだけ離して配置された光通信センサ１２１およびイメージセンサ１２２のそれぞれの画角境界１３１および１３２内において、レンズ面Ｌ（いまの場合、Ｌ＝Ｌ１＝Ｌ２）からの距離が、近傍から遠方を仮定した距離Ｄ１乃至Ｄ３における各センサの投影エリアが示されている。

なお、各距離Ｄ１乃至Ｄ３の位置を示す点線の上は、各距離Ｄ１乃至Ｄ３における光通信センサ１２１の投影エリアを表し、点線の上に示す白丸囲み数字は、光通信センサ１２１の画角境界１３１内における画素の左端からの番号を表し、点線の上に示す垂直線は、光通信センサ１２１の画素投影境界を表している。すなわち、各距離Ｄ１乃至Ｄ３の位置を示す点線の上における２つの画素投影境界間は、光通信センサ１２１の、各距離Ｄ１乃至Ｄ３における白丸囲み数字が示す番号の画素の画素投影サイズを表している。

同様に、各距離Ｄ１乃至Ｄ３の位置を示す点線の下は、各距離Ｄ１乃至Ｄ３におけるイメージセンサ１２２の投影エリアを表し、点線の下に示す黒丸囲み数字は、イメージセンサ１２２の画角境界１３２内における画素の左端からの番号を表し、点線の下に示す垂直線は、イメージセンサ１２２の画素投影境界を表している。すなわち、各距離Ｄ１乃至Ｄ３の位置を示す点線の下における２つの画素投影境界間は、イメージセンサ１２２の、各距離Ｄ１乃至Ｄ３における黒丸囲み数字が示す番号の画素の投影サイズを表している。

すなわち、各距離Ｄ１乃至Ｄ３における投影エリアに存在する被写体の像は、各センサ上のその画素に結像されることを表している。

１画素の投影サイズは、センサの画素数（解像度）のみにより決定し、センサ上の画素そのもののサイズやセンサそのもののサイズには拠らない。なお、図９の例においては、光通信センサ１２１およびイメージセンサ１２２の画素数（解像度）が同じであり、それぞれの１画素の投影サイズも同じである場合が示されている。

この場合、イメージセンサ１２２を起点とする視線１６１上の被写体（発信光源）の受光画素を考察すると、近傍の距離Ｄ１においては、光通信センサ１２１およびイメージセンサ１２２の画角の位置のずれ（すなわち、センサ間距離ｄ）により、発信光源Ｐ１は、イメージセンサ１２２の画角境界１３２の左端から１番目の画素（黒丸囲み数字の１）で受光され、光通信センサ１２１の画角境界１３１の左端から２番目の画素（白丸囲み数字の２）で受光される。

また、距離Ｄ１より遠方の距離Ｄ２においては、発信光源Ｐ２は、イメージセンサ１２２の画角境界１３２の左端から１番目の画素（黒丸囲み数字の１）で受光され、光通信センサ１２１の画角境界１３１の左端から１および２番目の両画素（白丸囲み数字の１および２）で受光される。

さらに、距離Ｄ２より遠方の距離Ｄ３においては、イメージセンサ１２２の画角境界１３２の左端から１番目の画素（黒丸囲み数字の１）で受光され、光通信センサ１２１の画角境界１３１の左端から１番目の画素（白丸囲み数字の１）で受光される。すなわち、十分遠方においては、光通信センサ１２１およびイメージセンサ１２２の両センサともにそれぞれの画角境界から左から１番目の画素で発信光源を受光できるようになる。

以上より、イメージセンサ１２２で取得した画像信号と光通信センサ１２１で取得した通信情報を対応付けようとした場合、画素の投影サイズがセンサ間距離ｄとほぼ同等な距離（例えば、距離Ｄ１）においては画素位置のずれが生じることになるが、被写体がセンサ間距離ｄに比べ十分遠方に設置されている場合には、画素位置のずれは生じないことになる。

したがって、画素投影サイズ（すなわち、センサ間距離ｄ）が無視できる程度に遠方に位置する被写体に関しては、あたかも、１つのセンサで画像取得と光通信を実行しているかの如くみなすことが可能になる。

さらに、図１０を参照して具体的に説明する。

図１０の例においては、QVGA(Quarter Video Graphics Array)(すなわち、320×240画素)の解像度の光通信センサ１２１およびイメージセンサ１２２が、センサ間距離ｄ＝１０mmでカメラボード１１１に配置され、光通信センサ１２１およびイメージセンサ１２２のそれぞれの画角α１およびα２＝６０度として光学系が調整された場合の例が示されている。

この場合、イメージセンサ１２２を起点とする視線１６１上の被写体（発信光源）の受光画素を考察すると、レンズ面Ｌ（図９）からの距離Ｄ＝0.35mにおいて、発信光源Ｑ１は、イメージセンサ１２２の画角境界１３２の左端からＮ＝Ｋ番目の画素で受光され、光通信センサ１２１の画角境界１３１の左端からＮ＝Ｋ＋８番目の画素で受光される。したがって、距離Ｄ＝0.35mにおいて、光通信センサ１２１およびイメージセンサ１２２の受光画素には、QVGA８画素(pixel)分のずれが生じる。

レンズ面Ｌからの距離Ｄ＝0.7mにおいては、発信光源Ｑ２は、イメージセンサ１２２の画角境界１３２の左端からＮ＝Ｋ番目の画素で受光され、光通信センサ１２１の画角境界１３１の左端からＮ＝Ｋ＋４番目の画素で受光される。したがって、距離Ｄ＝0.35mにおいて、光通信センサ１２１およびイメージセンサ１２２の受光画素には、QVGA４画素(pixel)分のずれが生じる。

レンズ面Ｌからの距離Ｄ＝1.4mにおいては、発信光源Ｑ３は、イメージセンサ１２２の画角境界１３２の左端からＮ＝Ｋ番目の画素で受光され、光通信センサ１２１の画角境界１３１の左端からＮ＝Ｋ＋２番目の画素で受光される。したがって、距離Ｄ＝1.4mにおいては、光通信センサ１２１およびイメージセンサ１２２の受光画素には、QVGA２画素(pixel)分のずれが生じる。

レンズ面Ｌからの距離Ｄ＝2.8mにおいては、発信光源Ｑ４は、イメージセンサ１２２の画角境界１３２の左端からＮ＝Ｋ番目の画素で受光され、光通信センサ１２１の画角境界１３１の左端からＮ＝Ｋ＋１番目の画素で受光される。したがって、距離Ｄ＝2.8mにおいては、光通信センサ１２１およびイメージセンサ１２２の受光画素には、QVGA１画素(pixel)分のずれが生じる。

レンズ面Ｌからの距離Ｄ＝2.8mよりも無限遠方においては、発信光源Ｑ５は、イメージセンサ１２２の画角境界１３２の左端からＮ＝Ｋ番目の画素で受光され、光通信センサ１２１の画角境界１３１の左端からＮ＝Ｋ番目の画素で受光される。したがって、距離Ｄ＝2.8mよりも無限遠方においては、光通信センサ１２１およびイメージセンサ１２２の受光画素には、QVGA１画素(pixel)分のずれも生じない。

以上のように、距離Ｄ＝2.8m以上においては、生じる画素のずれは、QVGA１画素以下のずれとなり、光通信センサ１２１およびイメージセンサ１２２の画素は、略１対１に対応しているとみなすことができる。

これにより、光通信センサ１２１およびイメージセンサ１２２が別々に備えられる携帯電話機７１の場合、QVGAであれば、距離Ｄ＝2.8m以上においては、あたかも、１つのセンサで画像取得と光通信を実行しているかの如くみなすことが可能になる。

また、その上、画像解像度も劣化することがないので、例えば、図６を参照して上述したように、イメージセンサ１２２で取得した画像信号に対応する画像９１上に、光通信センサ１２１で取得した通信情報に基づく画像９２−１および９２−２を重畳してモニタ８２に表示したとしても、画像信号に対応する画像９１の位置と通信情報に基づく画像９２−１および９２−２の位置は、被写体の距離にもよるが、略正確に対応つけられる。

これにより、発信光源を備えた複数の被写体を撮像し、発信光源を備えた被写体の画像と通信情報に基づく画像を重畳して、携帯電話機７１のように、小さいモニタ８２に表示させたとしても、画像における発信光源の位置と、例えば、通信情報に基づく画像（被写体の名前や説明文が記載される吹き出し型のアイコンの吹き出し口）の位置が略一致するので、ユーザはモニタ８２を見ただけで、どのアイコンがどの発信光源（被写体）のものであるのかを間違いなく認識することができるようになる。

図１１は、図６の携帯電話機の内部構成例を示すブロック図である。

図１１の例においては、携帯電話機７１は、図６のカメラ部８１、モニタ８２、および操作入力部８３の他に、画像信号処理部２１１、デコード処理部２１２、およびアプリケーションプロセッサ２１３により構成されている。

なお、図１１のカメラ部８１においては、イメージセンサ１２２とレンズ１１２−２の間に、画質維持のための赤外線カットフィルタ２２１が配置されている。

画像信号処理部２１１およびデコード処理部２１２は、DSP(Digital Signal Processor)などで構成される。画像信号処理部２１１は、イメージセンサ１２２からの生の画像信号（画像RAW信号）に対して、通常のイメージセンサの信号処理と同様に、カラー信号処理、ガンマ補正、AWB（オートホワイトバランス）、自動露出補正などの処理を行う。なお、イメージセンサ１２２からの出力は、デジタルでもアナログでもよく、アナログ出力の場合には、画像信号処理部２１１内にA/D(Analog to Digital)変換部が内蔵される。

デコード処理部２１２は、光通信センサ１２１からの光点滅の検出有無を表すバイナリ信号（すなわち、光点滅検出信号）をデコードする処理を行う。図１２を参照して、具体的に説明する。

図１２は、発信光源３から発せられる光信号、すなわち、点滅パターンとして送出されるデータフレームの構造を模式的に示している。

１つのデータフレームは、８ビット(bit)のスタートビット、８乃至１２８ビット(bit)のアドレス、任意長の通信情報（データ）、１６ビット(bit)の誤り検出ビット、および８ビット(bit)のストップビットにより構成されている。

デコード処理部２１２は、信号の先頭を示すスタートビットを検出し、スタートビットが検出された画素について、以後、その後ろの信号を読み取っていくことで、バイナリ信号をデコードする。

アプリケーションプロセッサ２１３は、例えば、CPU（Central Processing Unit）、ROM(Read Only Memory)、およびRAM（Random Access Memory）等を含んで構成され、操作入力部８３を介して入力されるユーザの操作に対応する信号や、内蔵するメモリに記憶される各種のプログラムなどを実行することにより、携帯電話機７１の各部を制御する。

すなわち、アプリケーションプロセッサ２１３は、画像信号処理部２１１およびデコード処理部２１２に対して、同期信号（またはクロック信号）を供給している。

画像信号処理部２１１は、この同期信号から、イメージセンサ１２２を駆動させる駆動信号（タイミングパルス）を生成し、同期信号および駆動信号を、イメージセンサ１２２に供給しており、デコード処理部２１２は、同期信号から、光通信センサ１２１を駆動させる駆動信号（タイミングパルス）を生成し、同期信号および駆動信号を、光通信センサ１２１に供給している。

また、アプリケーションプロセッサ２１３には、画像信号処理部２１１からのリアルタイムの画像信号と、デコード処理部２１２からの、光信号を受信した画素の情報（以下、受信画素の情報と称する）と、デコードの結果得られた通信情報が入力される。アプリケーションプロセッサ２１３は、イメージセンサ１２２からの画像信号と光通信センサ１２１からの通信情報を対応付け、融合させることにより、さまざまな機能を実現する。

具体的には、図１１の例の場合、アプリケーションプロセッサ２１３は、所定のプログラムを実行することにより、内部に、画像重畳部２３１と画像生成部２３２を構成し、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を１対１に対応付けして、イメージセンサ１２２からの画像信号と光通信センサ１２１からの通信情報を用いて、イメージセンサ１２２からの画像信号に対応する画像に、光通信センサ１２１からの通信情報に基づく画像を重ね合わせ、重ね合わせた画像をモニタ８２に表示させる処理を行う。

画像生成部２３２は、デコードの結果得られた通信情報に基づいて、例えば、図６の被写体２−１の名前や説明文が記載される吹き出し型のアイコンである画像９２−１や、被写体２−２の名前や説明文が記載される吹き出し型のアイコンである画像９２−２を生成し、画像信号として画像重畳部２３１に出力する。なお、デコード処理部２１２からの受信画素の情報も、画像生成部２３２を介して画像重畳部２３１に供給される。

画像重畳部２３１は、デコード処理部２１２からの受信画素の情報に基づいて、画像信号処理部２１１からのリアルタイムの画像信号と、画像生成部２３２により生成された画像信号を重畳し、重畳した画像信号をモニタ８２に出力し、重畳した画像信号に対応する画像をモニタ８２に表示させる。

すなわち、画像重畳部２３１は、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を１対１に対応付けして、イメージセンサ１２２からの画像信号に対応する画像上における、光通信センサ１２１からの受信画素の情報が示す位置に、画像生成部２３２により生成された画像を重ね合わせて、モニタ８２に表示させる。

これにより、モニタ８２には、図６を参照して上述したように、画像９２−１として、被写体２−１の名前や説明文が記載される吹き出し型のアイコンが、発信光源３−１から吹き出しているように画像９１上に配置されて表示され、画像９２−２として、被写体２−２の名前や説明文が記載される吹き出し型のアイコンが、発信光源３−２から吹き出しているように画像９１上に配置されて表示される。

なお、以上においては、光通信センサ１２１およびイメージセンサ１２２は同一基板（カメラモード１１１）に配置された例を説明したが、同一基板上である必要はなく、２つの独立したカメラモジュールを近接して配置する構成も可能である。

また、両センサ（光通信センサ１２１およびイメージセンサ１２２）の画素数（解像度）が同じである場合を説明したが、必ずしも同じである必要はない。すなわち、イメージセンサ１２２を１００万画素以上のセンサで構成し、光通信センサ１２１をQVGA（７．７万画素）のように低解像度のセンサで構成するとして、組み合わせることもできる。

ただし、この場合、アプリケーションプロセッサ２１３におけるイメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素との対応付けは、２対１や３対１など両者の画素数に応じた比率で行われる。すなわち、アプリケーションプロセッサ２１３において、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素の対応付けは、１対１に限らず、イメージセンサ１２２を構成する画素群と光通信センサ１２１を構成する画素群とが１対１に対応つけられている。

次に、図１３のフローチャートを参照して、図１１のアプリケーションプロセッサ２１３による画像信号処理について説明する。なお、この画像信号処理は、ユーザにより、操作入力部８３を構成する、カメラ起動ボタンなどが操作されることに対応して開始される処理である。

アプリケーションプロセッサ２１３は、画像信号処理部２１１およびデコード処理部２１２に対して、同期信号（またはクロック信号）の供給を開始すると、画像信号処理部２１１は、その同期信号から、イメージセンサ１２２を駆動させる駆動信号（タイミングパルス）を生成し、同期信号および駆動信号をイメージセンサ１２２に供給し始める。

イメージセンサ１２２は、画像信号処理部２１１からの同期信号および駆動信号に基づいて、レンズ１１２−２を介して、イメージセンサ１２２の画角境界１３２内に存在する被写体２−１および２−２の画像に対応する画像信号を取得し、取得した画像信号を画像信号処理部２１１に出力し始める。

そこで、画像信号処理部２１１は、イメージセンサ１２２からの生の画像信号（画像RAW信号）に対して、通常のイメージセンサの信号処理と同様に、カラー信号処理、ガンマ補正、AWB（オートホワイトバランス）、自動露出補正などの処理を行う。

これに対応して、アプリケーションプロセッサ２１３の画像重畳部２３１は、ステップＳ１１において、画像信号処理部２１１より、信号処理された画像信号を取り込む。

一方、デコード処理部２１２は、アプリケーションプロセッサ２１３からの同期信号から、光通信センサ１２１を駆動させる駆動信号（タイミングパルス）を生成し、同期信号および駆動信号を、光通信センサ１２１に供給し始める。

光通信センサ１２１は、デコード処理部２１２からの同期信号および駆動信号に基づいて、レンズ１１２−１を介して、光通信センサ１２１の画角境界１３１内に存在する被写体２−１および２−２が備える発信光源３−１および３−２の点滅パターン２２−１および２２−２によりコード化された通信情報を検出し、その検出された情報（すなわち、光点滅の検出有無を表すバイナリ信号である、光点滅検出信号）を、デコード処理部２１２に出力し始める。

デコード処理部２１２は、光通信センサ１２１からの光点滅検出信号をデコードする処理を行う。すなわち、デコード処理部２１２は、光点滅検出信号の先頭を示すスタートビットを検出し、スタートビットが検出された画素について、以後、その後ろの信号を読み取っていくことで、バイナリ信号をデコードする。

これに対応して、アプリケーションプロセッサ２１３の画像生成部２３２は、ステップＳ１２において、デコード処理部２１２から、デコードの結果得られた通信情報を取得する。なお、このとき、画像生成部２３２は、光信号を受信した受信画素の情報も取得する。

画像生成部２３２は、ステップＳ１３において、デコード処理部２１２からの、デコードの結果得られた通信情報に基づいて、例えば、図６の被写体２−１の名前や説明文が記載される吹き出し型のアイコンである画像９２−１や、被写体２−２の名前や説明文が記載される吹き出し型のアイコンである画像９２−２を生成し、画像信号として画像重畳部２３１に出力する。なお、デコード処理部２１２からの信号を受信した画素の情報も、画像生成部２３２を介して画像重畳部２３１に出力される。

画像重畳部２３１は、ステップＳ１４において、デコード処理部２１２からの受信画素の情報に基づいて、画像信号処理部２１１からのリアルタイムの画像信号と、画像生成部２３２により生成されたアイコンの画像信号を重畳し、重畳した画像信号をモニタ８２に出力する。

モニタ８２は、ステップＳ１５において、画像重畳部２３１からの画像信号に対応する画像を表示する。

すなわち、画像重畳部２３１は、ステップＳ１４およびＳ１５において、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を１対１に対応付けして、イメージセンサ１２２からの画像信号に対応する画像上における、光通信センサ１２１からの受信画素の情報が示す位置に、画像生成部２３２により生成された画像を重ね合わせて、モニタ８２に表示させる。

これにより、モニタ８２には、図６を参照して上述したように、画像９２−１として、被写体２−１の名前や説明文が記載される吹き出し型のアイコンが、発信光源３−１から吹き出しているように画像９１上に配置されて表示され、画像９２−２として、被写体２−２の名前や説明文が記載される吹き出し型のアイコンが、発信光源３−２から吹き出しているように画像９１上に配置されて表示される。

以上のように、光通信用のセンサと、画像取得用のセンサを別々に構成し、各センサの画角を合わせ、所定の距離だけ離して並べて配置し、画像取得用のセンサであるイメージセンサ１２２を構成する画素と、光通信用のセンサである光通信センサ１２１を構成する画素を（図１３の場合、１対１に）対応付けて、信号処理（例えば、画像信号処理部２１１からのリアルタイムの画像信号と、画像生成部２３２により生成されたアイコンの画像信号との重畳処理）を行うようにした。

これにより、画像品質を低下させることなく、画像取得と光通信を同時に行うことができるとともに、イメージセンサ１２２からの画像信号に対応する画像上の被写体の（発信光源）位置と、光通信センサ１２１からの受信画素の情報が示す位置を、略一致させることもできる。

したがって、例えば、発信光源を備えた複数の被写体に対して画像取得と光通信を行った場合に、光通信により受信された情報と、画像上の発信光源との対応付けを略正確なものとすることができるので、その後の処理（例えば、上述した重畳表示処理）の精度を向上させることができる。

なお、一般にイメージセンサは、昨今の多画素化、小サイズ化のトレンド（流行）のために、画素サイズをより小さくしようとする傾向があるが、微小な画素では、従来の画像取得モードと光通信モードを有するカメラの場合、高速なスキャン（掃引）動作が必要な光通信モードにおいて、十分な検出感度が得ることが困難であった。さらに、通常のイメージセンサでは、画質維持のために赤外線カットフィルタが光学系に挿入されるが、それを、例えば、従来の画像取得モードと光通信モードを有するカメラに適用した場合、光通信の媒体として、赤外線を用いることができなくなっていた。

また、図５を参照して上述したように、従来の画像取得モードと光通信モードを有するカメラの構成によるアプリケーション展開を考えた場合、画像取得フォーマット（画素数、センサのサイズ）などの選択の余地が狭くなったり、CCDイメージセンサを用いることが困難であったり、通常のイメージセンサで用いられた画像処理ソフトウエアなどをそのまま流用することができなかった。

しかしながら、上述したように携帯電話機７１を構成することにより、画像取得用のセンサを、CCDやCMOSなどの光通信用のセンサに拠らず、一般のイメージセンサで用いられているものや小サイズのものなどを自由に選択構成することができるとともに、それにより、光通信センサが設計上、機能上、制約を受けることもない。

さらに、図１１を参照して上述したように、画質維持のための赤外線カットフィルタ２２１を、イメージセンサ１２２の光学系のみに挿入すればよいので、光通信センサ１２１では、赤外線の受信が可能になる。すなわち、画像維持とともに、光通信の通信媒体として、可視光のみでなく、赤外線も使用することが可能になる。

また、イメージセンサ１２２とその後段の画像信号処理部２１１は、汎用のイメージセンサ用のチップセットを流用可能であり、さらに、画像に特化した部分であれば、アプリケーションプロセッサ中のプログラム資産も、汎用のイメージセンサなどのものが流用可能である。

以上により、アプリケーション開発の効率化も可能となり、開発にかかるコストを低減することができる。

図１４は、図１１の携帯電話機の内部構成の他の例を示すブロック図である。なお、図１４の例において、カメラ部８１、モニタ８２、操作入力部８３、画像信号処理部２１１、デコード処理部２１２、およびアプリケーションプロセッサ２１３を備える点は、図１１の携帯電話機７１と共通しているが、ズーム駆動部２５１−１および２５１−２が追加された点が異なる。

また、図１４のアプリケーションプロセッサ２１３は、画像重畳部２３１および画像生成部２３２を備える点は、図１１のアプリケーションプロセッサ２１３と共通しているが、ズーム制御信号出力部２６１が追加された点が異なる。

すなわち、図１４の例の操作入力部８３は、ユーザの操作に対応して、例えば、カメラ部８１の光学ズームのズーム値をズーム制御信号出力部２６１に入力する。

ズーム制御信号出力部２６１は、操作入力部８３を介して入力されるズーム値を、イメージセンサ１２２の光学ズーム値として設定し、設定した光学ズーム値（の制御信号）を、ズーム駆動部２５１−２に供給する。

このとき、ズーム制御信号出力部２６１は、イメージセンサ１２２のレンズ１１２−２の駆動に連動させて、光通信センサ１２１のレンズ１１２−１も駆動するように、操作入力部８３を介して入力されるズーム値に基づいて、光通信センサ１２１の光学ズーム値を設定し、設定した光学ズーム値を、ズーム駆動部２５１−１に供給する。

ズーム駆動部２５１−１は、ズーム制御信号出力部２６１から供給される光通信センサ１２１の光学ズーム値に基づいて、光通信センサ１２１の光学系であるレンズ１１２−１の位置を駆動する。ズーム駆動部２５１−２は、ズーム制御信号出力部２６１から供給されるイメージセンサ１２２の光学ズーム値に基づいて、イメージセンサ１２２の光学系であるレンズ１１２−２の位置を駆動する。

これにより、イメージセンサ１２２からは、光学ズーム値に基づいて拡大された画像信号が入力されるとともに、光通信センサ１２１からは、光学ズーム値に基づいて受光領域が縮小された画素で受光された通信情報が入力される。

なお、図１４のアプリケーションプロセッサ２１３による画像処理は、図１３を参照して上述した図１１のアプリケーションプロセッサ２１３による画像処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略する。

また、図１４の例において、光通信センサ１２１の光学系とイメージセンサ１２２の光学系を駆動させるズーム駆動部を、ズーム駆動部２５１−１および２５１−２として分けて構成するようにしたが、１つで２つの光学系を駆動させるように構成することもできる。

次に、図１５を参照して、２倍の光学ズームが設定された場合の画素のずれについて説明する。

図１５の例においては、図１０を参照して上述したように、QVGAの解像度の光通信センサ１２１およびイメージセンサ１２２が、センサ間距離ｄ＝１０mmでカメラボード１１１に配置され、光通信センサ１２１およびイメージセンサ１２２のそれぞれの画角α１およびα２＝６０度として光学系が調整された状態において、さらに、２倍の光学ズームが設定された場合の例が示されている。

すなわち、２倍の光学ズームの設定により、光通信センサ１２１およびイメージセンサ１２２のそれぞれの画角α１およびα２＝３０度となり、光通信センサ１２１の画角境界１３１（一点鎖線）は、光通信センサ１２１の光軸Ｃ１までの距離ａが、その１／２の距離ａ／２となる画角境界２８１（太い一点鎖線）となり、イメージセンサ１２２の画角境界１３２（実線）は、イメージセンサ１２２の光軸Ｃ２までの距離ｂが、その１／２の距離ｂ／２となる画角境界２８２（太線）となっている。

この場合、レンズ面Ｌからの距離Ｄ＝0.35mにおいて、光通信センサ１２１およびイメージセンサ１２２の受光画素には、QVGA１６画素(pixel)分（すなわち、図１０の２倍分）のずれが生じる。レンズ面Ｌからの距離Ｄ＝0.7mにおいて、光通信センサ１２１およびイメージセンサ１２２の受光画素には、QVGA８画素(pixel)分（すなわち、図１０の２倍分）のずれが生じる。なお、図１５の例において、説明の便宜上、距離Ｄ＝0.35mおよび距離Ｄ＝0.7mの場合の詳細な図示は省略されている。

レンズ面Ｌからの距離Ｄ＝1.4mにおいては、イメージセンサ１２２の画角境界２８２の左端から１番目の画素が、光通信センサ１２１の画角境界２８１の左端から５番目の画素に対応している。すなわち、光通信センサ１２１およびイメージセンサ１２２の受光画素には、QVGA４画素(pixel)分（すなわち、図１０の２倍分）のずれが生じる。

レンズ面Ｌからの距離Ｄ＝2.8mにおいては、イメージセンサ１２２の画角境界２８２の左端から１番目の画素が、光通信センサ１２１の画角境界２８１の左端から３番目の画素に対応している。すなわち、光通信センサ１２１およびイメージセンサ１２２の受光画素には、QVGA２画素(pixel)分（すなわち、図１０の２倍分）のずれが生じる。

レンズ面Ｌからの距離Ｄ＝2.8mよりも無限遠方においては、イメージセンサ１２２の画角境界２８２の左端から１番目の画素が、光通信センサ１２１の画角境界２８１の左端から１番目の画素に対応している。したがって、距離Ｄ＝2.8mよりも無限遠方においては、光通信センサ１２１およびイメージセンサ１２２の受光画素には、QVGA１画素(pixel)分のずれも生じない。

以上のように、光通信センサ１２１とイメージセンサ１２２における同じ光源を受光する画素について、２倍の光学ズームを用いた場合、用いない場合よりも２倍の画素のずれが生じる。

このようなずれの許容量は、光通信センサ１２１により受信された通信情報とイメージセンサ１２２が撮像した画像信号を用いる信号処理用のアプリケーションにより異なるが、例えば、携帯電話機７１向けのアプリケーションにおいては、画素解像度があまり大きくなく、モニタ８２の画面などが小さいなどのことから、数画素分のずれは、許容範囲とされる。

以上のように、カメラ部８１に光学ズーム機能を備えた場合であっても、その光学ズームをイメージセンサ１２２と光通信センサ１２１で連動させることで、画角関係を維持することができるので、図１１の携帯電話機７１の場合と同様に、画像品質を低下させることなく、画像取得と光通信を同時に行うことができるとともに、イメージセンサ１２２からの画像信号に対応する画像上の被写体の（発信光源）位置と、光通信センサ１２１からの受信画素の情報が示す位置を、略一致させることもできる。

これにより、カメラ部８１に光学ズーム機能を備えた場合であっても、例えば、発信光源を備えた複数の被写体に対して画像取得と光通信を行った場合に、光通信により受信された情報と、画像上の発信光源との対応付けを略正確なものとすることができるので、その後の処理（例えば、上述した重畳表示処理）の精度を向上させることができる。

図１６は、図１４の携帯電話機の内部構成の他の例を示すブロック図である。なお、図１６の例において、カメラ部８１、モニタ８２、操作入力部８３、画像信号処理部２１１、デコード処理部２１２、アプリケーションプロセッサ２１３、およびズーム制御部２５１−２を備える点は、図１４の携帯電話機７１と共通しているが、ズーム制御部２５１−１が除かれた点が異なる。

また、図１６のアプリケーションプロセッサ２１３は、画像重畳部２３１、画像生成部２３２、およびズーム制御信号出力部２６１を備える点は、図１４のアプリケーションプロセッサ２１３と共通しているが、対応画素換算部３０１が追加された点が異なる。

すなわち、図１６の例の操作入力部８３は、ユーザの操作に対応して、例えば、カメラ部８１の光学ズームのズーム値をズーム制御信号出力部２６１および対応画素換算部３０１に入力する。

ズーム制御信号出力部２６１は、操作入力部８３を介して入力されるズーム値を、イメージセンサ１２２の光学ズーム値として設定し、設定した光学ズーム値を、ズーム駆動部２５１−２に供給する。

対応画素換算部３０１は、操作入力部８３を介して入力されるズーム値に基づいて、イメージセンサ１２２の画素（番号）に対応する光通信センサ１２１の画素（番号）を算出し、算出した対応画素の情報を、画像重畳部２３１に供給する。

画像重畳部２３１は、対応画素換算部３０１からの対応画素の情報と、デコード処理部２１２からの受信画素の情報に基づいて、画像信号処理部２１１からのリアルタイムの画像信号と、画像生成部２３２により生成された画像信号を重畳し、重畳した画像信号をモニタ８２に出力し、重畳した画像信号に対応する画像をモニタ８２に表示させる。

図１７は、上述した図８においてイメージセンサ１２２のみが２倍の光学ズームが設定された場合の例が示されている。

光通信センサ１２１およびイメージセンサ１２２は、図８の場合と同様に、センサ間距離ｄだけ離して、各センサの中心点を通過する光軸Ｃ１およびＣ２が平行になるようにカメラボード１１１に配置されている。また、カメラ部８１においては、イメージセンサ１２２に２倍光学ズームが設定されたことで、イメージセンサ１２２の画角α２は、光通信センサ１２１の画角α１の１／２となるように、カメラボード１１１から、それぞれのレンズ１１２−１および１１２−２のレンズ面Ｌ１およびＬ２までの距離（すなわち、焦点距離ｆ１およびｆ２）が調整されている。

すなわち、図１７の例の場合、イメージセンサ１２２の画角境界１３２による投影エリアが、光通信センサ１２１の画角境界１３１による投影エリアの１／２になっている。

そこで、対応画素換算部３０１は、光通信センサ１２１の受光エリアの中心から半分のエリアを、情報抽出エリアＥとし、この情報抽出エリアＥ内の画素を、イメージセンサ１２２の受光エリアの画素に対応させて、イメージセンサ１２２の画素に対応する光通信センサ１２１の画素番号を算出する。

すなわち、対応画素換算部３０１は、光通信センサ１２１の画角境界１３１を、擬似的に、光通信センサ１２１の光軸Ｃ１までの距離ａが、その１／２の距離ａ／２となる画角境界（以下、擬似画角境界とも称する）３１１（太い一点鎖線）として、画角境界１３２による投影エリアの画素を、擬似画角境界３１１による投影エリアの画素に対応させる。

図１８を参照して具体的に説明する。

図１８の例においては、図１０を参照して上述したように、QVGAの解像度の光通信センサ１２１およびイメージセンサ１２２が、センサ間距離ｄ＝１０mmでカメラボード１１１に配置され、光通信センサ１２１およびイメージセンサ１２２のそれぞれの画角α１およびα２＝６０度として光学系が調整された状態において、さらに、イメージセンサ１２２にだけ、２倍の光学ズームが設定された場合の例が示されている。

すなわち、イメージセンサ１２２の２倍の光学ズームの設定により、イメージセンサ１２２の画角α２＝３０度となり、イメージセンサ１２２の画角境界１３２は、イメージセンサ１２２の光軸Ｃ２までの距離が、α２＝６０度の場合（すなわち、光通信センサ１２１）の１／２となっており、イメージセンサ１２２の画素投影サイズは、光通信センサ１２１の画素投影サイズの１／２となっている。

したがって、対応画素換算部３０１は、光通信センサ１２１の画角境界１３１を、擬似的に、光通信センサ１２１の光軸Ｃ１までの距離ａが、その１／２の距離ａ／２となる擬似画角境界３１１として、イメージセンサ１２２の画角境界１３２による投影エリアの２画素（画角境界１３２の左端から１乃至３２０番目の２画素ずつ）を、擬似画角境界３１１による投影エリアの１画素（画角境界１３１の左端から８１乃至２４０番目の１画素ずつ）に対応させる。

この場合、レンズ面Ｌからの距離Ｄ＝1.4mにおいては、イメージセンサ１２２の画角境界１３２の左端から１および２番目の画素（黒丸囲み数字の１および２）が、光通信センサ１２１の画角境界１３１の左端から８３番目の画素（白丸囲み数字の８３）に対応している。この画素は、光通信センサ１２１の擬似画角境界３１１の左端から３番目の画素である。したがって、光通信センサ１２１およびイメージセンサ１２２の受光画素には、図１５の例の場合同様に、イメージセンサ１２２の２倍ズーム時におけるQVGA４画素(pixel)分のずれが生じている。

レンズ面Ｌからの距離Ｄ＝2.8mにおいては、イメージセンサ１２２の画角境界１３２の左端から１乃至４番目の画素（黒丸囲み数字の１乃至４）が、光通信センサ１２１の画角境界１３１の左端から８２および８３番目の画素（白丸囲み数字の８２および８３）に対応している。これらの画素は、光通信センサ１２１の擬似画角境界３１１の左端から２および３番目の画素である。したがって、光通信センサ１２１およびイメージセンサ１２２の受光画素には、図１５の例の場合同様に、イメージセンサ１２２の２倍ズーム時におけるQVGA２画素(pixel)分のずれが生じている。

レンズ面Ｌからの距離Ｄ＝2.8mよりも無限遠方においては、イメージセンサ１２２の画角境界１３２の左端から１乃至４番目の画素（黒丸囲み数字の１乃至４）が、光通信センサ１２１の画角境界１３１の左端から８１乃至８２番目の画素（白丸囲み数字の８１および８２）に対応している。これらの画素は、光通信センサ１２１の擬似画角境界３１１の左端から１および２番目の画素である。したがって、距離Ｄ＝2.8mよりも無限遠方においては、光通信センサ１２１およびイメージセンサ１２２の受光画素には、イメージセンサ１２２の２倍ズーム時におけるQVGA１画素(pixel)分のずれも生じない。

なお、図１６のアプリケーションプロセッサ２１３においては、イメージセンサ１２２の画素と光通信センサ１２１の画素が２対１に対応つけられている。すなわち、ズームを行う場合には、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素との対応付けは、ズームの倍率に応じた比率で行われる。

以上のように、対応画素換算部３０１により、ズーム値（図１８の例の場合、２倍）に基づいて、擬似画角境界３１１による投影エリアの画素（画角境界１３１の左端から８１乃至２４０番目の画素）を、画角境界２８２による投影エリアの画素（画角境界２８２の左端から１乃至３２０番目の画素）に対応させるようにしたので、カメラ部８１の光学ズーム機能を用いる際に、光通信センサ１２１とイメージセンサ１２２の光学ズームを連動させなくても、光通信センサ１２１とイメージセンサ１２２の光学ズームを連動させる場合と同様の効果を得ることができる。

すなわち、カメラ部８１に光学ズーム機能を備えた場合であっても、その光学ズームをイメージセンサ１２２と光通信センサ１２１で連動させることなく、イメージセンサ１２２の光学ズームの値さえわかれば、その光学ズームの値に基づいて、画素のずれを算出することで、画角関係を維持することができるので、図１１の携帯電話機７１の場合と同様に、画像品質を低下させることなく、画像取得と光通信を同時に行うことができるとともに、イメージセンサ１２２からの画像信号に対応する画像上の被写体の（発信光源）位置と、光通信センサ１２１からの受信画素の情報が示す位置を、略一致させることもできる。

次に、図１９のフローチャートを参照して、図１６のアプリケーションプロセッサ２１３による画像信号処理について説明する。なお、図１９のステップＳ３３乃至Ｓ３５およびステップＳ３７は、図１３のステップＳ１１乃至Ｓ１３およびステップＳ１５と基本的に同じ処理であり、繰り返しになるので、その詳細な説明は適宜省略する。

例えば、ユーザは、図１３のステップＳ１５においてモニタ８２に表示される画像を拡大して表示させるため、操作入力部８３を構成するズームボタンなどを操作する。操作入力部８３は、ユーザの操作に対応して、ユーザ所望のズーム値をズーム制御信号出力部２６１および対応画素換算部３０１に入力する。

ズーム制御信号出力部２６１は、ステップＳ３１において、操作入力部８３から入力されるズーム値を、イメージセンサ１２２の光学ズーム値として設定し、設定した光学ズーム値を、ズーム駆動部２５１−２に供給する。

これに対応して、ズーム駆動部２５１−２は、ズーム制御信号出力部２６１から供給されるイメージセンサ１２２の光学ズーム値に基づいて、イメージセンサ１２２の光学系であるレンズ１１２−２の位置を駆動する。

対応画素換算部３０１は、ステップＳ３２において、操作入力部８３から入力されるズーム値に基づいて、イメージセンサ１２２の画素に対応する光通信センサ１２１の画素を算出し、算出した対応画素の情報を、画像重畳部２３１に供給する。

一方、イメージセンサ１２２は、画像信号処理部２１１からの同期信号および駆動信号に基づいて、ズーム駆動部２５１により光学ズーム値に基づき位置が駆動されたレンズ１１２−２を介して、イメージセンサ１２２の画角境界１３２内に存在する被写体２−１および２−２の画像に対応する画像信号を取得し、取得した画像信号を画像信号処理部２１１に出力している。

画像信号処理部２１１は、イメージセンサ１２２からの生の画像信号に対して、通常のイメージセンサの信号処理と同様に、カラー信号処理、ガンマ補正、AWB、自動露出補正などの処理を行っている。

これに対応して、アプリケーションプロセッサ２１３の画像重畳部２３１は、ステップＳ３３において、画像信号処理部２１１より、信号処理された画像信号を取り込む。

また、光通信センサ１２１は、デコード処理部２１２からの同期信号および駆動信号に基づいて、レンズ１１２−１を介して、光通信センサ１２１の画角境界１３１内に存在する被写体２−１および２−２が備える発信光源３−１および３−２の点滅パターン２２−１および２２−２によりコード化された通信情報を検出し、その光点滅検出信号を、デコード処理部２１２に出力している。

デコード処理部２１２は、光通信センサ１２１からの光点滅の検出有無を表すバイナリ信号（すなわち、光点滅検出信号）をデコードしている。

これに対応して、アプリケーションプロセッサ２１３の画像生成部２３２は、ステップＳ３４において、デコード処理部２１２から、デコードの結果得られた通信情報を取得する。なお、このとき、画像生成部２３２は、光信号を受信した受信画素の情報も取得する。

画像生成部２３２は、ステップＳ３５において、デコード処理部２１２からの、デコードの結果得られた通信情報に基づいて、例えば、アイコンなどの画像を生成し、画像信号として画像重畳部２３１に出力する。なお、デコード処理部２１２からの受信画素の情報も、画像生成部２３２を介して画像重畳部２３１に出力される。

画像重畳部２３１は、ステップＳ３６において、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を２対１に対応付けして、対応画素換算部３０１により算出された対応画素の情報と、デコード処理部２１２からの画素の情報に基づいて、画像信号処理部２１１からのリアルタイムの画像信号と、画像生成部２３２により生成されたアイコンの画像信号を重畳し、重畳した画像信号をモニタ８２に出力する。

モニタ８２は、ステップＳ３７において、画像重畳部２３１からの画像信号に対応する画像を表示する。

以上のように、カメラ部８１に光学ズーム機能を備えた場合であっても、その光学ズームをイメージセンサ１２２と光通信センサ１２１で連動させたり、あるいは、イメージセンサ１２２の光学ズームに基づく、光通信センサ１２１の画素を、イメージセンサ１２２の画素に対応させることで、画角関係が維持されるので、図１１の携帯電話機７１の場合と同様に、画像品質を低下させることなく、画像取得と光通信を同時に行うことができる。

なお、上記説明においては、発信光源を２つのセンサ（イメージセンサ１２２と光通信センサ１２１）からある程度遠方に配置させることで、２つのセンサの画素ずれを無視できる場合に効果的な例を説明したが、これは、携帯電話機７１のイメージセンサ１２２とモニタ８２の解像度があまり高くない場合が多いことや、ユーザから離れた位置の発信光源を撮像する場合が多いことを想定したためである。

したがって、発信光源が２つのセンサの近傍に配置された場合、あるいは、イメージセンサ１２２とモニタ８２の解像度が高く、２つのセンサの画素ずれが目立つような場合には、２つのセンサの画素ずれを補正する必要がある。

図２０は、２つのセンサの画素ずれを補正する場合の図１１の携帯電話機の内部構成例を示している。なお、図２０の例において、カメラ部８１、モニタ８２、操作入力部８３、画像信号処理部２１１、デコード処理部２１２、およびアプリケーションプロセッサ２１３を備える点は、図１１の携帯電話機７１と共通している。

また、図２０のアプリケーションプロセッサ２１３は、画像重畳部２３１および画像生成部２３２を備える点は、図１１のアプリケーションプロセッサ２１３と共通しているが、画像認識部３３１およびずれ補正量算出部３３２が追加された点が異なる。

画像認識部３３１は、画像信号処理部２１１から信号処理後の画像信号を取り込み、画像認識を行うことで、発信光源の位置（結像する画素）を算出し、算出した発信光源の位置をずれ補正算出部３３２に供給する。具体的には、発信光源の像は、その周辺の像に対してピーク上に光の輝度値が高くなるので、画像認識部３３１は、隣接する画素の輝度信号に対して特異的に信号強度が高くなる画素を、差分演算処理により抽出して、発信光源の位置を算出する。

ずれ補正算出部３３２は、デコード処理部２１２から、光信号を受信した受信画素の情報（すなわち、発信光源を結像した画素）を取得し、画像認識部３３１からの発信光源の位置と比較し、比較することで求められたそれらの画素ずれの補正量を算出し、算出した画素ずれの補正量を画像重畳部２３１に供給する。

なお、発信光源が画角中に複数存在する場合、ずれ補正算出部３３２は、光通信センサ１２１による複数の発信光源の位置とイメージセンサ１２２による複数の発信光源の位置のうち、最も近いもの同士を対応する発信光源とみなして、画素ずれの補正量を算出する。

画像重畳部２３１は、デコード処理部２１２からの受信画素の情報と、ずれ補正算出部３３２からの画素ずれ補正量に基づいて、画像信号処理部２１１からのリアルタイムの画像信号と、画像生成部２３２により生成された画像信号を重畳し、重畳した画像信号をモニタ８２に出力し、重畳した画像信号に対応する画像をモニタ８２に表示させる。

次に、図２１のフローチャートを参照して、図２０のアプリケーションプロセッサ２１３による画像信号処理について説明する。なお、図２１のステップＳ５１，Ｓ５２，Ｓ５５，およびＳ５７は、図１３のステップＳ１１乃至Ｓ１３，およびＳ１５と基本的に同じ処理であり、繰り返しになるので、その詳細な説明は適宜省略する。

イメージセンサ１２２は、画像信号処理部２１１からの同期信号および駆動信号に基づいて、レンズ１１２−２を介して、イメージセンサ１２２の画角境界１３２内に存在する被写体２−１および２−２の画像に対応する画像信号を取得し、取得した画像信号を画像信号処理部２１１に出力しており、画像信号処理部２１１は、イメージセンサ１２２からの生の画像信号に対して、通常のイメージセンサの信号処理と同様に、カラー信号処理、ガンマ補正、AWB、自動露出補正などの処理を行っている。

これに対応して、アプリケーションプロセッサ２１３の画像重畳部２３１および画像認識部３３１は、ステップＳ５１において、画像信号処理部２１１より、信号処理された画像信号を取り込む。

一方、光通信センサ１２１は、デコード処理部２１２からの同期信号および駆動信号に基づいて、レンズ１１２−１を介して、光通信センサ１２１の画角境界１３１内に存在する被写体２−１および２−２が備える発信光源３−１および３−２の点滅パターン２２−１および２２−２によりコード化された通信情報を検出し、その光点滅検出信号を、デコード処理部２１２に出力しており、デコード処理部２１２は、光通信センサ１２１からの光点滅の検出有無を表す光点滅検出信号をデコードしている。

これに対応して、アプリケーションプロセッサ２１３の画像生成部２３２は、ステップＳ５２において、デコード処理部２１２から、デコードの結果得られた通信情報を取得する。なお、このとき、画像生成部２３２およびずれ補正算出部３３２は、光信号を受信した受信画素の情報を取得する。

画像認識部３３１は、ステップＳ５３において、画像信号処理部２１１からの画像信号を用いて、画像認識を行うことで、発信光源の位置（結像する画素）を算出し、算出した発信光源の位置をずれ補正算出部３３２に供給する。

ずれ補正算出部３３２は、ステップＳ５４において、デコード処理部２１２からの、光信号を受信した受信画素（すなわち、発信光源を結像した画素）と、画像認識部３３１からの発信光源の位置と比較し、比較することで求められたそれらの画素ずれの補正量を算出し、算出した画素ずれの補正量を画像重畳部２３１に供給する。

画像生成部２３２は、ステップＳ５５において、デコード処理部２１２からの、デコードの結果得られた通信情報に基づいて、例えば、アイコンの画像を生成し、画像信号として画像重畳部２３１に出力する。なお、デコード処理部２１２からの信号を受信した受信画素の情報も、画像生成部２３２を介して画像重畳部２３１に供給される。

画像重畳部２３１は、ステップＳ５６において、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を１対１に対応付けして、デコード処理部２１２からの画素の情報と、ずれ補正算出部３３２からの画素ずれ補正量に基づいて、画像信号処理部２１１からのリアルタイムの画像信号と、画像生成部２３２により生成されたアイコンの画像信号を重畳し、重畳した画像信号をモニタ８２に出力する。

モニタ８２は、ステップＳ５７において、画像重畳部２３１からの画像信号に対応する画像を表示する。

以上のように、発信光源（被写体）が２つのセンサの近傍に配置されている場合、あるいは、イメージセンサ１２２とモニタ８２の解像度が高く、２つのセンサの画素ずれが目立つような場合であっても、２つのセンサの画素ずれを補正するようにしたので、イメージセンサ１２２で取得した画像信号と、光通信センサ１２１で取得した通信情報の対応付けがより正確なものとなる。

したがって、画像品質を低下させることなく、画像取得と光通信を同時に行うことができるとともに、イメージセンサ１２２からの画像信号に対応する画像上の被写体の（発信光源）位置と、光通信センサ１２１からの受信画素の情報が示す位置を、被写体の距離に拠らず、略一致させることもできる。

これにより、例えば、発信光源を備えた複数の被写体に対して画像取得と光通信を行った場合に、光通信により受信された情報と、画像上の発信光源との対応付けを、被写体の距離に拠らず略正確なものとすることができるので、その後の処理（例えば、上述した重畳表示処理）の精度を向上させることができる。

なお、図２０および図２１の説明においては、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を１対１に対応付けする場合を説明したが、上述したように、このずれ補正は、画素数や倍率に応じた比率で対応付けする場合にも適用できる。

ここで、上記説明においては、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を対応付けして、光通信により受信された情報と、撮像された画像信号を用いた処理を行う例として、撮像された画像上に、光通信により受信された情報に基づくアイコン画像を表示させる例を説明したが、光通信により受信された情報と、撮像された画像信号を用いた処理であれば、上述した例に限らない。

例えば、発信光源を携帯した人物を撮像する場合に、光通信により受信された情報と、撮像された画像上の発信光源との対応付けを行うことで、光通信により受信された情報が、どの人物が発信したものであるかを通知させることも可能である。

図２２は、図１１のアプリケーションプロセッサの構成の他の例を示している。なお、図２０の例において、カメラ部８１、モニタ８２、操作入力部８３、画像信号処理部２１１、デコード処理部２１２、およびアプリケーションプロセッサ２１３を備える点は、図１１の携帯電話機７１と共通しているが、図２２のアプリケーションプロセッサ２１３の構成のみ異なる。

すなわち、図２２のアプリケーションプロセッサ２１３は、画像認識部３４１および情報処理部３４２により構成され、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を、例えば、１対１に対応付けして、イメージセンサ１２２からの画像信号と光通信センサ１２１からの通信情報を用いて、イメージセンサ１２２からの画像信号から、発信光源を携帯した人物を特定し、特定した人物の情報と、光通信センサ１２１からの通信情報を対応付ける処理を行う。

例えば、イメージセンサ１２２と光通信センサ１２１の画角境界内には、発信光源を携帯した複数の人物がおり、ユーザは、画角境界内に存在する発信光源を携帯した複数の人物をカメラ部８１で撮像している。

画像認識部３４１は、図２０の画像認識部３３１と同様に、画像信号処理部２１１から信号処理後の画像信号を取り込み、画像認識を行うことで、発信光源の位置（結像する画素）を算出する。さらに、画像認識部３４１は、画像認識により、発信光源を携帯した人物を特定し、特定した人物の情報（例えば、名前など）と、算出した発信光源の位置を情報処理部３４２に供給する。

情報処理部３４２は、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を１対１に対応付けして、デコード処理部２１２からの受信画素と、画像認識部３４１からの算出した発信光源の位置に基づいて、特定した人物の情報と、光通信センサ１２１からの通信情報を対応させ、例えば、通信情報とその通信情報を発信した発信元というような対応関係を、モニタ８２を介して通知する。

これにより、ユーザは、どの通信情報をだれが送信したのかを把握することができる。

以上のように、アプリケーションプロセッサ２１３を構成することにより、発信光源を携帯している複数の人物（例えば、３人）を撮像した場合に、イメージセンサ１２２により得られた画像信号を用いて、画像認識を行い、３人の人物を特定し、特定した３人の人物に、光通信センサ１２１により得られた通信情報を対応させ、どの人物がどの通信情報を発信したかを、ユーザに正確に通知することもできる。

また、本発明は、カメラ部８１の組み立て後に、光通信センサ１２１とイメージセンサ１２２の位置関係を検査する場合に適用することも可能である。

図２３は、カメラ部８１の組み立て後に、光通信センサ１２１とイメージセンサ１２２の位置関係を検査する検査装置２５１の構成例を示す図である。なお、この場合、位置合せ用の光源として特定の情報でコード化された点滅パターンが発信される発信光源が用いられる。

検査装置２５１は、検査対象の組み立て後のカメラ部８１が着脱可能に構成されており、図２３の例においては、検査装置２５１には、図１１のカメラ部８１が装着されている。

検査装置２５１は、画像信号処理部３６１、デコード処理部３６２、アプリケーションプロセッサ３６３、操作入力部３６４、およびモニタ３６５により構成されている。

画像信号処理部３６１は、図１１の画像信号処理部２１１と同様に構成されており、装着されたカメラ部８１のイメージセンサ１２２からの生の画像信号に対して、カラー信号処理、ガンマ補正、AWB、自動露出補正などの処理を行う。

デコード処理部３６２は、図１１のデコード処理部２１２と同様に構成されており、装着されたカメラ部８１の光通信センサ１２１からの光点滅の検出有無を表すバイナリ信号（すなわち、光点滅検出信号）をデコードする処理を行う。

アプリケーションプロセッサ３６３は、図１１のアプリケーションプロセッサ２１３と同様に構成されており、例えば、CPU、ROM、およびRAM等を含んで構成され、操作部３６４を介して入力されるユーザの操作に対応する信号や、内蔵するメモリに記憶される各種のプログラムなどを実行することにより、検査装置３５１の各部を制御する。

すなわち、アプリケーションプロセッサ２１３は、画像信号処理部３６１およびデコード処理部３６２に対して、同期信号を供給するとともに、所定のプログラムを実行することにより、内部に、受光画素検出部３７１、画素情報取得部３７２、および不良品判定部３７３を構成し、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を、光通信センサ１２１およびイメージセンサ１２２画素数や倍率に応じた比率で（いまの場合、１対１）に対応付けして、イメージセンサ１２２からの画像信号と光通信センサ１２１からの通信情報を用いて、装着されるカメラ部８１の検査を行い、その結果をモニタ３６５に表示させる処理を行う。

受光画素検出部３７１は、図２０の画像認識部３３１と同様に、画像信号処理部３６１から信号処理後の画像信号を取り込み、画像認識を行うことで、発信光源の位置（結像する受光画素）を算出し、算出した受光画素の情報を、不良品判定部３７３に供給する。

通信情報取得部３７２は、デコード処理部３６２から通信情報と光信号を受信した画素の情報を取得し、取得した通信情報および画素（受信画素）の情報を、不良品判定部３７３に供給する。

不良品判定部３７３には、操作入力部３６４を介して、カメラ部８１の設定情報（各センサの解像度や画角、センサ間距離ｄなど）、発信光源が設置された位置（距離）とその発信光源が発信する通信情報などが記憶されており、また、これらの情報から、発信光源が設置された距離における２つのセンサ（良品）の画素のずれ量も算出されて記憶されている。

不良品判定部３７３は、画素情報取得部３７２からの通信情報に対応する発信光源が設置された距離における２つのセンサ（良品）の画素のずれ量を読み出す。また、不良品判定部３７３は、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を１対１に対応付けして、受光画素検出部３７１からの受光画素と画素情報取得部３７２からの受信画素を用いて、それらの画素の位置関係（ずれ量）を算出する。

そして、不良品判定部３７３は、算出した画素のずれ量が、良品の画素のずれ量と一致するか否かを判定し、一致しない場合には、このカメラ部８１が不良品であるとし、その判定結果を、モニタ３６５に表示させ、製造者に通知する。

操作入力部３６４は、キーボードやマウスなどにより構成され、製造者の操作に対応する操作信号を、アプリケーションプロセッサ２１３に入力する。モニタ３６５は、LCDなどにより構成され、アプリケーションプロセッサ２１３からの画像信号に対応する画像などを表示する。

図２４は、光通信センサ１２１とイメージセンサ１２２における受光画素を示している。なお、図２４の例において、図９の例の場合と対応する部分には対応する符号が付してあり、その説明は繰り返しになるので適宜省略する。

図２４の例においては、センサ間距離ｄだけ離して配置された光通信センサ１２１およびイメージセンサ１２２のそれぞれの画角境界１３１および１３２内において、レンズ面Ｌからの距離が、近傍から遠方を仮定した距離Ｄ１およびＤ３における各センサの投影エリアが示されている。

なお、図２４の例の場合も、各距離Ｄ１およびＤ３の位置を示す点線の上は、各距離Ｄ１およびＤ３における光通信センサ１２１の投影エリアを表し、点線の上に示す白丸囲み数字は、光通信センサ１２１の画角境界１３１内における画素の左端からの番号を表し、点線の上に示す垂直線は、光通信センサ１２１の画素投影境界を表している。

同様に、各距離Ｄ１およびＤ３の位置を示す点線の下は、各距離Ｄ１およびＤ３におけるイメージセンサ１２２の投影エリアを表し、点線の下に示す黒丸囲み数字は、イメージセンサ１２２の画角境界１３２内における画素の左端からの番号を表し、点線の下に示す垂直線は、イメージセンサ１２２の画素投影境界を表している。

図９を参照して上述したように、イメージセンサ１２２を起点とする視線１６１上の被写体（発信光源）の受光画素を考察すると、近傍の距離Ｄ１においては、光通信センサ１２１およびイメージセンサ１２２の画角のずれ（すなわち、センサ間距離ｄ）により、発信光源Ｐ１は、イメージセンサ１２２における、画角境界１３２の左端から１番目の画素（黒丸囲み数字の１）で受光され、光通信センサ１２１における、画角境界１３１の左端から２番目の画素（白丸囲み数字の２）で受光される。

また、距離Ｄ３においては、イメージセンサ１２２における、画角境界１３２の左端から１番目の画素（黒丸囲み数字の１）で受光され、光通信センサ１２１における、画角境界１３１の左端から１番目の画素（白丸囲み数字の１）で受光される。

したがって、検査装置３５１においては、レンズ面Ｌから距離Ｄ１に設置された発信光源Ｐ１がイメージセンサ１２２では、画角境界１３２の左端から１番目の画素（黒丸囲み数字の１）で受光され、光通信センサ１２１では、画角境界１３１の左端から２番目の画素（白丸囲み数字の２）で受光されることが確認されれば、光通信センサ１２１とイメージセンサ１２２の位置関係が設計どおりであることがわかる。

これにより、簡便化された検査工程を構築することが可能である。

なお、より簡便化を求めるとすれば、光通信センサ１２１とイメージセンサ１２２において、レンズ面Ｌから距離Ｄ１に設置された発信光源Ｐ１を受光する画素のずれが、１画素あることが確認されることでも、光通信センサ１２１とイメージセンサ１２２の位置関係が設計どおりであることがわかる。

また、距離Ｄ１と距離Ｄ３における受光画素に示されるように、画素のずれ量は、発信光源のレンズ面Ｌからの距離により異なるため、発信光源を設置する距離に応じて、検査の精度を変更することも可能である。

さらに、検査精度を向上させるために、１つの発信光源のみではなく、複数の発信光源を、画角境界内の異なる位置に設置することも可能である。この場合、それぞれの発信光源が、異なるパターンで点滅していれば、発信光源を間違いなく、区別することが可能である。

図２４の例においては、Ｈ方向しか示されていないが、Ｈ方向だけでなく、Ｖ方向に対しても同様に確認される。

次に、図２５のフローチャートを参照して、図２３の検査装置３５１の検査処理を説明する。なお、この検査処理は、例えば、検査装置３５１に、検査対象となるカメラ部８１が装着されることで開始される。

アプリケーションプロセッサ３６３は、画像信号処理部３６１およびデコード処理部３６２に対して、同期信号（またはクロック信号）の供給を開始すると、画像信号処理部３６１は、その同期信号から、イメージセンサ１２２を駆動させる駆動信号（タイミングパルス）を生成し、同期信号および駆動信号をイメージセンサ１２２に供給し始める。

イメージセンサ１２２は、画像信号処理部３６１からの同期信号および駆動信号に基づいて、レンズ１１２−２を介して、イメージセンサ１２２の画角境界１３２内に存在する被写体の画像に対応する画像信号を取得し、取得した画像信号を画像信号処理部３６１に出力し始める。

そこで、画像信号処理部３６１は、イメージセンサ１２２からの生の画像信号に対して、通常のイメージセンサの信号処理と同様に、カラー信号処理、ガンマ補正、AWB、自動露出補正などの処理を行う。

これに対応して、アプリケーションプロセッサ３６３の受光画素検出部３７１は、ステップＳ７１において、画像信号処理部３６１より、信号処理された画像信号を取り込む。

受光画素検出部３７１は、ステップＳ７２において、画像信号処理部３６１から信号処理後の画像信号を取り込み、画像認識を行うことで、発信光源の位置（結像する受光画素）を検出し、検出した受光画素の情報を、不良品判定部３７３に供給する。

一方、デコード処理部３６２は、アプリケーションプロセッサ３６３からの同期信号から、光通信センサ１２１を駆動させる駆動信号（タイミングパルス）を生成し、同期信号および駆動信号を、光通信センサ１２１に供給し始める。

光通信センサ１２１は、デコード処理部３６２からの同期信号および駆動信号に基づいて、レンズ１１２−１を介して、光通信センサ１２１の画角境界１３１内に存在する被写体２−１および２−２が備える発信光源３−１および３−２の点滅パターン２２−１および２２−２によりコード化された通信情報を検出し、その検出された情報（すなわち、光点滅の検出有無を表すバイナリ信号である、光点滅検出信号）を、デコード処理部３６２に出力し始める。

デコード処理部３６２は、光通信センサ１２１からの光点滅の検出有無を表すバイナリ信号である光点滅検出信号をデコードする処理を行う。

これに対応して、アプリケーションプロセッサ２１３の通信情報取得部３７２は、ステップＳ７３において、デコード処理部３６２から、デコードの結果得られた通信情報と、光信号を受信した画素の情報を取得し、取得した通信情報と、画素（受信画素）の情報を、不良品判定部３７３に供給する。

不良品判定部３７３は、ステップＳ７４において、画素情報取得部３７２からの通信情報に対応する発信光源が設置された距離における２つのセンサ（良品）の画素のずれ量を読み出し、ステップＳ７５において、イメージセンサ１２２を構成する画素と光通信センサ１２１を構成する画素を１対１に対応付けして、受光画素検出部３７１からの受光画素と画素情報取得部３７２からの受信画素を用いて、それらの画素の位置関係（ずれ量）を算出する。

なお、ステップＳ７４において、画素のずれ量ではなく、画素情報取得部３７２からの通信情報に対応する発信光源が設置された距離における良品のイメージセンサ１２２の画素と、この画素に対応する良品の光通信センサ１２１の画素を読み出し、ステップＳ７５において、受光画素検出部３７１からの受光画素が良品のイメージセンサ１２２の画素と一致するか、かつ、画素情報取得部３７２からの受信画素が、良品の光通信センサ１２１の画素と一致するかを判定するようにすることもできる。

この場合、ずれ量のみで判定するよりも、さらに精度の高い検査を行うことができる。

不良品判定部３７３は、ステップＳ７６において、算出した画素のずれ量が、良品の画素のずれ量と一致するか否かを判定し、一致すると判定した場合、処理は、ステップＳ７７に進み、このカメラ部８１が良品であるとし、例えば、モニタ３６５に良品の通知を表示させたり、図示せぬ部品装着部などを制御し、カメラ部８１を生産ラインにおける良品のラインに仕分ける。

ステップＳ７６において、算出した画素のずれ量が、良品の画素のずれ量と一致しないと判定された場合、処理は、ステップＳ７７において、このカメラ部８１が不良品であるとし、例えば、モニタ３６５に不良品の通知を表示させたり、図示せぬ部品装着部などを制御し、カメラ部８１を生産ラインにおける不良品のラインに仕分ける。

以上のように、イメージセンサ１２２からの画像信号と光通信センサ１２１からの通信情報を対応付けて、イメージセンサ１２２からの画像信号と光通信センサ１２１からの通信情報を用いて、装着されるカメラ部８１の検査を行うようにしたので、光通信センサとイメージセンサの位置関係を検査する検査においても、簡便化された検査工程を構築することができる。

例えば、近接配置するセンサが両方ともイメージセンサであれば、光源などの点状の被写体を撮像して、光源を受光した画素が設計どおりであるか確認することは簡単であるが、センサの一方が光通信センサの場合、画像の取得ができないことから、困難であった光通信センサとイメージセンサの位置関係の検査を簡便に行うことができる。

これにより、光通信センサとイメージセンサが精度よく配置されることで、画像品質を低下させることなく、画像取得と光通信を同時に行うことができるカメラ部８１で構成される携帯電話機７１を、ユーザに提供することができる。

なお、上記説明においては、カメラ部８１を検査対象とする例を説明したが、例えば、図１１のカメラ部８１、画像信号処理部２１１、およびデコード処理部２１２が組み合わされたブロックを検査対象とすることもできる。この場合には、図２３の検査装置３５１から、画像信号処理部３６１およびデコード処理部３６２が除かれる。

また、上記説明においては、カメラ部８１の検査工程を前提に説明したが、同様なプロセスを、例えば、カメラ部８１の製造時のセンサの位置合せに適用することもできる。この場合、例えば、遠方の距離に発信光源をおいての粗い位置合せを行ったうえで、光源の設置距離を近づけて、精度の高い位置合せを行うことも可能である。

また、上記説明においては、光通信センサおよびイメージセンサが配置されて構成されるカメラ部を備えた携帯電話機を用いて説明したが、本発明は、携帯電話機に限定されず、光通信センサおよびイメージセンサが配置されて構成されるカメラ部を備えたものであれば、PDA（Personal Digital Assistance）やパーソナルコンピュータなどにも適用される。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ４０１の構成の例を示すブロック図である。CPU（Central Processing Unit）４１１は、ROM（Read Only Memory）４１２、または記憶部４１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）４１３には、CPU４１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU４１１、ROM４１２、およびRAM４１３は、バス４１４により相互に接続されている。

CPU４１１にはまた、バス４１４を介して入出力インタフェース４１５が接続されている。入出力インタフェース４１５には、キーボード、マウス、マイクロホンなどよりなる入力部４１６、ディスプレイ、スピーカなどよりなる出力部４１７が接続されている。CPU４１１は、入力部４１６から入力される指令に対応して各種の処理を実行する。そして、CPU４１１は、処理の結果を出力部４１７に出力する。

入出力インタフェース４１５に接続されている記憶部４１８は、例えばハードディスクからなり、CPU４１１が実行するプログラムや各種のデータを記憶する。通信部３１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部４１９を介してプログラムを取得し、記憶部４１８に記憶してもよい。

入出力インタフェース４１５に接続されているドライブ４２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部４１８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４２１、または、プログラムが一時的もしくは永続的に格納されるROM４１２や、記憶部４１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部４１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

２次元アレイ状のセンサの原理について説明する図である。 通信情報がコード化された点滅パターンを説明する図である。 図１のセンサの構成例を示すブロック図である。 図１のセンサの画像取得モードと光通信モードを説明する図である。 図１のカメラの構成例を示す図である。 本発明を適用した携帯電話機の一実施の形態の構成を示すブロック図である。 図６のカメラ部の構成例を示す図である。 図６の光通信センサおよびイメージセンサの画角と光軸の関係を示す図である。 図６の光通信センサおよびイメージセンサにおける受光画素を説明する図である。 図９の受光画素をさらに具体的に説明する図である。 図６の携帯電話機の内部構成例を示すブロック図である 図６の発信光源からの光信号であるデータフレームの構成例を示す図である。 図１１のアプリケーションプロセッサによる画像信号処理を説明するフローチャートである。 図１１の携帯電話機の内部構成の他の例を示すブロック図である。 ２倍の光学ズームが設定された場合の画素のずれを説明する図である。 図１４の携帯電話機の内部構成の他の例を示すブロック図である。 図８におけるイメージセンサ１２２のみが２倍の光学ズームが設定された場合の例を示す図である。 図１７の受光画素をさらに具体的に説明する図である。 図１６のアプリケーションプロセッサによる画像信号処理を説明するフローチャートである。 図１１の携帯電話機の内部構成のさらに他の例を示すブロック図である。 図２０のアプリケーションプロセッサによる画像信号処理を説明するフローチャートである。 図１１のアプリケーションプロセッサの他の構成例を示すブロック図である。 本発明を適用した検査装置の一実施の形態の構成を示すブロック図である。 図２３の光通信センサおよびイメージセンサにおける受光画素を説明する図である。 図２３の検査装置の検査処理を説明するフローチャートである。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

７１ 携帯電話機， ８１ カメラ部， ８２ モニタ， ８３ 操作入力部, １１１カメラボード， １２１ 光通信センサ, １２２ イメージセンサ, ２１１ 画像信号処理部， ２１２ デコード処理部， ２１３ アプリケーションプロセッサ， ２３１ 画像重畳部， ２３２ 画像生成部， ２５１−１，２５１−２ ズーム駆動部， ２６１ ズーム制御信号出力部， ３０１ 対応画素換算部， ３３１ 画像認識部， ３３２ ずれ補正量算出部， ３４１ 画像認識部， ３４２ 情報処理部， ３５１ 検査装置， ３６１ 画像信号処理部， ３６２ デコード処理部， ３６３ アプリケーションプロセッサ， ３６４ 操作入力部， ３６５ モニタ

Claims (10)

1. 被写体を撮像する撮像装置において、
   情報を符号化した光学信号を発信する発信光源を備えた被写体に対応する画像信号を入力するイメージセンサと、
   前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサと、
   前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行う信号処理手段と
   を備える撮像装置。
2. 前記情報は、前記被写体に関する情報である
   請求項１に記載の撮像装置。
3. 前記画像信号に対応する画像を表示する表示手段をさらに備え、
   前記信号処理手段は、
   前記光学信号を復号した情報に対応する画像を生成する画像生成手段と、
   前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号に、前記画像生成手段により生成された前記画像の画像信号を重畳する処理を行う画像重畳手段とを備え、
   前記表示手段は、前記信号処理手段により重畳された画像信号に対応する画像を表示する
   請求項２に記載の撮像装置。
4. 前記信号処理手段は、
   前記イメージセンサにより入力された前記画像信号に対応する画像から、被写体を認識する画像認識手段と、
   前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記画像認識手段により認識された被写体を、前記光学信号を復号した情報の発信元として設定する処理を行う発信元設定手段とを備える
   請求項１に記載の撮像装置。
5. 前記イメージセンサの光学系を駆動する第１の光学系駆動手段と、
   前記光通信センサの光学系を駆動する第２の光学系駆動手段と、
   ユーザの操作に対応するズーム値に基づいて、前記イメージセンサの光学系と、前記光通信センサの光学系を連動させるように、前記第１および第２の光学系駆動手段を制御するズーム制御手段とをさらに備える
   請求項１に記載の撮像装置。
6. 前記イメージセンサの光学系を駆動する光学系駆動手段と、
   ユーザの操作に対応するズーム値に基づいて、前記光学系駆動手段による光学系の駆動を制御するズーム制御手段とをさらに備え、
   前記信号処理手段は、
   ユーザの操作に対応するズーム値に基づく前記イメージセンサの画素に対応する前記光通信センサの対応画素を算出する対応画素算出手段を備え、
   前記対応画素算出手段により算出される前記光通信センサの対応画素に基づいて、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行う
   請求項１に記載の撮像装置。
7. 前記信号処理手段は、
   前記イメージセンサにより入力された前記画像信号に対応する画像から、前記発信光源に対応する画素を検出する画素検出手段と、
   前記画素検出手段により検出された前記発信光源に対応する画素と、前記光学信号を受信した前記光通信センサの画素に基づいて、画素ずれの補正量を算出する補正量算出手段とを備え、
   前記補正量算出手段により算出される前記画素ずれの補正量に基づいて、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行う
   請求項１に記載の撮像装置。
8. 被写体を撮像する撮像装置の画像処理方法において、
   情報を符号化した光学信号を発信する発信光源を備えた被写体に対応する画像信号を入力するイメージセンサを構成する画素と、
   前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサを構成する画素と
   を対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行う
   ステップを含む画像処理方法。
9. 被写体を撮像する撮像装置に画像処理を行わせるプログラムであって、
   情報を符号化した光学信号を発信する発信光源を備えた被写体に対応する画像信号を入力するイメージセンサを構成する画素と、
   前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサを構成する画素と
   を対応付けして、前記イメージセンサにより入力された前記画像信号、および前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行う
   ステップを含むプログラム。
10. 請求項９に記載のプログラムが記録されている記録媒体。

Images