JP5482259B2 - 光通信装置 - Google Patents

Description

本発明は、光通信装置に係り、特に、信号光を受光して光通信を行う光通信装置に関する。

従来より、光通信を行うための装置が知られている（例えば、非特許文献１）。非特許文献１に記載の装置では、イメージセンサの画素に対して、イメージセンサ用読み出し線と通信用高速読み出し線とが設けられ、イメージセンサの画素から、通信信号及び画像信号の何れかを切り換えて出力する。

また、輝度画像用の複数の光電変換素子と、光信号用の複数の光電変換素子とを撮像面上に二次元配列した撮像素子を備え、輝度画像用の光電変換素子から出力された信号に基づいて得られた撮像画像から、信号光を受光している領域を抽出し、抽出された領域内に位置する光信号用の光電変換素子から出力された信号を、光通信信号として出力する光通信装置が知られている（特許文献１）。この光通信装置は、輝度画像用の光電変換素子から出力された信号に基づいて得られた撮像画像を、輝度画像として出力する。

香川景一郎、西村智博、平井隆夫、太田淳、布下正宏、山嵜康司、山田雅司、杉下正蔵、渡辺國寛、「ＢｉＣＭＯＳプロセスを用いた光無線ＬＡＮ用ビジョンチップの開発」、映像情報メディア学会 情報センシング・コンシューマエレクトロニクス研究会、ＩＴＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ２６（２６）、ｐｐ．３５−４０（２００２）

特開２００９−２７４８０号公報

しかしながら、上記の特許文献１の記載では、光通信信号の抽出に、輝度画像を用いており、露光時間（シャッタ時間）の制御が非常に困難である。例えば、被写体となる建物や車両などを適切な露光時間で撮影して画像を取得したとき、日中の明るい環境下では画像内に写る空は概ね飽和して撮像される（被写体の明るさ＜空の明るさ）。また、高強度に発光するＬＥＤ送信機（例えば信号機）も飽和して撮影される（被写体の明るさ＜空の明るさ、被写体の明るさ＜ＬＥＤの明るさ）。つまり、被写体の明るさにあわせた露光制御では、空とＬＥＤは共に飽和し、分離できず、空とＬＥＤが同化するため、ＬＥＤの検出が不可能となってしまう、という問題がある。

また、明るさの関係が「被写体＜空＜ＬＥＤ」であることから、空の明るさに合わせて露光制御すれば、空とＬＥＤは分離可能であるが、空の明るさに合わせると被写体が非常に暗く写るため、適切な輝度画像が取得できない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、光通信信号を抽出するための適切な画像を取得すると共に、適切な輝度画像を取得することができる光通信装置を提供することを目的とする。

上記の目的を達成するために本発明に係る光通信装置は、受光量に応じた信号を出力する複数の第１光電変換素子と複数の第２光電変換素子とを、一つの基板上に二次元配列した撮像素子と、第１露光時間で光電変換を行うように前記第１光電変換素子を制御すると共に、前記第１露光時間より長い第２露光時間で光電変換を行うように前記第１光電変換素子を制御する露光制御手段と、前記撮像素子の前記複数の第１光電変換素子から、前記第１露光時間の光電変換により出力された信号に基づいて得られた撮像画像から、信号光を受光している撮像面上の領域を抽出する抽出手段と、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号を、前記信号光が表わす光通信信号として出力する光通信出力手段と、前記撮像素子の前記複数の第１光電変換素子から、前記第２露光時間の光電変換により出力された信号に基づいて得られた撮像画像を出力する画像出力手段とを含んで構成されている。

本発明に係る光通信装置によれば、露光制御手段によって、第１露光時間で光電変換を行うように第１光電変換素子を制御すると共に、第１露光時間より長い第２露光時間で光電変換を行うように第１光電変換素子を制御する。抽出手段によって、撮像素子の複数の第１光電変換素子から、第１露光時間の光電変換により出力された信号に基づいて得られた撮像画像から、信号光を受光している撮像面上の領域を抽出する。

そして、光通信出力手段によって、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号を、信号光が表わす光通信信号として出力する。また、画像出力手段によって、撮像素子の複数の第１光電変換素子から、第２露光時間の光電変換により出力された信号に基づいて得られた撮像画像を出力する。

このように、複数の第１光電変換素子から第１露光時間の光電変換により出力された信号に基づいて得られた撮像画像から、信号光を受光している撮像面上の領域を抽出すると共に、長い第２露光時間の光電変換により出力された信号に基づいて得られた撮像画像を出力することにより、光通信信号を抽出するための適切な画像を取得すると共に、適切な輝度画像を取得することができる。

本発明に係る光通信装置は、撮像素子の前記複数の第１光電変換素子から、第１露光時間の光電変換により出力された信号に基づいて、各画素を１ビットのデジタル信号とするフラグ画像を生成して出力する読み出し回路を更に含み、抽出手段は、読み出し回路から出力されたフラグ画像から、信号光を受光している撮像面上の領域を抽出することができる。これによって、簡易な処理で、信号光を受光している撮像面上の領域を抽出することができる。

本発明に係る抽出手段は、信号光を受光している撮像面上の領域を繰り返し抽出して、信号光を受光している撮像面上の領域を追跡することができる。

本発明に係る露光制御手段は、長さが異なる複数種類の第１露光時間の各々で光電変換を行うように第１光電変換素子を制御すると共に、第１露光時間より長い第２露光時間で光電変換を行うように第１光電変換素子を制御し、抽出手段は、撮像素子の複数の第１光電変換素子から、複数種類の第１露光時間の光電変換の各々により出力された信号に基づいて得られた複数の撮像画像から、同じ信号光を受光している撮像面上の複数の領域を抽出し、抽出された複数の領域の少なくとも１つの領域を選択することができる。これによって、冗長で無駄な情報の取得を回避することができる。

本発明に係る光通信装置は、撮像素子の複数の第１光電変換素子から、第１露光時間の光電変換により出力された信号に基づいて、各画素を複数ビットのデジタル信号とするフラグ画像を生成して出力する読み出し回路を更に含み、抽出手段は、読み出し回路から出力されたフラグ画像から、同じ信号光を受光している撮像面上の複数の領域を抽出し、抽出された複数の領域の少なくとも１つの領域を選択することができる。これによって、冗長で無駄な情報の取得を回避することができる。

以上説明したように、本発明の光通信装置によれば、複数の第１光電変換素子から第１露光時間の光電変換により出力された信号に基づいて得られた撮像画像から、信号光を受光している撮像面上の領域を抽出すると共に、長い第２露光時間の光電変換により出力された信号に基づいて得られた撮像画像を出力することにより、光通信信号を抽出するための適切な画像を取得すると共に、適切な輝度画像を取得することができる、という効果が得られる。

本発明の第１の実施の形態に係る運転支援システム及び光送信装置の構成を示す概略図である。 本発明の第１の実施の形態に係る光通信装置の構成を示すブロック図である。 本発明の第１の実施の形態に係る光通信装置の撮像素子の構成及び画素アレイの光電変換素子の配置を示すイメージ図である。 （Ａ）輝度画像を示すイメージ図、及び（Ｂ）フラグ画像を示すイメージ図である。 露光時間を制御するための構成を示す図である。 駆動回路選択信号Ｄ、露光時間制御信号Ｓ、及びリセット信号Ｒの時系列変化を示す図である。 本発明の第１の実施の形態に係る光通信装置の第１読み出し回路の回路構成を示す図である。 本発明の第１の実施の形態に係る光通信装置のデジタル変換部の構成を示すブロック図である。 本発明の第１の実施の形態に係る光通信装置の制御装置の構成を示すブロック図である。 本発明の第１の実施の形態に係る光通信装置の制御装置における光通信処理ルーチンの内容を示すフローチャートである。 光通信装置の第１読み出し回路の回路構成の他の例を示す図である。 第１露光時間の長さを説明するための図である。 フラグ画像を示すイメージ図である。 本発明の第３の実施の形態に係る光通信装置の制御装置の構成を示すブロック図である。 （Ａ）自車両前方を示すイメージ図、及び（Ｂ）フラグ画像を示すイメージ図である。 （Ａ）自車両前方を示すイメージ図、（Ｂ）複数の通信用の発光素子が配置されたテールランプを示すイメージ図、及び（Ｃ）フラグ画像を示すイメージ図である。 （Ａ）複数種類の第１露光時間と第２露光時間を示すイメージ図、及び（Ｂ）同じ長さの複数の第１露光時間と第２露光時間を示すイメージ図である。 （Ａ）フラグ画像を示すイメージ図、（Ｂ）フラグ画像を示すイメージ図、（Ｃ）フラグ画像を示すイメージ図、及び（Ｄ）合成画像を示すイメージ図である。 多ビットのフラグ画像を示すイメージ図である。 通信用画素と画像用画素とを分離した場合を示す図である。 通信用画素と画像用画素とを共通の画素とした場合を示す図である。 （Ａ）通信用画素と画像用画素とを分離した場合の回路図、及び（Ｂ）通信用画素と画像用画素とを共通の画素とした場合の回路図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、かつ、光通信によって受信した受信データに基づいて運転支援を行なう運転支援システムの光通信装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る運転支援システム１０は、車両前方を撮像すると共に、光通信を行う光通信装置１２と、光通信装置１２によって受信した受信データ及び撮像された撮像画像に基づいて、運転支援を行なう運転支援装置１４とを備えている。

光通信装置１２は、光送信装置１６から発光された信号光を受光して、光通信信号を受信する。光送信装置１６は、例えば、ＬＥＤから構成される発光素子１８と、送信データのデータ列に応じて、発光素子１８をオンオフさせる通信制御部２０とを備えている。

光送信装置１６の通信制御部２０は、搭載車両の車速又は加減速を示す情報を信号光によって送信するように、発光素子１８をオンオフさせる。発光素子１８は、多量のデータを送信するために、高速にスイッチング（オンオフ）される。

光通信装置１２は、他の車両に搭載された光送信装置１６から光通信によって受信した光通信信号が表わす受信データを、受信データ列として運転支援装置１４に出力する。

運転支援システム１０の運転支援装置１４は、光通信装置１２で撮像された撮像画像に対して、パターンマッチングなどの画像処理を行って、前方車両の位置を検出し、また、光通信装置１２からの受信データから、前方車両の車速又は加速度を取得する。そして、運転支援装置１４は、取得した前方車両の位置と車速又は加速度とに基づいて、前方車両との衝突可能性を判定し、判定された衝突可能性に基づいて、運転支援として、警報の提示や運転制御を行なう。

図２に示すように、光通信装置１２は、撮像素子２４と、撮像素子２４の駆動制御を行うと共に所定の画像処理を行う制御装置２６とを備えている。

撮像素子２４は、図３に示すように、受光量に応じた信号を出力する複数の画像画素用の光電変換素子２８Ａと複数の光通信画素用の光電変換素子２８Ｂとを一つの基板上に二次元配列した画素アレイ２８と、画像画素用の光電変換素子２８Ａを垂直方向に順次選択して、第１露光時間又は第２露光時間での光電変換により得られた信号を出力させる垂直方向画像画素選択回路３０と、画像画素用の光電変換素子２８Ａを水平方向に順次選択して、光電変換により得られた信号を出力させる水平方向画像画素選択回路３４と、画像画素用の光電変換素子２８Ａにおける第１露光時間での光電変換により得られた信号を、１ビットのデジタル信号に変換し、フラグ画像として出力する第１読み出し回路３８と、画像画素用の光電変換素子２８Ａにおける第２露光時間での光電変換により得られた信号を、画像信号として出力する第２読み出し回路４０と、抽出された光源位置に対応する光通信画素用の光電変換素子２８Ｂを垂直方向、水平方向に選択して、光電変換により得られた信号を出力させる垂直方向通信画素選択回路４２、水平方向通信画素選択回路４４と、垂直方向通信画素選択回路４２及び水平方向通信画素選択回路４４によって選択された光通信画素用の光電変換素子２８Ｂの信号を光通信信号として出力する通信信号読み出し回路４６とを備えている。

画素アレイ２８では、例えば、１ラインごとに、画像画素用の光電変換素子２８Ａと光通信画素用の光電変換素子２８Ｂとが交互に配置されている。なお、画像画素用の光電変換素子２８Ａと光通信画素用の光電変換素子２８Ｂとを格子状に配置してもよく、また、他の配置パターンで配置してもよい。ただし、画像画素用の光電変換素子２８Ａと光通信画素用の光電変換素子２８Ｂとが、対（近接構造）となるように配置し、複数の画像画素用の光電変換素子２８Ａに対する光軸と、複数の光通信画素用の光電変換素子２８Ｂに対する光軸とがほぼ一致することが好ましい。

また、撮像素子２４は、レンズ（図示省略）を１台だけ備えており、複数の画像画素用の光電変換素子２８Ａと、複数の光通信画素用の光電変換素子２８Ｂとに対する、共通のレンズとして用いられている。

光送信装置１６の発光素子１８が高速にオンオフされ、画像を撮像するための一般的な光電変換素子では、発光素子１８のオンオフの速度に応答できないため、光通信用の光電変換素子２８Ｂとして、光電変換における電荷蓄積時間が短く、高速なオンオフに応答できる光電変換素子が用いられる。

垂直方向画像画素選択回路３０は、デジタル回路のシフトレジスタ等を用いて構成され、画像画素用の光電変換素子２８Ａを垂直方向に順次選択して、第１露光時間での光電変換により得られた信号を出力させると共に、第１露光時間より長い第２露光時間での光電変換により得られた信号を出力させる。また、水平方向画像画素選択回路３４も、デジタル回路のシフトレジスタ等を用いて構成される。

次に、露光時間を制御する原理について説明する。

図５に示すように、制御装置２６から駆動回路選択信号Ｄ、露光時間制御信号Ｓ、リセット信号Ｒの各信号を出力させ、垂直方向画像画素選択回路３０に入力する。

垂直方向画像画素選択回路３０は”列”ごとの画像画素用の光電変換素子２８Ａに信号を供給するための駆動回路３０Ａを備えている。駆動回路選択信号Ｄによって、順次、各”列”の駆動回路３０Ａが選択される。例えば、図６に示すように、駆動回路選択信号Ｄから１クロック入力されると１列目の駆動回路３０Ａ、２クロック入力されると２列目の駆動回路３０Ａ、ｉクロックでｉ列目の駆動回路３０Ａが有効になる。

リセット信号Ｒによって、画像画素用の光電変換素子２８Ａがリセットされ初期状態がセットされる。また、露光時間制御信号Ｓによって画像画素用の光電変換素子２８Ａの信号が読み出される。図６に示すように、”露光時間”は、画像画素用の光電変換素子２８Ａがリセットされてから、画像画素用の光電変換素子２８Ａの信号が読み出されるまでの時間で決定される。

画像画素用の光電変換素子２８Ａは、短い第１露光時間によって得られた出力信号を、第１読み出し回路３８に入力し、次に、第１露光時間よりも長い第２露光時間で得られた信号を第２読み出し回路４０に入力する。なお、有効になっていない駆動回路からは、露光時間制御信号Ｓとリセット信号Ｒの各信号は出力されない。

以上のように、制御装置２６から駆動回路選択信号Ｄ、露光時間制御信号Ｓ、リセット信号Ｒの各信号を出力させることにより、画像画素用の光電変換素子２８Ａの露光時間が、第１露光時間と第２露光時間となるように制御される。

第１読み出し回路３８は、画像画素用の光電変換素子２８Ａから出力された、第１露光時間での光電変換により得られた信号を、１ビットのデジタル信号に変換し、図４（Ｂ）に示すようなフラグ画像として制御装置２６に出力する。

具体的には、第１読み出し回路３８は、図７に示すように、主にコンパレータ（１ビットのアナログデジタル変換器ＡＤＣ）３８ＡとレジスタｒｅｇとスイッチＳＷ１とを含んで構成される。なお、レジスタｒｅｇを用いて第１読み出し回路３８を構成したが、これに限定されるものではなく、撮像素子における読み出し方式に応じた適切な回路構成を用いればよい。

２つの異なる第１露光時間及び第２露光時間によって得られた、それぞれの画像画素用の光電変換素子２８Ａの出力信号をスイッチＳＷ１によって振り分け、短い第１露光時間の信号を、第１読み出し回路３８に、それよりも長い第２露光時間の信号を第２読み出し回路４０に入力させる。

第１露光時間の信号は、コンパレータ３８Ａに入力される。コンパレータ３８Ａにはある閾値電圧Ｖ_ＴＨが供給されており、この閾値電圧Ｖ_ＴＨを超える大きな信号が入力された場合に”１”を出力し、閾値電圧Ｖ_ＴＨ以下であれば”０”を出力する。つまり高強度の光が有るか無いかが、コンパレータ３８Ａの出力”１”、”０”で示される。

１列に配置されたコンパレータ３８Ａの出力信号が、順次、読み出し信号線３８Ｂを通して出力される。なお、順次読み出す方法は、例えば、水平方向画像画素選択回路３４によって、コンパレータ３８Ａの出力端に接続されたスイッチＳＷ２を順次選択することで実現される。

なお、第１読み出し回路３８および第２読み出し回路４０の構成によっては、スイッチＳＷ１は必ずしも必要でない。２つの露光時間において、それぞれの読み出し回路の動作を無反応状態にできれば、スイッチＳＷ１を省いて構成してもよい。

第２読み出し回路４０は、画像画素用の光電変換素子２８Ａから出力された、第２露光時間での光電変換により得られた信号を、図４（Ａ）に示すような輝度画像の各画素の信号として、制御装置２６に出力する。第２読み出し回路４０は、一般的なイメージセンサの読み出し回路と同一でよく、例えばＣＤＳ（相関二重サンプリング）などによるノイズ低減（ノイズキャンセル）回路や、信号増幅回路などを用いて構成される。なお、撮像素子２４からの出力はアナログ信号でもよく、また、撮像素子２４に多ビットのＡＤＣを搭載してデジタル信号として出力してもよい。

垂直方向通信画素選択回路４２及び水平方向通信画素選択回路４４は、１ビットのフラグ画像から抽出された送信源（ＬＥＤ）が存在する座標を入力として、ＬＥＤの座標に対応する光通信画素用の光電変換素子２８Ｂを選択する。これによって、画素アレイ２８は、制御装置２６から入力された座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂに対応するスイッチ（図示省略）をオンし、スイッチがオンされた光電変換素子２８Ｂから出力されるアナログ信号を通信信号読み出し回路４６に出力する。

通信信号読み出し回路４６は、図８に示すように、光通信画素用の光電変換素子２８Ｂから出力されるアナログ信号をデジタル信号に変換するデジタル変換部５０を備え、光通信信号を出力する。デジタル変換部５０は、光通信画素用の光電変換素子２８Ｂから入力されたアナログ信号をデジタル信号に変換し、光通信信号として制御装置２６に出力する。

また、デジタル変換部５０は、外乱光の成分を削除又は低減するための直流分除去装置５４と、微弱な信号を増幅するアンプ５６と、アナログ信号をデジタル信号に変換するデジタル変換器５８とを備えている。

直流分除去装置５４は、光通信信号に比べて非常に低周波（ほぼ直流）である外乱光（太陽光、街灯など）成分を除去し、高周波に変調された光通信信号だけを取り出す装置である。なお、変調方式、符号化方式によっては、直流分除去装置５４を挿入しない方がよい場合もある。また、直流分だけでなく、光信号の周波数だけを限定して通過させ、その周波数以外の低周波成分及び高周波成分をすべて除去するような、フィルタ（バンドパスフィルタ）回路を実装してもよい。

デジタル変換器５８は、例えば、コンパレータを用いて構成され、前段までのアナログ信号を、１ｂｉｔのデジタル信号に変換して出力する。

なお、アンプ５６は、直流分除去装置５４の出力が微弱な場合に備えればよく、信号強度が十分な場合には、アンプ５６を備えなくてもよい。また、直流分除去装置５４の前段にアンプ５６を設けてもよい。また、このデジタル変換部５０は、変調方式、符号化方式に応じた最適な回路を選択すればよく、上記の回路構成に限定さるものではない。

また、光通信装置１２の制御装置２６は、コンピュータで構成され、ＣＰＵ、後述する光通信処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。この制御装置２６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図９に示すように、複数の画像画素用の光電変換素子２８Ａにおける露光時間を制御する露光制御部６０と、複数の画像画素用の光電変換素子２８Ａの各々から、第２露光時間の光電変換により出力された画像信号を入力する輝度画像入力部６２と、輝度画像入力部６２によって入力された複数の画像信号に基づいて得られる撮像画像を外部へ出力する画像出力部６４と、複数の画像画素用の光電変換素子２８Ａの各々から、第１露光時間の光電変換により出力されたフラグ画像の信号を入力するフラグ画像入力部６６と、フラグ画像入力部６６によって入力された複数の信号に基づいて得られるフラグ画像から、光送信装置１６からの信号光を受光している撮像面上の領域を抽出し、抽出された領域内の座標値を画素アレイ２８へ出力する光抽出部６８と、デジタル変換部５０から出力された光通信信号を入力し、外部へ出力する光信号入出力部７０とを備えている。なお、撮像面は、画素アレイ２８における光電変換素子２８Ａ、２８Ｂの二次元配列によって形成される面である。

露光制御部６０は、複数の画像画素用の光電変換素子２８Ａにおける露光時間が、第１露光時間及び第２露光時間となるように、駆動回路選択信号Ｄ、露光時間制御信号Ｓ、リセット信号Ｒの各信号を出力する。なお、第２露光時間は、被写体が適切に映るように設定される。

光送信装置１６の発光素子１８からの信号光が、光通信装置１２の撮像素子２４に対して正面から直接入射された場合、受光した光の強度が大きいため、信号光を受光した画像画素用の光電変換素子２８Ａにおいて、第１露光時間の光電変換により得られた信号が、コンパレータの閾値を超えて、フラグ画像の該当する領域が１となる。そこで、光抽出部６８は、信号に基づいて得られるフラグ画像のうち、１を表わす領域を手がかりとして、信号光を受光している撮像面上の領域を抽出する。

また、光抽出部６８は、抽出した領域内の座標値を画素アレイ２８に出力して、抽出した領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂに、受光した光に応じた信号を出力させる。

また、光抽出部６８は、所定周期で、信号光を受光している撮像面上の領域を繰り返し抽出することにより、信号光を受光している領域を追跡する。また、撮像画像内において、信号光を受光している領域が短時間で大きく移動しないことを利用して、光抽出部６８は、信号光を受光している領域を、前回抽出された領域の近傍から優先的に探索する。これによって、画像信号から得られる撮像画像全体から、信号光を受光している領域を毎回探索して抽出する場合に比べて、処理効率を向上させ、計算コストを低減することができる。

また、光抽出部６８は、信号光を受光している領域を追跡するときに、例えば、画像処理によって、信号光を受光している領域の移動量及び移動方向を観測し、観測した移動量及び移動方向に基づいて、次のタイミングでの移動先を推定し、信号光を受光している領域を、推定された移動先の領域から優先的に探索する。これによって、更に処理効率を向上させる。なお、受光している領域の移動量及び移動方向の何れか一方だけを観測し、観測された移動量及び移動方向の何れか一方に基づいて、次のタイミングの移動先を推定するようにしてもよい。

次に、第１の実施の形態に係る運転支援システム１０の作用について説明する。以下では、運転支援システム１０を搭載した自車両が走行しているときに、前方車両に搭載された光送信装置１６から信号光が発光された場合を例に説明する。

運転支援システム１０の光通信装置１２において、図１０に示す光通信処理ルーチンが実行される。まず、ステップ１００において、撮像画像を出力してからの経過時間を示す変数ｔに初期値として０を設定し、ステップ１０２において、複数の画像画素用の光電変換素子２８Ａの露光時間が第１露光時間となるように制御して、フラグ画像を取得し、また、複数の画像画素用の光電変換素子２８Ａの露光時間が第２露光時間となるように制御して、輝度画像を取得する。

そして、ステップ１０４において、上記ステップ１０２で取得された画像信号に基づいて得られる前方車両を表わす輝度画像を運転支援装置１４に出力し、次のステップ１０６で、上記ステップ１０２で取得されたフラグ画像から、光送信装置１６からの信号光を受光している撮像面上の領域を抽出する。

次のステップ１０８では、上記ステップ１０６で抽出された撮像面上の領域内の座標値を画素アレイ２８に出力して、抽出された領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂから信号を出力するように指示する。これによって、指示された座標値が表わす場所に位置する光電変換素子２８Ｂから出力された信号が、アナログ信号としてデジタル変換部５０に入力され、デジタル信号に変換されて、光通信信号として撮像素子２４から出力される。

次のステップ１１０では、デジタル変換部５０から光通信信号を取得し、ステップ１１２において、取得した光通信信号を受信データとして運転支援装置１４に出力する。そして、ステップ１１４において、経過時間を表わす変数ｔをインクリメントし、ステップ１１６で、経過時間ｔが、予め定められた撮像画像出力レートに相当する時間Ｆ未満であるか否かを判定し、経過時間が、撮像画像出力レートに相当する時間に到達していない場合には、ステップ１１０へ戻り、次のタイミングの光通信信号を取得するが、一方、経過時間が、撮像画像出力レートに相当する時間に到達した場合には、ステップ１１８へ移行する。

ステップ１１８では、過去に抽出された信号光を受光している領域の移動量及び移動方向に基づいて、信号光の受光している領域の移動先を推定して、ステップ１００へ戻り、再び画像信号を取得する。また、ステップ１０６では、上記ステップ１１８で推定された移動先から優先的に探索し、信号光を受光している領域を抽出する。

上記の光通信処理ルーチンを実行することにより、撮像画像出力レートの周期と同じ周期で、信号光を受光している領域が追跡され、追跡された領域内の座標に位置する光電変換素子２８Ｂから、光通信信号を取得すると共に、光通信信号が表わす受信データ列が運転支援装置１４に出力される。また、撮像画像出力レートの周期で取得した画像信号に基づいて得られる撮像画像の各々が運転支援装置１４に出力される。

そして、運転支援装置１４は、受信データ列が表わす前方車両の車速又は加速度と、撮像画像から検出される前方車両の位置とに基づいて、前方車両との衝突可能性を判定し、判定された衝突可能性に基づいて、運転支援として、警報の提示や運転制御を行なう。

以上説明したように、第１の実施の形態に係る運転支援システムの光通信装置によれば、複数の画像画素用の光電変換素子から第１露光時間の光電変換により出力された信号に基づいて生成されたフラグ画像から、信号光を受光している撮像面上の領域を抽出すると共に、複数の画像画素用の光電変換素子から長い第２露光時間の光電変換により出力された信号に基づいて得られた輝度画像を出力することにより、光通信信号を抽出するための適切な画像を取得すると共に、適切な輝度画像を取得することができる。また、適切な輝度画像を取得すると共に、送信源（ＬＥＤ）を検出しながら通信を実行することができる。

また、撮像と光通信の両機能を同時に実行するとともに、画像画素用の光電変換素子を用いて送信源（光源）を検出・追跡し、送信源が動いた場合でも通信の継続を可能にする。

また、適切な輝度画像を取得しながら、送信源を追跡できる。輝度画像を読み出す読み出し回路と、フラグ画像を読み出す読み出し回路とが別体であるため、それぞれの画像に適した露光制御が実現できる。

また、送信源は在るか無いかの情報さえあれば良く、最低１、０の１ビットのデジタル信号からフラグ画像を生成する。１ビットの低データ量のフラグ画像であるため、光源を抽出する際の画像処理計算コストを低く抑えることができる。

また、送信源の抽出を繰り返し行うことにより、送信源が動いた場合においても、送信源を追跡し、継続した光通信を実現することができる。

また、複数の画像画素用の光電変換素子からの信号に基づいて得られた撮像画像を出力すると共に、光通信画素用の光電変換素子から出力された信号を、信号光が表わす光通信信号として出力することにより、得られる撮像画像の画質を低下させずに、光通信を行うことができる。

また、撮像画像の画質を目指した構成の画像画素用の光電変換素子と、高速な応答を目指した構成の光通信画素用の光電変換素子とによって、撮像画像の画質を向上させると共に、高精度に光通信を行うことができる。

また、撮像画像から信号光を受光している領域を抽出し、領域内に位置する光通信画素用の光電変換素子から出力される信号に基づいて、光通信信号を取得することにより、光通信信号を精度よく受信することができる。

また、過去に抽出された受光領域に基づいて、信号光を受光している領域の移動先を推定することにより、次のタイミングで信号光を受光している領域を容易に抽出することができる。

なお、上記の実施の形態では、運転支援として、衝突危険性に応じた警告提示や運転制御を行う場合を例に説明したが、これに限定されるものではなく、撮像画像や受信データに基づいて、白線検出による車線維持支援（レーン・キーピング・アシスト）や歩行者検出などを行なうようにしてもよい。

また、光通信装置では、撮像素子と制御装置とが別々に設けられている場合を例に説明したが、制御装置を撮像素子内に設けるようにしてもよい。

また、光通信画素用の光電変換素子から出力された信号をデジタル変換して、光通信信号として出力する場合を例に説明したが、光通信画素用の光電変換素子から出力された信号を、アナログ信号のまま光通信信号として外部に出力するようにしてもよい。

また、第１読み出し回路において、受光した光が明るい場合に、コンパレータに、閾値電圧Ｖ_ＴＨを超える大きな信号が入力されて”１”を出力し、受光した光が暗い場合に、コンパレータに、閾値電圧Ｖ_ＴＨ以下の信号が入力されて”０”を出力する場合を例に説明したが、これに限定されるものではない。画像用画素内の光電変換部の応答特性や、画素内回路の構成によっては、受光した光が明るい場合に、コンパレータに、閾値電圧Ｖ_ＴＨ以下の信号が入力されて”０”を出力し、受光した光が暗い場合に、コンパレータに、閾値電圧Ｖ_ＴＨを越える信号が入力されて”１”を出力してもよい。この場合、第１読み出し回路の構成が、上記第１の実施の形態と同様であれば、生成されるフラグ画像は、明るいところが“０”となり、暗いところが“１”になるため、制御装置において、“０”となる領域を抽出する。また、図１１に示すように、バッファアンプをインバータに変えて、“０”と“１”とを反転して出力し、制御装置において、“１”となる領域を抽出するようにしてもよい。

次に、第２の実施の形態に係る運転支援システムの光通信装置ついて説明する。なお、第２の実施の形態に係る光通信装置が、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。

第２の実施の形態では、露光時間を動的に設定している点が、第１の実施の形態と異なっている。

第２の実施の形態に係る光通信装置では、露光制御部６０における第１露光時間の設定値を、フラグが送信源（ＬＥＤ）のみ反応し、空や白線等で反応しないような値に設定する。

ただし、露光時間については制約があり、どのような値にしても良いわけではない。たとえば、図１２に示すように送信源から送られる信号の周波数（周期）に対して第１露光時間が短いと、光信号の”１”が露光中に入らない事態が生じうる（第１露光時間の最中に０がくる場合）。

そこで、第１露光時間は、光通信信号の”０”が続く時間よりも長くし、かつ必ずその時間の間に”１”が入る長さに設定される。通信信号の変調方式や符号化方式、通信速度によって、第１露光時間が決まる。

また、第１露光時間の制御は、他の回路（例えば第１読み出し回路３８等）の制御信号と相関があるため、第１露光時間を変えると、他の回路の動作タイミングもあわせて変更する必要が出てくる場合には、他の制御への影響を考え、なるべく余裕を持たせた露光時間を最初に決定して固定し、コンパレータ３８Ａの閾値電圧により調整を行うのが好ましい。

また、露光制御部６０において、予め所望する、もしくは外部の様々な信号処理回路の計算負荷等を加味して、通信を行いたい送信源の対象数（または領域面積）を設定しておく。

そして、露光制御部６０は、図１３（Ａ）に示すように、はじめに極めて短い第１露光時間とした設定でフラグ画像を取得する。この際、送信源（フラグ）が何も現れなかった場合は、例えば、第１露光時間を１段長くした設定２を適用する。

図１３（Ｂ）に示すように、設定２において２つの送信源が現れたが、始めに設定した送信源の数がこれよりも多い場合は、第１露光時間を更に１段長くした設定３とする。図１３（Ｃ）に示すようなフラグ画像が取得され、設定した送信源の数を”５個”としている場合は、設定３で調節を完了する．
また、設定２から１段長くした場合、図１３（Ｄ）に示すように、いきなり空がフラグとして現れることが考えられる。このように送信源の領域面積が極めて膨大になった場合は、設定を２に戻すという処理が行われる。

露光制御部６０は、上記のように調整が完了したときの露光時間を、第１露光時間として設定する。

以上説明したように、第２の実施の形態に係る運転支援システムの光通信装置によれば、フラグ画像における送信源の数や面積が、所望の値となるように、露光時間の繰り返し設定制御を自動で行うことで、明るさ等の状況の変化に対応した光通信装置が実現される。

なお、上記の実施の形態では、第１露光時間を自動設定する場合を例に説明したが、これに限定されるものではなく、フラグ画像における送信源の数や面積が、所望の値となるように、第１読み出し回路のコンパレータの閾値電圧を自動設定するようにしてもよい。

次に、第３の実施の形態に係る運転支援システムの光通信装置ついて説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。

第３の実施の形態では、フラグ画像から抽出された信号光を受光している領域について、得られる信号が、光通信信号が光を含むか否かを判定している点が、第１の実施の形態と異なっている。

図１４に示すように、第３の実施の形態に係る光通信装置の制御装置３２６は、露光制御部６０と、輝度画像入力部６２と、画像出力部６４と、フラグ画像入力部６６と、光抽出部６８と、デジタル変換部５０から出力された信号を入力し、当該信号に光通信信号が含まれるか否かを判定すると共に、入力された信号を出力する光信号判定部３６８と、光信号判定部３６８から入力された信号を外部へ出力する光信号入出力部７０とを備えている。

図１５（Ａ）に示すように画像画素用の光電変換素子２８Ａに太陽が写り込んだ場合、太陽の直接入射光は極めて明るいため、図１５（Ｂ）に示すように、フラグ画像にも送信源領域として表れる。このような場合、光通信信号が無いにも関わらず、無駄に通信対象数（領域面積）が増加してしまう、という問題がある。

そこで、本実施の形態では、通信信号読み出し回路４６から出力された信号を光信号判定部３６８に入力し、その信号に光通信信号が含まれるかどうかを判断する。光通信信号が含まれれば、光信号判定部３６８はそのまま光通信信号として出力する。一方、光通信信号が含まれなければ、光信号判定部３６８は信号を出力せず、また、光抽出部６８に対して、光通信信号が含まれない信号の領域を次回から抽出しないように登録する。これにより太陽による領域を無視することができる。

太陽光によって出力される信号は基本的に直流であり，意味のある信号は持っていない。つまり通信信号のような時間的変動がほとんど無い。従って、信号の時間的変動の有無を条件にして、光通信信号が含まれるか否かを判断すればよい。

光抽出部６８は、光送信装置１６からの信号光を受光している撮像面上の領域を抽出し、抽出された領域のうち、光通信信号が含まれない信号の領域として登録された領域以外について、領域内の座標値を画素アレイ２８へ出力する。

なお、本実施の形態に係る光通信装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

次に、第４の実施の形態に係る運転支援システムの光通信装置ついて説明する。なお、第４の実施の形態に係る運転支援システムの光通信装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第４の実施の形態では、同一の光通信信号を受光している複数の領域から、何れか１つの領域を選択して抽出している点が、第１の実施の形態と異なっている。

図１６（Ａ）、（Ｂ）に示すように、１つの送信源に複数のＬＥＤが利用されている場合、フラグ画像では図１６（Ｃ）に示すように複数の領域として抽出される。しかしながら、これらが同一の信号を送信しているとすると、例えば、６個全てのＬＥＤを個別に抽出して通信を行うのは、計算コスト（処理負荷）の観点から冗長であり無駄となる。

そこで、本実施の形態では、光抽出部６８によって、この６個を１つの領域として捉え、６個の内、１個のＬＥＤ領域を選択して抽出し、他の５個は無視するようにする。

露光制御部６０は、長さの異なる３種類以上の露光時間の各々で、画像画素用の光電変換素子２８Ａが光電変換するように制御する。例えば、露光制御部６０は、複数の画像画素用の光電変換素子２８Ａにおける露光時間が、図１７（Ａ）のような複数種類の第１露光時間（第１−１露光時間、第１−２露光時間、第１−３露光時間）及び第２露光時間の各々となるように、駆動回路選択信号Ｄ、露光時間制御信号Ｓ、リセット信号Ｒの各信号を出力する。

ここで、ＬＥＤはある広がりを持った光を放射する。このＬＥＤの光をカメラで捉えた場合、ＬＥＤの中心付近が最も強度が強く、周囲にいくに従って弱くなるような光が入射される。

例えば、３種類の第１露光時間で、それぞれを”長く”もしくは”低く”していくと，広がりを持った光であるから 、図１８（Ａ）〜図１８（Ｃ）に示すようなフラグ画像がそれぞれ得られる。

光抽出部６８は、３種類の第１露光時間での光電変換により得られたフラグ画像を合成して、図１８（Ｄ）に示すような合成画像を生成する。図１８（Ｂ）のフラグ画像ではまだそれぞれのＬＥＤが独立しているが、図１８（Ｃ）のフラグ画像になるとそれぞれが連結するため、光抽出部６８は、合成画像における(c)の情報を元に、このＬＥＤ群は同一グループであると判断し、(c)の中にある(a)の6つのＬＥＤのどれか１つを選択して、信号光を受光している撮像面上の領域として抽出する。これによって、他のＬＥＤは選択しないで抽出しないため、冗長で無駄な情報の取得を回避できる。

なお、第４の実施の形態に係る光通信装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

なお、上記の実施の形態では、複数種類の第１露光時間を用いて、同一の光通信信号を受光している複数の領域を特定している場合を例に説明したが、これに限定されるものではなく、例えば、図１７（Ｂ）に示すように、同じ第１露光時間での複数回の光電変換により得られた各信号に対して、第１読み出し回路３８のコンパレータ３８Ａの閾値電圧Ｖ_ＴＨを変化させて、複数のフラグ画像を生成してもよい。この場合、光抽出部は、複数のフラグ画像を合成し、合成画像に基づいて、ＬＥＤ群は同一グループであると判断し、６つのＬＥＤのどれか１つを選択して、信号光を受光している撮像面上の領域として抽出すればよい。

次に、第５の実施の形態に係る運転支援システムの光通信装置ついて説明する。なお、第５の実施の形態に係る運転支援システムの光通信装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第５の実施の形態では、２ビット以上のフラグ画像に基づいて、同一の光通信信号を受光している複数の領域から、何れか１つの領域を選択して抽出している点が、第４の実施の形態と異なっている。

第５の実施の形態に係る運転支援システムの光通信装置では、第１読み出し回路３８によって、２ビット以上のフラグ画像を出力する。

第１読み出し回路３８の回路構成は、第１の実施の形態と同様であり、コンパレータ３８Ａとして、２ビット出力型ＡＤＣを用いる。

第１読み出し回路３８は、図１９に示すような多値のフラグ画像を生成して、制御装置２６に出力する。

制御装置２６の光抽出部６８は、多値のフラグ画像を元に、上記第４の実施の形態と同様に、同一グループであるＬＥＤ群を判断し、6つのＬＥＤのどれか１つを選択して、信号光を受光している撮像面上の領域として抽出する。

なお、第５の実施の形態に係る光通信装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

次に、第６の実施の形態に係る運転支援システムの光通信装置ついて説明する。なお、第６の実施の形態に係る運転支援システムの光通信装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第６の実施の形態では、第１読み出し回路はアナログ信号を出力し、制御装置で、ソフトウェアにより、信号光を受光している撮像面上の領域を抽出している点が、第１の実施の形態と異なっている。

第６の実施の形態に係る運転支援システムの光通信装置において、第１読み出し回路３８は、画像画素用の光電変換素子２８Ａから出力された、第１露光時間での光電変換により得られた画像信号を、アナログ信号のまま、制御装置２６に出力する。

制御装置２６のフラグ画像入力部６６は、複数の画像画素用の光電変換素子２８Ａの各々から、第１露光時間での光電変換により得られた画像信号を入力する。

光抽出部６８は、フラグ画像入力部６６によって入力された複数の画像信号に基づいて得られる撮像画像から、光送信装置１６からの信号光を受光している撮像面上の領域を抽出し、抽出された領域内の座標値を画素アレイ２８へ出力する。

なお、第６の実施の形態に係る光通信装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

なお、上記の第１の実施の形態〜第６の実施の形態において、図２０及び図２２（Ａ）に示すように、通信用の画素と画像用の画素とを分離して設けた場合について説明したが、これに限定されるものではない。図２０において、光電変換部で生成された電子を電圧に変換したり、電流に変換したり、増幅したりする等、様々な処理が行われて読み出し回路等に送るための回路を、画素内回路（もしくは画素回路）と呼び、これら光電変換部と画素内回路の組み合わせを画素と呼んでいる。

ただし、上記の非特許文献１に代表されるように、蓄積型画素（画像用画素）と非蓄積型画素（通信用画素）とを図２１に示すように組み合わせて、１つの光電変換部を通信用と画像用で共有し、通信用及び画像用それぞれに適した２つの画素内回路で信号を読み出す技術が確立されている。この画素を簡略化すると図２１のように示される。このように、１つの光電変換部から、それぞれの画素内回路を通して、それぞれの信号を出力するような統合型の画素において、本発明を適用することができる。具体的には、図２２（Ｂ）に示す“ＲＳＴ”をリセット信号Ｒに置き換え、“ＳＥＬ”を露光時間制御信号Ｓに置き換えればよい。

また、１つの光電変換部はもとより、１つの画素内回路で通信と画像取得が実現できるような画素から、通信信号及び画像信号がそれぞれ出力されれば、本発明を適用することができる。

また、画像画素用の光電変換素子が、光通信画素用の光電変換素子を内包するように基板上に配列されていてもよい。また、光通信画素用の光電変換素子が、画像画素用の光電変換素子を内包するように基板上に配置されていてもよい。

また、上記の実施の形態では、画像画素用の光電変換素子のサイズと光通信画素用の光電変換素子のサイズとが同じ場合を例に説明したが、画像画素用の光電変換素子のサイズと光通信画素用の光電変換素子のサイズとが異なっていてもよく、例えば、光通信画素用の光電変換素子のサイズが、画像画素用の光電変換素子のサイズより小さくなっていてもよい。

また、光通信装置を車両に搭載した場合を例に説明したが、これに限定されるものではなく、例えば、信号機などに光通信装置を搭載してもよい。

１０ 運転支援システム
１２ 光通信装置
１４ 運転支援装置
１６ 光送信装置
１８ 発光素子
２０ 通信制御部
２４ 撮像素子
２６、３２６ 制御装置
２８ 画素アレイ
２８Ａ 画像画素用の光電変換素子
２８Ｂ 光通信画素用の光電変換素子
３０ 垂直方向画像画素選択回路
３４ 水平方向画像画素選択回路
３８Ａ コンパレータ
３８ 第１読み出し回路
４０ 第２読み出し回路
４２ 垂直方向通信画素選択回路
４４ 水平方向通信画素選択回路
４６ 通信信号読み出し回路
６０ 露光制御部
６２ 輝度画像入力部
６４ 画像出力部
６６ フラグ画像入力部
６８ 光抽出部
７０ 光信号入出力部
３６８ 光信号判定部

Claims (5)

1. 受光量に応じた信号を出力する複数の第１光電変換素子と複数の第２光電変換素子とを、一つの基板上に二次元配列した撮像素子と、
   第１露光時間で光電変換を行うように前記第１光電変換素子を制御すると共に、前記第１露光時間より長い第２露光時間で光電変換を行うように前記第１光電変換素子を制御する露光制御手段と、
   前記撮像素子の前記複数の第１光電変換素子から、前記第１露光時間の光電変換により出力された信号に基づいて得られた撮像画像から、信号光を受光している撮像面上の領域を抽出する抽出手段と、
   前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号を、前記信号光が表わす光通信信号として出力する光通信出力手段と、
   前記撮像素子の前記複数の第１光電変換素子から、前記第２露光時間の光電変換により出力された信号に基づいて得られた撮像画像を出力する画像出力手段と、
   を含む光通信装置。
2. 前記撮像素子の前記複数の第１光電変換素子から、前記第１露光時間の光電変換により出力された信号に基づいて、各画素を１ビットのデジタル信号とするフラグ画像を生成して出力する読み出し回路を更に含み、
   前記抽出手段は、前記読み出し回路から出力されたフラグ画像から、信号光を受光している前記撮像面上の領域を抽出する請求項１記載の光通信装置。
3. 前記抽出手段は、前記信号光を受光している前記撮像面上の領域を繰り返し抽出して、前記信号光を受光している前記撮像面上の領域を追跡する請求項１又は２記載の光通信装置。
4. 前記露光制御手段は、長さが異なる複数種類の前記第１露光時間の各々で光電変換を行うように前記第１光電変換素子を制御すると共に、前記第１露光時間より長い第２露光時間で光電変換を行うように前記第１光電変換素子を制御し、
   前記抽出手段は、前記撮像素子の前記複数の第１光電変換素子から、前記複数種類の第１露光時間の光電変換の各々により出力された信号に基づいて得られた複数の撮像画像から、同じ信号光を受光している前記撮像面上の複数の領域を抽出し、前記抽出された前記複数の領域の少なくとも１つの領域を選択する請求項１〜請求項３の何れか１項記載の光通信装置。
5. 前記撮像素子の前記複数の第１光電変換素子から、前記第１露光時間の光電変換により出力された信号に基づいて、各画素を複数ビットのデジタル信号とするフラグ画像を生成して出力する読み出し回路を更に含み、
   前記抽出手段は、前記読み出し回路から出力されたフラグ画像から、同じ信号光を受光している前記撮像面上の複数の領域を抽出し、前記抽出された前記複数の領域の少なくとも１つの領域を選択する請求項１〜請求項３の何れか１項記載の光通信装置。

Images