JP4793685B2 - 情報伝送システム、撮像装置、情報出力方法、及び、情報出力プログラム - Google Patents

Description

本発明は、伝送対象となる情報を光の輝度変調で送受信する、撮像装置、情報出力方法、及び、情報出力プログラムに関する。

従来より知られる、光を通信媒体とした情報伝送技術としては、たとえば、下記の特許文献１、及び、特許文献２をはじめとした様々なものが知られている。たとえば、特許文献１や２は、光の変調を利用し、カメラ等の二次元センサを用いて情報の伝送を行う技術である。

特開２００３−１７９５５６号公報 特開平０５−１７４２６１号公報

一方、近年では、交通信号機の灯具がＬＥＤ（Light Emitting Diode）に換装されていることから、その灯具の光源とした情報伝送が考えられ、具体的な実現方法としてはカーナビゲーションシステムに実装させることが予想される。

しかしながら、上記技術をカーナビゲーションシステムに適用させた場合、車両と交通信号機との位置関係が常に一定でないことから、情報発信する交通信号機の灯具を常に捕捉しなければ、正確な情報を取得できないという問題が予想される。

そこで、本発明は、たとえば、走行中の車両と交通信号機との位置関係など、常に情報発信側と受信側の位置関係が変化するような環境であっても、良好な情報伝送を可能とすることを目的とする。

請求項１記載の発明は、情報を輝度変調して送信する光源と、該光源を含む画角を撮像する撮像装置からなる情報伝送システムであって、前記撮像装置は、前記光源の輝度変調による輝度領域を含む画像を複数のフレームに渡って撮像する撮像手段と、前記撮像手段によって撮像された前記複数のフレームにおける各画像から、当該フレーム全体の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段の検出結果を参照して、前記画角から前記光源の光と相関度が高い画素をラベリングし、前記複数のフレームに渡ってこのラベリングされた画素の追跡を行う追跡手段と、前記追跡手段によって前記複数のフレームに渡って追跡された画素に含まれる輝度変調から情報へ復号する復号手段と、前記復号手段によって復号された情報を出力する情報出力手段とを備えたことを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、前記撮像装置は移動手段を更に備え、前記追跡手段は、前記動きベクトル検出手段の検出結果と前記移動手段による移動状態とに基づいて、前記複数の画像に含まれる前記ラベリングされた画素の追跡を行うことを特徴とする。
請求項３記載の発明は、上記請求項１又は２記載の発明において、前記撮像装置は、前記動きベクトル検出手段の検出結果により前記画角内における動きベクトルの消失点の位置を設定する設定手段と、前記情報出力手段によって出力されるべき情報が複数ある場合、前記出力されるべき情報を復号した画素の位置と前記設定手段によって設定された動きベクトルの消失点の位置とに基づいて、優先して出力すべき情報を選択する選択手段と、を更に備えたことを特徴とする。

請求項４記載の発明は、輝度変調された領域を含む画像を複数のフレームに渡って撮像する撮像手段と、前記撮像手段によって撮像された前記複数のフレームにおける各画像から、当該フレーム全体の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段の検出結果を参照して、前記画角から前記光源の光と相関度が高い画素をラベリングし、前記複数のフレームに渡ってこのラベリングされた画素の追跡を行う追跡手段と、前記追跡手段によって前記複数のフレームに渡って追跡された画素に含まれる輝度変調から情報へ復号する復号手段と、前記復号手段によって復号された情報を出力する情報出力手段とを備えたことを特徴とする。

請求項５記載の発明は、上記請求項４記載の発明において、移動手段を更に備え、前記追跡手段は、前記動きベクトル検出手段の検出結果と前記移動手段による移動状態とに基づいて、前記ラベリングされた画素の追跡を行うことを特徴とする。
請求項６記載の発明は、上記請求項４又は５記載の発明において、前記動きベクトル検出手段の検出結果により前記画角内における動きベクトルの消失点の位置を設定する設定手段と、前記情報出力手段によって出力されるべき情報が複数ある場合、前記出力されるべき情報を復号した画素の位置と前記設定手段によって設定された動きベクトルの消失点の位置とに基づいて、優先して出力すべき情報を選択する選択手段と、を更に備えたことを特徴とする。

請求項７記載の発明は、輝度変調された領域を含む画像を複数のフレームに渡って撮像する撮像ステップと、前記撮像ステップにて撮像された前記複数のフレームにおける各画像から、当該フレーム全体の動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトル検出ステップでの検出結果を参照して、前記画角から前記光源の光と相関度が高い画素をラベリングし、前記複数のフレームに渡ってこのラベリングされた画素の追跡を行う追跡ステップと、前記追跡ステップにて前記複数のフレームに渡って追跡された画素に含まれる輝度変調から情報へ復号する復号ステップと、前記復号ステップにて復号された情報を出力する情報出力ステップとを含むことを特徴とする。
請求項８記載の発明は、上記請求項７記載の発明において、前記動きベクトル検出ステップでの検出結果により前記画角内における動きベクトルの消失点の位置を設定する設定ステップと、前記情報出力ステップにて出力されるべき情報が複数ある場合、前記出力されるべき情報を復号した画素の位置と前記設定ステップにて設定された動きベクトルの消失点の位置とに基づいて、優先して出力すべき情報を選択する選択ステップと、を更に含むことを特徴とする。

請求項９記載の発明は、コンピュータを、輝度変調された領域を含む画像を複数のフレームに渡って撮像する撮像手段、前記撮像手段によって撮像された前記複数のフレームにおける各画像から、当該フレーム全体の動きベクトルを検出する動きベクトル検出手段、前記動きベクトル検出手段の検出結果を参照して、前記画角から前記光源の光と相関度が高い画素をラベリングし、前記複数のフレームに渡ってこのラベリングされた画素の追跡を行う追跡手段、前記追跡手段によって前記複数のフレームに渡って追跡された画素に含まれる輝度変調から情報へ復号する復号手段、前記復号手段によって復号された情報を出力する情報出力手段として機能させることを特徴とする。
請求項１０記載の発明は、上記請求項９記載の発明において、更に、前記動きベクトル検出手段の検出結果により前記画角内における動きベクトルの消失点の位置を設定する設定手段、前記情報出力手段によって出力されるべき情報が複数ある場合、前記出力されるべき情報を復号した画素の位置と前記設定手段によって設定された動きベクトルの消失点の位置とに基づいて、優先して出力すべき情報を選択する選択手段として機能させることを特徴とする。

本発明によれば、走行中の車両と交通信号機との位置関係などのように、常に情報発信側と受信側の位置関係が変化するような環境であっても、良好な情報伝送が可能になる。

以下、最良の実施形態として、車載用の撮像・受信端末とナビゲーション装置、並びに、発信側として、交通信号機やその他街灯等の照明を利用した位置情報との連動による実施の例について、図面を参照しながら説明する。

なお、以下の説明において、光信号とは、情報伝送媒体としての信号（特に光による信号）そのものを指し、信号機とは、そのような光信号を送信（発光）するための装置一般を指す。また、以下では、信号機の代表として、発光式の交通信号機を例にするが、これに限定されない。上記の光信号を送信（発光）可能なものであれば、交通信号機以外の信号機または街路灯若しくは発光式の道路案内板や看板その他の固定物であってもよい。

図１は、本実施形態の全体システム図である。送信部１は、たとえば、交通信号機の光源２と、その光源２を点滅（輝度変調）させることによって任意の情報を送出する情報送出部３とを含む。撮像機能付きの受信端末４は、車両に搭載することが可能であり、撮像処理部５、信号検出／復号処理部６、動きベクトルテーブル時系列バッファ７、応用処理部８などを含み、撮像処理部５によって車両前方（進行方向）の画像を撮影し、その撮影画像を信号検出／復号処理部６や動きベクトルテーブル時系列バッファ７などで処理して情報出力し、その情報を応用処理部８（たとえば、カーナビゲーション部等）にて再生出力するようにしたものである。

図２は、受信端末４の電気的な内部構成図である。受信端末４は、上記撮像処理部５の主たる構成として、撮像部５０、光学レンズ部５１、及び、キャプチャ画像バッファ５２、上記信号検出／復号処理部６の主たる構成として、タイミングジェネレータ６０、ＣＰＵ６１、パターンデータメモリ６２、基準画像バッファ６３、フレーム時系列バッファ６４、相関度評価画像バッファ６５、二値化等作業バッファ６６、ベクトルテーブル処理用データテーブル６７、検出パラメータリスト６８、ビットバッファリスト６９、及び、復号結果リスト７０、また、上記応用処理部８の主たる構成として、ＧＰＳ受信装置８１、操作子８２、液晶ディスプレイ８３、表示バッファ８４、及び、動き補助情報入力部８５を備えている。

また、応用処理部８は主にカーナビゲーションシステムを想定したものであり、ＧＰＳ受信装置８１はＧＰＳ電波８ａを受信し、自己位置を特定する機能を有する。操作子８２は操作パネルやリモコン等であり、液晶ディスプレイ８３や表示バッファ８４は、地図データや経路案内の情報を保持、また、この保持された情報を可視化して表示する。また、応用処理部８は、カーナビゲーションとしての用途に用いられる他、受信端末４で受信再生された送信部１からの送信情報の表示装置としても利用される。また、応用処理部８は、後述の動き検出処理の精度を高めるために、受信端末４を搭載した車両の動き情報（車速や操舵情報）を取得するための動き補助情報入力部８５も備えている。

本実施形態のポイントは、受信端末４に、動きベクトルテーブル時系列バッファ７が含まれる点にある。この動きベクトルテーブル時系列バッファ７は、フレーム時系列バッファ６４と呼応して、光信号源（図１の光源２）の動き（受信端末４との相対的な動き）を考慮した検出や復号処理に用いられる。

なお、フレーム時系列バッファ６４の隣り合う２枚のフレーム画像データ（以下、プレーンと称する）と、動きベクトルテーブル時系列バッファ７の１枚のプレーンとは共に対応し、後述する実ベクトルテーブルＶＲを形成するので、動きベクトルテーブル時系列バッファ７は、フレーム時系列バッファ６４よりも１プレーン少ない数のバッファとなっている。

図３（ａ）は、送信部１と受信端末４の利用状態図である。この図において、第一〜第三の交通信号機１００、１０１、及び、１０２の灯具（たとえば、赤色、青色、黄色の各灯具）は、それぞれ送信部１の光源２である。なお、重要な交差点などに設置された特定の交通信号機（たとえば、第一の交通信号機１００）の３つ全ての灯具またはいずれかの灯具を送信部１の光源２としてもよい。

さて、信号機（第一の信号機１００〜第三の交通信号機１０２）に向かって進行中の車両９には受信端末４が搭載されており、その受信端末４の（の撮像部５０）撮影画角（図では垂直方画角α）内の車両９の前方画像を捉えるようになっている。

図３（ｂ）は、車両９の車内から前方を見た図である。運転者等の乗員の視界には、フロントウィンドウを透して路面１１０や周囲の景色１１１などが入っているほか、前方直近の第一の交通信号機１００及び遠方の第二の交通信号機１０１並びに更に遠方の第三の交通信号機１０２も入っている。車両９のダッシュボードには、カーナビゲーション部の液晶ディスプレイ８３が取り付けられている。この液晶ディスプレイ８３の画面には、通常であれば、地図や経路案内等のカーナビ情報が表示されるが、受信端末４の一部として機能する際には、受信端末４の撮像部５０で撮影された画像が表示されると共に、その画像内に送信部１からの光信号が含まれている場合には、当該光信号によって伝送された任意の情報を可視化して表示できるようになっている。

たとえば、図示の例においては、液晶ディスプレイ８３の画面に車両９の前方画像８３０が映し出されていると共に、その前方画像８３０の第二の交通信号機１０１の位置に、吹き出し付きの案内情報８３１が重畳表示されている。この案内情報８３１は、第二の交通信号機１０１に組み込まれた送信部１からの光信号を受信端末４で受信再生した情報であり、たとえば、図示のような「前方の交差点を右折しなさい」という主旨の図形画像である。

なお、交通信号機１００〜１０２を送信部１として兼用するためには、交通信号機１００〜１０２の灯具の応答性が問題になるが、今日では応答性に優れたＬＥＤ式灯具を用いた交通信号機が広く普及しているので、かかる心配はない。

また、交通信号機１００〜１０２を送信部１として兼用した場合の提供情報の内容についても、上記例示のような案内情報８３１であってもよいし、単なる地点情報（たとえば、○○交差点等）であってもよい。あるいは、観光スポットなどの情報であってもよい。さらには、交通信号機特有の情報、たとえば、現表示（青色の進め表示等）から次表示（黄色の注意表示等）に切り替わるまでの残り時間の情報であってもよい。この場合、進め表示から注意表示に切り替わるまでの残り時間が少ないときは、走行中の車両の乗員にその旨（例：“黄色表示に切り替わります。ご注意ください”等）を伝えることにより、事前に車両停止を準備させることができる。または、アイドルストップ機能付き車両の場合には、進め表示に切り替わるまでの残り時間が所定時間内になったときに事前にエンジンをスタートさせておくことができる。これにより、進め表示に切り替わった時点で速やかに車両を発進させることができ、交差点付近の混雑を緩和できる。

本実施形態では、送信部１と受信端末４が同期している。すべての交通信号機１００〜１０２は固定設備であり、各種の方法で全ての信号が同期している構成をとるのは容易である。また、受信端末４は、前記の通り、一般のカーナビゲーションを内包しているので、このカーナビゲーションからきわめて高精度な時間情報（ＧＰＳ時間情報）を取得することができ、この時間情報を交通信号機等に組み込まれた送信部１との同期に利用することができる。もちろん、たとえば、受信端末４の撮像部５０のカメラフレームレートを信号機の点滅周期の２倍にしたり、いわゆるスライディング相関によって同期補足を行ったりする構成も可能である。

図４は、送信部１が送出する光信号の形式や各種タイミングの関係図である。光信号は点灯状態を“１”、消灯状態を“０”として図示のデータフォーマット１２で、たとえば、交通信号機１００〜１０２から送出される。このデータフォーマット１２は、７ビットの二進疑似乱数（ＰＮ符号等）のプリアンブル１２０と、誤り訂正冗長を含む６８ビット（符号化率を６０％として実データ長は４０ビット）のデータボディ１２１とによって１つのデータフレームを構成しており、そのデータフレームが順次に繰り返す構造となっている。送信部１の光源２は、データフレーム内の各ビットの論理が“１”のときに点灯（または所定輝度以上の明るさ）し、論理が”０”のときに消灯（または所定輝度以下の明るさ）する。光源２の点灯／消灯の単位は、データフレームの１スロット毎であり、１スロットの長さは、本実施形態では仮に約３．３３ｍｓ（３００Ｈｚ）であるとする。送信部１の光源２には、少なくとも３００Ｈｚを越える応答速度が求められるが、先にも説明したように、交通信号機１００〜１０２のＬＥＤ灯具は、かかる要求に充分な応答性能を持っている。

なお、受信端末４の撮像部５０の解像度を３２０×２４０とし、フレームレートを３００ｆｐｓとすると、１データフレームの周期は、１／３００×７５＝０．２５秒になる。これは、受信端末４で１秒間に４つのデータフレームを受信できることを意味する。したがって、データフレームの実データレートを、上記のとおり４０ビットとすれば、４０ビット×４フレーム＝１６０ビットものデータを毎秒ごとに送信部１から受信端末４に伝送することが可能になる。

また、外乱に強いパターン変調による検出と、データレートを効率的に行うデータボディをフレームとして繰り返し通信にしたことで、外乱に強い検出とビットレートのバランスをとることができる。

図５は、全体の処理フローを示す図である。光信号の検出復号処理（ステップＳ１）は、常にリアルタイムに並行処理されている。たとえば、受信端末４と送信部１は同期しているので、プロセス間通信のような手段によって、指定フレーム数ごとの一定時間間隔チェックを行うことにより、光信号の検出状況や取得できた情報がわかる。

このフローでは、まず、運転者が操作子８２を操作することにより、目的地の入力及びルート等の設定を行う（ステップＳ２）。次いで、復号結果リスト７０をチェックし（ステップＳ３）、交通信号機１００〜１０２や街灯などに設置された送信部１からの光信号の受信の有無を判定する（ステップＳ４）。そして、受信端末４の撮像部５０の画角内に光信号が検出されないときには、通常のカーナビの表示モードとなり通常のカーナビとして利用する（ステップＳ５）。

一方、受信端末４の撮像部５０の画角α内に光信号が検出されたときには、消失点に近い検出結果から順次に選択し（ステップＳ６）、復号情報取り出し及び設定ルート情報と復号情報の照合（ステップＳ７）を行った後、液晶ディスプレイ８３に表示すべき検出結果であるか否かを判定する（ステップＳ８）。

そして、表示すべき検出結果でなければ、再びステップＳ６以降を繰り返し、表示すべき検出結果であれば、検出点の領域を求め、表示位置を決定し、表示内容を生成し（ステップＳ９）、液晶ディスプレイ８３に表示する（ステップＳ１０）。最後に、他に検出結果があれば（ステップＳ１１）、再びステップＳ６以降を繰り返し、なければステップＳ３に復帰する。

図６は、液晶ディスプレイ８３の画面表示例を示す図である。この図に示すように、表示画面には、画像の動き検出から推定された仮想の消失点１３０（動きベクトルが最も少ない点）が設定されている。そして、この消失点１３０から画面の四隅にかけて４本の仮想の直線（図面上では一点破線）１３１〜１３４が放射状に引かれ、それらの直線１３１〜１３４に四隅を接する距離枠１３５、１３６が設定されている。

各々の距離枠１３５、１３６は、情報検出点の近くに配置される。たとえば、図示の例では、直近の第一の交通信号機１００とそれよりも遠い第二の交通信号機１０１及びさらに遠方の第三の交通信号機１０２のいずれにも送信部１が設置されているものと仮定し、中距離に位置する第二の交通信号機１０１の近くに第一の距離枠１３５を、遠方の第三の交通信号機１０２の近くに第三の距離枠１３６を設定している。そして、第一の交通信号機１００の送信部１から伝送された情報の内容を液晶ディスプレイ８３の画面枠の大きさに対応したサイズの吹き出し８３２で表示すると共に、第二の交通信号機１０１の送信部１から伝送された情報の内容を第一の距離枠１３５の大きさに対応したサイズの吹き出し８３３で表示し、且つ、第三の交通信号機１０２の送信部１から伝送された情報の内容を第二の距離枠１３６の大きさに対応したサイズの吹き出し８３４で表示している。

図示の例の場合、液晶ディスプレイ８３の画面サイズを基準（×１領域）とし、第一の距離枠１３５の大きさを約６０％（×０．６領域）とすると共に、さらに遠い第二の距離枠１３６の大きさを約３０％（×０．３領域）にしている。３つの吹き出し８３２、８３３、８３４の大きさも同倍率であり、それぞれ１．０倍、０．６倍、０．３倍となっている。これにより、３つの吹き出し８３２、８３３、８３４の大きさの違いから遠近感を出すことができる。なお、吹き出し８３２、８３３、８３４の中に表示されるフォントの大きさも同倍率にする（遠くになるほど小さくする）ことが望ましい。

また、吹き出し８３２、８３３、８３４の表示位置も、近距離とみなしたものは液晶ディスプレイ８３の画面枠に接触し若しくは近づけて表示するが、中・遠距離とみなした（消失点に近い）ものについては、該当する距離枠１３５、１３６に接触し若しくは近づける程度にとどめる。これにより、簡便に情報光源との距離／空間関係を反映した表示が可能になる。

また、吹き出し８３２、８３３、８３４の表示が重なる場合は、先に表示処理したものを隠さないように配置する。仮に多数の信号の検出によって、どうしても重なりが出る場合は、消失点に近い（遠いとみなした光信号光源の）情報が先に表示されるようにしておけばよい。距離が近いとみなされた情報はその上に表示されることになり、とりわけ支障になることはない。運転者等の乗員は、一般的には近い方の情報から先に認識するからである。

なお、消失点１３０が存在しない（停止中で動きベクトルから消失点１３０を生成できない、または、大きな右左折などの画角全体のパンニングにより、画角から外れた位置に消失点１３０が存在するとみなされた場合）の吹き出しの表示ルールとしては以下の手法から適宜選択するものとする。
（１）全て中間距離とみなして吹き出し表示する。
（２）停止中の場合は、中央部ほど吹き出し表示を小さくする。
（３）右折中ならば右に行くほど吹き出し表示を小さくし、左折中ならば左に行くほど吹き出し表示を小さくする。
（４）消失点を画面中央と仮定して吹き出し表示の表示制御を適用する。
この時、手法（２）と（３）は、「進行方向に行くほど奥がある＝遠距離」という前提を反映したルールであるが、ユーザの好みや利用環境など考慮して適宜のものを選択してもよい。

図７は、動きベクトル処理のための消失点１３０の検出の考え方を示す図である。たとえば、ある交通信号機の変調された光信号を検出・復号するためには、画像の時系列において、逐次動きベクトルを算出しなくてはならない。

情報を送出する光源（送信部１の光源２）は自ら動かず、光源２からの光信号を受信する受信端末４は車両９と一緒に移動する。車両９は特殊な場合を除き、道路上を走行する。このため、車両９の進行方向は奥行きをもった視界になる。したがって、理想的な状況（直線道路を走行中など）では、図７（ａ）のように、特定の消失点１３０を中心にして、その消失点１３０の近く（＝遠距離）では小さく、消失点から離れるにつれて（＝近距離になるにつれて）大きくなる動きベクトル１３７が観測される。

しかし、実際には、図７（ｂ）のように、受信端末４の画角内に前方を走行する車両等の移動物体が存在し、動きのノイズなどが発生したり、図７（ｃ）のように、大きな右左折などの画角全体のパンニングにより、画角から外れた位置に消失点１３０が存在したりするケースがあるため、図７（ａ）のような理想的な状況になることはまれである。そこで、実用に供するために、撮像部５０の撮像画角については、前提条件として「車両９は消失点１３０がある前進（または後退）＋旋回を基本にした動きをする。」と見なし、その前提条件にマッチするように、仮想の消失点１３０を求め、その仮想の消失点１３０を基準に各プレーン間で逐次動きベクトル１３７の時系列を求め、光信号検出や復号処理を行うものとする。

図８は、図５のステップＳ１の詳細なフローチャートを示す図である。上記の動きベクトル処理は、ステップＳ２１〜ステップＳ２８までの処理で行われる。動きベクトルの求め方などは、公知の方法が多種あるので、それらを適宜援用することとする。全体として、撮像部５０による１プレーンの撮り込みを開始タイミングとしたループ処理となっている。以後の説明において、このループ処理については、以下、キャプチャサイクルと呼ぶことにする。

まず、ステップＳ２１からステップＳ２３は撮り込んだプレーンの格納と、ＦＩＦＯ（First In First Out）バッファの処理であり。ベクトル処理と合わせて定常動作するハードウェア化されていると考えてもよい。なお、後述のデータ復号処理では、フレーム時系列バッファ６４におけるバッファ６４１以後は使われないため、ステップＳ２２のシフトは不要となるが、処理の説明を単純にするために、データ取得処理中でも、プリアンブルの７ビット分のデータのシフトなどが行われるものとする。

次に、ステップＳ２４において、ベクトルテーブル処理用バッファデータテーブル６７に、図９に図示するような、実ベクトルテーブル６７１、及び、標準ベクトルテーブル６７２を生成し、ステップＳ２５において、フレーム時系列バッファ６４のバッファ６４１に格納される一番目のプレーンとバッファ６４２に格納される二番目のプレーンから動きベクトルを求め、生成された実ベクトルテーブル６７１に登録する処理を行う。

次に、ステップＳ２６では、車両９が停止中か否かを、車速操舵情報Ｖを逐次取得している動き補助情報入力部８５から出力された情報より判断する。停止していなければ、この補助情報入力部８５から出力された情報に基づいて、標準ベクトルテーブル６７２に登録する。停止していれば、動きベクトル無しとして、動きベクトルテーブル時系列バッファのバッファ７０１に登録する。

ステップＳ２６において、車両９が停止中ではないと判断された場合、次のステップＳ２７において、標準ベクトルテーブル６７２に、動き補助情報入力部８５から出力された情報を登録し、次のステップＳ２８で、この標準ベクトルテーブル６７２に登録された情報に含まれる標準消失点の位置座標を参照し、この標準消失点の近傍であり、実ベクトルテーブル６７１においてもっとも消失点の候補になると判断される位置座標を算出して、動きベクトル時系列バッファ７のバッファ７０１に登録する。なお、上記ステップＳ２４〜Ｓ２８までの処理についての詳細は以下の理論に起因するものである。

図９は、図８における、ステップＳ２４からＳ２８までの処理を概念として示したものである。まず、図２の動きベクトルテーブル時系列バッファ７には、撮像されたプレーンにおける８×８ドット領域を１グループとして動きベクトルが登録される。この時、動きベクトルテーブル時系列バッファ７の各バッファ７０１〜７０６のサイズは４０×３０の配列であり、たとえば、座標（０，０）−（７，７）のバッファ領域は全て同一の動きベクトル（Ｖｘ，Ｖｙ）を持つことになる。

ここで、動きベクトルテーブル時系列バッファ７のバッファ７０１に格納される動きベクトルを求めるには、まず、フレーム時系列バッファ６４のバッファ６４１に格納される一番目のプレーンとバッファ６４２に格納される二番目のプレーンを元に生成された動きベクトル、及び、消失点候補を実ベクトルテーブルに登録し、次に、車両９の車速操舵情報Ｖからから類推された結果に基づいて、生成された標準ベクトルテーブル６７２に、標準消失点及び標準動きベクトルを登録する。そして、実ベクトルテーブル６７１と標準ベクトルテーブル６７２とのテーブル内容を合成し、概ねの消失点を予測し、その予測された消失点を元に実際の画像系列から求めた動きベクトルに最も適合する尤度の高い消失点を決定し、そこから、ベクトルテーブルを構成して動きベクトルテーブル時系列バッファのバッファ７０１（動きベクトルテーブル時系列バッファの一番目のプレーン）に登録するようにしている。これにより、実際のカメラデータからの類推よりはるかに少ない処理と、結果の確からしさをえることができる。

たとえば、図７（ｂ）の場合では、たとえば、１３８として見られるようなノイズとなる動きベクトルがあり、且つ、空などの動きベクトルの検出不能領域があるが、消失点に向け一致する方向にある動きベクトル１３７も存在している。したがって、概ねの消失点の近傍で仮想消失点の位置を数カ所予測し、複数ある動きベクトルのうち、集中する方向が最も一致するものを実ベクトルに最も適合する消失点と判断させ、この判断された消失点に対し不適合と判断された動きベクトルを削除するか、判断された消失点から類推されるベクトル要素に置き換える。

ステップＳ３０以降では、処理モードの判定を行う。すなわち、現在のモードが図４におけるプリアンブル１２０の取得中か、プリアンブル１２０を取得し、チェック中か、データボディ１２１を取得したことによるデータ取得・復号処理中かを判断する。プリアンブル１２０の取得中であればステップＳ２１の処理に戻り、プリアンブル１２０のチェック中であればステップＳ３１の信号検出処理に移行して再びステップＳ２１の処理に戻り、データボディ１２１の取得中であれば、ステップＳ３１のデータ取得・復号処理に移行して再びステップＳ２１の処理に戻る。

図１０は、プリアンブル１２０の検出処理（図８のステップＳ３１）の詳細なフローチャートを示す図であり、図１０〜図１２は、その動作概念図である。図示のステップＳ４１からステップＳ４９は、画像時系列の各座標点に対して、動きベクトルを逐次参照して得た座標ドット値の系列（図１３の符号１４参照）と、検出の際の相関比較のためのプリアンブル符号パターンとの評価を行う処理である。

より具体的には、まず、ステップＳ４１にて、バッファ６４１に格納された１番目のプレーンにおいて走査を開始して座標を決定し、ステップＳ４２で、この決定された座標に逐次対応する点群を、動きベクトルテーブル時系列バッファ７におけるバッファ７０１〜７０６の各プレーンの内容を参照しながら、フレーム時系列バッファ６４のバッファ６４２〜６４７の各プレーンから抽出し、ドット値系列を求める。この処理を図１２を用いて詳述すると、たとえば、バッファ６４１に格納される一番目のプレーンにおいて対応点が素５２１において、各プレーンの対応画素を取得するものとする。この場合、画素５２１が存在する座標について、動きベクトルテーブル格納バッファ７のバッファ７０１に格納されるプレーンを参照すると、この座標の対応点５２２の動きベクトル（５，４）となっている。したがって、フレーム時系列バッファのバッファ６４２に格納される２番目のプレーンでは、この動きベクトル５２２の座標分だけ位置が移動し、画素５２３が、対応画素となる。

以降、動きベクトルテーブル格納バッファ７のバッファ７０２に格納されるプレーンの対応点５２４の動きベクトルを参照して、フレーム時系列バッファのバッファ６４３に格納される３番目のプレーンにおける対応画素を抽出し、この処理をバッファ６４７に格納される７番目のプレーンの対応画素５２５まで行う。すなわち、フレーム時系列バッファに格納される対応点画素は、プリアンブル１２０を検出できるように、各プレーンの動きベクトルを参照することで追跡される。

一方、ステップＳ４３において、これら抽出された対応点群のうち、各プレーンにおいて、対応点がプレーンから外れる（たとえばプレーンに対応するフレーム画像からその対応点が外れる）ものがあるか無いかを判断する。対応点が外れる場合、たとえば、今回決定された座標がプレーンのエッジ部分に相当し、動きベクトルが検出されて各プレーンにおいて対応点が外れる場合は、ステップＳ４５において、その座標に関してはプリアンブル１２０が検出不可能と判断する。一方、ステップＳ４３において、これら抽出された対応点群のうち、各プレーンにおいて、対応点がプレーンから外れていない場合は、ステップＳ４４にて、上記の方法によって各プレーンにおける対応点を抽出し、プリアンブル１２０との相関を見るための評価処理に入る。なお、この相関を見るための評価処理については、特開２００３−１７９５５６にて詳細を説明しているので省略する。この評価処理にて得た相関度評価画素については、相関度評価画像バッファ６５に座標と対応付けて順次登録される。

この時の状態を図１１の（ａ）に示す。すなわち、相関度評価画像バッファ６５に格納されるデータ５２０は、相関の度合いが濃淡となっている。なお、このデータのサイズはキャプチャされたフレームのサイズと同じである。

このようにして、プリアンブル１２０と、各プレーンにおける対応点との評価処理が終了すると、ステップＳ４６で一番目のプレーンにおいて、評価対象画素があるか否か、すなわち、最終座標まで走査が完了したか否かを判断し、完了していなければ、ステップＳ４７において、次の座標にシフトして再びステップＳ４１からの処理を開始する。一方、最終座標まで走査が完了していれば、評価対象画素は無いものと判断し、ステップＳ４４にて相関度評価画像バッファ６５の内容について、プリアンブル１２０の判定スレッシュで２値化処理し、信号検出ができた検出領域（座標）を注目すべき領域としてラベリングする。

このスレッシュ判定については、図１３に図示するように、上述のドット値系列１４をスレッショルド（閾値）１５を基準にして、プリアンブル１２０の“０”または“１”のデータ１６と照合する。これにより２値化を行った結果、この検出領域のドット値系列が、信号検出のための輝度領域であるか否かを判定する。また、この時の状態を図１１の（ｂ）に示すと、（ａ）において、プリアンブル１２０との相関度が高いと判断され、最終的にラベリングされたものは、図中において十字で目印が付けられている。この後、ステップＳ４８において、ラベリングを施した後、ステップＳ４９において、このラベリングされた座標領域が複数存在するか否かを判断する。ラベリングされた座標領域が複数無い場合は、ステップＳ５０において、今回検出された座標領域の重心を求め、その重心のドット値系列の値を検出パラメータリスト６８に登録し、本処理を終了する。

一方、ステップＳ４９において、ラベリングされた座標領域が複数存在すると判断された場合、ステップＳ５１にて順次検出領域を取り出し、ステップＳ５２にて、その取り出された座標領域の重心を求め、その重心のドット値系列の値を検出パラメータリスト６８に登録する。そして、ステップＳ５３にて、全ての座標領域について取り出しが完了したか否かを判断し、完了していなければステップＳ５１の処理に戻り、一方、完了したと判断すれば、本処理を終了する。

このようにパターンとの相関度評価により、スレッショルドが不定で、かつ、微弱な輝度変調であってもとらえることができるので、外乱にきわめて強い検出を行うことができる。

なお、ステップＳ５０、Ｓ５２にて格納されたデータは、以後のデータボディ取得の観測座標点となる。次に、データボディ１２１に格納されるデータの復号処理について、図１４を用いて詳述する。

図１４は、データ取得・復号処理（図８のステップＳ３２）の詳細なフローチャートを示す図、図１５は、その動作概念図である。まず、ステップＳ６１において、信号検出処理のステップＳ５０、もしくはステップＳ５２に格納された検出パラメータリスト６８を参照し、ステップＳ６２にて、この検出パラメータリスト６８に検出された座標領域があるか否かを判断する。検出座標領域が無ければ、本処理を終了するが、検出座標領域が存在する場合、ステップＳ６３において、検出パラメータエントリとして、この座標領域を読み出す。

次に、この読み出された座標領域について、フレーム時系列バッファ６４におけるバッファ６４２に格納される二番目のプレーンについて、対応する検出座標を読み出し、さらにステップＳ６５にて、動きベクトルテーブル時系列バッファ７におけるバッファ７０１に格納されたプレーンより、この検出座標に対応する動きベクトルを参照し、ステップＳ６６にて対応する座標を更新する。

この後、ステップＳ６７において、フレーム時系列バッファ６４におけるバッファ６４１に格納される一番目のプレーンについて更新された検出座標に対応する座標を読み出し、ステップＳ６８で、この検出座標におけるドット値系列について、対応するスレッシュデータ、すなわち閾値を越えるか否かの判断に基づいて比較し、ステップＳ６９において、この比較結果をビットバッファリスト６９に格納する。

この後、ステップＳ７０において検出パラメータリスト６８に複数の座標領域があるか否かを判断する。検出座標領域が複数ある場合、さらにステップＳ７１において、これら複数の検出座標領域について全て比較し、ビットバッファリスト６９への格納が完了したか否かを判断する。全て比較していなければ、ステップＳ７２において、次のエントリ（検出座標領域）を読み出す処理に入り、再びステップＳ６４の処理に戻るが、全て比較しているか、若しくは、検出座標領域が一つだけエントリされ、その検出座標領域においての比較結果がビットバッファリスト６９に格納されている場合には、本データフレーム１２についてのデータボディ１２１の処理が終了したか否かを、ステップＳ７３にて判断する。

然るに、データボディ１２１の処理が終了していない場合は、本データフレーム１２については、比較していないデータボディ１２１のデータがあるため、ステップＳ７４にてビットバッファリスト６９に比較結果を維持したまま処理を終了するが、データボディ１２１の処理が終了している場合、本データフレーム１２のデータ全てについて比較が完了していることから、ステップＳ７５において、これらのデータについて復号処理を行い、光源２より送信された、本来の情報へ復元する。

この一連の処理を図１５を用いて詳述すると、検出パラメータリスト６８には、検出座標領域の座標値６８１に対してスレッシュデータ６８２、検出座標領域の座標値６８３に対してスレッシュデータ６８４、というように、夫々対応するスレッシュデータと対応付けられて格納されている。したがって、これら対応するスレッシュデータによって、ビットバッファリスト６９には比較結果が生成され、さらにこの結果によって最終的に復号結果が生成される。

このように、ステップＳ７５にて復元された情報はステップＳ７６にて復号結果リスト７０へ転送され、ステップＳ７７にて、この復号結果に基づいて、たとえば、図３（ｂ）にて図示するような、第二の交通信号機１０１の位置へ吹き出し付きの案内情報８３１が重畳表示されたり、車両９がアイドルストップ機能付きの場合には、進め表示に切り替わるまでの残り時間が所定時間内になったときに事前にエンジンをスタートさせておく、といった制御が可能になる。

以上のように本実施形態によれば、消失点や、動きベクトルを適宜参照して輝度変調領域（検出領域）を逐次追跡するようにしたので、撮像装置に対して光源が動く場合であっても、正確な検出になるという効果が得られる。

なお、以上の実施形態に限定されることなく、その思想の範囲内においてなされうる様々な変形例あるいは発展例を含む。

たとえば、交通信号機などから取得した情報の表示形態は、カーナビケーションの液晶ディスプレイのみならず、車両搭載の他の表示装置であってもよい。

また、応用処理部８としては、前記実施形態のカーナビゲーションのみならず、たとえば、携帯電話機等の情報端末であってもよい。受信端末４の応用処理部を携帯電話機とした場合、歩行者用のナビゲーションシステムが可能になる。歩行者用のナビゲーションシステムにおいては、車両に比べて移動速度が著しく遅いため、動きベクトルの探索範囲を小さくすることができ、それだけ処理負荷を軽減できる。

実施形態の全体システム図である。 受信端末４の電気的な内部構成図である。 （ａ）は、送信部１と受信端末４の利用状態図、（ｂ）は車両９の車内から前方を見た図である。 送信部１が送出する光信号の形式や各種タイミングの関係図である。 全体の処理フローを示す図である。 液晶ディスプレイ２３ｄの画面表示例を示す図である。 動きベクトル処理のための消失点モデルの考え方を示す図である。 図５のステップＳ１の詳細なフローチャートを示す図である。 ステップＳ２４からＳ２８までの処理を概念として示したものである。 プリアンブルによる検出処理（図８のステップＳ３０）の詳細なフローチャートを示す図である。 相関度評価画像バッファ６５に格納されるデータの状態を示す図であり、（ａ）は、図１０のステップＳ４６における状態、（ｂ）は、図１０のステップＳ４７における状態を示すものである。 図１０の動作概念図である。 図１０の動作概念図である。 データ取得・復号処理（図８のステップＳ３１）の詳細なフローチャートを示す図である。 図１４の動作概念図である。

符号の説明

２ 光源
４ 受信端末
５ 撮像処理部
６ 信号検出／復号処理部
７ 動きベクトルテーブルバッファ
８ 応用処理部
９ 車両
５０ 撮像部
６１ ＣＰＵ
６４ フレーム時系列バッファ
６５ 相関度評価画像バッファ
６６ 二値化等作業バッファ
６８ 検出パラメータリスト
６９ ビットバッファリスト
７０ 復号結果リスト
８３ 液晶ディスプレイ
８５ 動き補助情報入力部
１３０ 消失点
１３７ 動きベクトル
８３１、８３２、８３３、８３４ 吹き出し

Claims (10)

1. 情報を輝度変調して送信する光源と、該光源を含む画角を撮像する撮像装置からなる情報伝送システムであって、
   前記撮像装置は、
   前記光源の輝度変調による輝度領域を含む画像を複数のフレームに渡って撮像する撮像手段と、
   前記撮像手段によって撮像された前記複数のフレームにおける各画像から、当該フレーム全体の動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段の検出結果を参照して、前記画角から前記光源の光と相関度が高い画素をラベリングし、前記複数のフレームに渡ってこのラベリングされた画素の追跡を行う追跡手段と、
   前記追跡手段によって前記複数のフレームに渡って追跡された画素に含まれる輝度変調から情報へ復号する復号手段と、
   前記復号手段によって復号された情報を出力する情報出力手段と
   を備えたことを特徴とする情報伝送システム。
2. 前記撮像装置は移動手段を更に備え、
   前記追跡手段は、前記動きベクトル検出手段の検出結果と前記移動手段による移動状態とに基づいて、前記複数の画像に含まれる前記ラベリングされた画素の追跡を行うことを特徴とする請求項１に記載の情報伝送システム。
3. 前記撮像装置は、
   前記動きベクトル検出手段の検出結果により前記画角内における動きベクトルの消失点の位置を設定する設定手段と、
   前記情報出力手段によって出力されるべき情報が複数ある場合、前記出力されるべき情報を復号した画素の位置と前記設定手段によって設定された動きベクトルの消失点の位置とに基づいて、優先して出力すべき情報を選択する選択手段と、
   を更に備えたことを特徴とする請求項１又は２記載の情報伝送システム。
4. 輝度変調された領域を含む画像を複数のフレームに渡って撮像する撮像手段と、
   前記撮像手段によって撮像された前記複数のフレームにおける各画像から、当該フレーム全体の動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段の検出結果を参照して、前記画角から前記光源の光と相関度が高い画素をラベリングし、前記複数のフレームに渡ってこのラベリングされた画素の追跡を行う追跡手段と、
   前記追跡手段によって前記複数のフレームに渡って追跡された画素に含まれる輝度変調から情報へ復号する復号手段と、
   前記復号手段によって復号された情報を出力する情報出力手段と
   を備えたことを特徴とする撮像装置。
5. 移動手段を更に備え、
   前記追跡手段は、前記動きベクトル検出手段の検出結果と前記移動手段による移動状態とに基づいて、前記ラベリングされた画素の追跡を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記動きベクトル検出手段の検出結果により前記画角内における動きベクトルの消失点の位置を設定する設定手段と、
   前記情報出力手段によって出力されるべき情報が複数ある場合、前記出力されるべき情報を復号した画素の位置と前記設定手段によって設定された動きベクトルの消失点の位置とに基づいて、優先して出力すべき情報を選択する選択手段と、
   を更に備えたことを特徴とする請求項４又は５記載の撮像装置。
7. 輝度変調された領域を含む画像を複数のフレームに渡って撮像する撮像ステップと、
   前記撮像ステップにて撮像された前記複数のフレームにおける各画像から、当該フレーム全体の動きベクトルを検出する動きベクトル検出ステップと、
   前記動きベクトル検出ステップでの検出結果を参照して、前記画角から前記光源の光と相関度が高い画素をラベリングし、前記複数のフレームに渡ってこのラベリングされた画素の追跡を行う追跡ステップと、
   前記追跡ステップにて前記複数のフレームに渡って追跡された画素に含まれる輝度変調から情報へ復号する復号ステップと、
   前記復号ステップにて復号された情報を出力する情報出力ステップと
   を含むことを特徴とする情報出力方法。
8. 前記動きベクトル検出ステップでの検出結果により前記画角内における動きベクトルの消失点の位置を設定する設定ステップと、
   前記情報出力ステップにて出力されるべき情報が複数ある場合、前記出力されるべき情報を復号した画素の位置と前記設定ステップにて設定された動きベクトルの消失点の位置とに基づいて、優先して出力すべき情報を選択する選択ステップと、
   を更に含むことを特徴とする請求項７記載の情報出力方法。
9. コンピュータを、
   輝度変調された領域を含む画像を複数のフレームに渡って撮像する撮像手段、
   前記撮像手段によって撮像された前記複数のフレームにおける各画像から、当該フレーム全体の動きベクトルを検出する動きベクトル検出手段、
   前記動きベクトル検出手段の検出結果を参照して、前記画角から前記光源の光と相関度が高い画素をラベリングし、前記複数のフレームに渡ってこのラベリングされた画素の追跡を行う追跡手段、
   前記追跡手段によって前記複数のフレームに渡って追跡された画素に含まれる輝度変調から情報へ復号する復号手段、
   前記復号手段によって復号された情報を出力する情報出力手段
   として機能させることを特徴とする情報出力プログラム。
10. 更に、
    前記動きベクトル検出手段の検出結果により前記画角内における動きベクトルの消失点の位置を設定する設定手段、
    前記情報出力手段によって出力されるべき情報が複数ある場合、前記出力されるべき情報を復号した画素の位置と前記設定手段によって設定された動きベクトルの消失点の位置とに基づいて、優先して出力すべき情報を選択する選択手段
    として機能させることを特徴とする請求項９記載の情報出力プログラム。
    

Images