JP7070530B2 - 情報取得装置、情報取得方法及びプログラム - Google Patents

Description

本発明は、情報取得装置、情報取得方法及びプログラムに関する。

従来より、可視光通信技術において赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色（ＲＧＢ）の組み合わせを伝送すべき情報に置換して、これらの色を時間的に変化させて発光する信号源である送信機と、この送信機が含まれる空間を逐次撮影し、送信機の発光色の経時的な変化（時間方向の変化）から情報を復号するカメラからなる可視光通信システムが提案されている。

この可視光通信システムでは、送信機の発光色が三原色の何れかであるかをフレーム単位で判別するため、逐次撮像センサに結像された画素単位の受光量を示すアナログデータから、デジタル化されたカラー画像に変換する処理、いわゆる現像処理を行い、カラー画像から送信機の像を特定し、この特定された送信機の像における色の時間方向の変化から情報に復号する（例えば、特許文献１参照）。

特開２０１４－１８３５６７号公報

ところで、近年、撮像センサの大型化が進んだことで撮像処理における高解像度化が進んでおり、カラー画像全体から送信機の位置を特定する目的で現像処理を行うと、処理負担が重くなるという問題が予見される。

本願発明は、上記問題点に鑑みてなされたもので、重い処理負荷をかけずに良好に移動機器の位置を特定することを目的とする。

上記目的を達成するため、本発明の一態様の情報取得装置は、
赤色、緑色、青色のフィルタを含むカラーフィルタで受光面が被われている複数の受光素子を備える受光装置から、各色のフィルタの位置に対応する輝度値をフレームごとに取得し、
取得された前記フレームごとの前記輝度値の差分値と、前記各色のフィルタに対応して予め異なるように設定された閾値と、に基づいて、発光色を判定し、
前記複数の受光素子から得られる受光像をカラー画像に現像することなく、判定された発光色に基づいて、前記発光色で特定される移動機器の位置情報を取得する、
処理部を備える。

本願発明によれば、重い処理負荷をかけずに良好に移動機器の位置を特定することができる。

本発明の実施形態に係る可視光通信システムの一例を示す図である。 同実施形態に係る移動機器の構成の一例を示す図である。 同実施形態に係るカメラとサーバと構成の一例を示す図である。 同実施形態に係るカラーフィルタのベイヤー配列の一例を示す図である。 （ａ）は同実施形態に係る赤のベイヤー画像の一例を示す図であり、（ｂ）は同実施形態に係る赤のＲＧＢ画像の一例を示す図である。 （ａ）は同実施形態に係る緑のベイヤー画像の一例を示す図であり、（ｂ）は同実施形態に係る緑のＲＧＢ画像の一例を示す図である。 （ａ）は同実施形態に係る青のベイヤー画像の一例を示す図であり、（ｂ）は同実施形態に係る青のＲＧＢ画像の一例を示す図である。 （ａ）は同実施形態に係る青の点灯時の状態の一例を示す図であり、（ｂ）は同実施形態に係る青の消灯時の状態の一例を示す図である。 同実施形態に係る青と周辺の色の状態の一例を示す図である。 同実施形態に係るサーバによる情報取得の動作の一例を示すフローチャートである。 同実施形態に係るサーバによる時間方向の輝度値の差分から発光色を判定する処理の動作の一例を示すフローチャートである。 同実施形態に係るサーバによる空間方向の輝度値の差分から発光色を判定する処理の動作の一例を示すフローチャートである。 同実施形態に係るサーバによる信号候補領域の検出処理の動作の一例を示すフローチャートである。

以下、図面を参照して、本発明の実施形態に係る情報処理システムとしての可視光通信システムを説明する。

図１は、可視光通信システムの構成の一例を示す図である。図１に示すように、可視光通信システム１は、移動機器１００ａ、１００ｂ、１００ｃ（以下、移動機器１００ａ、１００ｂ、１００ｃのそれぞれを限定しない場合には、適宜「移動機器１００」と称する）と、カメラ２００と、サーバ３００とを含んで構成される。移動機器１００ａは、マーカーであるＬＥＤ（Light Emitting Diode）１０２ａを含み、移動機器１００ｂは、ＬＥＤ１０２ｂを含み、移動機器１００ｃは、ＬＥＤ１０２ｃを含む（以下、ＬＥＤ１０２ａ、１０２ｂ、１０２ｃのそれぞれを限定しない場合には、適宜「ＬＥＤ１０２」と称する）。サーバ３００は、カメラ２００を接続する。

本実施形態において、移動機器１００内のＬＥＤ１０２は、送信対象の情報である移動機器１００のＩＤ（Identification）を色相の時間方向の変化で変調した光を発することにより情報を送信する。一方、カメラ２００は、ＬＥＤを含む空間の撮影を行う。サーバ３００は、カメラ２００の撮影により得られた光の画像から移動機器１００のＩＤ等の情報を取得する。

図２は、移動機器１００の構成の一例を示す図である。図２に示すように、移動機器１００は、ＬＥＤ１０２、制御部１０３、メモリ１０４、通信部１０８、駆動部１１２、及び、電池１５０を含む。

制御部１０３は、例えばＣＰＵ（Central Processing Unit）によって構成される。制御部１０３は、メモリ１０４に記憶されたプログラムに従ってソフトウェア処理を実行することにより、移動機器１００が具備する各種機能を制御する。

メモリ１０４は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）である。メモリ１０４は、移動機器１００における制御等に用いられる各種情報（プログラム等）を記憶する。通信部１０８は、例えばＬＡＮ（Local Area Network）カードである。通信部１０８は、他の通信装置との間で通信を行う。電池１５０は、移動機器１００の作動に必要な電力を各部に供給する。

制御部１０３には、発光制御部１２４が構成される。発光制御部１２４は、移動機器１００のＩＤ等に応じて、ＬＥＤ１０２が発する色相の時間方向の変化に変調された任意の情報を含む所定の光を発光する発光パターンを決定する。

更に、発光制御部１２４は、ＩＤ等に対応する発光パターンの情報を駆動部１１２へ出力する。駆動部１１２は、発光制御部１２４からの発光パターンの情報に応じて、ＬＥＤ１０２が発する光の色相や輝度を時間的に変化させるための駆動信号を生成する。ＬＥＤ１０２は、駆動部１１２から出力される駆動信号に応じて、時間的に色相や輝度が変化する光を発する。発光色は３原色であり、可視光通信における色変調に用いる波長帯の色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかである。

図３は、カメラ２００とサーバ３００の構成の一例を示す図である。図３に示すように、カメラ２００は、撮影部２０２及びレンズ２０３を含む。サーバ３００は、制御部３０２、画像処理部３０４、メモリ３０５、操作部３０６、表示部３０７及び通信部３０８を含む。

カメラ２００内のレンズ２０３は、ズームレンズ等により構成される。レンズ２０３は、サーバ３００内の操作部３０６からのズーム制御操作、及び、制御部３０２による合焦制御により移動する。レンズ２０３の移動によって撮影部２０２が撮影する撮影画角や光学像が制御される。

撮影部２０２は、規則的に二次元配列された複数の受光素子により、撮像面を含む受光面が構成される。受光素子は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮影デバイスである。撮影部２０２は、レンズ２０３を介して入光された光学像を、サーバ３００内の制御部３０２からの制御信号に基づいて所定範囲の撮影画角で撮影（受光）し、その撮影画角内の画像信号をデジタルデータに変換してフレームを生成する。また、撮影部２０２は、撮影とフレームの生成とを時間的に連続して行い、連続するフレームを画像処理部３０４に出力する。

受光面には、ベイヤー配列のカラーフィルタが構成されている。図４に示すように、ベイヤー配列のカラーフィルタは、１つの画素に対応し、赤色に対応する波長域を透過のピークとしたフィルタである赤フィルタ４０２、緑色に対応する波長域を透過のピークとしたフィルタである緑フィルタ４０４、青色に対応する波長域を透過のピークとしたフィルタである青フィルタ４０６を配列して構成されている。具体的には、ベイヤー配列のカラーフィルタは、横方向に赤フィルタ４０２と緑フィルタ４０４とが交互に配置された第１の列と、横方向に緑フィルタ４０４と青フィルタ４０６とが交互に配列された第２の列とが上下方向に交互に配置されて構成される。

図４に示すように、Ｘ軸及びＹ軸を定め、Ｘ軸方向に０から番号を付けるとともに、Ｙ軸方向に０から番号を付けると、ｎ、ｍを整数として、赤フィルタ４０２の座標は（２ｎ，２ｍ）、緑フィルタ４０４の座標は（２ｎ，２ｍ＋１）及び（２ｎ＋１，２ｍ）、青フィルタ４０６の座標は（２ｎ＋１，２ｍ＋１）となる。

画像処理部３０４は、制御部３０２からの制御信号に基づいて、撮影部２０２から出力されたフレームのデジタルデータを制御部３０２へ出力する。フレームのデジタルデータには、当該フレームを構成する各画素の輝度値が含まれている。

制御部３０２は、例えばＣＰＵによって構成される。制御部３０２は、メモリ３０５に記憶されたプログラムに従ってソフトウェア処理を実行することにより、後述する図１０～図１３に示す動作を行う等、サーバ３００が具備する各種機能を制御する。

メモリ３０５は、例えばＲＡＭやＲＯＭである。メモリ３０５は、サーバ３００における制御等に用いられる各種情報（プログラム等）を記憶する。

操作部３０６は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。表示部３０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electro Luminescence）ディスプレイ等によって構成される。表示部３０７は、制御部３０２から出力された画像信号に従って画像を表示する。通信部３０８は、例えばＬＡＮカードである。通信部３０８は、外部の通信装置との間で通信を行う。

制御部３０２には、輝度値取得部３３２、位置取得部３３４、信号候補領域検出部３３６、情報取得部３３８、現像部３４０が構成される。

輝度値取得部３３２は、撮影部２０２が出力する複数のフレームのそれぞれについて、当該フレームを構成する各画素の輝度値を取得する。ここで、ＬＥＤ１０２が赤色に点灯している場合には赤フィルタ４０２に対応する画素の輝度値が高くなり、図５（ａ）に示すようなベイヤー画像が得られる。ＬＥＤ１０２が緑色に点灯している場合には緑フィルタ４０４に対応する画素の輝度値が高くなり、図６（ａ）に示すようなベイヤー画像が得られる。ＬＥＤ１０２が青色に点灯している場合には青フィルタ４０６に対応する画素の輝度値が高くなり、図７（ａ）に示すようなベイヤー画像が得られる。

位置取得部３３４は、複数フレームに対応する時間において、輝度値取得部３３２によって取得された各画素の輝度値を取得する。ここで、撮像部２０２は、ＬＥＤ１０２の発光色の変化タイミングに同期した更新タイミングでフレーム（撮像画像）を出力する。位置取得部３３４は、ＬＥＤ１０２の発光色の変化に伴う輝度値を取得可能となる。なお、本実施形態においては、フレームレートと発光色の変化タイミングが一致しているケースについて述べるものとするが、フレームレートに対し発光色の変化タイミングが長い場合、同じ発光色で発光するＬＥＤ１０２を連続するフレームで検出することになる。このような場合、後述するように現フレームと１つ前のフレームで輝度値の差分を取得することはできないため、例えば、現フレームと２つ前のフレームで輝度値の差分を取得するように設定する。つまり、輝度値の差分を検出するためのフレームの選択は、発光色の変化タイミングと撮像部２０２に設定されるフレームレートによって決定されるものであり、現フレームよりも過去に撮像されたフレームであれば、１つ前のフレームに限定されない。

次に、位置取得部３３４は、フレームを構成する各画素に１つずつ着目して複数フレームにおける着目画素の輝度値の差を利用する処理（時間方向の輝度値の差分から発光色を判定する処理）を行う。

具体的には、まず、位置取得部３３４は、着目している画素（着目画素）の位置に対応するカラーフィルタの色を特定する。メモリ３０５は、図４に示すベイヤー配列のカラーフィルタの情報として、カラーフィルタの各色の位置とその色とを対応付けた情報を記憶している。位置取得部３３４は、メモリ３０５に記憶されたベイヤー配列のカラーフィルタの情報と着目画素の位置とに基づいて、着目画素の位置に対応するカラーフィルタの色を特定する。

次に、位置取得部３３４は、着目画素について取得した現フレームとその１つ前のフレームとの輝度値の差分が閾値以上であるか否かを判定する。

例えば、図８（ａ）に示すように、現フレームでＬＥＤ１０２が青色で点灯している時は青フィルタ４０６に対応する画素４１２ａの輝度値が高く、図８（ｂ）に示すように、１つ前のフレームでＬＥＤ１０２が青色で点灯していない時は青フィルタ４０６に対応する画素４１２ｂの輝度値が低いことに着目し、位置取得部３３４は、着目画素についてフレーム間の輝度値の差分が閾値（時間方向差分閾値）より大きいか否かを判定する。

そして、位置取得部３３４は、差分が時間方向差分閾値より大きければ、着目画素がＬＥＤ１０２の位置（信号候補）の可能性がある画素（時間方向信号候補画素）であるとみなす。

時間方向差分閾値は、メモリ３０５に記憶されている。時間方向差分閾値は、フィルタの色毎に異なる値であり、例えば、０～２５５の輝度値の範囲において、赤の場合は３０、緑の場合は５０、青の場合は２５である。位置取得部３３４は、メモリ３０５から着目画素の位置に対応するフィルタの色の時間方向差分閾値を読み出す。更に、位置取得部３３４は、着目画素についてフレーム間の輝度値の差分を算出し、これが時間方向差分閾値より大きいか否かを判定する。

着目画素についてフレーム間の輝度値の差分が時間方向差分閾値より大きく、着目画素が時間方向信号候補画素である場合、次に、位置取得部３３４は、時間方向信号候補画素と周辺の画素の輝度値の差を利用する処理（空間方向の輝度値の差分から発光色を判定する処理）を行う。

具体的には、まず、位置取得部３３４は、時間方向信号候補画素の位置に対応するフィルタの色を特定する。次に、位置取得部３３４は、時間方向信号候補画素の輝度値と、当該時間方向信号候補画素の周辺の画素（周辺画素）の輝度値との差分が閾値以上であるか否かを判定する。ここで、周辺画素とは、時間方向信号候補画素の周辺に存在し、且つ、対応するフィルタの色が時間方向信号候補画素とは異なる画素である。このような判定を行うのは以下の理由による。すなわち、時間方向信号候補画素がＬＥＤ１０２の位置である場合には、ＬＥＤ１０２が時間方向信号候補画素に対応するカラーフィルタの色で点灯している時には時間方向信号候補画素の輝度値は高くなる一方、周辺画素の輝度値は低くなる。

そこで、ＬＥＤ１０２が時間方向信号候補画素に対応するカラーフィルタの色で点灯している時の時間方向信号候補画素と周辺画素とで輝度値に差があること、例えば、図９に示すように、ＬＥＤ１０２が青色で点灯している時は青フィルタ４０６に対応する画素４２２は輝度が高く、周辺の緑フィルタ４０４に対応する画素４２４ａ、４２４ｂ、４２４ｃ、４２４ｄは輝度が低いことに着目し、位置取得部３３４は、時間方向信号候補画素についての高輝度値から、その高輝度値と検出タイミングが同一、換言すれば、その高輝度値を検出した同一のフレームにおける周辺画素の輝度値を差し引いた差分が閾値（空間方向差分閾値）より大きいか否かを判定する。そして、位置取得部３３４は、差分が空間方向差分閾値より大きければ、時間方向信号候補画素がＬＥＤ１０２の位置、換言すれば、信号候補の画素（信号候補画素）であると特定する。

空間方向差分閾値は、メモリ３０５に記憶されている。空間方向差分閾値は、フィルタの色毎に異なる値であり、例えば、０～２５５の輝度値の範囲において、赤の場合は５０、緑の場合は８０、青の場合は６０である。位置取得部３３４は、メモリ３０５から時間方向信号候補画素の位置に対応するフィルタの色の空間方向差分閾値を読み出す。更に、位置取得部３３４は、時間方向信号候補画素の輝度値と、この時間方向信号候補画素を検出した同一のフレームにおける周辺画素の輝度値との差分を算出し、空間方向差分閾値より大きいか否かを判定する。

時間方向信号候補画素についての高輝度値とその高輝度値を検出した同一のフレームにおける周辺画素の輝度値との差分が時間方向差分閾値より大きく、時間方向信号候補画素が信号候補画素であると特定された場合、次に、信号候補領域検出部３３６は、最終的な信号候補の領域の検出処理を行う。

具体的には、まず、信号候補領域検出部３３６は、信号候補画素について輝度値を一定値に置き換える。具体的には、輝度値における０～２５５の値から任意の値を割り当て、信号候補画素をその割当てられた輝度値に置き換え、更に信号候補画素の周辺に存在する周辺画素の輝度値を、当該周辺画素の輝度値と検出タイミングが同一、換言すれば、その周辺画素の輝度値を検出した同一のフレームにおける信号候補画素の輝度値に置き換える。

次に、信号候補領域検出部３３６は、信号候補画素の輝度値と同一の輝度値とである画素の集合のうち、１画素分の幅の最外部の含まれる画素の輝度値を現在の輝度値よりも低い値にする。次に、信号候補領域検出部３３６は、信号候補画素の輝度値と同一の輝度値である画素の集合、例えば、赤の信号候補領域４０２１は図５（ｂ）、緑の信号候補領域４０４１は図６（ｂ）、青の信号候補領域４０６１は図７（ｂ）であると特定し、その信号候補の領域の輪郭を検出する。

情報取得部３３８は、上述した処理により特定された信号候補領域４０２１、４０４１、４０６１内の色相を判定し、その色相の時間方向の変化に基づいて、移動機器１００のＩＤ等の情報を復号する。

必要に応じ、現像部３４０は、輝度値取得部３３２からの信号に基づいて、フレームのアナログデータからカラー画像（ＲＧＢ画像）を生成する。更に、現像部３４０は、生成したＲＧＢ画像を表示部３０７に表示させる。なお、ＲＧＢ画像とともに、情報取得部３３８によって取得された移動機器１００のＩＤ等の情報対応付けて表示部３０７に出力し、表示されるようにしてもよい。

以下、フローチャートを参照しつつ、色推定の動作を説明する。図１０は、サーバ３００による情報取得の動作の一例を示すフローチャートである。

サーバ３００の制御部３０２内の撮影部２０２が出力する複数のフレームのそれぞれについて、当該フレームを構成する各画素の輝度値を取得する。更に、位置取得部３３４は、複数フレームに対応する時間において、輝度値取得部３３２によって取得された各画素の輝度値を取得する（ステップＳ１０１）。

次に、位置取得部３３４は、フレームを構成する各画素に１つずつ着目して複数フレームにおける着目画素の輝度値の差を利用する処理（時間方向の輝度値の差分から発光色を判定する処理）を行う（ステップＳ１０２）。

図１１は、サーバ３００による時間方向の輝度値の差分から発光色を判定する処理の動作の一例を示すフローチャートである。位置取得部３３４は、メモリ３０５に記憶されたベイヤー配列のカラーフィルタの情報と着目画素の位置とに基づいて、着目画素の位置に対応するカラーフィルタの色を特定する（ステップＳ２０１）。

次に、位置取得部３３４は、特定したカラーフィルタの色に対応する時間方向差分閾値をメモリ３０５から取得する（ステップＳ２０２）。

次に、位置取得部３３４は、着目画素について現フレームの輝度値から１つ前のフレームの輝度値を差し引いた輝度値の差分が時間方向差分閾値より大きいか否かを判定する（ステップＳ２０３）。

着目画素について現フレームの輝度値から１つ前のフレームの輝度値を差し引いた差分が時間方向差分閾値より大きい場合には（ステップＳ２０３；ＹＥＳ）、位置取得部３３４は、着目画素がＬＥＤ１０２の位置の可能性がある画素（時間方向信号候補画素）であると特定する（ステップＳ２０４）。一方、着目画素について現フレームの輝度値から１つ前のフレームの輝度値を差し引いた差分が時間方向差分閾値以下である場合には（ステップＳ２０３；ＮＯ）、位置取得部３３４は、着目画素が信号候補画素でないと特定する（ステップＳ２０５）。

再び、図１０に戻って説明する。ステップＳ１０２における時間方向の輝度値の差分から発光色を判定する処理の後、位置取得部３３４は、時間方向信号候補画素と周辺画素との輝度値の差を利用する処理（空間方向の輝度値の差分から発光色を判定する処理）を行う（ステップＳ１０３）。

図１２は、サーバ３００による空間方向の輝度値の差分から発光色を判定する処理の動作の一例を示すフローチャートである。位置取得部３３４は、時間方向信号候補画素の位置に対応するカラーフィルタの色を特定する。更に、位置取得部３３４は、特定したカラーフィルタの色に対応する空間方向差分閾値を取得する（ステップＳ３０１）。

次に、位置取得部３３４は、時間方向信号候補画素の輝度値から、その輝度値を検出した同一のフレームにおける周辺画素の輝度値を差し引いた差分が空間方向差分閾値より大きいか否かを判定する（ステップＳ３０２）。

位置取得部３３４は、算出した差分が空間方向差分閾値より大きい場合には（ステップＳ３０２；ＹＥＳ）、時間方向信号候補画素が信号候補画素であると特定する（ステップＳ３０３）。例えば、信号候補画素の上下左右の合計４画素を周辺画素とし、位置取得部３３４は、時間方向信号候補画素の輝度値から当該４画素の輝度値を差し引いた差分を算出する。そして、位置取得部３３４は、算出された４つの差分のうち、３つ以上の差分が空間方向差分閾値より大きいか否かを判定し、３つ以上の差分が空間方向差分閾値より大きい場合には、時間方向信号候補画素が信号候補画素であると特定する。一方、算出した差分が空間方向差分閾値以下である場合には（ステップＳ３０２；ＮＯ）、位置取得部３３４は、時間方向信号候補画素が信号候補画素でないと特定する（ステップＳ３０４）。

再び、図１０に戻って説明する。ステップＳ１０３における空間方向の輝度値の差分から発光色を判定する処理の後、信号候補領域検出部３３６は、最終的な信号候補の領域の検出処理を行う（ステップＳ１０４）。

図１３は、サーバ３００による信号候補領域の検出処理の動作の一例を示すフローチャートである。信号候補領域検出部３３６は、信号候補画素を予め割当てられた輝度値に置き換え、更に信号候補画素の周辺に存在する周辺画素の輝度値を、当該周辺画素と同一のフレームにおける信号候補画素に割り当てられた輝度値に置き換える（ステップＳ４０１）。例えば、信号候補領域検出部３３６は、信号候補画素の上下左右の合計４画素を周辺画素とし、当該周辺画素の輝度値を、当該周辺画素と同一のフレームにおける信号候補画素に割り当てられた輝度値に置き換える。

次に、信号候補領域検出部３３６は、信号候補画素の輝度値と同一の輝度値である画素の集合のうち、１画素分の幅の最外部の含まれる画素の輝度値を現在の輝度値よりも低い輝度値に置き換える（ステップＳ４０２）。

次に、信号候補領域検出部３３６は、信号候補画素の輝度値と同一の輝度値である画素の集合を信号候補領域であると特定し、その信号候補領域の輪郭を検出する（ステップＳ４０３）。

再び、図１０に戻って説明する。ステップＳ１０４における信号候補の検出処理の後、情報取得部３３８は、信号候補領域がＲＧＢの何れかであるかを決定し、この信号候補領域の色相の時間方向の変化を判定する（ステップＳ１０５）。更に、情報取得部３３８は、色相の変化に基づいて、移動機器１００のＩＤ等の情報を復号し、情報を取得する（ステップＳ１０６）。

その後、制御部３０２は、情報取得に関する全ての処理が終了したか否かを判定する（ステップＳ１０７）。具体的には、制御部３０２は、フレームを構成する全ての画素についてステップＳ１０１～ステップＳ１０６の動作が終了したか否かを判定する。情報取得に関する全ての処理が終了した場合には（ステップＳ１０７；ＹＥＳ）、制御部３０２は、一連の動作を終了する。情報取得に関する全ての処理が終了していない場合（ステップＳ１０７；ＮＯ）、制御部３０２は、ステップＳ１０１以降の動作を繰り返す。例えば、フレームを構成する全ての画素のうち、ステップＳ１０１～ステップＳ１０６の動作が終了していない画素が存在する場合には、制御部３０２は、その画素を着目画素としてステップＳ１０１以降の動作を繰り返す。

このように本実施形態では、移動機器１００は、自身のＩＤ等に応じて、マーカーであるＬＥＤ１０２を発光させる。一方、サーバ３００は、カメラ２００の撮影によって得られたフレームを取得し、当該フレームを構成する各画素に１つずつ着目して複数フレームにおける着目画素の輝度値の差を利用する処理（時間方向の輝度値の差分から発光色を判定する処理）を行い、着目画素が信号候補の可能性があるか否かを判定する。更に、サーバ３００は、着目画素が信号候補画素の可能性がある場合（時間方向信号候補画素である場合）、時間方向信号候補画素と周辺の画素の輝度値の差を利用する処理（空間方向の輝度値の差分から発光色を判定する処理）を行って信号候補画素、更には信号候補の領域を特定する。

従来は、図５（ｂ）等に示すＲＧＢ画像を生成した後に信号候補の領域を特定していた。一方、本実施形態では、サーバ３００は、複数フレームにおける各画素の輝度値を取得すれば、信号候補の領域を特定し、更に情報取得を行うことができるので、解像度が高くなっても、信号源の受光位置（信号候補の領域）の特定への影響を少なくすることができる。

また、サーバ３００は、複数フレームにおける着目画素の輝度値の差を利用する処理（時間方向の輝度値の差分から発光色を判定する処理）を行って、着目画素についてフレーム間の輝度値の差分が時間方向差分閾値より大きい場合に、着目画素を信号候補画素の可能性がある時間方向信号候補画素であると特定することにより、空間が明るい場合等、着目画素がＬＥＤ１０２の位置でなくても輝度値が高くなる場合に、着目画素が信号候補画素であると誤って特定されることが防止される。

また、サーバ３００は、時間方向信号候補画素と周辺の画素の輝度値の差を利用する処理（空間方向の輝度値の差分から発光色を判定する処理）を行って、時間方向信号候補画素と周辺画素の輝度値の差分が空間方向差分閾値より大きい場合に、時間方向信号候補画素を信号候補画素であると特定することにより、ＬＥＤ１０２が時間方向信号候補画素に対応するカラーフィルタの色で点灯している時には時間方向信号候補画素の輝度値は高くなる一方、周辺画素の輝度値は低くなることを考慮した的確な信号候補画素の特定が可能となる。

また、サーバ３００は、信号候補画素の周辺に存在する周辺画素の輝度値を、当該周辺画素の輝度値を検出した同一のフレームにおける信号候補画素の輝度値に置き換えて単一色の領域を広げることで、信号候補画素を１つずつ情報の復号することを防止することができる。

また、サーバ３００は、信号候補画素の輝度値と同一の輝度値である画素の集合のうち、１画素分の幅の最外部の含まれる画素の輝度値を現在の輝度値よりも低い輝度値に置き換えることにより、信号候補領域を、ＬＥＤ１０２の位置を正確に特定したものとすることができるとともに、反射光等によるノイズの影響を低減することができる。

なお、本発明は、上記実施形態の説明及び図面によって限定されるものではなく、上記実施形態及び図面に適宜変更等を加えることは可能である。

例えば、上述した実施形態では、周辺画素について、信号候補画素の上下左右の合計４画素を例に挙げたが、周辺画素の画素数はこれに限定されず、例えば、１画素でもよいし、信号候補画素の周囲の８画素を周辺画素としてもよく、その８画素の一部を周辺画素としてもよい。

また、上述した実施形態では、時間方向信号候補画素の上下左右の合計４画素を周辺画素とし、位置取得部３３４は、時間方向信号候補画素の輝度値から当該４画素の輝度値を差し引いた差分を算出し、算出された４つの差分のうち、３つ以上の差分が空間方向差分閾値より大きいか否かを判定することを例に挙げたが、判定に使用する空間方向差分閾値より大きい差分の数はこれに限定されない。例えば、時間方向信号候補画素の輝度値から各周辺画素の輝度値を差し引いた差分の全てが空間方向差分閾値より大きいか否かを判定し、大きい場合に時間方向信号候補画素を信号候補画素であると特定してもよい。

また、上述した実施形態では、可視光である赤、緑、青の光を通信に用いる場合について説明したが、他の色の可視光を用いてもよい。また、情報が輝度の時間方向の変化のみによって変調される可視光通信においても本発明を適用することができる。

また、カラーフィルタの配列はベイヤー配列に限定されず、他の配列でもよい。カラーフィルタの配列に応じて、カラーフィルタの各色の位置とその色とを対応付けた情報がメモリ３０５に記憶される。

また、上述した実施形態では、移動機器１００による送信対象の情報は、当該移動機器１００のＩＤであったが、これに限定されず、移動機器１００の位置情報や移動機器１００に生じた障害等の情報であってもよい。

また、移動機器１００内の光源はＬＥＤに限定されない。例えば、表示装置を構成するＬＣＤ、ＰＤＰ、ＥＬディスプレイ等の一部に光源が構成されていてもよい。

また、サーバ３００は、カメラ２００が内装されたものであってもよい。

また、上記実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read - Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto - Optical disc）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。

また、プログラムをインターネット等のネットワーク上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
二次元配列された複数の受光素子と前記複数の受光素子の受光面に複数種の色に対応する波長帯域を透過するフィルタが規則的に配列されるカラーフィルタとを備える受光装置から受光した光の経時変化する輝度値を取得する輝度値取得手段と、
前記カラーフィルタに規則的に配列されるフィルタの位置に対応して、輝度値の閾値を記憶している記憶手段と、
前記輝度値取得手段によって取得された経時変化する輝度値と前記記憶手段に記憶されている閾値とに基づいて前記受光した光の色を特定し、前記特定した色に対応する情報を取得する情報取得手段と、
を備えることを特徴とする情報取得装置。

（付記２）
前記カラーフィルタに規則的に配列されるフィルタのうち、前記情報取得手段によって特定された色に対応するフィルタの前記受光面における位置を複数取得する位置取得手段と、
前記位置取得手段によって取得された複数の位置の間の色を、前記位置取得手段によって位置が取得された色に置き換えて、前記情報取得手段によって特定された色の領域を検出する領域検出手段と、
を更に備え、
前記情報取得手段は、前記領域検出手段によって検出された領域から、前記特定した色に対応する情報を取得することを特徴とする付記１に記載の情報取得装置。

（付記３）
前記カラーフィルタは、赤、緑、青の三原色がベイヤー配列されたものであることを特徴とする付記１又は２に記載の情報取得装置。

（付記４）
前記受光素子は撮像素子を含むとともに前記受光面は撮像面を含み、
前記撮像面により得られた受光像からカラー画像へ現像する現像手段を更に備え、
前記情報取得手段は、前記現像手段による現像処理が行われる以前に、前記特定した色に対応する情報を取得し、更に、
前記情報取得手段によって取得された情報と前記現像手段によって現像されたカラー画像とを対応付けて出力する出力手段を備えることを特徴とする付記１～３の何れか１つに記載の情報取得装置。

（付記５）
二次元配列された複数の受光素子を備える受光装置から光を受光した複数の受光素子の位置を取得する位置取得手段と、
前記位置取得手段によって取得された複数の受光素子の位置の間に存在する受光素子の位置の輝度値を、前記光を受光した複数の受光素子の位置に基づく輝度値に置き換えて、情報を取得すべき領域を検出する領域検出手段と、
前記領域検出手段によって検出された情報を取得すべき領域の時間方向で変化する輝度値に基づいて、情報を取得する情報取得手段と、
を備えることを特徴とする情報取得装置。

（付記６）
二次元配列された複数の受光素子と前記複数の受光素子の受光面に複数種の色に対応する波長帯域を透過するフィルタが規則的に配列されるカラーフィルタとを備える受光装置から受光した光の経時変化する輝度値を取得する輝度値取得ステップと、
前記輝度値取得ステップにて取得された経時変化する輝度値と、予め記憶部に記憶された前記カラーフィルタに規則的に配列されるフィルタの位置に対応する輝度値の閾値とから、前記受光した光の色を特定し、前記特定した色に対応する情報を取得する情報取得ステップと、
を含むことを特徴とする情報取得方法。

（付記７）
二次元配列された複数の受光素子を備える受光装置から光を受光した複数の受光素子の位置を取得する位置取得ステップと、
前記位置取得ステップにて取得された複数の受光素子の位置の間に存在する受光素子の位置の輝度値を、前記光を受光した複数の受光素子の位置に基づく輝度値に置き換えて、情報を取得すべき領域を検出する領域検出ステップと、
前記領域検出ステップにて検出された情報を取得すべき領域の時間方向で変化する輝度値に基づいて、情報を取得する情報取得ステップと、
を含むことを特徴とする情報取得方法。

（付記８）
コンピュータを、
二次元配列された複数の受光素子と前記複数の受光素子の受光面に複数種の色に対応する波長帯域を透過するフィルタが規則的に配列されるカラーフィルタとを備える受光装置から受光した光の経時変化する輝度値を取得する輝度値取得手段、
前記輝度値取得手段によって取得された経時変化する輝度値と、予め記憶部に記憶された前記カラーフィルタに規則的に配列されるフィルタの位置に対応する輝度値の閾値とから、前記受光した光の色を特定し、前記特定した色に対応する情報を取得する情報取得手段、
として機能させることを特徴とするプログラム。

（付記９）
コンピュータを、
二次元配列された複数の受光素子を備える受光装置から光を受光した複数の受光素子の位置を取得する位置値取得手段、
前記位置取得手段によって取得された複数の受光素子の位置の間に存在する受光素子の位置の輝度値を、前記光を受光した複数の受光素子の位置に基づく輝度値に置き換えて、情報を取得すべき領域を検出する領域検出手段、
前記領域検出手段によって検出された情報を取得すべき領域の時間方向で変化する輝度値に基づいて、情報を取得する情報取得手段、
として機能させることを特徴とするプログラム。

１…可視光通信システム、１００、１００ａ、１００ｂ、１００ｃ…移動機器、１０２、１０２ａ、１０２ｂ、１０２ｃ…ＬＥＤ、１０３、３０２…制御部、１０４、３０５…メモリ、１０８、３０８…通信部、１１２…駆動部、１２４…発光制御部、１５０…電池、２００…カメラ、２０２…撮影部、２０３…レンズ、３００…サーバ、３０４…画像処理部、３０６…操作部、３０７…表示部、３３２…輝度値取得部、３３４…位置取得部、３３６…信号候補領域検出部、３３８…情報取得部、３４０…現像部、４０２…赤フィルタ、４０４…緑フィルタ、４０６…青フィルタ、４１２ａ…点灯時の青フィルタの画素、４１２ｂ…消灯時の青フィルタの画素、４２２…青フィルタの画素、４２４ａ、４２４ｂ、４２４ｃ、４２４ｄ…緑フィルタの画素、４０２１…赤の信号候補領域、４０４１…緑の信号候補領域、４０６１…青の信号候補領域

Claims (5)

1. 赤色、緑色、青色のフィルタを含むカラーフィルタで受光面が被われている複数の受光素子を備える受光装置から、各色のフィルタの位置に対応する輝度値をフレームごとに取得し、
   取得された前記フレームごとの前記輝度値の差分値と、前記各色のフィルタに対応して予め異なるように設定された閾値と、に基づいて、発光色を判定し、
   前記複数の受光素子から得られる受光像をカラー画像に現像することなく、判定された発光色に基づいて、前記発光色で特定される移動機器の位置情報を取得する、
   処理部を備えることを特徴とする情報取得装置。
2. 前記処理部は更に、前記取得された前記フレームごとの前記各色のフィルタの位置の輝度値と、前記各色のフィルタの位置の周辺位置の輝度値と、の差分に基づいて、前記発光色を判定する、
   処理を実行することを特徴とする請求項１に記載の情報取得装置。
3. 前記処理部は更に、判定された前記発光色の発光パターンに基づいて、前記移動機器の識別情報を取得する、
   処理を実行することを特徴とする請求項１又は２に記載の情報取得装置。
4. 情報取得装置が実行する情報取得方法であって、
   赤色、緑色、青色のフィルタを含むカラーフィルタで受光面が被われている複数の受光素子を備える受光装置から、各色のフィルタの位置に対応する輝度値をフレームごとに取得する取得ステップと、
   取得された前記フレームごとの前記輝度値の差分値と、前記各色のフィルタに対応して予め異なるように設定された閾値と、に基づいて、発光色を判定する判定ステップと、
   前記複数の受光素子から得られる受光像をカラー画像に現像することなく、判定された発光色に基づいて、前記発光色で特定される移動機器の位置情報を取得する位置情報所得ステップと、
   を含むことを特徴とする情報取得方法。
5. 情報取得装置が備えるコンピュータを、
   赤色、緑色、青色のフィルタを含むカラーフィルタで受光面が被われている複数の受光素子を備える受光装置から、各色のフィルタの位置に対応する輝度値をフレームごとに取得する取得手段、
   取得された前記フレームごとの前記輝度値の差分値と、前記各色のフィルタに対応して予め異なるように設定された閾値と、に基づいて、発光色を判定する判定手段、
   前記複数の受光素子から得られる受光像をカラー画像に現像することなく、判定された発光色に基づいて、前記発光色で特定される移動機器の位置情報を取得する位置情報取得手段、
   として機能させるためのプログラム。

Images