JP6210081B2 - 復号装置、復号方法、及び、プログラム - Google Patents

Description

本発明は、復号装置、復号方法、及び、プログラムに関する。

携帯電話のカメラデバイスを利用し、可視光通信により光源より送信された光信号の色の変化を、カメラデバイスを走査して情報へ復号する技術が知られている（例えば、特許文献１参照）。

特開２０１５−１５６９３号公報

しかしながら、光信号の輝度が高く、撮像により得られた画像における光源部分の明度が高い場合、いわゆる白飛びという現象が発生し、光源部分が白色になってしまう可能性がある。このような場合には、精度の高い色の判定ができず、復号が困難となる。

本願発明はこのような問題点に鑑みてなされたもので、可視光通信技術を利用し情報を復号する上において、精度の高い復号を行うようにしたことを目的とする。

上記目的を達成するために、本発明に係る復号装置は、
時系列的に変化する色が含まれる画像を連続的に取得する画像取得手段と、
前記画像取得手段によって連続的に取得された画像に、所定値以上の明度値を有する画素領域と前記画素領域の周囲に隣接し前記所定値未満の明度値で時系列的に変化する色を有する画素領域とが含まれるか否かを判断する判断手段と、
前記判断手段により肯定と判断された場合に、前記画像取得手段によって連続的に取得された画像の白飛びしている画素領域について、前記色が含まれる画像の領域の面積を増加させるよう処理する処理手段と、
前記処理手段によって面積が増加した画像の色から情報へ復号する復号手段と、
を備えることを特徴とする。

本発明によれば、可視光通信技術を利用し情報を復号する上において、精度の高い復号を行うことが可能となる。

本発明の実施形態に係る光通信システムの構成を示す図である。 図１に示す送信装置の構成を示す図である。 図１に示す受信装置の構成を示す図である。 受信装置における画像処理を示す図である。 受信装置における第１の画像処理を含む受信処理の動作を示すフローチャートである。 受信装置における第２の画像処理を含む受信処理の動作を示すフローチャートである。

以下、本発明の実施の形態に係る光通信システムについて説明する。本発明の実施形態に係る光通信システム１は、図１に示すように、送信装置１００と受信装置２００とを含んで構成されている。

光通信システム１では、送信装置１００と受信装置２００とは、光を通信媒体として送信装置１００から受信装置２００への通信を行うことができる。

送信装置１００は、受信装置２００への通信対象の情報を、変調により可視光である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の時系列で変化する光信号に変換して出力する。

受信装置２００は、例えばスマートフォンであり、撮像範囲に含む送信装置１００を撮像することにより、送信装置１００からの光信号を受光する。また、受信装置２００は、撮像により得られた画像を表示する。また、受信装置２００は、受光した光信号から通信対象の情報を復号し、表示する。

次に、送信装置１００について説明する。送信装置１００は、図２に示すように、制御部１０２、メモリ１０４、送信部１１４を含んで構成される。

制御部１０２は、ＣＰＵ（Central Processing Unit）を備え、メモリ１０４に格納されているプログラムに従ってソフトウェア処理を実行し、送信装置１００が具備する各種機能を実現するために機能する。

メモリ１０４は、例えばワークエリアとなるＲＡＭ（Random Access Memory）、基本動作プログラムを記憶するＲＯＭ（Read Only Memory）である。メモリ１０４は、送信装置１００における制御等に用いられる各種情報（プログラム等）を記憶する。

制御部１０２内の符号化・変調部１１０は、通信対象である情報をビットデータ列に符号化する。更に、符号化・変調部１１０は、ビットデータ列に基づくデジタル変調を行う。変調方式として例えば周波数を２８．８（ｋＨｚ）とする搬送波を用いた４ＰＰＭ（Pulse Position Modulation）が採用される。制御部１０２内の駆動部１１２は、符号化・変調部１１０が生成した信号に基づいて、送信部１１４に対して、波長の異なる可視光である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を同一の輝度で、変化周期ｔ１で時間的に変化させる制御を行う。

送信部１１４は、例えば発光ダイオード（ＬＥＤ：Light Emitting Diode）であり、駆動部１１２の制御により、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各波長の光を同一の輝度で、変化周期ｔ１で時間的に変化させながら出力する。

次に、受信装置２００について説明する。受信装置２００は、撮像画像を表示するとともに、送信装置１００からの情報を受信するための通信装置として機能する。受信装置２００は、図３に示すように、制御部２０２、メモリ２０４、操作部２０６、表示部２０７、無線通信部２０８、アンテナ２１０、撮像部２１４を含んで構成される。

制御部２０２は、ＣＰＵによって構成される。制御部２０２は、メモリ２０４に記憶されたプログラムに従ってソフトウェア処理を実行することにより、受信装置２００が具備する各種機能を実現するために機能する。

メモリ２０４は、例えばＲＡＭやＲＯＭである。メモリ２０４は、受信装置２００における制御等に用いられる各種情報（プログラム等）を記憶する。

操作部２０６は、表示部２０７の表示領域の上面に配置されるタッチパネルであり、ユーザの操作内容を入力するために用いられるインタフェースである。表示部２０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electro-Luminescence）ディスプレイ等によって構成され、画像を表示する。

無線通信部２０８は、例えば無線周波数（ＲＦ：Radio Frequency）回路やベースバンド（ＢＢ：Base Band）回路等を用いて構成される。無線通信部２０８は、アンテナ２１０を介して、無線信号の送信及び受信を行う。また、無線通信部２０８は、送信信号の変調と、受信信号の復調とを行う。

撮像部２１４は、受信装置２００の筐体において、表示部２０７が設置された面とは反対側の面に配置される。撮像部２１４は、レンズと受光素子により構成される。レンズは、ズームレンズ等により構成され、制御部２０２によるズーム制御及び合焦制御により移動する。撮像部２１４の撮像画角、光学像は、レンズの移動によって制御される。受光素子は、受光面に規則的に二次元配列された複数の受光素子により構成される。受光素子は、例えば、フォトダイオード、ベイヤー配列のカラーフィルターを実装し、また若しくは三板式のＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像デバイスである。

撮像部２１４は、送信装置１００内の送信部１１４における光の変化周期ｔ１と同一の撮像周期ｔ１で撮像を行う。撮像部２１４は、入光された光学像を、制御部２０２からの制御信号に基づいて所定範囲の撮像画角で撮像（受光）し、その撮像画角内の画像信号を逐次、制御部２０２へ出力する。

制御部２０２内の画像生成部２３２は、撮像部２１４からの画像信号が入力される毎に、当該画像信号をデジタルデータに変換してフレームを生成する。制御部２０２内の表示制御部２３６は、フレームに対応する画像を表示部２０７に表示させる制御を行う。

制御部２０２内の復号部２３４は、時系列的に連続して入力されるフレームにおける波長の変化による色相変化が生じる箇所（変化領域）の判別を行う。具体的には、復号部２３４は、フレームの画像データ内の各画素の明度を判別する。更に、復号部２３４は、明度値が所定値以上である画素を、送信装置１００内の送信部１１４からの発光色に相当する波長光を受光することにより色相変化が生じる箇所（変化領域）の候補（候補領域）であると見なす。更に、復号部２３４は、直近に取得された所定数のフレームのそれぞれにおける候補領域内の同一座標において色相を判別する。判別の結果、候補領域内の座標における色相値があるフレームでは第１の所定値であり、他のフレームでは第２の所定値である場合というように、所定のパターンで大きく変化する場合には、復号部２３４は、当該候補領域を変化領域であると見なす。

変化領域が存在する場合には、復号部２３４は、その後、撮像毎にフレーム内の変化領域の色相値（波長の種類）を取得し、その色相値に対応する変化領域の色を、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかに判別する。更に、復号部２３４は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色に対応するビットデータ列を復号し、通信対象の情報を取得する。更に、表示制御部２３６は、通信対象の情報の画像を表示部２０７に表示させる制御を行う。

ところで、送信装置１００から出力される光の輝度が高く、受信装置２００において撮像により得られたフレーム内の送信部１１４（光源）の部分の明度が高い場合、いわゆる白飛びという現象が発生し、光源部分が白色になってしまう可能性がある。このような場合には、正確に色を判定できず、復号が困難となる。

このため、本実施形態においては、上述した復号部２３４における変化領域の判別、変化領域の色の判別、及び、ビット列データの復号に先立って、白飛び領域の有無を判別し、白飛び領域が存在する場合には、復号が可能なように画像処理を行うようにする。図４は、画像処理を示す図である。白飛びが発生すると、図４（Ａ）にしめすように、フレーム内の光源部分は、本来の光源の色の領域（色領域）の内側に白飛び領域が含まれたものとなり、色領域の面積が本来の面積よりも減少してしまう。

このため、本実施形態では、第１の画像処理と第２の画像処理とが選択的に実行される。第１の画像処理では、復号部２３４は、撮像部２１４内のレンズを移動させる等により、焦点をずらす処理を行う。これにより、フレームは、ぼけた画像になり、図４（Ｂ）に示すように、色領域の面積が増加し、白飛び領域の面積が減少する。

一方、第２の画像処理では、復号部２３４は、画像のフィルタリング処理（光学ぼかしフィルタリング処理）を行うプログラムを実行する。このフィルタリング処理では、白飛び領域の色を、当該白飛び領域の周囲の色領域の色に置き換える処理が行われる。これにより、図４（Ｃ）に示すように色領域のみとなる。

次に、光通信システム１の動作を説明する。光通信システム１においては、送信装置１００による送信処理、受信装置２００による受信処理が行われる。

送信装置１００の制御部１０２内の符号化・変調部１１０は、通信対象の情報をビットデータ列に符号化し、更に、ビットデータ列に基づくデジタル変調を行う。

次に、制御部１０２内の駆動部１１２は、符号化・変調部１１０が生成した信号に基づいて、送信部１１４に対して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を発光周期ｔ１で時間的に変化させる制御を行う。これにより、送信部１１４は、駆動部１１２の制御により、変調された通信対象の情報に基づいて、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を同一の輝度で、発光周期ｔ１で出力する。

図５は、受信装置２００による第１の画像処理を含む受信処理の動作を示すフローチャートである。制御部２０２内の画像生成部２３２は、撮像部２１４からの画像信号が入力される毎に、当該画像信号をデジタルデータに変換してフレームを生成する。制御部２０２内の復号部２３４は、生成されたフレーム内に白飛び領域があるか否かを判定する（ステップＳ１０１）。

具体的には、復号部２３４は、フレームを構成する各画素の明度と色相を判別する。更に、復号部２３４は、明度値が所定値以上で白の色相値を有する画素（白飛び画素）が存在し、且つ、その白飛び画素の周囲に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかの色相値を有する画素（色画素）が存在するか否かを判定する。復号部２３４は、白飛び画素とその周囲の色画素との組み合わせが存在する場合には、白飛び領域が存在すると判定し、白飛び画素とその周囲の色画素との組み合わせが存在しない場合には、白飛び領域が存在しないと判定する。

白飛び領域が存在する場合（ステップＳ１０１；ＹＥＳ）、復号部２３４は、撮像部２１４内のレンズを移動させる等により、焦点をずらす処理を行う（ステップＳ１０２）。これにより、上述したように、フレームはぼけた画像になり、図４（Ｂ）に示すように、色領域の面積が増加し、白飛び領域の面積が減少する。

ステップＳ１０２における焦点ずらし処理の後、又は、ステップＳ１０１において、白飛び領域が存在しないと判定された場合（ステップＳ１０１；ＮＯ）、画像生成部２３２は、撮像部２１４からの画像信号が入力される毎に、リアルタイムで、当該画像信号をデジタルデータに変換してフレームを生成（取得）し、表示制御部２３６は、フレームに対応する画像を表示部２０７に表示させる制御を行う（ステップＳ１０３）。

次に、復号部２３４は、時系列的に連続して入力されるフレームにおける波長の変化による色相変化が生じる箇所（変化領域：光源）の判別を行う（ステップＳ１０４）。次に、復号部２３４は、フレーム内の変化領域の色相値（波長の種類）を取得し、その色相値に対応する変化領域の色を、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかに判別する（ステップＳ１０５）。更に、復号部２３４は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色に対応するビットデータ列を復号し、通信対象の情報を取得する（ステップＳ１０６）。その後、表示制御部２３６によって、通信対象の情報の画像が表示部２０７を表示させる制御が行われる。

図６は、受信装置２００による第２の画像処理を含む受信処理の動作を示すフローチャートである。図５と同様、制御部２０２内の画像生成部２３２は、撮像部２１４からの画像信号が入力される毎に、当該画像信号をデジタルデータに変換してフレームを生成する。制御部２０２内の復号部２３４は、生成されたフレーム内に白飛び領域があるか否かを判定する（ステップＳ２０１）。

白飛び領域が存在する場合（ステップＳ２０１；ＹＥＳ）、復号部２３４は、画像のフィルタリング処理（光学ぼかしフィルタリング処理）を行うプログラムを実行する（ステップＳ２０２）。上述したように、このフィルタリング処理では、白飛び領域の色を、当該白飛び領域の周囲の色領域の色に置き換える処理が行われ、図４（Ｃ）に示すように色領域のみとなる。

ステップＳ２０２における光学ぼかしフィルタリング処理の後、又は、ステップＳ２０１において、白飛び領域が存在しないと判定された場合（ステップＳ２０１；ＮＯ）、ステップＳ２０３〜ステップＳ２０６の処理が行われる。ステップＳ２０３〜ステップＳ２０６の処理は、図５のステップＳ１０３〜ステップＳ１０６の処理と同様であるので、その説明は省略する。

以上説明したように、本実施形態に係る光通信システム１では、送信装置１００から出力される光の輝度が高く、受信装置２００における撮像により得られたフレーム内の送信部１１４（光源）の部分の明度が高いために白飛びという現象が発生する場合、受信装置２００内の復号部２３４は、変化領域の判別、変化領域の色の判別、及び、ビット列データの復号に先立って、撮像部２１４内のレンズを移動させる等により、焦点をずらす第１の画像処理や、画像のフィルタリング処理（光学ぼかしフィルタリング処理）を行うプログラムを実行して、白飛び領域の色を、当該白飛び領域の周囲の色領域の色に置き換える処理を行う。

これらの第１の画像処理及び第２の画像処理が行われることにより、フレーム内の白飛び領域の面積が減少し、光源の色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の領域（色領域）の面積が増加するため、変化領域の判別、変化領域の色の判別、及び、ビット列データの復号の精度を向上させることができる。

なお、本発明は、上記実施形態に限定されず、様々な変形及び応用が可能である。例えば、上述した実施形態では、可視光である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を通信に用いる場合について説明したが、他の色の可視光を用いてもよく、更には、赤外線等の可視光以外の光を用いてもよい。

また、送信装置１００内の送信部１１４は、例えば、表示部の一部に構成されていてもよい。

また、受信装置２００は、撮像が可能であれば、どのような装置でもよい。例えば、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant又はPersonal Data Assistance）、タブレットＰＣ（Personal Computer）、ゲーム機器、携帯型音楽再生装置等であってもよい。

また、受信装置２００の機能と送信装置１００の機能とを両方備える装置を用意し、場面に応じて、両機能を使い分けることができるようにしてもよい。

また、上記各実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto-Optical disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。

また、プログラムをインターネット等のネットワークＮＷ上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
時系列的に変化する色が含まれる画像を連続的に取得する画像取得手段と、
前記画像取得手段によって連続的に取得された画像の白飛びしている画素領域について、前記色が含まれる画像の領域の面積を増加させるよう処理する処理手段と、
前記処理手段によって面積が増加した画像の色から情報へ復号する復号手段と、
を備えることを特徴とする復号装置。

（付記２）
前記画像取得手段によって連続的に取得された画像に、所定値以上の明度値を有する画素領域と前記画素領域の周囲に隣接し前記所定値未満の明度値で時系列的に変化する色を有する画素領域とが含まれるか否かを判断する判断手段を更に備え、
前記処理手段は、前記判断手段により肯定と判断された場合に、前記時系列的に変化する色を有する画素領域の面積を増加させるよう処理することを特徴とする付記１に記載の復号装置。

（付記３）
前記画像取得手段が取得する画像を光学的に調整する調整手段を更に備え、
前記処理手段は、前記調整手段による調整内容を制御する制御手段を含むことを特徴とする付記１又は２に記載の復号装置。

（付記４）
前記画像取得手段が取得する画像にフィルタリング処理を行うフィルタリング手段を更に備え、
前記処理手段は、前記フィルタリング手段によるフィルタ処理を制御する制御手段を含むことを特徴とする付記１又は２に記載の復号装置。

（付記５）
時系列的に変化する色が含まれる画像を連続的に取得する画像取得ステップと、
前記画像取得ステップにて連続的に取得された画像の白飛びしている画素領域について、前記色が含まれる画像の領域の面積を増加させるよう処理する処理ステップと、
前記処理ステップにて面積が増加した画像の色から情報へ復号する復号ステップと、
を含むことを特徴とする復号方法。

（付記６）
コンピュータを、
時系列的に変化する色が含まれる画像を連続的に取得する画像取得手段、
前記画像取得手段によって連続的に取得された画像の白飛びしている画素領域について、前記色が含まれる画像の領域の面積を増加させるよう処理する処理手段、
前記処理手段によって面積が増加した画像の色から情報へ復号する復号手段、
として機能させることを特徴とするプログラム。

１…光通信システム、１００…送信装置、１０２…制御部、１０４…メモリ、１１０…符号化・変調部、１１２…駆動部、１１４…送信部、２００…受信装置、２０２…制御部、２０４…メモリ、２０６…操作部、２０７…表示部、２０８…無線通信部、２１０…アンテナ、２１４…撮像部、２３２…画像生成部、２３４…復号部、２３６…表示制御部

Claims (5)

1. 時系列的に変化する色が含まれる画像を連続的に取得する画像取得手段と、
   前記画像取得手段によって連続的に取得された画像に、所定値以上の明度値を有する画素領域と前記画素領域の周囲に隣接し前記所定値未満の明度値で時系列的に変化する色を有する画素領域とが含まれるか否かを判断する判断手段と、
   前記判断手段により肯定と判断された場合に、前記画像取得手段によって連続的に取得された画像の白飛びしている画素領域について、前記色が含まれる画像の領域の面積を増加させるよう処理する処理手段と、
   前記処理手段によって面積が増加した画像の色から情報へ復号する復号手段と、
   を備えることを特徴とする復号装置。
2. 前記画像取得手段が取得する画像を光学的に調整する調整手段を更に備え、
   前記処理手段は、前記調整手段による調整内容を制御する制御手段を含むことを特徴とする請求項１に記載の復号装置。
3. 前記画像取得手段が取得する画像にフィルタリング処理を行うフィルタリング手段を更に備え、
   前記処理手段は、前記フィルタリング手段によるフィルタ処理を制御する制御手段を含むことを特徴とする請求項１に記載の復号装置。
4. 時系列的に変化する色が含まれる画像を連続的に取得する画像取得ステップと、
   前記画像取得ステップにて連続的に取得された画像に、所定値以上の明度値を有する画素領域と前記画素領域の周囲に隣接し前記所定値未満の明度値で時系列的に変化する色を有する画素領域とが含まれるか否かを判断する判断ステップと、
   前記判断ステップにて肯定と判断された場合に、前記画像取得ステップにて連続的に取得された画像の白飛びしている画素領域について、前記色が含まれる画像の領域の面積を増加させるよう処理する処理ステップと、
   前記処理ステップにて面積が増加した画像の色から情報へ復号する復号ステップと、
   を含むことを特徴とする復号方法。
5. コンピュータを、
   時系列的に変化する色が含まれる画像を連続的に取得する画像取得手段、
   前記画像取得手段によって連続的に取得された画像に、所定値以上の明度値を有する画素領域と前記画素領域の周囲に隣接し前記所定値未満の明度値で時系列的に変化する色を有する画素領域とが含まれるか否かを判断する判断手段、
   前記判断手段により肯定と判断された場合に、前記画像取得手段によって連続的に取得された画像の白飛びしている画素領域について、前記色が含まれる画像の領域の面積を増加させるよう処理する処理手段、
   前記処理手段によって面積が増加した画像の色から情報へ復号する復号手段、
   として機能させることを特徴とするプログラム。

Images