WO2017188030A1

WO2017188030A1 - 画像処理装置及び画像処理方法

Info

Publication number: WO2017188030A1
Application number: PCT/JP2017/015310
Authority: WO
Inventors: 洋介成瀬; 高志椚瀬; 林　健吉
Original assignee: 富士フイルム株式会社
Priority date: 2016-04-26
Filing date: 2017-04-14
Publication date: 2017-11-02

Abstract

空間変調方式の信号及び時間変調方式の信号のうち少なくともいずれか一方が含まれる可視光通信の信号をより少ない計算リソースで効率的に読み取ることが可能な画像処理装置及び画像処理方法を提供する。画像処理装置（５４）は、フレーム画像に含まれる可視光通信の信号が空間変調方式の信号であるか否かを判定する空間変調判定部（６２）と、フレーム画像に含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する時間変調判定部（６４）と、可視光通信の信号を復調する復調部（６８）と、復調部に可視光通信の信号を時間変調方式の信号として復調させる復調制御部（６６）と、を備える。

Description

画像処理装置及び画像処理方法

　本発明は、画像処理装置及び画像処理方法に関し、特に可視光通信の信号を含む画像を処理する画像処理装置及び画像処理方法に関する。

　従来より、可視光を利用した可視光通信が行われている。可視光通信の信号を含む画像を撮像装置で撮像し、得た画像を画像処理することにより可視光通信の信号を読み取る技術が知られている。ここで可視光通信には、例えば１次元コード又は２次元コードを使用した空間変調方式による通信と、例えばモールス通信のように点滅を繰り返すことにより通信を行う時間変調方式による通信とがある。

　近年では、空間変調方式による通信と時間変調方式による通信とを併せて行う技術が提案されている。このような異なる変調方式を同時に用いる情報の伝送方法は、以下に記載する３つに大別される。第１に異なる変調方式によってそれぞれ異なる情報を送る方法、第２に空間変調方式による通信と時間変調方式による通信とも同一の情報を送る方法、第３に空間変調方式による通信及び時間変調方式による通信により協調して一つの情報を送る方法である。

　例えば特許文献１には、バーコードを表示させて行われる空間変調方式による通信と、バーコードを点滅させて行われる時間変調方式による通信とを併せて行う技術が提案されている。

特開２０１５－１７９３９２号公報

　特許文献１に記載された技術では、点滅するバーコードの表示を受信した受信装置は、バーコード（空間変調方式の信号）の読み取りを行うことにより読み取り可能か否かを判定し、また点滅するバーコードの表示（時間変調方式の信号）の読み取りを行うことにより読み取り可能か否かを判定している。すなわち、特許文献１に記載された技術では、空間変調方式の信号として読み取りが可能か否かに関わらず、又時間変調方式の信号として読み取りが可能か否かに関わらず、ＣＰＵ（central processing unit）は信号の読み取りを実行する所謂トライアンドエラーにより信号の読み取り判定が行われている。このようなトライアンドエラーによる信号の読み取り判定は、信号の読み取りに計算リソースを割いても信号の読み取りに失敗することがあり、ＣＰＵの計算リソースを効率的に使用できない場合がある。

　さらに、ユーザが可視光通信を行う際に、空間変調方式の信号を使用するか又は時間変調方式の信号をしようとするかが不明な場合は、双方の方式での受信（復調）動作を受信が完了するまで継続させる必要があり、復調処理には多くの計算リソースを必要としてしまうため、ＣＰＵの計算リソースを効率的に使用できない場合がある。

　本発明はこのような事情に鑑みてなされたもので、その目的は、空間変調方式の信号及び時間変調方式の信号のうち少なくともいずれか一方が含まれる可視光通信の信号をより少ない計算リソースで効率的に読み取ることが可能な画像処理装置及び画像処理方法を提供することである。

　上記目的を達成するために、本発明の一の態様である画像処理装置は、可視光通信の信号を含むフレーム画像が入力される画像入力部と、画像入力部で入力されたフレーム画像を画像解析して、フレーム画像に含まれる可視光通信の信号が空間変調方式の信号であるか否かを判定する第１の判定部と、画像入力部で入力されたフレーム画像を画像解析して、フレーム画像に含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する第２の判定部と、画像入力部に入力されたフレーム画像に基づいて、可視光通信の信号を復調する復調部と、第１の判定部が可視光通信の信号が空間変調方式の信号であると判定した場合には、復調部に可視光通信の信号を空間変調方式の信号として復調させ、第２の判定部が可視光通信の信号が時間変調方式の信号であると判定した場合には、復調部に可視光通信の信号を時間変調方式の信号として復調させる復調制御部と、を備える。

　本態様によれば、入力されたフレーム画像における可視光通信の信号が空間変調方式の信号であるか否かの判定、及び時間変調方式の信号であるか否かの判定が行われ、その判定結果に基づいて復調部で復調が行われる。すなわち本態様は、可視光通信の信号が空間変調方式の信号であると判定された場合に、復調部は空間変調方式の信号として復調を行い、可視光通信の信号が時間変調方式の信号であると判定された場合に、復調部は時間変調方式の信号として復調を行う。したがって本態様は、少ない計算リソースで可視光通信の信号が空間変調方式の信号であるか時間変調方式の信号であるかの判定を行い、そして成功の可能性が高い復調が実行されるので、ＣＰＵの計算リソースを効率的に使用して可視光通信の信号の読み取りを行うことができる。

　好ましくは、第１の判定部は、画像入力部で入力されたフレーム画像の空間周波数レスポンスが閾値以上である領域の大きさに基づいて、フレーム画像に含まれる可視光通信の信号が空間変調方式の信号であるか否かを判定する。

　本態様によれば、入力されたフレーム画像の空間周波数レスポンスが閾値以上である領域の大きさに基づいて、可視光通信の信号が空間変調方式の信号であるか否かの判定が行われる。これにより本態様は、可視光通信の信号が空間変調方式の信号であることを正確に判定することができる。

　好ましくは、第１の判定部は、画像入力部で入力されたフレーム画像の色相に基づいて、フレーム画像に含まれる可視光通信の信号が空間変調方式の信号であるか否かを判定する。

　本態様によれば、入力されたフレーム画像の色相に基づいて、可視光通信の信号が空間変調方式の信号であるか否かの判定が行われる。これにより本態様は、可視光通信の信号が空間変調方式の信号であることを正確に判定することができる。

　好ましくは、第２の判定部は、画像入力部で入力されたフレーム画像の色相に基づいて、フレーム画像に含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する。

　本態様によれば、入力されたフレーム画像の色相に基づいて、可視光通信の信号が時間変調方式の信号であるか否かの判定が行われる。これにより本態様は、可視光通信の信号が時間変調方式の信号であることを正確に判定することができる。

　好ましくは、画像入力部は、可視光通信の信号を含む複数のフレーム画像が入力される。

　本態様によれば、可視光通信の信号を含む複数のフレーム画像が入力されるので、複数のフレーム画像に基づいて、第１の判定部及び第２の判定部が判定を行い、復調部は複数のフレーム画像を復調するので、動画又はライブビューに含められた可視光通信の信号をＣＰＵの計算リソースを効率的に使用して読み取ることができる。

　好ましくは、第２の判定部は、画像入力部で入力された複数のフレーム画像において、フレーム画像の特徴量の時間変化に基づいて、フレーム画像に含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する。

　本態様によれば、入力された複数のフレーム画像の特徴量の時間変化に基づいて、可視光通信の信号が時間変調方式の信号であるか否かの判定が行われる。これにより本態様は、可視光通信の信号が時間変調方式の信号であることを正確に判定することができる。

　好ましくは、第２の判定部は、画像入力部で入力された複数のフレーム画像において、時間変調方式の信号であることを示すプレフィックスの検出に基づいて、フレーム画像に含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する。

　本態様によれば、入力されたフレーム画像において時間変調方式の信号であることを示すプレフィックスの検出に基づいて、可視光通信の信号が時間変調方式の信号であるか否かが判定される。これにより本態様は、可視光通信の信号が時間変調方式の信号であることを正確に判定することができる。

　好ましくは、復調部が行う可視光通信の信号の復調の成功又は失敗を判定する第３の判定部と、を備え、復調制御部は、第３の判定部が空間変調方式の信号としての復調が失敗したと判定した場合には、復調部に時間変調方式の信号としての復調を行わせ、第３の判定部が時間変調方式の信号としての復調が失敗したと判定した場合には、復調部に空間変調方式の信号としての復調を行わせる。

　本態様によれば、復調部が行う可視光通信の信号の復調の成功又は失敗を判定し、復調部での可視光通信の信号の復調が失敗したと判定された場合には、復調部は失敗したと判定された復調とは異なる復調を行う。すなわち本態様は、空間変調方式の信号として復調が行われその復調が失敗と判定された場合には次に時間変調方式の信号として復調が行われ、又は、時間変調方式の信号として復調が行われその復調が失敗と判定された場合には次に空間変調方式の信号として復調が行われる。これにより本態様は、仮に初めの復調が失敗した場合であっても次の復調を異なる処理で行うので、可視光通信の信号の読み取りを正確に行うことができる。

　好ましくは、画像入力部に入力されるフレーム画像には、空間変調方式の信号であり且つ時間変調方式の信号である可視光通信の信号が含まれる。

　本態様によれば、フレーム画像において空間変調方式の信号であり且つ時間変調方式の信号が含まれる。すなわち本態様では、空間変調方式の信号としての機能及び時間変調方式の信号としての機能を有する信号がフレーム画像に含まれる。これにより本態様は、同じフレーム画像において空間変調方式の信号での可視光通信と時間変調方式の信号での可視光通信を行うことができる。

　好ましくは、復調制御部は、第１の判定部が可視光通信の信号が空間変調方式の信号であると判定し、且つ、第２の判定部が可視光通信の信号が時間変調方式の信号であると判定した場合には、復調部に可視光通信の信号を空間変調方式の信号及び時間変調方式の信号として復調させる。

　本態様によれば、入力されたフレーム画像に含まれる可視光通信の信号が空間変調方式の信号であり且つ時間変調方式の信号であると判定された場合には、復調部は空間変調方式の信号及び時間変調方式の信号として復調する。これにより本態様は、時間変調方式の信号であり且つ時間変調方式の信号により可視光通信を行うことができる。

　本発明の他の態様である画像処理方法は、可視光通信の信号を含むフレーム画像が入力される画像入力ステップと、画像入力ステップで入力されたフレーム画像を画像解析して、フレーム画像に含まれる可視光通信の信号が空間変調方式の信号であるか否かを判定する第１の判定ステップと、画像入力ステップで入力されたフレーム画像を画像解析して、フレーム画像に含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する第２の判定ステップと、画像入力ステップで入力されたフレーム画像に基づいて、可視光通信の信号を復調する復調ステップと、第１の判定ステップで可視光通信の信号が空間変調方式の信号であると判定した場合には、復調ステップで可視光通信の信号を空間変調方式の信号として復調させ、第２の判定ステップで可視光通信の信号が時間変調方式の信号であると判定した場合には、復調ステップで可視光通信の信号を時間変調方式の信号として復調させる復調制御ステップと、を含む。

　本発明によれば、入力されたフレーム画像における可視光通信の信号が空間変調方式の信号であるか否かの判定、及び時間変調方式の信号であるか否かの判定が行われ、その判定結果に基づいて復調部で復調が行われるので、少ない計算リソースで可視光通信の信号が空間変調方式の信号であるか時間変調方式の信号であるかの判定を行い、且つ成功の可能性が高い復調が実行されるので、計算リソースを効率的に使用して可視光通信の信号の読み取りを行うことができる。

ＣＣＴＶカメラとスマートフォンを示す機能ブロック図である。画像処理部の機能ブロック図である。画像処理部の動作フロー図である。画像処理部の機能ブロック図である。画像処理部の動作フロー図である。画像処理部の動作フロー図である。スマートフォンの外観図である。図７に示すスマートフォンの構成を示すブロック図である。

　以下、添付図面に沿って本発明に係る画像処理装置及び画像処理方法の好ましい実施の形態について説明する。

　［第１の実施形態］
　図１は、第１の実施形態における画像処理装置（画像処理部）を含むＣＣＴＶ（closed circuit television）カメラとスマートフォンを示す機能ブロック図である。なお、以下ではＣＣＴＶカメラの例に関して説明するが、他のカメラにも本発明を効果的に適用することができる。例えば、ＦＡ（factory automation）カメラ、又はＭＶ（machine vision）カメラにも本発明を効果的に適用することができる。

　本例のＣＣＴＶカメラ１００は、撮像装置１０、レンズ装置２０、コンピュータ装置４０、及びデータベース８０によって構成される。また、ＣＣＴＶカメラ１００はスマートフォン３０の表示画面を撮像する。

　撮像装置１０は、撮像素子１２を含んで構成される。本例の撮像装置１０は、レンズ交換式カメラである。撮像素子１２として、例えばＣＭＯＳ（complementary metal oxide semiconductor）撮像センサ、又はＣＣＤ（charge coupled device）撮像センサを用いる。他の撮像デバイスを用いてもよい。撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、特に限定されず、撮像機能を有し且つ後述のレンズ装置２０を装着可能であれば、どのような装置を用いてもよい。

　レンズ装置２０（撮影レンズ）は、レンズ２２と、レンズ２２を保持する鏡筒２４とを含む。本例のレンズ装置２０は、撮像装置１０のマウント部１４に装着及び脱着が可能である。レンズ装置２０は、例えば、撮像装置１０のマウント部１４に鏡筒２４をねじ込んで装着される、ねじ込み式のレンズ装置２０によって構成される。ねじ込み装着式の鏡筒２４は、例えば、ＣＣＴＶカメラ、ＦＡカメラ、ＭＶカメラに装着される。また、レンズ装置２０を撮像装置１０に装着する方式は、ねじ込み装着には限定されず、バヨネット式など、他の装着方式を採用することができる。

　スマートフォン３０は、本発明における発信器の一例である。スマートフォン３０は、表示部に可視光通信の信号を表示し、ＣＣＴＶカメラ１００又は画像処理部５４に信号を送信する。スマートフォン３０の構成例は後述する。

　コンピュータ装置４０は、撮像装置１０をクライアント端末として、画像処理及びアプリケーション処理を行うサーバ装置である。コンピュータ装置４０はサーバ装置に限定されない。いわゆるパーソナルコンピュータでもよい。

　コンピュータ装置４０は、外部の装置（本例では撮像装置１０及びデータベース８０）とネットワークＮＷを介して情報の出力及び入力を行う通信部４２と、表示を行う表示部４４と、ユーザから指示入力を受け付ける指示入力部４６と、各種の情報を記憶する記憶部４８と、記憶部４８に記憶されたプログラムにしたがってコンピュータ装置４０の各部を制御する制御部５０とを含む。

　通信部４２は、有線又は無線の通信デバイスによって構成される。通信部４２は、例えば撮像装置１０からのフレーム画像ＦをネットワークＮＷを介して取得する。

　表示部４４は、画像表示可能な表示デバイスであり、例えばＬＣＤ（liquid crystal display）によって構成される。有機エレクトロルミネッセンス・ディスプレイ等、他の表示デバイスを用いてもよい。

　指示入力部４６は、例えばキーボード及びポインティングデバイス（例えばマウス）によって構成される。タッチパネルによって構成してもよい。音声入力デバイス、ジェスチャ入力デバイス等、他の入力デバイスを用いてもよい。

　記憶部４８は、例えばＲＯＭ（read only memory）、ＲＡＭ（random access memory）及びＥＥＰＲＯＭ（electrically erasable programmable read only memory）を含んで構成される。他の記憶デバイスを用いてもよい。

　制御部５０は、例えばＣＰＵ（central processing unit）によって構成される。

　制御部５０は、通信部４２を制御することにより撮像装置１０に対する入出力制御を行うドライバ５２と、撮像装置１０の撮像により得られた画像（フレーム画像）に対して画像処理を行う画像処理部５４と、画像処理された画像を用いてアプリケーション処理を行うアプリケーション部５６とを含んで構成される。

　画像処理部５４は、本発明の画像処理装置に相当し、撮像装置１０から送られてくるフレーム画像Ｆを画像処理することにより、可視光通信の信号を読み取る機能を有する。

　＜第１の実施形態＞
　図２は、画像処理部５４の機能ブロック図である。

　画像処理部５４（画像処理装置）は、主に画像入力部６０、空間変調判定部６２、時間変調判定部６４、復調制御部６６、及び復調部６８により構成される。

　画像入力部６０は、可視光通信の信号を含むフレーム画像Ｆが入力される。画像入力部６０には、可視光通信の信号を含む単数又は複数のフレーム画像Ｆが入力される。複数のフレーム画像Ｆが入力される場合には、例えば撮像装置１０から動画又はライブビューが出力されネットワークＮＷを介して画像入力部６０に入力される。

　画像入力部６０に入力されたフレーム画像Ｆは、空間変調判定部６２、時間変調判定部６４、及び復調部６８に送信される。

　空間変調判定部６２（第１の判定部）は、画像入力部６０で入力されたフレーム画像Ｆを画像解析して、フレーム画像Ｆに含まれる可視光通信の信号が空間変調方式の信号であるか否かを判定する。空間変調判定部６２が行うフレーム画像Ｆに空間変調方式の信号が含まれるか否かの判定は、様々な方法を用いることができる。

　例えば空間変調判定部６２は、画像入力部６０で入力されたフレーム画像Ｆの空間周波数レスポンスが閾値以上である領域の大きさに基づいて、フレーム画像Ｆに含まれる可視光通信の信号が空間変調方式の信号であるか否かを判定する。すなわち空間変調判定部６２は、１次元コード（バーコード）や２次元コードは空間周波数レスポンスが高くなるので、空間周波数レスポンスが閾値以上である領域の大きさが一定値以上の場合には、そのフレーム画像Ｆに含まれた可視光通信の信号は空間変調方式の信号であると判定する。一方で、空間周波数レスポンスが閾値以上である領域の大きさが一定値未満である場合には、そのフレーム画像Ｆに含まれた可視光通信の信号は空間変調方式の信号でないと判定する。

　また例えば空間変調判定部６２は、画像入力部６０で入力されたフレーム画像Ｆの色相に基づいて、フレーム画像Ｆに含まれる可視光通信の信号が空間変調方式の信号であるか否かを判定する。すなわち、空間変調方式の信号は赤の色相のフレーム画像Ｆで送信されると予め設定して、空間変調判定部６２はフレーム画像Ｆの色相が赤であった場合に可視光通信の信号は空間変調方式の信号であると判定する。なお、空間変調判定部６２では、公知の画像処理の技術が適用される。

　時間変調判定部６４（第２の判定部）は、画像入力部６０で入力されたフレーム画像Ｆを画像解析して、フレーム画像Ｆに含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する。

　例えば時間変調判定部６４は、画像入力部６０で入力されたフレーム画像Ｆの色相に基づいて、フレーム画像Ｆに含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する。すなわち、空間変調方式の信号は緑の色相のフレーム画像Ｆで送信されると予め設定して、空間変調判定部６２はフレーム画像Ｆの色相が緑であった場合に可視光通信の信号は空間変調方式の信号であると判定する。

　また例えば時間変調判定部６４は、複数のフレーム画像Ｆが画像入力部６０に入力された場合には、フレーム画像Ｆの特徴量の時間変化に基づいて、フレーム画像Ｆに含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する。すなわち、時間変調判定部６４は、時系列に並んだ複数のフレーム画像Ｆにおいて、フレーム画像Ｆ毎のフレーム画像Ｆの特徴量の時間変化に応じて、可視光通信の信号が時間変調方式の信号であるか否かを判定する。ここで、フレーム画像Ｆの特徴量とは、画像の特徴量であれば様々なものを採用することができる。例えば、フレーム画像Ｆの特徴として輝度値が採用された場合には、時間変調判定部６４は、点滅する時間変調方式の信号を輝度値の時間変化に基づいて、時間変調方式の信号として判定することができる。ここで、時間変調判定部６４では、公知の画像処理の技術が適用される。

　なおフレーム画像Ｆが複数ある場合に、時間変調判定部６４又は空間変調判定部６２が１度判定結果を出力した後は、時間変調判定部６４又は空間変調判定部６２がフレーム画像Ｆ毎に対して判定を行ってもよいし、判定された結果をその他のフレーム画像Ｆに対しても適用してもよい。上述のように、空間変調判定部６２及び時間変調判定部６４での判定は、可視光通信の信号を読み取る動作に比べて少ないＣＰＵの計算リソースで実行することができる。

　復調部６８は、可視光通信の信号を復調させて可視光通信の信号を読み取る機能を有する。すなわち復調部６８は、画像入力部６０に入力されたフレーム画像Ｆに含まれる可視光通信の信号を復調する。また復調部６８は、空間変調方式の信号に対する復調と、時間変調方式の信号に対する復調とは異なる処理を行い、空間変調方式の信号に対する復調及び時間変調方式の信号に対する復調はいずれも公知の技術が採用される。

　復調制御部６６は、復調部６８が行う可視光通信の信号の復調を制御する。すなわち、復調制御部６６は、空間変調判定部６２が可視光通信の信号が空間変調方式の信号であると判定した場合には、復調部６８に可視光通信の信号を空間変調方式の信号として復調させる。また復調制御部６６は、時間変調判定部６４が可視光通信の信号が時間変調方式の信号であると判定した場合には、復調部に可視光通信の信号を時間変調方式の信号として復調させる。

　更に復調制御部６６は、空間変調判定部６２が可視光通信の信号が空間変調方式の信号であると判定し、且つ、時間変調判定部６４が可視光通信の信号が時間変調方式の信号であると判定した場合には、復調部６８に可視光通信の信号を空間変調方式の信号及び時間変調方式の信号として復調させる。すなわち、復調制御部６６は、可視光通信の信号が空間変調方式の信号であって且つ時間変調方式の信号である場合には、復調部６８に空間変調方式の信号の復調及び時間変調方式の信号の復調を行われる。この場合、復調制御部６６は、復調部６８に空間変調方式の信号の復調を先に行わせて、時間変調方式の信号の復調を後に行わせてもよい。また復調制御部６６は、復調部６８に時間変調方式の信号の復調を先に行わせて、空間変調方式の信号の復調を後に行わせてもよい。更に復調制御部６６は、復調部６８に同時に空間変調方式の信号の復調及び時間変調方式の信号の復調を行わせてもよい。なお、空間変調方式の信号であり且つ時間変調方式の信号とは、例えば点滅するバーコード表示である。バーコード表示の点滅（時間変調方式の信号）により情報を送信し、同時にバーコード表示（空間変調方式の信号）によっても情報を送信する。なお、空間変調方式の信号で送信される情報と、時間変調方式の信号で送信される情報とは同じであってもよいし異なってもよい。

　次に、空間変調判定部６２と時間変調判定部６４との判定に関して具体例を示す。以下に示す例では、画像入力部６０に複数のフレーム画像Ｆが入力され、先ず時間変調判定部６４の判定が行われその後空間変調判定部６２の判定が行われる。

　［時間変調方式の信号の判定］
　（１）画像入力部６０に入力された複数のフレーム画像Ｆ（動画）に対して、予め規定した色相Ｃｔ（例えば白）のみを抽出したグレースケール画像が時間変調判定部６４により生成される。

　（２）時間変調判定部６４は、複数のフレーム画像Ｆにおいて直前Ｎフレーム（Ｎは点滅の１周期を含む最小フレーム数）に対して、直前の検出領域Ｐ＝（Ｐｘ，Ｐｙ）を中心として矩形（Ａｘ，Ａｙ）以内の領域における最大輝度値Ｌｎ（１≦ｎ≦Ｎ）をそれぞれのフレーム画像Ｆについて求める。なおこの処理は、時間変調方式の信号を発する点滅点光源が移動していても正確に判定できるようにするためのものである。

　（３）時間変調判定部６４は、Ｌｎ（１≦ｎ≦Ｎ）の最大値と最小値の差が閾値Ｌｔｈ未満の場合、可視光通信の信号は時間変調方式の信号でないと判定する。

　（４）また時間変調判定部６４は、最も輝度値の大きなピクセル座標（Ｂｘ，Ｂｙ）より、光源の移動する軌跡を算出し、各フレーム画像Ｆにおける光源の輝度値Ｓｎ（１≦ｎ≦Ｎ，Ｎ＜Ｍ）の時系列を取得する。

　（５）その後時間変調判定部６４は、輝度値Ｓｎをフーリエ変換し、ピーク周波数Ｆｐにおけるレスポンス値とノイズの比が閾値Ｓｔｈ未満なら、可視光通信の信号は時間変調方式の信号でないと判定する。

　（６）また時間変調判定部６４は、ピーク周波数Ｆｐと、予め規定されていた変調周波数（Ｆｍ）の差の大きさが閾値Ｆｔｈ以上であれば、可視光通信の信号は時間変調方式の信号でないと判定する。ここで、ピーク周波数Ｆｐと、予め規定されていた変調周波数（Ｆｍ）の差が非常に大きい場合には、想定する規格とは異なる信号である場合や、撮影画像のフレームレートが間違っていて、時間モアレ（サンプリング周波数（＝撮影画像のフレームレート；ｆｐｓ）（frames per second）からの折り返り成分）が発生している可能性があり、このような場合には時間変調による伝送を行うことは不可能である。ここで変調周波数とは、時間変調を行う場合に使用する時間軸においての周波数のことである。

　（７）時間変調判定部６４がフレーム画像Ｆに含まれる可視光通信の信号は時間変調方式の信号であると判定した場合には、時間変調判定部６４は、輝度値Ｓｎより復調のための基準となる位相（時間遅れ量）を算出する。これには位相同期のための公知の任意の手法（PLL;Phase Locked Loopなど）を用いてもよい。そして、時間変調判定部６４は、時間遅れ量を復調制御部６６に送信する。

　（８）その後復調制御部６６は、時間変調判定部６４から出力されるフレーム画像Ｆに含まれる可視光通信の信号は時間変調方式の信号であるとする判定結果に基づいて、可視光通信の信号を時間変調方式の信号として復調部６８に復調させる。

　［空間変調方式の信号の判定］
　次に、空間変調判定部６２の判定に関して説明する。

　（９）空間変調判定部６２は、時間変調判定部６４が可視光通信の信号が時間変調方式の信号でないと判定した場合に、可視光通信の信号が空間変調方式の信号であるか否かを判定する。具体的には、先ず空間変調判定部６２は、入力された複数のフレーム画像Ｆに対して、予め規定した色相Ｃｓ（Ｃｔと同じでもよい）のみを抽出したグレースケール画像を作成する。

　（１０）その後空間変調判定部６２は、複数のフレーム画像Ｆにおいて輝度変化が規定の閾値Ｑｔｈ以上である画素値を検出し、その領域の大きさが閾値Ａｔｈ未満であれば、可視光通信の信号は空間変調方式の信号ではないと判定する。

　（１１）一方空間変調判定部６２は、複数のフレーム画像Ｆにおいて輝度変化が規定の閾値Ｑｔｈ以上である画素値を検出し、その領域の大きさが閾値Ａｔｈ以上であれば、可視光通信の信号は空間変調方式の信号であると判定する。その後復調制御部６６は、空間変調判定部６２により出力されるフレーム画像Ｆに含まれる可視光通信の信号は空間変調方式の信号であるとする判定結果に基づいて、可視光通信の信号を空間変調方式の信号として復調部６８に復調させる。

　図３は、画像処理部５４の動作フロー図である。

　先ず、画像入力部６０にフレーム画像Ｆが入力される（ステップＳ１０：画像入力ステップ）。フレーム画像Ｆは、撮像装置１０により出力されネットワークＮＷ、通信部４２、及びドライバ５２を介して画像入力部６０に入力される。その後空間変調判定部６２は、フレーム画像Ｆに含まれる可視光通信の信号が空間変調方式の信号であるか否かを判定する（ステップＳ１１：第１の判定ステップ）。空間変調判定部６２が可視光通信の信号は空間変調方式の信号であると判定した場合には、復調制御部６６は、復調部６８に可視光通信の信号を空間変調方式の信号として復調させる（ステップＳ１２：復調ステップ及び復調制御ステップ）。

　一方、空間変調判定部６２が可視光通信の信号は空間変調方式の信号でないと判定した場合には、時間変調判定部６４は、フレーム画像Ｆに含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する（ステップＳ１４：第２の判定ステップ）。時間変調判定部６４が可視光通信の信号は時間変調方式の信号でないと判定した場合には、次のフレーム画像Ｆが画像入力部６０に入力される。

　時間変調判定部６４が可視光通信の信号が時間変調方式の信号であると判定した場合には、復調制御部６６は、復調部６８に可視光通信の信号を時間変調方式の信号として復調させる（ステップＳ１５：復調ステップ及び復調制御ステップ）。

　その後復調制御部６６は、全ての可視光通信の信号の受信が完了したか否かを判定する（ステップＳ１３）。復調制御部６６が可視光通信の信号の受信が未完了と判定した場合には、次のフレーム画像Ｆが画像入力部６０に入力される。一方、復調制御部６６が可視光通信の信号の受信が完了と判定した場合には、可視光通信の信号の読み取りが終了する。

　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

　本発明は、可視光通信の信号の変調方式が不明である状況で有効に効果が奏される。ここで変調方式が不明であるという状況は、例えば次のようなものがある。２次元バーコードなどの空間変調方式の信号によって行う情報の伝送は、撮像装置１０の撮像条件によって情報の伝送が上手く行われないことがある。例えば、２次元バーコードなどの被写体を撮像装置１０の被写体合焦距離に合うように支持することができず撮像装置１０が２次元バーコードに合焦させられない場合や、広角レンズ使用時に遠方で２次元バーコードを支持し、２次元バーコードを十分なピクセル解像度で写すことができずに、２次元バーコードを十分な空間解像度により撮像することができない場合には、空間変調方式の信号によって行う情報の伝送は成功しない。

　このように空間変調方式の信号により情報の伝送を行うことができない場合であっても情報を伝送できるようにするために、時間変調方式の信号による情報の伝送を併せて利用することによって、空間変調方式の信号による情報の伝送が可能であるか否かに従って変調方式を切り替えるという手法を用いることができる。なお、この場合には、空間変調方式の信号と時間変調方式の信号とは、同一の情報を伝送するものとなる。また、本発明においては、空間変調方式の信号と時間変調方式の信号とは、異なる情報を伝送するものも含む。

　＜第２の実施形態＞
　次に、画像処理部５４の第２の実施形態に関して説明する。

　図４は、本実施形態の画像処理部５４の機能ブロック図である。なお、図２で既に説明を行った箇所は、同じ符号を付し説明は省略する。

　図４に示した本実施形態の画像処理部５４は、図２に示した画像処理部５４に対して復調判定部７０を有する点で異なる。

　復調判定部７０（第３の判定部）は、復調部６８が行う可視光通信の信号の復調の成功又は失敗を判定する。すなわち復調判定部７０は、復調部６８に空間変調方式の信号として復調させた場合にその復調が成功したか否か、又は復調部６８に時間変調方式の信号として復調させた場合にその復調が成功したか否かを判定する。なお復調判定部７０は、公知の技術により復調部６８の復調が成功したか否かを判定することができる。

　復調制御部６６は、復調判定部７０が空間変調方式の信号としての復調が失敗したと判定した場合には、復調部６８に時間変調方式の信号としての復調を行わせる。また復調制御部６６は、復調判定部７０が時間変調方式の信号としての復調が失敗したと判定した場合には、復調部６８に空間変調方式の信号としての復調を行わせる。

　図５は、本実施形態の画像処理部５４の動作フロー図である。

　先ず、画像入力部６０にフレーム画像Ｆが入力される（ステップＳ２０）。その後空間変調判定部６２は、フレーム画像Ｆに含まれる可視光通信の信号が空間変調方式の信号であるか否かを判定する（ステップＳ２１）。空間変調判定部６２が可視光通信の信号は空間変調方式の信号であると判定した場合には、復調制御部６６は、復調部６８に可視光通信の信号を空間変調方式の信号として復調させる（ステップＳ２２）。

　その後復調判定部７０は、復調部６８が行った空間変調方式の信号であるとしての復調の成否を判定する（ステップＳ２３）。復調判定部７０が、空間変調方式の信号であるとしての復調は失敗であると判定した場合には、復調制御部６６は、復調部６８に可視光通信の信号は時間変調の信号であるとして復調を行わせる。一方、復調判定部７０が、空間変調方式の信号であるとしての復調は成功であると判定した場合には、復調制御部６６は信号の受信が完了しているか否かを判定する（ステップＳ２４）。復調制御部６６が信号の受信が完了したと判定した場合には、可視光通信の信号の読み取りを終了する。一方、復調制御部６６が信号の受信が未完了と判定した場合には、新しいフレーム画像Ｆが画像入力部６０に入力される。

　一方、空間変調判定部６２が可視光通信の信号は空間変調方式の信号でないと判定した場合には、時間変調判定部６４は、フレーム画像Ｆに含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する（ステップＳ２５）。時間変調判定部６４が可視光通信の信号は時間変調方式の信号でないと判定した場合には、次のフレーム画像Ｆが画像入力部６０に入力される。

　時間変調判定部６４が可視光通信の信号は時間変調方式の信号であると判定した場合には、復調制御部６６は、復調部６８に可視光通信の信号は時間変調の信号であるとして復調を行わせる（ステップＳ２６）。

　その後復調判定部７０は、復調部６８が行った空間変調方式の信号であるとしての復調の成否を判定する（ステップＳ２７）。復調判定部７０が、時間変調方式の信号であるとしての復調は失敗であると判定した場合には、復調制御部６６は、復調部６８に可視光通信の信号は空間変調の信号であるとして復調を行わせる。一方、復調判定部７０が、時間変調方式の信号であるとしての復調は成功であると判定した場合には、復調制御部６６は信号の受信が完了しているか否かを判定する（ステップＳ２４）。復調制御部６６が信号の受信が完了したと判定した場合には、可視光通信の信号の読み取りを終了する。一方、復調制御部６６が信号の受信が未完了と判定した場合には、新しいフレーム画像Ｆが画像入力部６０に入力される。

　＜第３の実施形態＞
　次に、画像処理部５４の第３の実施形態に関して説明する。本実施形態においては、時間変調判定部６４はプレフィックスを使用して、可視光通信の信号が時間変調方式の信号であるか否かを判定する。すなわち、時間変調判定部６４は、画像入力部６０で入力された複数のフレーム画像Ｆにおいて、時間変調方式の信号であることを示すプレフィックスを検出し、その検出結果に基づいて、フレーム画像Ｆに含まれる可視光通信の信号が時間変調方式の信号であるか否かを判定する。なお、ここでプレフィックスとは、フレーム画像Ｆに付されたデータであり、フレーム画像Ｆに含まれる可視光通信の信号が時間変調方式で行われていることを示す。プレフィックスは、公知の技術によってフレーム画像Ｆに付される。

　図６は、本実施形態の画像処理部５４の動作フロー図である。

　先ず、画像入力部６０にフレーム画像Ｆが入力される（ステップＳ３０）。その後時間変調判定部６４は、フレーム画像Ｆに含まれる可視光通信の信号が時間変調方式の信号であることを示すプレフィックスの検出を行う（ステップＳ３１）。時間変調判定部６４がフレーム画像Ｆにおいてプレフィックスが検出された場合には、新たなフレーム画像Ｆが画像入力部６０に入力される（ステップＳ３４）。その後復調制御部６６は、復調部６８に入力されたフレーム画像Ｆに対して可視光通信の信号を時間変調方式の信号として復調させる（ステップＳ３５）。

　その後復調制御部６６は、復調部６８が実行した可視光通信の信号を時間変調方式の信号として復調が成功しているか否か、及び信号の受信が完了しているか否かを判定する（ステップＳ３６）。復調制御部６６が、時間変調方式の信号としての復調が失敗と判定した場合には、新しいフレーム画像Ｆが画像入力部６０に入力される。また復調制御部６６が、時間変調方式の信号としての復調が成功と判定し、信号の受信が未完了と判定した場合には、新たなフレーム画像Ｆが入力される。なおこの場合には、可視光通信の信号が時間変調方式の信号であるかの判定はプレフィックスを検出したことにより省略されている。また復調制御部６６が、時間変調方式の信号としての復調が成功と判定し、信号の受信が完了と判定した場合には、信号の受信が終了する。

　一方時間変調判定部６４がフレーム画像Ｆにおいてプレフィックスが検出されなかった場合には、復調制御部６６は、復調部６８に空間変調方式の信号として復調させる（ステップＳ３２）。

　その後復調制御部６６は、復調部６８が実行した可視光通信の信号を空間変調方式の信号として復調が成功しているか否か、及び信号の受信が完了しているか否かを判定する（ステップＳ３３）。復調制御部６６が、空間変調方式の信号としての復調が失敗と判定した場合には、新しいフレーム画像Ｆが画像入力部６０に入力される。また復調制御部６６が、空間変調方式の信号としての復調が成功と判定し、信号の受信が未完了と判定した場合には、新たなフレーム画像Ｆが入力される。また復調制御部６６が、空間変調方式の信号としての復調が成功と判定し、信号の受信が完了と判定した場合には、信号の受信が終了する。

　［スマートフォンの構成例］
　図７は、画像表示装置の一例であるスマートフォン３０の外観を示すものである。図７に示すスマートフォン３０は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、かかる筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

　図８は、図７に示すスマートフォン３０の構成を示すブロック図である。図８に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(global positioning system)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン３０の主たる機能として、基地局装置ＢＳと移動通信網とを介した移動無線通信を行う無線通信機能を備える。

　無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網に収容された基地局装置ＢＳに対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部５２０は、主制御部５０１の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。

　表示パネル５２１は、ＬＣＤ(liquid crystal display)、ＯＥＬＤ(organic electro-luminescence display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン型入力装置によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指やペン型入力装置によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

　図７に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン３０の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図７に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図７に示すように、操作部５４０は、スマートフォン３０の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）などの格納媒体を用いて実現される。

　外部入出力部５６０は、スマートフォン３０に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（local area network）、ブルートゥース（bluetooth）（登録商標）、ＲＦＩＤ（radio frequency identification）、赤外線通信（infrared data association：ＩｒＤＡ）（登録商標）、ＵＷＢ（ultra wideband）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

　スマートフォン３０に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（memory card）やＳＩＭ(subscriber identity module card)／ＵＩＭ(user identity module card)カード、オーディオ・ビデオＩ／Ｏ（input/output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ（personal digital assistant）、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン３０の内部の各構成要素に伝達することや、スマートフォン３０の内部のデータが外部機器に伝送されるようにする。

　ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン３０の緯度、経度、高度を含む位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン３０の物理的な動きを検出する。スマートフォン３０の物理的な動きを検出することにより、スマートフォン３０の動く方向や加速度が検出される。かかる検出結果は、主制御部５０１に出力されるものである。

　本例のモーションセンサ部５８０は、図７の姿勢センサ３２として用いることが可能である。

　電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン３０の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン３０の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部５４１は、ＣＭＯＳ（complementary metal oxide semiconductor）撮像センサやＣＣＤ（charge coupled device）撮像センサなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(joint photographic coding experts group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１に示すスマートフォン３０において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

　また、カメラ部５４１はスマートフォン３０の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン３０のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。

　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

　１０　　撮像装置
　１２　　撮像素子
　１４　　マウント部
　２０　　レンズ装置
　２２　　レンズ
　２４　　鏡筒
　３０　　スマートフォン
　４０　　コンピュータ装置
　４２　　通信部
　４４　　表示部
　４６　　指示入力部
　４８　　記憶部
　５０　　制御部
　５２　　ドライバ
　５４　　画像処理部
　５６　　アプリケーション部
　６０　　画像入力部
　６２　　空間変調判定部
　６４　　時間変調判定部
　６６　　復調制御部
　６８　　復調部
　７０　　復調判定部
　８０　　データベース
　５０１　主制御部
　５０２　筐体
　５１０　無線通信部
　５２０　表示入力部
　５２１　表示パネル
　５２２　操作パネル
　５３０　通話部
　５３１　スピーカ
　５３２　マイクロホン
　５４０　操作部
　５４１　カメラ部
　５５０　記憶部
　５５１　内部記憶部
　５５２　外部記憶部
　５６０　外部入出力部
　５７０　受信部
　５８０　モーションセンサ部
　５９０　電源部
　ステップＳ１０～ステップＳ１３　第１の実施形態の画像処理方法
　ステップＳ２０～ステップＳ２７　第２の実施形態の画像処理方法
　ステップＳ３０～ステップＳ３６　第３の実施形態の画像処理方法

Claims

　可視光通信の信号を含むフレーム画像が入力される画像入力部と、
　前記画像入力部で入力された前記フレーム画像を画像解析して、前記フレーム画像に含まれる前記可視光通信の信号が空間変調方式の信号であるか否かを判定する第１の判定部と、
　前記画像入力部で入力された前記フレーム画像を画像解析して、前記フレーム画像に含まれる前記可視光通信の信号が時間変調方式の信号であるか否かを判定する第２の判定部と、
　前記画像入力部に入力された前記フレーム画像に基づいて、前記可視光通信の信号を復調する復調部と、
　前記第１の判定部が前記可視光通信の信号が前記空間変調方式の信号であると判定した場合には、前記復調部に前記可視光通信の信号を前記空間変調方式の信号として復調させ、前記第２の判定部が前記可視光通信の信号が前記時間変調方式の信号であると判定した場合には、前記復調部に前記可視光通信の信号を前記時間変調方式の信号として復調させる復調制御部と、
　を備える画像処理装置。
　前記第１の判定部は、前記画像入力部で入力された前記フレーム画像の空間周波数レスポンスが閾値以上である領域の大きさに基づいて、前記フレーム画像に含まれる前記可視光通信の信号が前記空間変調方式の信号であるか否かを判定する請求項１に記載の画像処理装置。
　前記第１の判定部は、前記画像入力部で入力された前記フレーム画像の色相に基づいて、前記フレーム画像に含まれる前記可視光通信の信号が前記空間変調方式の信号であるか否かを判定する請求項１又は２に記載の画像処理装置。
　前記第２の判定部は、前記画像入力部で入力された前記フレーム画像の色相に基づいて、前記フレーム画像に含まれる前記可視光通信の信号が前記時間変調方式の信号であるか否かを判定する請求項１から３のいずれか１項に記載の画像処理装置。
　前記画像入力部は、前記可視光通信の信号を含む複数の前記フレーム画像が入力される請求項１から４のいずれか１項に記載の画像処理装置。
　前記第２の判定部は、前記画像入力部で入力された複数の前記フレーム画像において、前記フレーム画像の特徴量の時間変化に基づいて、前記フレーム画像に含まれる前記可視光通信の信号が前記時間変調方式の信号であるか否かを判定する請求項１から５のいずれか１項に記載の画像処理装置。
　前記第２の判定部は、前記画像入力部で入力された複数の前記フレーム画像において、前記時間変調方式の信号であることを示すプレフィックスの検出に基づいて、前記フレーム画像に含まれる前記可視光通信の信号が前記時間変調方式の信号であるか否かを判定する請求項１から６のいずれか１項に記載の画像処理装置。
　前記復調部が行う前記可視光通信の信号の復調の成功又は失敗を判定する第３の判定部と、を備え、
　前記復調制御部は、前記第３の判定部が前記空間変調方式の信号としての復調が失敗したと判定した場合には、前記復調部に前記時間変調方式の信号としての復調を行わせ、前記第３の判定部が前記時間変調方式の信号としての復調が失敗したと判定した場合には、前記復調部に前記空間変調方式の信号としての復調を行わせる請求項１から７のいずれか１項に記載の画像処理装置。
　前記画像入力部に入力される前記フレーム画像には、前記空間変調方式の信号であり且つ前記時間変調方式の信号である前記可視光通信の信号が含まれる請求項１から８のいずれか１項に記載の画像処理装置。
　前記復調制御部は、前記第１の判定部が前記可視光通信の信号が前記空間変調方式の信号であると判定し、且つ、前記第２の判定部が前記可視光通信の信号が前記時間変調方式の信号であると判定した場合には、前記復調部に前記可視光通信の信号を前記空間変調方式の信号及び前記時間変調方式の信号として復調させる請求項１から９のいずれか１項に記載の画像処理装置。
　可視光通信の信号を含むフレーム画像が入力される画像入力ステップと、
　前記画像入力ステップで入力された前記フレーム画像を画像解析して、前記フレーム画像に含まれる前記可視光通信の信号が空間変調方式の信号であるか否かを判定する第１の判定ステップと、
　前記画像入力ステップで入力された前記フレーム画像を画像解析して、前記フレーム画像に含まれる前記可視光通信の信号が時間変調方式の信号であるか否かを判定する第２の判定ステップと、
　前記画像入力ステップで入力された前記フレーム画像に基づいて、前記可視光通信の信号を復調する復調ステップと、
　前記第１の判定ステップで前記可視光通信の信号が前記空間変調方式の信号であると判定した場合には、前記復調ステップで前記可視光通信の信号を前記空間変調方式の信号として復調させ、前記第２の判定ステップで前記可視光通信の信号が前記時間変調方式の信号であると判定した場合には、前記復調ステップで前記可視光通信の信号を前記時間変調方式の信号として復調させる復調制御ステップと、
　を含む画像処理方法。