JP6221394B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、例えば、表示情報を制御する画像処理装置、画像処理方法および画像処理プログラムに関する。

ユーザ自身が所持する端末に特定のコンテンツをダウンロードするために、パーソナルコンピュータ（ＰＣ）、デジタルサイネージ端末、ＫＩＯＳＫ端末、スマートフォンなど、様々なコンテンツを記憶する装置に通信ネットワークを介してユーザがアクセスすることがある。この様なアクセスを実現するために、ユーザは、ダウンロードしたいコンテンツを記憶する装置を通信ネットワーク上で特定するための接続情報を入手する必要がある。なお、接続情報は、例えば、インターネットプロトコル（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ、ＩＰ）アドレス、サービスセット識別子（Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ, ＳＳＩＤ）、Ｂｌｕｅｔｏｏｔｈ（登録商標)ＩＤ、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）などの情報である。

そこで、一方の機器で無線接続情報に加え機器情報も含めた、一方の機器に接続するために必要となる接続情報を画像信号に変換して表示部に表示し、他方の機器において、当該画像信号を撮影して接続情報を復元することにより他方の機器から一方の機器へ接続、即ち複数の機器同士を無線接続する技術が開示されている。また、ＩＰアドレス等の情報を電子透かし情報を接続情報として、表示画像に埋め込む技術が開示されている。この技術を応用することで、カメラ以外の特別なデバイスを利用することなく、例えば、ＰＣのディスプレイ上に表示されている情報を携帯端末に送信することが可能となる。

特開２０１１−２０５４８５号公報 特開２００４−１９４２３６号公報

上述の表示画像に接続情報を埋め込む技術においては、表示画像の視認性を劣化させない為に、接続情報をユーザが視認し難い画像信号（例えば、信号強度を弱く設定した画像信号）とする必要がある。しかしながら、信号強度の弱い画像信号を撮像する場合は、外乱によるノイズの影響を低減することがＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）等の品質の確保の観点から重要となる。本発明においては、外乱によるノイズの影響を低減させることが可能となる画像処理装置を提供することを目的とする。

本発明が開示する画像処理装置は、撮像レンズを含む画像を撮像する撮像部と、当該画像に含まれる物体の画像情報に基づいて、表示画像に情報を埋め込む埋込部を備える。

なお、本発明の目的及び利点は、請求項におけるエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される画像処理装置では、外乱によるノイズの影響を低減させることが可能となる。

第１の実施形態による画像処理装置の機能ブロック図である。 （ａ）は、表示部に映り込む画像の概念図である。（ｂ）は、表示部が表示する表示画像の概念図である。（ｃ）は、第１合成画像の概念図である。 画像処理装置による画像処理方法のフローチャートである。 第２の実施形態による画像処理装置の機能ブロック図である。 撮像部、表示部、撮像レンズならびに物体の位置関係の概念図である。 成形部が生成するデータを含むテーブルの一例である。 一つの実施形態による画像処理装置として機能するコンピュータのハードウェア構成図である。

本発明者らの鋭意研究により、表示画像に接続情報を埋め込む技術において以下の課題が明らかになった。表示画像を撮像する際に、周囲の照明環境の影響で、表示部の表示面（例えば、ノートパソコンのディスプレイ）に、ユーザやユーザの周囲の物体が映り込む現象が発生する。この場合、接続情報が埋め込まれた表示画像に、映り込みが外乱によるノイズとして重畳することになる為、接続情報の検出が困難になることが明らかになった。この為、映り込みの影響を低減することで、接続情報を検出することが可能となることが期待出来る。

以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

（実施例１）
図１は、第１の実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、撮像部２、埋込部３、記憶部４、ならびに表示部５を有する。なお、画像処理装置１は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路で構成しても良い。

撮像部２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。撮像部２は、例えば、後述する表示部５が表示する表示画像を撮像する、例えば、ユーザが保持する携帯端末が有するカメラの撮像レンズを含む画像を撮像する。なお、撮像部２は、例えば、表示部５に内蔵される形態や、外付けされる形態で配置される。また、撮像部２は、必ずしも画像処理装置１に含まれる必要はない。例えば、画像処理装置１に設けられる図示しない通信部を用いて通信回線を介することによって、撮像部２を画像処理装置１以外の外部装置に設けることも可能である。更に、撮像部２は、ステレオカメラ等の２つ以上のカメラを含む撮像デバイスでも良い。撮像部２は、撮像した画像を埋込部３に出力する。

埋込部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、埋込部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。埋込部３は、画像を撮像部２から受け取る。埋込部３は、当該画像に含まれる物体の画像情報に基づいて、表示部５が表示する表示画像に、ユーザが保持する携帯端末が必要とするＩＰアドレスやＳＳＩＤ（Ｓｅｒｖｉｃｅ Ｓｅｔ ＩＤｅｎｔｉｆｉｅｒ）等の接続情報（単に情報と称しても良い）を、例えば、画像信号に変換して表示画像に埋め込む。また、物体の画像情報は、例えば、ＲＧＢ色空間における輝度値（第１画素値と称しても良い）であれば良い。

埋込部３は、接続情報の画像信号への変換方法や、表示画面への埋め込み方法として、例えば、特開２０１２−１４２７４１号公報に開示される透かし技術等の公知の技術を利用することが出来る。埋込部３は、例えば、時間方向で面積が変化するパターンを画像信号として、アルファブレンドを用いて画像信号を埋め込むことが出来る。ここで、画像信号は、例えば、一方が「０」の値、他方が「１」の値を表すバイナリ情報を含む正弦波や三角波などの周期的な信号であり、埋込部３は、例えば、位相変調によって接続情報となる画像信号を表示画像に埋め込むことが出来る。

表示画像は、例えば、動画像データに含まれる画像や、静止画、または、文書等の任意のコンテンツの画像であり、例えば、後述する記憶部４に記憶されている。埋込部３は、記憶部４にアクセスすることにより、表示画像を取得することが出来る。また、埋込部３は、後述する表示部５が表示する画像を、例えば、画像処理装置１に搭載可能なＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）の機能など用いて表示画像としてキャプチャすることも可能である。埋込部３は、例えば、ＯＳのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）などを利用することで、静止画の表示画像を取得することが可能である。更に、埋込部３は、表示部５が表示する画像に何らかの変更があった場合、ＯＳからの通知を取得して、当該通知の取得を契機に、表示画像のスクリーンショットを取得しても良いし、１秒に１回など、一定の間隔で表示画像のスクリーンショットを取得しても良い。また、埋込部３は、表示部５が動画像データなどを表示している場合は、当該動画像データのフレームレートに合わせて表示画像のスクリーンショットを取得しても良い。埋込部３は、例えば、動画像データのフレームレートが３０ｆｐｓの場合、１／３０秒毎に表示画像のスクリーンショットを取得することが出来る。

記憶部４は、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（ｆｌａｓｈ Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスクなどの記憶装置である。なお、記憶部４は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。記憶部４には、例えば、動画像データ、静止画、または、文書等の任意のコンテンツに含まれる画像である表示画像が記憶される。なお、記憶部４は、必ずしも画像処理装置１に含まれる必要はない。例えば、当該表示画像は、画像処理装置１に含まれる各機能部の図示しないキャッシュやメモリ等に記憶されても良い。また、画像処理装置１に設けられる図示しない通信部を用いて通信回線を介することによって、記憶部４を画像処理装置１以外の外部装置に設けることも可能である。

次に、埋込部３は、上述の第１画素値と、表示画像に含まれる、例えば、ＲＧＢ色空間における輝度値（第２画素値と称しても良い）、または、第２画素値の単位時間当たりの変化量に基づいて、接続情報を変換した画像信号を制御して表示画像に埋め込む。具体的には、先ず、埋込部３は、例えば、記憶部４から取得した表示画像のスクリーンショットに対して、撮像部２から受け取った画像を合成した第１合成画像を生成する。

ここで、第１合成画像を生成する技術的な意義を説明する。なお、実施例１においては、例えば、撮像部２が表示部５の上部中央付近または、下部中央付近に配置されている場合であり、かつ、表示部５が表示する表示画像を撮像するレンズを有する携帯端末を保持するユーザが、表示部５の略正面に位置している場合について説明する。表示部５（の表示面）を、周囲の照明光や自然光の反射面とすると、撮像部２が撮像する画像と、表示部５が表示する表示画像を合成した第１合成画像を、ユーザが保持する携帯端末の撮像レンズが撮像する、実際に映り込みが発生している表示画像とみなすことが出来る。当該第１合成画像に基づいて、映り込みの影響を抑制する様に、接続情報を変換した画像信号を制御することによって、接続情報を正確に検出することが可能となる。

埋込部３は、第１合成画像の生成において、撮像部２が撮像する画像と表示画像の合成の割合は、表示部５（の表示面）に使用される材料の反射性に依存するため、事前評価によって適切な割合を予め設定することも可能である。例えば、反射性が高い場合は、撮像部２が撮像する画像（推定映り込み画像と称しても良い）の割合を高く設定し、反射性が低い場合は、表示画像の割合を高く設定すれば良い。

埋込部３は、撮像部２から受け取った画像と表示画像を、例えば、次式で表現されるアルファブレンドの方法で第１合成画像を生成する。
（数１）
Ｚ＝（１−α）Ｘ＋αＹ
上述の（数１）において、Ｘは表示部５の表示画像のスクリーンショット、Ｙは撮像部２が撮像する画像（推定映り込み画像）、Ｚは２つの画像を合成した第１合成画像、αは合成する比率であり０〜１の範囲の任意の値である。αの値が大きいほどＹの割合が大きくなる為、例えば、表示部５（の表示面）の反射率が大きいほど、αの値を大きく設定すれば良い。なお、αに設定する具体的な数値は、例えば、事前評価よって反射率とαの値を対応付けた変換テーブルを作成し、埋込部３の図示しないキャッシュまたはメモリに保持させれば良い。

図２（ａ）は、表示部５に映り込む画像の概念図である。図２（ｂ）は、表示部５が表示する表示画像の概念図である。図２（ｃ）は、第１合成画像の概念図である。図２（ａ）ないし図２（ｃ）に示される通り、第１合成画像は、撮像部２が撮像する画像（推定映り込み画像）と表示部５の表示画像のスクリーンショットに基づいて生成される。

次に、埋込部３は、第１合成画像に対して埋め込む画像信号の制御として、例えば信号強度を制御する。埋込部３は、制御方法として、第１合成画像の輪郭領域や、エッジが多い複雑なテクスチャ領域は、信号強度を強く埋め込み、背景色の様な比較的平坦な領域は、信号強度を弱く埋め込む方法を適用することが出来る。なお、信号強度の調整方法は、例えば、振幅の調整で実施することが可能である。具体的には、表示画像が動画像データに含まれている場合、埋込部３は、例えば、表示画面全体の輝度や色差の平均値を算出し、時間方向で平均周波数を解析し、周波数が高い領域、換言すると動きが激しい領域などは信号強度を強くしても、ユーザに視認され難い為、信号強度を強く制御して埋め込むことが可能である。一方、周波数が低い領域、換言すると、動きの少ない領域では信号強度を強くするとユーザに視認され易い為、可能な限り信号強度を低く制御して埋め込む。更に、埋込部３は、接続情報を変換した画像信号を制御する為に、必要に応じて適宜閾値（第１閾値または第２閾値と称しても良い）を用いることが出来る。なお、第１閾値として、輝度値を１２５と設定することが出来る。また、第２閾値として、周波数を１２５Ｈｚと設定することが出来る。また、埋込部３は閾値を用いずに第１合成画像の輝度値に応じて（例えば比例関係を用いて）信号強度を制御しても良い。

また、埋込部３は、例えば、特許第４２６０７８１号に開示される様に、任意の領域が特定の色成分か否かを判定し、判定結果に基づいて信号強度を制御する方法も適用することが出来る。特定の色成分については、事前評価として表示部５にカラーバーなどのテストパターンなどを表示した上で接続情報を変換した画像信号を重畳し、主観評価によって視認し易い色成分を特定の色成分としてテーブルを作成し、埋込部３の図示しないキャッシュまたはメモリに保持させれば良い。埋込部３は、当該テーブルを参照し、例えば、特性の色成分（例えば、蛍光灯による照明光の色成分に近い白色）に近い色成分の領域ほど信号強度を強く制御する。更に、埋込部３は、接続情報を変換した画像信号の制御方法として、例えば、上述の閾値以上となる第１合成画像の領域以外に画像信号を埋め込む制御を実施しても良い。

次に、埋込部３は、制御した画像信号を、次式に従って、表示部５が表示する表示画像に重畳させることによって埋め込む。
（数２）
Ｘ’＝Ｘ＋αＷ
上述の（数２）において、Ｘは表示部５の表示画像のスクリーンショット、Ｗは制御した画像信号、Ｘ’は表示部５が表示する表示画像（撮像レンズを有する携帯端末が撮像する画像）、αは上述の（数１）と同様に合成する比率であり０〜１の範囲の任意の値である。

ここで、埋込部３における埋め込み処理の技術的意義について説明する。ユーザが保持する携帯端末の撮像レンズの位置から、映り込みが発生している表示画面が撮像する場合、元々のコンテンツに含まれる表示画像と、映り込みが合成されたような映像として撮像される。この為、表示部５が表示する表示画像は映り込みの影響で視認され難くなっており、これは表示画面に埋め込んだ埋め込み画像信号の信号強度も一緒に弱くなっていることを意味している。この為、映り込みが発生していない場合より信号強度を強くしても、ユーザの目には接続情報を変換した画像信号が視認され難くなる。

埋込部３における第１合成画像に対する埋め込み処理によれば、コンテンツの内容のみならずに、映り込みによる影響も考慮して接続情報を変換した画像信号を制御する為、表示画像を撮像するレンズを有する携帯端末による接続情報の検出精度の低下を抑制することが可能となる。

また、埋込部３は、撮像部２と表示部５の位置関係、換言すると、撮像部２と表示部５の任意の基準点の第１距離と第１角度に基づいて第１合成画像を生成しても良い。例えば、撮像２が表示部５の上部中央付近または、下部中央付近に配置される場合は、撮像部２が撮像する画像と、表示部５に映りこむ画像はほぼ同一となる為、特別な制御は不要であるが、撮像部２と表示部５が離れて配置される場合は、第１距離と第１角度に基づいて、適宜位置関係を補正した上で第１合成画像を生成しても良い。なお、第１距離と第１角度は予め規定されて、埋込部３の図示しないキャッシュまたはメモリに保持されれば良い。埋込部３は、接続情報を変換した画像信号を制御した表示画像を表示部５へ出力する。

表示部５は、例えば、液晶ディスプレイまたは有機エレクトロルミネッセンスディスプレイなどの表示デバイスである。また、表示部５は、例えば、プロジェクタなどの表示デバイスであっても良い。更に表示部５は、撮像部２と一体的に形成されてもよいし、撮像部２と分離されて形成されてもよい。表示部５は、接続情報が制御された表示画像を埋込部３から受け取り、当該表示画像を表示する。また、表示部５は、必ずしも画像処理装置１に含まれる必要はない。例えば、画像処理装置１に設けられる図示しない通信部を用いて通信回線を介することによって、表示部５を画像処理装置１以外の外部装置に設けることも可能である。

図３は、画像処理装置１による画像処理方法のフローチャートである。撮像部２は、例えば、表示部５が表示する表示画像を撮像する、例えば、ユーザが保持する携帯端末が有するカメラの撮像レンズを含む画像を撮像する（ステップＳ３０１）。撮像部２は、撮像した画像を埋込部３に出力する。

埋込部３は、画像を撮像部２から受け取る。また、埋込部３は、記憶部４にアクセスすることにより、表示画像を取得する（ステップＳ３０２）。次に、埋込部３は、表示画像と、撮像部２から受け取った画像から、上述の方法を用いて第１合成画像を生成する（ステップＳ３０３）。

埋込部３は、第１合成画像に埋め込む接続情報を変換した画像信号を制御する（ステップＳ３０４）。制御方法の一例として、上述の通り、第１合成画像の輪郭領域や、エッジが多い複雑なテクスチャ領域は、信号強度を強く埋め込み、背景色の様な比較的平坦な領域は、信号強度を弱く埋め込む方法を適用することが出来る。

埋込部３は、制御した画像信号を、例えば、上述の（数２）に従って、表示部５が表示する表示画像に重畳させることによって埋め込む（ステップＳ３０５）。埋込部３は、接続情報を変換した画像信号を制御した表示画像を表示部５へ出力する。

表示部５は、画像信号が制御された表示画像を埋込部３から受け取り、当該表示画像を表示する（ステップＳ３０６）ことで、画像処理装置１は、図３に示す処理を完了させる。また、撮像部２が画像を撮像し続けている場合は、画像処理装置１は、ステップＳ３０１ないしステップＳ３０６に開示する処理を繰り返し実行しても良い。

実施例１における画像処理装置によれば、外乱によるノイズの影響を低減させることが可能となる。具体的には、撮像部２が撮影する画像を利用して、表示部５（の表示面）に発生する映り込みを推定し、その推定された画像と表示部５が表示する表示画像を利用して接続情報の画像信号を制御する。これにより、例えば、照明光や自然光等による様々な映り込みの影響により検出され難くなる接続情報の検出精度を向上させることが出来る。

（実施例２）
実施例１において、例えば、表示画像を撮像するレンズを有する携帯端末を保持するユーザが、表示部５の略正面に位置している場合に、より高い効果が創出される。実施例２においては、ユーザが表示部５の略正面以外、例えば、斜め前方に位置する場合について説明する。実施例２において、表示画像を撮像するレンズを視点とした表示部５に対する映り込み画像を推定する為には、ユーザが保持する携帯端末に搭載される撮像レンズの位置と、表示部５の位置、照明光の発生源となる蛍光灯等の物体の位置関係を推定する処理を実施する。当該処理の技術的意義は以下の通りである。撮像部２が撮像する画像に含まれる、例えば、蛍光灯の位置は、撮像部２の撮像位置や範囲が変化しない限り、常に一定となる。一方、表示画像を撮像する撮像レンズを視点とした表示部５に映り込む画像は、当該撮像レンズの位置に依存して変化する。これは、蛍光灯の照明光の表示部５への光の入射角と、表示部５から撮像レンズへの反射角が等しくなる領域に、映り込みが発生する為である。この為、撮像レンズの位置と、表示部５の位置、照明光等の発生源となる蛍光灯等の物体の位置関係を推定する処理が必要となる。以下に、当該処理を含めた、実施例２における画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

図４は、第２の実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、撮像部２、埋込部３、記憶部４、表示部５、算出部６、成形部７、ならびに生成部８を有する。なお、画像処理装置１は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路で構成しても良い。

撮像部２の機能は、少なくとも実施例１と同様の機能を有する為、詳細な説明は省略する。撮像部２は、撮像した画像を算出部６、成形部７ならびに生成部８へ出力する。算出部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部６は、画像を撮像部２から受け取る。算出部６は、当該画像に含まれる物体と、表示部５の任意の基準点との第２角度を算出する。なお、画像に含まれる物体とは、蛍光灯、空調機や時計など、例えば名詞を用いて称される物体である。また、表示部５の任意の基準点は、例えば、表示部５の上部中央付近を基準点と設定すれば良いが、他の任意の点を基準点と設定しても良い。更に、算出部６は、当該画像に含まれる表示部５の当該基準点と、当該画像に含まれる撮像レンズとの第３角度を算出する。画像に含まれる撮像レンズの特定方法については、撮像レンズを含む画像を予め保持しておき、一般的なテンプレートマッチングを用いることで撮像レンズを特定することが出来る。

次に、算出部６は、更に、表示部５の基準点と、画像に含まれる物体の第２距離を算出する。算出部６は、当該第２距離を算出する為に、例えば、算出部６が含むことが可能な図示しない測距センサを用いることが可能である。算出部６は、例えば、レーザー光線の往復時間から深度を計測するＴＯＦ形式や、特定のパターンのレーザー光線を対象に照射した際の光のパターンの歪みを計測するパターン照射方式等による測距センサの検出情報に基づいて第２距離を算出することが可能である。更に、算出部６は、例えば、米国特許公開公報ＵＳ２０１０／０１１８１２３Ａ１に記載の方法を用いて第２距離を算出することが可能である。

また、第２距離の算出において、撮像部２がステレオカメラ等の２つ以上のカメラを含む撮像デバイスである場合は、算出部６には測距センサが含まれる必要はない。算出部６は、例えば、ステレオカメラが撮像する複数の画像間の視差に基づき、三角測量の原理によって第２距離を算出することが可能である。また、算出部６は、例えば、特許第４１５５７８０号や特許第４１９８０５４号に記載の方法を用いて第２距離を算出することが可能である。算出部６は、算出した第２距離、第２角度、ならびに第３角度を成形部７へ出力する。

成形部７は、例えば、ワイヤードロジックによるハードウェア回路である。また、成形部７は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。成形部７は、第２距離、第２角度、ならびに第３角度を算出部６から受け取り、画像を撮像部２から受け取る。成形部７は、第２距離、第２角度、第３角度に基づいて、撮像部２が撮像する画像に含まれる撮像レンズを視点とする物体のデプスマップを様々な公知の手法を用いて成形する。なお、撮像部２がステレオカメラ等の２つ以上のカメラを含む撮像デバイスである場合は、例えば、ステレオカメラが撮像する複数の画像を平均化した画像を用いれば良い。成形部７は成形したデプスマップを生成部８に出力する。

図５は、撮像部２、表示部５、撮像レンズならびに物体の位置関係の概念図である。図５において、例えば、座標原点は、表示部５の上部中央付近に配置される撮像部２の中心に設定される。図５において、ＩＤは必ずしも付与される必要は無いが、実施例２においては説明の便宜上付与する。ＩＤ１は、ユーザが保持する携帯端末が有する撮像レンズであり、ＩＤ２は、物体の一例となる蛍光灯である。画像には他の物体も含まれているが、説明の便宜上、蛍光灯のみを用いて説明する。また、ＩＤ１とＩＤ２の座標は、例えば、第２距離、第２角度、第３角度を用いて適宜算出することが可能であり、例えば、（ｘ１、ｙ１）、（ｘ２、ｙ２）となる。ここで、撮像レンズから表示部５の両端を結ぶ線分Ａならびに線分Ｂが、角度θ２（＝θ１）、θ４（＝θ３）で反射した線分Ａ’と線分Ｂ’で囲まれた範囲の物体が、撮像レンズが撮像する画像に映り込むと推定することが出来る為、生成部８は当該の範囲のデプスマップを生成する。また、表示部５を反射面としてＩＤ２のＩＤ１に対する入射角（＝反射角）を適宜算出することで、表示部５に対する照明光が映り込む座標（ｘ３、y０）を算出することが出来る。

図６は、成形部７が生成するデータを含むテーブルの一例である。図６のテーブル６０に示される通り、テーブル６０には、物体のＩＤ、当該ＩＤに対応する座標、図５に示す座標原点からの距離、表示部５を反射面とした場合の物体の撮像レンズに対するなす角度（入射角＝反射角）、当該角度から算出される表示部５の映り込みが発生する領域の座標が必要に応じて格納される。

図４の生成部８は、例えば、ワイヤードロジックによるハードウェア回路である。また、生成部８は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。生成部８は、デプスマップを成形部７から受け取り、画像を撮像部２から受け取る。生成部８は、デプスマップを第３角度に基づいて回転させた上で、上述の第１画素を重畳した重畳画像を生成する。具体的には、生成部８は、成形部７から受け取るデプスマップを、第２距離、第２角度、または第３角度に基づいて回転させた上で、撮像部２から受け取る画像を、例えば、レリーフテクスチャマッピングの手法を用いて、上述の第１画素値をテクスチャとして貼り付ける。生成部８は、例えば、「Manuel M.Oliveria, Gary Bishop, David McAllister, "Relief texture mapping", SIGGRAPH 2000 Proceedings of the 27th annual conference on Computer graphics and interactive techniques, 359-368, 2000.」に開示されるレリーフテクスチャマッピングの方法を用いることが出来る。生成部８は、当該方法を用いることにより、重畳画像（３Ｄオブジェクトと称しても良い）を生成する。また、撮像部２のカメラの数を増台することによって、オクルージョンの少ない、より高精細な重畳画像の生成が可能になる。生成部８は、生成した重畳画像を埋込部３へ出力する。

埋込部３は、例えば、実施例１と同様に、ワイヤードロジックによるハードウェア回路である。また、埋込部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。埋込部３は、重畳画像を生成部８から受け取る。埋込部３は、表示画像のスクリーンショットに対して、重畳画像を合成した第２合成画像を生成する。

次に、埋込部３は、第２合成画像の第１画素値、第２画素値、または、第２画素値の変化量が所定の第１閾値以上となる領域の接続情報を変換した画像信号を制御する。制御方法については、実施例１に開示した第１合成画像に対する処理と同様の処理を行うことが可能である。埋込部３は、画像信号を制御した表示画像を表示部５へ出力する。

表示部５の機能の機能は、少なくとも実施例１と同様の機能を有する為、詳細な説明は省略する。表示部５は、接続情報が制御された表示画像を埋込部３から受け取り、当該表示画像を表示する。

実施例２における画像処理装置によれば、外乱によるノイズの影響を低減させることが可能となる。具体的には、撮像部２が撮影する画像を利用して、表示部５（の表示面）に発生する映り込みを推定し、その推定された画像と表示部５が表示する表示画像を利用して接続情報の画像信号を制御する。これにより、例えば、照明光や自然光等による様々な映り込みの影響により検出され難くなる接続情報の検出精度を向上させることが出来る。更には、表示画像を撮像するレンズを視点とした表示部５に対する映り込み画像を推定する為、非常に高精度に映り込みを推定することが可能となる。なお、実施例２においては、第２距離を算出しているが、必ずしも第２距離を算出する必要はない。例えば、画像処理装置１は、第２角度と第３角度のみを用いて、表示画像を撮像するレンズを視点とした表示部５に対する大凡の映り込み画像を推定しても良い。

（実施例３）
画像処理装置１を搭載または接続する図示しない情報処理端末と、ユーザが保持する撮像レンズを有する携帯端末との接続処理を含めた全体的な処理について説明する。始めに、表示部５は、例えば、実施例１または実施例２に開示した接続情報が埋め込まれた表示画像を表示する。次に、撮像レンズを有する携帯端末を保持するユーザは、表示部５が表示する接続情報が埋め込まれた表示画像を撮像する。携帯端末は、接続情報に基づいて情報処理端末にネットワークを介して接続する。なお、携帯端末は、当該接続処理において、携帯端末の撮像レンズが撮像した画像を任意のサーバに送信し、画像を受信したサーバが当該画像から接続情報を復号し、携帯端末に送信しても良い。接続処理を完了した情報処理端末と携帯端末は、例えば、ネットワークを介して情報処理端末が有する各種コンテンツ（動画像、静止画、文書データなど）の送受信を行う。

（実施例４）
図７は、一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。図７に示すように、画像処理装置１は、ＣＰＵ９、ＲＯＭ１０、ＨＤＤ１１、ドライブ装置１２、ネットワークＩ／Ｆ部１４、キーボード１５、ディスプレイ１６を含む。これら各構成は、バスを介して相互にデータ入出力可能に接続されている。

ＣＰＵ９は、コンピュータの中で、各装置の制御やデータの演算、加工を行う演算装置である。また、ＣＰＵ９は、ＲＯＭ１０やＨＤＤ１１に記憶されたプログラムを実行する演算装置であり、キーボード１５や記憶装置からデータを受け取り、演算、加工した上で、ディスプレイ１６や記憶装置などに出力する。

ＲＯＭ１０は、読み取り専用メモリであり、ＣＰＵ９が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。また、ＲＯＭの代わりにＲＡＭを適用することが可能である。

ＨＤＤ１１は、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１２は、記録媒体１３、例えばフレキシブルディスクからプログラムを読み出し、ＨＤＤ１１にインストールする。

また、記録媒体１３に、所定のプログラムを格納し、この記録媒体１３に格納されたプログラムはドライブ装置１２を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１により実行可能となる。

ネットワークＩ／Ｆ部１４は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置１とのインターフェースである。

キーボード１５は、カーソルキー、数字入力及び各種機能キー等を備えた入力機器である。また、キーボードの代わりにディスプレイ１６の表示画面上でキーの選択等を行うためのマウスやスライスパット等を入力機器として適用することも可能である。また、キーボード１５は、ユーザがＣＰＵ９に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

ディスプレイ１６は、実施例１または実施例２に開示した表示部５と少なくとも同様の機能を有する為、詳細な説明は省略する。ＣＰＵ９から入力される表示データに応じた表示が行われる。

なお、上述した画像処理方法は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、上述した画像処理方法を実現することができる。

また、このプログラムを記録媒体１３に記録し、このプログラムが記録された記録媒体１３をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体１３は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

以上に図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像レンズを含む画像を撮像する撮像部と、
前記画像に含まれる物体の画像情報に基づいて、表示画像に情報を埋め込む埋込部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記埋込部は、前記画像情報に含まれる第１画素値と、
前記表示画像に含まれる第２画素値、または前記第２画素値の単位時間当たり変化量に基づいて、前記情報を埋め込むことを特徴とする付記１記載の画像処理装置。
（付記３）
前記埋込部は、前記表示画像のスクリーンショットに対して、前記画像を合成した第１合成画像を生成し、
前記第１合成画像の前記第１画素値または前記第２画素値が所定の第１閾値以上、または前記変化量が所定の第２閾値以上となる領域の前記情報を制御することを特徴とする付記１または付記２記載の画像処理装置。
（付記４）
前記埋込部は、前記領域における前記情報の信号強度を増加する制御、前記領域における前記情報の信号色成分を変更する制御、または、前記領域以外に前記情報を埋め込む制御をすることを特徴とする付記３記載の画像処理装置。
（付記５）
前記埋込部は、前記撮像部と前記表示画像を表示する表示部の第１距離と第１角度に基づいて、前記表示画像に前記情報を埋め込むことを特徴とする付記１ないし付記４の何れか１つに記載の画像処理装置。
（付記６）
前記表示部と前記物体の第２角度と、前記表示部と前記撮像レンズの第３角度を算出する算出部を更に備え、
前記埋込部は、前記第２角度と前記第３角度に基づいて、前記表示画像に前記情報を埋め込むことを特徴とする付記１ないし付記５の何れか１つに記載の画像処理装置。
（付記７）
前記表示部と前記物体の第２距離と、前記表示部と前記撮像レンズの第３角度を算出する算出部と、
前記第２距離と前記第３角度に基づいて、前記撮像レンズを視点とする前記物体のデプスマップを成形する成形部と、
成形後の前記デプスマップに前記第１画素値を重畳した重畳画像を生成する生成部と、を更に備え、
前記埋込部は、前記重畳画像に含まれる前記物体の画像情報に基づいて、前記表示画像に前記情報を埋め込むことを特徴とする付記１ないし付記５の何れか１つに記載の画像処理装置。
（付記８）
前記埋込部は、前記表示画像のスクリーンショットに対して、前記重畳画像を合成した第２合成画像を生成し、
前記第２合成画像の前記第１画素値または前記第２画素値が所定の第１閾値以上、または前記変化量が所定の第２閾値以上となる領域の前記情報を制御することを特徴とする付記７記載の画像処理装置。
（付記９）
前記画像処理装置は、前記情報を、前記撮像レンズを有する携帯端末に撮像させることにより、前記携帯端末に前記画像処理装置に対する接続情報を認識させることを特徴とする付記１ないし付記８の何れか１つに記載の画像処理装置。
（付記１０）
前記撮像部はステレオカメラであり、
前記算出部は、前記ステレオカメラが撮像する複数の画像間の視差に基づいて前記第２距離を算出することを特徴とする付記７記載の画像処理装置。
（付記１１）
前記算出部は、測距センサを含み、前記測距センサの検出情報に基づいて前記第２距離を算出することを特徴とする付記７記載の画像処理装置。
（付記１２）
前記撮像部は、前記表示画像を撮像する前記撮像レンズを含む前記画像を撮像することを特徴とする付記１記載の画像処理装置。
（付記１３）
撮像レンズを含む画像を撮像すること、
前記画像に含まれる物体の画像情報に基づいて、表示画像に情報を埋め込むこと、
を特徴とする画像処理方法。
（付記１４）
前記埋め込むことは、前記画像情報に含まれる第１画素値と、
前記表示画像に含まれる第２画素値、または前記第２画素値の単位時間当たり変化量に基づいて、前記情報を埋め込むことを特徴とする付記１３記載の画像処理方法。
（付記１５）
前記埋め込むことは、前記表示画像のスクリーンショットに対して、前記画像を合成した第１合成画像を生成し、
前記第１合成画像の前記第１画素値または前記第２画素値が所定の第１閾値以上、または前記変化量が所定の第２閾値以上となる領域の前記情報を制御することを特徴とする付記１３または付記１４記載の画像処理方法。
（付記１６）
前記埋め込むことは、前記領域における前記情報の信号強度を増加する制御、前記領域における前記情報の信号色成分を変更する制御、または、前記領域以外に前記情報を埋め込む制御をすることを特徴とする付記１５記載の画像処理方法。
（付記１７）
前記埋め込むことは、前記画像を撮像する撮像部と前記表示画像を表示する表示部の第１距離と第１角度に基づいて、前記表示画像に前記情報を埋め込むことを特徴とする付記１３ないし付記１６の何れか１つに記載の画像処理方法。
（付記１８）
前記表示部と前記物体の第２角度と、前記表示部と前記撮像レンズの第３角度を算出することを更に含み、
前記埋め込むことは、前記第２角度と前記第３角度に基づいて、前記表示画像に前記情報を埋め込むことを特徴とする付記１３ないし付記１７の何れか１つに記載の画像処理方法。
（付記１９）
前記表示部と前記物体の第２距離と、前記表示部と前記撮像レンズの第３角度を算出すること、
前記第２距離と前記第３角度に基づいて、前記撮像レンズを視点とする前記物体のデプスマップを成形すること、
成形後の前記デプスマップに前記第１画素値を重畳した重畳画像を生成すること、を更に含み、
前記埋め込むことは、前記重畳画像に含まれる前記物体の画像情報に基づいて、前記表示画像に前記情報を埋め込むことを特徴とする付記１３ないし付記１７の何れか１つに記載の画像処理方法。
（付記２０）
前記埋め込むことは、前記表示画像のスクリーンショットに対して、前記重畳画像を合成した第２合成画像を生成し、
前記第２合成画像の前記第１画素値または前記第２画素値が所定の第１閾値以上、または前記変化量が所定の第２閾値以上となる領域の前記情報を制御することを特徴とする付記１９記載の画像処理方法。
（付記２１）
前記情報を、前記撮像レンズを有する携帯端末に撮像させることにより、前記携帯端末に画像処理装置に対する接続情報を認識させることを特徴とする付記１３ないし付記２０の何れか１つに記載の画像処理方法。
（付記２２）
前記撮像部はステレオカメラであり、
前記算出することは、前記ステレオカメラが撮像する複数の画像間の視差に基づいて前記第２距離を算出することを特徴とする付記１９記載の画像処理方法。
（付記２３）
前記算出することは、測距センサの検出情報に基づいて前記第２距離を算出することを特徴とする付記１９記載の画像処理方法。
（付記２４）
前記撮像することは、前記表示画像を撮像する前記撮像レンズを含む前記画像を撮像することを特徴とする付記１３記載の画像処理方法。
（付記２５）
コンピュータに、
撮像レンズを含む画像を撮像すること、
前記画像に含まれる物体の画像情報に基づいて、表示画像に情報を埋め込むこと
を実行させることを特徴とする画像処理プログラム。
（付記２６）
撮像レンズを含む画像を撮像する撮像部と、
前記画像に含まれる物体の画像情報に基づいて、表示画像に情報を埋め込む埋込部と、
前記表示画像を表示する表示部と、
を有する画像処理装置と、
前記表示部が表示する前記表示画像を撮像する前記撮像レンズと、
前記表示画像に含まれる前記情報に基づいて、前記画像処理装置に対する接続情報を認識する認識部と、
を有する携帯端末と、
を備えることを特徴とする情報処理システム。
（付記２７）
撮像レンズであって、前記撮像レンズを含む画像に含まれる物体の画像情報に基づいて、情報が埋め込まれた表示画像を撮像する前記撮像レンズと、
前記表示画像に含まれる前記情報に基づいて、前記画像表示画像を表示する画像処理装置に対する接続情報を認識する認識部と、
を備えることを特徴とする携帯端末。

１ 画像処理装置
２ 撮像部
３ 埋込部
４ 記憶部
５ 表示部
６ 算出部
７ 成形部
８ 生成部

Claims (11)

1. 表示画像を表示する表示部と、
   前記表示部を撮像する外部装置の撮像レンズを含む画像を撮像する撮像部と、
   前記画像に含まれる物体の画像情報に基づいて、前記表示画像に情報を埋め込む埋込部と、
   を備えることを特徴とする画像処理装置。
2. 前記埋込部は、前記画像情報に含まれる第１画素値と、
   前記表示画像に含まれる第２画素値、または前記第２画素値の単位時間当たり変化量に基づいて、前記情報を埋め込むことを特徴とする請求項１記載の画像処理装置。
3. 前記埋込部は、前記表示画像のスクリーンショットに対して、前記画像を合成した第１合成画像を生成し、
   前記第１合成画像の前記第１画素値または前記第２画素値が所定の第１閾値以上、または前記変化量が所定の第２閾値以上となる領域の前記情報を制御することを特徴とする請求項２記載の画像処理装置。
4. 前記埋込部は、前記領域における前記情報の信号強度を増加する制御、前記領域における前記情報の信号色成分を変更する制御、または、前記領域以外に前記情報を埋め込む制御をすることを特徴とする請求項３記載の画像処理装置。
5. 前記埋込部は、前記撮像部と前記表示部の第１距離と第１角度に基づいて、前記表示画像に前記情報を埋め込むことを特徴とする請求項１ないし請求項４の何れか１項に記載の画像処理装置。
6. 前記表示部と前記物体の第２角度と、前記表示部と前記撮像レンズの第３角度を算出する算出部を更に備え、
   前記埋込部は、前記第２角度と前記第３角度に基づいて、前記表示画像に前記情報を埋め込むことを特徴とする請求項１ないし請求項５の何れか１項に記載の画像処理装置。
7. 前記表示部と前記物体の第２距離と、前記表示部と前記撮像レンズの第３角度を算出する算出部と、
   前記第２距離と前記第３角度に基づいて、前記撮像レンズを視点とする前記物体のデプスマップを成形する成形部と、
   成形後の前記デプスマップに前記第１画素値を重畳した重畳画像を生成する生成部と、を更に備え、
   前記埋込部は、前記重畳画像に含まれる前記物体の画像情報に基づいて、前記表示画像に前記情報を埋め込むことを特徴とする請求項２ないし請求項４の何れか１項に記載の画像処理装置。
8. 前記埋込部は、前記表示画像のスクリーンショットに対して、前記重畳画像を合成した第２合成画像を生成し、
   前記第２合成画像の前記第１画素値または前記第２画素値が所定の第１閾値以上、または前記変化量が所定の第２閾値以上となる領域の前記情報を制御することを特徴とする請求項７記載の画像処理装置。
9. 前記画像処理装置は、前記情報を、前記撮像レンズを有する携帯端末に撮像させることにより、前記携帯端末に前記画像処理装置に対する接続情報を認識させることを特徴とする請求項１ないし請求項６の何れか１項に記載の画像処理装置。
10. 表示画像を表示する表示部を撮像する外部装置の撮像レンズを含む画像を撮像すること、
    前記画像に含まれる物体の画像情報に基づいて、前記表示画像に情報を埋め込むことを特徴とする画像処理方法。
11. コンピュータに、
    表示画像を表示する表示部を撮像する外部装置の撮像レンズを含む画像を撮像すること、
    前記画像に含まれる物体の画像情報に基づいて、前記表示画像に情報を埋め込むこと
    を実行させることを特徴とする画像処理プログラム。