JP6371547B2 - 画像処理装置、方法、および、プログラム - Google Patents

Description

本技術は、ユーザに対して画像を適切に表示させる方法、装置、並びに、プログラムに関する。

近年、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を用いたアプリケーションが実現されてきている。たとえば、スマートフォンやタブレットＰＣを用いて、紙面などの対象物体を撮影すると、撮影された画像の中に、情報を重畳させて表示させるアプリケーションである。より具体的には、株式会社中日新聞社東京本社が提供する「東京ＡＲ」というアプリケーションである。また、非特許文献１のFigure 1にも、同様のアプリケーションの例が記載されている。さらに、特許文献１にも同様のアプリケーションが開示されている。

これらアプリケーションの具体的な使用手順を、図を用いて説明する。

図１の（ア）内の１００が従来のＡＲ装置（具体的にはスマートフォンあるいはタブレットＰＣなど）である。ＡＲ装置１００には、画像表示部１１０と、撮像部１２０を有している。撮像部１２０は、画像表示部１１０に対して反対側に設置されており、図中には見えていない。撮像部１２０により、４つの点線１３０、１３１、１３２および１３３で示した範囲の内側が撮影される。ちなみに、４つの点線で示した範囲の内側を視野角という。また、２００は紙面である。紙面とは、たとえば、雑誌の特定の１ページである。あるいは、新聞紙の一面である。あるいは、街中のポスターである。図１の（ア）では、紙面２００に、自動車の写真が掲載されている例を示している。ユーザが、撮像部１２０を用いて、紙面２００を撮影すると、ＡＲ装置１００は、画像を解析して、所望の処理を行い、画像表示部１１０に画像と情報を表示する。すなわち、撮像部１２０により撮影された画像３００（図１の（イ））は、画像表示部１１０にて表示され、さらに、情報３１０（図１の（ウ））も重畳して表示される。図１の例では、情報３１０は、「展示場で試乗できます」というテキスト情報である。図１の（ア）の画像表示部１１０には、このような画像３００と情報３１０を表示している状況を示している。

図１の（ア）の４００は、ユーザの目を示している。図１の（ア）は、ユーザが、画像表示部１１０を見ている場面である。

ユーザの目４００から見える光景を、図２に示す。ユーザからは、図２に示すように、ＡＲ装置１００が見える。ＡＲ装置１００内の画像表示部１１０には、画像３００および情報３１０が見える。また、ＡＲ装置１００の外側には、実世界の風景が見える。すなわち、紙面２００が見える。図２において、紙面２００と、画像表示部１１０内の画像３００とは、一体感がない。これは、対象物体である自動車の大きさが違うからである。

仮に、撮影された画像３００の一部分のみ（図１の（イ）の３２０で示された点線矩形領域）を画像表示部１１０に表示させる場合を考えてみよう。この場合、情報３１０も、図１の（イ）の３３０の部分のみを画像表示部１１０に表示させる。画像３００に対する部分画像３２０の位置関係と、情報３１０に対する部分情報３３０の位置関係は同じとする。この場合、ユーザの目４００から見える光景を、図３に示す。ユーザからは、図３に示すように、ＡＲ装置１００が見える。ＡＲ装置１００内の画像表示部１１０には、部分画像３２０および部分情報３３０が見える。また、ＡＲ装置１００の外側には、実世界の風景が見える。すなわち、紙面２００が見える。図２と違い、紙面２００と、画像表示部１１０内の画像３２０とは、一体感がある。これは、同じ大きさだからである。あたかも、画像表示部１１０は透明なガラスのようであり、画像表示部１１０の部分は、透明なガラスを通して、紙面２００を直接見ているかのような錯覚をユーザに起こさせることができるので、一体感を感じる。そして、透明なガラス部分に、部分情報３３０が書かれているように感じる。

撮影された画像３００の全体を画像表示部１１０に表示させるのではなく、画像３００の適切な一部分（部分画像３２０）を表示させることで、実際の風景に対して、一体感のある画像表示をすることができる。しかしながら、表示するために適切な部分画像の領域は、ユーザの目４００と画像表示部１１０と紙面２００の位置関係に依存するため、それら位置関係が不明である以上、適切な部分画像を求めることができなかった。すなわち、図３に示すような光景を提示することは不可能であった。

以上をまとめると、従来技術では、ユーザの目４００から見えるＡＲ装置１００は、実際の風景に対して、一体感のある画像表示をすることができなかったという欠点があった。

特開２０１２−１９５７３２号公報

Schmalstieg, Dieter, and Daniel Wagner. "Mobile phones as a platform for augmented reality." connections 1 (2009): 3.

前述のとおり、特許文献１や非特許文献１に記載の技術を用いることで、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を実現できるが、表示に関しては一体感がなかった。

本技術は、このような状況に鑑みてなされたものであり、一体感のある画像表示をさせるようにするものである。

本技術の一側面の画像表示装置は、画像表示部と第１の撮像部を有する画像処理装置であって、上記第１の撮像部から撮影された第１の画像から、「上記画像処理装置が投影されている物体」の投影像（第１の投影像と呼ぶ）を検出する第１の検出部と、上記第１の投影像の中から上記画像処理装置の投影像（第２の投影像と呼ぶ）と、上記第１の投影像の中から上記第２の投影像の外側に投影されている風景の投影像（第３の投影像と呼ぶ）の２つの投影像を求める第２の検出部と、上記第２の投影像と第３の投影像の位置関係に依存して、切り出し領域を決定する領域決定部と、第２の画像から上記切り出し領域に対応する部分を切り出し、上記画像表示部に表示させる画像表示制御部とを備える。これにより、一体感のある画像表示を可能とする。

特に、上記「上記画像処理装置が投影されている物体」とは、人の目、あるいは、人が装着している眼鏡のレンズ部分であることを特徴とすると良い。これにより、一体感のある画像表示を可能とする。

さらに、第２の撮像部を有し、上記第２の画像とは、上記第２の撮像部で撮影された画像であることを特徴とすると良い。これにより、一体感のある画像表示を可能とする。

本技術の一側面の画像表示方法は、画像表示部と第１の撮像部を有する装置にて画像表示を行う画像処理方法であって、上記第１の撮像部から撮影された第１の画像から、「上記画像処理装置が投影されている物体」の投影像（第１の投影像と呼ぶ）を検出する第１の検出ステップと、上記第１の投影像の中から上記画像処理装置の投影像（第２の投影像と呼ぶ）と、上記第１の投影像の中から上記第２の投影像の外側に投影されている風景の投影像（第３の投影像と呼ぶ）の２つの投影像を求める第２の検出ステップと、上記第２の投影像と第３の投影像の位置関係に依存して、切り出し領域を決定する領域決定ステップと、第２の画像から上記切り出し領域に対応する部分を切り出し、上記画像表示部に表示させる画像表示制御ステップとを含む。これにより、一体感のある画像表示を可能とする。

本技術の一側面のプログラムは、画像表示部と第１の撮像部を有する装置にて画像表示を行う画像処理プログラムであって、上記第１の撮像部から撮影された第１の画像から、「上記画像処理装置が投影されている物体」の投影像（第１の投影像と呼ぶ）を検出する第１の検出ステップと、上記第１の投影像の中から上記画像処理装置の投影像（第２の投影像と呼ぶ）と、上記第１の投影像の中から上記第２の投影像の外側に投影されている風景の投影像（第３の投影像と呼ぶ）の２つの投影像を求める第２の検出ステップと、上記第２の投影像と第３の投影像の位置関係に依存して、切り出し領域を決定する領域決定ステップと、第２の画像から上記切り出し領域に対応する部分を切り出し、上記画像表示部に表示させる画像表示制御ステップとを含む。これにより、一体感のある画像表示を可能とする。

本技術の一側面においては、画像表示部と第１の撮像部を有する装置にて画像表示を行うものであり、上記第１の撮像部から撮影された第１の画像から、「上記画像処理装置が投影されている物体」の投影像（第１の投影像と呼ぶ）を検出し、そして、上記第１の投影像の中から上記画像処理装置の投影像（第２の投影像と呼ぶ）と、上記第１の投影像の中から上記第２の投影像の外側に投影されている風景の投影像（第３の投影像と呼ぶ）の２つの投影像を求め、さらに、上記第２の投影像と第３の投影像の位置関係に依存して、切り出し領域を決定し、そして、第２の画像から上記切り出し領域に対応する部分を切り出し、上記画像表示部に表示させる。これにより、一体感のある画像表示を可能とする。

本技術の一側面によれば、一体感のある画像を表示させることができる。

従来の装置を説明するための図である。 従来の装置による一体感のない表示状態を説明するための図である。 一体感のある理想的な表示方法を説明するための図である。 本発明の実施例の装置を説明するための図である。 本発明の実施例の装置の各部の位置関係を説明するための図である。 対象とする紙面を説明するための図である。 本発明の第１の実施例において、本発明の実施例の装置にダウンロードされる画像および情報を説明するための図である。 本発明の第１の実施例において、ユーザの瞳に投影された画像を説明するための図である。 本発明の第１の実施例での処理を説明するフローチャートである。 本発明の第１の実施例を説明する図である。 本発明の第１の実施例を説明する図である。 本発明の第１の実施例を説明する図である。 本発明の第１の実施例を説明する図である。 本発明の第１の実施例を説明する図である。 本発明の第１の実施例の改良に関する説明図である。 本発明の第２の実施例での処理を説明するフローチャートである。 本発明の第２の実施例を説明する図である。 本発明の第２の実施例を説明する図である。

＜第１の実施例＞
図４に本発明の実施例であるＡＲ装置１０を示す。なお、この実施例においては、ＡＲの体験をユーザに提供する画像処理装置に関するものであり、以降では、ＡＲ装置と命名して述べていく。ＡＲ装置１０には、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ、中央演算処理部）１１と、操作部１２と、画像表示部１３と、メモリ１４と、第１の撮像部（内向き撮像部）１５と、第２の撮像部（外向き撮像部）１６と、ネットワークインターフェース部１７とを有し、さらに、１１乃至１７間でのデータのやりとりを行うことができるようにバス１８も有している。

このようなＡＲ装置のハードウエア構成は、米IBM社のパーソナル・コンピュータ「P C／ A T（ P e r s o n a l C o m p u t e r / A d v a n c e d T e c h n o l o g y）」の互換機又は後継機を採用することができる。勿論、他のアーキテクチャを備えたコンピュータを採用しても良い。また、通常、メモリ１４には、オペレーティング・システムが格納されており、このオペレーティング・システム上で、本発明の第１の実施例の処理（以降、ＡＲ動作と呼ぶことにする）を行うプログラムが実行される。ＡＲ動作を行うプログラムも、あらかじめ、メモリ１４上に格納されている。ＣＰＵ１１は、各種演算処理を実行できる。操作部１２から、ユーザは各種命令をＡＲ装置１０に対して、与えることができる。操作部１２は、画像表示装置１３と一体化されており、タッチパネルによる入力ができるようにしても良い。画像表示部１３には、画像や情報を表示できる。メモリ１４には、ＡＲ動作を行うプログラムのほか、ＣＰＵ１１で計算されたデータ、第１の撮像部（内向き撮像部）１５で撮影された画像、第２の撮像部（外向き撮像部）１６で撮影された画像、ネットワークインターフェース部１７を介してネットワーク上のデータをダウンロードしたものなどを格納することができる。第１の撮像部（内向き撮像部）１５あるいは第２の撮像部（外向き撮像部）１６は、たとえば、レンズとイメージセンサより成り、外界を撮影して、画像を生成することができる。ネットワークインターフェース部１７を介して、ＡＲ装置１０は、インターネット等のネットワークに接続でき、インターネット上の各種情報にアクセスできる。

図５に示すように、第１の撮像部（内向き撮像部）１５は、画像表示部１３と同じ面に配置されており、第２の撮像部（外向き撮像部）１６は、反対の面に配置されている。ユーザは、ＡＲ装置１０の画像表示部１３を見ながら操作を行うので、第１の撮像部（内向き撮像部）１５は、ユーザの顔を撮影することが可能である。第２の撮像部（外向き撮像部）１６は、ＡＲ装置１０に対して、ユーザの顔とは反対側の方向を撮影できる。なお、画像表示部１３、第１の撮像部（内向き撮像部）１５、および、第２の撮像部（外向き撮像部）１６の位置関係を見やすくするために、図５ではＡＲ装置１０の厚みを厚くして図示しているが、実際には、厚みは１〜２ｃｍという薄さである。また、図５に示すように、画像表示部１３の大きさは、横がＷＤであり、縦がＨＤであるとする。そして、画像表示部１３の左側がＷＬだけ、右側がＷＲだけ、上側がＨＵだけ、下側がＨＬだけ、それぞれ大きいのが、ＡＲ装置１０であるとする。

このＡＲ装置１０を用いた、具体的な使用手順を示す。

ユーザは、まず、ＡＲ動作を行いたい対象物（ポスターなどの紙面）を用意する。あるいは、街中を歩いていて、対象物を見つける。この紙面の隅には、２次元バーコード（ＱＲコード）が描かれている。図６に、紙面の例を示しておく。図６の２０が紙面であり、隅には、２次元バーコード２１が記載されている。紙面２０には図に示すように自動車の写真が掲載されているとする。

ユーザは、ＡＲ装置１０に対して、ＡＲ動作の前処理を行うように、操作部１２を介して、ＡＲ装置１０に命令するとともに、ＡＲ装置１０をＱＲコード２１に向ける。ＡＲ装置１０は、この命令を受けると、第２の撮像部（外向き撮像部）１６により撮影を行う。そして、撮影画像の中のＱＲコード２１を認識し、ＱＲコード２１により指定されたネットワーク上の情報付き画像データ３０をダウンロードする。この情報付き画像データ３０は、「紙面２０と同じ画像３１と、その画像上に情報３２が重畳されている」という形式のデータである。情報付き画像データ３０と、それを構成する画像３１と情報３２の例を、図７に示す。また、本実施例では、情報付き画像データ３０は、静止画として、以降説明するが、アニメーションＧＩＦなど動画でも良い。

次に、ユーザは、ＡＲ装置１０を紙面２０全体の方向に向ける。そして、ＡＲ装置１０に対して、ＡＲ動作の開始を行うように、操作部１２を介して、ＡＲ装置１０に命令する。

ＡＲ装置１０は、ＡＲ動作の開始を行う命令を受けると、画像表示部１３の全面に白色を表示させる。全面白色にする理由は、後述するように画像表示部１３の投影像を検出しやすくするためであり、検出できるのであれば、他の色を表示させても良い。そして、第１の撮像部（内向き撮像部）１５により撮影を行う。撮像された画像には、ユーザの顔が写っている。ＡＲ装置では、顔認識技術や目の検出技術を使うことで、ユーザの瞳を検出する。検出方法は、たとえば、「新覚碧、渡邉恵理子、小舘香椎子 『Haar−like 特徴を用いた目検出処理による顔認証の高精度化』 平成20 年度電子情報通信学会東京支部学生会研究発表会 講演番号８０」、「辻徳生、柴田真吾、長谷川勉、倉爪亮 『視線計測のためのLMedSを用いた虹彩検出法』 画像の認識・理解シンポジウム(MIRU2004) 2004 年7 月」あるいは「丸山勇人、松岡敦子 『ドライバーモニタシステムの紹介』 ＯＫＩテクニカルレビュー 第２２０号 Vol.79 No.2 (2012年11月)」に記載の手法を使えば良い。

画像内に瞳を検出した後は、その瞳に投影されている外界の風景を展開する。具体的には、「Ko Nishino, Shree K. Nayar: Eyes for relighting. ACM Trans. Graph. 23(3): 704-711 (2004)」あるいは「Ko Nishino, Shree K. Nayar: The World in an Eye. CVPR (1) 2004: 444-451」に記載の手法を使えば良い。なお、ここで言う「展開」とは、「Ko Nishino, Shree K. Nayar: Eyes for relighting. ACM Trans. Graph. 23(3): 704-711 (2004)」のFigure ５の左図から右図を作成することを意味する。あるいは、「Ko Nishino, Shree K. Nayar: The World in an Eye. CVPR (1) 2004: 444-451」のFigure １からFigure １１を作成することを意味する。

ユーザは、ＡＲ装置１０を見ているので、当然、瞳には、ＡＲ装置１０の投影像が写っている。もちろん、その周辺には、外界である紙面２０の投影像も写っている。展開した画像は、ユーザの目（瞳）から見える光景である。展開画像の例を、図８に示す。図８では、瞳の部分を上記手法により展開した画像を、展開画像ＩＥと記している。画像ＩＥの中には、紙面２０の瞳へ投影された投影像（図には、紙面２０の投影像部分と記している）、ＡＲ装置１０の瞳へ投影された投影像（図には、ＡＲ装置１０の投影像部分と記している）、および、画像表示部１３の瞳へ投影された投影像（図には、画像表示部１３の投影像部分と記している）がある。「紙面２０の瞳へ投影された投影像」と「画像表示部１３の瞳へ投影された投影像」の位置関係から、適切な領域を情報付き画像データ３０から切り取ることが出来る。そして、切り取った画像を表示させることで、一体感のある表示をさせることが出来る。

以上が、具体的な使用手順と、その手順に沿ったＡＲ装置１０での動作の簡易説明である。

それでは、以下で、詳しく処理の流れを説明していく。

図９に本発明の第１の実施例の処理の流れを示す。

図９のステップ１で、ユーザからの前処理を行う指示を待つ。すなわち、ユーザが、操作部１２を介してＡＲ動作の前処理を行う指示をするまで、ステップ１で待ち続ける。ユーザからの前処理を行う指示が来ると、ステップ２へ進む。

ステップ２へ進む段階では、ユーザが、ＡＲ装置１０をＱＲコード２１に向けている。ステップ２では、第２の撮像部（外向き撮像部）１６にて撮影を行い、そして、撮影された画像はバス１８を介してＣＰＵ１１へ送られる。ＣＰＵ１１では、この画像内のＱＲコード２１を検出し、解析を行う。なお、ＱＲコードの検出および解析は、既知の手法であり、その説明を省略する。ＱＲコード２１には、ネットワーク上の情報付き画像データ３０の所在場所が記録されている。ＱＲコード２１の解析結果から、ＱＲコード２１により指定されたネットワーク上の情報付き画像データ３０をダウンロードする。なお、ダウンロードは、ネットワークインターフェース部１７を介して行われ、ダウンロードされた情報付き画像データ３０は、バス１８を介してメモリ１４に格納される。なお、ネットワーク上にあらかじめ用意されている情報付き画像データ３０は、「紙面２０と同じ画像３１と、その画像上に情報３２が重畳されている」という形式のデータである。

ステップ２の後、ステップ３に進む。

ステップ３では、ユーザからのＡＲ動作開始の指示を待つ。すなわち、ユーザが操作部１２を介して、ＡＲ動作開始の指示をするまで、ステップ３で待ち続ける。ユーザからのＡＲ動作開始の指示が来ると、ステップ４へ進む。

ステップ４では、画像表示部１３の全面に白色を表示させる。そして、第１の撮像部（内向き撮像部）１５により撮影を行う。撮像された画像は、バス１８を介して、ＣＰＵ１１に送られる。ＣＰＵ１１では、従来からある顔認識手法や目の検出手法を使って、瞳の検出を行う。さらに、ステップ４では、画像内に瞳を検出した後、ＣＰＵ１１にて、その瞳に投影されている外界の風景を展開する。展開画像をＩＥとする。展開画像ＩＥの例を、図８に示す。図８の説明は既出してあるので、省略する。

ステップ４の後、ステップ５に進む。

ステップ５では、ＣＰＵ１１にて、画像ＩＥの中から、高輝度白色四角領域を検出する。この領域をＡｒｅａＤｉｓｐとする。これは、画像内の物体のセグメンテーション技術を使って、画素値が大きな値である四角領域を検出することで行える。この手法は既知の技術なので、詳細説明を省略する。

ステップ５により、画像ＩＥ内に投影されている画像表示装置１３の投影像の位置が、ＡｒｅａＤｉｓｐとして確定される。これは、撮影時に画像表示部１３の全面を白色に表示していたからである。図８には、「画像表示部１３の投影像部分」と「ＡｒｅａＤｉｓｐ」が同じ領域となる様子を示している。

ステップ５の後、ステップ６に進む。

ステップ６では、ＣＰＵ１１にて、高輝度白色四角領域ＡｒｅａＤｉｓｐの横方向の長さに対して、「ＷＬ／ＷＤ」倍した領域を左方に拡大し、「ＷＲ／ＷＤ」倍した領域を右方に拡大する。そして、高輝度白色四角領域ＡｒｅａＤｉｓｐの縦方向の長さに対して、「ＨＵ／ＨＤ」倍した領域を上方に拡大し、「ＨＬ／ＨＤ」倍した領域を下方に拡大する。このように、上下左右に拡大した領域をＡｒｅａＤｅｖｉｃｅとする。このＡｒｅａＤｅｖｉｃｅは、画像ＩＥの中で、ＡＲ装置１０が投影されている投影像の部分と同じである。図５に示したように、ＡＲ装置１０と、画像表示装置１３の大きさの割合を考えれば明らかである。図８には、「ＡＲ装置１０の投影像部分」と「ＡｒｅａＤｅｖｉｃｅ」が同じ領域となる様子を示している。

ステップ６の後、ステップ７に進む。

ステップ７では、メモリ１４に格納されている画像３１が、バス１８を介して、ＣＰＵ１１に送られる。そして、ＣＰＵ１１にて、情報付き画像データを構成している画像３１（情報付き画像データ３０から、情報３２を除外した画像３１）と、画像ＩＥ（ただしＡｒｅａＤｅｖｉｃｅの領域は除く）とのマッチングにより、画像間の位置関係を求める。画像ＩＥには、前述のとおり、ＡＲ装置１０の瞳へ投影された投影像のほかに、紙面２０の瞳へ投影された投影像も写っている。そこで、ＡｒｅａＤｅｖｉｃｅの領域は除く画像ＩＥの中から、紙面２０と同じ画像である画像３１を探索することは可能である。ＣＰＵ１１では、具体的には、領域ＡｒｅａＤｉｓｐ以外の任意の位置（ｘ，ｙ）について、Ｐ（ｘ０，ｙ０）＝ＩＥ（ｘ，ｙ）を満たすような（ｘ０，ｙ０）と（ｘ，ｙ）の関係式（式１）を求める処理を行う。

ここで、Ｐ（ｘ０，ｙ０）は、画像３１の位置（ｘ０，ｙ０）における画素値であり、ＩＥ（ｘ，ｙ）は、画像ＩＥの（ｘ，ｙ）における画素値である。つまり、画像ＩＥを、２×２行列Ｍと２次元ベクトルＮで変形することにより、画像３１となるようなＭおよびＮを求める処理をしている。このＮは、２枚の画像間の平行移動成分を表しており、Ｍは回転およびスケーリングを表現している。２枚の画像のマッチング（位置関係の計算）の手法は、特徴点によるマッチング手法など、既知の手法を使えば良いので、その詳細説明を省略する。なお、２枚の画像間の位置関係は、ホモグラフィ行列（射影変換行列）という３×３行列で表現するのが一般的である。しかしながら、本発明の実施例においては、ユーザは、紙面２０と平行になるようにＡＲ装置１０を構えることが想定されるので、２次元アフィン変換（ＭおよびＮ）で位置関係を表現することが可能である。

ステップ７の後、ステップ８に進む。

ステップ８では、メモリ１４に格納されている情報付き画像データ３０が、バス１８を介して、ＣＰＵ１１に送られる。そして、ＣＰＵ１１にて、ステップ７で求まったマッチング関係から、情報付き画像データ３０の中からＡｒｅａＤｉｓｐに対応する領域を切り取る作業を行う。具体的には、画像ＩＥ内で高輝度白色四角領域ＡｒｅａＤｉｓｐの４頂点の座標を（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、および、（Ｘ４，Ｙ４）として、式２を計算し、（Ｘ０１，Ｙ０１）、（Ｘ０２，Ｙ０２）、（Ｘ０３，Ｙ０３）、および、（Ｘ０４，Ｙ０４）を求める。

さらに、ステップ８では、（Ｘ０１，Ｙ０１）、（Ｘ０２，Ｙ０２）、（Ｘ０３，Ｙ０３）、および、（Ｘ０４，Ｙ０４）で囲まれる領域を画像３１から切り取ることを、ＣＰＵ１１にて行う。

ステップ８の後、ステップ９に進む。

ステップ９では、切り取った画像を、バス１８を介して、画像表示部１３にて表示をさせる。そして、ＡＲ動作を終了させる。

このようにして、あたかも、画像表示部１３は透明なガラスのようであり、画像表示部１３の部分は、透明なガラスを通して、紙面２０を直接見ているかのような錯覚をユーザに起こさせることができるので、一体感を感じる。そして、透明なガラス部分に、情報３２（正確には、情報３２の一部分）が書かれているように感じる。

上記処理により、どうして、ユーザから見て、画像表示部１３には、同じ大きさの画像が表示できるかについて以下で説明する。ステップ４での状況を図１０に図示する。ユーザの目は４０である。また、画像表示部１３には、白色が表示されている。第１の撮像部１５から、ユーザの目（瞳）が撮影される。撮影された画像を展開することで、図８に示す画像ＩＥを得ることが出来る。この画像ＩＥは、瞳に反射された物体が写っている。つまり、ユーザの目（瞳）から見た風景である。そして、図１１に示すように、画像ＩＥの各位置は、ステップ７で求まったＭおよびＮを使って位置変換することで、画像３１の対応位置に変換できる。したがって、ＡｒｅａＤｉｓｐの領域に対応する領域を、ＭおよびＮにより求めることで、図１１に示すように、「ＡｒｅａＤｉｓｐがＭおよびＮで変換される領域」が求まる。なお、実際には、ステップ８にて、領域の四隅を変換して求めている。したがって、画像３１の中で「ＡｒｅａＤｉｓｐがＭおよびＮで変換される領域（図１１参照）」部分を、ＡｒｅａＤｉｓｐ部分に表示してあげれば、図１２に示すような風景を、ユーザは見ることが出来る。このようにして、あたかも、画像表示部１３は透明なガラスのようであり、画像表示部１３の部分は、透明なガラスを通して、紙面２０を直接見ているかのような錯覚をユーザに起こさせることができるので、一体感を感じる。なお、もちろん、上記実施例においては、さらに、情報３２（正確には、情報３２の一部分）も提示している。すなわち、図１３のような状況になり、ユーザの目４０からは、紙面２０と画像表示部１３での表示が一体感のある風景として感じることが出来る。

また、上記本発明の第１の実施例においては、ＱＲコードにより情報付き画像データ３０をダウンロードするとして説明したが、以下のような方法で情報付き画像データ３０を取得しても良い。すなわち、紙面２０を撮影し、紙面２０内に描かれている物体を認識する。そして、認識された物体に対する情報を、インターネット上で検索して、検索された情報を付加することで、情報付き画像データ３０を作成しても良い。

また、画像表示部１３が３Ｄ表示可能なデバイス（立体表示ディスプレイ）であるとする。この場合、図９の処理において、ステップ４で、左目を検出する処理と、右目を検出する処理の２つの処理を行うことで、「左目のための画像表示部１３で表示すべき画像」と、「右目のための画像表示部１３で表示すべき画像」を得ることが出来る。そして、これら画像を、それぞれ、左目用の画像と右目用の画像として、画像表示部１３に表示させることで、外界と一体感があり、かつ、奥行きのある立体映像を表示することも可能である。

ところで、図１３から分かるように、情報３２は、一部分しか表示されていない。ユーザは、情報３２のすべてを知りたければ、たとえば、ＡＲ装置１０を、右方向（図１３に示した矢印５０）に動かして、ＡＲ動作を再度行えばよい。これにより、紙面２０の右側方向をさらに見ることができる。つまり、図１３の位置においては、図１４の（ア）に示すような風景をユーザは見ていたが、移動により、同図（イ）に示す風景を見ることが出来る。つまり、情報３２の他の部分を見ることができる。もちろん、移動後も、紙面２０と画像表示部１３での表示には一体感がある。

以上で第１の実施例の説明を終える。

＜第１の実施に関する改良例＞
さて、情報３２のすべてを知るために、ＡＲ装置１０を移動（図１３の矢印５０）させて、その後に、ＡＲ動作（図９の処理）を再度行うと良いと述べた。しかし、図９のステップ４で行う「瞳位置の検出、および、瞳に映った投影像の平面への展開」の処理には、処理量が多いため、多少の時間を有する。そこで、移動前のＡＲ処理（図９の処理）の結果と、ＡＲ装置１０の移動量から、簡易的に、移動後の「情報付き画像データ３０の中でＡｒｅａＤｉｓｐに対応する領域」を確定させる手法について、ここで述べる。すなわち、第１の実施例に関する改良（高速化）である。

ＡＲ装置１０の移動量は、図４では図示省略した加速度センサやジャイロセンサを用いて計算しても良いが、ここでは、第２の撮像部（外向き撮像部）１６により、移動前と移動後で撮影を行い、これら２枚の画像から移動量を検知する手法について述べる。

移動前に、前述のように図９に示す処理（ＡＲ処理）を行う。そして、移動の前に、第２の撮像部（外向き撮像部）１６を使い撮影を行う。さらに、移動の後に、第２の撮像部（外向き撮像部）１６を使い再度撮影を行う。図１５に、移動前に第２の撮像部（外向き撮像部）１６により撮影された画像（ア）と、移動後に第２の撮像部（外向き撮像部）１６により撮影された画像（イ）と、説明のためにそれら２枚の画像を重ねて表示した画像（ウ）を示す。第２の撮像部（外向き撮像部）１６は、紙面２０の方向を向いているので、当然、紙面２０が写っている。さらに、紙面２０の周りには、たとえば、紙面２０が貼ってある壁（図中の６０）が写っている。

これら２枚の画像のマッチングを行うことで、２枚の画像の位置ずれを求める（図中の矢印で示したベクトル７０）。ただし、位置ずれを表すベクトル７０は、たとえば、紙面２０の横幅を単位長さとして数値化しているとする。「情報付き画像データ３０の中でＡｒｅａＤｉｓｐに対応する領域」を、情報付き画像データ３０の横幅を単位長さとして、ベクトル７０だけ移動させる。移動させた後の「情報付き画像データ３０の中でＡｒｅａＤｉｓｐに対応する領域」を画像表示部１３にて表示すれば良い。ここでは、ＡＲ装置の移動量が、紙面２０の横幅を単位として、どの程度移動したか（ベクトル７０）を計算して、その移動量と等価な量だけ、情報付き画像データ３０から切り出す領域を移動させている。これにより、移動後も、画像表示部１３にて、ほぼ一体感のある画像を表示できる。

なお、正確には、ユーザの目４０とＡＲ装置１０の位置関係に基づき、移動後の「情報付き画像データ３０の中でＡｒｅａＤｉｓｐに対応する領域」を計算しなくてはいけない。しかし、上述のように簡易的に求めることで、移動後は「瞳位置の検出、および、瞳に映った投影像の平面への展開」の処理を行わないので、高速化が可能である。

以上で第１の実施に関する改良例の説明を終える。

＜第２の実施例＞
次に、第１の実施例と同じ装置（ＡＲ装置１０）を用いて、ＡＲ動作以外の使い方を説明する。すなわち、ＡＲ装置１０をデジタルカメラとして使用する場合を説明する。

図１６に本発明の第２の実施例の処理の流れを示す。なお、デジタルカメラで撮影する対象として、第１の実施例と同様の紙面２０とする。

図１６のステップ１１で、ユーザからの撮影指示を待つ。すなわち、ユーザが、操作部１２を介して撮影指示をするまで、ステップ１１で待ち続ける。ユーザからの指示が来ると、ステップ１２へ進む。

ステップ１２では、第２の撮像部（外向き撮像部）１６にて撮影を行い、そして、撮影された画像はバス１８を介してメモリ１４へ送られる。この画像をＩＳとする。この画像には、紙面２０が写っている。

ステップ１２の後、ステップ１３に進む。

ステップ１３では、画像表示部１３の全面に白色を表示させる。そして、第１の撮像部（内向き撮像部）１５により撮影を行う。撮像された画像は、バス１８を介して、ＣＰＵ１１に送られる。ＣＰＵ１１では、従来からある顔認識手法や目の検出手法を使って、瞳の検出を行う。さらに、ステップ１４では、画像内に瞳を検出した後、ＣＰＵ１１にて、その瞳に投影されている外界の風景を展開する。展開画像をＩＥとする。

ステップ１３の後、ステップ１４に進む。

ステップ１４では、ＣＰＵ１１にて、画像ＩＥの中から、高輝度白色四角領域を検出する。この領域をＡｒｅａＤｉｓｐとする。これは、画像内の物体のセグメンテーション技術を使って、画素値が大きな値である四角領域を検出することで行える。この手法は既知の技術なので、詳細説明を省略する。

ステップ１４の後、ステップ１５に進む。

ステップ１５では、ＣＰＵ１１にて、高輝度白色四角領域ＡｒｅａＤｉｓｐの横方向の長さに対して、「ＷＬ／ＷＤ」倍した領域を左方に拡大し、「ＷＲ／ＷＤ」倍した領域を右方に拡大する。そして、高輝度白色四角領域ＡｒｅａＤｉｓｐの縦方向の長さに対して、「ＨＵ／ＨＤ」倍した領域を上方に拡大し、「ＨＬ／ＨＤ」倍した領域を下方に拡大する。このように、上下左右に拡大した領域をＡｒｅａＤｅｖｉｃｅとする。

ステップ１５の後、ステップ１６に進む。

ステップ１６では、メモリ１４に格納されている画像ＩＳが、バス１８を介して、ＣＰＵ１１に送られる。そして、ＣＰＵ１１にて、画像ＩＳと、画像ＩＥ（ただしＡｒｅａＤｅｖｉｃｅの領域は除く）とのマッチングにより、画像間の位置関係を求める。画像ＩＥには、前述のとおり、ＡＲ装置１０の瞳へ投影された投影像のほかに、紙面２０の瞳へ投影された投影像も写っている。そこで、ＡｒｅａＤｅｖｉｃｅの領域は除く画像ＩＥと、紙面２０が写っている画像ＩＳとのマッチングは可能である。この処理は、図９のステップ７と同様である。

ステップ１６の後、ステップ１７に進む。

ステップ１７では、ＣＰＵ１１にて、ステップ１６で求まったマッチング関係から、画像ＩＳの中でＡｒｅａＤｉｓｐに対応する領域を切り取る作業を行う。この処理は、図９のステップ８と同様である。

ステップ１７の後、ステップ１８に進む。

ステップ１８では、ＣＰＵ１１にて切り取った画像を、バス１８を介して、画像表示部１３にて表示をさせるとともに、画像表示部１３で表示している画像を、バス１８を介してメモリ１４に格納する。そして、一連の処理を終了させる。

ステップ１８で格納された画像が、どのような画像であるかをここに記す。ＡＲ装置１０の画像表示部１３が仮に透明なガラスであったとする。ユーザの目から見て、この透明なガラスを通してみた風景が、ステップ１８で格納された画像と同じである。理由は、第１の実施例において、ＡＲ装置１０の画像表示部１３が一体感のある画像を表示できると説明したことから明らかである。

ステップ１８での状況を図１７に図示する。ユーザの目は４０である。また、画像表示部１３には、画像ＩＳからステップ１７で切り取られた画像が表示されている。ユーザの目から見ると、図１８の（ア）のように見える。あたかも、画像表示部１３は透明なガラスのようであり、画像表示部１３の部分は、透明なガラスを通して、紙面２０を直接見ているかのような錯覚をユーザに起こさせることができる。そして、画像表示部１３で表示されている画像（画像ＩＳから切り取られた画像）が、メモリ１４に格納される。

さて、このようにして格納された画像は、紙面２０の車の一部分しか映っていない（図１８の（ア）の画像表示部１３部分の画像）。そこで、ユーザは、もう少し、ワイドな画角で車全体を撮影したいと考える。この場合、ユーザは、ＡＲ装置１０を、手前側（図１７に示した矢印５１）に動かして、図１６の処理を再度行えばよい。

このように移動することで、ＡＲ装置１０はユーザの目４０に近づくので、ユーザから見るとＡＲ装置１０は大きく見える。また、図１６の処理が行われるので、ＡＲ装置１０の画像表示部１３には一体感のある画像を表示していることになる。したがって、移動後は、ユーザの目から見ると、図１８の（イ）のように見える。あたかも、画像表示部１３は透明なガラスのようであり、画像表示部１３の部分は、透明なガラスを通して、紙面２０を直接見ているかのような錯覚をユーザに起こさせることができる。そして、画像表示部１３で表示されている画像（画像ＩＳから切り取られた画像）が、メモリ１４に格納される。ユーザの目４０と紙面２０の位置関係は、同じなので、図１８の（ア）の紙面２０と、（イ）の紙面２０は同じ大きさである。一方、画像表示部１３は、（ア）に比べて（イ）は大きく見える。したがって、移動前よりも、ワイドな画角の画像をメモリ１４に格納することが出来る。

ＡＲ装置１０をユーザの目４０に対して、移動させることで、画角を変更して撮影することができる。第２の実施例から分かるように、本発明は、デジタルカメラの画角調整用のユーザインターフェースとして使うことが出来るというメリットもある。

以上で第２の実施例の説明を終える。

上記複数の実施例について説明したが、本発明の根幹をなす訴求ポイントを以下で述べる。ユーザの目（あるいは、ユーザがつけている眼鏡など）に写った光景より、本発明の装置が、ユーザから見たときに、外界に対してどのような位置にあるかを検出する。そして、検出された位置に応じて、画像から適切な領域を切り出して、装置に表示させるという点が、本発明の訴求ポイントである。これにより、外界と一体感のある画像の表示（第１の実施例）や、撮影したい画角を簡単に設定すること（第２の実施例）ができる。

以上、本発明の実施形態を詳述してきたが、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

さらに、本技術は、以下の構成とすることも可能である。

［１］
画像表示部と第１の撮像部を有する画像処理装置であって、
上記第１の撮像部から撮影された第１の画像から、「上記画像処理装置が投影されている物体」の投影像（第１の投影像と呼ぶ）を検出する第１の検出部と、
上記第１の投影像の中から上記画像処理装置の投影像（第２の投影像と呼ぶ）と、上記第１の投影像の中から上記第２の投影像の外側に投影されている風景の投影像（第３の投影像と呼ぶ）の２つの投影像を求める第２の検出部と、
上記第２の投影像と第３の投影像の位置関係に依存して、切り出し領域を決定する領域決定部と、
第２の画像から上記切り出し領域に対応する部分を切り出し、上記画像表示部に表示させる画像表示制御部と
を備える画像処理装置。
［２］
上記「上記画像処理装置が投影されている物体」とは、人の目、あるいは、人が装着している眼鏡のレンズ部分であることを
特徴とする［１］に記載の画像処理装置。
［３］
さらに、第２の撮像部を有し、
上記第２の画像とは、上記第２の撮像部で撮影された画像であることを
特徴とする［１］あるいは［２］に記載の画像処理装置。
［４］
画像表示部と第１の撮像部を有する装置にて画像表示を行う画像処理方法であって、
上記第１の撮像部から撮影された第１の画像から、「上記画像処理装置が投影されている物体」の投影像（第１の投影像と呼ぶ）を検出する第１の検出ステップと、
上記第１の投影像の中から上記画像処理装置の投影像（第２の投影像と呼ぶ）と、上記第１の投影像の中から上記第２の投影像の外側に投影されている風景の投影像（第３の投影像と呼ぶ）の２つの投影像を求める第２の検出ステップと、
上記第２の投影像と第３の投影像の位置関係に依存して、切り出し領域を決定する領域決定ステップと、
第２の画像から上記切り出し領域に対応する部分を切り出し、上記画像表示部に表示させる画像表示制御ステップと
を含む画像処理方法。
［５］
画像表示部と第１の撮像部を有する装置にて画像表示を行う画像処理プログラムであって、
上記第１の撮像部から撮影された第１の画像から、「上記画像処理装置が投影されている物体」の投影像（第１の投影像と呼ぶ）を検出する第１の検出ステップと、
上記第１の投影像の中から上記画像処理装置の投影像（第２の投影像と呼ぶ）と、上記第１の投影像の中から上記第２の投影像の外側に投影されている風景の投影像（第３の投影像と呼ぶ）の２つの投影像を求める第２の検出ステップと、
上記第２の投影像と第３の投影像の位置関係に依存して、切り出し領域を決定する領域決定ステップと、
第２の画像から上記切り出し領域に対応する部分を切り出し、上記画像表示部に表示させる画像表示制御ステップと
を含む処理をコンピュータに実行させる画像処理プログラム。

１０…画像処理装置（ＡＲ装置）
１１…中央演算処理部
１２…操作部
１３…画像表示部
１４…メモリ
１５…第１の撮像部
１６…第２の撮像部
１７…ネットワークインターフェース部
１８…バス
２０…紙面
２１…２次元バーコード
３０…情報付き画像データ
３１…画像
３２…情報
４０…ユーザの目
６０…壁
１００…従来の画像処理装置（従来のＡＲ装置）
１１０…画像表示部
１２０…撮像部
２００…紙面
３００…画像
３１０…情報
４００…ユーザの目

Claims (5)

1. 画像表示部と第１の撮像部を有する画像処理装置であって、
   上記第１の撮像部から撮影された第１の画像から、「上記画像処理装置が投影されている物体」の投影像（第１の投影像と呼ぶ）を検出する第１の検出部と、
   上記第１の投影像の中から上記画像処理装置の投影像（第２の投影像と呼ぶ）と、上記第１の投影像の中から上記第２の投影像の外側に投影されている風景の投影像（第３の投影像と呼ぶ）の２つの投影像を求める第２の検出部と、
   上記第２の投影像と第３の投影像の位置関係に依存して、切り出し領域を決定する領域決定部と、
   第２の画像から上記切り出し領域に対応する部分を切り出し、上記画像表示部に表示させる画像表示制御部と
   を備える画像処理装置。
2. 上記「上記画像処理装置が投影されている物体」とは、人の目、あるいは、人が装着している眼鏡のレンズ部分であることを
   特徴とする請求項１記載の画像処理装置。
3. さらに、第２の撮像部を有し、
   上記第２の画像とは、上記第２の撮像部で撮影された画像であることを
   特徴とする請求項１あるいは請求項２記載の画像処理装置。
4. 画像表示部と第１の撮像部を有する装置にて画像表示を行う画像処理方法であって、
   上記第１の撮像部から撮影された第１の画像から、「上記装置が投影されている物体」の投影像（第１の投影像と呼ぶ）を検出する第１の検出ステップと、
   上記第１の投影像の中から上記装置の投影像（第２の投影像と呼ぶ）と、上記第１の投影像の中から上記第２の投影像の外側に投影されている風景の投影像（第３の投影像と呼ぶ）の２つの投影像を求める第２の検出ステップと、
   上記第２の投影像と第３の投影像の位置関係に依存して、切り出し領域を決定する領域決定ステップと、
   第２の画像から上記切り出し領域に対応する部分を切り出し、上記画像表示部に表示させる画像表示制御ステップと
   を含む画像処理方法。
5. 画像表示部と第１の撮像部を有する装置にて画像表示を行う画像処理プログラムであって
   上記第１の撮像部から撮影された第１の画像から、「上記装置が投影されている物体」の投影像（第１の投影像と呼ぶ）を検出する第１の検出ステップと、
   上記第１の投影像の中から上記装置の投影像（第２の投影像と呼ぶ）と、上記第１の投影像の中から上記第２の投影像の外側に投影されている風景の投影像（第３の投影像と呼ぶ）の２つの投影像を求める第２の検出ステップと、
   上記第２の投影像と第３の投影像の位置関係に依存して、切り出し領域を決定する領域決定ステップと、
   第２の画像から上記切り出し領域に対応する部分を切り出し、上記画像表示部に表示させる画像表示制御ステップと
   を含む処理をコンピュータに実行させる画像処理プログラム。
   

Images