JPWO2015189972A1 - 情報重畳画像表示装置および情報重畳画像表示プログラム - Google Patents

Abstract

不可領域選択部（１３０）は、情報処理表示デバイスを映した撮影画像（１９１）から、情報処理表示デバイスの表示領域を不可領域として選択する。ＡＲ画像生成部（１４０）は、不可領域を避けて撮影画像に重畳情報（１９２）を重畳したＡＲ画像（１９４）を生成する。ＡＲ画像表示部（１５０）は、ＡＲ画像（１９４）をＡＲ表示デバイスの表示領域に表示する。ＡＲは拡張現実の略称である。

Description

本発明は、撮影画像に情報を重畳して表示する技術に関するものである。

現実世界または現実世界を映した映像にコンピュータによって生成したＣＧを重畳表示させるＡＲ技術が普及してきている。ＣＧはコンピュータグラフィックスの略称であり、ＡＲは拡張現実の略称である。
例えば、ユーザが向いている方向に存在する建造物にＣＧをプロジェクターから投影する方法がある。また、スマートフォン、タブレット端末またはウェアラブル端末等の情報端末が備えるカメラで撮影した映像をその情報端末の画面に表示する際に、ＣＧを重畳表示する方法がある。
これらの技術は、周辺の建築物を説明する情報を観光客向けに表示する観光支援システム、または、目的地までの道順をＣＧで表示するナビゲーションシステムなどの用途に用いることができる。

ところで、現実世界にＣＧを重畳表示した場合、重畳表示した部分に存在する現実世界が見えない状況、または、見難い状況となる。その状況は、ＣＧが重畳された部分の現実世界を見なくてよい場合には問題とならないが、現実世界を見たい場合にはユーザビリティの観点で課題となる。
また、現実世界には、ＡＲ技術によってＣＧを重畳表示する情報処理端末の他にも、ユーザに有益な情報を発信する表示デバイスが存在する。そのため、表示デバイスが表示された部分にＣＧを重畳表示した場合、表示デバイスから発信される情報が遮断され、ユーザの利益が損なわれる。

特許文献１は、ＣＧを重畳表示しないＣＧ除去領域を指定することによって、ＣＧ除去領域にＣＧが重畳表示されることを防ぐ技術を開示している。
但し、ユーザは、ＣＧ除去フレーム、電子ペンまたは自身の手を用いて、ＣＧ除去領域を明示的に指定する必要がある。
そのため、ＣＧ除去領域の位置およびサイズを調整する労力が生じる。また、ＣＧ除去領域にＣＧが重畳表示されなくなるため、重畳表示すべきＣＧの一部が欠落する可能性がある。また、ＣＧ除去領域が必要以上に大きい場合、ＣＧが全く表示されない可能性がある。したがって、効果的な情報発信が行えなくなることが予想される。
一方、ＣＧが表示デバイスに重畳表示される場合、ユーザは表示デバイスに表示されている情報を認知することが困難になる。

特開２００４−１７８５５４号公報

金澤 靖、"移動単眼カメラによる道路上の障害物の計測"、［ｏｎｌｉｎｅ］、２０１２年７月１０日、［２０１４年４月７日検索］、インターネット（ＵＲＬ：ｈｔｔｐ：／／ｊｓｔｓｈｉｎｇｉ．ｊｐ／ａｂｓｔ／ｐ／１２／１２１６／ｔｏｙｏｈａｓｈｉ０４．ｐｄｆ）

本発明は、撮影画像に映った表示デバイスの表示領域を隠さずに撮影画像に情報を重畳表示できるようにすることを目的とする。

本発明の情報重畳画像表示装置は、
表示領域として情報処理表示領域を有する情報処理表示デバイスを映した撮影画像に重畳情報が重畳された情報重畳画像を、表示領域として本体表示領域を有する本体表示デバイスの前記本体表示領域に表示する情報重畳画像表示部を備える。
前記情報重畳画像は、前記撮影画像から前記情報処理表示デバイスの前記情報処理表示領域が映った部分を避けて選択された画像領域に前記情報が重畳された画像である。

本発明によれば、撮影画像に映った表示デバイスの表示領域を隠さずに撮影画像に情報を重畳表示することができる。

実施の形態１におけるＡＲ装置１００の機能構成図である。 実施の形態１におけるＡＲ装置１００のＡＲ処理を示すフローチャートである。 実施の形態１における撮影画像１９１の一例を示す図である。 実施の形態１における撮影画像１９１に含まれる不可領域３９０の一例を示す図である。 実施の形態１におけるＡＲ画像１９４の一例を示す図である。 実施の形態１におけるＡＲ画像１９４の表示形態の一例を示す図である。 実施の形態１におけるＡＲ装置１００のハードウェア構成図である。 従来技術におけるＡＲ画像１９４の一例を示す図である。 実施の形態２における重畳情報取得部１２０の機能構成図である。 実施の形態３における重畳情報取得部１２０の機能構成図である。 実施の形態３におけるＡＲ画像１９４の一例を示す図である。 実施の形態４における不可領域選択部１３０の機能構成図である。 実施の形態５における不可領域選択部１３０の機能構成図である。 実施の形態５における表示領域２０１に表示される複数のアイコン３３０の一例を示す図である。 実施の形態５におけるウィンドウ３４０の一例を示す図である。 実施の形態５における撮影画像１９１の一例の一部を示す図である。 実施の形態５における撮影画像１９１の一例の一部を示す図である。 実施の形態５における不可領域３９０の一例を示す図である。 実施の形態５における不可領域３９０の一例を示す図である。 実施の形態５における不可領域決定部１３３の不可領域決定処理を示すフローチャートである。 実施の形態６における不可領域選択部１３０の機能構成図である。 実施の形態６におけるベゼル部３９３の一例を示す図である。 実施の形態６における不可領域３９０の一例を示す図である。 実施の形態６におけるベゼル部３９３の一例を示す図である。 実施の形態６における不可領域３９０の一例を示す図である。 実施の形態６におけるベゼル部３９３の一例を示す図である。 実施の形態６における不可領域３９０の一例を示す図である。 実施の形態７におけるＡＲ画像生成部１４０の機能構成図である。 実施の形態７におけるＡＲ画像生成部１４０のＡＲ画像生成処理を示すフローチャートである。 実施の形態７における情報部分図３２２の一例を示す図である。 実施の形態７における情報部分図３２２の変更例を示す図である。 実施の形態７における情報図３２０の一例を示す図である。 実施の形態７における情報画像３２９の一例を示す図である。 実施の形態８におけるＡＲ装置１００の機能構成図である。 実施の形態８におけるＡＲ装置１００のＡＲ処理を示すフローチャートである。 実施の形態８における除外領域３９８の位置関係を示す図である。

実施の形態１．
撮影画像に映った表示デバイスの表示領域を隠さずに撮影画像に情報を重畳表示する形態について説明する。

図１は、実施の形態１におけるＡＲ装置１００の機能構成図である。ＡＲは拡張現実の略称である。
実施の形態１におけるＡＲ装置１００の機能構成について、図１に基づいて説明する。但し、ＡＲ装置１００の機能構成は図１と異なる機能構成であっても構わない。

ＡＲ装置１００（情報重畳画像表示装置の一例）は、ＡＲ装置１００が備える表示デバイスの表示領域（本体表示領域の一例）にＡＲ画像１９４を表示する装置である。ＡＲ画像１９４は、情報が重畳された情報重畳画像である。
ＡＲ装置１００は、カメラと表示デバイス（本体表示デバイスの一例）とを備える（図示省略）。カメラおよび表示デバイスはケーブルなどを介してＡＲ装置１００に接続されたものであっても構わない。以下、ＡＲ装置１００が備える表示デバイスを表示デバイス又はＡＲ表示デバイスという。
タブレット型のコンピュータ、スマートフォンおよびデスクトップ型のコンピュータはＡＲ装置１００の一例である。

ＡＲ装置１００は、撮影画像取得部１１０と、重畳情報取得部１２０と、不可領域選択部１３０と、ＡＲ画像生成部１４０（情報重畳画像生成部の一例）と、ＡＲ画像表示部１５０（情報重畳画像表示部の一例）と、装置記憶部１９０とを備える。

撮影画像取得部１１０は、カメラによって生成される撮影画像１９１を取得する。
撮影画像１９１は、情報処理装置によって使用される表示デバイスが存在する撮影範囲を映している。以下、情報処理装置によって使用される表示デバイスを表示デバイス又は情報処理表示デバイスという。また、情報処理表示デバイスが有する表示領域に表示される画像を情報処理画像という。

重畳情報取得部１２０は、撮影画像１９１に重畳される重畳情報１９２を取得する。

不可領域選択部１３０は、撮影画像１９１から情報処理表示デバイスの表示領域が映っている画像領域を選択し、選択した画像領域を不可領域として示す不可領域情報１９３を生成する。

ＡＲ画像生成部１４０は、重畳情報１９２と不可領域情報１９３とに基づいて、ＡＲ画像１９４を生成する。
ＡＲ画像１９４は、重畳情報１９２が不可領域以外の画像領域に重畳された撮影画像１９１である。

ＡＲ画像表示部１５０は、ＡＲ画像１９４をＡＲ表示デバイスに表示する。

装置記憶部１９０は、ＡＲ装置１００によって使用、生成または入出力されるデータを記憶する。
例えば、装置記憶部１９０は、撮影画像１９１、重畳情報１９２、不可領域情報１９３およびＡＲ画像１９４などを記憶する。

図２は、実施の形態１におけるＡＲ装置１００のＡＲ処理を示すフローチャートである。
実施の形態１におけるＡＲ装置１００のＡＲ処理について、図２に基づいて説明する。但し、ＡＲ処理は図２と異なる処理であっても構わない。

図２に示すＡＲ処理は、ＡＲ装置１００のカメラによって撮影画像１９１が生成される毎に実行される。

Ｓ１１０において、撮影画像取得部１１０は、ＡＲ装置１００のカメラによって生成された撮影画像１９１を取得する。
Ｓ１１０の後、処理はＳ１２０に進む。

図３は、実施の形態１における撮影画像１９１の一例を示す図である。
例えば、撮影画像取得部１１０は、図３に示すような撮影画像１９１を取得する。
撮影画像１９１は、タブレット型の情報処理装置２００と時計３１０とを含んだ撮影範囲を映している。
タブレット型の情報処理装置２００は表示デバイスを備えている。情報処理装置２００の表示デバイスは情報処理画像３００が表示される表示領域２０１を備えている。
図２に戻り、Ｓ１２０から説明を続ける。

Ｓ１２０において、重畳情報取得部１２０は、撮影画像１９１に重畳する重畳情報１９２を取得する。
例えば、重畳情報取得部１２０は、撮影画像１９１（図３参照）から時計３１０を検出し、時計３１０に関連する重畳情報１９２を取得する。
重畳情報取得処理（Ｓ１２０）の詳細については、別の実施の形態で説明する。
Ｓ１２０の後、処理はＳ１３０に進む。但し、Ｓ１２０はＳ１３０の後に実行されても構わない。また、Ｓ１２０は、Ｓ１３０と並列に実行されても構わない。

Ｓ１３０において、不可領域選択部１３０は、撮影画像１９１から情報処理装置２００の表示領域２０１が映っている画像領域を不可領域３９０として選択する。不可領域３９０は、重畳情報１９２が重畳されない四角形の画像領域である。但し、不可領域３９０の形状は四角形でなくても構わない。
そして、不可領域選択部１３０は、不可領域を示す不可領域情報１９３を生成する。
不可領域選択処理（Ｓ１３０）の詳細については、別の実施の形態で説明する。
Ｓ１３０の後、処理はＳ１４０に進む。

図４は、実施の形態１における撮影画像１９１に含まれる不可領域３９０の一例を示す図である。図４において、斜線の網掛け部分は不可領域３９０を表している。
不可領域選択部１３０は、情報処理装置２００の表示領域の全体または一部を不可領域３９０として選択し、選択した不可領域３９０を示す不可領域情報１９３を生成する。
図２に戻り、Ｓ１４０から説明を続ける。

Ｓ１４０において、ＡＲ画像生成部１４０は、重畳情報１９２と不可領域情報１９３とに基づいて、ＡＲ画像１９４を生成する。
ＡＲ画像１９４は、重畳情報１９２が不可領域を避けて重畳された撮影画像１９１である。
ＡＲ画像生成処理（Ｓ１４０）の詳細については、別の実施の形態で説明する。
Ｓ１４０の後、処理はＳ１５０に進む。

図５は、実施の形態１におけるＡＲ画像１９４の一例を示す図である。
例えば、ＡＲ画像生成部１４０は、図５に示すようなＡＲ画像１９４を生成する。
ＡＲ画像１９４は吹き出し形状の情報図３２０を含んでいる。情報図３２０は、時計３１０が示す現在時刻に近い時刻のスケジュール情報を重畳情報１９２として示している。情報図３２０はＣＧ（コンピュータグラフィックス）である。
図２に戻り、Ｓ１５０から説明を続ける。

Ｓ１５０において、ＡＲ画像表示部１５０は、ＡＲ装置１００の表示デバイスにＡＲ画像１９４を表示する。
Ｓ１５０の後、１つの撮影画像１９１に対するＡＲ処理は終了する。

図６は、実施の形態１におけるＡＲ画像１９４の表示形態の一例を示す図である。
例えば、ＡＲ画像表示部１５０は、タブレット型のＡＲ装置１００（図６参照）が備える表示デバイスの表示領域１０１にＡＲ画像１９４を表示する。

図７は、実施の形態１におけるＡＲ装置１００のハードウェア構成図である。
実施の形態１におけるＡＲ装置１００のハードウェア構成について、図７に基づいて説明する。但し、ＡＲ装置１００のハードウェア構成は図７に示す構成と異なる構成であってもよい。

ＡＲ装置１００はコンピュータである。
ＡＲ装置１００は、バス８０１と、メモリ８０２と、ストレージ８０３と、通信インタフェース８０４と、ＣＰＵ８０５と、ＧＰＵ８０６とを備える。
さらに、ＡＲ装置１００は、表示デバイス８０７と、カメラ８０８と、ユーザインタフェースデバイス８０９と、センサ８１０とを備える。

バス８０１は、ＡＲ装置１００のハードウェアがデータを交換するために用いるデータ転送路である。
メモリ８０２は、ＡＲ装置１００のハードウェアによってデータが書き込まれ、または、データが読み出される揮発性の記憶装置である。但し、メモリ８０２は不揮発性の記憶装置であっても構わない。メモリ８０２は主記憶装置ともいう。
ストレージ８０３は、ＡＲ装置１００のハードウェアによってデータが書き込まれ、または、データが読み出される不揮発性の記憶装置である。ストレージ８０３は補助記憶装置ともいう。
通信インタフェース８０４は、ＡＲ装置１００が外部のコンピュータとデータを交換するために用いる通信装置である。
ＣＰＵ８０５は、ＡＲ装置１００が行う処理（例えば、ＡＲ処理）を実行する演算装置である。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＧＰＵ８０６は、コンピュータグラフィックス（ＣＧ）に関する処理を実行する演算装置である。但し、ＣＧに関する処理はＣＰＵ８０５によって実行されても構わない。ＡＲ画像１９４はＣＧの技術によって生成されるデータの一例である。ＧＰＵはＧｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
表示デバイス８０７は、ＣＧのデータを光学的な出力に変換する装置である。つまり、表示デバイス８０７はＣＧを表示する表示装置である。
カメラ８０８は、光学的な入力をデータに変換する装置である。つまり、カメラ８０８は、撮影によって画像を生成する撮影装置である。一つの画像は静止画という。また、時系列に連続する複数の静止画を動画または映像という。
ユーザインタフェースデバイス８０９は、ＡＲ装置１００を利用するユーザがＡＲ装置１００を操作するために用いる入力装置である。デスクトップ型のコンピュータが備えるキーボードおよびポインティングデバイスはユーザインタフェースデバイス８０９の一例である。マウスおよびトラックボールはポインティングデバイスの一例である。また、スマートフォンまたはタブレット型のコンピュータが備えるタッチパネルおよびマイクはユーザインタフェースデバイス８０９の一例である。
センサ８１０は、ＡＲ装置１００または周辺の状況を検出するための計測装置である。位置を計測するＧＰＳ、加速度を計測する加速度センサ、角速度を計測するジャイロセンサ、方位を計測する磁気センサ、近接する物の有無を検出する近接センサおよび照度を計測する照度センサは、センサ８１０の一例である。

「〜部」として説明している機能を実現するためのプログラムは、ストレージ８０３に記憶され、ストレージ８０３からメモリ８０２にロードされ、ＣＰＵ８０５によって実行される。

「〜の判断」、「〜の判定」、「〜の抽出」、「〜の検知」、「〜の設定」、「〜の登録」、「〜の選択」、「〜の生成」、「〜の入力」、「〜の出力」等の処理の結果を示す情報、データ、ファイル、信号値または変数値がメモリ８０２またはストレージ８０３に記憶される。

図８は、従来技術におけるＡＲ画像１９４の一例を示す図である。
従来技術の場合、情報図３２０は情報処理装置２００の表示領域２０１に重畳される可能性がある（図８参照）。
この場合、情報処理装置２００の表示領域２０１に表示された情報処理画像３００は、情報図３２０に隠れて見えなくなってしまう。
そのため、有益な情報が情報処理画像３００に含まれる場合、ユーザはその有益な情報をＡＲ画像１９４から得ることができなくなってしまう。情報処理画像３００を見たい場合は、ユーザはＡＲ画像１９４の表示デバイスから情報処理装置２００の表示デバイスに視線を移さなければならない。

一方、実施の形態１におけるＡＲ装置１００は、情報処理装置２００の表示領域２０１を避けて、情報図３２０を重畳表示する（図６参照）。
図６において、情報図３２０は、情報処理装置２００のベゼルに重なっているが、表示領域２０１には重なっていない。また、情報図３２０は、情報処理装置２００の周辺機器に重なることがあっても、表示領域２０１には重ならない。
そのため、ユーザは、情報図３２０に記される情報と情報処理画像３００に記される情報との両方を、ＡＲ画像１９４から得ることができる。

実施の形態１により、撮影画像に映った表示デバイスの表示領域を隠さずに、撮影画像に情報を重畳表示することができる。

実施の形態２．
ＡＲ装置１００の重畳情報取得部１２０について説明する。
以下、実施の形態１で説明していない事項について主に説明する。説明を省略する事項については実施の形態１と同様である。

図９は、実施の形態２における重畳情報取得部１２０の機能構成図である。
実施の形態２における重畳情報取得部１２０の機能構成について、図９に基づいて説明する。但し、重畳情報取得部１２０の機能構成は図９と異なる機能構成であっても構わない。

重畳情報取得部１２０は、物体検出部１２１と、物体特定部１２２と、重畳情報収集部１２３とを備える。

物体検出部１２１は、撮影画像１９１に映っている物体を撮影画像１９１から検出する。言い換えると、物体検出部１２１は、物体が映っている物体領域を撮影画像１９１から検出する。
例えば、物体検出部１２１は、撮影画像１９１（図３参照）に映っている時計３１０を、撮影画像１９１から検出する。

例えば、物体検出部１２１は、マーカー方式またはマーカーレス方式によって、撮影画像１９１から物体を検出する。

マーカー方式は、物体（物体の画像を含む）に付加されたマーカーを撮影画像１９１から検出することによって、マーカーが付加された物体を検出する方式である。マーカーは、バーコードのような特殊な図柄である。マーカーは物体に関する物体情報に基づいて生成される。物体情報は物体の種別を表す種別情報、物体の位置を表す座標値および物体の大きさを表すサイズ情報などを含む。

マーカーレス方式は、幾何学的または光学的な特徴量を撮影画像１９１から抽出し、抽出した特徴量に基づいて物体を検出する方式である。物体の形状、色彩および輝度を表す量は、物体の特徴を表す特徴量の一例である。また、物体に記された文字および記号は、物体の特徴を表す特徴量の一例である。
例えば、物体検出部１２１は、撮影画像１９１に映っている物体の形状を表すエッジを抽出し、抽出したエッジによって囲まれた物体領域を検出する。つまり、物体検出部１２１は、抽出したエッジが境界線になる物体領域を検出する。

物体特定部１２２は、物体検出部１２１によって検出された物体の種別を特定する。また、物体特定部１２２は、物体検出部１２１によって検出された物体の種別を表す種別情報を取得する。
例えば、種別情報はＪＳＯＮ形式で記述される。ＪＳＯＮはＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎの略称である。ＪａｖａおよびＪａｖａＳｃｒｉｐｔは登録商標である。

例えば、物体特定部１２２は、撮影画像１９１（図３参照）から検出された物体の形状、文字盤、時針、分針および秒針などに基づいて、検出された物体が時計３１０であると特定する。

例えば、マーカー方式によって物体が検出された場合、物体特定部１２２は、物体の種別情報をマーカーから読み取る。

例えば、マーカーレス方式によって物体が検出された場合、物体特定部１２２は、検出された物体の特徴量を用いて、物体の種別情報を種別情報データベースから取得する。種別情報データベースは、物体の特徴量に物体の種別情報を関連付けたデータベースである。種別情報データベースは、物体の特徴量を機械学習することによって生成される。種別情報データベースは、別のコンピュータが備える外部のデータベースとＡＲ装置１００が備える内部のデータベースとのいずれであっても構わない。

重畳情報収集部１２３は、物体特定部１２２によって特定された物体の種別に基づいて、物体に関する物体情報を重畳情報１９２として取得する。例えば、物体情報はＪＳＯＮ形式で記述される。
但し、重畳情報収集部１２３は、物体情報以外の情報を重畳情報１９２として取得しても構わない。例えば、重畳情報収集部１２３は、現在の日時、位置、気候などに関する情報を重畳情報１９２として取得しても構わない。

例えば、マーカー方式によって物体が検出された場合、重畳情報収集部１２３は、物体情報をマーカーから読み取る。

例えば、マーカーレス方式によって物体が検出された場合、重畳情報収集部１２３は、物体の種別情報を用いて、物体情報またはＵＲＩを物体情報データベースから取得する。物体情報データベースは、種別情報に物体情報またはＵＲＩを関連付けたデータベースである。物体情報データベースは、外部のデータベースと内部のデータベースとのいずれであっても構わない。ＵＲＩはＵｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒの略称である。ＵＲＩはＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）と読み替えても構わない。
物体情報データベースからＵＲＩが取得された場合、重畳情報収集部１２３は、ＵＲＩが示す記憶領域から物体情報を取得する。ＵＲＩが示す記憶領域は別のコンピュータが備える記憶装置とＡＲ装置１００が備える記憶装置とのいずれの記憶装置に備わる記憶領域であっても構わない。

実施の形態２により、撮影画像１９１に映った物体に関する重畳情報を取得することができる。

実施の形態３．
重畳情報取得部１２０が、表示領域に表示されている情報処理画像に関する情報を重畳情報１９２として取得する形態について説明する。
以下、実施の形態１および実施の形態２で説明していない事項について主に説明する。説明を省略する事項については実施の形態１または実施の形態２と同様である。

図１０は、実施の形態３における重畳情報取得部１２０の機能構成図である。
実施の形態３における重畳情報取得部１２０の機能構成について、図１０に基づいて説明する。但し、重畳情報取得部１２０の機能構成は図１０と異なる機能構成であっても構わない。

重畳情報取得部１２０は、実施の形態２（図９参照）で説明した機能に加えて、不可領域解析部１２４を備える。

不可領域解析部１２４は、不可領域情報１９３に基づいて、不可領域３９０に映っている情報処理画像３００を解析する。
例えば、不可領域解析部１２４は、情報処理画像３００を解析することによって、アイコンを情報処理画像３００から検出する。
アイコンは電子ファイル（アプリケーションプログラムを含む）にリンクされる。アイコンはリンクされた電子ファイルの内容を表す絵であり、その絵に文字列が付記される場合もある。

重畳情報収集部１２３は、情報処理画像３００の解析結果に基づいて、情報処理画像３００に関する情報を重畳情報１９２として収集する。
例えば、重畳情報収集部１２３は、情報処理画像３００から検出されたアイコンによって識別される電子ファイルに関する情報を重畳情報１９２として収集する。アプリケーションプログラムは電子ファイルの一例である。
例えば、重畳情報収集部１２３は、アイコンにアプリケーション情報を関連付けたアプリケーション情報データベースから、アプリケーション情報を収集する。アプリケーション名およびバージョン番号は、アプリケーション情報に含まれる情報の一例である。アプリケーション情報データベースは、情報処理装置２００に備わるデータベースと、ＡＲ装置１００に備わるデータベースと、その他のコンピュータに備わるデータベースとのいずれであっても構わない。

図１１は、実施の形態３におけるＡＲ画像１９４の一例を示す図である。
図１１において、ＡＲ画像１９４は、アプリケーション情報およびアップデート情報を重畳情報１９２として示す情報図３２１を含んでいる。アップデート情報はアプリケーションプログラムのアップデートの有無を示す情報である。
例えば、不可領域解析部１２４は、情報処理画像３００から四角形のアイコンを検出する。
そして、重畳情報収集部１２３は、検出されたアイコンによって識別されるアプリケーションプログラムに関するアプリケーション情報をアプリケーション情報データベースから取得する。さらに、重畳情報収集部１２３は、取得したアプリケーション情報に含まれるアプリケーション名およびバージョン番号を用いて、アプリケーション管理サーバからアップデート情報を取得する。アプリケーション管理サーバはアプリケーションプログラムを管理するためのサーバである。

実施の形態３により、被写体の表示デバイスの表示領域に表示されている画像に関する重畳情報１９２を取得することができる。

実施の形態４．
ＡＲ装置１００の不可領域選択部１３０について説明する。
以下、実施の形態１から実施の形態３で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態３と同様である。

図１２は、実施の形態４における不可領域選択部１３０の機能構成図である。
実施の形態４における不可領域選択部１３０の機能構成について、図１２に基づいて説明する。但し、不可領域選択部１３０の機能構成は図１２と異なる機能構成であっても構わない。

不可領域選択部１３０は、表示領域選択部１３１と、不可領域情報生成部１３８とを備える。
表示領域選択部１３１は、撮影画像１９１から表示領域２０１を選択する。
不可領域情報生成部１３８は、不可領域３９０として表示領域２０１を示す不可領域情報１９３を生成する。複数の表示領域２０１がある場合、不可領域情報生成部１３８は、表示領域２０１毎に不可領域情報１９３を生成する。

例えば、表示領域選択部１３１は、以下のように表示領域２０１を選択する。
液晶ディスプレイをデジタルカメラで撮影した場合、液晶ディスプレイの表示領域２０１が映った部分には干渉縞が発生する。干渉縞は周期的な明暗から成る縞模様である。干渉縞はモアレともいう。
干渉縞が発生する理由は、液晶ディスプレイの解像度とデジタルカメラの解像度との間にずれが発生するためである。
そこで、表示領域選択部１３１は、干渉縞が映っている領域を表示領域２０１として選択する。例えば、表示領域選択部１３１は、干渉縞の明暗を表すフーリエ変換式を用いて、表示領域２０１を選択する。

例えば、表示領域選択部１３１は、以下のように表示領域２０１を選択する。
多くの表示デバイスは、表示領域２０１の視認性を高めるために、バックライトと呼ばれる発光機能を備えている。そのため、何かしらが表示領域２０１に表示されているときには、表示領域２０１の輝度は高い。
そこで、表示領域選択部１３１は、輝度閾値より輝度が高い領域を表示領域２０１として選択する。

例えば、表示領域選択部１３１は、以下のように表示領域２０１を選択する。
ブラウン管が用いられた表示デバイスは走査線毎に表示処理を行う。そして、カメラのシャッターが開いている時間に表示された走査線は撮影画像１９１に明るく映るが、残りの走査線は撮影画像１９１に暗く映る。そのため、明るい走査線と暗い走査線とから成る縞模様が撮影画像１９１に現れる。
また、カメラのシャッターが開いている時間は走査線の表示周期と同期していないため、明るい走査線および暗い走査線のそれぞれの位置が撮影の度に変わる。つまり、撮影画像１９１に現れる縞模様の位置は撮影の度に変わる。そのため、連続して撮影された複数の撮影画像１９１には、表示デバイスの表示領域２０１を移動する縞模様が現れる。
そこで、表示領域選択部１３１は、連続して撮影された複数の撮影画像１９１を用いて、縞模様が移動する領域を、それぞれの撮影画像１９１から選択する。選択した領域が表示領域２０１である。

例えば、表示領域選択部１３１は、以下のように表示領域２０１を選択する。
内容が変化する動画が表示デバイスに表示されている場合、表示デバイスの表示領域２０１に表示される画像は、撮影画像１９１の撮影の度に変わる。
そこで、表示領域選択部１３１は、連続して撮影された複数の撮影画像１９１を用いて、変化している領域を、それぞれの撮影画像１９１から選択する。選択した領域が表示領域２０１である。なお、表示領域選択部１３１は、表示領域２０１に表示される画像の変化と、ＡＲ装置１００の動きによる撮影画像１９１の変化とを切り分けるため、ジャイロセンサによってＡＲ装置１００の動きを検出する。

実施の形態４により、被写体の表示デバイスの表示領域を不可領域として選択することができる。

実施の形態５．
ＡＲ装置１００の不可領域選択部１３０について説明する。
以下、実施の形態１から実施の形態４で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態４と同様である。

図１３は、実施の形態５における不可領域選択部１３０の機能構成図である。
実施の形態５における不可領域選択部１３０の機能構成について、図１３に基づいて説明する。但し、不可領域選択部１３０の機能構成は図１３と異なる機能構成であっても構わない。

不可領域選択部１３０は、領域条件情報１３９に基づいて、不可領域情報１９３を生成する。
不可領域選択部１３０は、オブジェクト領域選択部１３２と、不可領域決定部１３３と、不可領域情報生成部１３８とを備える。
不可領域情報生成部１３８は、不可領域３９０を示す不可領域情報１９３を生成する。不可領域３９０が複数ある場合、不可領域情報生成部１３８は、複数の不可領域情報１９３を生成する。

領域条件情報１３９は、オブジェクトが表示されたオブジェクト領域３９１の条件を示す情報である。ここで、オブジェクトは、情報処理装置２００の表示領域２０１に表示されるものである。例えば、アイコン３３０およびウィンドウ３４０はオブジェクトの一例である。領域条件情報１３９は装置記憶部１９０に記憶されるデータの一例である。

例えば、領域条件情報１３９は、オブジェクト領域３９１の条件として、以下のような内容を示す。
一般的な情報処理装置２００は、電子ファイル（アプリケーションプログラムを含む）にリンクされた複数のアイコン３３０をＧＵＩとして表示領域２０１に表示する。ＧＵＩはグラフィカルユーザインタフェースの略称である。アイコン３３０はリンクされた電子ファイルの内容を表す絵である。アイコン３３０の絵には文字列が付記される場合もある。
図１４は、実施の形態５における表示領域２０１に表示される複数のアイコン３３０の一例を示す図である。図１４において、破線で囲んだ６つのオブジェクトがアイコン３３０である。
図１４に示すように、通常、複数のアイコン３３０は規則性を持って整列される。例えば、複数のアイコン３３０は、互いに重ならないように、一定の間隔で整列される。
そこで、領域条件情報１３９は、オブジェクト領域３９１の条件として、アイコン３３０に関する情報を示す。例えば、領域条件情報１３９はアイコン３３０として用いられる複数の画像である。また例えば、領域条件情報１３９は、アイコン３３０のサイズの閾値、アイコン３３０間の距離の閾値および絵のサイズと文字列のサイズとの比率の閾値などを示す情報である。

例えば、領域条件情報１３９は、オブジェクト領域３９１の条件として、以下のような内容を示す。
一般的な情報処理装置２００は、特定のアプリケーションプログラムを起動したときに、ウィンドウ３４０と呼ばれる画面を表示領域２０１に表示する。文章作成ソフトウェアおよびフォルダ閲覧ソフトウェアは、ウィンドウ３４０が表示されるアプリケーションプログラムの一例である。ウィンドウ３４０はＧＵＩの一例である。
図１５は、実施の形態５におけるウィンドウ３４０の一例を示す図である。
図１５に示すように、通常、ウィンドウ３４０の形状は四角形である。ウィンドウ３４０は、何らかの情報が表示される表示部３４２と、表示部３４２を囲むウィンドウ枠３４１とを備える。表示部３４２はメニューバー３４３を上部に備える。
ここで、ウィンドウ枠３４１の上部、下部、左側部および右側部を枠上部３４１Ｕ、枠下部３４１Ｄ、枠左部３４１Ｌおよび枠右部３４１Ｒと呼ぶ。
枠上部３４１Ｕは、ウィンドウ枠３４１の他の部分よりも厚みがあり、タイトル３４４およびボタンオブジェクト３４５などが付記される。最小化ボタン、最大化ボタンおよび終了ボタンなどはボタンオブジェクト３４５の一例である。
そこで、領域条件情報１３９は、オブジェクト領域３９１の条件として、ウィンドウ枠３４１の特徴を示す。例えば、ウィンドウ枠３４１の特徴とは、形状が四角形、枠上部３４１Ｕが他の部分よりも厚い、他の部分の厚みが同じ、枠上部３４１Ｕに文字列がある、枠上部３１１にボタンオブジェクト３４５がある等である。但し、枠上部３４１Ｕは、枠下部３４１Ｄ、枠左部３４１Ｌまたは枠右部３４１Ｒに置き換えても構わない。

オブジェクト領域選択部１３２は、領域条件情報１３９に基づいて、オブジェクト領域３９１を撮影画像１９１から選択する。

領域条件情報１３９がアイコン３３０に関する情報を示す場合、オブジェクト領域選択部１３２は、撮影画像１９１に映っているアイコン３３０毎に、アイコン３３０が映っている領域をオブジェクト領域３９１として選択する。
図１６は、実施の形態５における撮影画像１９１の一例の一部を示す図である。
図１６において、撮影画像１９１には７つのアイコン３３０が映っている。この場合、オブジェクト領域選択部１３２は７つのオブジェクト領域３９１を選択する。

領域条件情報１３９がウィンドウ枠３４１の特徴を示す場合、オブジェクト領域選択部１３２は、撮影画像１９１に映っているウィンドウ３４０毎に、ウィンドウ３４０が映っている領域をオブジェクト領域３９１として選択する。
例えば、オブジェクト領域選択部１３２は、撮影画像１９１に含まれる四角形のエッジをウィンドウ枠３４１として検出する。
例えば、オブジェクト領域選択部１３２は、ウィンドウ枠３４１の色に基づいて、ウィンドウ枠３４１およびボタンオブジェクト３４５を検出する。

図１７は、実施の形態５における撮影画像１９１の一例の一部を示す図である。
図１７において、撮影画像１９１には３つのウィンドウ３４０が映っている。この場合、オブジェクト領域選択部１３２は３つのオブジェクト領域３９１を選択する。

不可領域決定部１３３は、オブジェクト領域３９１に基づいて、不可領域３９０を決定する。
このとき、不可領域決定部１３３は、オブジェクト領域３９１間の距離に基づいてオブジェクト領域３９１をグループ分けし、オブジェクト領域３９１のグループ毎に不可領域３９０を決定する。

図１８は、実施の形態５における不可領域３９０の一例を示す図である。
例えば、撮影画像１９１（図１６参照）は７つのオブジェクト領域３９１を含んでいる。左側の６つの互いの距離は距離閾値より短い。一方。右側の１つと左側の６つとの距離は距離閾値より長い。
この場合、不可領域決定部１３３は、左側の６つのオブジェクト領域３９１を囲んだ四角形の枠に囲まれた領域を不可領域３９０に決定する（図１８参照）。また、不可領域決定部１３３は、右側の１つのオブジェクト領域３９１を不可領域３９０に決定する。
右側の不可領域３９０と左側の不可領域３９０とは、異なる表示デバイスの表示領域２０１を表していると考えられる。

図１９は、実施の形態５における不可領域３９０の一例を示す図である。
例えば、図１７の撮影画像１９１は３つのオブジェクト領域３９１を含んでいる。３つのオブジェクト領域３９１の互いの距離は距離閾値より短い。
この場合、不可領域決定部１３３は、図１９に示すように、３つのオブジェクト領域３９１を囲んだ四角形の枠内の領域を不可領域３９０に決定する。
３つのオブジェクト領域３９１は、一つの表示デバイスの表示領域２０１に含まれると考えられる。

図２０は、実施の形態５における不可領域決定部１３３の不可領域決定処理を示すフローチャートである。
実施の形態５における不可領域決定部１３３の不可領域決定処理について、図２０に基づいて説明する。但し、不可領域決定処理は図２０と異なる処理であっても構わない。

Ｓ１３２１において、不可領域決定部１３３は、複数のオブジェクト領域３９１のそれぞれのサイズを算出し、それぞれのサイズに基づいてオブジェクト領域３９１のサイズ閾値を算出する。
例えば、不可領域決定部１３３は、複数のオブジェクト領域３９１のサイズの平均値、または、その平均値にサイズ係数を乗じた値をサイズ閾値として算出する。オブジェクト領域３９１がアイコン３３０の領域である場合、アイコン３３０の縦、横または斜めの長さは、オブジェクト領域３９１のサイズの一例である。オブジェクト領域３９１がウィンドウ３４０の領域である場合、ウィンドウ枠３４１の枠上部３４１Ｕの厚みは、オブジェクト領域３９１のサイズの一例である。
Ｓ１３２１の後、処理はＳ１３２２に進む。

Ｓ１３２２において、不可領域決定部１３３は、サイズ閾値よりも小さいオブジェクト領域３９１を、複数のオブジェクト領域３９１から削除する。削除されるオブジェクト領域３９１は、オブジェクト領域３９１ではないが誤って選択されたノイズの領域であると考えられる。
例えば、アイコン３３０のサイズ閾値が０．５ｃｍ（センチメートル）である場合、縦の長さが１ｃｍのオブジェクト領域３９１に映っているものは、アイコン３３０であると考えられる。一方、縦の長さが０．１ｃｍのオブジェクト領域３９１に映っているものは、アイコン３３０ではないと考えられる。そのため、不可領域決定部１３３は、縦の長さが０．１ｃｍのオブジェクト領域３９１を削除する。
Ｓ１３２２の後、処理はＳ１３２３に進む。

Ｓ１３２３以降の処理において、複数のオブジェクト領域３９１は、Ｓ１３２２で削除されたオブジェクト領域３９１を含まない。

Ｓ１３２３において、不可領域決定部１３３は、複数のオブジェクト領域３９１の互いの距離を算出し、互いの距離に基づいて距離閾値を算出する。
例えば、不可領域決定部１３３は、オブジェクト領域３９１毎にオブジェクト領域３９１の隣に位置するオブジェクト領域３９１を選択し、選択したオブジェクト領域３９１間の距離を算出する。そして、不可領域決定部１３３は、オブジェクト領域３９１間の距離の平均値、または、その平均値に距離係数を乗じた値を距離閾値として算出する。
Ｓ１３２３の後、処理はＳ１３２４に進む。

Ｓ１３２４において、不可領域決定部１３３は、第一のオブジェクト領域３９１として選択していない一つのオブジェクト領域３９１を複数のオブジェクト領域３９１から選択する。
以下、Ｓ１３２４で選択されたオブジェクト領域３９１を第一のオブジェクト領域３９１という。
Ｓ１３２４の後、処理はＳ１３２５に進む。

Ｓ１３２５において、不可領域決定部１３３は、第一のオブジェクト領域３９１の隣に位置するオブジェクト領域３９１を複数のオブジェクト領域３９１から選択する。例えば、不可領域決定部１３３は、第一のオブジェクト領域３９１に最も近いオブジェクト領域３９１を選択する。
以下、Ｓ１３２５で選択されたオブジェクト領域３９１を第二のオブジェクト領域３９１という。
Ｓ１３２５の後、処理はＳ１３２６に進む。但し、第二のオブジェクト領域３９１が無い場合、つまり、第一のオブジェクト領域３９１の他にオブジェクト領域３９１が残っていない場合、不可領域決定処理は終了する（図示省略）。

Ｓ１３２６において、不可領域決定部１３３は、第一のオブジェクト領域３９１と第二のオブジェクト領域３９１との領域間距離を算出し、算出した領域間距離と距離閾値とを比較する。
領域間距離が距離閾値未満である場合（ＹＥＳ）、処理はＳ１３２７に進む。
領域間距離が距離閾値以上である場合（ＮＯ）、処理はＳ１３２８に進む。

Ｓ１３２７において、不可領域決定部１３３は、第一のオブジェクト領域３９１と第二のオブジェクト領域３９１とを合成することによって、新たなオブジェクト領域３９１を生成する。つまり、第一のオブジェクト領域３９１と第二のオブジェクト領域３９１とが無くなる代わりに、新たなオブジェクト領域３９１が生成される。新たなオブジェクト領域３９１は、第一のオブジェクト領域３９１と第二のオブジェクト領域３９１とを囲んだ四角形の枠内の領域である。例えば、新たなオブジェクト領域３９１は、第一のオブジェクト領域３９１と第二のオブジェクト領域３９１とを含んだ最小の矩形領域である。
Ｓ１３２７の後、処理はＳ１３２８に進む。

Ｓ１３２８において、不可領域決定部１３３は、第一のオブジェクト領域３９１として選択していない未選択のオブジェクト領域３９１があるか判定する。Ｓ１３２７で生成された新たなオブジェクト領域３９１は未選択のオブジェクト領域３９１である。
未選択のオブジェクト領域３９１がある場合（ＹＥＳ）、処理はＳ１３２４に戻る。
未選択のオブジェクト領域３９１がない場合（ＮＯ）、不可領域決定処理は終了する。

不可領域決定処理の後に残ったオブジェクト領域３９１が不可領域３９０である。

不可領域決定部１３３は、Ｓ１３２２で削除したオブジェクト領域３９１を対象にして、不可領域決定処理を新たに実行しても構わない。ＡＲ装置１００から遠く離れたところに表示デバイスが存在する場合、この表示デバイスの表示領域２０１に表示されたアイコン３３０などの領域がノイズ領域であると判断されて、削除される可能性があるためである。
これにより、ＡＲ装置１００の近くにある表示デバイスの表示領域２０１が一回目の不可領域決定処理で不可領域３９０に決定され、ＡＲ装置１００から遠く離れた表示デバイスの表示領域２０１が二回目以降の不可領域決定処理で不可領域３９０に決定される。

実施の形態５により、被写体の表示デバイスの表示領域のうちのオブジェクトが表示されたオブジェクト領域を不可領域として選択することができる。そして、オブジェクト領域以外の表示領域に重畳情報を重畳することができる。つまり、重畳情報を重畳することができる画像領域を広げることができる。

実施の形態６．
表示デバイスのベゼルに基づいて表示領域２０１を決定する形態について説明する。
以下、実施の形態１から実施の形態５で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態５と同様である。

図２１は、実施の形態６における不可領域選択部１３０の機能構成図である。
実施の形態６における不可領域選択部１３０の機能構成について、図２１に基づいて説明する。但し、不可領域選択部１３０の機能構成は図２１と異なる機能構成であっても構わない。

不可領域選択部１３０は、オブジェクト領域選択部１３２と、不可領域決定部１３３と、不可領域情報生成部１３８とを備える。
オブジェクト領域選択部１３２および不可領域情報生成部１３８は、実施の形態５（図１３参照）と同様である。
不可領域決定部１３３は、候補領域決定部１３４と、ベゼル部検出部１３５と、候補領域編集部１３６とを備える。

候補領域決定部１３４は、実施の形態５で説明した不可領域決定処理（図２０参照）によって、不可領域３９０の候補を決定する。以下、不可領域３９０の候補を候補領域３９２という。

ベゼル部検出部１３５は、表示デバイスのベゼルに相当するベゼル部３９３を撮影画像１９１から検出する。ベゼルは表示領域２０１を囲んだ枠である。
例えば、ベゼル部検出部１３５は、四角形のエッジをベゼル部３９３として検出する。ベゼル部検出部１３５は、卓上に設置された表示デバイスを支える首部分をエッジ検出によって検出し、検出した首部分の上にある四角形のエッジをベゼル部３９３として検出してもよい。
例えば、ベゼル部検出部１３５は、ベゼルの３次元形状を表す３次元モデルに合致する部分をベゼル部３９３として検出する。３次元モデルは、装置記憶部１９０に記憶されるデータの一例である。

候補領域編集部１３６は、ベゼル部３９３に基づいて候補領域３９２を編集することによって、不可領域３９０を決定する。
このとき、候補領域編集部１３６は、ベゼル部３９３毎にベゼル部３９３に囲まれている候補領域３９２を選択し、ベゼル部３９３に囲まれている候補領域３９２を合成することによって、不可領域３９０を決定する。

図２２は、実施の形態６におけるベゼル部３９３の一例を示す図である。
図２３は、実施の形態６における不可領域３９０の一例を示す図である。
図２２において、１つのベゼル部３９３が撮影画像１９１から検出され、そのベゼル部３９３は２つの候補領域３９２を囲んでいる。
この場合、候補領域編集部１３６は、２つの候補領域３９２を含んだ四角形の不可領域３９０をベゼル部３９３の中に生成する（図２３参照）。

図２４は、実施の形態６におけるベゼル部３９３の一例を示す図である。
図２５は、実施の形態６における不可領域３９０の一例を示す図である。
図２４において、２つのベゼル部３９３が撮影画像１９１から検出され、それぞれのベゼル部３９３は候補領域３９２を１つずつ囲んでいる。
この場合、候補領域編集部１３６は、それぞれの候補領域３９２を不可領域３９０に決定する（図２５参照）。

図２６は、実施の形態６におけるベゼル部３９３の一例を示す図である。
図２７は、実施の形態６における不可領域３９０の一例を示す図である。
図２６において、一部が重なった２つのベゼル部３９３が撮影画像１９１から検出され、一方のベゼル部３９３は候補領域３９２の一部を囲み、他方のベゼル部３９３は候補領域３９２の残りの部分を囲んでいる。
この場合、候補領域編集部１３６は、２つのベゼル部３９３によって囲まれた候補領域３９２を不可領域３９０に決定する（図２７参照）。
また、候補領域編集部１３６は、いずれのベゼル部３９３にも囲まれていない候補領域３９２を不可領域３９０に決定しない。但し、候補領域編集部１３６は、その候補領域３９２を不可領域３９０に決定してもよい。

候補領域編集部１３６は、候補領域３９２の全部または一部を囲んでいるベゼル部３９３に囲まれる画像領域の全体を不可領域３９０に決定してもよい。

実施の形態６により、表示デバイスのベゼルに基づいて表示領域２０１を決定することができる。これにより、より適切な不可領域を選択することができる。

実施の形態７．
ＡＲ装置１００のＡＲ画像生成部１４０について説明する。
以下、実施の形態１から実施の形態６で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態６と同様である。

図２８は、実施の形態７におけるＡＲ画像生成部１４０の機能構成図である。
実施の形態７におけるＡＲ画像生成部１４０の機能構成について、図２８に基づいて説明する。但し、ＡＲ画像生成部１４０の機能構成は図２８と異なる機能構成であっても構わない。

ＡＲ画像生成部１４０は、情報画像生成部１４１と、情報画像重畳部１４６とを備える。
情報画像生成部１４１は、重畳情報１９２が記された情報図３２０を含んだ情報画像３２９を生成する。
情報画像重畳部１４６は、情報画像３２９を撮影画像１９１に重畳することによって、ＡＲ画像１９４を生成する。

情報画像生成部１４１は、情報部分生成部１４２と、情報部分配置判定部１４３と、引き出し部分生成部１４４と、情報図配置部１４５とを備える。
情報部分生成部１４２は、情報図３２０のうちの重畳情報１９２を示す情報部分図３２２を生成する。
情報部分配置判定部１４３は、不可領域情報１９３に基づいて、不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することができるか判定する。不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することができない場合、情報部分生成部１４２は情報部分図３２２を生成し直す。
引き出し部分生成部１４４は、重畳情報１９２に関連する物体が映っている物体領域に情報部分図３２２を関連付ける図である引き出し図３２３を生成する。
情報図配置部１４５は、情報部分図３２２と引き出し図３２３とを含んだ情報図３２０が不可領域３９０を避けて配置された情報画像３２９を生成する。

図２９は、実施の形態７におけるＡＲ画像生成部１４０のＡＲ画像生成処理を示すフローチャートである。
実施の形態７におけるＡＲ画像生成部１４０のＡＲ画像生成処理について、図２９に基づいて説明する。但し、ＡＲ画像生成処理は図２９と異なる処理であっても構わない。

Ｓ１４１において、情報部分生成部１４２は、重畳情報１９２の内容を表す図である情報部分図３２２を生成する。複数の重畳情報１９２がある場合、情報部分生成部１４２は、重畳情報１９２毎に情報部分図３２２を生成する。
Ｓ１４１の後、処理はＳ１４２に進む。

図３０は、実施の形態７における情報部分図３２２の一例を示す図である。
例えば、情報部分生成部１４２は、図３０に示すような情報部分図３２２を生成する。情報部分図３２２は、重畳情報１９２の内容を表す文字列を枠で囲ったものである。
図２９に戻り、Ｓ１４２から説明を続ける。

Ｓ１４２において、情報部分配置判定部１４３は、不可領域情報１９３に基づいて、不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することができるか判定する。複数の情報部分図３２２がある場合、情報部分配置判定部１４３は情報部分図３２２毎に判定を行う。
情報部分図３２２を撮影画像１９１のどこに配置しても情報部分図３２２が不可領域３９０に重なってしまう場合、不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することはできない。
不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することができる場合（ＹＥＳ）、処理はＳ１４３に進む。
不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することができない場合（ＮＯ）、処理はＳ１４１に戻る。

処理がＳ１４１に戻った場合、情報部分生成部１４２は情報部分図３２２を生成し直す。
例えば、情報部分生成部１４２は、情報部分図３２２を変形、または、情報部分図３２２を縮小する。

図３１は、実施の形態７における情報部分図３２２の変更例を示す図である。
例えば、情報部分生成部１４２は、情報部分図３２２（図３０参照）を図３１の（１）から（４）に示すように生成し直す。
図３１の（１）において、情報部分生成部１４２は、情報部分図３２２の縦横の比率を変更することによって、情報部分図３２２を変形する。
図３１の（２）において、情報部分生成部１４２は、文字列の周囲の空白（情報部分図３２２に含まれる空白）を削除することによって、情報部分図３２２を縮小する。
図３１の（３）において、情報部分生成部１４２は、文字列の一部を変更または削除することによって、情報部分図３２２を縮小する。
図３１の（４）において、情報部分生成部１４２は、文字列の文字のサイズを小さくすることによって、情報部分図３２２を縮小する。
情報部分図３２２が３次元で表現された図である場合、情報部分生成部１４２は、情報部分図３２２を２次元の図に変更することによって、情報部分図３２２を縮小してもよい。例えば、情報部分図３２２が影付きの図である場合、情報部分生成部１４２は、情報部分図３２２から影の部分を削除する。
図２９に戻り、Ｓ１４３から説明を続ける。

Ｓ１４３において、情報部分配置判定部１４３は、情報部分図３２２を配置することができる配置領域を示す配置領域情報を生成する。複数の情報部分図３２２がある場合、情報部分配置判定部１４３は、情報部分図３２２毎に配置領域情報を生成する。
情報部分図３２２を配置することができる配置領域の候補が複数ある場合、情報部分配置判定部１４３は、物体領域情報に基づいて、配置領域を選択する。
物体領域情報は、情報部分図３２２に関連する物体が映っている物体領域を示す情報である。物体領域情報は、重畳情報取得部１２０の物体検出部１２１によって生成することができる。
例えば、情報部分配置判定部１４３は、物体領域情報が示す物体領域に最も近い配置領域の候補を配置領域として選択する。
例えば、複数の情報部分図３２２が存在する場合、情報部分配置判定部１４３は、情報部分図３２２毎に、他の情報部分図３２２と重ならない配置領域の候補を配置領域として選択する。
Ｓ１４３の後、処理はＳ１４４に進む。

Ｓ１４４において、引き出し部分生成部１４４は、配置領域情報と物体領域情報とに基づいて、情報部分図３２２を物体領域に関連付ける図である引き出し図３２３を生成する。
これにより、情報部分図３２２と引き出し図３２３とを含んだ情報図３２０が生成される。
Ｓ１４４の後、処理はＳ１４５に進む。

図３２は、実施の形態７における情報図３２０の一例を示す図である。
例えば、引き出し部分生成部１４４は、引き出し図３２３を生成することによって、図３２に示すような情報図３２０を生成する。
引き出し部分生成部１４４は、情報部分図３２２と引き出し図３２３との境が分からないように、引き出し図３２３を情報部分図３２２と一体に生成しても構わない。
引き出し図３２３の形状は三角形に限られず、矢印または単なる線（直線、曲線）などであっても構わない。

引き出し部分生成部１４４は、物体領域と配置領域との距離が引き出し閾値未満である場合、引き出し図３２３を生成しなくても構わない。つまり、配置領域が物体領域に近い場合、引き出し部分生成部１４４は引き出し図３２３を生成しなくても構わない。この場合、情報図３２０は引き出し図３２３を含まない。
図２９に戻り、Ｓ１４５から説明を続ける。

Ｓ１４５において、情報図配置部１４５は、情報図３２０を配置領域に配置した情報画像３２９を生成する。
Ｓ１４５の後、処理はＳ１４６に進む。

図３３は、実施の形態７における情報画像３２９の一例を示す図である。
例えば、情報図配置部１４５は、図３３に示すように、情報図３２０が配置された情報画像３２９を生成する。
図２９に戻り、Ｓ１４６から説明を続ける。

Ｓ１４６において、情報画像重畳部１４６は、情報画像３２９を撮影画像１９１に重畳することによって、ＡＲ画像１９４を生成する。
例えば、情報画像重畳部１４６は、情報画像３２９（図３３参照）を撮影画像１９１（図３参照）に重畳することによって、ＡＲ画像１９４（図５参照）を生成する。
Ｓ１４６の後、ＡＲ画像生成処理は終了する。

実施の形態７により、不可領域を避けて重畳情報を撮影画像に重畳表示することができる。

実施の形態８．
検出済みの表示領域２０１を除外して撮影画像１９１から新たな表示領域２０１を選択する形態について説明する。
以下、実施の形態１から実施の形態７で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態７と同様である。

図３４は、実施の形態８におけるＡＲ装置１００の機能構成図である。
実施の形態８におけるＡＲ装置１００の機能構成について、図３４に基づいて説明する。但し、ＡＲ装置１００の機能構成は図３４と異なる構成であっても構わない。

ＡＲ装置１００は、実施の形態１（図１参照）で説明した機能に加えて、除外領域選択部１６０と表示領域モデル生成部１７０とを備える。

表示領域モデル生成部１７０は、撮影情報１９５と不可領域情報１９３とに基づいて、表示領域２０１を三次元で表した表示領域モデル１９７を生成する。表示領域モデル１９７は、三次元モデルまたは三次元平面モデルともいう。
撮影情報１９５は、撮影画像１９１が撮影されたときのカメラの位置情報、方位情報および撮影範囲情報などを含んだ情報である。位置情報はカメラの位置を示す情報である。方位情報はカメラの向きを示す情報である。撮影範囲情報は、画角または焦点距離など、撮像範囲を示す情報である。撮影情報１９５は、撮影画像取得部１１０によって撮影画像１９１と共に取得される。

除外領域選択部１６０は、撮影情報１９５に基づいて、表示領域モデル１９７が表す表示領域２０１を新たな撮影画像１９１から選択する。選択された表示領域２０１は、不可領域選択部１３０の処理から除外される除外領域３９８である。
除外領域選択部１６０は、除外領域３９８を示す除外領域情報１９６を生成する。

不可領域選択部１３０は、除外領域情報１９６に基づいて新たな撮影画像１９１から除外領域３９８を除外し、残りの画像部分から新たな不可領域３９０を選択し、新たな不可領域情報１９３を生成する。

ＡＲ画像生成部１４０は、除外領域情報１９６と新たな不可領域情報１９３とに基づいて、ＡＲ画像１９４を生成する。

図３５は、実施の形態８におけるＡＲ装置１００のＡＲ処理を示すフローチャートである。
実施の形態８におけるＡＲ装置１００のＡＲ処理について、図３５に基づいて説明する。但し、ＡＲ処理は図３５と異なる処理であっても構わない。

Ｓ１１０において、撮影画像取得部１１０は、他の実施の形態と同様に、撮影画像１９１を取得する。
但し、撮影画像取得部１１０は、撮影画像１９１と共に、撮影情報１９５を取得する。
例えば、撮影画像取得部１１０は、撮影画像１９１が撮影されたときのカメラ８０８の位置情報、方位情報および撮影範囲情報を、ＧＰＳ、磁気センサおよびカメラ８０８から取得する。ＧＰＳおよび磁気センサは、ＡＲ装置１００が備えるセンサ８１０の一例である。
Ｓ１１０の後、処理はＳ１２０に進む。

Ｓ１２０において、重畳情報取得部１２０は、他の実施の形態と同様に、重畳情報１９２を取得する。
Ｓ１２０の後、処理はＳ１９１に進む。但し、Ｓ１９０は、Ｓ１９１が実行されるときからＳ１４０が実行されるときまでの間に実行されても構わない。

Ｓ１９０において、除外領域選択部１６０は、撮影情報１９５と表示領域モデル１９７とに基づいて、除外領域情報１９６を生成する。
Ｓ１９０の後、処理はＳ１３０に進む。

図３６は、実施の形態８における除外領域３９８の位置関係を示す図である。
図３６において、除外領域選択部１６０は、撮影情報１９５に示されるカメラ８０８の位置、向きおよび画角に基づいて、画像平面３９９を生成する。画像平面３９９は、カメラ８０８の撮影範囲に含まれる平面である。撮影画像１９１は、物体が射影された画像平面３９９に相当するものである。
除外領域選択部１６０は、表示領域モデル１９７に基づいて、表示領域２０１を画像平面３９９に射影する。
そして、除外領域選択部１６０は、画像平面３９９に投影された表示領域２０１を除外領域３９８として示す除外領域情報１９６を生成する。
図３５に戻り、Ｓ１３０から説明を続ける。

Ｓ１３０において、不可領域選択部１３０は、他の実施の形態と同様に、不可領域情報１９３を生成する。
但し、不可領域選択部１３０は、除外領域情報１９６に基づいて撮影画像１９１から除外領域３９８を除外し、残りの画像部分から不可領域３９０を選択し、選択した不可領域３９０を示す不可領域情報１９３を生成する。
Ｓ１３０の後、処理はＳ１９１に進む。

Ｓ１９１において、表示領域モデル生成部１７０は、撮影情報１９５と不可領域情報１９３とに基づいて、撮影範囲に存在する表示領域２０１を三次元で表す表示領域モデル１９７を生成する。
例えば、表示領域モデル生成部１７０は、今回の撮影情報１９５と前回以前の撮影情報１９５とを用いて、ＳＦＭという技術によって、表示領域モデル１９７を生成する。ＳＦＭは、複数の画像を用いて、画像に映っている物体の３次元の形状およびカメラとの位置関係を同時に復元する技術である。ＳＦＭは、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎの略称である。
例えば、表示領域モデル生成部１７０は、非特許文献１に開示されている技術を用いて、表示領域モデル１９７を生成する。
Ｓ１９１の後、処理はＳ１４０に進む。

Ｓ１４０において、ＡＲ画像生成部１４０は、他の実施の形態と同様に、重畳情報１９２と不可領域情報１９３とに基づいてＡＲ画像１９４を生成する。
Ｓ１４０の後、処理はＳ１５０に進む。

Ｓ１５０において、ＡＲ画像表示部１５０は、他の実施の形態と同様に、ＡＲ画像１９４を表示する。
Ｓ１５０の後、１つの撮影画像１９１に対するＡＲ処理は終了する。

実施の形態８により、検出済みの表示領域２０１を除外して撮影画像１９１から新たな表示領域２０１を選択することができる。つまり、検出済みの表示領域２０１を処理の対象外にして処理負荷を軽減することができる。

各実施の形態は、ＡＲ装置１００の形態の一例である。
つまり、ＡＲ装置１００は、各実施の形態で説明した構成要素の一部を備えなくても構わない。また、ＡＲ装置１００は、各実施の形態で説明していない構成要素を備えても構わない。さらに、ＡＲ装置１００は、各実施の形態の構成要素の一部または全てを組み合わせたものであっても構わない。

各実施の形態においてフローチャート等を用いて説明した処理手順は、各実施の形態に係る方法およびプログラムの処理手順の一例である。各実施の形態に係る方法およびプログラムは、各実施の形態で説明した処理手順と一部異なる処理手順で実現されても構わない。

各実施の形態において「〜部」は「〜処理」「〜工程」「〜プログラム」「〜装置」と読み替えることができる。各実施の形態において、図中の矢印はデータまたは処理の流れを主に表している。

１００ ＡＲ装置、１１０ 撮影画像取得部、１２０ 重畳情報取得部、１２１ 物体検出部、１２２ 物体特定部、１２３ 重畳情報収集部、１２４ 不可領域解析部、１３０ 不可領域選択部、１３１ 表示領域選択部、１３２ オブジェクト領域選択部、１３３ 不可領域決定部、１３４ 候補領域決定部、１３５ ベゼル部検出部、１３６ 候補領域編集部、１３８ 不可領域情報生成部、１３９ 領域条件情報、１４０ ＡＲ画像生成部、１４１ 情報画像生成部、１４２ 情報部分生成部、１４３ 情報部分配置判定部、１４４ 引き出し部分生成部、１４５ 情報図配置部、１４６ 情報画像重畳部、１５０ ＡＲ画像表示部、１６０ 除外領域選択部、１７０ 表示領域モデル生成部、１９０ 装置記憶部、１９１ 撮影画像、１９２ 重畳情報、１９３ 不可領域情報、１９４ ＡＲ画像、１９５ 撮影情報、１９６ 除外領域情報、１９７ 表示領域モデル、２００ 情報処理装置、２０１ 表示領域、３００ 情報処理画像、３１０ 時計、３２０ 情報図、３２１ 情報図、３２２ 情報部分図、３２３ 引き出し図、３２９ 情報画像、３３０ アイコン、３４０ ウィンドウ、３４１ ウィンドウ枠、３４１Ｕ 枠上部、３４１Ｄ 枠下部、３４１Ｌ 枠左部、３４１Ｒ 枠右部、３４２ 表示部、３４３ メニューバー、３４４ タイトル、３４５ ボタンオブジェクト、３９０ 不可領域、３９１ オブジェクト領域、３９２ 候補領域、３９３ ベゼル部、３９８ 除外領域、３９９ 画像平面、８０１ バス、８０２ メモリ、８０３ ストレージ、８０４ 通信インタフェース、８０５ ＣＰＵ、８０６ ＧＰＵ、８０７ 表示デバイス、８０８ カメラ、８０９ ユーザインタフェースデバイス、８１０ センサ。

Claims (23)

1. 表示領域として情報処理表示領域を有する情報処理表示デバイスを映した撮影画像に重畳情報が重畳された情報重畳画像を、表示領域として本体表示領域を有する本体表示デバイスの前記本体表示領域に表示する情報重畳画像表示部を備え、
   前記情報重畳画像は、前記撮影画像から前記情報処理表示デバイスの前記情報処理表示領域が映った部分を避けて選択された画像領域に前記情報が重畳された画像である
   ことを特徴とする情報重畳画像表示装置。
2. 前記撮影画像を取得する撮影画像取得部と、
   前記重畳情報を取得する重畳情報取得部と、
   前記撮影画像取得部によって取得された前記撮影画像から、前記情報処理表示領域が映った部分を不可領域として選択する不可領域選択部と、
   前記重畳情報取得部によって取得された前記重畳情報を、前記不可領域選択部によって選択された前記不可領域を避けて、前記撮影画像に重畳することによって、前記情報重畳画像を生成する情報重畳画像生成部と
   を備えることを特徴とする請求項１に記載の情報重畳画像表示装置。
3. 前記不可領域選択部は、前記撮影画像から縞模様を検出し、縞模様が検出された画像領域を前記不可領域として選択する
   ことを特徴とする請求項２に記載の情報重畳画像表示装置。
4. 前記不可領域選択部は、前記撮影画像から輝度閾値よりも輝度が高い画像領域を前記不可領域として選択する
   ことを特徴とする請求項２に記載の情報重畳画像表示装置。
5. 前記撮影画像取得部は、連続して撮影された複数の撮影画像を取得し、
   前記不可領域選択部は、撮影画像毎に、他の撮影画像と比較して変化している変化領域を前記不可領域として選択する
   ことを特徴とする請求項２に記載の情報重畳画像表示装置。
6. 前記不可領域選択部は、前記情報処理表示領域に表示されたアイコンを前記撮影画像から検出し、検出した前記アイコンが映っている画像領域に基づいて前記不可領域を選択する
   ことを特徴とする請求項２に記載の情報重畳画像表示装置。
7. 前記不可領域選択部は、整列条件に従って整列した複数のオブジェクトを複数のアイコンとして検出し、検出した前記複数のアイコンが映っている画像領域に基づいて前記不可領域を選択する
   ことを特徴とする請求項６に記載の情報重畳画像表示装置。
8. 前記不可領域選択部は、１つ以上のアイコンから成る複数のアイコングループを検出し、距離閾値よりも距離が短い２つ以上のアイコングループを１つのアイコングループに合成し、合成して得られたアイコングループ毎にアイコングループに含まれるアイコンが映っている画像領域に基づいて前記不可領域を選択する
   ことを特徴とする請求項６に記載の情報重畳画像表示装置。
9. 前記情報処理表示デバイスはデバイス枠を有し、
   前記不可領域選択部は、１つ以上のアイコンから成る複数のアイコングループを検出し、前記情報処理表示デバイスの前記デバイス枠が形成する枠形状の条件を満たす画像領域をベゼル領域として検出し、前記ベゼル領域に囲まれた２つ以上のアイコングループを１つのアイコングループに合成し、合成して得られたアイコングループ毎にアイコングループに含まれるアイコンが映っている画像領域に基づいて前記不可領域を選択する
   ことを特徴とする請求項６に記載の情報重畳画像表示装置。
10. 前記情報処理表示デバイスはデバイス枠を有し、
    前記不可領域選択部は、前記情報処理表示デバイスの前記デバイス枠が形成する枠形状の条件を満たす画像領域をベゼル領域として検出し、前記アイコンを囲んでいるベゼル領域を選択し、選択した前記ベゼル領域に囲われた画像領域を前記不可領域として選択する
    ことを特徴とする請求項６に記載の情報重畳画像表示装置。
11. 前記不可領域選択部は、アプリケーションプログラム用に前記情報処理表示領域に表示されたウィンドウを前記撮影画像から検出し、検出した前記ウィンドウが映っている画像領域に基づいて前記不可領域を選択する
    ことを特徴とする請求項２に記載の情報重畳画像表示装置。
12. 前記ウィンドウは四角形のウィンドウ枠を有し、
    前記不可領域選択部は、４つの辺のうちの１つの辺に位置する枠の厚みが他の３つの辺に位置する枠よりも厚い四角形の枠を前記ウィンドウ枠として検出する
    ことを特徴とする請求項１１に記載の情報重畳画像表示装置。
13. 前記不可領域選択部は、複数のウィンドウを検出し、検出した前記複数のウィンドウが映っている画像領域に基づいて前記不可領域を選択する
    ことを特徴とする請求項１１に記載の情報重畳画像表示装置。
14. 前記不可領域選択部は、複数のウィンドウを検出し、距離閾値よりも距離が短い２つ以上のウィンドウをウィンドウグループに合成し、合成して得られたウィンドウグループ毎にウィンドウグループに含まれるウィンドウが映っている画像領域に基づいて前記不可領域を選択する
    ことを特徴とする請求項１１に記載の情報重畳画像表示装置。
15. 前記情報処理表示デバイスはデバイス枠を有し、
    前記不可領域選択部は、複数のウィンドウを前記撮影画像から検出し、前記情報処理表示デバイスの前記デバイス枠が形成する枠形状の条件を満たす画像領域をベゼル領域として検出し、前記ベゼル領域に囲まれた２つ以上のウィンドウをウィンドウグループに合成し、合成して得られたウィンドウグループ毎にウィンドウグループに含まれるウィンドウが映っている画像領域に基づいて前記不可領域を選択する
    ことを特徴とする請求項１１に記載の情報重畳画像表示装置。
16. 前記情報処理表示デバイスはデバイス枠を有し、
    前記不可領域選択部は、前記情報処理表示デバイスの前記デバイス枠が形成する枠形状の条件を満たす画像領域をベゼル領域として検出し、前記ウィンドウを囲んでいるベゼル領域を選択し、選択した前記ベゼル領域に囲われた画像領域を前記不可領域として選択する
    ことを特徴とする請求項１１に記載の情報重畳画像表示装置。
17. 前記不可領域選択部は、
    第一の情報処理表示領域が映っている第一の撮影画像が取得された場合、前記第一の撮影画像から前記第一の情報処理表示領域を第一の不可領域として選択し、
    前記第一の撮影画像が取得された後に前記第一の情報処理表示領域と第二の情報処理表示領域とが映っている第二の撮影画像が取得された場合、前記第二の撮影画像から前記第一の情報処理表示領域を除外し、前記第二の撮影画像から前記第二の情報処理表示領域を第二の不可領域として選択する
    ことを特徴とする請求項２に記載の情報重畳画像表示装置。
18. 前記第一の撮影画像に映った第一の撮影範囲を特定する第一の撮影情報に基づいて、前記第一の撮影範囲に存在する前記第一の情報処理表示領域を三次元で表した第一の表示領域モデルを生成する表示領域モデル生成部と、
    前記表示領域モデル生成部によって生成された前記第一の表示領域モデルと、前記第二の撮影画像に映っている撮影範囲を特定する第二の撮影情報とに基づいて、前記第二の撮影画像から前記第一の情報処理表示領域を除外領域として選択する除外領域選択部と
    を備えることを特徴とする請求項１７に記載の情報重畳画像表示装置。
19. 前記重畳情報取得部は、前記不可領域に映っている画像を解析し、解析結果に基づいて前記重畳情報を取得する
    ことを特徴とする請求項２に記載の情報重畳画像表示装置。
20. 前記重畳情報取得部は、前記不可領域を解析することによって前記不可領域に映っているアイコンを検出し、検出した前記アイコンの情報を前記重畳情報として取得する
    ことを特徴とする請求項１９に記載の情報重畳画像表示装置。
21. 前記情報重畳画像生成部は、前記重畳情報が記された情報図を生成し、前記不可領域を除いた画像領域から前記重畳情報が重畳される重畳領域を選択し、選択した前記重畳領域に前記情報図を配置することによって前記情報重畳画像を生成する
    ことを特徴とする請求項２に記載の情報重畳画像表示装置。
22. 前記情報重畳画像生成部は、前記情報図を前記不可領域に重ねずに配置することができない場合、前記情報図の形状と前記情報図の大きさとの少なくともいずれかを変更する
    ことを特徴とする請求項２１に記載の情報重畳画像表示装置。
23. 表示領域として情報処理表示領域を有する情報処理表示デバイスを映した撮影画像に重畳情報が重畳された情報重畳画像を、表示領域として本体表示領域を有する本体表示デバイスの前記本体表示領域に表示する情報重畳画像表示処理を、コンピュータに実行させるための情報重畳画像表示プログラムであって、
    前記情報重畳画像は、前記撮影画像から前記情報処理表示デバイスの前記情報処理表示領域が映った部分を避けて選択された画像領域に前記情報が重畳された画像である
    ことを特徴とする情報重畳画像表示プログラム。

Images