JPWO2015189973A1 - 情報処理装置、情報重畳画像表示装置、マーカー表示プログラム、情報重畳画像表示プログラム、マーカー表示方法および情報重畳画像表示方法 - Google Patents

Abstract

情報処理装置（２００）は表示領域（２０１）の目印になるマーカー（２０２）を表示領域に表示する。ＡＲ装置（１００）は、情報処理装置が映った撮影画像からマーカーを検出し、検出したマーカーに基づいて情報処理装置の表示領域を撮影画像から選択する。そして、ＡＲ装置は、情報処理装置の表示領域を避けて情報図（３２０）を撮影画像に重畳することによって、ＡＲ画像（１９４）を表示する。ＡＲは拡張現実の略称である。

Description

本発明は、撮影画像に情報を重畳して表示する技術に関するものである。

現実世界または現実世界を映した映像にコンピュータによって生成したＣＧを重畳表示させるＡＲ技術が普及してきている。ＣＧはコンピュータグラフィックスの略称であり、ＡＲは拡張現実の略称である。
例えば、ユーザが向いている方向に存在する建造物にＣＧをプロジェクターから投影する方法がある。また、スマートフォン、タブレット端末またはウェアラブル端末等の情報端末が備えるカメラで撮影した映像をその情報端末の画面に表示する際に、ＣＧを重畳表示する方法がある。
これらの技術は、周辺の建築物を説明する情報を観光客向けに表示する観光支援システム、または、目的地までの道順をＣＧで表示するナビゲーションシステムなどの用途に用いることができる。

ところで、現実世界にＣＧを重畳表示した場合、重畳表示した部分に存在する現実世界が見えない状況、または、見難い状況となる。その状況は、ＣＧが重畳された部分の現実世界を見なくてよい場合には問題とならないが、現実世界を見たい場合にはユーザビリティの観点で課題となる。
また、現実世界には、ＡＲ技術によってＣＧを重畳表示する情報処理端末の他にも、ユーザに有益な情報を発信する表示デバイスが存在する。そのため、表示デバイスが表示された部分にＣＧを重畳表示した場合、表示デバイスから発信される情報が遮断され、ユーザの利益が損なわれる。

特許文献１は、ＣＧを重畳表示しないＣＧ除去領域を指定することによって、ＣＧ除去領域にＣＧが重畳表示されることを防ぐ技術を開示している。
但し、ユーザは、ＣＧ除去フレーム、電子ペンまたは自身の手を用いて、ＣＧ除去領域を明示的に指定する必要がある。
そのため、ＣＧ除去領域の位置およびサイズを調整する労力が生じる。また、ＣＧ除去領域にＣＧが重畳表示されなくなるため、重畳表示すべきＣＧの一部が欠落する可能性がある。また、ＣＧ除去領域が必要以上に大きい場合、ＣＧが全く表示されない可能性がある。したがって、効果的な情報発信が行えなくなることが予想される。
一方、ＣＧが表示デバイスに重畳表示される場合、ユーザは表示デバイスに表示されている情報を認知することが困難になる。

特開２００４−１７８５５４号公報

金澤 靖、"移動単眼カメラによる道路上の障害物の計測"、［ｏｎｌｉｎｅ］、２０１２年７月１０日、［２０１４年４月７日検索］、インターネット（ＵＲＬ：ｈｔｔｐ：／／ｊｓｔｓｈｉｎｇｉ．ｊｐ／ａｂｓｔ／ｐ／１２／１２１６／ｔｏｙｏｈａｓｈｉ０４．ｐｄｆ）

本発明は、撮影画像に映った表示デバイスの表示領域を隠さずに撮影画像に情報を重畳表示できるようにすることを目的とする。

本発明の情報処理装置は、
表示領域を有する表示デバイスが映った撮影画像を取得したコンピュータに前記撮影画像から前記表示領域を選択させるために決められたマーカーを、前記表示デバイスの前記表示領域に表示するマーカー表示部を備える。

本発明によれば、撮影画像に映った表示デバイスの表示領域を表示領域に表示されたマーカーに基づいて選択することができる。
そして、撮影画像に映った表示デバイスの表示領域を選択できるため、撮影画像に映った表示デバイスの表示領域を隠さずに撮影画像に情報を重畳表示することができる。

実施の形態１におけるＡＲシステム１０９の概要図である。 実施の形態１における情報処理装置２００の機能構成図である。 実施の形態１における情報処理装置２００のマーカー表示処理を示すフローチャートである。 実施の形態１におけるマーカー画像２９１の一例を示す図である。 実施の形態１におけるマーカー画像２９１の一例を示す図である。 実施の形態１におけるマーカー画像２９１の一例を示す図である。 実施の形態１におけるマーカー画像２９１の一例を示す図である。 実施の形態１におけるマーカー２０２１の拡大図である。 実施の形態１におけるマーカー２０２５の拡大図である。 実施の形態１におけるマーカー画像２９１の一例を示す図である。 実施の形態１におけるマーカー２０２１（二次元コード）の拡大図である。 実施の形態１におけるマーカー２０２５（二次元コード）の拡大図である。 実施の形態１における情報処理画像２９２の一例を示す図である。 実施の形態１におけるマーカー重畳画像２９３の一例を示す図である。 実施の形態１における情報処理装置２００のハードウェア構成図である。 従来技術におけるＡＲ画像１９４の一例を示す図である。 実施の形態２における情報処理装置２００の機能構成図である。 実施の形態２における情報処理装置２００のマーカー表示処理を示すフローチャートである。 実施の形態２における情報処理画像２９２の一例を示す図である。 実施の形態２におけるマーカー画像２９１の一例を示す図である。 実施の形態２におけるマーカー重畳画像２９３の一例を示す図である。 実施の形態３における情報処理装置２００の機能構成図である。 実施の形態３における情報処理装置２００のマーカー表示処理を示すフローチャートである。 実施の形態３における情報処理画像２９２の一例を示す図である。 実施の形態３におけるマーカー画像２９１の一例を示す図である。 実施の形態３におけるマーカー重畳画像２９３の一例を示す図である。 実施の形態４における情報処理装置２００の機能構成図である。 実施の形態４における情報処理装置２００のマーカー表示処理を示すフローチャートである。 実施の形態４における情報処理画像２９２の一例を示す図である。 実施の形態４における合成領域３５０の一例を示す図である。 実施の形態４におけるマーカー画像２９１の一例を示す図である。 実施の形態４におけるマーカー重畳画像２９３の一例を示す図である。 実施の形態４におけるウィンドウ合成処理（Ｓ２６０）を示すフローチャートである。 実施の形態４における合成領域３５０の一例を示す図である。 実施の形態５における情報処理装置２００の機能構成図である。 実施の形態５における情報処理装置２００のマーカー表示処理を示すフローチャートである。 実施の形態６におけるＡＲ装置１００の機能構成図である。 実施の形態６におけるＡＲ装置１００のＡＲ処理を示すフローチャートである。 実施の形態６における撮影画像１９１の一例を示す図である。 実施の形態６における撮影画像１９１に含まれる不可領域３９０の一例を示す図である。 実施の形態６における撮影画像１９１に含まれる不可領域３９０の一例を示す図である。 実施の形態６における不可領域３９０の一例を示す図である。 実施の形態６におけるＡＲ画像１９４の一例を示す図である。 実施の形態６におけるＡＲ装置１００のハードウェア構成図である。 実施の形態８における重畳情報取得部１２０の機能構成図である。 実施の形態８におけるＡＲ画像１９４の一例を示す図である。 実施の形態９におけるＡＲ画像生成部１４０の機能構成図である。 実施の形態９におけるＡＲ画像生成部１４０のＡＲ画像生成処理を示すフローチャートである。 実施の形態９における情報部分図３２２の一例を示す図である。 実施の形態９における情報部分図３２２の変更例を示す図である。 実施の形態９における情報図３２０の一例を示す図である。 実施の形態９における情報画像３２９の一例を示す図である。 実施の形態１０におけるＡＲ装置１００の機能構成図である。 実施の形態１０におけるＡＲ装置１００のＡＲ処理を示すフローチャートである。 実施の形態１０における除外領域３９８の位置関係を示す図である。 実施の形態１１におけるＡＲ装置１００の機能構成図である。 実施の形態１１における情報処理装置２００の機能構成図である。

実施の形態１．
撮影画像に映った表示デバイスの表示領域を隠さずに撮影画像に情報を重畳表示する形態について説明する。

図１は、実施の形態１におけるＡＲシステム１０９の概要図である。ＡＲは拡張現実の略称である。
実施の形態１におけるＡＲシステム１０９の概要について、図１に基づいて説明する。

ＡＲシステム１０９（情報重畳画像表示システムの一例）は、ＡＲ画像１９４を表示するためのシステムである。ＡＲ画像１９４は、撮影画像に情報が重畳された情報重畳画像である。以下、撮影画像に重畳される情報を重畳情報という。
ＡＲシステム１０９は、ＡＲ装置１００（情報重畳画像表示装置の一例）と、情報処理装置２００とを備える。

情報処理装置２００は表示デバイスを備える。表示デバイスはケーブルなどを介して情報処理装置２００に接続されたものであっても構わない。タブレット型のコンピュータ、スマートフォンおよびデスクトップ型のコンピュータは情報処理装置２００の一例である。以下、情報処理装置２００が備える表示デバイスを表示デバイス又は情報処理表示デバイスという。
情報処理表示デバイスは、ＡＲ装置１００が備えるカメラによって撮影される。
情報処理装置２００は、情報処理表示デバイスの表示領域２０１にマーカー２０２を表示する。
マーカー２０２は、情報処理表示デバイスが映った撮影画像を取得したＡＲ装置１００に撮影画像から表示領域２０１を選択させるための目印として決められた図である。

ＡＲ装置１００は、撮影画像を生成するカメラと、ＡＲ画像１９４を表示する表示デバイスとを備える。カメラおよび表示デバイスはケーブルなどを介してＡＲ装置１００に接続されたものであっても構わない。タブレット型のコンピュータ、スマートフォンおよびデスクトップ型のコンピュータはＡＲ装置１００の一例である。以下、ＡＲ装置１００が備える表示デバイスを表示デバイス又はＡＲ表示デバイスという。
ＡＲ装置１００は、撮影画像に映っているマーカー２０２に基づいて、不可領域を選択する。不可領域は、情報処理表示デバイスの表示領域２０１が映っている画像領域である。
ＡＲ装置１００は、情報処理表示デバイスの表示領域２０１を避けて撮影画像に情報図３２０を重畳することによって、ＡＲ画像１９４を生成する。情報図３２０は重畳情報が記された図である。撮影画像に映っている時計３１０が示す時刻に関するスケジュール情報は重畳情報の一例である。
ＡＲ装置１００は、ＡＲ表示デバイスが有する表示領域１０１に、ＡＲ画像１９４を表示する。
ＡＲ装置１００の詳細については、別の実施の形態で説明する。

図２は、実施の形態１における情報処理装置２００の機能構成図である。
実施の形態１における情報処理装置２００の機能構成について、図２に基づいて説明する。但し、情報処理装置２００の機能構成は図２と異なる機能構成であっても構わない。

情報処理装置２００は、マーカー画像生成部２１０（マーカー生成部の一例）と、情報処理画像生成部２２０と、マーカー重畳画像生成部２３０と、マーカー重畳画像表示部２４０（マーカー表示部の一例）と、情報処理記憶部２９０とを備える。
マーカー画像生成部２１０は、表示領域２０１の目印であるマーカー２０２を示すマーカー画像２９１を生成する。
情報処理画像生成部２２０は、表示領域２０１に表示される情報処理画像２９２を生成する。情報処理装置２００のスタート画面、情報処理装置２００のメニュー画面またはアプリケーションプログラム用のウィンドウを表す画像は情報処理画像２９２の一例である。
マーカー重畳画像生成部２３０は、情報処理画像２９２にマーカー２０２を重畳したマーカー重畳画像２９３を生成する。
マーカー重畳画像表示部２４０は、マーカー重畳画像２９３を表示領域２０１に表示する。

情報処理記憶部２９０は、情報処理装置２００が使用、生成または入出力するデータを記憶する。
例えば、情報処理記憶部２９０は、マーカー画像２９１、情報処理画像２９２およびマーカー重畳画像２９３などを記憶する。

ＡＲ装置１００の機能構成については、別の実施の形態で説明する。

図３は、実施の形態１における情報処理装置２００のマーカー表示処理を示すフローチャートである。
実施の形態１における情報処理装置２００のマーカー表示処理について、図３に基づいて説明する。但し、マーカー表示処理は図３と異なる処理であっても構わない。

Ｓ２１０において、マーカー画像生成部２１０は、表示領域２０１の目印であるマーカー２０２を示すマーカー画像２９１を生成する。
Ｓ２１０の後、処理はＳ２２０に進む。

図４、図５、図６および図７は、実施の形態１におけるマーカー画像２９１の一例を示す図である。
図４において、マーカー画像生成部２１０は、四角形の表示領域２０１に表示されるマーカー画像２９１を生成する。但し、表示領域２０１の形状は四角形に限られず、表示領域２０１の形状は四角形以外の多角形または円形などであっても構わない。
マーカー画像２９１は、表示領域２０１の角に配置されたマーカー２０２１〜２０２４（角マーカーの一例）と、表示領域２０１の辺の中間に配置されたマーカー２０２５〜２０２８（辺マーカーの一例）との８つのマーカーを含んでいる。
８つのマーカー２０２１〜２０２８によって、表示領域２０１は特定される。表示領域２０１は、８つのマーカー２０２１〜２０２８を囲んで８つのマーカー２０２１〜２０２８に接する矩形の枠に囲まれる領域である。つまり、表示領域２０１は、８つのマーカー２０２１〜２０２８を囲む最小の矩形の枠に囲まれる領域である。

但し、マーカー画像２９１は、８つのマーカー２０２１〜２０２８の全てではなく、８つのマーカー２０２１〜２０２８のうちの１つ又は複数を含んでも構わない。１つのマーカーがあれば、表示領域２０１の中心部分が存在する方向を特定することができる。
また、マーカー画像２９１は、９つ以上のマーカーを含んでも構わない。
例えば、マーカー画像生成部２１０は、表示領域２０１の大きさに基づいて、マーカーの数および配置を決定する。マーカー画像２９１は、表示領域２０１が大きいほど、多くのマーカーを含む。表示領域２０１の大きさは、情報処理表示デバイスのディスプレイサイズおよび解像度に基づいて決まる。マーカー画像生成部２１０は、表示領域２０１の形状に基づいて、マーカーの数および配置を決定しても構わない。
また、マーカー画像２９１は、長さ閾値よりも長い辺の中間に複数のマーカーを備えても構わない。例えば、マーカー画像２９１は、マーカー２０２６及びマーカー２０２８を２つずつ備えても構わない。
マーカー画像２９１に含めるマーカーの数を増やすことにより、マーカー画像２９１から表示領域２０１をより正確に特定することができる。

図５において、マーカー画像生成部２１０は、表示領域２０１の角に配置された４つのマーカー２０２１〜２０２４を含んだマーカー画像２９１を生成する。
図６において、マーカー画像生成部２１０は、表示領域２０１の辺の中間に配置された４つのマーカー２０２５〜２０２８を含んだマーカー画像２９１を生成する。
図７において、マーカー画像生成部２１０は、左上の角に配置されたマーカー２０２１と、右下の角に配置されたマーカー２０２３と、左辺の中間に配置されたマーカー２０２５と、右辺の中間に配置されたマーカー２０２７とを含んだマーカー画像２９１を生成する。
図５から図７において、表示領域２０１は、４つのマーカー２０２によって特定される。表示領域２０１は、４つのマーカー２０２を囲んで４つのマーカー２０２に接する枠に囲まれる領域である。つまり、表示領域２０１は、４つのマーカー２０２を囲む最小の矩形の枠に囲まれる領域である。

図８は、実施の形態１におけるマーカー２０２１の拡大図である。
実施の形態１におけるマーカー２０２１について、図８に基づいて説明する。
マーカー２０２１は直角三角形を成している。
マーカー２０２１は、直角三角形の黒領域２０３と、黒領域２０３の直角を形成する二辺に接するＬ字形の白領域２０４とを有する。
黒領域２０３は、表示領域２０１の中心部分（中心を含む部分）が位置する方向を示す。表示領域２０１の中心部分は、マーカー２０２１の直角の頂点を基点にして、黒領域２０３の斜辺と直交する垂線ベクトル２０５の方向に位置する。垂線ベクトル２０５は、黒領域２０３の直角の頂点と、黒領域２０３の斜辺の中心点とを通るベクトルである。
白領域２０４は、表示領域２０１の辺、つまり、表示領域２０１の境界線を示す。表示領域２０１の境界線は、マーカー２０２１の直角の頂点を基点にして、白領域２０４の辺を延長した延長線２０６に位置する。

表示領域２０１の角に配置される他の３つのマーカー２０２２〜２０２４は、マーカー２０２１と同様の構成である。
マーカー２０２１を時計と反対回りに９０度回転させたものがマーカー２０２２である。
マーカー２０２１を時計回りに１８０度回転させたものがマーカー２０２３である。
マーカー２０２１を時計回りに９０度回転させたものがマーカー２０２４である。

図９は、実施の形態１におけるマーカー２０２５の拡大図である。
実施の形態１におけるマーカー２０２５について、図９に基づいて説明する。
マーカー２０２５は二等辺三角形を成している。
マーカー２０２５は、二等辺三角形の黒領域２０３と、黒領域２０３の底辺に接する直線状の白領域２０４とを有する。
黒領域２０３は、表示領域２０１の中心部分（中心を含む部分）が位置する方向を示す。表示領域２０１の中心部分は、マーカー２０２５の底辺の中心を基点にして、黒領域２０３の底辺と直交する垂線ベクトル２０５の方向に位置する。垂線ベクトル２０５は、黒領域２０３の底辺の中心点と、黒領域２０３の頂点とを通るベクトルである。
白領域２０４は、表示領域２０１の辺、つまり、表示領域２０１の境界線を示す。表示領域２０１の境界線は、マーカー２０２５の底辺を含む白領域２０４の辺を延長した延長線２０６に位置する。

表示領域２０１の辺の中間に配置される他の３つのマーカー２０２６〜２０２８は、マーカー２０２５と同様の構成である。
マーカー２０２５を時計と反対回りに９０度回転させたものがマーカー２０２６である。
マーカー２０２５を時計回りに１８０度回転させたものがマーカー２０２７である。
マーカー２０２５を時計回りに９０度回転させたものがマーカー２０２８である。

マーカー２０２１〜２０２８の形状は、三角形でなくても構わない。例えば、マーカー２０２１〜２０２８の形状は三角形以外の多角形または円形などであっても構わない。
マーカー２０２１〜２０２８の黒領域２０３は、黒以外の色が着色された領域であっても構わない。マーカー２０２１〜２０２８の白領域２０４は、白以外の色が着色された領域であっても構わない。
マーカー２０２１〜２０２８は、形状および色以外の形式で、表示領域２０１を特定しても構わない。例えば、マーカー２０２１〜２０２８は、表示領域２０１を特定する情報を含んだ二次元コードであっても構わない。

図１０は、実施の形態１におけるマーカー画像２９１の一例を示す図である。
図１０に示すように、マーカー画像２９１は、表示領域２０１の角および表示領域２０１の辺の中間に、マーカー２０２１〜２０２８を含んでいる。
マーカー２０２１〜２０２８は、表示領域２０１を特定する情報を含んだ二次元コードである。

例えば、マーカー２０２１は、表示領域２０１の左上の角に配置されていることを示す「左上」という情報を含んでいる。同様に、マーカー２０２２〜２０２４は「左下」「右下」「右上」という情報を含んでいる。
例えば、マーカー２０２５は、表示領域２０１の左辺の中間に配置されていることを示す「左辺」という情報を含んでいる。同様に、マーカー２０２６〜２０２８は「下辺」「右辺」「上辺」という情報を含んでいる。

上述したように、マーカー画像２９１は、７つ以下のマーカー又は９つ以上のマーカーを含んでも構わない。

図１１は、実施の形態１におけるマーカー２０２１（二次元コード）の拡大図である。
実施の形態１におけるマーカー２０２１（二次元コード）について、図１１に基づいて説明する。
マーカー２０２１（角マーカーの一例）は、表示領域２０１の左上の角に配置されていることを示す「左上」という情報を含んでいる。
表示領域２０１の中心部分は、マーカー２０２１の左上の頂点を基点にして、マーカー２０２１の右下の頂点を通る対角線ベクトル２０７の方向に位置する。
表示領域２０１の上側の境界線は、マーカー２０２１の左上の頂点を基点にして、マーカー２０２１の上辺を延長した延長線２０６に位置する。
表示領域２０１の左側の境界線は、マーカー２０２１の左上の頂点を基点にして、マーカー２０２１の左辺を延長した延長線２０６に位置する。

表示領域２０１の角に配置される他の３つのマーカー２０２２〜２０２４は、マーカー２０２１と同様に、表示領域２０１を特定する。
つまり、表示領域２０１の中心部分は、マーカー２０２２の左下の頂点からマーカー２０２２の右上の頂点を通る対角線ベクトルの方向に位置する。同様に、表示領域２０１の中心部分は、マーカー２０２３の右下の頂点からマーカー２０２３の左上の頂点を通る対角線ベクトルの方向およびマーカー２０２４の右上の頂点からマーカー２０２４の左下の頂点を通る対角線ベクトルの方向に位置する。
つまり、表示領域２０１の左側の境界線は、マーカー２０２２の左下の頂点からマーカー２０２２の左辺を延長した延長線に位置する。表示領域２０１の下側の境界線は、マーカー２０２２の左下の頂点からマーカー２０２２の下辺を延長した延長線およびマーカー２０２３の右下の頂点からマーカー２０２３の下辺を延長した延長線に位置する。表示領域２０１の右側の境界線は、マーカー２０２３の右下の頂点からマーカー２０２３の左辺を延長した延長線およびマーカー２０２４の右上の頂点からマーカー２０２４の右辺を延長した延長線に位置する。表示領域２０１の上側の境界線は、マーカー２０２４の右上の頂点からマーカー２０２４の上辺を延長した延長線に位置する。

図１２は、実施の形態１におけるマーカー２０２５（二次元コード）の拡大図である。
実施の形態１におけるマーカー２０２５について、図１２に基づいて説明する。
マーカー２０２５（辺マーカーの一例）は、表示領域２０１の左辺の中間に配置されていることを示す「左辺」いう情報を含んでいる。
表示領域２０１の中心部分は、マーカー２０２５の左辺の中心を基点にしてマーカー２０２５の右辺と直交する垂線ベクトル２０５の方向に位置する。
表示領域２０１の左側の境界線は、マーカー２０２５の左辺を延長した延長線に位置する。

表示領域２０１の辺の中間に配置される他の３つのマーカー２０２６〜２０２８は、マーカー２０２５と同様に、表示領域２０１を特定する。
つまり、表示領域２０１の中心部分は、マーカー２０２６の下辺の中心を基点にしてマーカー２０２６の上辺と直交する垂線ベクトルの方向に位置する。同様に、表示領域２０１の中心部分は、マーカー２０２７の右辺の中心を基点にしてマーカー２０２７の左辺と直交する垂線ベクトルの方向およびマーカー２０２８の上辺の中心を基点にしてマーカー２０２８の下辺と直交する垂線ベクトルの方向に位置する。
つまり、表示領域２０１の下側の境界線は、マーカー２０２６の下辺を延長した延長線に位置する。同様に、表示領域２０１の右側の境界線はマーカー２０２７の右辺を延長した延長線に位置し、表示領域２０１の上側の境界線はマーカー２０２８の上辺を延長した延長線に位置する。

図３に戻り、Ｓ２２０から説明を続ける。

Ｓ２２０において、情報処理画像生成部２２０は、情報処理画像２９２を生成する。
情報処理装置２００のスタート画面、情報処理装置２００のメニュー画面またはアプリケーションプログラム用のウィンドウを表す画像は情報処理画像２９２の一例である。
Ｓ２２０の後、処理はＳ２３０に進む。

図１３は、実施の形態１における情報処理画像２９２の一例を示す図である。
例えば、情報処理画像生成部２２０は、複数のアイコンが整列したメニュー画面を表す情報処理画像２９２を生成する（図１３参照）。情報処理画像２９２に含まれる正方形はアイコンを表している。
図３に戻り、Ｓ２３０から説明を続ける。

Ｓ２３０において、マーカー重畳画像生成部２３０は、情報処理画像２９２にマーカー画像２９１を重畳することによって、マーカー重畳画像２９３を生成する。
Ｓ２３０の後、処理はＳ２４０に進む。

図１４は、実施の形態１におけるマーカー重畳画像２９３の一例を示す図である。
例えば、マーカー重畳画像生成部２３０は、情報処理画像２９２（図１３参照）にマーカー画像２９１（図４参照）を重畳することによって、図１４に示すようなマーカー重畳画像２９３を生成する。
図３に戻り、Ｓ２４０から説明を続ける。

Ｓ２４０において、マーカー重畳画像表示部２４０は、マーカー重畳画像２９３を情報処理表示デバイスの表示領域２０１に表示する。
例えば、マーカー重畳画像表示部２４０は、図１４に示すようにマーカー重畳画像２９３を表示領域２０１に表示する。
Ｓ２４０の後、マーカー表示処理は終了する。

図１５は、実施の形態１における情報処理装置２００のハードウェア構成図である。
実施の形態１における情報処理装置２００のハードウェア構成について、図１５に基づいて説明する。但し、情報処理装置２００のハードウェア構成は図１５に示す構成と異なる構成であってもよい。

情報処理装置２００はコンピュータである。
情報処理装置２００は、バス８０１と、メモリ８０２と、ストレージ８０３と、通信インタフェース８０４と、ＣＰＵ８０５と、ＧＰＵ８０６とを備える。
さらに、情報処理装置２００は、表示デバイス８０７と、ユーザインタフェースデバイス８０９と、センサ８１０とを備える。

バス８０１は、情報処理装置２００のハードウェアがデータを交換するために用いるデータ転送路である。
メモリ８０２は、情報処理装置２００のハードウェアによってデータが書き込まれ、または、データが読み出される揮発性の記憶装置である。但し、メモリ８０２は不揮発性の記憶装置であっても構わない。メモリ８０２は主記憶装置ともいう。
ストレージ８０３は、情報処理装置２００のハードウェアによってデータが書き込まれ、または、データが読み出される不揮発性の記憶装置である。ストレージ８０３は補助記憶装置ともいう。
通信インタフェース８０４は、情報処理装置２００が外部のコンピュータとデータを交換するために用いる通信装置である。
ＣＰＵ８０５は、情報処理装置２００が行う処理（例えば、マーカー表示処理）を実行する演算装置である。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＧＰＵ８０６は、コンピュータグラフィックス（ＣＧ）に関する処理を実行する演算装置である。但し、ＣＧに関する処理はＣＰＵ８０５によって実行されても構わない。マーカー画像２９１、情報処理画像２９２およびマーカー重畳画像２９３はＣＧの技術によって生成されるデータの一例である。ＧＰＵはＧｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
表示デバイス８０７は、ＣＧのデータを光学的な出力に変換する装置である。つまり、表示デバイス８０７はＣＧを表示する表示装置である。
ユーザインタフェースデバイス８０９は、情報処理装置２００を利用するユーザが情報処理装置２００を操作するために用いる入力装置である。デスクトップ型のコンピュータが備えるキーボードおよびポインティングデバイスはユーザインタフェースデバイス８０９の一例である。マウスおよびトラックボールはポインティングデバイスの一例である。また、スマートフォンまたはタブレット型のコンピュータが備えるタッチパネルおよびマイクはユーザインタフェースデバイス８０９の一例である。
センサ８１０は、情報処理装置２００または周辺の状況を検出するための計測装置である。位置を計測するＧＰＳ、加速度を計測する加速度センサ、角速度を計測するジャイロセンサ、方位を計測する磁気センサ、近接する物の有無を検出する近接センサおよび照度を計測する照度センサは、センサ８１０の一例である。

「〜部」として説明している機能を実現するためのプログラムは、ストレージ８０３に記憶され、ストレージ８０３からメモリ８０２にロードされ、ＣＰＵ８０５によって実行される。

「〜の判断」、「〜の判定」、「〜の抽出」、「〜の検知」、「〜の設定」、「〜の登録」、「〜の選択」、「〜の生成」、「〜の入力」、「〜の出力」等の処理の結果を示す情報、データ、ファイル、信号値または変数値がメモリ８０２またはストレージ８０３に記憶される。

図１６は、従来技術におけるＡＲ画像１９４の一例を示す図である。
従来技術の場合、情報図３２０は情報処理装置２００の表示領域２０１に重畳される可能性がある（図１６参照）。
この場合、情報処理装置２００の表示領域２０１に表示された情報処理画像２９２は、情報図３２０に隠れて見えなくなってしまう。
そのため、有益な情報が情報処理画像２９２に含まれる場合、ユーザはその有益な情報をＡＲ画像１９４から得ることができなくなってしまう。情報処理画像２９２を見たい場合は、ユーザはＡＲ画像１９４の表示デバイスから情報処理装置２００の表示デバイスに視線を移さなければならない。

一方、実施の形態１において、情報処理装置２００が表示領域２０１にマーカー２０２を表示するため、ＡＲ装置１００は情報処理装置２００の表示領域２０１を避けて情報図３２０を表示することができる（図１参照）。
図１において、情報図３２０は、情報処理装置２００のベゼルに重なっているが、表示領域２０１には重なっていない。また、情報図３２０は、情報処理装置２００の周辺機器に重なることがあっても、表示領域２０１には重ならない。
そのため、ユーザは、情報図３２０に記される情報と情報処理画像２９２に記される情報との両方を、ＡＲ画像１９４から得ることができる。

実施の形態１により、情報処理装置２００は、情報処理表示デバイスの表示領域２０１に表示領域２０１の目印になるマーカー２０２を表示することができる。
ＡＲ装置１００は、撮影画像１９１に映った情報処理表示デバイスの表示領域２０１を表示領域２０１に表示されたマーカー２０２に基づいて選択することができる。
そして、ＡＲ装置１００は、撮影画像１９１に映った情報処理表示デバイスの表示領域２０１を選択できるため、撮影画像１９１に映った情報処理表示デバイスの表示領域２０１を隠さずに、撮影画像１９１に情報を重畳表示することができる。

実施の形態２．
アプリケーションプログラム用のウィンドウが表示されるウィンドウ領域にマーカーを表示する形態について説明する。
以下、実施の形態１で説明していない事項について主に説明する。説明を省略する事項については実施の形態１と同様である。

図１７は、実施の形態２における情報処理装置２００の機能構成図である。
実施の形態２における情報処理装置２００の機能構成について、図１７に基づいて説明する。但し、情報処理装置２００の機能構成は図１７と異なる機能構成であっても構わない。

情報処理装置２００は、実施の形態１（図２参照）で説明した機能に加えて、ウィンドウ情報取得部２５０を備える。
ウィンドウ情報取得部２５０は、情報処理画像生成部２２０（ウィンドウ生成部の一例）がアプリケーションプログラム用にウィンドウを生成した場合に、情報処理画像生成部２２０からウィンドウ情報２９４を取得する。
ウィンドウ情報２９４は、ウィンドウ領域を示すウィンドウ領域情報、ウィンドウの重要度、ウィンドウを識別するウィンドウハンドルなどを含む。ウィンドウはアプリケーションプログラムの実行画面である。ウィンドウ領域は表示領域２０１のうちのウィンドウが表示される領域である。ウィンドウの重要度はウィンドウを使用するアプリケーションプログラムの重要度を意味する。

マーカー画像生成部２１０は、ウィンドウ情報取得部２５０によって取得されたウィンドウ情報２９４に基づいて、ウィンドウ領域を特定するマーカー２０２を含んだマーカー画像２９１を生成する。

図１８は、実施の形態２における情報処理装置２００のマーカー表示処理を示すフローチャートである。
実施の形態２における情報処理装置２００のマーカー表示処理について、図１８に基づいて説明する。但し、マーカー表示処理は図１８と異なる処理であっても構わない。

Ｓ２０１１において、情報処理画像生成部２２０は、ウィンドウ３４０を含んだ情報処理画像２９２を生成する。
また、情報処理画像生成部２２０は、ウィンドウ領域情報を含んだウィンドウ情報２９４を生成する。ウィンドウ３４０が複数ある場合、情報処理画像生成部２２０は、ウィンドウ３４０毎にウィンドウ情報２９４を生成する。
情報処理画像生成部２２０は、ウィンドウ３４０の重要度を含んだウィンドウ情報２９４を生成してもよい。例えば、情報処理画像生成部２２０は、ウィンドウ３４０を使用するアプリケーションプログラムのプログラム識別子に対応付けられた重要度を重要度テーブルから取得する。重要度テーブルは情報処理記憶部２９０に記憶されるデータの一例である。
Ｓ２０１１の後、処理はＳ２０２１に進む。

図１９は、実施の形態２における情報処理画像２９２の一例を示す図である。
例えば、情報処理画像生成部２２０は、ウィンドウ３４０が中央に配置された情報処理画像２９２（図１９参照）を生成する。
図１８に戻り、Ｓ２０２１から説明を続ける。

Ｓ２０２１において、ウィンドウ情報取得部２５０は、情報処理画像生成部２２０からウィンドウ情報２９４を取得する。
Ｓ２０２１の後、処理はＳ２１０１に進む。

Ｓ２１０１において、マーカー画像生成部２１０は、ウィンドウ情報取得部２５０からウィンドウ情報２９４を取得する。
マーカー画像生成部２１０は、ウィンドウ情報２９４に含まれるウィンドウ領域情報に基づいて、マーカー画像２９１を生成する。マーカー画像２９１は、ウィンドウ領域にウィンドウ領域を特定するマーカー２０２が配置された画像である。
マーカー画像生成部２１０は、ウィンドウ情報２９４に含まれるウィンドウ３４０の重要度に基づいて、マーカー２０２の形状とマーカー２０２の色との少なくともいずれかを決定してもよい。
Ｓ２１０１の後、処理はＳ２３０に進む。

図２０は、実施の形態２におけるマーカー画像２９１の一例を示す図である。
例えば、マーカー画像生成部２１０は、図２０に示すようなマーカー画像２９１を生成する。このマーカー画像２９１は、ウィンドウ３４０（図１９参照）が表示されるウィンドウ領域に８つのマーカー２０２１〜２０２８が配置された画像である。
マーカー２０２１〜２０２８は二次元コード（図１１、図１２参照）であっても構わない。
図１８に戻り、Ｓ２３０から説明を続ける。

Ｓ２３０において、マーカー重畳画像生成部２３０は、情報処理画像２９２にマーカー画像２９１を重畳することによって、マーカー重畳画像２９３を生成する。
Ｓ２３０の後、処理はＳ２４０に進む。

図２１は、実施の形態２におけるマーカー重畳画像２９３の一例を示す図である。
例えば、マーカー重畳画像生成部２３０は、情報処理画像２９２（図１９参照）にマーカー画像２９１（図２０参照）を重畳することによって、図２１に示すようなマーカー重畳画像２９３を生成する。
図１８に戻り、Ｓ２４０から説明を続ける。

Ｓ２４０において、マーカー重畳画像表示部２４０は、マーカー重畳画像２９３を情報処理表示デバイスの表示領域２０１に表示する。
例えば、マーカー重畳画像表示部２４０は、図２１に示すようにマーカー重畳画像２９３を表示領域２０１に表示する。
Ｓ２４０の後、マーカー表示処理は終了する。

実施の形態２により、情報処理装置２００は、アプリケーションプログラム用のウィンドウが表示されるウィンドウ領域にマーカーを表示することができる。つまり、情報処理装置２００は、情報が重畳されない不可領域をウィンドウ領域に限定して、不可領域を不必要に広げる状況を回避することができる。
ＡＲ装置１００は、ウィンドウが表示されていない表示領域（例えば、デスクトップ画面）が映っている画像領域に、情報を重畳表示することができる。

実施の形態３．
複数のウィンドウのうちの重要なウィンドウが表示されるウィンドウ領域にマーカーを表示する形態について説明する。
以下、実施の形態１および実施の形態２で説明していない事項について主に説明する。説明を省略する事項については実施の形態１または実施の形態２と同様である。

図２２は、実施の形態３における情報処理装置２００の機能構成図である。
実施の形態３における情報処理装置２００の機能構成について、図２２に基づいて説明する。但し、情報処理装置２００の機能構成は図２２と異なる機能構成であっても構わない。

情報処理装置２００は、実施の形態１（図２参照）で説明した機能に加えて、重要ウィンドウ選択部２５１と、ウィンドウ管理部２５２とを備える。

重要ウィンドウ選択部２５１は、重要度テーブル２９５とウィンドウ別のウィンドウ情報２９４とに基づいて重要なウィンドウを選択し、重要なウィンドウを示す重要ウィンドウリスト２９６を生成する。重要ウィンドウ選択部２５１は、重要でないウィンドウを示すリストを生成しても構わない。
重要度テーブル２９５は、アプリケーションプログラムの重要度を示す。
ウィンドウ情報２９４は、ウィンドウ領域を示すウィンドウ領域情報、ウィンドウの重要度、ウィンドウを識別するウィンドウハンドルなどを含む。ウィンドウの重要度はウィンドウを使用するアプリケーションプログラムの重要度を意味する。
重要なウィンドウはマーカー２０２が表示されるウィンドウである。重要でないウィンドウはマーカー２０２が表示されないウィンドウである。

ウィンドウ管理部２５２はウィンドウを管理する。
例えば、ウィンドウ管理部２５２は、ウィンドウハンドルの生成、ウィンドウ領域の決定、ウィンドウの外観の決定、ウィンドウの画像の生成などの処理を行う。

図２３は、実施の形態３における情報処理装置２００のマーカー表示処理を示すフローチャートである。
実施の形態３における情報処理装置２００のマーカー表示処理について、図２３に基づいて説明する。但し、マーカー表示処理は図２３と異なる処理であっても構わない。

Ｓ２０１２において、情報処理画像生成部２２０は、ウィンドウ管理部２５２を利用することによって、情報処理画像２９２とウィンドウ情報２９４とを生成する。
情報処理画像２９２は複数のウィンドウ３４０を含んでいる。
ウィンドウ情報２９４は、ウィンドウ３４０毎に、ウィンドウハンドル、ウィンドウ領域およびアプリケーションプログラムの重要度などを含む。
例えば、情報処理画像生成部２２０は、ウィンドウハンドルとウィンドウ領域とをウィンドウ管理部２５２から取得する。
例えば、情報処理画像生成部２２０は、ウィンドウ３４０毎に、ウィンドウ３４０を使用するアプリケーションプログラムを識別するプログラム識別子に対応付けられた重要度を重要度テーブル２９５から取得する。
Ｓ２０１２の後、処理はＳ２０２２に進む。

図２４は、実施の形態３における情報処理画像２９２の一例を示す図である。
例えば、情報処理画像生成部２２０は、アプリケーションプログラム（１）用のウィンドウ３４０１と、アプリケーションプログラム（２）用のウィンドウ３４０２とを含んだ情報処理画像２９２を生成する。
図２３に戻り、Ｓ２０２２から説明を続ける。

Ｓ２０２２において、重要ウィンドウ選択部２５１は、ウィンドウ３４０別のウィンドウ情報２９４を情報処理画像生成部２２０から取得する。
そして、重要ウィンドウ選択部２５１は、ウィンドウ３４０別のウィンドウ情報２９４に含まれる重要度に基づいて、重要ウィンドウリスト２９６を生成する。重要ウィンドウリスト２９６は、重要なウィンドウ３４０のウィンドウハンドルを含む。

例えば、重要ウィンドウ選択部２５１は、以下の少なくともいずれかの処理によってウィンドウ情報２９４を選択する。そして、重要ウィンドウ選択部２５１は、選択したウィンドウ情報２９４からウィンドウハンドルを取得し、取得したウィンドウハンドルを重要ウィンドウリスト２９６に設定する。
重要ウィンドウ選択部２５１は、重要度閾値よりも高い重要度を含んだウィンドウ情報２９４を選択する。
重要ウィンドウ選択部２５１は、重要度が高い順にウィンドウ選択数と同じ数のウィンドウ情報２９４を選択する。

重要度が高いウィンドウ３４０が新たに生成された場合、重要なウィンドウ３４０は、新たなウィンドウ３４０を含む他のウィンドウ３４０に比較して重要ではないウィンドウ３４０になる可能性がある。また、重要なウィンドウ３４０が閉じられた場合、重要ではなかったウィンドウが重要なウィンドウになる可能性がある。
そのため、新たなウィンドウ３４０が生成され、または、既存のウィンドウ３４０が閉じられた場合、重要ウィンドウ選択部２５１は重要ウィンドウリスト２９６を更新する。
Ｓ２０２２の後、処理はＳ２１０２に進む。

Ｓ２１０２において、マーカー画像生成部２１０は、重要ウィンドウ選択部２５１からウィンドウ情報２９４と重要ウィンドウリスト２９６とを取得する。
マーカー画像生成部２１０は、重要ウィンドウリスト２９６に含まれるウィンドウハンドルと同じウィンドウハンドルを含んだウィンドウ情報２９４を選択する。
そして、マーカー画像生成部２１０は、選択したウィンドウ情報２９４に基づいて、マーカー画像２９１を生成する。マーカー画像２９１は、重要なウィンドウ３４０が表示されるウィンドウ領域にウィンドウ領域の目印になるマーカー２０２が配置された画像である。
重要ウィンドウリスト２９６が更新された場合、マーカー画像生成部２１０は、更新された重要ウィンドウリスト２９６に基づいて、マーカー画像２９１を更新する。
マーカー画像生成部２１０は、ウィンドウ情報２９４に含まれるウィンドウ３４０の重要度に基づいて、マーカー２０２の形状とマーカー２０２の色との少なくともいずれかを決定してもよい。
Ｓ２１０２の後、処理はＳ２３０に進む。

図２５は、実施の形態３におけるマーカー画像２９１の一例を示す図である。
重要ウィンドウリスト２９６がウィンドウ３４０１（図２４参照）のウィンドウハンドルを示す場合、マーカー画像生成部２１０は、図２５に示すようなマーカー画像２９１を生成する。マーカー画像２９１は、ウィンドウ３４０１が表示されるウィンドウ領域にマーカー２０２１〜２０２７が配置された画像である。マーカー２０２１〜２０２７は二次元コード（図１１、図１２参照）であっても構わない。
重要ウィンドウリスト２９６がウィンドウ３４０１とウィンドウ３４０２とのそれぞれのウィンドウハンドルを示す場合、マーカー画像生成部２１０は、ウィンドウ３４０１とウィンドウ３４０２とのそれぞれのウィンドウ領域にマーカー２０２が配置されたマーカー画像２９１を生成する。
図２３に戻り、Ｓ２３０から説明を続ける。

Ｓ２３０において、マーカー重畳画像生成部２３０は、情報処理画像２９２にマーカー画像２９１を重畳することによってマーカー重畳画像２９３を生成する。
Ｓ２３０の後、処理はＳ２４０に進む。

図２６は、実施の形態３におけるマーカー重畳画像２９３の一例を示す図である。
例えば、マーカー重畳画像生成部２３０は、情報処理画像２９２（図２４参照）にマーカー画像２９１（図２５参照）を重畳することによって、図２６に示すようなマーカー重畳画像２９３を生成する。
図２３に戻り、Ｓ２４０から説明を続ける。

Ｓ２４０において、マーカー重畳画像表示部２４０は、マーカー重畳画像２９３を情報処理表示デバイスの表示領域２０１に表示する。
例えば、マーカー重畳画像表示部２４０は、図２６に示すようにマーカー重畳画像２９３を表示領域２０１に表示する。
Ｓ２４０の後、マーカー表示処理は終了する。

実施の形態３により、情報処理装置２００は、複数のウィンドウのうちの重要なウィンドウが表示されるウィンドウ領域にマーカーを表示することができる。

実施の形態４．
一部が重なる複数のウィンドウ領域を合成した合成領域にマーカーを表示する形態について説明する。
以下、実施の形態１から実施の形態３で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態３と同様である。

図２７は、実施の形態４における情報処理装置２００の機能構成図である。
実施の形態４における情報処理装置２００の機能構成について、図２７に基づいて説明する。但し、情報処理装置２００の機能構成は図２７と異なる機能構成であっても構わない。

情報処理装置２００は、実施の形態２（図１７参照）で説明した機能に加えて、ウィンドウ合成部２６０を備える。
ウィンドウ合成部２６０は、ウィンドウ別のウィンドウ情報２９４に基づいて合成領域を算出し、算出した合成領域を示す合成領域情報を含んだ合成情報２９７を生成する。合成領域は、一部が重なる複数のウィンドウ領域を含んだ領域である。但し、合成領域は、重なっていない複数のウィンドウ領域を含んだ領域であっても構わない。
合成情報２９７は、合成領域を示す合成領域情報、および、合成領域に含まれるウィンドウ３４０のウィンドウハンドルなどを含む。

マーカー画像生成部２１０は、合成情報２９７に基づいて、合成領域に合成領域を特定するマーカー２０２が配置されたマーカー画像２９１を生成する。

図２８は、実施の形態４における情報処理装置２００のマーカー表示処理を示すフローチャートである。
実施の形態４における情報処理装置２００のマーカー表示処理について、図２８に基づいて説明する。但し、マーカー表示処理は図２８と異なる処理であっても構わない。

Ｓ２０１３において、情報処理画像生成部２２０は、複数のウィンドウ３４０を含んだ情報処理画像２９２を生成し、生成したウィンドウ３４０毎にウィンドウ情報２９４を生成する。
Ｓ２０１３の後、処理はＳ２０２３に進む。

図２９は、実施の形態４における情報処理画像２９２の一例を示す図である。
例えば、情報処理画像生成部２２０は、アプリケーションプログラム（１）用のウィンドウ３４０１と、このウィンドウ３４０１に一部が重なったアプリケーションプログラム（２）用のウィンドウ３４０２と、を含む情報処理画像２９２（図２９参照）を生成する。
図２８に戻り、Ｓ２０２３から説明を続ける。

Ｓ２０２３において、ウィンドウ情報取得部２５０は、情報処理画像生成部２２０からウィンドウ３４０別のウィンドウ情報２９４を取得する。
Ｓ２０２３の後、処理はＳ２６０に進む。

Ｓ２６０において、ウィンドウ合成部２６０は、ウィンドウ情報取得部２５０からウィンドウ３４０別のウィンドウ情報２９４を取得する。ウィンドウ情報２９４はウィンドウ領域情報を含む。
ウィンドウ合成部２６０は、ウィンドウ３４０別のウィンドウ領域情報に基づいて合成領域３５０を算出し、算出した合成領域３５０を示す合成領域情報を含んだ合成情報２９７を生成する。合成領域３５０が複数ある場合、ウィンドウ合成部２６０は合成領域３５０毎に合成情報２９７を生成する。
合成情報２９７は、合成領域３５０を示す合成領域情報、および、合成領域３５０に含まれるウィンドウ３４０のウィンドウハンドルなどを含む。
ウィンドウ合成処理（Ｓ２６０）の詳細については後述する。
Ｓ２６０の後、処理はＳ２１０３に進む。

図３０は、実施の形態４における合成領域３５０の一例を示す図である。
例えば、ウィンドウ合成部２６０は、ウィンドウ３４０１が表示されるウィンドウ領域とウィンドウ３４０２が表示されるウィンドウ領域とを含む最小の矩形領域を、合成領域３５０（図３０参照）として算出する。破線の枠に囲まれた領域が合成領域３５０である。
図２８に戻り、Ｓ２１０３から説明を続ける。

Ｓ２１０３において、マーカー画像生成部２１０は、ウィンドウ合成部２６０から合成情報２９７を取得する。
マーカー画像生成部２１０は、合成情報２９７に含まれる合成領域情報に基づいて、マーカー画像２９１を生成する。マーカー画像２９１は、合成領域３５０に合成領域３５０を特定するマーカー２０２が配置された画像である。

マーカー画像生成部２１０は、ウィンドウ合成部２６０からウィンドウ別のウィンドウ情報２９４を取得し、合成領域３５０に表示されないウィンドウ３４０のウィンドウ領域を特定するマーカー２０２をマーカー画像２９１に含めてもよい。
この場合、マーカー画像生成部２１０は、合成情報２９７に含まれるウィンドウハンドルと異なるウィンドウハンドルを含んだウィンドウ情報２９４を選択し、選択したウィンドウ情報２９４からウィンドウ領域情報を取得する。そして、マーカー画像生成部２１０は、取得したウィンドウ領域情報が示すウィンドウ領域を特定するマーカー２０２を生成し、生成したマーカー２０２をマーカー画像２９１に含める。
Ｓ２１０３の後、処理はＳ２３０に進む。

図３１は、実施の形態４におけるマーカー画像２９１の一例を示す図である。
例えば、マーカー画像生成部２１０は、図３１に示すようなマーカー画像２９１を生成する。このマーカー画像２９１は、合成領域３５０に４つのマーカー２０２１〜２０２７が配置された画像である。マーカー２０２１〜２０２７は二次元コード（図１１、図１２参照）であっても構わない。

例えば、マーカー画像生成部２１０は、合成領域３５０に表示されるウィンドウ３４０１・３４０２（図３０参照）のそれぞれのウィンドウ領域に基づいて、マーカー２０２の数および配置を決定する。
例えば、マーカー画像生成部２１０は、合成領域３５０の４つの角のうち、ウィンドウ３４０１に接する左上の角と、ウィンドウ３４０２に接する右下の角との２つの角に、マーカー２０２１・２０２３を配置する。
例えば、マーカー画像生成部２１０は、合成領域３５０の４つの辺のうち、ウィンドウ３４０１に接する左辺と、ウィンドウ３４０２に接する右辺との２つの辺の中間部分に、マーカー２０２５・２０２７を配置する。

マーカー画像生成部２１０は、１つから３つのマーカー２０２または５つ以上のマーカー２０２が配置されたマーカー画像２９１を生成しても構わない。
図２８に戻り、Ｓ２３０から説明を続ける。

Ｓ２３０において、マーカー重畳画像生成部２３０は、情報処理画像２９２にマーカー画像２９１を重畳することによって、マーカー重畳画像２９３を生成する。
Ｓ２３０の後、処理はＳ２４０に進む。

図３２は、実施の形態４におけるマーカー重畳画像２９３の一例を示す図である。
例えば、マーカー重畳画像生成部２３０は、情報処理画像２９２（図２９参照）にマーカー画像２９１（図３１参照）を重畳することによって、図３２に示すようなマーカー重畳画像２９３を生成する。
図２８に戻り、Ｓ２４０から説明を続ける。

Ｓ２４０において、マーカー重畳画像表示部２４０は、マーカー重畳画像２９３を情報処理デバイスの表示領域２０１に表示する。
例えば、マーカー重畳画像表示部２４０は、図３２に示すようにマーカー重畳画像２９３を表示領域２０１に表示する。
Ｓ２４０の後、マーカー表示処理は終了する。

図３３は、実施の形態４におけるウィンドウ合成処理（Ｓ２６０）を示すフローチャートである。
実施の形態４におけるウィンドウ合成処理（Ｓ２６０）について、図３３に基づいて説明する。但し、ウィンドウ合成処理（Ｓ２６０）は図３３と異なる処理であっても構わない。

Ｓ２６１において、ウィンドウ合成部２６０は、候補領域のウィンドウ情報２９４として選択していないウィンドウ情報２９４を一つ選択する。候補領域は、合成領域３５０に含まれるウィンドウ領域の候補を意味する。
Ｓ２６１の後、処理はＳ２６２に進む。

Ｓ２６２において、ウィンドウ合成部２６０は、候補領域のウィンドウ情報２９４と他のウィンドウ情報２９４とのそれぞれに含まれるウィンドウ領域情報に基づいて、重なり領域のウィンドウ情報２９４があるか判定する。重なり領域は、候補領域と少なくとも一部が重なるウィンドウ領域である。
重なり領域のウィンドウ情報２９４がある場合（ＹＥＳ）、処理はＳ２６３に進む。
重なり領域のウィンドウ情報２９４がない場合（ＮＯ）、処理はＳ２６４に進む。

Ｓ２６３において、ウィンドウ合成部２６０は、候補領域のウィンドウ情報２９４と重なり領域のウィンドウ情報２９４とに基づいて、ダミーのウィンドウ情報２９４を生成する。
ダミーのウィンドウ情報２９４は、ダミーのウィンドウ領域情報、候補領域のウィンドウハンドルおよび重なり領域のウィンドウハンドルなどを含む。
ダミーのウィンドウ領域情報は、候補領域と重なり領域とを合成した暫定の合成領域を示す。ウィンドウ合成部２６０は、候補領域のウィンドウ領域情報と重なり領域のウィンドウ領域情報とに基づいて、暫定の合成領域を算出する。例えば、ウィンドウ合成部２６０は、候補領域と重なり領域とを含む最小の矩形領域を暫定の合成領域として算出する。
ウィンドウ合成処理（Ｓ２６０）において、ダミーのウィンドウ情報２９４が生成された後、候補領域のウィンドウ情報２９４および重なり領域のウィンドウ情報２９４は、ダミーのウィンドウ情報２９４に置き換えられる。
Ｓ２６３の後、処理はＳ２６４に進む。

Ｓ２６４において、ウィンドウ合成部２６０は、候補領域のウィンドウ情報２９４として選択されていない未選択のウィンドウ情報２９４があるか判定する。Ｓ２６３で生成されたダミーのウィンドウ情報２９４は未選択のウィンドウ情報２９４である。
未選択のウィンドウ情報２９４がある場合（ＹＥＳ）、処理はＳ２６１に戻る。
未選択のウィンドウ情報２９４がない場合（ＮＯ）、ウィンドウ合成処理（Ｓ２６０）は終了する。

ウィンドウ合成処理（Ｓ２６０）の後に残ったダミーのウィンドウ情報２９４が合成情報２９７になる。つまり、ダミーのウィンドウ領域情報が合成領域情報になる。また、ダミーのウィンドウ情報２９４に含まれるウィンドウハンドルは、合成領域３５０に含まれるウィンドウ３４０を識別する。

図３４は、実施の形態４における合成領域３５０の一例を示す図である。
図３４の上段において、ウィンドウ３４０１のウィンドウ領域とウィンドウ３４０２のウィンドウ領域とが重なっているものとする。この場合、ウィンドウ合成部２６０は、ウィンドウ３４０１とウィンドウ３４０２とのそれぞれのウィンドウ領域を含む暫定の合成領域３５０を算出する。暫定の合成領域３５０はダミーのウィンドウ領域を意味する。
このダミーのウィンドウ領域（暫定の合成領域３５０）とウィンドウ３４０３のウィンドウ領域とが重なる場合、ウィンドウ合成部２６０は、ダミーのウィンドウ領域とウィンドウ３４０３のウィンドウ領域とを含む合成領域３５０を算出する（図３４の下段参照）。

ウィンドウ合成部２６０は、ウィンドウ３４０１とウィンドウ３４０２とウィンドウ３４０３とのいずれもが互いに重なっていない場合に、ウィンドウ３４０１とウィンドウ３４０２とウィンドウ３４０３とを含む合成領域３５０を算出しても構わない。

実施の形態４により、情報処理装置２００は、一部が重なる複数のウィンドウ領域を合成した合成領域にマーカーを表示することができる。

実施の形態５．
一部が重なる複数のウィンドウ領域を合成した合成領域にマーカーを表示する形態について説明する。
以下、実施の形態１から実施の形態４で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態４と同様である。

図３５は、実施の形態５における情報処理装置２００の機能構成図である。
実施の形態５における情報処理装置２００の機能構成について、図３５に基づいて説明する。但し、情報処理装置２００の機能構成は図３５と異なる機能構成であっても構わない。

情報処理装置２００は、実施の形態３（図２２参照）で説明した機能に加えて、ウィンドウ合成部２６０を備える。
ウィンドウ合成部２６０は、実施の形態４（図２７、図３３等を参照）で説明した機能と同様である。

図３６は、実施の形態５における情報処理装置２００のマーカー表示処理を示すフローチャートである。
実施の形態５における情報処理装置２００のマーカー表示処理について、図３６に基づいて説明する。但し、マーカー表示処理は図３６と異なる処理であっても構わない。

Ｓ２０１４において、情報処理画像生成部２２０は、ウィンドウ管理部２５２を利用することによって、情報処理画像２９２とウィンドウ情報２９４とを生成する（図２３のＳ２０１２と同様）。
Ｓ２０１４の後、処理はＳ２０２４に進む。

Ｓ２０２４において、重要ウィンドウ選択部２５１は、ウィンドウ３４０別のウィンドウ情報２９４に含まれる重要度に基づいて、重要ウィンドウリスト２９６を生成する（図２３のＳ２０２４と同様）。
Ｓ２０２４の後、処理はＳ２６０１に進む。

Ｓ２６０１において、ウィンドウ合成部２６０は、重要ウィンドウリスト２９６に含まれるウィンドウハンドルと同じウィンドウハンドルを含んだウィンドウ情報２９４を選択する。
そして、ウィンドウ合成部２６０は、選択したウィンドウ情報２９４に含まれるウィンドウ領域に基づいて合成領域３５０算出し、算出した合成領域３５０を示す合成領域情報を含んだ合成情報２９７を生成する。合成領域３５０を算出する方法および合成情報２９７を生成する方法は実施の形態４（図２８のＳ２６０参照）と同様である。
Ｓ２６０１により、図３０に示すような合成領域３５０が算出される。
Ｓ２６０１の後、処理はＳ２１０４に進む。

Ｓ２１０４において、マーカー画像生成部２１０は、合成情報２９７に基づいてマーカー画像２９１を生成する（図２８のＳ２１０３と同様）。
Ｓ２１０４により、図３１に示すようなマーカー画像２９１が生成される。
Ｓ２１０４の後、処理はＳ２３０に進む。

Ｓ２３０において、マーカー重畳画像生成部２３０は、情報処理画像２９２にマーカー画像２９１を重畳することによって、マーカー重畳画像２９３を生成する。
Ｓ２３０により、図３２に示すようなマーカー重畳画像２９３が生成される。
Ｓ２３０の後、処理はＳ２４０に進む。

Ｓ２４０において、マーカー重畳画像表示部２４０は、マーカー重畳画像２９３を情報処理デバイスの表示領域２０１に表示する。
Ｓ２４０により、図３２に示すようにマーカー重畳画像２９３が表示領域２０１に表示される。
Ｓ２４０の後、マーカー表示処理は終了する。

実施の形態５により、一部が重なる複数のウィンドウ領域を合成した合成領域にマーカーを表示することができる。

実施の形態６．
ＡＲ装置１００の詳細について説明する。
以下、実施の形態１から実施の形態５で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態５と同様である。

図３７は、実施の形態６におけるＡＲ装置１００の機能構成図である。
実施の形態６におけるＡＲ装置１００の機能構成について、図３７に基づいて説明する。但し、ＡＲ装置１００の機能構成は図３７と異なる機能構成であっても構わない。

ＡＲ装置１００（情報重畳画像表示装置の一例）は、ＡＲ装置１００が備えるＡＲ表示デバイスの表示領域にＡＲ画像１９４を表示する装置である。
ＡＲ装置１００は、撮影画像取得部１１０と、重畳情報取得部１２０と、不可領域選択部１３０と、ＡＲ画像生成部１４０（情報重畳画像生成部の一例）と、ＡＲ画像表示部１５０（情報重畳画像表示部の一例）と、装置記憶部１９０とを備える。

撮影画像取得部１１０は、カメラによって生成される撮影画像１９１を取得する。撮影画像１９１は情報処理表示デバイスが存在する撮影範囲を映している。情報処理表示デバイスは表示領域に表示領域の目印になるマーカー２０２を表示している。
重畳情報取得部１２０は、撮影画像１９１に重畳される重畳情報１９２を取得する。
不可領域選択部１３０は、撮影画像１９１に映っているマーカー２０２に基づいて撮影画像１９１から情報処理表示デバイスの表示領域が映っている画像領域を選択し、選択した画像領域を不可領域として示す不可領域情報１９３を生成する。
ＡＲ画像生成部１４０は、重畳情報１９２と不可領域情報１９３とに基づいて、ＡＲ画像１９４を生成する。ＡＲ画像１９４は、重畳情報１９２が不可領域以外の画像領域に重畳された撮影画像１９１である。
ＡＲ画像表示部１５０は、ＡＲ画像１９４をＡＲ表示デバイスに表示する。

装置記憶部１９０は、ＡＲ装置１００によって使用、生成または入出力されるデータを記憶する。
例えば、装置記憶部１９０は、撮影画像１９１、重畳情報１９２、不可領域情報１９３およびＡＲ画像１９４などを記憶する。

図３８は、実施の形態６におけるＡＲ装置１００のＡＲ処理を示すフローチャートである。
実施の形態６におけるＡＲ装置１００のＡＲ処理について、図３８に基づいて説明する。但し、ＡＲ処理は図３８と異なる処理であっても構わない。

図３８に示すＡＲ処理は、ＡＲ装置１００のカメラによって撮影画像１９１が生成される毎に実行される。

Ｓ１１０において、撮影画像取得部１１０は、ＡＲ装置１００のカメラによって生成された撮影画像１９１を取得する。
撮影画像１９１は、情報処理デバイスの表示領域にマーカー２０２を表示している情報処理デバイスを映している。
Ｓ１１０の後、処理はＳ１２０に進む。

図３９は、実施の形態６における撮影画像１９１の一例を示す図である。
例えば、撮影画像取得部１１０は、図３９に示すような撮影画像１９１を取得する。
撮影画像１９１は、タブレット型の情報処理装置２００と時計３１０とを含んだ撮影範囲を映している。
タブレット型の情報処理装置２００は表示デバイスを備えている。情報処理装置２００の表示デバイスはマーカー２０２が表示される表示領域２０１を備えている。
図３８に戻り、Ｓ１２０から説明を続ける。

Ｓ１２０において、重畳情報取得部１２０は、撮影画像１９１に重畳する重畳情報１９２を取得する。
例えば、重畳情報取得部１２０は、撮影画像１９１（図３９参照）から時計３１０を検出し、時計３１０に関連する重畳情報１９２を取得する。
重畳情報取得処理（Ｓ１２０）の詳細については、別の実施の形態で説明する。
Ｓ１２０の後、処理はＳ１３０に進む。但し、Ｓ１２０はＳ１３０の後に実行されても構わない。また、Ｓ１２０は、Ｓ１３０と並列に実行されても構わない。

Ｓ１３０において、不可領域選択部１３０は、撮影画像１９１からマーカー２０２を検出する。
不可領域選択部１３０は、検出したマーカー２０２の位置、形状および色などに基づいて、撮影画像１９１から情報処理装置２００の表示領域２０１が映っている画像領域を不可領域３９０として選択する。
そして、不可領域選択部１３０は、不可領域を示す不可領域情報１９３を生成する。

ウィンドウ３４０が表示されているウィンドウ領域にマーカー２０２が表示されている場合（図２１参照）、不可領域選択部１３０は、ウィンドウ３４０が映っている画像領域を不可領域３９０として選択する。

例えば、不可領域選択部１３０は、撮影画像１９１（図３９参照）からマーカー２０２１〜２０２８を検出し、検出したマーカー２０２１〜２０２８の形状および色に基づいて表示領域２０１を不可領域３９０として選択する。

表示領域２０１に表示されたマーカー２０２１〜２０２８のうちの一部のマーカーしか検出することができない場合、不可領域選択部１３０は、検出した一部のマーカーに基づいて不可領域３９０を選択する。
検出した一部のマーカーで閉じた画像領域を求めることができない場合、不可領域選択部１３０は、検出した一部のマーカーに基づいて不可領域３９０を選択しなくてもよい。

マーカー２０２が二次元コードである場合、不可領域選択部１３０は二次元コードに含まれる情報を読み取り、読み取った情報に基づいて不可領域３９０を選択する。

情報処理記憶部２９０は、マーカー２０２に基づいて不可領域３９０を選択するための選択規則を示す選択規則ファイルを記憶してもよい。
この場合、不可領域選択部１３０は、マーカー２０２と選択規則ファイルとに基づいて、不可領域３９０を選択する。
Ｓ１３０の後、処理はＳ１４０に進む。

図４０は、実施の形態６における撮影画像１９１に含まれる不可領域３９０の一例を示す図である。
不可領域選択部１３０は、撮影画像１９１（図３９参照）に映っているマーカー２０２１〜２０２８に基づいて情報処理装置２００の表示領域２０１（網掛け部分）を不可領域３９０として選択する。

図４１は、実施の形態６における撮影画像１９１に含まれる不可領域３９０の一例を示す図である。
撮影画像１９１から表示領域２０１に左上に表示されたマーカー２０２１しか検出することができない場合（図４１の上段参照）、不可領域選択部１３０は、マーカー２０２１から撮影画像１９１の端までの画像領域（網掛け部分）を不可領域３９０として選択する（図４１の下段参照）。
但し、不可領域選択部１３０は、マーカー２０２１だけで閉じた画像領域を求めることはできないため、マーカー２０２１を無視し、不可領域３９０を選択しなくてもよい。

図４２は、実施の形態６における不可領域３９０の一例を示す図である。
図４２において、マーカー２０２１Ａとマーカー２０２３Ａとが閉領域３９４１を形成し、マーカー２０２１Ｂとマーカー２０２３Ｂとが閉領域３９４２を形成している。さらに、マーカー２０２１Ａとマーカー２０２３Ｂとが閉領域３９４３を形成している。
このように、マーカー２０２から複数の閉領域３９４が求まる場合、不可領域選択部１３０は、小さな個々の閉領域３９４１・３９４２を不可領域３９０として選択してもよいし、個々の閉領域３９４１・３９４２を含む大きな閉領域３９４３を不可領域３９０として選択してもよい。
図３８に戻り、Ｓ１４０から説明を続ける。

Ｓ１４０において、ＡＲ画像生成部１４０は、重畳情報１９２と不可領域情報１９３とに基づいて、ＡＲ画像１９４を生成する。
ＡＲ画像１９４は、重畳情報１９２が不可領域を避けて重畳された撮影画像１９１である。
ＡＲ画像生成処理（Ｓ１４０）の詳細については、別の実施の形態で説明する。
Ｓ１４０の後、処理はＳ１５０に進む。

図４３は、実施の形態６におけるＡＲ画像１９４の一例を示す図である。
例えば、ＡＲ画像生成部１４０は、図４３に示すようなＡＲ画像１９４を生成する。
ＡＲ画像１９４は吹き出し形状の情報図３２０を含んでいる。情報図３２０は、時計３１０が示す現在時刻に近い時刻のスケジュール情報を重畳情報１９２として示している。情報図３２０はＣＧ（コンピュータグラフィックス）である。
図３８に戻り、Ｓ１５０から説明を続ける。

Ｓ１５０において、ＡＲ画像表示部１５０は、ＡＲ装置１００の表示デバイスにＡＲ画像１９４を表示する。
例えば、ＡＲ画像表示部１５０は、図１に示すようにＡＲ装置１００が備える表示デバイスの表示領域１０１に表示する。
Ｓ１５０の後、１つの撮影画像１９１に対するＡＲ処理は終了する。

図４４は、実施の形態６におけるＡＲ装置１００のハードウェア構成図である。
実施の形態６におけるＡＲ装置１００のハードウェア構成について、図４４に基づいて説明する。但し、ＡＲ装置１００のハードウェア構成は図４４に示す構成と異なる構成であってもよい。

ＡＲ装置１００は、情報処理装置２００（図１５参照）が備えるハードウェアと同様のハードウェアを備える。
バス８０１は、ＡＲ装置１００のハードウェアがデータを交換するために用いるデータ転送路である。
メモリ８０２は、ＡＲ装置１００のハードウェアによってデータが書き込まれ、または、データが読み出される揮発性の記憶装置である。
ストレージ８０３は、ＡＲ装置１００のハードウェアによってデータが書き込まれ、または、データが読み出される不揮発性の記憶装置である。
通信インタフェース８０４は、ＡＲ装置１００が外部のコンピュータとデータを交換するために用いる通信装置である。
ＣＰＵ８０５は、ＡＲ装置１００が行う処理（例えば、ＡＲ処理）を実行する演算装置である。
ＧＰＵ８０６は、コンピュータグラフィックス（ＣＧ）に関する処理を実行する演算装置である。
表示デバイス８０７は、ＣＧのデータを光学的な出力に変換する装置である。
ユーザインタフェースデバイス８０９は、ＡＲ装置１００を利用するユーザがＡＲ装置１００を操作するために用いる入力装置である。
センサ８１０は、ＡＲ装置１００または周辺の状況を検出するための計測装置である。

さらに、ＡＲ装置１００はカメラ８０８を備える。
カメラ８０８は、光学的な入力をデータに変換する装置である。つまり、カメラ８０８は、撮影によって画像を生成する撮影装置である。一つの画像は静止画という。また、時系列に連続する複数の静止画を動画または映像という。

「〜部」として説明している機能を実現するためのプログラムは、ストレージ８０３に記憶され、ストレージ８０３からメモリ８０２にロードされ、ＣＰＵ８０５によって実行される。

「〜の判断」、「〜の判定」、「〜の抽出」、「〜の検知」、「〜の設定」、「〜の登録」、「〜の選択」、「〜の生成」、「〜の入力」、「〜の出力」等の処理の結果を示す情報、データ、ファイル、信号値または変数値がメモリ８０２またはストレージ８０３に記憶される。

実施の形態６により、撮影画像１９１に映った情報処理装置２００の表示領域２０１を隠さずに撮影画像１９１に重畳情報１９２を表示することができる。

実施の形態７．
マーカーが表すウィンドウの重要度に基づいてウィンドウ領域を不可領域として選択するか判定する形態について説明する。
以下、実施の形態１から実施の形態６で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態６と同様である。

ＡＲ装置１００の機能構成は、実施の形態６（図３７参照）と同様である。
但し、重畳情報取得部１２０は、重畳情報１９２と共に重畳情報１９２の重要度を取得する。
また、不可領域選択部１３０は、不可領域３９０毎に、不可領域３９０に映っているウィンドウ３４０に重畳されているマーカー２０２の形状および色などに基づいて、ウィンドウ３４０の重要度を特定する。
そして、ＡＲ画像生成部１４０は、重畳情報１９２毎に、重畳情報１９２の重要度よりも高い重要度のウィンドウ３４０が映っている不可領域３９０を避けて、重畳情報１９２を撮影画像１９１に重畳する。つまり、ＡＲ画像生成部１４０は、重畳情報１９２の重要度よりも低い重要度のウィンドウ３４０が映っている不可領域３９０に、重畳情報１９２を重畳しても構わない。

実施の形態７により、重要な重畳情報１９２を重要でないウィンドウ３４０が示す情報よりも優先して表示することができる。例えば、重要でないウィンドウ３４０が映っている画像領域を避けた結果、重要な重畳情報１９２を表示することができる画像領域が見つからず、重要な重畳情報１９２を表示することができない、といった事象を防ぐができる。

実施の形態８．
重畳情報取得部１２０が、表示領域に表示されている情報処理画像に関する情報を重畳情報１９２として取得する形態について説明する。
以下、実施の形態１から実施の形態７で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態７と同様である。

図４５は、実施の形態８における重畳情報取得部１２０の機能構成図である。
実施の形態８における重畳情報取得部１２０の機能構成について、図４５に基づいて説明する。但し、重畳情報取得部１２０の機能構成は図４５と異なる機能構成であっても構わない。

重畳情報取得部１２０は、物体検出部１２１と、物体特定部１２２と、重畳情報収集部１２３と、不可領域解析部１２４とを備える。

物体検出部１２１は、撮影画像１９１に映っている物体を撮影画像１９１から検出する。言い換えると、物体検出部１２１は、物体が映っている物体領域を撮影画像１９１から検出する。
例えば、物体検出部１２１は、撮影画像１９１（図３９参照）に映っている時計３１０を、撮影画像１９１から検出する。

例えば、物体検出部１２１は、マーカー方式またはマーカーレス方式によって、撮影画像１９１から物体を検出する。

マーカー方式は、物体（物体の画像を含む）に付加されたマーカーを撮影画像１９１から検出することによって、マーカーが付加された物体を検出する方式である。マーカーは、バーコードのような特殊な図柄である。マーカーは物体に関する物体情報に基づいて生成される。物体情報は物体の種別を表す種別情報、物体の位置を表す座標値および物体の大きさを表すサイズ情報などを含む。

マーカーレス方式は、幾何学的または光学的な特徴量を撮影画像１９１から抽出し、抽出した特徴量に基づいて物体を検出する方式である。物体の形状、色彩および輝度を表す量は、物体の特徴を表す特徴量の一例である。また、物体に記された文字および記号は、物体の特徴を表す特徴量の一例である。
例えば、物体検出部１２１は、撮影画像１９１に映っている物体の形状を表すエッジを抽出し、抽出したエッジによって囲まれた物体領域を検出する。つまり、物体検出部１２１は、抽出したエッジが境界線になる物体領域を検出する。

物体特定部１２２は、物体検出部１２１によって検出された物体の種別を特定する。また、物体特定部１２２は、物体検出部１２１によって検出された物体の種別を表す種別情報を取得する。
例えば、種別情報はＪＳＯＮ形式で記述される。ＪＳＯＮはＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎの略称である。ＪａｖａおよびＪａｖａＳｃｒｉｐｔは登録商標である。

例えば、物体特定部１２２は、撮影画像１９１（図３９参照）から検出された物体の形状、文字盤、時針、分針および秒針などに基づいて、検出された物体が時計３１０であると特定する。

例えば、マーカー方式によって物体が検出された場合、物体特定部１２２は、物体の種別情報をマーカーから読み取る。

例えば、マーカーレス方式によって物体が検出された場合、物体特定部１２２は、検出された物体の特徴量を用いて、物体の種別情報を種別情報データベースから取得する。種別情報データベースは、物体の特徴量に物体の種別情報を関連付けたデータベースである。種別情報データベースは、物体の特徴量を機械学習することによって生成される。種別情報データベースは、別のコンピュータが備える外部のデータベースとＡＲ装置１００が備える内部のデータベースとのいずれであっても構わない。

重畳情報収集部１２３は、物体特定部１２２によって特定された物体の種別に基づいて、物体に関する物体情報を重畳情報１９２として取得する。例えば、物体情報はＪＳＯＮ形式で記述される。
但し、重畳情報収集部１２３は、物体情報以外の情報を重畳情報１９２として取得しても構わない。例えば、重畳情報収集部１２３は、現在の日時、位置、気候などに関する情報を重畳情報１９２として取得しても構わない。

例えば、マーカー方式によって物体が検出された場合、重畳情報収集部１２３は、物体情報をマーカーから読み取る。

例えば、マーカーレス方式によって物体が検出された場合、重畳情報収集部１２３は、物体の種別情報を用いて、物体情報またはＵＲＩを物体情報データベースから取得する。物体情報データベースは、種別情報に物体情報またはＵＲＩを関連付けたデータベースである。物体情報データベースは、外部のデータベースと内部のデータベースとのいずれであっても構わない。ＵＲＩはＵｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒの略称である。ＵＲＩはＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）と読み替えても構わない。
物体情報データベースからＵＲＩが取得された場合、重畳情報収集部１２３は、ＵＲＩが示す記憶領域から物体情報を取得する。ＵＲＩが示す記憶領域は別のコンピュータが備える記憶装置とＡＲ装置１００が備える記憶装置とのいずれの記憶装置に備わる記憶領域であっても構わない。

不可領域解析部１２４は、不可領域情報１９３に基づいて、不可領域３９０に映っている情報処理画像３００を解析する。
例えば、不可領域解析部１２４は、情報処理画像３００を解析することによって、アイコンを情報処理画像３００から検出する。
アイコンは電子ファイル（アプリケーションプログラムを含む）にリンクされる。アイコンはリンクされた電子ファイルの内容を表す絵であり、その絵に文字列が付記される場合もある。

重畳情報収集部１２３は、情報処理画像３００の解析結果に基づいて、情報処理画像３００に関する情報を重畳情報１９２として収集する。
例えば、重畳情報収集部１２３は、情報処理画像３００から検出されたアイコンによって識別される電子ファイルに関する情報を重畳情報１９２として収集する。アプリケーションプログラムは電子ファイルの一例である。
例えば、重畳情報収集部１２３は、アイコンにアプリケーション情報を関連付けたアプリケーション情報データベースから、アプリケーション情報を収集する。アプリケーション名およびバージョン番号は、アプリケーション情報に含まれる情報の一例である。アプリケーション情報データベースは、情報処理装置２００に備わるデータベースと、ＡＲ装置１００に備わるデータベースと、その他のコンピュータに備わるデータベースとのいずれであっても構わない。

図４６は、実施の形態８におけるＡＲ画像１９４の一例を示す図である。
図４６において、ＡＲ画像１９４は、アプリケーション情報およびアップデート情報を重畳情報１９２として示す情報図３２１を含んでいる。アップデート情報はアプリケーションプログラムのアップデートの有無を示す情報である。
例えば、不可領域解析部１２４は、情報処理画像３００から四角形のアイコンを検出する。
そして、重畳情報収集部１２３は、検出されたアイコンによって識別されるアプリケーションプログラムに関するアプリケーション情報をアプリケーション情報データベースから取得する。さらに、重畳情報収集部１２３は、取得したアプリケーション情報に含まれるアプリケーション名およびバージョン番号を用いて、アプリケーション管理サーバからアップデート情報を取得する。アプリケーション管理サーバはアプリケーションプログラムを管理するためのサーバである。

実施の形態８により、被写体の表示デバイスの表示領域に表示されている画像に関する重畳情報１９２を取得することができる。

実施の形態９．
ＡＲ装置１００のＡＲ画像生成部１４０について説明する。
以下、実施の形態１から実施の形態８で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態８と同様である。

図４７は、実施の形態９におけるＡＲ画像生成部１４０の機能構成図である。
実施の形態９におけるＡＲ画像生成部１４０の機能構成について、図４７に基づいて説明する。但し、ＡＲ画像生成部１４０の機能構成は図４７と異なる機能構成であっても構わない。

ＡＲ画像生成部１４０は、情報画像生成部１４１と、情報画像重畳部１４６とを備える。
情報画像生成部１４１は、重畳情報１９２が記された情報図３２０を含んだ情報画像３２９を生成する。
情報画像重畳部１４６は、情報画像３２９を撮影画像１９１に重畳することによって、ＡＲ画像１９４を生成する。

情報画像生成部１４１は、情報部分生成部１４２と、情報部分配置判定部１４３と、引き出し部分生成部１４４と、情報図配置部１４５とを備える。
情報部分生成部１４２は、情報図３２０のうちの重畳情報１９２を示す情報部分図３２２を生成する。
情報部分配置判定部１４３は、不可領域情報１９３に基づいて、不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することができるか判定する。不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することができない場合、情報部分生成部１４２は情報部分図３２２を生成し直す。
引き出し部分生成部１４４は、重畳情報１９２に関連する物体が映っている物体領域に情報部分図３２２を関連付ける図である引き出し図３２３を生成する。
情報図配置部１４５は、情報部分図３２２と引き出し図３２３とを含んだ情報図３２０が不可領域３９０を避けて配置された情報画像３２９を生成する。

図４８は、実施の形態９におけるＡＲ画像生成部１４０のＡＲ画像生成処理を示すフローチャートである。
実施の形態９におけるＡＲ画像生成部１４０のＡＲ画像生成処理について、図４８に基づいて説明する。但し、ＡＲ画像生成処理は図４８と異なる処理であっても構わない。

Ｓ１４１において、情報部分生成部１４２は、重畳情報１９２の内容を表す図である情報部分図３２２を生成する。複数の重畳情報１９２がある場合、情報部分生成部１４２は、重畳情報１９２毎に情報部分図３２２を生成する。
Ｓ１４１の後、処理はＳ１４２に進む。

図４９は、実施の形態９における情報部分図３２２の一例を示す図である。
例えば、情報部分生成部１４２は、図４９に示すような情報部分図３２２を生成する。情報部分図３２２は、重畳情報１９２の内容を表す文字列を枠で囲ったものである。
図４８に戻り、Ｓ１４２から説明を続ける。

Ｓ１４２において、情報部分配置判定部１４３は、不可領域情報１９３に基づいて、不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することができるか判定する。複数の情報部分図３２２がある場合、情報部分配置判定部１４３は情報部分図３２２毎に判定を行う。
情報部分図３２２を撮影画像１９１のどこに配置しても情報部分図３２２が不可領域３９０に重なってしまう場合、不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することはできない。
但し、情報部分配置判定部１４３は、重畳情報１９２の重要度よりも重要度が低いウィンドウ３４０が映っている不可領域３９０を除いて、残りの不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することができるか判定してもよい。
不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することができる場合（ＹＥＳ）、処理はＳ１４３に進む。
不可領域３９０を避けて情報部分図３２２を撮影画像１９１に配置することができない場合（ＮＯ）、処理はＳ１４１に戻る。

処理がＳ１４１に戻った場合、情報部分生成部１４２は情報部分図３２２を生成し直す。
例えば、情報部分生成部１４２は、情報部分図３２２を変形、または、情報部分図３２２を縮小する。

図５０は、実施の形態９における情報部分図３２２の変更例を示す図である。
例えば、情報部分生成部１４２は、情報部分図３２２（図４９参照）を図５０の（１）から（４）に示すように生成し直す。
図５０の（１）において、情報部分生成部１４２は、情報部分図３２２の縦横の比率を変更することによって、情報部分図３２２を変形する。
図５０の（２）において、情報部分生成部１４２は、文字列の周囲の空白（情報部分図３２２に含まれる空白）を削除することによって、情報部分図３２２を縮小する。
図５０の（３）において、情報部分生成部１４２は、文字列の一部を変更または削除することによって、情報部分図３２２を縮小する。
図５０の（４）において、情報部分生成部１４２は、文字列の文字のサイズを小さくすることによって、情報部分図３２２を縮小する。
情報部分図３２２が３次元で表現された図である場合、情報部分生成部１４２は、情報部分図３２２を２次元の図に変更することによって、情報部分図３２２を縮小してもよい。例えば、情報部分図３２２が影付きの図である場合、情報部分生成部１４２は、情報部分図３２２から影の部分を削除する。
図４８に戻り、Ｓ１４３から説明を続ける。

Ｓ１４３において、情報部分配置判定部１４３は、情報部分図３２２を配置することができる配置領域を示す配置領域情報を生成する。複数の情報部分図３２２がある場合、情報部分配置判定部１４３は、情報部分図３２２毎に配置領域情報を生成する。
情報部分図３２２を配置することができる配置領域の候補が複数ある場合、情報部分配置判定部１４３は、物体領域情報に基づいて、配置領域を選択する。
物体領域情報は、情報部分図３２２に関連する物体が映っている物体領域を示す情報である。物体領域情報は、重畳情報取得部１２０の物体検出部１２１によって生成することができる。
例えば、情報部分配置判定部１４３は、物体領域情報が示す物体領域に最も近い配置領域の候補を配置領域として選択する。
例えば、複数の情報部分図３２２が存在する場合、情報部分配置判定部１４３は、情報部分図３２２毎に、他の情報部分図３２２と重ならない配置領域の候補を配置領域として選択する。
Ｓ１４３の後、処理はＳ１４４に進む。

Ｓ１４４において、引き出し部分生成部１４４は、配置領域情報と物体領域情報とに基づいて、情報部分図３２２を物体領域に関連付ける図である引き出し図３２３を生成する。
これにより、情報部分図３２２と引き出し図３２３とを含んだ情報図３２０が生成される。
Ｓ１４４の後、処理はＳ１４５に進む。

図５１は、実施の形態９における情報図３２０の一例を示す図である。
例えば、引き出し部分生成部１４４は、引き出し図３２３を生成することによって、図５１に示すような情報図３２０を生成する。
引き出し部分生成部１４４は、情報部分図３２２と引き出し図３２３との境が分からないように、引き出し図３２３を情報部分図３２２と一体に生成しても構わない。
引き出し図３２３の形状は三角形に限られず、矢印または単なる線（直線、曲線）などであっても構わない。

引き出し部分生成部１４４は、物体領域と配置領域との距離が引き出し閾値未満である場合、引き出し図３２３を生成しなくても構わない。つまり、配置領域が物体領域に近い場合、引き出し部分生成部１４４は引き出し図３２３を生成しなくても構わない。この場合、情報図３２０は引き出し図３２３を含まない。
図４８に戻り、Ｓ１４５から説明を続ける。

Ｓ１４５において、情報図配置部１４５は、情報図３２０を配置領域に配置した情報画像３２９を生成する。
Ｓ１４５の後、処理はＳ１４６に進む。

図５２は、実施の形態９における情報画像３２９の一例を示す図である。
例えば、情報図配置部１４５は、図５２に示すように、情報図３２０が配置された情報画像３２９を生成する。
図４８に戻り、Ｓ１４６から説明を続ける。

Ｓ１４６において、情報画像重畳部１４６は、情報画像３２９を撮影画像１９１に重畳することによって、ＡＲ画像１９４を生成する。
例えば、情報画像重畳部１４６は、情報画像３２９（図５２参照）を撮影画像１９１（図３９参照）に重畳することによって、ＡＲ画像１９４（図４３参照）を生成する。
Ｓ１４６の後、ＡＲ画像生成処理は終了する。

実施の形態９により、不可領域（例えば、重要なウィンドウが映っている不可領域）を避けて重畳情報を撮影画像に重畳表示することができる。

実施の形態１０．
検出済みの表示領域２０１を除外して撮影画像１９１から新たな表示領域２０１を選択する形態について説明する。
以下、実施の形態１から実施の形態９で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態９と同様である。

図５３は、実施の形態１０におけるＡＲ装置１００の機能構成図である。
実施の形態１０におけるＡＲ装置１００の機能構成について、図５３に基づいて説明する。但し、ＡＲ装置１００の機能構成は図５３と異なる構成であっても構わない。

ＡＲ装置１００は、実施の形態６（図３７参照）で説明した機能に加えて、除外領域選択部１６０と表示領域モデル生成部１７０とを備える。

表示領域モデル生成部１７０は、撮影情報１９５と不可領域情報１９３とに基づいて、表示領域２０１を三次元で表した表示領域モデル１９７を生成する。表示領域モデル１９７は、三次元モデルまたは三次元平面モデルともいう。
撮影情報１９５は、撮影画像１９１が撮影されたときのカメラの位置情報、方位情報および撮影範囲情報などを含んだ情報である。位置情報はカメラの位置を示す情報である。方位情報はカメラの向きを示す情報である。撮影範囲情報は、画角または焦点距離など、撮像範囲を示す情報である。撮影情報１９５は、撮影画像取得部１１０によって撮影画像１９１と共に取得される。

除外領域選択部１６０は、撮影情報１９５に基づいて、表示領域モデル１９７が表す表示領域２０１を新たな撮影画像１９１から選択する。選択された表示領域２０１は、不可領域選択部１３０の処理から除外される除外領域３９８である。
除外領域選択部１６０は、除外領域３９８を示す除外領域情報１９６を生成する。

不可領域選択部１３０は、除外領域情報１９６に基づいて新たな撮影画像１９１から除外領域３９８を除外し、残りの画像部分から新たな不可領域３９０を選択し、新たな不可領域情報１９３を生成する。

ＡＲ画像生成部１４０は、除外領域情報１９６と新たな不可領域情報１９３とに基づいて、ＡＲ画像１９４を生成する。

図５４は、実施の形態１０におけるＡＲ装置１００のＡＲ処理を示すフローチャートである。
実施の形態１０におけるＡＲ装置１００のＡＲ処理について、図５４に基づいて説明する。但し、ＡＲ処理は図５４と異なる処理であっても構わない。

Ｓ１１０において、撮影画像取得部１１０は、他の実施の形態と同様に、撮影画像１９１を取得する。
但し、撮影画像取得部１１０は、撮影画像１９１と共に、撮影情報１９５を取得する。
例えば、撮影画像取得部１１０は、撮影画像１９１が撮影されたときのカメラ８０８の位置情報、方位情報および撮影範囲情報を、ＧＰＳ、磁気センサおよびカメラ８０８から取得する。ＧＰＳおよび磁気センサは、ＡＲ装置１００が備えるセンサ８１０の一例である。
Ｓ１１０の後、処理はＳ１２０に進む。

Ｓ１２０において、重畳情報取得部１２０は、他の実施の形態と同様に、重畳情報１９２を取得する。
Ｓ１２０の後、処理はＳ１９１に進む。但し、Ｓ１９０は、Ｓ１９１が実行されるときからＳ１４０が実行されるときまでの間に実行されても構わない。

Ｓ１９０において、除外領域選択部１６０は、撮影情報１９５と表示領域モデル１９７とに基づいて、除外領域情報１９６を生成する。
Ｓ１９０の後、処理はＳ１３０に進む。

図５５は、実施の形態１０における除外領域３９８の位置関係を示す図である。
図５５において、除外領域選択部１６０は、撮影情報１９５に示されるカメラ８０８の位置、向きおよび画角に基づいて、画像平面３９９を生成する。画像平面３９９は、カメラ８０８の撮影範囲に含まれる平面である。撮影画像１９１は、物体が射影された画像平面３９９に相当するものである。
除外領域選択部１６０は、表示領域モデル１９７に基づいて、表示領域２０１を画像平面３９９に射影する。
そして、除外領域選択部１６０は、画像平面３９９に投影された表示領域２０１を除外領域３９８として示す除外領域情報１９６を生成する。
図５４に戻り、Ｓ１３０から説明を続ける。

Ｓ１３０において、不可領域選択部１３０は、他の実施の形態と同様に、不可領域情報１９３を生成する。
但し、不可領域選択部１３０は、除外領域情報１９６に基づいて撮影画像１９１から除外領域３９８を除外し、残りの画像部分から不可領域３９０を選択し、選択した不可領域３９０を示す不可領域情報１９３を生成する。
Ｓ１３０の後、処理はＳ１９１に進む。

Ｓ１９１において、表示領域モデル生成部１７０は、撮影情報１９５と不可領域情報１９３とに基づいて、撮影範囲に存在する表示領域２０１を三次元で表す表示領域モデル１９７を生成する。
例えば、表示領域モデル生成部１７０は、今回の撮影情報１９５と前回以前の撮影情報１９５とを用いて、ＳＦＭという技術によって、表示領域モデル１９７を生成する。ＳＦＭは、複数の画像を用いて、画像に映っている物体の３次元の形状およびカメラとの位置関係を同時に復元する技術である。ＳＦＭは、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎの略称である。
例えば、表示領域モデル生成部１７０は、非特許文献１に開示されている技術を用いて、表示領域モデル１９７を生成する。
Ｓ１９１の後、処理はＳ１４０に進む。

Ｓ１４０において、ＡＲ画像生成部１４０は、他の実施の形態と同様に、重畳情報１９２と不可領域情報１９３とに基づいてＡＲ画像１９４を生成する。
Ｓ１４０の後、処理はＳ１５０に進む。

Ｓ１５０において、ＡＲ画像表示部１５０は、他の実施の形態と同様に、ＡＲ画像１９４を表示する。
Ｓ１５０の後、１つの撮影画像１９１に対するＡＲ処理は終了する。

実施の形態１０により、検出済みの表示領域２０１を除外して撮影画像１９１から新たな表示領域２０１を選択することができる。つまり、検出済みの表示領域２０１を処理の対象外にして処理負荷を軽減することができる。

実施の形態１１．
情報処理装置２００が、ＡＲ装置１００によって検出されたマーカー２０２を表示領域２０１から消去する形態について説明する。
以下、実施の形態１から実施の形態１０で説明していない事項について主に説明する。説明を省略する事項については実施の形態１から実施の形態１０と同様である。

図５６は、実施の形態１１におけるＡＲ装置１００の機能構成図である。
実施の形態１１におけるＡＲ装置１００の機能構成について、図５６に基づいて説明する。但し、ＡＲ装置１００の機能構成は図５６と異なる機能構成であっても構わない。

ＡＲ装置１００は、実施の形態１０（図５３参照）で説明した機能に加えて、マーカー不要通知部１８０を備える。

表示領域モデル生成部１７０が表示領域モデル１９７を生成した後、表示領域２０１に表示されているマーカー２０２はＡＲ装置１００にとって不要になる。
そこで、マーカー不要通知部１８０は、表示領域モデル生成部１７０が表示領域モデル１９７を生成した後、マーカー不要通知を情報処理装置２００に送信する。

図５７は、実施の形態１１における情報処理装置２００の機能構成図である。
実施の形態１１における情報処理装置２００の機能構成について、図５７に基づいて説明する。但し、情報処理装置２００の機能構成は図５７と異なる機能構成であっても構わない。

情報処理装置２００は、実施の形態１（図２参照）で説明した機能に加えて、マーカー消去部２７０を備える。
なお、情報処理装置２００は、他の実施の形態で説明したように、ウィンドウ情報取得部２５０（図１７参照）、重要ウィンドウ選択部２５１（図２２参照）、ウィンドウ管理部２５２（図２２参照）、ウィンドウ合成部２６０（図２７、図３５参照）を備えてもよい。

マーカー消去部２７０は、ＡＲ装置１００から送信されたマーカー不要通知を受信した後、マーカー重畳画像２９３からマーカー２０２を消去する。
つまり、マーカー消去部２７０は、マーカー重畳画像２９３の代わりに情報処理画像２９２を表示する。

但し、情報処理装置２００の周囲に情報処理装置２００を映した撮影画像を表示している複数のＡＲ装置１００が存在する可能性がある。
そこで、マーカー消去部２７０は、情報処理装置２００の周囲に存在する全てのＡＲ装置１００からマーカー不要通知を受信した後に、マーカー２０２を消去してもよい。例えば、マーカー消去部２７０は、無線通信の通信範囲内に存在する全てのＡＲ装置１００からマーカー不要通知を受信した後に、マーカー２０２を消去する。

実施の形態１１により、情報処理装置２００は、不要になったマーカー２０２を消去して、表示領域２０１の視認性を向上させることができる。

各実施の形態は、情報処理装置２００およびＡＲ装置１００の形態の一例である。
つまり、情報処理装置２００およびＡＲ装置１００は、各実施の形態で説明した構成要素の一部を備えなくても構わない。また、情報処理装置２００およびＡＲ装置１００は、各実施の形態で説明していない構成要素を備えても構わない。さらに、情報処理装置２００およびＡＲ装置１００は、各実施の形態の構成要素の一部または全てを組み合わせたものであっても構わない。

各実施の形態においてフローチャート等を用いて説明した処理手順は、各実施の形態に係る方法およびプログラムの処理手順の一例である。各実施の形態に係る方法およびプログラムは、各実施の形態で説明した処理手順と一部異なる処理手順で実現されても構わない。

各実施の形態において「〜部」は「〜処理」「〜工程」「〜プログラム」「〜装置」と読み替えることができる。各実施の形態において、図中の矢印はデータまたは処理の流れを主に表している。

１００ ＡＲ装置、１０１ 表示領域、１０９ ＡＲシステム、１１０ 撮影画像取得部、１２０ 重畳情報取得部、１２１ 物体検出部、１２２ 物体特定部、１２３ 重畳情報収集部、１２４ 不可領域解析部、１３０ 不可領域選択部、１４０ ＡＲ画像生成部、１４１ 情報画像生成部、１４２ 情報部分生成部、１４３ 情報部分配置判定部、１４４ 引き出し部分生成部、１４５ 情報図配置部、１４６ 情報画像重畳部、１５０ ＡＲ画像表示部、１６０ 除外領域選択部、１７０ 表示領域モデル生成部、１８０ マーカー不要通知部、１９０ 装置記憶部、１９１ 撮影画像、１９２ 重畳情報、１９３ 不可領域情報、１９４ ＡＲ画像、１９５ 撮影情報、１９６ 除外領域情報、１９７ 表示領域モデル、２００ 情報処理装置、２０１ 表示領域、２０２ マーカー、２０３ 黒領域、２０４ 白領域、２０５ 垂線ベクトル、２０６ 延長線、２０７ 対角線ベクトル、２１０ マーカー画像生成部、２２０ 情報処理画像生成部、２３０ マーカー重畳画像生成部、２４０ マーカー重畳画像表示部、２５０ ウィンドウ情報取得部、２５１ 重要ウィンドウ選択部、２５２ ウィンドウ管理部、２６０ ウィンドウ合成部、２７０ マーカー消去部、２９０ 情報処理記憶部、２９１ マーカー画像、２９２ 情報処理画像、２９３ マーカー重畳画像、２９４ ウィンドウ情報、２９５ 重要度テーブル、２９６ 重要ウィンドウリスト、２９７ 合成情報、３１０ 時計、３２０ 情報図、３２１ 情報図、３２２ 情報部分図、３２３ 引き出し図、３２９ 情報画像、３４０ ウィンドウ、３５０ 合成領域、３９０ 不可領域、３９４ 閉領域、３９８ 除外領域、３９９ 画像平面、８０１ バス、８０２ メモリ、８０３ ストレージ、８０４ 通信インタフェース、８０５ ＣＰＵ、８０６ ＧＰＵ、８０７ 表示デバイス、８０８ カメラ、８０９ ユーザインタフェースデバイス、８１０ センサ。

Claims (17)

1. 表示領域を有する表示デバイスが映った撮影画像を取得したコンピュータに前記撮影画像から前記表示領域を選択させるために決められたマーカーを、前記表示デバイスの前記表示領域に表示するマーカー表示部
   を備えることを特徴とする情報処理装置。
2. 前記表示領域は多角形の領域であり、
   前記表示領域の角に配置されるマーカーを角マーカーとして生成するマーカー生成部を備える
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記マーカー生成部は、第一の色で着色されて前記表示領域の角に接するＬ字形の図と、前記Ｌ字形の図に接する二つの辺を有して第二の色で着色される多角形の図と、を含んだマーカーを前記角マーカーとして生成する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記マーカー生成部は、前記表示領域が有するいずれかの角に配置されて配置される角を特定する情報を含んだ二次元コードを前記角マーカーとして生成する
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記表示領域は多角形の領域であり、
   前記表示領域の辺に沿って配置されるマーカーを辺マーカーとして生成するマーカー生成部を備える
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記マーカー生成部は、第一の色で着色されて前記表示領域の辺に接する線形状の図と、前記線形状の図に接する辺を有して第二の色で着色される多角形の図と、を含んだマーカーを前記辺マーカーとして生成する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記マーカー生成部は、前記表示領域が有するいずれかの辺に接して接する辺を特定する情報を含んだ二次元コードを前記辺マーカーとして生成する
   ことを特徴とする請求項５に記載の情報処理装置。
8. 前記表示領域の大きさに基づいて前記マーカーの個数と前記マーカーが配置される位置とを決定するマーカー生成部を備える
   ことを特徴とする請求項１に記載の情報処理装置。
9. 前記情報処理装置は、前記表示領域に表示されるウィンドウを生成するウィンドウ生成部を備え、
   前記マーカー表示部は、前記ウィンドウ生成部によって生成される前記ウィンドウが表示されるウィンドウ領域の縁に沿って、前記ウィンドウ領域に前記マーカーを表示する
   ことを特徴とする請求項１に記載の情報処理装置。
10. 前記情報処理装置は、重要ウィンドウ選択部を備え、
    前記ウィンドウ生成部は、重要度が対応付けられた複数のウィンドウを生成し、
    前記重要ウィンドウ選択部は、前記ウィンドウ生成部によって生成された前記複数のウィンドウから、少なくともいずれかのウィンドウを、前記複数のウィンドウのそれぞれの重要度に基づいて重要ウィンドウとして選択し、
    前記マーカー表示部は、前記重要ウィンドウ選択部によって選択された前記重要ウィンドウが表示される領域を前記ウィンドウ領域として、前記ウィンドウ領域に前記マーカーを表示する
    ことを特徴とする請求項９に記載の情報処理装置。
11. 前記ウィンドウ生成部によって生成される前記ウィンドウの重要度を表す図を前記マーカーとして生成するマーカー生成部を備える
    ことを特徴とする請求項９に記載の情報処理装置。
12. 前記情報処理装置は、
    前記表示領域に表示される複数のウィンドウを生成するウィンドウ生成部と、
    前記ウィンドウ生成部によって生成された前記複数のウィンドウのそれぞれが表示されるウィンドウ領域を含んだ合成領域を算出するウィンドウ合成部とを備え、
    前記マーカー表示部は、前記ウィンドウ合成部によって算出された前記合成領域の縁に沿って、前記合成領域に前記マーカーを表示する
    ことを特徴とする請求項１に記載の情報処理装置。
13. 前記コンピュータから送信されるマーカー不要通知を受信した場合に前記表示デバイスの前記表示領域から消去するマーカー消去部を備える
    ことを特徴とする請求項１に記載の情報処理装置。
14. 目印になるマーカーが表示される情報処理表示領域を有する情報処理表示デバイスを映した撮影画像を取得する撮影画像取得部と、
    前記撮影画像取得部によって取得された前記撮影画像に重畳する情報を重畳情報として取得する重畳情報取得部と、
    前記撮影画像取得部によって取得された前記撮影画像に映った前記マーカーに基づいて、前記撮影画像から前記情報処理表示領域を不可領域として選択する不可領域選択部と、
    前記重畳情報取得部によって取得された前記重畳情報を、前記不可領域選択部によって選択された前記不可領域を避けて、前記撮影画像に重畳することによって、情報重畳画像を生成する情報重畳画像生成部と、
    前記情報重畳画像生成部によって生成された前記情報重畳画像を、表示領域として本体表示領域を有する本体表示デバイスの前記本体表示領域に表示する情報重畳画像表示部と
    を備えることを特徴とする情報重畳画像表示装置。
15. 前記情報処理表示デバイスは、前記情報処理表示領域のうちのウィンドウが表示されるウィンドウ領域に、前記ウィンドウの重要度を表す図を前記マーカーとして表示し、
    前記重畳情報取得部は、前記重畳情報の重要度を取得し、
    前記情報重畳画像生成部は、前記重畳情報の重要度と前記マーカーが表す前記ウィンドウの重要度とに基づいて、前記マーカーに基づいて選択された前記不可領域を避けて前記重畳情報を重畳するか判定する
    ことを特徴とする請求項１４に記載の情報重畳画像表示装置。
16. 表示領域を有する表示デバイスが映った撮影画像を取得したコンピュータに前記撮影画像から前記表示領域を選択させるために、前記表示領域の目印として決められたマーカーを、前記表示デバイスの前記表示領域に表示するマーカー表示処理
    をコンピュータに実行させるためのマーカー表示プログラム。
17. 目印になるマーカーが表示される情報処理表示領域を有する情報処理表示デバイスを映した撮影画像を取得する撮影画像取得処理と、
    前記撮影画像取得処理によって取得された前記撮影画像に重畳する情報を重畳情報として取得する重畳情報取得処理と、
    前記撮影画像取得処理によって取得された前記撮影画像に映った前記マーカーに基づいて、前記撮影画像から前記情報処理表示領域を不可領域として選択する不可領域選択処理と、
    前記重畳情報取得処理によって取得された前記重畳情報を、前記不可領域選択処理によって選択された前記不可領域を避けて、前記撮影画像に重畳することによって、情報重畳画像を生成する情報重畳画像生成処理と、
    前記情報重畳画像生成処理によって生成された前記情報重畳画像を、表示領域として本体表示領域を有する本体表示デバイスの前記本体表示領域に表示する情報重畳画像表示処理と
    をコンピュータに実行させるための情報重畳画像表示プログラム。

Images