JP6512829B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、コンピュータのＧＵＩ（グラフィカルユーザインターフェース）を用いて、デスクトップ画面上の電子的なオブジェクト同士を作用させる技術が知られている。このようなＧＵＩの操作としては、例えば、一方の電子文書中の文章を選択し、他方の電子文書に貼りつける、いわゆるコピーアンドペースト等の操作が挙げられる。

また近年では、撮像装置により得られる画像に対し、仮想的な情報や画像を重畳して表示させることで現実を拡張する、拡張現実（ＡＲ：Augmented Reality）技術が開発されている。例えば、撮影された画像中の特定の物理的なオブジェクトに対し、予め対応付けておいた動画等のＡＲコンテンツを、オブジェクトの位置に合わせて重畳表示する技術が知られている。さらに、この技術を用い、従来デスクトップ画面上に限定されていたオブジェクト同士の作用を現実空間でも可能とする技術も提案されている。特許文献１には、プロジェクタとカメラにより拡張されたデジタル作業空間において、電子的なオブジェクトを、物理的なオブジェクトにドラッグアンドドロップすることでリンク付けする技術が開示されている。特許文献２には、現実空間内の機器を含む画像から、ユーザにより指定された機器を特定し、プロジェクタ等に選択された機器を表示し、該機器の機能を実行することにより、離れていても機器の操作を可能とする技術が開示されている。特許文献３には、コピーマーカの位置を利用して物理的なオブジェクトを削除するための模様を現実空間から取得し、ペーストマーカで指定された物理的なオブジェクトに対し、該模様を合成する技術が開示されている。これにより、あたかも物理的なオブジェクトが消去されたかのように見せることができる。

特開２００１−１７５３７４号公報 特開２０１３−１１４４６６号公報 特開２０１０−３３３９７号公報

しかしながら、特許文献１、特許文献２に記載されている技術においては、プロジェクタとカメラにより拡張されたデジタル作業空間を要するため、様々な場面で利用することが難しいという問題がある。また特許文献３に記載されている技術においては、予めコピーしたい模様のある現実空間上の場所と、ペースト先の物理的なオブジェクトにマーカを配置しなければならず、その準備が煩雑であるという問題がある。

本発明はこのような問題点に鑑みなされたもので、煩雑な作業を要することなく、撮影画像から得られたオブジェクトを他のオブジェクトに関連付けることを目的とする。

そこで、本発明は、情報処理装置であって、撮影手段により撮影された第１の解像度の撮影画像を表示手段に表示する表示処理手段と、前記撮影画像に示される第１のオブジェクトの第１の選択指示を受け付け、さらに第２のオブジェクトの位置を指定する第２の選択指示を受け付ける受付手段と、前記撮影手段により撮影された撮影画像から、前記第１のオブジェクトのオブジェクト画像を抽出する抽出手段と、前記抽出手段により抽出された前記オブジェクト画像を、前記第２のオブジェクトを含む画像の指定された前記位置に対応する位置に関連付けて記録させる関連付け手段とを有することを特徴とする。

本発明によれば、煩雑な作業を要することなく、撮影画像から得られたオブジェクトを他のオブジェクトに関連付けることができる。

画像処理装置のハードウェア構成を示す図である。 画像処理装置の外観図である。 画像処理装置のソフトウェア構成を示す図である。 第２オブジェクトの一例を示す図である。 マーカ情報の一例を示す図である。 電子文書の一例を示す図である。 動作状態の説明図である。 画像処理装置による処理を示すフローチャートである。 位置Ａにタップ操作を行う様子を示す図である。 オブジェクト画像抽出処理を示すフローチャートである。 射影処理の説明図である。 リリース操作の説明図である。 関連付け処理を示すフローチャートである。 射影処理の説明図である。 第２の実施形態の画面例を示す図である。 第３の実施形態に係る画像処理システムの外観図である。 眼鏡型端末による撮影画像の一例を示す図である。 眼鏡型端末による処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、第１の実施形態に係る情報処理装置の一例としての画像処理装置１０のハードウェア構成を示す図である。図２は、画像処理装置１０の外観図である。画像処理装置１０は、図１に示すように、撮影部１１と、制御部１２と、指示部１３と、表示部１４と、記憶部１５と、を有している。図２に示すように、画像処理装置１０の筐体の一方の面に撮影部１１が設けられ、他方の面に指示部１３及び表示部１４が設けられている。指示部１３及び表示部１４は、タッチパネル２０として一体に設けられているものとする。

撮影部１１は、画像を撮影する。制御部１２は、例えばＣＰＵを有し、画像処理装置１０全体を制御する。指示部１３は、ユーザが指示を入力するためのユーザインタフェースである。表示部１４は、各種情報を表示する表示画面である。記憶部１５は、各種情報及びプログラムを記憶する。なお、後述する画像処理装置１０の機能や処理は、制御部１２が記憶部１５に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

本実施形態に係る画像処理装置１０は、ユーザ操作に応じて、実空間を撮影した撮影画像からオブジェクト画像を抽出し、オブジェクト画像が紙等、実空間に存在する物体上に配置されたイメージ画像を電子文書として作成することができる。ここで、ユーザ操作としては、オブジェクトを選択するためのタップ操作、オブジェクトの貼り付け先を指定するためのリリース操作が挙げられる。ユーザは、ドラッグアンドドロップの操作により、オブジェクト画像を実空間に存在する紙の上に配置するような感覚で、紙の上にオブジェクト画像が配置された、スクラップブックのような電子文書を簡易に作成することができる。

図３は、画像処理装置１０のソフトウェア構成を示す図である。画像処理装置１０は、ソフトウェア構成として、受付部３１と、撮影処理部３２と、表示処理部３３と、第１オブジェクト抽出部３４と、電子文書記憶部３５と、第２オブジェクト特定部３６と、関連付け部３７と、状態管理部３８と、を有している。受付部３１は、タッチパネル２０への入力内容を受け付ける。撮影処理部３２は、撮影部１１を制御し、撮影画像を得る。表示処理部３３は、表示部１４への表示に係る処理を行う。第１オブジェクト抽出部３４は、撮影処理部３２により得られた撮影画像から実空間に存在するオブジェクトを示すオブジェクト画像を抽出する。ここで、オブジェクトとは、撮影画像中にその画像が示されるオブジェクトのうち、ユーザにより選択されたオブジェクトである。以下、第１オブジェクト抽出部３４により抽出されるオブジェクトを第１オブジェクトと称することとする。電子文書記憶部３５は、電子文書を記憶する。ここで、電子文書は、拡張現実（ＡＲ）を実現するために用いられる第２オブジェクトを示すイメージ画像データである。ここで、第２オブジェクトは、第１オブジェクトと関連付けられるオブジェクトであり、本実施形態においては、マーカが付された紙であるものとする。但し、第２オブジェクトは、実空間に存在する物体であればよく、その種類は特に限定されるものではない。第１オブジェクトについても同様である。なお、電子文書は、第２のオブジェクトを示す情報、より詳しくは、第２のオブジェクトを示す画像の一例である。

図４は、第２オブジェクトとしての、マーカが付された紙の一例を示す図である。図４（ａ）に示すように、第２オブジェクト４００には、種類の異なる複数のマーカ４１０が付されている。画像処理装置１０は、このマーカ４１０に基づいて、第２オブジェクト４００上の各位置と、電子データとを関連付けることにより、拡張現実を実現することができる。本実施形態に係る画像処理装置１０は、電子データとして、第１オブジェクトのオブジェクト画像を第２オブジェクト４００の位置に対応付けて記録する。以下、このような第２オブジェクト４００を実世界拡張文書と称する。図４（ｂ）は、マーカ４１０の一例を示す図である。このように、各マーカ４１０は、特徴的なパターン画像である。

マーカ４１０は、第２オブジェクト４００の上下左右の方向と、他のマーカとの違いとを特定できるものであるものとする。方向を特定可能なものとするのは、第２オブジェクト４００がどの向きから撮影された場合であっても、マーカ４１０に基づいて、第２オブジェクト４００の上下左右を一意に判別可能とするためである。他のマーカとの違いを特定可能なものとするのは、第２オブジェクト４００上の複数の位置を識別可能とするためである。図４（ｂ）に示すマーカ４１０は、２つのドット４１１，４１２を有している。右下のドット４１２は、方向を識別するためのドットであり、これにより、マーカ中心を原点として座標系を定義することができる。一般的に４（ｂ）に示したようなマーカはマーカに平行な軸の他に、垂直な軸を持ち得るが、本実施形態においては使用されないため説明を割愛する。また左上のドット４１１は、他のマーカとの違いを識別するためのパターンである。

図５は、マーカ情報の一例を示す図である。マーカ情報は、予め電子文書記憶部３５に記憶されているものとする。各マーカのパターンと、オフセット座標Ｐｏｆｆと、サイズＭｈとを対応付けて記憶している。ここで、オフセット座標Ｐｏｆｆは、実世界拡張文書としての第２オブジェクト４００に示されたマーカの中心位置の座標であり、実世界拡張文書座標系（ｕｖ座標系）の座標である。また、サイズＭｈも、実世界拡張文書座標系におけるサイズである。図６は、電子文書記憶部３５に記憶される、電子文書の一例を示す図である。図６に示すように、電子文書６００は、マーカ情報に示されるオフセット座標６０１により、実空間に存在する紙に関連付けられている。

第２オブジェクト特定部３６は、撮影画像から、実空間に存在する第２オブジェクトを特定し、第２オブジェクトを示す静止画像を取得する。ここで、第２オブジェクト特定部３６が特定対象とする第２オブジェクトは、電子文書記憶部３５に記憶されている電子文書に示されるものである。関連付け部３７は、第１オブジェクトのオブジェクト画像と、第２オブジェクトとを相互に作用させる。具体的には、関連付け部３７は、オブジェクト画像を、電子文書に関連付けて記録する。

状態管理部３８は、画像処理装置１０の動作状態を管理する。画像処理装置１０の動作状態としては、図７に示すように、初期状態７００、第１待機状態７０１、第２待機状態７０２がある。電源投入後、画像処理装置１０は、初期状態７００になる。そして、初期状態７００において、受付部３１が、相互作用開始指示を受け付けると、画像処理装置１０の状態は、第１待機状態７０１に遷移する。第１待機状態７０１は、第１オブジェクトの選択指示の入力を待つ状態である。第１待機状態７０１において、ユーザによるタップ操作により第１オブジェクトの選択指示を受け付けると、画像処理装置１０の状態は、第２待機状態７０２に遷移する。第２待機状態７０２は、リリース操作により第２オブジェクトの選択指示の入力を待つ状態である。

図８は、画像処理装置１０による処理を示すフローチャートである。なお、処理の開始前に、受付部３１が受け付けた相互作用開始指示に従い、状態管理部３８により、第１待機状態への状態遷移が完了しているものとする。画像処理装置１０による処理は、第１オブジェクト抽出処理と、第２オブジェクト認識処理と、関連付け処理の３つの処理に大別される。第１オブジェクト抽出処理は、相互作用としての関連付けを行う第１オブジェクトを抽出する処理であり、後述のＳ８００〜Ｓ８０４の処理を含んでいる。第２オブジェクト認識処理は、第１オブジェクトと相互作用させる第２オブジェクトとしての実世界拡張文書を認識する処理であり、Ｓ８０５〜Ｓ８０７の処理を含んでいる。関連付け処理は、実世界拡張文書に対し第１オブジェクトを関連付ける処理であり、Ｓ８０８の処理に対応する。

Ｓ８００において、撮影処理部３２は、撮影部１１に対し、ライブビュー画像の撮影を指示する。そして、表示処理部３３は、得られたライブビュー画像としての動画像の表示部１４への表示を開始する（表示処理）。なお、ライブビュー画像は、撮影部１１の撮影可能な最大解像度に比べて低い解像度の画像であるものとする。撮影タイミングから表示タイミングまでの遅延を少なくするためである。次に、Ｓ８０１において、受付部３１は、オブジェクト画像の選択指示を受け付けたか否かを判定する。ここで、オブジェクト画像の選択指示は、第１オブジェクトの第１の選択指示の一例である。また、Ｓ８０１の処理は、受付処理の一例である。

ユーザは、ライブビュー画像を確認し、オブジェクト画像として記録したい画像を見つけた場合に、オブジェクト画像の表示位置に対し、タップ操作（選択操作）を行う。そして、受付部３１は、タップ操作に応じて、タップ位置に表示されているオブジェクト画像の選択指示を受け付ける。図９は、ユーザが、位置Ａにタップ操作を行う様子を示す図である。受付部３１は、オブジェクト画像の選択指示を受け付けるまで待機し（Ｓ８０１でＮｏ）、選択指示を受け付けると（Ｓ８０１でＹｅｓ）、処理をＳ８０２へ進める。このように、画像処理装置１０は、第１待機状態７０１では、ユーザがタップを行わない限り、ライブビュー画像の表示を継続し、ステップＳ８０１の処理を定期的に繰り返す。

Ｓ８０２において、受付部３１は、タップされた位置（タップ位置）を記憶部１５に記録し、状態管理部３８は、画像処理装置１０の状態を第２待機状態７０２に遷移させる。そして、撮影処理部３２は、撮影部１１に命令を出し撮影を行い、第１オブジェクトを被写体として含む静止画像を取得する（撮影処理）。そして、撮影処理部３２は、取得した静止画像を記憶部１５に記録する。なお、Ｓ８０２において、撮影処理部３２は、ライブビュー画像に比べて解像度の高い静止画像の撮影を指示し、解像度の高い静止画像を取得するものとする。これにより、後述のオブジェクト画像の抽出を精度よく行うことができる。以下、Ｓ８０２において取得した静止画像を後述の第２静止画像と区別すべく第１静止画像と称することとする。次に、Ｓ８０３において、第１オブジェクト抽出部３４は、Ｓ８０２において得られた第１静止画像から、タップ位置に基づいて、選択指示に係るオブジェクト画像を抽出する（抽出処理）。本実施形態においては、第１オブジェクト抽出部３４は、タップ位置の画素値を基準値として、基準値との差分が許容値以下となる画素の領域を第１のオブジェクトが示されたオブジェクト画像として抽出する。

図１０は、オブジェクト画像抽出処理（Ｓ８０３）を示すフローチャートである。Ｓ１０００において、第１オブジェクト抽出部３４は、タップ位置の座標Ｄ１を、Ｓ８０２において取得した第１静止画像に射影し、第１静止画像上の、タップ位置に対応する位置の座標Ｐ１を算出する。第１オブジェクト抽出部３４は、タッチパネル２０の解像度と、第１静止画像の解像度とを用いた線形変換により、この射影を行えばよい。図１１は、射影処理の説明図である。図１１（ａ）に示すように、タッチパネル２０の左上頂点を原点とするｘｙ座標系において、タップ位置の座標がＤ１（ｘｄ１，ｙｄ１）であったとする。また、タッチパネルの縦幅及び横幅がそれぞれ、ｘｄ２，ｙｄ２であったとする。一方、図１１（ｂ）に示すように、第１静止画像の右上頂点を原点とするｘ'ｙ'座標系において、第１静止画像１１００の縦幅及び横幅がそれぞれｘ'ｐ２，ｙ'ｐ２であったとする。この場合、（式１）、（式２）の関係から座標Ｐ１（ｘ'ｐ１，ｙ'ｐ１）を算出する。

ｘ'ｐ１／ｘ'ｐ２＝ｘｄ１／ｘｄ２ …（式１）
ｙ'ｐ１／ｙ'ｐ２＝ｙｄ１／ｙｄ２ …（式２）

次に、Ｓ１００１において、第１オブジェクト抽出部３４は、座標Ｐ１の位置の画素値Ｃ１を取得する。画素値Ｃ１は、例えばＲ,Ｇ,Ｂ等の色成分の数値を有している。次に、Ｓ１００２において、第１オブジェクト抽出部３４は、座標Ｐ１の画素をオブジェクトに属する領域Ｒとして登録する。第１オブジェクト抽出部３４はさらに、画素値Ｃ１を領域Ｒの代表色Ｃｒとして設定する。次に、Ｓ１００３において、第１オブジェクト抽出部３４は、領域Ｒに隣接する画素を探索し、該画素を処理画素Ｐｎとする。次に、Ｓ１００４において、第１オブジェクト抽出部３４は、処理画素Ｐｎの画素値Ｃｎを取得する。

次に、Ｓ１００５において、代表色Ｃｒと画素値Ｃｎの差分値を算出する。第１オブジェクト抽出部３４は、例えば、画素値の各色成分の差分値の絶対値の和を差分値として算出する。そして、第１オブジェクト抽出部３４は、差分値が、予め定められている閾値Ｔｈと比較して小さい場合はＰｎの位置を領域Ｒに追加する。一方、第１オブジェクト抽出部３４は、差分値が閾値Ｔｈ以上の場合には、Ｐｎの位置を領域Ｒｎに追加することなく、Ｓ１００５の処理を終える。次に、Ｓ１００６において、第１オブジェクト抽出部３４は、領域Ｒに隣接する、未処理画素があるか否かを判定する。第１オブジェクト抽出部３４は、未処理画素が存在する場合には（Ｓ１００６でＹｅｓ）、処理をＳ１００７へ進める。第１オブジェクト抽出部３４は、未処理画素が存在しない場合には（Ｓ１００６でＮｏ）、第１オブジェクト抽出処理を終了する。すなわち、この時点において、領域Ｒとして設定された領域に含まれる画素群がオブジェクト画像として抽出される。Ｓ１００７において、第１オブジェクト抽出部３４は、未処理画素を次の処理位置Ｐｎとして設定し、処理をＳ１００４へ進める。

なお、他の例としては、第１オブジェクト抽出部３４は、オブジェクト画像をより高精度に検出すべく、ＰｎとＰ１の間の距離に応じて、閾値Ｔｈに重みを付けて、位置Ｐｎを領域Ｒに追加するか否かを判定してもよい。また、他の例としては、第１オブジェクト抽出部３４は、領域Ｒに周囲を囲まれている領域は、差分値に関わらず、領域Ｒに含めることとしてもよい。また、他の例としては、第１オブジェクト抽出部３４は、領域Ｒに新たな位置を追加する度に、領域Ｒに属する位置の画素値の平均値で代表色Ｃｒを更新してもよい。また、第１オブジェクト抽出部３４は、オブジェクト抽出処理において、第１静止画像において第１オブジェクトが示される領域を特定するための情報を得ればよく、そのための具体的な方法は実施形態に限定されるものではない。第１オブジェクト抽出部３４は、例えば、オブジェクト画像を抽出するのに替えて、第１静止画像においてオブジェクトが表示される領域の輪郭を示す情報を得てもよい。

図８に戻り、オブジェクト画像抽出処理（Ｓ８０３）の後、Ｓ８０４において、表示処理部３３は、表示部１４に表示中のライブビュー画像上（撮影画像上）に、Ｓ８０３において抽出されたオブジェクト画像を重畳して表示する。なお、表示処理部３３は、さらにタッチパネル２０のサイズに対するオブジェクト画像のサイズの割合が所定値以上である場合には、オブジェクト画像を半透明にして表示する。すなわち、表示処理部３３は、オブジェクト画像を透過表示する。これにより、オブジェクト画像が大き過ぎて、ライブビュー画像が見え難くなるのを防ぐことができる。また、他の例としては、３３は、透過表示に替えて、オブジェクト画像を縮小表示してもよい。

続いて、第２オブジェクト認識処理について説明する。第２オブジェクト認識処理においては、まずＳ８０５において、受付部３１は、第２オブジェクトとしての紙の選択指示を受け付けたか否かを判定する。ここで、第２オブジェクトの選択指示は、第２の選択指示の一例である。また、Ｓ８０５の処理は、受付処理の一例である。さらに、本実施形態においては、選択指示は、第２オブジェクト内の位置を指定する情報である。受付部３１は、指示部１３がＳ８０１においてタップされた手指のリリース操作を検知した場合に、リリース位置に表示されているオブジェクトを第２オブジェクトとする選択指示を受け付ける。また、リリース位置が、第２オブジェクト内の位置に対応する。受付部３１は、第２オブジェクトの選択指示を受け付けるまで待機し（Ｓ８０５でＮｏ）、選択指示を受け付けると（Ｓ８０５でＹｅｓ）、処理をＳ８０６へ進める。このように、画像処理装置１０は、第２待機状態７０２では、ユーザがリリースを行わない限り、オブジェクト画像が重畳された状態でのライブビュー画像の表示を継続し、ステップＳ８０５の処理を定期的に繰り返す。

Ｓ８０６において、受付部３１は、リリースされた位置（リリース位置）の座標（リリース座標）Ｐ２を記憶部１５に記憶し、状態管理部３８は、画像処理装置１０の状態を第１待機状態７０１に遷移させる。ここで、リリース座標Ｐ２は、表示部１４の座標系、すなわち表示座標系の値である。そして、撮影処理部３２は、撮影部１１に命令を出して撮影を行い、第２オブジェクトを被写体として含む静止画像を取得する。そして、撮影処理部３２は、取得した静止画像を記憶部１５に記録する。なお、Ｓ８０６においては、Ｓ８０２において取得した第１静止画像のように高解像度の静止画像を取得する必要はなく、マーカ認識が可能な程度の解像度の静止画像を得るものとする。以下、Ｓ８０６において撮影された静止画像を第２静止画像と称する。

次に、Ｓ８０７において、第２オブジェクト特定部３６は、図５を参照しつつ説明したマーカ情報に基づいて、Ｓ８０６において取得した第２静止画像において、マーカの探索及び認識を行う。この処理には、記憶部１５に予め記憶されているパターンに基づいたテンプレートマッチングが用いられる。第２オブジェクト特定部３６は、認識したマーカをマーカＭとして記憶部１５に記憶する。なお、実空間に存在する第２オブジェクトとしての紙上のマーカに対する撮影部１１の光軸の角度は、紙面に対して垂直とは限らない。この場合は、撮影したマーカ形状に歪みが生じるため台形補正等の処理が必要となるが、説明を簡易にするため以下からは光軸が垂直な状況で撮影されている場合を例に説明する。

また、第２オブジェクト特定部３６は、複数のマーカが検出された場合には、タッチパネル２０におけるリリース位置に最も近い位置に表示されているマーカをマーカＭとして検出することとする。また、第２オブジェクト特定部３６は、マーカが検出されない場合には、エラーと判断し、オブジェクト選択のためのタップ操作のやり直しを促す情報を出力する。そして、Ｓ８０１から処理を行うこととする。以上、Ｓ８０５〜Ｓ８０７の処理により、第２オブジェクトとしての紙と、リリース位置に対応する、紙上の位置とを認識することができる。

図１２は、リリース操作（Ｓ８０５）の説明図である。オブジェクトが選択され、オブジェクト画像１２００をタップした状態を維持しつつ、実世界拡張文書としての第２オブジェクト４００に示されたマーカ４０１のマーカ画像１２０１を表示部１４に表示させた状態で、ユーザがリリースを行ったとする。この場合、Ｓ８０６において、リリースされた座標（リリース座標）Ｐ２が記憶部１５に記録され、マーカ画像１２０１がマーカＭとして記憶部１５に記録される。さらに、マーカ４０１を被写体として含む第２静止画像が撮影される。すなわち、Ｓ８０６において得られた第２静止画像には、実世界拡張文書中のマーカ４０１のマーカ画像１２０１が含まれる。そして、Ｓ８０７においては、第２静止画像からマーカ４０１のマーカ画像がマーカＭとして検出される。

最後に、関連付け処理（Ｓ８０８）について説明する。図１３は、関連付け処理（Ｓ８０８）における詳細な処理を示すフローチャートである。関連付け処理においては、実世界拡張文書中のどこにユーザがリリースしたかが反映され関連付けられるのが望ましい。すなわち、ユーザは実世界拡張文書中の任意の位置にあたかもドラッグアンドドロップを行う感覚で、実世界拡張文書内の位置とオブジェクト画像とを関連付けることにより、ユーザの感覚に合った関連付けを行うことが望ましい。本実施形態に係る関連付け処理においては、Ｓ８０６の処理において得られたリリース位置Ｐ２と、Ｓ８０７の処理において得られたマーカＭに対応付けられた実世界拡張文書の座標系の座標を用いて、関連付けを行う。

すなわち、まずＳ１３００において、関連付け部３７は、表示座標系のリリース座表Ｐ２をＳ８０６において得られた第２オブジェクトを含む第２撮影画像に射影し、この第２撮影画像の座標系である画像座標系における座標Ｐｂ２を算出する。具体的には、関連付け部３７は、表示部１４の解像度と第２静止画像の解像度を用いた線形変換により射影を行う。例えば、図１４（ａ）に示す座標Ｐ２は、図１４（ｂ）に示す静止画像１４００上の座標Ｐｂ２に射影される。次に、Ｓ１３０１において、関連付け部３７は、Ｓ８０７において得られたマーカＭに対応付けられた実世界拡張文書の実世界拡張文書座標系のオフセット座標Ｐｏｆｆ（ｕｏｆｆｓｅｔ，ｖｏｆｆｓｅｔ）を記憶部１５から読み出す。

次に、Ｓ１３０２において、関連付け部３７は、Ｓ１３００において得られた座標Ｐｂ２（ｘＰｂ２，ｙＰｂ２）を実世界拡張文書座標系に変換した座標、Ｐｍａ２（ｕＰｍａ２， ｖＰｍａ２）を求める。ここで、図１４を参照しつつ、Ｓ１３０２における処理について詳述する。関連付け部３７は、まず、実世界拡張文書と第２静止画像との間のスケールを合わせるための補正値Ｓを算出する。具体的には、関連付け部３７は、各画像中のマーカＭのサイズに基づいて、補正値Ｓを算出する。図１４（ｂ）に示すように、第２静止画像１４００におけるマーカＭのサイズがＭｉｈであるとする。また、実世界拡張文書中のマーカＭの実際のサイズはＭｈであるとする。この場合、関連付け部３７は、（式３）により補正値Ｓを算出する。

次に、関連付け部３７は、第２静止画像中のマーカＭの中心座標を求め、該座標をＰｋ（ｘｐｋ，ｙｐｋ）とする。次に、関連付け部３７は、マーカＭの傾きからＰｋを原点とした水平軸を設け、該水平軸と、ベクトルＰｂ２Ｐｋがなす角度を図１４（ｂ）のようにθと定義し、算出する。次に、関連付け部３７は、ベクトルＰｂ２Ｐｋの長さＤを下記（式４）で求める。

次に、関連付け部３７は、ここまでの計算で得られたＳ，Ｄ，θとマーカＭに関連付けられているオフセット座標Ｐｏｆｆを用いて（式５）により、Ｐｍａ２（ｕＰｍａ２，ｖＰｍａ２）を算出する。

以上の処理により、関連付け部３７は、図１４（ｃ）に示すような実世界拡張文書座標系のリリース座標Ｐｍａ２を求めることができる。

図１３に戻り、Ｓ１３０２の処理の後、Ｓ１３０３において、関連付け部３７は、実世界文書座標系におけるＰｍａ２の位置に第１オブジェクトのオブジェクト画像をレイアウトした電子文書を記憶部１５に記録する。以上で、関連付け処理が終了する。ここで、Ｓ１３０３の処理は、オブジェクト画像を第２オブジェクトの位置に対応付けて記録する関連付け処理の一例である。

以上の処理を行うことで、ユーザは実世界上のオブジェクトを用いたドラッグアンドドロップを仮想的に行うことができる。これら一連の処理を連続で行うことで、スクラップブックのように切り貼りした電子文書を、実世界拡張文書を通じて簡易にレイアウトしながら作成することができる。この際には一度実世界拡張文書に関連付けた第１オブジェクトは、その後もライブビュー画像で実世界拡張文書に重畳表示され続けている事が望ましい。以上のように、第１の実施形態に係る画像処理装置１０は、ユーザによる煩雑な作業を要することなく、撮影画像から得られたオブジェクトを他のオブジェクトに関連付けることができる。

第１の実施形態に係る画像処理装置１０の第１の変更例について説明する。第１の変更例に係る画像処理装置１０は、より精度よく第１オブジェクトのオブジェクト画像を抽出すべく、以下の処理を行ってもよい。すなわち、画像処理装置１０は、オブジェクト画像抽出処理（Ｓ８０３）において、画素群として第１オブジェクトを抽出するのに替えて、第１オブジェクトの輪郭を示す輪郭情報を生成する。また、画像処理装置１０は、オブジェクト画像抽出処理（Ｓ８０３）後も継続して第１静止画像を記憶部１５に保持しておく。そして、画像処理装置１０は、重畳表示処理（Ｓ８０４）においては、ライブビュー画面上に第１静止画像の輪郭外を表示しないように画像処理した第１静止画像を重畳表示する。これにより、実施形態における重畳表示と同様の表示が行われる。そして、画像処理装置１０は、関連付け処理（Ｓ８０８）の後、ユーザ操作に応じて、オブジェクト画像の抽出元の第１静止画像を用いて、第１オブジェクトの輪郭を修正し、修正後の輪郭を示す輪郭情報を用いて、改めて関連付け処理を行う。

この修正方法はユーザが第１静止画像中の所望の部分を第１オブジェクトに含めるか含めないかを選択できるようにすればよく、例えば、２つの方法が挙げられる。第１の方法は、第１オブジェクトの一部をタップすることで、タップ座標にある画素の色に近い色を持つ、第１オブジェクト内の画素群を第１オブジェクト外とする。第２の方法は、第１オブジェクト外をタップすることでタップ座標にある画素の色に近い色を持つ、第１オブジェクト外の画素群を第１オブジェクト内とする。

以上の処理によりユーザは第１オブジェクトの形状を、第２オブジェクトの電子文書に貼り付けた後で所望の形に修正することができる。なお、画像処理装置１０は、回転や拡大、色調変更等の編集処理も上述の処理と同様、第２オブジェクトの電子文書に貼り付けた後、再度改めて行ってもよい。

第２の変更例について説明する。本実施形態においては、画像処理装置１０は、第２静止画像をライブビュー画像と別に取得したが、ライブビュー画像を第２静止画像として利用してもよい。この場合、画像処理装置１０は、さらに、ユーザがリリースを行う前から、ライブビュー画像に対しマーカ認識を繰り返し行うものとする。これにより、貼りつけ可能か否かをリアルタイムに表示部１４に示すことができる。例えば、貼りつけ可能である場合は表示部１４に表示されている第２オブジェクトの縁取りを緑に、そうでない場合は赤にして表示する等すればよい。

第３の変更例としては、画像処理装置１０が受け付けるユーザ操作は、実施形態に限定されるものではない。画像処理装置１０は、例えば、タップアンドリリースを検知した場合に第１オブジェクトの選択指示を受け付け、再度タップアンドリリースを検知した場合に、第２オブジェクトの選択指示を受け付けることとしてもよい。

第４の変更例としては、画像処理装置１０は、オブジェクト画像を第２オブジェクトの電子文書にレイアウトする際に、電子文書のサイズとオブジェクト画像のサイズとに基づいて、オブジェクト画像のサイズを適宜変更してもよい。例えば、画像処理装置１０は、オブジェクト画像のサイズが電子文書のサイズの一定割合（例えば１／４）よりも大きいサイズである場合に、一定割合までオブジェクト画像を縮小してもよい。また、画像処理装置１０は、オブジェクト画像のサイズが電子文書のサイズの一定割合（例えば１／６４）よりも小さいサイズである場合に、一定割合までオブジェクト画像を拡大してもよい。この場合、画像処理装置１０は、変更後のオブジェクト画像を電子文書上にレイアウトし、レイアウト後の電子文書を記録する。

次に、第５変更例について説明する。本実施形態に係る画像処理装置１０は、第２オブジェクトとしての紙の実世界文書座標系におけるＰｍａの位置に第１オブジェクトのオブジェクト画像をレイアウトすることにより、第２オブジェクトの電子文書を更新した。但し、画像処理装置１０は、第１オブジェクトのオブジェクト画像と第２オブジェクトとを関連付けて記録すればよく、このための処理は、実施形態に限定されるものではない。例えば、画像処理装置１０は、レイアウト位置を限定することなく、第１オブジェクトのオブジェクト画像を第２オブジェクトとしての紙の電子文書に対応付けて記憶してもよい。この場合にも、画像処理装置１０は、オブジェクト画像と第２オブジェクトの電子文書とを関連付けて管理することができる。また、例えば、画像処理装置１０は、第１オブジェクトのオブジェクト画像を第２オブジェクトを示す電子文書に替えて第２オブジェクトの識別情報等第２オブジェクトを示す情報に関連付けて記録してもよい。

（第２の実施形態）
次に、第２の実施形態に係る画像処理装置１０について説明する。なお、ここでは、第２の実施形態に係る画像処理装置１０について、第１の実施形態に係る画像処理装置１０と異なる点について説明する。図１５は、画像処理装置１０の表示部１４に表示される画面例を示す図である。第２の実施形態に係る画像処理装置１０は、図１５に示すように、ライブビュー表示画面１５００及び電子文書作成画面１５０１の２画面を同時に表示する。ここで、ライブビュー表示画面１５００には、Ｓ８００（図８）の処理により、ライブビュー画像としての動画像が表示される。一方、電子文書作成画面１５０１には、電子文書記憶部３５に記憶されている電子文書が表示される。なお、電子文書作成画面１５０１に表示される電子文書、すなわち電子文書記憶部３５に記憶されている電子文書は、ライブビュー画像中のオブジェクト画像の関連付けの対象となるオブジェクトである。すなわち、第２の実施形態においては、第２のオブジェクトは、電子的な情報である。

第２の実施形態に係る画像処理装置１０による処理を、図８を参照しつつ説明する。Ｓ８００において、撮影処理部３２は、撮影部１１から得られたライブビュー画像のライブビュー表示画面１５００への表示を開始する。続く、Ｓ８０１〜Ｓ８０３の処理は、第１の実施形態において説明した処理と同様である。なお、本実施形態においては、ライブビュー表示が表示部１４の全面ではなく、ライブビュー表示画面１５００内で行われることとなるため、ユーザのタップ操作、座標の取得はライブビュー表示画面１５００上で行われることは言うまでもない。そして、Ｓ８０４において、表示処理部３３は、オブジェクト画像をライブビュー表示画面１５００上に重畳表示する。なお、このとき、オブジェクト画像は、ユーザ操作に応じて、ライブビュー表示画面１５００上から電子文書作成画面１５０１上へと表示位置を変えることができる。つまり、ユーザはオブジェクト画像をタップしたままスワイプすることで、ライブビュー表示画面１５００から電子文書作成画面１５０１まで第１オブジェクトを移動表示させることができる。

続く、Ｓ８０５において、受付部３１は、第２オブジェクトの選択指示を受け付けたか否かを判定する。具体的には、受付部３１は、指示部１３が電子文書作成画面１５０１上でのリリース操作を検知した場合に、電子文書作成画面１５０１に表示されている電子文書を第２オブジェクトとする選択指示を受け付ける。受付部３１は、第２オブジェクトの選択指示を受け付けた場合には（Ｓ８０５でＹｅｓ）、処理をＳ８０８へ進める。一方、受付部３１は、Ｓ８０５において第２オブジェクトの選択指示を受け付けなかった場合には（Ｓ８０５でＮｏ）、選択指示を受け付けるまで待機する。そして、Ｓ８０８において、選択指示に係る位置、すなわち表示部１４上のリリース位置に対応する第２オブジェクトとしての電子文書の位置に、オブジェクト画像をレイアウトした電子文書を電子文書記憶部３５（記憶部１５）に記憶する。以上で、関連付け処理が終了する。すなわち、第２の実施形態に係る画像処理装置１０においては、Ｓ８０６及びＳ８０７の処理は不要であり、また、Ｓ８０８の処理のうち座標変換に係る処理も不要である。これは、第２の実施形態に係る画像処理装置１０において、オブジェクト画像を関連付ける先のオブジェクト、すなわち第２のオブジェクトが電子文書であるためである。なお、第２の実施形態に係る画像処理装置１０のこれ以外の構成及び処理は、第１の実施形態に係る画像処理装置１０の構成及び処理と同様である。

以上のように、第２の実施形態に係る画像処理装置１０によれば、実世界拡張文書を用意することなく、撮影画像から得られたオブジェクトを他のオブジェクトに関連付けることができる。なお、第２の実施形態に係る画像処理装置１０は、タブレット端末のように比較的大型サイズの表示画面を有する装置であることが望ましい。

（第３の実施形態）
次に、第３の実施形態に係る画像処理システムについて説明する。なお、ここでは、他の実施形態に係る画像処理装置１０と異なる点について説明する。図１６は、第３の実施形態に係る画像処理システムの外観図である。画像処理システムは、ユーザの目に装着可能な眼鏡型端末１６００と、ポインタ端末１６２０とを有している。ポインタ端末１６２０は、ユーザ操作を受け付けるためのスイッチ１６２１を有している。ポインタ端末１６２０は、ユーザが手に持ち、ユーザ操作を入力するためのデバイスである。ポインタ端末１６２０は、実空間において、その先端が指す先の座標を検出することができる。さらに、眼鏡型端末１６００とポインタ端末１６２０は、通信機能を有し、互いにデータの送受信が可能であるものとする。そして、ポインタ端末１６２０が検出した座標や、スイッチが押下されたことを示す押下情報がポインタ端末１６２０から眼鏡型端末１６００に送信され、眼鏡型端末１６００は、検出された座標からユーザにより入力された指示内容を特定する。

眼鏡型端末１６００の内部構成は、図１及び図３を参照しつつ説明した画像処理装置１０の内部構成とほぼ同様であるが、眼鏡型端末１６００は、指示部１３に替えて通信部を有するものとする。なお、眼鏡型端末１６００は、情報処理装置の一例である。眼鏡型端末１６００の表示部１４には、装着者の視界に近い画角の画像が表示される。眼鏡型端末１６００の表示部１４は、ＨＭＤ（ヘッドマウントディスプレイ）のように視界を覆うように構成されているのが好ましい。

なお、眼鏡型端末１６００がユーザ操作を受け付け可能であればよく、そのための入力手段は実施形態に限定されるものではない。すなわち、ポインタ端末１６２０は必ずしも必要ではない。例えば、眼鏡型端末１６００がジェスチャ認識機能を有していてもよい。この場合には、ポインタ端末１６２０は不要であり、眼鏡型端末１６００は、ユーザにより行われたジェスチャに基づいて、ユーザからの指示を受け付けてもよい。

図１７は、眼鏡型端末１６００による撮影画像の一例を示す図である。撮影画像１７００には、ポインタ端末１６２０を示すポインタ端末画像１７０１と、第１オブジェクトを示す第１オブジェクト画像１７０２と、第２オブジェクトを示す第２オブジェクト画像１７０３とが含まれている。本実施形態に係る第２オブジェクトは、長方形状の白色紙とする。なお、第１の実施形態に係る画像処理装置１０が利用する紙には、マーカが付されていたが、本実施形態に係る画像処理装置１０が利用する白色紙にはマーカの表示はないものとする。

図１８は、第３の実施形態に係る眼鏡型端末１６００による処理を示すフローチャートである。Ｓ１８００において、眼鏡型端末１６００の撮影処理部３２は、撮影部１１による撮影を開始する。そして、眼鏡型端末１６００の表示処理部３３は、得られた動画像をライブビュー画像として表示部１４に表示する。次に、Ｓ１８０１において、受付部３１は、オブジェクト画像の選択指示を受け付けたか否かを判定する。ユーザは、ライブビュー画像内からオブジェクト画像として記録したい画像を見つけると、ポインタ端末１６２０の先端を、オブジェクト画像に対応する実物の第１オブジェクトの方に向け、スイッチ１６２１を押下する。これに対応して、ポインタ端末１６２０は、スイッチ１６２１の押下情報を眼鏡型端末１６００に送信する。眼鏡型端末１６００の受付部３１は、通信部を介して押下情報を取得した場合に、オブジェクト画像の選択指示を受け付けたと判定する。

受付部３１は、選択指示を受け付けるまで待機し（Ｓ１８０１でＮｏ）、選択指示を受け付けると（Ｓ１８０１でＹｅｓ）、処理をＳ１８０２へ進める。Ｓ１８０２において、撮影処理部３２は、撮影部１１に命令を出して撮影を行い、第１オブジェクト及びポインタ端末１６２０を被写体として含む第１静止画像を取得する。そして、撮影処理部３２は、取得した第１静止画像を記憶部１５に記録する。なお、Ｓ１８０２において、撮影処理部３２は、ライブビュー画像に比べて解像度の高い静止画像の撮影を指示し、解像度の高い静止画像を取得するものとする。これにより、後述のオブジェクト画像の抽出を精度よく行うことができる。

次に、Ｓ１８０３において、第１オブジェクト抽出部３４は、Ｓ１８０２において得られた第１静止画像から、オブジェクト画像を抽出する。具体的には、第１オブジェクト抽出部３４は、ポインタ端末１６２０を認識し、ポインタ端末１６２０の選択が指している先の座標をオブジェクト座標として特定する。そして、第１オブジェクト抽出部３４は、オブジェクト座標に基づいて、オブジェクト画像を抽出する。なお、ポインタ端末１６２０には、特殊パターンが付記され、第１オブジェクト抽出部３４は、この特殊パターンを認識することでポインタ端末１６２０を認識してもよい。また、第１オブジェクト抽出部３４は、ポインタ端末１６２０が指した先の座標はポインタ端末１６２０の形状から推定することができる。図１７に示す例においては、ポインタ端末の先端部分の座標を、ポインタ端末１６２０が指した先の座標とすればよい。なお、Ｓ１８０３におけるこれ以外の処理は、第１の実施形態において説明したオブジェクト画像抽出処理（Ｓ８０３）と同様である。

次に、Ｓ１８０４において、表示処理部３３は、表示部１４に表示中のライブビュー画像上に、Ｓ１８０３において抽出されたオブジェクト画像を重畳して表示する。この処理は、第１の実施形態において説明したオブジェクト画像重畳表示処理（Ｓ８０４）と同様である。次に、Ｓ１８０５において、受付部３１は、第２オブジェクトの選択指示を受け付けたか否かを判定する。ユーザがポインタ端末１６２０のスイッチ１６２１を離すと、ポインタ端末１６２０は、押下解除情報を眼鏡型端末１６００に送信する。眼鏡型端末１６００の受付部３１は、通信部を介して押下解除情報を取得した場合に、第２オブジェクトの選択指示を受け付けたと判定する。受付部３１は、第２オブジェクトの選択指示を受け付けるまで待機し（Ｓ１８０５でＮｏ）、選択指示を受け付けると（Ｓ１８０５でＹｅｓ）、処理をＳ１８０６へ進める。

Ｓ１８０６において、撮影処理部３２は、撮影部１１に命令を出して撮影を行い、第２オブジェクトを被写体として含む第２静止画像を取得する。そして、撮影処理部３２は、取得した静止画像を記憶部１５に記録する。次に、Ｓ１８０７において、第２オブジェクト特定部３６は、第２静止画像からポインタ端末を認識し、ポインタ端末が指した先の座標に基づいて、オブジェクト画像の貼り付け先となる白色紙を認識する。ポインタ端末の認識、ポインタ端末が指した先の座標の特定は、Ｓ１８０３における処理と同様の処理により実現できる。また、第２オブジェクト特定部３６は、一般的な画像認識技術により、実世界の白色紙を認識することができる。第２オブジェクト特定部３６は、例えば紙面の角４点を抽出することで紙面とその形状を認識するものとする。表示処理部３３は、第２オブジェクトを認識すると、第２静止画像から第２オブジェクトを示すオブジェクト画像を抽出し、オブジェクト画像と、リリース時のポインタ端末１６２０の指した先の座標とを対応付けて記憶部１５に記録する。

次に、Ｓ１８０８において、関連付け部３７は、第２オブジェクトとしての白色紙に対し、第１オブジェクトのオブジェクト画像を関連付ける。具体的には、関連付け部３７は、リリース時のタッチパネル２０上の座標を第２オブジェクトとしての白色紙が存在する実世界の座標に変換する。なお、関連付け部３７は、白色紙の形状を利用することにより、座標変変換を行う。そして、関連付け部３７は、座標変換後の座標位置に第１オブジェクトのオブジェクト画像をレイアウトした画像を記憶部１５に記録する。以上で、処理が完了する。なお、第３の実施形態に係る画像処理システムのこれ以外の構成及び処理は、他の実施形態に係る画像処理装置１０の構成及び処理と同様である。

このように、第３の実施形態に係る画像処理システムは、マーカが付されていない白色紙を実世界拡張文書として利用することができる。すなわち、任意の白色紙を実世界拡張文書として利用することができる。したがって、ユーザは、実世界拡張文書としての第２オブジェクトを特別に用意する必要がない。また、眼鏡型端末１６００を利用することにより、ユーザは、片手で、実世界に存在するオブジェクトのドラッグアンドドロップ操作を実現することができる。

また、第３の実施形態に係る画像処理システムの変更例としては、ポインタ端末が撮影部を備え、ポインタ端末が第１静止画像を撮影してもよい。例えば、第１の実施形態において説明したような小型の手持ち端末をポインタ端末とすることにより、距離的に第１オブジェクトに近い場所での撮影が可能となり、より解像度の高い第１オブジェクトのオブジェクト画像を得ることができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、煩雑な作業を要することなく、撮影画像から得られたオブジェクトを他のオブジェクトに関連付けることができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 画像処理装置
１１ 撮影部
１２ 制御部
１３ 指示部
１４ 表示部
１５ 記憶部

Claims (11)

1. 撮影手段により撮影された第１の解像度の撮影画像を表示手段に表示する表示処理手段と、
   前記撮影画像に示される第１のオブジェクトの第１の選択指示を受け付け、さらに第２のオブジェクトの位置を指定する第２の選択指示を受け付ける受付手段と、
   前記撮影手段により撮影された撮影画像から、前記第１のオブジェクトのオブジェクト画像を抽出する抽出手段と、
   前記抽出手段により抽出された前記オブジェクト画像を、前記第２のオブジェクトを含む画像の指定された前記位置に対応する位置に関連付けて記録させる関連付け手段と
   を有することを特徴とする情報処理装置。
2. 前記受付手段は、前記撮影画像に示される第１のオブジェクトの第１の選択指示を受け付け、さらに実空間に存在する物体である第２のオブジェクトの位置を指定する第２の選択指示を受け付け、
   前記関連付け手段は、前記第２のオブジェクトの指定された前記位置に前記オブジェクト画像がレイアウトされた前記第２のオブジェクトを記録させることを特徴とする請求項１に記載の情報処理装置。
3. 前記受付手段は、前記撮影画像に示される第１のオブジェクトの第１の選択指示を受け付け、さらに電子的な情報である第２のオブジェクトの位置を指定する第２の選択指示を受け付け、
   前記関連付け手段は、前記第２のオブジェクトの指定された前記位置に前記オブジェクト画像がレイアウトされた前記第２のオブジェクトを記録させることを特徴とする請求項１に記載の情報処理装置。
4. 前記第２のオブジェクトを示す電子文書のサイズと前記オブジェクト画像のサイズとに基づいて、前記オブジェクト画像のサイズを変更する変更手段をさらに有し、
   前記関連付け手段は、変更後の前記オブジェクト画像を前記第２のオブジェクトに関連付けて記録させることを特徴とする請求項１乃至３何れか１項に記載の情報処理装置。
5. 前記表示処理手段は、前記第１の解像度の撮影画像として動画を表示し、
   前記受付手段が前記第１の選択指示を受け付けた場合に、前記第１の解像度に比べて高い第２の解像度の撮影画像を得る撮影処理手段をさらに有し、
   前記抽出手段は、前記第２の解像度の前記撮影画像から、前記オブジェクト画像を抽出することを特徴とする請求項１乃至４何れか１項に記載の情報処理装置。
6. 前記表示処理手段は、前記表示手段に表示されている前記撮影画像上に前記オブジェクト画像を重畳表示することを特徴とする請求項１乃至５何れか１項に記載の情報処理装置。
7. 前記表示処理手段は、さらに前記オブジェクト画像を縮小表示することを特徴とする請求項６に記載の情報処理装置。
8. 前記表示処理手段は、さらに前記オブジェクト画像を透過表示することを特徴とする請求項６に記載の情報処理装置。
9. ユーザ操作に従い、前記オブジェクト画像の抽出元の撮影画像を利用して、前記オブジェクト画像を修正する修正手段をさらに有し、
   前記関連付け手段は、修正後の前記オブジェクト画像を前記第２のオブジェクトに関連付けて記録させることを特徴とする請求項１乃至８何れか１項に記載の情報処理装置。
10. 情報処理装置が実行する情報処理方法であって、
    撮影手段により撮影された第１の解像度の撮影画像を表示手段に表示する表示処理ステップと、
    前記撮影画像に示される第１のオブジェクトの第１の選択指示を受け付け、さらに第２のオブジェクトの位置を指定する第２の選択指示を受け付ける受付ステップと、
    前記撮影手段により撮影された撮影画像から、前記第１のオブジェクトのオブジェクト画像を抽出する抽出ステップと、
    前記抽出ステップにより抽出された前記オブジェクト画像を、前記第２のオブジェクトを含む画像の指定された前記位置に対応する位置に関連付けて記録させる関連付けステップと
    を含むことを特徴とする情報処理方法。
11. コンピュータを、
    撮影手段により撮影された第１の解像度の撮影画像を表示手段に表示する表示処理手段と、
    前記撮影画像に示される第１のオブジェクトの第１の選択指示を受け付け、さらに第２のオブジェクトの位置を指定する第２の選択指示を受け付ける受付手段と、
    前記撮影手段により撮影された撮影画像から、前記第１のオブジェクトのオブジェクト画像を抽出する抽出手段と、
    前記抽出手段により抽出された前記オブジェクト画像を、前記第２のオブジェクトを含む画像の指定された前記位置に対応する位置に関連付けて記録させる関連付け手段として機能させるためのプログラム。

Images