JP2024001477A - 画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】メンテナンスにかかる労力とコストを低減することが可能な画像処理システム、画像処理方法、及びプログラムを提供する。【解決手段】実空間が撮影された実空間画像と、前記実空間の一部を詳細に表示するために前記実空間の一部が前記実空間画像よりも狭い画角で撮影された詳細画像とを取得する画像取得部と、前記実空間画像から、前記詳細画像が示す前記実空間の一部と対応する領域を示す対応領域を抽出する領域抽出部と、前記対応領域に対して前記詳細画像を対応付ける対応付け部と、前記対応領域に対して前記詳細画像を表示するための操作が行われた場合、前記対応領域に対応付けられている前記詳細画像を表示する画像表示部と、を備える画像処理システム。【選択図】図７

Description

本発明は、画像処理システム、画像処理方法、及びプログラムに関する。

近年、仮想現実（ＶＲ：Virtual Reality）の技術を利用して、店舗の売り場や博物館の展示物などを実際に見て回っているかのような見方を提供するサービスが注目されている。このサービスでは、例えば店舗内を撮像した画像を用いて生成された仮想空間がユーザへ提供される。ユーザは、当該仮想空間内を回遊しながら商品を購入することができる。

最近では、ユーザがよりリアルな体験することが可能な技術が各種提案されている。例えば、下記特許文献１には、仮想空間に用いる画像に対してリンクを付けることで、実店舗に設けられたウェブカメラへアクセス可能とする技術が開示されている。これにより、ユーザは、リンクからアクセスすることで店舗内のライブ映像を見ることができ、よりリアルなショッピングを体験できる。

特許第４３４９９７３号公報

しかしながら、上記特許文献１の技術では、仮想空間に用いる画像に対して直接リンク情報が付与される。このため、商品配置の変更などによってリンク情報を変更する必要がある場合、画像に付与されたリンク情報を１つ１つ手動で変更しなければならない。よって、店舗の規模に比例して、リンク情報のメンテナンスに労力とコストがかかってしまう。

上述の課題を鑑み、本発明の目的は、メンテナンスにかかる労力とコストを低減することが可能な画像処理システム、画像処理方法、及びプログラムを提供することにある。

上述の課題を解決するために、本発明の一態様に係る画像処理システムは、実空間が撮影された実空間画像と、前記実空間の一部を詳細に表示するために前記実空間の一部が前記実空間画像よりも狭い画角で撮影された詳細画像とを取得する画像取得部と、前記実空間画像から、前記詳細画像が示す前記実空間の一部と対応する領域を示す対応領域を抽出する領域抽出部と、前記対応領域に対して前記詳細画像を対応付ける対応付け部と、前記対応領域に対して前記詳細画像を表示するための操作が行われた場合、前記対応領域に対応付けられている前記詳細画像を表示する画像表示部と、を備える。

本発明の一態様に係る画像処理方法は、画像取得部が、実空間が撮影された実空間画像と、前記実空間の一部を詳細に表示するために前記実空間の一部が前記実空間画像よりも狭い画角で撮影された詳細画像とを取得する画像取得過程と、領域抽出部が、前記実空間画像から、前記詳細画像が示す前記実空間の一部と対応する領域を示す対応領域を抽出する領域抽出過程と、対応付け部が、前記対応領域に対して前記詳細画像を対応付ける対応付け過程と、画像表示部が、前記対応領域に対して前記詳細画像を表示するための操作が行われた場合、前記対応領域に対応付けられている前記詳細画像を表示する画像表示過程と、を含む。

本発明の一態様に係るプログラムは、コンピュータを、実空間が撮影された実空間画像と、前記実空間の一部を詳細に表示するために前記実空間の一部が前記実空間画像よりも狭い画角で撮影された詳細画像とを取得する画像取得手段と、前記実空間画像から、前記詳細画像が示す前記実空間の一部と対応する領域を示す対応領域を抽出する領域抽出手段と、前記対応領域に対して前記詳細画像を対応付ける対応付け手段と、前記対応領域に対して前記詳細画像を表示するための操作が行われた場合、前記対応領域に対応付けられている前記詳細画像を表示する画像表示手段と、として機能させる。

本発明によれば、メンテナンスにかかる労力とコストを低減することができる。

本実施形態に係る画像処理システムの概略構成の一例を示す図である。 本実施形態に係る実空間画像の一例を示す図である。 本実施形態に係る詳細画像の一例を示す図である。 本実施形態に係る実空間画像撮影装置と詳細画像撮影装置との関係の一例を示す図である。 本実施形態に係る実空間画像撮影装置によって撮影される実空間画像の一例を示す図である。 本実施形態に係る詳細画像撮影装置によって撮影される詳細画像の一例を示す図である。 本実施形態に係るサーバ装置の機能構成の一例を示す図である。 本実施形態に係る第１領域と第２領域の一例を示す図である。 本実施形態に係る画像の対応付けに関する処理の流れの一例を示すシーケンス図である。 本実施形態に係る詳細画像の表示に関する処理の流れの一例を示すシーケンス図である。 本実施形態に係る詳細画像表示処理の流れの一例を示すフローチャートである。 本実施形態に係る商品の注文に関する処理の流れの一例を示すシーケンス図である。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。

＜１．画像処理システムの概略構成＞
図１から図６を参照して、本実施形態に係る画像処理システムの概略構成について説明する。図１は、本実施形態に係る画像処理システムの概略構成の一例を示す図である。
図１に示すように、画像処理システム１は、実空間画像撮影装置１０と、詳細画像撮影装置２０と、ユーザ端末３０と、サーバ装置４０とを備える。なお、実空間画像撮影装置１０は第１撮影装置の一例であり、詳細画像撮影装置２０は第２撮影装置の一例である。

（１）画像処理システム１
画像処理システム１は、仮想現実（ＶＲ：Virtual Reality）の技術を利用して、対象空間や対象物を仮想的に再現した仮想空間を提供する。対象空間は、例えば、店舗の売り場や博物館の展示場などの実空間である。対象物は、例えば、店舗の商品や博物館の展示物など実空間にある物体である。
仮想空間では、例えばウォークスルー型の画像が提示され、ユーザは実空間における動作と近い動作で周囲を観察することができる。ウォークスルー型の画像は、実空間が広範囲で撮影された複数のパノラマ画像（以下、「実空間画像」とも称される）によって構成される。
また、画像処理システム１は、実空間の一部を詳細に表示するために、実空間の一部が実空間画像よりも狭い画角で撮影された画像である詳細画像も表示する。例えば、ユーザに対して商品や展示物などの対象物をより詳細に提示するために、実空間画像とは別に撮影された詳細画像が用意される。詳細画像は、例えば、対象物が実空間画像の撮影位置よりも近い位置で撮影された画像である。即ち、詳細画像では、対象物が実空間画像よりも拡大して表示される。

ここで、図２及び図３を参照して、画像処理システム１が提供する仮想空間について具体的に説明する。図２は、本実施形態に係る実空間画像の一例を示す図である。図３は、本実施形態に係る詳細画像の一例を示す図である。

画像処理システム１は、例えば、仮想空間の一部として図２に示すような実空間画像５０を表示する。ユーザは、実空間画像５０において、より詳細に確認したい位置を選択することで、選択した位置の詳細画像を確認することができる。例えば、ユーザは、図２に示す位置ＳＰを選択したとする。この場合、画像処理システム１は、位置ＳＰに対応する詳細画像として、図３に示す詳細画像５１を表示する。このため、ユーザは、選択した位置の詳細画像を確認することができる。

（１）実空間画像撮影装置１０
実空間画像撮影装置１０は、実空間画像を撮影するカメラである。実空間画像撮影装置１０は、対象空間の天井、壁、床などに固定して設置されて撮影するカメラ、対象空間内を移動可能なロボットなどの移動体に設けられて撮影するカメラ、又は人が手動で操作して撮影するカメラなどのいずれであってもよい。実空間画像は、例えば、全天周カメラ又は全天球カメラによって撮影される。
実空間画像撮影装置１０は、ネットワークＮＷを介して、サーバ装置４０と通信可能に接続されている。実空間画像撮影装置１０は、ネットワークＮＷを介して、撮影した実空間画像をサーバ装置４０へ送信する。

（２）詳細画像撮影装置２０
詳細画像撮影装置２０は、詳細画像を撮影するカメラである。詳細画像撮影装置２０は、対象空間の天井、壁、床などに固定して設置されて撮影するカメラ、対象空間内を移動可能なロボットなどの移動体に設けられて撮影するカメラ、又は人が手動で操作して撮影するカメラなどのいずれであってもよい。詳細画像は、例えば、デジタルカメラ、スマートフォン、タブレット端末、ウェブカメラなどによって撮影される。
詳細画像撮影装置２０は、ネットワークＮＷを介して、サーバ装置４０と通信可能に接続されている。詳細画像撮影装置２０は、ネットワークＮＷを介して、撮影した詳細画像をサーバ装置４０へ送信する。

ここで、図４から図６を参照して、実空間画像撮影装置１０と詳細画像撮影装置２０の関係について説明する。図４は、本実施形態に係る実空間画像撮影装置１０と詳細画像撮影装置２０との関係の一例を示す図である。図５は、本実施形態に係る実空間画像撮影装置１０によって撮影される実空間画像の一例を示す図である。図６は、本実施形態に係る詳細画像撮影装置２０によって撮影される詳細画像の一例を示す図である。
本実施形態では、実空間画像撮影装置１０には広範囲を撮影可能な画角を有する撮影装置が用いられ、詳細画像撮影装置２０には実空間画像撮影装置１０よりも狭範囲であるが拡大して撮影可能な画角を有する撮影装置が用いられる。
例えば、図４に示すように、実空間画像撮影装置１０には画角θ１の撮影装置が用いられ、詳細画像撮影装置２０には画角θ１よりも狭い画角θ２の撮影装置が用いられる。図４に示す例では、実空間画像撮影装置１０と詳細画像撮影装置２０は、それぞれ対象物ＯＢを含むように画像を撮影している。図５には、図４に示す実空間画像撮影装置１０が撮影した実空間画像６０が示されている。図６には、図４に示す詳細画像撮影装置２０が撮影した詳細画像６１が示されている。実空間画像６０と詳細画像６１を比較すると、詳細画像の方が撮影範囲は狭いが、対象物ＯＢが拡大して表示されている。

（３）ユーザ端末３０
ユーザ端末３０は、ユーザが使用する端末である。ユーザ端末３０は、例えば、スマートフォン、タブレット端末、ＰＣ（Personal Computer）などのいずれによって実現されてもよい。
ユーザ端末３０は、ネットワークＮＷを介して、サーバ装置４０と通信可能に接続されている。ユーザ端末３０は、ネットワークＮＷを介して、ユーザによる操作内容を示す操作情報をサーバ装置４０へ送信し、表示する画像をサーバ装置４０から受信する。

ユーザ端末３０は、アプリケーション（以下、「アプリ」とも称される）を介して、ユーザへ仮想空間を提示する。当該アプリケーションは、例えば、ユーザ端末３０にインストールすることで使用可能なものであってもよいし、Ｗｅｂ（Ｗｅｂブラウザ）からアクセスすることで使用可能なものであってもよい。

ユーザは、ユーザ端末３０に対して各種の操作を入力することで、各操作に応じた処理をアプリで実行することができる。例えば、ユーザは、ログイン操作を入力することで、アプリにログインして仮想空間を利用できる。
また、ユーザは、実空間画像を表示する操作を入力することで、ユーザ端末３０に実空間画像を表示させることができる。
また、ユーザは、実空間画像内を回遊する操作を入力することで、ユーザ端末３０に表示された実空間画像内を回遊することができる。実空間画像が店舗内の画像である場合、ユーザは、店舗の売り場を見て回ることができる。
また、ユーザは、詳細画像を表示する操作を入力することで、ユーザ端末３０に詳細画像を表示することができる。詳細画像が商品の画像である場合、ユーザは、商品をより詳細に確認することができる。詳細画像を表示する操作は、例えば、タッチ、スワイプ、クリック、ハンドジェスチャ、首振りなどの操作である。

また、ユーザは、注文に関する操作を入力することで、商品を注文することができる。注文に関する操作には、具体的に商品を選択する操作、商品を注文する操作、注文を確定する操作などが含まれる。
ユーザ端末３０は、ユーザによって商品を選択する操作が入力された場合、選択された商品に関する情報を示す選択商品情報を一時的に記憶する。また、ユーザ端末３０は、ユーザによって商品を注文する操作が入力された場合、一時的に記憶していた選択商品情報を取得し、取得した選択商品情報に基づく注文画面を表示する。また、また、ユーザ端末３０は、ユーザによって注文を確定する操作が入力された場合、選択された商品の注文に関する情報を示す注文情報をサーバ装置４０へ送信する。

また、各画像の撮影者は、ユーザ端末３０に対して幾何情報を入力し、サーバ装置４０に予め登録する。幾何情報は、実空間画像を撮影した実空間画像撮影装置１０と詳細画像を撮影した詳細画像撮影装置２０の幾何学的な情報を示す情報である。幾何学的な情報は、例えば、実空間画像撮影装置１０が実空間画像を撮影した位置を示す位置情報や、詳細画像撮影装置２０が詳細画像を撮影した位置を示す位置情報などである。

また、店舗の関係者は、ユーザ端末３０に対して店舗情報や商品情報を入力し、サーバ装置４０に予め登録する。店舗情報は、店舗に関する詳細を示す情報であり、実空間画像と詳細画像と対応付けて管理される。商品情報は、商品に関する詳細を示す情報であり、詳細画像と対応付けて管理される。

（４）サーバ装置４０
サーバ装置４０は、アプリの動作を制御する装置である。サーバ装置４０は、例えば、ＰＣやサーバなどによって実現される。サーバ装置４０は、ネットワークＮＷを介して、実空間画像撮影装置１０と、詳細画像撮影装置２０と、ユーザ端末３０と通信可能に接続されている。サーバ装置４０は、実空間画像撮影装置１０から受信する実空間画像と詳細画像撮影装置２０から受信する詳細画像に基づき、仮想空間を生成する。また、サーバ装置４０は、ユーザ端末３０から受信する操作情報に基づき、仮想空間における各種の画像をユーザ端末３０に表示するための処理を実行する。また、サーバ装置４０は、ユーザ端末３０から受信する操作情報に基づき、商品の注文処理を実行する。
サーバ装置４０の機能の詳細は、後述する。

＜２．サーバ装置の機能構成＞
以上、本実施形態に係る画像処理システム１の概略構成について説明した。続いて、図７及び図８を参照して、本実施形態に係るサーバ装置４０の機能構成について説明する。図７は、本実施形態に係るサーバ装置４０の機能構成の一例を示すブロック図である。
図７に示すように、サーバ装置４０は、通信部４１０と、記憶部４２０と、制御部４３０とを備える。

（１）通信部４１０
通信部４１０は、各種情報の送受信を行う機能を有する。例えば、通信部４１０は、実空間画像撮影装置１０と、詳細画像撮影装置２０と、ユーザ端末３０と通信を行う。
実空間画像撮影装置１０との通信において、通信部４１０は、実空間画像を受信する。
詳細画像撮影装置２０との通信において、通信部４１０は、詳細画像を受信する。
ユーザ端末３０との通信において、通信部４１０は、操作情報、幾何情報、又は注文情報を受信し、実空間画像や詳細画像などの表示画像を送信する。

（２）記憶部４２０
記憶部４２０は、各種情報を記憶する機能を有する。記憶部４２０は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、またはこれらの記憶媒体の任意の組み合わせによって構成される。
記憶部４２０は、例えば、実空間画像、詳細画像、幾何情報、店舗情報、商品情報、注文情報などを記憶する。

（３）制御部４３０
制御部４３０は、サーバ装置４０の動作全般を制御する機能を有する。制御部４３０は、例えば、サーバ装置４０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。
図７に示すように、制御部４３０は、操作情報取得部４３１と、画像取得部４３２と、幾何情報取得部４３３と、領域抽出部４３４と、対応付け部４３５と、ログイン処理部４３６と、変換行列生成部４３７と、画像生成部４３８と、画像表示部４３９と、注文処理部４４０とを備える。

（３－１）操作情報取得部４３１
操作情報取得部４３１は、操作情報を取得する機能を有する。操作情報取得部４３１は、操作情報をユーザの入力に基づき取得する。具体的に、操作情報取得部４３１は、ユーザがユーザ端末３０へ入力するログイン操作、実空間画像を表示する操作、詳細画像を表示する操作、又は注文に関する操作のいずれかを示す操作情報を、通信部４１０を介してユーザ端末３０から取得する。

（３－２）画像取得部４３２
画像取得部４３２は、各種画像を取得する機能を有する。画像取得部４３２は、通信部４１０を介して、実空間画像撮影装置１０が撮影した実空間画像を取得する。画像取得部４３２は、取得した実空間画像を記憶部４２０に書き込んで記憶させる。また、画像取得部４３２は、通信部４１０を介して、詳細画像撮影装置２０が撮影した詳細画像を取得する。画像取得部４３２は、取得した詳細画像を記憶部４２０に書き込んで記憶させる。

画像取得部４３２は、操作情報取得部４３１によって取得された操作情報に基づき、実空間画像と詳細画像とを取得する。
操作情報が実空間画像を表示する操作である場合、画像取得部４３２は、操作に対応する実空間画像を記憶部４２０から取得する。また、操作情報が詳細画像を表示する操作である場合、画像取得部４３２は、操作（選択位置）に対応する詳細画像を記憶部４２０から取得する。

（３－３）幾何情報取得部４３３
幾何情報取得部４３３は、幾何情報を取得する機能を有する。幾何情報取得部４３３は、画像取得部４３２によって実空間画像と詳細画像が取得された場合、各画像に対応する幾何情報を記憶部４２０から取得する。

（３－４）領域抽出部４３４
領域抽出部４３４は、複数の画像から特徴が類似している領域を抽出する機能を有する。領域抽出部４３４は、実空間画像から、詳細画像が示す実空間の一部と対応する領域を示す対応領域を抽出する。例えば、領域抽出部４３４は、実空間画像を撮影した実空間画像撮影装置１０と、詳細画像を撮影した詳細画像撮影装置２０との位置関係に基づき、対応領域を抽出する。具体的に、領域抽出部４３４は、幾何情報取得部４３３によって取得された幾何情報が示す各撮影装置の位置情報から各撮影装置の位置関係を導出し、導出した位置関係から対応領域を抽出する。

また、領域抽出部４３４は、詳細画像から抽出する第１領域と、実空間画像から抽出する第１領域と類似した特徴を有する第２領域とに基づき、対応領域を抽出してもよい。具体的に、領域抽出部４３４は、詳細画像と実空間画像との間で、特徴が類似している位置（以下、「対応点」とも称される）を抽出する。領域抽出部４３４は、詳細画像において対応点が密集している領域を第１領域として抽出し、実空間画像において第１領域と対応する対応点が密集している領域を第２領域として抽出する。

ここで、図８を参照して、第１領域と第２領域の抽出について説明する。図８は、本実施形態に係る第１領域と第２領域の一例を示す図である。
領域抽出部４３４は、例えば図８に示すように、詳細画像６１において対象物ＯＢにある領域ＦＡ１を第１領域として抽出し、実空間画像６０において対象物ＯＢにある領域ＳＡ１を領域ＦＡ１と対応する第２領域として抽出する。
領域抽出部４３４は、幾何情報又は第１領域と第２領域に基づき、図８に示すように実空間画像において詳細画像と対応する対応領域ＣＡを抽出する。

（３－５）対応付け部４３５
対応付け部４３５は、対応領域に対して詳細画像を対応付ける機能を有する。例えば、対応付け部４３５は、領域抽出部４３４によって抽出された実空間画像の対応領域に対して、詳細画像を対応付ける。そして、対応付け部４３５は、記憶部４２０に対して、実空間画像の対応領域と詳細画像とを対応付けて記憶させる。

（３－６）ログイン処理部４３６
ログイン処理部４３６は、ログイン処理を行う機能を有する。例えば、ログイン処理部４３６は、操作情報取得部４３１によって取得された操作情報に基づき、ログイン処理を行う。この時、ログイン処理部４３６は、ユーザがログインする店舗を特定し、当該店舗の店舗情報を記憶部４２０から取得する。ログイン処理部４３６が取得した店舗情報は、ユーザ端末３０に表示される。

（３－７）変換行列生成部４３７
変換行列生成部４３７は、変換行列を生成する機能を有する。変換行列は、実空間画像を合成画像に変換するための行列である。変換行列は、例えば、ホモグラフィ行列である。合成画像は、詳細画像の第１領域が実空間画像の第２領域に重なるよう、実空間画像記対応領域の部分を変形させた合成画像である。

変換行列の生成についてより具体的に説明する。例えば、変換行列生成部４３７は、第１領域及び第２領域において特徴が類似している位置を示す複数の対応点に基づき、変換行列を生成する。この時、変換行列生成部４３７は、実空間画像又は詳細画像における複数の対応点の密度に応じて、複数の対応点から一部の対応点を選択し、当該一部の対応点のみから変換行列を生成してもよい。例えば、変換行列生成部４３７は、対応点の密度が高い領域にある対応点を計算に用い、対応点の密度が低い領域にある対応点を計算から除外する。これにより、変換行列生成部４３７は、より特徴が類似している領域に基づき変換行列を生成できるため、変換行列の生成精度を向上することができる。また、変換行列の生成に用いる対応点の数を減らすことができ、変換行列生成における処理速度を向上することもできる。

（３－８）画像生成部４３８
画像生成部４３８は、画像を生成する機能を有する。例えば、画像生成部４３８は、実空間画像の対応領域の部分を変形させた合成画像を生成する。具体的に、画像生成部４３８は、変換行列生成部４３７によって生成された変換行列に基づき、実空間画像の対応領域の部分を変形させることで、合成画像を生成する。これにより、画像生成部４３８は、実空間画像の対応領域の部分と詳細画像との間を補う画像として合成画像を生成することができる。

（３－９）画像表示部４３９
画像表示部４３９は、画像の表示を制御する機能を有する。画像表示部４３９は、操作情報取得部４３１によって取得された操作情報に基づいて、画像の表示を制御する。
操作情報が実空間画像を表示する操作である場合、画像表示部４３９は、当該操作情報に基づいて実空間画像の表示を行う。例えば、画像表示部４３９は、画像取得部４３２によって取得された実空間画像をユーザ端末３０に表示させる。

また、操作情報が詳細画像を表示する操作である場合、画像表示部４３９は、当該操作情報に基づいて詳細画像の表示を行う。詳細画像を表示する操作は、例えば、対応領域に対して行われる。この場合、画像表示部４３９は、画像取得部４３２によって取得される、対応領域に対応付けられている詳細画像を、ユーザ端末３０に表示する。この時、画像表示部４３９は、実空間画像上に詳細画像を重畳表示させてもよいし、合成画像を用いて詳細画像の切り替え表示を行ってもよい。

合成画像を用いて詳細画像の切り替え表示を行う場合、画像表示部４３９は、合成画像を表示させる際に、合成画像と切り替え先の画像である詳細画像の対応する領域（特徴が類似する領域）が重なり合うように、詳細画像の上に合成画像を表示する。
合成画像の表示後、画像表示部４３９は、合成画像を消して、詳細画像を表示させる。この時、画像表示部４３９は、例えば合成画像をフェードアウトさせて詳細画像をフェードインさせることや、モーフィングの適用を行ってもよい。これにより、画像表示部４３９は、視覚的な連続性を保ったまま画像を切り替えることができる。

（３－１０）注文処理部４４０
注文処理部４４０は、注文処理を実行する機能を有する。例えば、注文処理部４４０は、通信部４１０がユーザ端末３０から注文情報を受信した場合、当該注文情報に基づき注文処理を実行する。

＜３．処理の流れ＞
以上、本実施形態に係るサーバ装置４０の機能構成について説明した。続いて、図９から図１２を参照して、本実施形態に係る処理の流れについて説明する。

（１）画像の対応付けに関する処理の流れ
図９を参照して、本実施形態に係る画像の対応付けに関する処理の流れについて説明する。図９は、本実施形態に係る画像の対応付けに関する処理の流れの一例を示すシーケンス図である。

図９に示すように、まず、実空間画像撮影装置１０は、実空間画像を撮影する（ステップＳ１０１）。撮影後、実空間画像撮影装置１０は、撮影した実空間画像をサーバ装置４０へ送信する（ステップＳ１０２）。
サーバ装置４０では、通信部４１０が実空間画像撮影装置１０から実空間画像を受信し、当該実空間画像を画像取得部４３２が取得し、当該実空間画像を記憶部４２０が記憶する（ステップＳ１０３）。

また、詳細画像撮影装置２０は、詳細画像を撮影する（ステップＳ１０４）。撮影後、詳細画像撮影装置２０は、撮影した詳細画像をサーバ装置４０へ送信する（ステップＳ１０５）。
サーバ装置４０では、通信部４１０が詳細画像撮影装置２０から詳細画像を受信し、当該詳細画像を画像取得部４３２が取得し、当該詳細画像を記憶部４２０が記憶する（ステップＳ１０６）。

ユーザは、実空間画像撮影装置１０と詳細画像撮影装置２０の幾何情報をユーザ端末３０へ入力する（ステップＳ１０７）。ユーザ端末３０は、ユーザによって入力された幾何情報をサーバ装置４０へ送信する（ステップＳ１０８）。
サーバ装置４０では、通信部４１０がユーザ端末３０から幾何情報を受信し、当該幾何情報を幾何情報取得部４３３が取得し、当該幾何情報を記憶部４２０が記憶する（ステップＳ１０９）。

サーバ装置４０の領域抽出部４３４は、幾何情報取得部４３３によって取得された幾何情報に基づき、画像取得部４３２によって取得された実空間画像及び詳細画像における対応領域を抽出する（ステップＳ１１０）。
そして、サーバ装置４０の対応付け部４３５は、領域抽出部４３４によって抽出された対応領域に基づき、実空間画像と詳細画像を対応付け、記憶部４２０に記憶させる（ステップＳ１１１）。

（２）詳細画像の表示に関する処理の流れ
図１０を参照して、本実施形態に係る詳細画像の表示に関する処理の流れについて説明する。図１０は、本実施形態に係る詳細画像の表示に関する処理の流れの一例を示すシーケンス図である。

図１０に示すように、まず、ユーザは、アプリにログインする操作をユーザ端末３０に入力する（ステップＳ２０１）。
ユーザ端末３０は、アプリにログインする操作を示す操作情報をサーバ装置４０へ送信する（ステップＳ２０２）。
ユーザ端末３０から受信した操作情報がアプリにログインする操作を示すため、サーバ装置４０のログイン処理部４３６は、ログイン処理を行う（ステップＳ２０３）。また、画像取得部４３２は、ユーザがログインする店舗の実空間画像を記憶部４２０から取得し、通信部４１０を介してユーザ端末３０へ送信する（ステップＳ２０４）。
ユーザ端末３０は、サーバ装置４０から受信した実空間画像を表示する（ステップＳ２０５）。

次いで、ユーザは、実空間画像内を回遊する操作をユーザ端末３０に入力する（ステップＳ３０１）。
ユーザ端末３０は、実空間画像内を回遊する操作を示す操作情報をサーバ装置４０へ送信する（ステップＳ３０２）。
ユーザ端末３０から受信した操作情報が実空間画像内を回遊する操作を示すため、画像取得部４３２は、回遊先の実空間画像を記憶部４２０から取得し、通信部４１０を介してユーザ端末３０へ送信する（ステップＳ３０３）。
ユーザ端末３０は、サーバ装置４０から受信した回遊先の実空間画像を表示する（ステップＳ３０４）。

次いで、ユーザは、詳細画像を表示する操作をユーザ端末３０に入力する（ステップＳ４０１）。
ユーザ端末３０は、詳細画像を表示する操作を示す操作情報をサーバ装置４０へ送信する（ステップＳ４０２）。
ユーザ端末３０から受信した操作情報が詳細画像を表示する操作を示すため、サーバ装置４０は、詳細画像表示処理を行う（ステップＳ４０３）。詳細画像表示処理の詳細については後述する。
ユーザ端末３０は、サーバ装置４０による詳細画像表示処理によって受信した詳細画像を表示する（ステップＳ４０４）。

（３）詳細画像表示処理の流れ
図１１を参照して、本実施形態に係る詳細画像表示処理の流れについて説明する。図１１は、本実施形態に係る詳細画像表示処理の流れの一例を示すフローチャートである。

図１１に示すように、まず、操作情報取得部４３１は、操作情報を取得する（ステップＳ５０１）。
次いで、画像取得部４３２は、操作情報取得部４３１によって取得された操作情報に基づき、ユーザによる選択位置に対応する詳細画像を記憶部４２０から取得する（ステップＳ５０２）。
次いで、領域抽出部４３４は、画像取得部４３２によって取得された詳細画像から第１領域を抽出し、実空間画像の対応領域から第２領域を抽出する（ステップＳ５０３）。
次いで、変換行列生成部４３７は、領域抽出部４３４によって抽出された第１領域及び第２領域における複数の対応点に基づき、変換行列を生成する（ステップＳ５０４）。
次いで、画像生成部４３８は、変換行列生成部４３７によって生成された変換行列に基づき、実空間画像の対応領域の部分を変形させた合成画像を生成する（ステップＳ５０５）。
そして、画像表示部４３９は、合成画像及び詳細画像をユーザ端末３０へ送信し、各画像の切り替え表示を実行する（ステップＳ５０６）。

（４）注文に関する処理の流れ
図１２を参照して、本実施形態に係る注文に関する処理の流れについて説明する。図１２は、本実施形態に係る商品の注文に関する処理の流れの一例を示すシーケンス図である。

図１２に示すように、まず、ユーザは、商品を選択する操作をユーザ端末３０に入力する（ステップＳ６０１）。ユーザ端末３０は、ユーザによって商品を選択する操作が入力されたため、選択された商品について選択商品情報を一時的に記憶する。（ステップＳ６０２）。

商品選択の完了後、ユーザは、商品を注文する操作をユーザ端末３０に入力する（ステップＳ６０３）。ユーザ端末３０は、商品を注文する操作が入力されたため、一時的に記憶していた選択商品情報を取得する（ステップＳ６０４）。また、ユーザ端末３０は、取得した選択商品情報に基づく注文画面を表示する（ステップＳ６０５）。

注文画面の確認後、ユーザは、注文を確定する操作をユーザ端末３０に入力する（ステップＳ６０６）。ユーザ端末３０は、ユーザによって注文を確定する操作が入力されたため、選択された商品の注文情報をサーバ装置４０へ送信する（ステップＳ６０７）。
サーバ装置４０の注文処理部４４０は、通信部４１０がユーザ端末３０から受信した注文情報に基づき、注文処理を実行する（ステップＳ６０８）。

以上説明したように、本実施形態に係る画像処理システム１は、実空間が撮影された実空間画像と、実空間の一部を詳細に表示するために実空間の一部が実空間画像よりも狭い画角で撮影された詳細画像とを取得し、実空間画像から詳細画像が示す実空間の一部と対応する領域を示す対応領域を抽出し、対応領域に対して詳細画像を対応付け、対応領域に対して詳細画像を表示するための操作が行われた場合、対応領域に対応付けられている詳細画像を表示する。

かかる構成により、実空間画像と詳細画像が撮影される度に、実空間画像と詳細画像とが画像処理システム１によって対応付けられる。この実空間画像と詳細画像の対応付けは、選択された対応領域に対応する詳細画像を表示可能とするように行われる。これにより、仮想空間に用いる実空間画像に対して直接リンク情報を付与する必要がなくなるため、リンク情報の付与にかかっていた労力とコストを低減することができる。
また、商品配置の変更が生じた場合であっても各画像を新しく撮影するだけで画像処理システム１によって対応付けが行われる。これにより、画像に付与されたリンク情報を１つ１つ手動で変更する必要がなくなるため、リンク情報の変更にかかっていた労力とコストを低減することができる。
よって、本実施形態に係る画像処理システム１は、メンテナンスにかかる労力とコストを低減することを可能とする。

＜４．変形例＞
以上、本発明の実施形態について説明した。続いて、本発明の実施形態の変形例について説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。

（１）第１の変形例
上述の実施形態で説明した画像処理システム１は、詳細画像の表示範囲の変更、即ち別の視点の詳細画像への切り替えを行うことが可能な構成を有してもよい。この場合、ユーザは、ユーザ端末３０に表示された詳細画像に対して、別の視点の詳細画像に切り替える操作を入力することで、詳細画像を切り替えることができる。例えば、ユーザが詳細画像をスワイプする操作を入力したとする。この場合、画像処理システム１は、スワイプ方向とは反対側にある詳細画像を表示する。これにより、ユーザは、例えば詳細画像に表示された商品を別の視点から確認することができるため、ユーザビリティを向上することができる。

画像表示部４３９は、詳細画像の切り替え表示において合成画像が生成されている場合、切り替え元の詳細画像から合成画像へ表示を切り替えてから、合成画像から切り替え先の詳細画像へ表示を切り替える。この時、画像表示部４３９は、合成画像を表示させる際に、合成画像と切り替え先の詳細画像の対応する領域（特徴が類似する領域）が重なり合うように、切り替え先の詳細画像の上に合成画像を表示する。合成画像の表示後、画像表示部４３９は、合成画像を消して、切り替え先の詳細画像を表示させる。この時、画像表示部４３９は、例えば合成画像をフェードアウトさせて切り替え先の詳細画像をフェードインさせることや、モーフィングの適用を行ってもよい。これにより、画像表示部４３９は、視覚的な連続性を保ったままシーンを変化させることができる。

（２）第２の変形例
また、上述の実施形態で説明した画像処理システム１は、画像のパースを補正することが可能な構成を有してもよい。例えば、画像処理システム１は、詳細画像のパースを補正することで、領域抽出部４３４による領域抽出の精度を向上することができる。

（３）第３の変形例
また、上述の実施形態で説明した画像処理システム１は、詳細画像を撮影した詳細画像撮影装置２０と被写体との幾何学的関係を示す幾何情報に応じて、複数の対応点から一部の対応点を選択し、当該一部の対応点のみから変換行列を生成することが可能な構成を有してもよい。この場合、画像処理システム１は、まず、距離センサ（例えばＬｉＤＡＲ（Light Detection and Ranging））や傾きセンサ（例えば傾斜センサや慣性センサなど）などのセンサ装置によって距離情報や傾き情報を幾何情報として取得する。
距離情報は、詳細画像撮影装置２０から被写体までの距離を示す情報である。例えば、距離センサは、詳細画像撮影装置２０が詳細画像を撮影した位置から、詳細画像に写る各被写体（例えば商品）までの距離を測定する。傾き情報は、被写体を撮影している詳細画像撮影装置２０の傾きを示す情報である。例えば、傾きセンサは、詳細画像撮影装置２０を被写体と正対させるために傾けた角度を測定する。

なお、距離センサや傾きセンサは、詳細画像撮影装置２０の内部に設けられていてもよいし、詳細画像撮影装置２０の外部に設けられていてもよい。距離センサや傾きセンサが詳細画像撮影装置２０の外部に設けられる場合、距離センサは詳細画像撮影装置２０から被写体までの距離を測定し、傾きセンサは詳細画像撮影装置２０の傾きを測定する。傾きセンサによる傾き情報の取得は、例えば、詳細画像撮影装置２０の筐体の外部や詳細画像を撮影する移動体に設けることで可能である。

また、幾何情報は、幾何情報を取得するために設けられた撮影装置によって撮影された画像に基づき取得されてもよい。例えば、画像処理システム１は、詳細画像撮影装置２０の外部に設けられたカメラによって詳細画像撮影装置２０が詳細画像を撮影している様子を撮影し、撮影した画像を解析することで距離情報や傾き情報を幾何情報として取得する。
また、幾何情報は、詳細画像撮影装置２０によって撮影された詳細画像の解析、ユーザによる入力、ユーザの視線位置や操作情報などに基づき取得されてもよい。

変換行列生成部４３７は、上述のようにして取得された幾何情報に基づき、例えば詳細画像撮影装置２０の撮影位置から距離が近い位置にある対応点を計算に用い、距離が離れた位置にある対応点を計算から除外する。これは、詳細画像撮影装置２０の撮影位置から近い位置ほど、ユーザに注目してもらいたい場合が多いためである。これにより、変換行列生成部４３７は、ユーザに注目してもらいたい位置にフォーカスした合成画像を生成するための変換行列を生成することができる。

（４）第４の変形例
また、上述の実施形態で説明した画像処理システム１は、実空間画像の対応領域の部分と合成画像との間を補う画像を生成することが可能な構成を有してもよい。例えば、変換行列生成部４３７が補間変換行列を生成し、画像生成部４３８が補間変換行列によって補間画像を生成する構成である。補間変換行列は、空間画像の対応領域の部分と合成画像との間を補う画像である補間画像を生成するための変換行列である。例えば、変換行列生成部４３７は、実空間画像の対応領域の部分の頂点と合成画像の頂点とに基づき、補間変換行列を生成する。

具体的に、変換行列生成部４３７は、実空間画像の対応領域の部分と合成画像との対応する頂点間を等分し、等分における分割位置ごとに補間変換行列を生成する。例えば、ｎ点補間するためにはｎ個の補間変換行列を生成する必要ある。このため、分割位置もｎ個必要であるため、頂点間を（ｎ＋１）等分する必要がある。
（ｎ＋１）等分した場合、変換行列生成部４３７は、分割した１番目からｎ番目までの各分割位置を示す位置情報に基づき、補間変換行列（ホモグラフィ行列）Ｈ１～Ｈｎを生成する。

画像生成部４３８は、実空間画像の対応領域の部分と補間変換行列Ｈ１～Ｈｎを用いた変換によって、補間画像Ｉ１～Ｉｎを生成する。
画像表示部４３９は、実空間画像の対応領域の部分を詳細画像へ切り替える際に、補間画像Ｉ１～Ｉｎ、合成画像、詳細画像の順に画像を表示する。
これにより、実空間画像の対応領域の部分から詳細画像への切り替えがより滑らかに行われる。よって、画像の切り替え前後で構図が大きく変わる場合であっても、シーンの連続性のズレの発生が低減され、ユーザビリティの低下を防ぐことができる。

以上、本発明の実施形態について説明した。なお、上述した実施形態における画像処理システム１又はサーバ装置４０の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…画像処理システム、１０…実空間画像撮影装置、２０…詳細画像撮影装置、３０…ユーザ端末、４０…サーバ装置、５０…実空間画像、５１…詳細画像、６０…実空間画像、６１…詳細画像、４１０…通信部、４２０…記憶部、４３０…制御部、４３１…操作情報取得部、４３２…画像取得部、４３３…幾何情報取得部、４３４…領域抽出部、４３５…対応付け部、４３６…ログイン処理部、４３７…変換行列生成部、４３８…画像生成部、４３９…画像表示部、４４０…注文処理部、ＮＷ…ネットワーク

Claims (7)

1. 実空間が撮影された実空間画像と、前記実空間の一部を詳細に表示するために前記実空間の一部が前記実空間画像よりも狭い画角で撮影された詳細画像とを取得する画像取得部と、
   前記実空間画像から、前記詳細画像が示す前記実空間の一部と対応する領域を示す対応領域を抽出する領域抽出部と、
   前記対応領域に対して前記詳細画像を対応付ける対応付け部と、
   前記対応領域に対して前記詳細画像を表示するための操作が行われた場合、前記対応領域に対応付けられている前記詳細画像を表示する画像表示部と、
   を備える画像処理システム。
2. 前記領域抽出部は、前記実空間画像を撮影した第１撮影装置と、前記詳細画像を撮影した第２撮影装置との位置関係に基づき、前記対応領域を抽出する、
   請求項１に記載の画像処理システム。
3. 前記領域抽出部は、前記詳細画像から抽出する第１領域と、前記実空間画像から抽出する前記第１領域と類似した特徴を有する第２領域とに基づき、前記対応領域を抽出する、
   請求項１又は請求項２に記載の画像処理システム。
4. 前記第１領域が前記第２領域に重なるよう、前記実空間画像の前記対応領域の部分を変形させた合成画像を生成する画像生成部、
   をさらに備え、
   前記画像表示部は、前記合成画像と前記詳細画像の切り替え表示を行う、
   請求項３に記載の画像処理システム。
5. 前記第１領域及び前記第２領域において特徴が類似している位置を示す複数の対応点に基づき、変換行列を生成する変換行列生成部、
   をさらに備え、
   前記画像生成部は、前記変換行列に基づき、前記実空間画像の前記対応領域の部分を変形させる、
   請求項４に記載の画像処理システム。
6. 画像取得部が、実空間が撮影された実空間画像と、前記実空間の一部を詳細に表示するために前記実空間の一部が前記実空間画像よりも狭い画角で撮影された詳細画像とを取得する画像取得過程と、
   領域抽出部が、前記実空間画像から、前記詳細画像が示す前記実空間の一部と対応する領域を示す対応領域を抽出する領域抽出過程と、
   対応付け部が、前記対応領域に対して前記詳細画像を対応付ける対応付け過程と、
   画像表示部が、前記対応領域に対して前記詳細画像を表示するための操作が行われた場合、前記対応領域に対応付けられている前記詳細画像を表示する画像表示過程と、
   を含む画像処理方法。
7. コンピュータを、
   実空間が撮影された実空間画像と、前記実空間の一部を詳細に表示するために前記実空間の一部が前記実空間画像よりも狭い画角で撮影された詳細画像とを取得する画像取得手段と、
   前記実空間画像から、前記詳細画像が示す前記実空間の一部と対応する領域を示す対応領域を抽出する領域抽出手段と、
   前記対応領域に対して前記詳細画像を対応付ける対応付け手段と、
   前記対応領域に対して前記詳細画像を表示するための操作が行われた場合、前記対応領域に対応付けられている前記詳細画像を表示する画像表示手段と、
   として機能させるためのプログラム。

Images