JP2024001476A - 画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】複数の画像の切り替えにおけるユーザビリティを向上することが可能な画像処理システム、画像処理方法、及びプログラムを提供する。【解決手段】複数の画像を切り替えて表示するための画像処理システムであって、切り替え元の画像と切り替え先の画像を取得する画像取得部と、前記切り替え元の画像から第１領域を抽出し、前記切り替え先の画像から前記第１領域と類似した特徴を有する第２領域を抽出する領域抽出部と、前記第１領域が前記第２領域に重なるよう、前記切り替え元の画像を変形させた合成画像を生成する画像生成部と、を備える画像処理システム。【選択図】図５

Description

本発明は、画像処理システム、画像処理方法、及びプログラムに関する。

近年、仮想現実（ＶＲ：Virtual Reality）の技術を利用して、店舗の売り場や博物館の展示物などを実際に見て回っているかのような見方を提供するサービスが注目されている。このサービスでは、例えばウォークスルー型の画像を提示することにより、本来と近い動きで周囲を観察することができる。ウォークスルー型の画像は、フロア全体など広範囲を示す複数のパノラマ画像によって構成される。最近では、商品や展示物などをより詳細に表示するために、拡大された画像などの詳細を示す詳細画像をパノラマ画像とは別に用意して表示する取り組みも増加している。

表示されている詳細画像を別の視点の詳細画像に切り替える際に、シーンの連続性を無視した切り替えが行われた場合、視点移動前後の位置関係や商品の位置関係が分からなくなってしまう。これにより、ユーザに視覚的な違和感を与え、混乱を招いてしまうことがある。
そこで、別の視点の詳細画像に切り替える際に、画像間の垂直方向のズレ補正するための技術（下記特許文献１参照）や、２枚の画像をフェードによって切り替える際に画像の透明度や色温度を一致させるための技術（下記特許文献２参照）などが開示されている。

特開２０１９－４５６７９号公報 特開２０２１－１６３９８０号公報

しかしながら、上記特許文献１や特許文献２に記載された技術では、画像の切り替え前後における水平方向のズレ、対象物の位置関係、画像の撮影時に撮影装置が傾いていたことにより画像に生じる傾きなどは補正されておらず、シーンの連続性への考慮が不十分であった。このため、画像の切り替え前後で構図が大きく変わる場合において、特にシーンの連続性にズレが発生しやすく、ユーザビリティを低下させていた。

上述の課題を鑑み、本発明の目的は、複数の画像の切り替えにおけるユーザビリティを向上することが可能な画像処理システム、画像処理方法、及びプログラムを提供することにある。

上述の課題を解決するために、本発明の一態様に係る画像処理システムは、複数の画像を切り替えて表示するための画像処理システムであって、切り替え元の画像と切り替え先の画像を取得する画像取得部と、前記切り替え元の画像から第１領域を抽出し、前記切り替え先の画像から前記第１領域と類似した特徴を有する第２領域を抽出する領域抽出部と、前記第１領域が前記第２領域に重なるよう、前記切り替え元の画像を変形させた合成画像を生成する画像生成部と、を備える画像処理システム。

本発明の一態様に係る画像処理方法は、複数の画像を切り替えて表示するための画像処理システムにおける画像処理方法であって、画像取得部が、切り替え元の画像と切り替え先の画像を取得する画像取得過程と、領域抽出部が、前記切り替え元の画像から第１領域を抽出し、前記切り替え先の画像から前記第１領域と類似した特徴を有する第２領域を抽出する領域抽出過程と、画像生成部が、前記第１領域が前記第２領域に重なるよう、前記切り替え元の画像を変形させた合成画像を生成する画像生成過程と、を含む。

本発明の一態様に係るプログラムは、複数の画像を切り替えて表示するための画像処理システムにおけるコンピュータを、切り替え元の画像と切り替え先の画像を取得する画像取得手段と、前記切り替え元の画像から第１領域を抽出し、前記切り替え先の画像から前記第１領域と類似した特徴を有する第２領域を抽出する領域抽出手段と、前記第１領域が前記第２領域に重なるよう、前記切り替え元の画像を変形させた合成画像を生成する画像生成手段と、として機能させる。

本発明によれば、複数の画像の切り替えにおけるユーザビリティを向上することができる。

本実施形態に係る画像処理システムの概略構成の一例を示す図である。 本実施形態に係るパノラマ画像の一例を示す図である。 本実施形態に係る詳細画像の一例を示す図である。 本実施形態に係る詳細画像の一例を示す図である。 本実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。 本実施形態に係る詳細画像の切り替え元の画像の一例を示す図である。 本実施形態に係る詳細画像の切り替え先の画像の一例を示す図である。 本実施形態に係る第１領域と第２領域の一例を示す図である。 本実施形態に係る合成画像の一例を示す図である。 本実施形態に係る補間変換行列の生成の一例を示す図である。 本実施形態に係る画像切り替え表示の一例を示す図である。 本実施形態に係る画像処理システムにおける処理の流れの一例を示すシーケンス図である。 本実施形態に係る詳細画像切り替え処理の流れの一例を示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。

＜１．画像処理システムの概略構成＞
図１から図４を参照して、本実施形態に係る画像処理システムの概略構成について説明する。図１は、本実施形態に係る画像処理システムの概略構成の一例を示す図である。
図１に示すように、画像処理システム１は、撮影装置１０と、幾何情報取得装置２０と、ユーザ端末３０と、画像処理装置４０とを備える。

（１）画像処理システム１
画像処理システム１は、複数の画像を切り替えて表示するためのシステムである。例えば、画像処理システム１は、仮想現実（ＶＲ：Virtual Reality）の技術を利用して、対象空間や対象物を仮想的に再現した仮想空間を提供する。対象空間は、例えば、店舗の売り場や博物館の展示場などである。対象物は、例えば、店舗の商品や博物館の展示物などである。以下、本実施形態では、対象空間が店舗の売り場であり、対象物が商品である例を一例として説明する。
仮想空間では、例えばウォークスルー型の画像が提示され、ユーザは実空間における動作と近い動作で周囲を観察することができる。ウォークスルー型の画像は、フロアの広範囲が撮影された複数のパノラマ画像によって構成される。
また、画像処理システム１は、ユーザに対して商品や展示物などをより詳細に提示するために、パノラマ画像とは別に撮影された詳細画像も提供する。詳細画像は、例えば、商品や展示物などがパノラマ画像の撮影位置よりも近い位置で撮影された画像である。即ち、詳細画像では、商品や展示物などがパノラマ画像よりも拡大して表示される。
また、画像処理システム１は、詳細画像の表示範囲の変更、即ち別の視点の詳細画像への切り替えを行うこともできる。

ここで、図２から図４を参照して、画像処理システム１が提供する仮想空間について具体的に説明する。図２は、本実施形態に係るパノラマ画像の一例を示す図である。図３及び図４は、本実施形態に係る詳細画像の一例を示す図である。

画像処理システム１は、例えば、仮想空間の一部として図２に示すようなパノラマ画像５０を表示する。ユーザは、パノラマ画像５０において、より詳細に確認したい位置を選択することで、選択した位置の詳細画像を確認することができる。例えば、ユーザは、図２に示す位置ＳＰを選択したとする。この場合、画像処理システム１は、位置ＳＰに対応する詳細画像として、図３に示す詳細画像６０を表示する。このため、ユーザは、選択した位置の詳細画像を確認することができる。
また、ユーザは、詳細画像を別の視点の詳細画像に切り替えたい場合、詳細画像を切り替える操作を入力することで、詳細画像を切り替えることができる。例えば、ユーザは、図３に示す矢印ＳＤの方向へスワイプする操作を入力したとする。この場合、画像処理システム１は、詳細画像６０の右隣り（矢印ＳＤが指す方向とは反対側）にある詳細画像として、図４に示す詳細画像６１を表示する。このため、ユーザは、詳細画像を切り替えることができる。

（１）撮影装置１０
撮影装置１０は、パノラマ画像や詳細画像を撮影するカメラである。撮影装置１０は、対象空間の天井、壁、床などに固定して設置されて撮影するカメラ、対象空間内を移動可能なロボットなどの移動体に設けられて撮影するカメラ、又は人が手動で操作して撮影するカメラなどのいずれであってもよい。パノラマ画像は、例えば、全天周カメラ又は全天球カメラによって撮影される。詳細画像は、例えば、デジタルカメラ、スマートフォン、タブレット端末、ウェブカメラなどによって撮影される。
撮影装置１０は、ネットワークＮＷを介して、画像処理装置４０と通信可能に接続されている。撮影装置１０は、ネットワークＮＷを介して、撮影したパノラマ画像や詳細画像を画像処理装置４０へ送信する。
図１に示すように、撮影装置１０は、距離センサ１１と傾きセンサ１２とを備える。

（１－１）距離センサ１１
距離センサ１１は、距離情報を測定するセンサ装置である。距離センサ１１は、例えば、ＬｉＤＡＲ（Light Detection and Ranging）である。距離情報は、撮影装置１０から被写体までの距離を示す情報である。例えば、距離センサ１１は、撮影装置１０が詳細画像を撮影した位置から、詳細画像に写る各被写体（例えば商品）までの距離を測定する。距離センサ１１が測定した距離を示す距離情報は、撮影装置１０が撮影した詳細画像とともに、撮影装置１０から画像処理装置４０へ送信される。

（１－２）傾きセンサ１２
傾きセンサ１２は、傾き情報を測定するセンサ装置である。傾きセンサ１２は、例えば、傾斜センサや慣性センサなどである。傾き情報は、被写体を撮影している撮影装置１０の傾きを示す情報である。例えば、傾きセンサ１２は、撮影装置１０を被写体と正対させるために傾けた角度を測定する。傾きセンサ１２が測定した角度を示す傾き情報は、撮影装置１０が撮影した詳細画像とともに、撮影装置１０から画像処理装置４０へ送信される。

（２）幾何情報取得装置２０
幾何情報取得装置２０は、幾何情報を取得する装置である。幾何情報は、詳細画像を撮影した撮影装置１０と被写体との幾何学的関係を示す情報である。幾何学的関係を示す情報は、例えば、距離情報や傾き情報である。
幾何情報取得装置２０は、ネットワークＮＷを介して、画像処理装置４０と通信可能に接続されている。幾何情報取得装置２０は、ネットワークＮＷを介して、取得した幾何情報を画像処理装置４０へ送信する。

幾何情報取得装置２０は、例えば、撮影装置１０の外部に設けられたカメラやセンサ装置などである。幾何情報取得装置２０がカメラである場合、幾何情報取得装置２０は、撮影装置１０が詳細画像を撮影している様子を撮影し、撮影した画像を解析することで距離情報や傾き情報を幾何情報として取得する。
センサ装置は、例えば、距離センサや傾きセンサなどである。幾何情報取得装置２０が距離センサである場合、幾何情報取得装置２０は、詳細画像を撮影している撮影装置１０から被写体までの距離を測定して得られる距離情報を幾何情報として取得する。また、幾何情報取得装置２０が傾きセンサである場合、幾何情報取得装置２０は、詳細画像を撮影している撮影装置１０の傾きを測定して得られる傾き情報を幾何情報として取得する。傾きセンサによる傾き情報の取得は、例えば、撮影装置１０の筐体の外部や詳細画像を撮影する移動体に設けることで可能である。

なお、本実施形態において幾何情報は、撮影装置１０の内部に設けられた距離センサ１１によって取得された情報、又は撮影装置１０の外部に設けられた幾何情報取得装置２０によって取得された情報のいずれであってもよい。

（３）ユーザ端末３０
ユーザ端末３０は、ユーザが使用する端末である。ユーザ端末３０は、例えば、スマートフォン、タブレット端末、ＰＣ（Personal Computer）などのいずれによって実現されてもよい。
ユーザ端末３０は、ネットワークＮＷを介して、画像処理装置４０と通信可能に接続されている。ユーザ端末３０は、ネットワークＮＷを介して、ユーザによる操作内容を示す操作情報を画像処理装置４０へ送信し、表示する画像を画像処理装置４０から受信する。

ユーザ端末３０は、アプリケーションを介して、ユーザへ仮想空間を提示する。当該アプリケーションは、例えば、ユーザ端末３０にインストールすることで使用可能なものであってもよいし、Ｗｅｂ（Ｗｅｂブラウザ）からアクセスすることで使用可能なものであってもよい。
ユーザは、ユーザ端末３０に対して各種の操作を入力することで、仮想空間における各種の画像を表示することができる。例えば、ユーザは、パノラマ画像を表示する操作を入力することで、ユーザ端末３０にパノラマ画像を表示させ、店舗の売り場を見て回ることができる。また、ユーザは、詳細画像を表示する操作を入力することで、ユーザ端末３０に詳細画像を表示させ、商品をより詳細に確認することができる。また、ユーザは、詳細画像を切り替える操作を入力することで、ユーザ端末３０に表示された詳細画像を別の詳細画像に切り替え表示させ、切り替え前とは別の視点から商品を確認することができる。
なお、詳細画像を表示する操作や詳細画像を切り替える操作は、例えば、タッチ、スワイプ、クリック、ハンドジェスチャ、首振りなどの操作である。

（４）画像処理装置４０
画像処理装置４０は、仮想空間における各種画像を表示するための画像処理を行う装置である。画像処理装置４０は、例えば、ＰＣやサーバなどによって実現される。画像処理装置４０は、ネットワークＮＷを介して、撮影装置１０と、幾何情報取得装置２０と、ユーザ端末３０と通信可能に接続されている。画像処理装置４０は、撮影装置１０から受信するパノラマ画像と詳細画像に基づき、仮想空間を生成する。また、画像処理装置４０は、ユーザ端末３０から受信する操作情報に基づき、仮想空間における各種の画像をユーザ端末３０に表示する。また、画像処理装置４０は、撮影装置１０又は幾何情報取得装置２０から受信する幾何情報に基づき、詳細画像を表示するための画像処理を行う。
画像処理装置４０の機能の詳細は、後述する。

＜２．画像処理装置の機能構成＞
以上、本実施形態に係る画像処理システム１の概略構成について説明した。続いて、図５～図１１を参照して、本実施形態に係る画像処理装置４０の機能構成について説明する。図５は、本実施形態に係る画像処理装置４０の機能構成の一例を示すブロック図である。
図５に示すように、画像処理装置４０は、通信部４１０と、記憶部４２０と、制御部４３０とを備える。

（１）通信部４１０
通信部４１０は、各種情報の送受信を行う機能を有する。例えば、通信部４１０は、撮影装置１０と、幾何情報取得装置２０と、ユーザ端末３０と通信を行う。
撮影装置１０との通信において、通信部４１０は、パノラマ画像、詳細画像、又は詳細画像撮影時の距離情報を受信する。
幾何情報取得装置２０との通信において、通信部４１０は、詳細画像撮影時の幾何情報を受信する。
ユーザ端末３０との通信において、通信部４１０は、操作情報を受信し、パノラマ画像や詳細画像などの表示画像を送信する。

（２）記憶部４２０
記憶部４２０は、各種情報を記憶する機能を有する。記憶部４２０は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、またはこれらの記憶媒体の任意の組み合わせによって構成される。
記憶部４２０は、例えば、パノラマ画像、詳細画像、仮想空間の情報、幾何情報（距離情報及び傾き情報）などを記憶する。

（３）制御部４３０
制御部４３０は、画像処理装置４０の動作全般を制御する機能を有する。制御部４３０は、例えば、画像処理装置４０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。
図５に示すように、制御部４３０は、操作情報取得部４３１と、操作情報生成部４３２と、画像取得部４３３と、幾何情報取得部４３４と、パース補正画像生成部４３５と、領域抽出部４３６と、変換行列生成部４３７と、画像生成部４３８と、画像表示部４３９とを備える。

（３－１）操作情報取得部４３１
操作情報取得部４３１は、操作情報を取得する機能を有する。操作情報取得部４３１は、操作情報をユーザの入力に基づき取得する。具体的に、操作情報取得部４３１は、ユーザがユーザ端末３０へ入力するパノラマ画像を表示する操作、詳細画像を表示する操作、又は詳細画像を切り替える操作のいずれかを示す操作情報を、通信部４１０を介してユーザ端末３０から取得する。

（３－２）操作情報生成部４３２
操作情報生成部４３２は、操作情報を生成する機能を有する。具体的に、操作情報生成部４３２は、詳細画像を切り替える操作を示す操作情報を生成する。例えば、操作情報生成部４３２は、ユーザによる操作によって詳細画像が表示された際に詳細画像を自動で切り替える設定がされている場合に、詳細画像を切り替える操作を示す操作情報を生成する。

（３－３）画像取得部４３３
画像取得部４３３は、各種画像を取得する機能を有する。画像取得部４３３は、操作情報生成部４３２によって取得された操作情報又は操作情報生成部４３２によって生成された操作情報に基づき、画像を取得する。
操作情報がパノラマ画像を表示する操作である場合、画像取得部４３３は、操作に対応するパノラマ画像を記憶部４２０から取得する。また、操作情報が詳細画像を表示する操作である場合、画像取得部４３３は、操作（選択位置）に対応する詳細画像を記憶部４２０から取得する。また、操作情報が詳細画像を切り替える操作である場合、画像取得部４３３は、詳細画像の切り替え元の画像と詳細画像の切り替え先の画像を記憶部４２０から取得する。切り替え元の画像は、詳細画像を切り替える操作の入力時に表示されていた詳細画像である。切り替え先の画像は、詳細画像を切り替える操作によって最終的に表示される詳細画像である。例えば、詳細画像を切り替える操作が詳細画像を表示したい位置をタッチする操作である場合、切り替え元の画像はタッチ時に表示されていた詳細画像であり、切り替え先の画像はタッチされた位置に対応する詳細画像である。

ここで、図６及び図７を参照して、画像取得部４３３が取得する詳細画像の一例について説明する。図６は、本実施形態に係る詳細画像の切り替え元の画像の一例を示す図である。図７は、本実施形態に係る詳細画像の切り替え先の画像の一例を示す図である。

図６には、詳細画像の切り替え元の画像７０が示されている。図７には、詳細画像の切り替え先の画像８０が示されているである。切り替え元の画像７０と切り替え先の画像８０には、それぞれ同一の商品棚ＰＳ１と商品棚ＰＳ２が写っているが、撮影位置が異なっているため、各商品棚の写る向きが異なっている。具体的に、切り替え先の画像８０の撮影位置は、切り替え元の画像７０の撮影位置から商品棚ＰＳ２の方へ商品棚ＰＳ１を回り込んだ位置にある。

（３－４）幾何情報取得部４３４
幾何情報取得部４３４は、幾何情報を取得する機能を有する。例えば、幾何情報取得部４３４は、詳細画像の切り替え元の画像又は詳細画像の切り替え先の画像における、当該画像を撮影した撮影装置１０と被写体との幾何学的関係を示す情報を幾何情報として取得する。

例えば、幾何情報取得部４３４は、距離センサ１１によって測定された距離情報と傾きセンサ１２によって測定された傾き情報を幾何情報として取得する。
また、幾何情報取得部４３４は、幾何情報取得装置２０によって取得された距離情報と傾き情報を幾何情報として取得してもよい。
また、幾何情報取得部４３４は、撮影装置１０によって撮影された詳細画像を解析することによって、距離情報と傾き情報を幾何情報として取得してもよい。
また、幾何情報取得部４３４は、ユーザによって入力される距離情報と傾き情報を幾何情報として取得してもよい。
また、幾何情報取得部４３４は、距離情報をユーザの視線位置や操作情報に基づき取得してもよい。

（３－５）パース補正画像生成部４３５
パース補正画像生成部４３５は、パースを補正した画像（以下、「パース補正画像」とも称される）を生成する機能を有する。例えば、詳細画像の切り替え元の画像にパースが付いている場合、パース補正画像生成部４３５は、切り替え元の画像のパースを補正したパース補正画像を生成する。また、詳細画像の切り替え先の画像にパースが付いている場合、パース補正画像生成部４３５は、切り替え先の画像のパースを補正したパース補正画像を生成する。
このように、パース補正画像生成部４３５が詳細画像のパースを補正することで、後述する領域抽出部４３６による領域抽出の精度を向上することができる。

（３－６）領域抽出部４３６
領域抽出部４３６は、複数の画像から特徴が類似している領域を抽出する機能を有する。例えば、領域抽出部４３６は、詳細画像の切り替え元の画像から第１領域を抽出し、詳細画像の切り替え先の画像から第１領域と類似した特徴を有する第２領域を抽出する。具体的に、領域抽出部４３６は、詳細画像の切り替え元の画像と切り替え先の画像との間で、特徴が類似している位置（以下、「対応点」とも称される）を抽出する。領域抽出部４３６は、切り替え元の画像において対応点が密集している領域を第１領域として抽出し、切り替え先の画像において第１領域と対応する対応点が密集している領域を第２領域として抽出する。

ここで、図８を参照して、第１領域と第２領域の抽出について説明する。図８は、本実施形態に係る第１領域と第２領域の一例を示す図である。なお、図８に示す切り替え元の画像７０及び切り替え先の画像８０は、それぞれパース補正画像であってもよいしパース補正画像でなくもよい。
領域抽出部４３６は、例えば図８に示すように、切り替え元の画像７０において商品棚ＰＳ１にある領域ＦＡ１を第１領域として抽出し、切り替え先の画像８０において商品棚ＰＳ１にある領域ＳＡ１を領域ＦＡ１と対応する第２領域として抽出する。また、領域抽出部４３６は、切り替え元の画像７０において商品棚ＰＳ２にある領域ＦＡ２を第１領域として抽出し、切り替え先の画像８０において商品棚ＰＳ２にある領域ＳＡ２を領域ＦＡ２と対応する第２領域として抽出する。

なお、領域抽出部４３６は、パース補正画像生成部４３５によってパース補正画像が生成されたか否かに応じて、領域の抽出を行ってもよい。例えば、詳細画像の切り替え元の画像のパース補正画像のみが生成されている場合、領域抽出部４３６は、切り替え元のパース補正画像と切り替え先の画像から複数の対応点を抽出し、各領域を抽出する。また、詳細画像の切り替え先の画像のパース補正画像のみが生成されている場合、領域抽出部４３６は、切り替え元の画像と切り替え先のパース補正画像から複数の対応点を抽出し、各領域を抽出する。また、詳細画像の切り替え元の画像と切り替え先の画像のパース補正画像が両方とも生成されている場合、領域抽出部４３６は、切り替え元のパース補正画像と切り替え先のパース補正画像から複数の対応点を抽出し、各領域を抽出する。
領域抽出部４３６は、パース補正画像を用いることで、各領域の抽出精度を向上することができる。

（３－７）変換行列生成部４３７
変換行列生成部４３７は、変換行列を生成する機能を有する。変換行列は、詳細画像の切り替え元の画像を合成画像に変換するための行列である。変換行列は、例えば、ホモグラフィ行列である。合成画像は、詳細画像の切り替え元の画像にある第１領域が、詳細画像の切り替え先の画像にある第２領域に重なるよう、詳細画像の切り替え元の画像を変形させた画像である。

ここで、図９を参照して、本実施形態に係る合成画像について説明する。図９は、本実施形態に係る合成画像の一例を示す図である。
図９に示す合成画像９０は、図６に示した切り替え元の画像７０と図７に示した切り替え先の画像８０に基づき変換行列生成部４３７が生成した変換行列によって、切り替え元の画像７０が変形された画像である。合成画像９０では、商品棚ＰＳ１及び商品棚ＰＳ２の形状が、切り替え元の画像７０における状態から切り替え先の画像８０における状態により近くなるように変形している。

変換行列の生成についてより具体的に説明する。例えば、変換行列生成部４３７は、第１領域及び第２領域において特徴が類似している位置を示す複数の対応点に基づき、変換行列を生成する。この時、変換行列生成部４３７は、切り替え元の画像又は切り替え先の画像における複数の対応点の密度に応じて、複数の対応点から一部の対応点を選択し、当該一部の対応点のみから変換行列を生成してもよい。例えば、変換行列生成部４３７は、対応点の密度が高い領域にある対応点を計算に用い、対応点の密度が低い領域にある対応点を計算から除外する。これにより、変換行列生成部４３７は、より特徴が類似している領域に基づき変換行列を生成できるため、変換行列の生成精度を向上することができる。また、変換行列の生成に用いる対応点の数を減らすことができ、変換行列生成における処理速度を向上することもできる。
例えば、図８に示した例において、領域ＦＡ１及び領域ＦＡ２における対応点の密度が高く、領域ＦＡ２及び領域ＳＡ２における対応点の密度が低かったとする。この場合、変換行列生成部４３７は、領域ＦＡ１及び領域ＦＡ２の対応点のみを用いて、変換行列を生成する。

また、変換行列生成部４３７は、幾何情報に応じて、複数の対応点から一部の対応点を選択し、当該一部の対応点のみから変換行列を生成する。例えば、変換行列生成部４３７は、撮影装置１０の撮影位置から距離が近い位置にある対応点を計算に用い、距離が離れた位置にある対応点を計算から除外する。これは、撮影装置１０の撮影位置から近い位置ほど、ユーザに注目してもらいたい場合が多いためである。これにより、変換行列生成部４３７は、ユーザに注目してもらいたい位置にフォーカスした合成画像を生成するための変換行列を生成することができる。
例えば、図８に示した例において、領域ＦＡ１及び領域ＦＡ２の位置の方が撮影装置１０の撮影位置に近く、領域ＦＡ２及び領域ＳＡ２の位置の方が撮影装置１０の撮影位置から離れていたとする。この場合、変換行列生成部４３７は、領域ＦＡ１及び領域ＦＡ２の対応点のみを用いて、変換行列を生成する。

ここで、図１０を参照して、本実施形態に係る補間変換行列の生成について説明する。図１０は、本実施形態に係る補間変換行列の生成の一例を示す図である。図１０には、切り替え元の画像７０と合成画像９０との間を補う画像を生成する例が示されている。

変換行列生成部４３７は、補間変換行列を生成する機能を有する。補間変換行列は、詳細画像の切り替え元の画像と合成画像との間を補う画像（以下、「補間画像」とも称される）を生成するための変換行列である。例えば、変換行列生成部４３７は、詳細画像の切り替え元の画像の頂点と合成画像の頂点とに基づき、補間変換行列を生成する。
具体的に、変換行列生成部４３７は、切り替え元の画像と合成画像との対応する頂点間を等分し、等分における分割位置ごとに補間変換行列を生成する。例えば、ｎ点補間するためにはｎ個の補間変換行列を生成する必要ある。このため、分割位置もｎ個必要であるため、頂点間を（ｎ＋１）等分する必要がある。
図１０に示す例の場合、変換行列生成部４３７は、頂点７０ａと頂点９０ａとの間と、頂点７０ｂと頂点９０ｂとの間と、頂点７０ｃと頂点９０ｃとの間と、頂点７０ｄと頂点９０ｄとの間とがそれぞれ（ｎ＋１）等分する。
（ｎ＋１）等分した場合、変換行列生成部４３７は、分割した１番目からｎ番目までの各分割位置を示す位置情報に基づき、補間変換行列（ホモグラフィ行列）Ｈ１～Ｈｎを生成する。

そして、後述する画像生成部４３８によって、切り替え元の画像７０が補間変換行列Ｈ１～Ｈｎによって変換され、補間画像Ｉ１～Ｉｎが生成される。
また、後述する画像表示部４３９によって、切り替え元の画像７０を切り替え先の画像８０へ切り替える際に、補間画像Ｉ１～Ｉｎ、合成画像９０、切り替え先の画像８０の順に画像が表示される。
これにより、切り替え元の画像７０から切り替え先の画像８０への切り替えがより滑らかに行われる。よって、画像の切り替え前後で構図が大きく変わる場合であっても、シーンの連続性のズレの発生が低減され、ユーザビリティの低下を防ぐことができる。

一例として、図１０に示す切り替え元の画像７０と合成画像９０との間を２点補間する場合について説明する。
まず、変換行列生成部４３７は、頂点７０ａと頂点９０ａのペア、頂点７０ｂと頂点９０ｂのペア、頂点７０ｃと頂点９０ｃのペア、頂点７０ｄと頂点９０ｄのペアを作る。次いで、変換行列生成部４３７は、各ペア間を３等分する。この時、切り替え元の画像７０に近い分割位置から順に１番目の分割位置、２番目の分割位置とカウントする。
次いで、変換行列生成部４３７は、切り替え元の画像７０の頂点４点と、１番目の分割位置の頂点４点とに基づき、補間変換行列Ｈ１を生成する。
次いで、変換行列生成部４３７は、切り替え元の画像７０の頂点４点と、２番目の分割位置の頂点４点とに基づき、補間変換行列Ｈ２を生成する。
次いで、画像生成部４３８は、切り替え元の画像７０を、補間変換行列Ｈ１で変換して補間画像Ｉ１を生成し、補間変換行列Ｈ２で変換して補間画像Ｉ２を生成する。
そして、画像表示部４３９は、切り替え元の画像７０を切り替え先の画像８０へ切り替える際に、補間画像Ｉ１、補間画像Ｉ２、合成画像９０、切り替え先の画像８０の順に表示する。

（３－８）画像生成部４３８
画像生成部４３８は、画像を生成する機能を有する。例えば、画像生成部４３８は、合成画像を生成する。具体的に、画像生成部４３８は、変換行列生成部４３７によって生成された変換行列に基づき、詳細画像の切り替え元の画像を変形させることで、合成画像を生成する。
また、画像生成部４３８は、補間画像も生成する。具体的に、画像生成部４３８は、変換行列生成部４３７によって生成された補間変換行列に基づき、詳細画像の切り替え元の画像を変形させることで、補間画像を生成する。

（３－９）画像表示部４３９
画像表示部４３９は、画像の表示を制御する機能を有する。画像表示部４３９は、操作情報取得部４３１によって取得された操作情報、又は操作情報生成部４３２によって生成された操作情報に基づいて、画像の表示を制御する。

操作情報がパノラマ画像を表示する操作である場合、画像表示部４３９は、当該操作情報に基づいてパノラマ画像の表示を行う。例えば、画像表示部４３９は、画像取得部４３３によって取得されたパノラマ画像をユーザ端末３０に表示させる。
また、操作情報が詳細画像を表示する操作である場合、画像表示部４３９は、当該操作情報に基づいて詳細画像の表示を行う。例えば、画像表示部４３９は、画像取得部４３３によって取得された詳細画像をユーザ端末３０に表示させる。

また、操作情報が詳細画像を切り替える操作である場合、画像表示部４３９は、当該操作情報に基づいて詳細画像の切り替え表示を行う。例えば、画像表示部４３９は、切り替え元の画像７０から切り替え先の画像８０への切り替え表示を行う。この時、合成画像９０が生成されている場合、画像表示部４３９は、切り替え元の画像７０と合成画像９０の切り替え表示、合成画像９０と切り替え先の画像８０の切り替え表示を行う。
また、補間画像が生成されている場合、画像表示部４３９は、切り替え元の画像７０と補間画像の切り替え表示、補間画像と合成画像９０の切り替え表示、合成画像９０と切り替え先の画像８０の切り替え表示を行う。

ここで、図１１を参照して、本実施形態に係る画像切り替え表示について説明する。図１１は、本実施形態に係る画像切り替え表示の一例を示す図である。図１１には、切り替え元の画像７０から切り替え先の画像８０に切り替える際に、合成画像９０を表示させてから切り替え元の画像８０を表示させる例について示されている。
画像表示部４３９は、合成画像９０を表示させる際に、合成画像９０と切り替え先の画像８０の対応する領域（特徴が類似する領域）が重なり合うように、切り替え先の画像８０の上に合成画像９０を表示する。
合成画像９０の表示後、画像表示部４３９は、合成画像９０を消して、切り替え先の画像８０を表示させる。この時、画像表示部４３９は、例えば合成画像９０をフェードアウトさせて切り替え先の画像８０をフェードインさせることや、モーフィングの適用を行ってもよい。これにより、画像表示部４３９は、視覚的な連続性を保ったままシーンを変化させることができる。

なお、画像表示部４３９は、補間画像が生成されている場合も同様にして、切り替え先の画像８０を表示する。例えば、上述した図１０に示す切り替え元の画像７０と合成画像９０との間を２点補間する例の場合、画像表示部４３９は、切り替え先の画像８０の上に合成画像９０を表示し、合成画像９０の上に補間画像Ｉ２を表示し、補間画像Ｉ２の上に補間画像Ｉ１を表示する。そして、画像表示部４３９は、上にある画像から順に消していき、切り替え先の画像８０を表示する。

＜３．処理の流れ＞
以上、本実施形態に係る画像処理装置４０の機能構成について説明した。続いて、図１２及び図１３を参照して、本実施形態に係る処理の流れについて説明する。

（１）画像処理システム１における処理の流れ
図１２を参照して、本実施形態に係る画像処理システム１における処理の流れについて説明する。図１２は、本実施形態に係る画像処理システム１における処理の流れの一例を示すシーケンス図である。

図１２に示すように、まず、ユーザは、パノラマ画像を表示する操作をユーザ端末３０に入力する（ステップＳ１０１）。
ユーザ端末３０は、パノラマ画像を表示する操作を示す操作情報を画像処理装置４０へ送信する（ステップＳ１０２）。
画像処理装置４０は、ユーザ端末３０から受信した操作情報がパノラマ画像を表示する操作を示すため、パノラマ画像をユーザ端末３０へ送信する（ステップＳ１０３）。
ユーザ端末３０は、画像処理装置４０から受信したパノラマ画像を表示する（ステップＳ１０４）。

次いで、ユーザは、詳細画像を表示する操作をユーザ端末３０に入力する（ステップＳ２０１）。
ユーザ端末３０は、詳細画像を表示する操作を示す操作情報を画像処理装置４０へ送信する（ステップＳ２０２）。
画像処理装置４０は、ユーザ端末３０から受信した操作情報が詳細画像を表示する操作を示すため、詳細画像をユーザ端末３０へ送信する（ステップＳ２０３）。
ユーザ端末３０は、画像処理装置４０から受信した詳細画像を表示する（ステップＳ２０４）。

次いで、ユーザは、詳細画像を切り替える操作をユーザ端末３０に入力する（ステップＳ３０１）。
ユーザ端末３０は、詳細画像を切り替える操作を示す操作情報を画像処理装置４０へ送信する（ステップＳ３０２）。
画像処理装置４０は、ユーザ端末３０から受信した操作情報が詳細画像を切り替える操作を示すため、詳細画像切り替え処理を実行する（ステップＳ３０３）。
ユーザ端末３０は、詳細画像切り替え処理によって画像処理装置４０から受信する画像を順に切り替えて表示することで、最終的に詳細画像の切り替え先の画像を表示する（ステップＳ３０４）。

（２）詳細画像切り替え処理の流れ
図１３を参照して、本実施形態に係る詳細画像切り替え処理の流れについて説明する。図１３は、本実施形態に係る詳細画像切り替え処理の流れの一例を示すフローチャートである。なお、以下では、ユーザ操作に基づき詳細画像の切り替えが行われる例について説明する。

図１３に示すように、まず、操作情報取得部４３１は、操作情報を取得する（ステップＳ４０１）。
次いで、画像取得部４３３は、操作情報取得部４３１によって取得された操作情報に基づき、切り替え元の画像及び切り替え先の画像を取得する（ステップＳ４０２）。
次いで、幾何情報取得部４３４は、画像取得部４３３によって取得された切り替え元の画像及び切り替え先の画像と撮影装置１０との幾何学的関係を示す幾何情報を取得する（ステップＳ４０３）。
次いで、パース補正画像生成部４３５は、幾何情報取得部４３４によって取得された幾何情報に基づき、必要に応じて切り替え元の画像又は切り替え先の画像のパースを補正したパース補正画像を生成する（ステップＳ４０４）。
次いで、領域抽出部４３６は、画像取得部４３３によって取得された切り替え元の画像と切り替え先の画像、又はパース補正画像生成部４３５によって生成されたパース補正画像に基づき、第１領域及び第２領域を抽出する（ステップＳ４０５）。
次いで、変換行列生成部４３７は、領域抽出部４３６によって抽出された第１領域及び第２領域における複数の対応点に基づき、変換行列を生成する（ステップＳ４０６）。
次いで、画像生成部４３８は、変換行列生成部４３７によって生成された変換行列に基づき、切り替え元の画像を変形させた合成画像を生成する（ステップＳ４０７）。
次いで、変換行列生成部４３７は、画像生成部４３８によって生成された合成画像に基づき、補間変換行列を生成する（ステップＳ４０８）。
次いで、画像生成部４３８は、変換行列生成部４３７によって生成された補間変換行列に基づき、切り替え元の画像を変形させた補間画像を生成する（ステップＳ４０９）。
そして、画像表示部４３９は 、補間画像、合成画像、及び切り替え先の画像をユーザ端末３０へ送信し、各画像の切り替え表示を実行する（ステップＳ４１０）。

以上説明したように、本実施形態に係る画像処理システム１は、複数の画像を切り替えて表示するために、切り替え元の画像と切り替え先の画像を取得し、切り替え元の画像から第１領域を抽出し、切り替え先の画像から第１領域と類似した特徴を有する第２領域を抽出し、第１領域が第２領域に重なるよう切り替え元の画像を変形させた合成画像を生成する。

かかる構成により、本実施形態に係る画像処理システム１は、画像の切り替え前後における水平方向のズレや対象物の位置関係などを補正することができ、シーンの連続性を考慮した画像の切り替えを行うことができる。これにより、画像の切り替え前後で構図が大きく変わる場合であっても、シーンの連続性にズレが発生することを低減することができる。
よって、本実施形態に係る画像処理システム１は、複数の画像の切り替えにおけるユーザビリティを向上することを可能とする。

以上、本発明の実施形態について説明した。なお、上述した実施形態における画像処理システム１及び画像処理装置４０の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、画像処理装置４０が有する機能の一部又は全部をユーザ端末３０が有する構成であってもよい。

（付記１）
複数の画像を切り替えて表示するための画像処理システムであって、
切り替え元の画像と切り替え先の画像を取得する画像取得部と、
前記切り替え元の画像から第１領域を抽出し、前記切り替え先の画像から前記第１領域と類似した特徴を有する第２領域を抽出する領域抽出部と、
前記第１領域が前記第２領域に重なるよう、前記切り替え元の画像を変形させた合成画像を生成する画像生成部と、
を備える画像処理システム。

（付記２）
前記合成画像と前記切り替え先の画像の切り替え表示を行う画像表示部、
をさらに備える付記２に記載の画像処理システム。

（付記３）
前記切り替え表示のための操作を示す操作情報をユーザの入力に基づき取得する操作情報取得部、
をさらに備え、
前記画像表示部は、前記操作情報に基づいて前記切り替え表示を行う、
付記２に記載の画像処理システム。

（付記４）
前記切り替え表示のための操作を示す操作情報を生成する操作情報生成部、
をさらに備え、
前記画像表示部は、前記操作情報に基づいて前記切り替え表示を行う、
付記２に記載の画像処理システム。

（付記５）
前記第１領域及び前記第２領域において特徴が類似している位置を示す複数の対応点に基づき、変換行列を生成する変換行列生成部、
をさらに備え、
前記画像生成部は、前記変換行列に基づき、前記切り替え元の画像を変形させる、
付記１から付記４のいずれか１つに記載の画像処理システム。

（付記６）
前記変換行列生成部は、前記切り替え元の画像の頂点と前記合成画像の頂点とに基づき、前記切り替え元の画像と前記合成画像との間を補う画像を生成するための補間変換行列を生成し、
前記画像生成部は、前記補間変換行列に基づき、前記切り替え元の画像を変形させる、
付記５に記載の画像処理システム。

（付記７）
前記切り替え元の画像のパースを補正したパース補正画像を生成するパース補正画像生成部と、
をさらに備え、
前記領域抽出部は、前記パース補正画像と前記切り替え先の画像から、前記複数の対応点を抽出する、
付記５又は付記６に記載の画像処理システム。

（付記８）
前記変換行列生成部は、前記切り替え元の画像又は前記切り替え先の画像における前記複数の対応点の密度に応じて、前記複数の対応点から一部の対応点を選択し、前記一部の対応点のみから前記変換行列を生成する、
付記５から付記７のいずれか１つに記載の画像処理システム。

（付記９）
前記切り替え元の画像又は前記切り替え先の画像における、当該画像を撮影した撮影装置と被写体との幾何学的関係を示す幾何情報を取得する幾何情報取得部、
をさらに備え、
前記変換行列生成部は、前記幾何情報に応じて、前記複数の対応点から一部の対応点を選択し、前記一部の対応点のみから前記変換行列を生成する、
付記５から付記７のいずれか１つに記載の画像処理システム。

（付記１０）
前記撮影装置は、距離センサを備え、
前記幾何情報は、前記距離センサによって取得された情報である、
付記９に記載の画像処理システム。

（付記１１）
前記幾何情報は、前記撮影装置の外部に設けられた幾何情報取得装置によって取得された情報である、
付記９に記載の画像処理システム。

（付記１２）
前記幾何情報取得部は、ユーザによって入力される前記幾何情報を取得する、
付記９に記載の画像処理システム。

１…画像処理システム、１０…撮影装置、１１…距離センサ、１２…傾きセンサ、２０…幾何情報取得装置、３０…ユーザ端末、４０…画像処理装置、４１０…通信部、４２０…記憶部、４３０…制御部、４３１…操作情報取得部、４３２…操作情報生成部、４３３…画像取得部、４３４…幾何情報取得部、４３５…パース補正画像生成部、４３６…領域抽出部、４３７…変換行列生成部、４３８…画像生成部、４３９…画像表示部、ＮＷ…ネットワーク

Claims (14)

1. 複数の画像を切り替えて表示するための画像処理システムであって、
   切り替え元の画像と切り替え先の画像を取得する画像取得部と、
   前記切り替え元の画像から第１領域を抽出し、前記切り替え先の画像から前記第１領域と類似した特徴を有する第２領域を抽出する領域抽出部と、
   前記第１領域が前記第２領域に重なるよう、前記切り替え元の画像を変形させた合成画像を生成する画像生成部と、
   を備える画像処理システム。
2. 前記合成画像と前記切り替え先の画像の切り替え表示を行う画像表示部、
   をさらに備える請求項１に記載の画像処理システム。
3. 前記切り替え表示のための操作を示す操作情報をユーザの入力に基づき取得する操作情報取得部、
   をさらに備え、
   前記画像表示部は、前記操作情報に基づいて前記切り替え表示を行う、
   請求項２に記載の画像処理システム。
4. 前記切り替え表示のための操作を示す操作情報を生成する操作情報生成部、
   をさらに備え、
   前記画像表示部は、前記操作情報に基づいて前記切り替え表示を行う、
   請求項２に記載の画像処理システム。
5. 前記第１領域及び前記第２領域において特徴が類似している位置を示す複数の対応点に基づき、変換行列を生成する変換行列生成部、
   をさらに備え、
   前記画像生成部は、前記変換行列に基づき、前記切り替え元の画像を変形させる、
   請求項１から請求項４のいずれか１項に記載の画像処理システム。
6. 前記変換行列生成部は、前記切り替え元の画像の頂点と前記合成画像の頂点とに基づき、前記切り替え元の画像と前記合成画像との間を補う画像を生成するための補間変換行列を生成し、
   前記画像生成部は、前記補間変換行列に基づき、前記切り替え元の画像を変形させる、
   請求項５に記載の画像処理システム。
7. 前記切り替え元の画像のパースを補正したパース補正画像を生成するパース補正画像生成部、
   をさらに備え、
   前記領域抽出部は、前記パース補正画像と前記切り替え先の画像から、前記複数の対応点を抽出する、
   請求項５に記載の画像処理システム。
8. 前記変換行列生成部は、前記切り替え元の画像又は前記切り替え先の画像における前記複数の対応点の密度に応じて、前記複数の対応点から一部の対応点を選択し、前記一部の対応点のみから前記変換行列を生成する、
   請求項５に記載の画像処理システム。
9. 前記切り替え元の画像又は前記切り替え先の画像における、当該画像を撮影した撮影装置と被写体との幾何学的関係を示す幾何情報を取得する幾何情報取得部、
   をさらに備え、
   前記変換行列生成部は、前記幾何情報に応じて、前記複数の対応点から一部の対応点を選択し、前記一部の対応点のみから前記変換行列を生成する、
   請求項５に記載の画像処理システム。
10. 前記撮影装置は、距離センサを備え、
    前記幾何情報は、前記距離センサによって取得された情報である、
    請求項９に記載の画像処理システム。
11. 前記幾何情報は、前記撮影装置の外部に設けられた幾何情報取得装置によって取得された情報である、
    請求項９に記載の画像処理システム。
12. 前記幾何情報取得部は、ユーザによって入力される前記幾何情報を取得する、
    請求項９に記載の画像処理システム。
13. 複数の画像を切り替えて表示するための画像処理システムにおける画像処理方法であって、
    画像取得部が、切り替え元の画像と切り替え先の画像を取得する画像取得過程と、
    領域抽出部が、前記切り替え元の画像から第１領域を抽出し、前記切り替え先の画像から前記第１領域と類似した特徴を有する第２領域を抽出する領域抽出過程と、
    画像生成部が、前記第１領域が前記第２領域に重なるよう、前記切り替え元の画像を変形させた合成画像を生成する画像生成過程と、
    を含む画像処理方法。
14. 複数の画像を切り替えて表示するための画像処理システムにおけるコンピュータを、
    切り替え元の画像と切り替え先の画像を取得する画像取得手段と、
    前記切り替え元の画像から第１領域を抽出し、前記切り替え先の画像から前記第１領域と類似した特徴を有する第２領域を抽出する領域抽出手段と、
    前記第１領域が前記第２領域に重なるよう、前記切り替え元の画像を変形させた合成画像を生成する画像生成手段と、
    として機能させるためのプログラム。

Images