JP2024131370A - 情報処理装置、情報処理システム、方法およびプログラム - Google Patents

Abstract

【課題】 キューブマップ形式の画像における視認性を向上する情報処理装置、情報処理システム、方法およびプログラムを提供すること。【解決手段】 広角画像における鉛直方向を回転軸とする回転方向を補正する補正パラメータ算出部６２０と、広角画像をキューブマップ形式に変換する変換手段と画像変換部６３０とを含む。【選択図】 図６

Description

本発明は、全天球画像を表示する情報処理装置、情報処理システム、方法およびプログラムに関する。

複数の広角レンズまたは魚眼レンズと、複数の撮像素子とを用いて、いわゆる全天球画像を撮像する撮像装置（以下、「全天球撮像装置」として参照する）が知られている。

全天球撮像装置によって撮像された全天球画像は、例えば、エクイレクタングラー形式、透視投影形式、魚眼形式、立方体を展開した図のようなキューブマップ形式など、種々の形式の画像として表示することができる。

例えば、特許第６７０４１３４号公報（特許文献１）では、全天球画像をキューブマップ形式の画像で表示する技術が開示されている。特許文献１によれば、ディープラーニングなどによる画像処理が容易な全天球画像を生成し、表示することができる。

ところで、キューブマップ形式の画像は、全天球撮像装置を仮想的に囲む立方体の各面（正面、背面、右側面、左側面、上面、底面）に全天球画像を投影して表示するものである。しかしながら、全天球画像をはじめとする広角画像をキューブマップ形式とした各面の画像は境界で遠近の変化が不連続となるため、キューブマップ形式の画像を１つの画像として俯瞰すると、不自然な画像となりやすい。

そのため、キューブマップ形式の画像の視認性を向上する技術が求められていた。

本発明は、上記従来技術における課題に鑑みてなされたものであり、キューブマップ形式の画像における視認性を向上する情報処理装置、情報処理システム、方法およびプログラムを提供することを目的とする。

すなわち、本発明によれば、
広角画像における鉛直方向を回転軸とする回転方向を補正する補正手段と、
前記広角画像をキューブマップ形式に変換する変換手段と
を含む、情報処理装置が提供される。

本発明によれば、キューブマップ形式の画像における視認性を向上する情報処理装置、情報処理システム、方法およびプログラムが提供できる。

本実施形態におけるシステム全体のハードウェアの概略構成を示す図。 本実施形態の情報処理装置に含まれるハードウェア構成を示す図。 本実施形態のシステムを構成する全天球撮像装置の断面図。 本実施形態における全天球撮像装置の姿勢の定義を説明する図。 全天球画像の天頂補正の例を示す図。 本実施形態の情報処理装置に含まれるソフトウェアブロック図。 本実施形態においてキューブマップ形式の全天球画像を表示する処理を示すフローチャート。 本実施形態においてアライメント算出処理を示すフローチャート。 本実施形態においてキューブマップ形式に変換する処理を示すフローチャート。 本実施形態における天頂補正の例を示す図。 本実施形態においてキューブマップ形式に変換する例を示す図。 本実施形態において構造を推定する例を示す図。 本実施形態においてキューブマップ形式の画像の構造を特定する例を示す図。 本実施形態におけるアライメント補正の例を示す図。 本実施形態においてアライメント補正されたキューブマップ形式の全天球画像の例を示す図。 本実施形態におけるエクイレクタングラー形式の全天球画像とキューブマップ形式の全天球画像との座標の対応を説明する図。 本実施形態においてアノテーションを表示する例を示す図。 キューブマップ形式の全天球画像においてアイコンが適切に表示されない例を示す図。 本実施形態においてキューブマップ形式の全天球画像内に適切にアイコンを配置する例を示す図。 本実施形態におけるキューブマップ形式の全天球画像を表示するＵＩの例を示す図。 本実施形態におけるキューブマップ形式の全天球画像を表示するＵＩの例を示す図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。

図１は、本実施形態におけるシステム１００全体のハードウェアの概略構成を示す図である。図１では、例として、全天球撮像装置１１０と、情報処理装置１２０とを含む構成の情報処理システムとして参照されるシステム１００を示している。全天球撮像装置１１０と、情報処理装置１２０とは、有線または無線にて相互にデータを通信することができ、例えば全天球撮像装置１１０が撮影した画像を情報処理装置１２０に送信することができる。なお、全天球撮像装置１１０、情報処理装置１２０間のデータのやり取りは、上述したような有線または無線による通信に限られず、例えば、種々の記録媒体によって行われてもよい。また、無線通信としては、一例として、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、４Ｇ（４ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）またはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などによる通信が含まれる。

全天球撮像装置１１０は、複数の広角レンズや魚眼レンズなどで画像を撮像し、当該全天球撮像装置１１０を中心とした立体角４πステラジアンの画像（以下、「全天球画像」として参照する）を撮像する装置である。なお、全天球撮像装置１１０の詳細な構成については後述する。全天球撮像装置１１０は、撮影拠点として、屋外や、不動産や建築物件などの構造物の内部の空間、建設や土木等の構造物（例えばトンネル内部）などにおいて撮影することで撮影画像を取得する。

情報処理装置１２０は、例えば、パーソナルコンピュータやスマートフォンなどのような端末装置である。情報処理装置１２０は、全天球撮像装置１１０が撮影した全天球画像に対して種々の画像処理を行うことができ、また、全天球画像を表示することができる。情報処理装置１２０が行う画像処理の一例としては、全天球画像の天頂補正や、画像の明るさや色味の補正、画像へのぼかしやテキスト追加などの加工処理などが挙げられる。

なお、情報処理装置１２０は、１台のサーバコンピュータで構成されてもよいし、複数のサーバコンピュータによって構成されてもよい。また、情報処理装置１２０は、クラウド環境に存在するサーバコンピュータであってもよく、オンプレミス環境に存在するサーバコンピュータであってもよい。情報処理装置１２０をサーバコンピュータとして実現する場合、ユーザが利用するパーソナルコンピュータやスマートフォンなどのような端末装置は、サーバコンピュータである情報処理装置１２０と有線または無線にて相互にデータを通信することが可能であり、後述する実施形態が実現可能となる。

また、情報処理装置１２０は、例えば、全天球撮像装置１１０が撮影した撮影画像を取得し、取得した撮影画像を用いて、ユーザにバーチャルツアーを提供するためのツアー画像を生成する生成部を有してもよい。ここで、バーチャルツアーとは、不動産や建築物件などの構造物の内部の空間などの撮影拠点を実際に現場で閲覧しているかのように、ユーザに画像を閲覧させるコンテンツである。また、ツアー画像は、全天球撮像装置１１０によって撮影された複数の撮影画像を用いて生成され、撮影画像に写る拠点内をユーザ操作によって仮想的に移動することが可能な閲覧用の画像である。このようなバーチャルツアーは、不動産物件や建築現場の構造物の内部空間に限られず、例えば観光地やテーマパークなどのような構造物の外部空間においても好適に実現できる。

次に、情報処理装置１２０のハードウェア構成について説明する。図２は、本実施形態の情報処理装置１２０に含まれるハードウェア構成を示す図である。情報処理装置１２０は、ＣＰＵ２１０と、ＲＡＭ２２０と、ＲＯＭ２３０と、記憶装置２４０と、通信Ｉ／Ｆ２５０と、外部記憶装置Ｉ／Ｆ２６０と、モニタ２７０と、入力装置２８０とを含んで構成され、各ハードウェアはバスを介して接続されている。

ＣＰＵ２１０は、情報処理装置１２０の動作を制御するプログラムを実行し、所定の処理を行う装置である。ＲＡＭ２２０は、ＣＰＵ２１０が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ２３０は、ＣＰＵ２１０が実行するプログラムやファームウェアなどを記憶するための不揮発性の記憶装置である。

記憶装置２４０は、情報処理装置１２０を機能させるＯＳや各種アプリケーション、設定情報、各種データなどを記憶する、読み書き可能な不揮発性の記憶装置である。記憶装置２４０の一例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などが挙げられる。

通信Ｉ／Ｆ２５０は、情報処理装置１２０とネットワークとを接続し、ネットワークを介して、他の装置との通信を可能にする。ネットワークを介した通信は、有線通信または無線通信のいずれであってもよく、ＴＣＰ／ＩＰなどの所定の通信プロトコルを使用し、各種データを送受信できる。また、通信Ｉ／Ｆ２５０は、ネットワークを介さずに、他の装置と直接通信することもでき、例えば、全天球撮像装置１１０と直接的に通信することができる。

外部記憶装置Ｉ／Ｆ２６０は、種々の記録媒体のデータを読み取り、またデータを書き込むためのインターフェースである。ここで、記録媒体の例としては、ＣＤ－ＲＯＭ、ＤＶＤ、ＳＤカードなどを挙げることができる。また、外部記憶装置Ｉ／Ｆ２６０の例としては、上述した記録媒体に対して読込や書き込みを可能にするＣＤドライブ、ＤＶＤドライブ、ＳＤカードスロットなどを挙げることができる。なお、記録媒体や外部記憶装置Ｉ／Ｆ２６０は、上述したものに限定されない。

モニタ２７０は、各種データ、画像、情報処理装置１２０の状態などを、ユーザに対して表示する装置であり、例として、ＬＣＤ（Liquid Crystal Display）などが挙げられる。入力装置２８０は、ユーザが情報処理装置１２０を操作するための装置であり、例として、キーボード、マウスなどが挙げられる。なお、モニタ２７０と入力装置２８０は、それぞれ別個の装置であってもよいし、タッチパネルディスプレイのような両方の機能を備えるものであってもよい。

図３は、本実施形態のシステム１００を構成する全天球撮像装置１１０の断面図である。図３に示す全天球撮像装置１１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられた撮影ボタン１８とを備える。また、全天球撮像装置１１０は、図示しない加速度センサや地磁気センサなどといった種々のセンサや、通信Ｉ／Ｆなどのデバイスを具備する。全天球撮像装置１１０は、上述した各種デバイスによって、姿勢データの取得や、情報処理装置１２０への画像の転送などが可能になる。なお、これらのデバイスについての詳細な説明は省略する。

図３に示す撮像体１２は、２つのレンズ光学系２０Ａ、２０Ｂと、２つの撮像素子２２Ａ、２２Ｂとを含み構成される。撮像素子２２Ａ、２２Ｂは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサなどである。撮像素子２２Ａ、２２Ｂは、各撮像面が相反するように配置される。レンズ光学系２０は、例えば６群７枚や１０群１４枚の魚眼レンズとして構成される。魚眼レンズは、図３に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１９０度以上の画角を有する。なお、説明する実施形態では、１８０度以上の全画角を有する２つの魚眼レンズを用いるものとして説明するが、全体として所定の画角が得られる限り、３つ以上のレンズ光学系および撮像素子を含んでいてもよい。また、説明する実施形態では、魚眼レンズを用いるものとして説明するが、全体として所定の画角が得られる限り、魚眼レンズに代えて、他の広角レンズや超広角レンズを用いることは妨げられない。

２つのレンズ光学系２０Ａ、２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ、２２Ｂに対して位置関係が定められる。レンズ光学系２０Ａ、２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。なお、説明する実施形態では、視差を低減するために、２つのレンズ光学系２０Ａ、２０Ｂにより集光された光を、２つの９０度プリズムによって２つの撮像素子２２Ａ、２２Ｂに振り割ける屈曲光学系を採用するものとするが、これに限定されるものではく、視差をより低減するために３回屈折構造としてもよいし、コストを低減するべくストレート光学系であってもよい。

図３に示す実施形態では、レンズ光学系２０Ａ、２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ、２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理ブロックに順次、画像を出力する。詳細は後述するが、撮像素子２２Ａ、２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、全天球画像が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。なお、説明する実施形態では、全天球画像を生成する例に基づいて説明するが、特に実施形態を限定するものではなく、全天球画像以外の広角画像が生成されてもよい。ここで、広角画像は、全天球画像のほかに、例えば、水平面の方向に３００度程度の画角を有するパノラマ画像、水平面の方向を３６０度撮影した全周画像、水平３６０度、水平線から垂直９０度を撮影した全天周ドーム画像などであってもよい。また、全天球画像は、静止画として取得することもできるし、動画として取得することもできる。

なお、本明細書では、全天球画像を立体角４πステラジアンの画像と定義しているが、必ずしもこれに限定されず、例えば立体角４πステラジアンの画像の一部の領域が欠けている画像も便宜上、全天球画像として参照される。例えば、全天球撮影装置の真上方向や真下方向の一部、全天球画像の鉛直上向き方向や鉛直下向き方向の一部、または全天球画像の所定領域の一部、などが欠けている画像である。これは、例えば立体角４πステラジアンの画像に写っている被写体の真上や真下の部分などは、全天球画像を閲覧する際にあまり注意深く見ない利用シーンが考えられる。そういう場合は、そもそもその部分を撮影しないような全天球撮像装置１１０（例えば撮像素子の配置や光学系など）の設計をする、または当該部分の画像を表示しない、または当該部分にロゴマーク等を表示する、などを行うことで、立体角４πステラジアンの画像そのものを表示しないことも想定される。

また、全天球撮像装置１１０に替えて、例えば複数枚撮影した撮影画像を合成して全天球画像を取得可能な機能を有するスマートフォンやタブレット端末などの端末装置であっても良く、または全天球画像を取得可能なカメラアタッチメントを端末装置に接続することで端末装置とカメラアタッチメントにより全天球画像を取得してもよい。

全天球撮像装置１１０は、撮影画像や撮影時に表示するプレビュー画像、また、撮影指示や各種設定などを行う操作画面を表示する表示部およびモニタを有してもよい。この表示部は、モニタの動作を制御するものである。このモニタはタッチパネルディスプレイで構成されてもよい。

ここで、図４および図５を参照しながら、天頂補正について説明する。図４は、本実施形態における全天球撮像装置１１０の姿勢の定義を説明する図である。図４（ａ）は、全天球撮像装置１１０の側面から見た姿勢の定義を示し、図４（ｂ）は、全天球撮像装置１１０の正面から見た姿勢の定義を示す。

図４に示すように、全天球撮像装置１１０の姿勢角としては、全天球撮像装置１１０の２つのレンズ中央を通る光軸方向を前後方向として、前後方向を軸とした軸周りの回転角（ロール）、全天球撮像装置１１０の左右方向を軸とした該軸周りの回転角（ピッチ）、および、上下方向を軸とした回転角（ヨー）が定義される。一方のレンズ（例えば撮影ボタン１８がある側の反対のレンズ）を前面として全天球撮像装置１１０をおじぎさせるような回転がピッチで表される。全天球撮像装置１１０のレンズ光軸周りの側方回転がロールで表され、全天球撮像装置１１０の筐体中心軸周りの回転がヨーで表される。

なお、説明する実施形態では、以下のように便宜的に全天球撮像装置１１０の前後を定義する。すなわち、撮影ボタン１８とは反対側のレンズ光学系２０Ａをフロントレンズとし、フロントレンズで撮影する側をフロント（Ｆ）側とする。また、撮影ボタン１８がある側のレンズ光学系２０Ｂをリアレンズとし、リアレンズで撮影する側をリア（Ｒ）側とする。

図５は、全天球画像の天頂補正の例を示す図である。図５に示す画像は、全天球画像を正距円筒図法（Equirectangular）で平面上に投影したエクイレクタングラー形式の画像である。なお、以下に説明する実施形態の各図面で使用される、全天球画像として例示される各画像は、線描に画像処理されたものであるが、特に実施形態を限定するものではなく、明細書上の見やすさの観点から画像処理されているものである点に留意されたい。

ここで、全天球画像の平面上への表示について説明する。全天球画像を平面上に表示する投影法の一つとして正距円筒図法がある。正距円筒図法は、球面の画像の各画素の３次元方向を緯度と経度に分解し、正方格子状に対応する画素値を並べる画像形式である。すなわち地球を例に正距円筒図法を説明すると、緯線、経線が直角かつ等間隔に交差するように投影したものとなる。以下では、エクイレクタングラー形式で表示された全天球画像を地球に見立てて、便宜的に、縦方向を緯度、横方向を経度とし、縦方向の中央を赤道として説明する。

図５（ａ）は、天頂補正前の全天球画像の例を示す画像である。全天球撮像装置１１０は、撮影を行う状況や環境などによって、撮影時に正立していない場合がある。なお、ここで、重力方向は、鉛直方向下向きの方向であり、天頂方向は、鉛直方向上向きの方向である。図５（ａ）は、一般的な建造物の室内を撮影した画像の例である。したがって、ドア、襖、窓枠、柱、壁面などといった構造物の縦方向は、垂直であるのが一般的である。しかしながら、全天球撮像装置１１０が撮影時に正立していない場合には、図５（ａ）に示すように、撮影時における全天球撮像装置１１０の姿勢のずれなど起因して、種々の構造物の縦方向が、鉛直方向と一致しない画像が生成される。

そこで、撮影時における全天球撮像装置１１０の姿勢データに基づいて、天頂補正を行う。姿勢データは、全天球撮像装置１１０が具備する加速度センサなどが出力する、全天球撮像装置１１０の姿勢角を、２軸のオイラー角（ロール角およびピッチ角）によって示すデータである。姿勢データに基づく天頂補正を行うことで、図５（ｂ）に示すように、各種構造物の縦方向と、鉛直方向とが一致するように全天球画像を補正することができる。一方で、種々の要因によって加速度センサの測定精度が低下すると、正確な姿勢データを取得することができず、その結果、適切な天頂補正を行うことができなくなる場合がある。すなわち、例えば図５（ｂ）のように、天頂方向と重力方向とが一致しているように見える画像であっても、わずかに誤差のある全天球画像が出力されることとなる。このようなわずかな誤差であっても、全天球画像を用いたサービスの種類によっては、鑑賞者に不自然さや不快感を与えることになることから、好ましくない場合がある。その場合は、画像処理によって全天球画像の天頂補正を行うとよい。なお、加速度センサの測定精度が低下する要因としては、例えば、測定誤差、加速度センサの組付けにおける誤差、温度ドリフトなどが挙げられる。

なお、本実施形態における天頂補正は、姿勢データに基づくものでなくてもよく、例えば、全天球画像内の構造物から鉛直方向（上下方向）を推定して天頂補正を行うこととしてもよい。

次に、本実施形態における各ハードウェアによって実行される機能手段について、図６を以て説明する。図６は、本実施形態の情報処理装置１２０に含まれるソフトウェアブロック図である。

情報処理装置１２０は、画像データ取得部６１０、補正パラメータ算出部６２０、画像変換部６３０、表示部６４０、操作部６５０の各機能手段を含む。以下では、各機能手段の詳細を説明する。

画像データ取得部６１０は、キューブマップ形式に変換する全天球画像のデータを取得する手段である。画像データ取得部６１０は、例えば、記憶装置２４０に格納されている画像データを取得してもよいし、通信Ｉ／Ｆ２５０を介して他の装置から画像データを取得してもよいし、外部記憶装置Ｉ／Ｆ２６０を介して画像データを取得してもよい。なお、説明する実施形態において、画像データ取得部６１０が取得する全天球画像の画像データは、エクイレクタングラー形式の全天球画像とすることができるが、特に実施形態を限定するものではない。

補正パラメータ算出部６２０は、取得した全天球画像を補正するパラメータを算出する手段であり、本実施形態の補正手段を構成する。本実施形態の補正パラメータ算出部６２０は、全天球画像の天頂補正を行うための天頂補正パラメータと、鉛直方向を回転軸として回転させる補正を行うためのアライメント補正パラメータとを算出することができる。以下では、鉛直方向を回転軸として回転させる補正、すなわち、全天球画像をヨー方向に回転させる補正を、「アライメント補正」として参照する。なお、説明する実施形態において、天頂補正とアライメント補正とを行うパラメータを「補正パラメータ」として参照する。すなわち、本実施形態における補正パラメータは、オリジナルの画像から、天頂補正、アライメント補正を経て最終的に出力される画像へと変換するためのパラメータを指す。

天頂補正は、例えば以下のようにして行うことができる。まず、全天球撮像装置１１０が備える加速度センサによって、所定の基準方向に対する全天球撮像装置１１０の傾きを検出する。ここで、所定の基準方向は、典型的には、鉛直方向であり、重力加速度が作用する方向である。そして、３軸加速度センサから入力される加速度成分の信号を、撮像された画像データに同期して、所定の基準方向に対する傾き角を求める。なお、動画撮影の場合は、３軸加速度センサから入力される加速度成分の信号を、動画形式の画像データのフレームに同期してサンプリングし、所定の基準方向に対する傾き角を求める。そして、動画形式の画像データのフレーム・レートと同等のレートの時系列データとして記録する。

２つの撮像素子２２Ａ，２２Ｂで撮像された２つの魚眼画像それぞれを球面座標系へ変換し、全天球画像を生成するための変換テーブルを事前に準備している。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、全天球撮像装置１１０の真上方向が鉛直線に一致するものとして、魚眼画像を全天球画像へ変換するデータである。説明する実施形態において、全天球撮像装置１１０が傾いた状態にあり、全天球撮像装置１１０の真上方向と鉛直線とが一致しない場合は、傾きに応じてこの変換データを修正することで天頂補正を反映させる。

補正パラメータ算出部６２０は、取得された傾き角に応じて、画像の天頂方向（観測者の真上の点を指す方向）が、検出された鉛直線（重力が作用する鉛直方向がなす直線）に一致するものとなるように、上述した変換テーブルに対し修正するパラメータを算出する。したがって、修正された変換テーブルを用いて魚眼画像を全天球画像に変換すれば、傾きに応じて天頂方向が鉛直線に一致するような補正が反映された形で、全天球画像が生成される。

補正パラメータ算出部６２０は、全天球画像に含まれる各種物体や構造物などに基づいて天頂補正のパラメータおよびアライメント補正のパラメータを算出することができる。例えば、補正パラメータ算出部６２０は、全天球画像内の柱を識別し、柱の傾きから天頂方向を補正するパラメータを算出することができる。また、補正パラメータ算出部６２０は、全天球画像内の主要な被写体に基づいてアライメント補正のパラメータを算出することができる。ここで、主要な被写体とは、全天球画像内の特徴的な物体や相対的に大きな壁などとすることができるが、これらに限定されない。本実施形態の補正パラメータ算出部６２０は、主要な被写体が、キューブマップ形式における正面側の画像に含まれるように、アライメント補正のパラメータ（すなわち、ヨー方向の回転角度）を算出することができる。

なお、本実施形態の補正パラメータ算出部６２０は、全天球画像のオリジナルの画像データに基づいて各種パラメータを算出しなくてもよく、例えば、画像サイズを縮小した全天球画像からパラメータを算出してもよい。補正パラメータ算出部６２０は、パラメータの算出に際して、縮小後の画像に特徴が残るように画像サイズを縮小することができ、一例としてオリジナル画像に対して約１０％～約６０％程度に縮小することができる。また、オリジナル画像が所定の閾値よりも小さい場合には、補正パラメータ算出部６２０は、画像を縮小することなくパラメータを算出することとしてもよい。このように、全天球画像のサイズを縮小してパラメータを算出することで、処理負荷を軽減でき、パラメータ算出に要する時間を短縮することができる。

補正パラメータ算出部６２０が算出したパラメータは、画像変換部６３０または表示部６４０に出力されてもよいし、記憶装置２７０に保存されてもよい。

画像変換部６３０は、エクイレクタングラー形式の全天球画像をキューブマップ形式の全天球画像に変換する手段である。本実施形態の画像変換部６３０は、仮想的な球面上の全天球画像の座標を、仮想的な立方体の各面（正面、背面、右側面、左側面、上面、底面）の座標に対応付けることで、キューブマップ形式の画像に変換する。画像変換部６３０が変換した画像は、記憶装置２４０に格納されてもよいし、表示部６４０に送られて表示されてもよい。

また、全天球画像にアノテーションが付加されている場合には、画像変換部６３０は、アノテーションの表示位置もキューブマップ形式に対応した座標に変換することができる。例えば、画像の作成者などは、全天球画像に関する情報を画像の閲覧者に示すために、全天球画像にアノテーション（注釈）を付加することがある。ここでアノテーションとは、テキスト、リンク、図形、画像データ、音声データ、動画データなどが挙げられるが、特に実施形態を限定するものではない。本実施形態の画像変換部６３０は、エクイレクタングラー形式の全天球画像におけるアノテーションの表示位置（座標）を、キューブマップ形式の全天球画像上の座標に変換することができる。

表示部６４０は、モニタ２７０の動作を制御し、補正パラメータ算出部６２０が出力したパラメータで補正された、キューブマップ形式の全天球画像を表示する手段である。また、表示部６４０は、全天球画像と併せて、アノテーションも表示することができる。

操作部６５０は、入力装置２８０による操作を受け付け、各種操作を行う手段である。本実施形態の操作部６５０は、例えば、表示された画像の拡大・縮小、アノテーションの選択などの操作を行うことができる。

なお、上述したソフトウェアブロックは、ＣＰＵ２１０が本実施形態のプログラムを実行することで、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。

さらに、上述した各機能手段は、必ずしも全てが図６に示すような構成で含まれていなくてもよい。また、例えば、他の好ましい実施形態では、各機能手段は、情報処理装置１２０と、他の装置との協働によって実現されてもよい。さらに、例えば、画像データ取得部６１０、補正パラメータ算出部６２０、画像変換部６３０を、全天球撮像装置１１０や、ネットワークを介して接続されるサーバなどの情報処理装置に含めて処理することとしてもよい。

次に、上述した各種機能手段によって実行される処理について、図７を以て説明する。図７は、本実施形態においてキューブマップ形式の全天球画像を表示する処理を示すフローチャートである。

本実施形態の処理は、ステップＳ１０００から開始する。ステップＳ１００１では、画像データ取得部６１０が、全天球画像を取得する。画像データ取得部６１０は、エクイレクタングラー形式の画像を、オリジナルの画像サイズから縮小した画像データを取得することができる。

なおＳ１００１では縮小画像データではなく、オリジナル画像データを取得して、このオリジナル画像データに基づいて補正パラメータを算出してもよい。この場合、後述する図９のステップＳ３００１の処理は不要となり、続くステップＳ１００２で天頂補正を実行し、その後アライメント算出処理でアライメント補正値を取得して（この場合はアライメント補正値が補正パラメータになる）、アライメント補正を実行するものであっても良い。さらに、Ｓ１００１で取得したオリジナル画像データから先にキューブマップ形式に変換された全天球画像に基づいて、天頂補正およびアライメント補正を実行しても良い。このように、ステップＳ１００１においてオリジナルの画像データを取得することで、キューブマップ形式の画像に変換する際に、全天球画像を再度読み込みする必要が無くなり、画像処理フローの設計をシンプルにできる。

その後、ステップＳ１００２において、補正パラメータ算出部６２０は、全天球画像の天頂方向算出処理を行う。また、ステップＳ１００２において、画像変換部６３０は、天頂補正を実行し、天頂補正済みの全天球画像を生成することができる。

続くステップＳ１００３では、補正パラメータ算出部６２０は、ステップＳ１００２において天頂補正された全天球画像を取得して、アライメント補正パラメータを算出する、アライメント算出処理を行う。なお、ステップＳ１００２およびＳ１００３の処理は、図７に示した順序と逆の順序で行われてもよい。ここで、アライメント算出処理について、図８を参照して説明する。

補正パラメータ算出部６２０は、ステップＳ２０００から処理を開始する。ステップＳ２００１では、図１のステップＳ１００２で天頂補正された、天頂補正済みの画像を取得する。

その後、ステップＳ２００２において、画像から撮像した空間の構造を推定する。また、ステップＳ２００３では、推定された空間の構造を、３次元直交空間内に復元する。

続くステップＳ２００４では、ステップＳ２００３の出力結果に基づいて、画像を撮像した空間の下面の形状を算出する。ここで、説明する実施形態における空間の下面は、屋内空間の床面、屋外における地面などが含まれる。また、ステップＳ２００５では、下面をアライメントする角度を算出する。アライメントする角度は、例えば、画像内の主要な被写体が正面に配置されるように回転する角度とすることができるが、特に実施形態を限定するものではない。ステップＳ２００５で算出された角度を、アライメント補正パラメータとすることができる。その後、ステップＳ２００６で処理を終了する。

説明を図７に戻す。ステップＳ１００３の処理によって、アライメント補正パラメータが得られる。すなわち、ステップＳ１００２およびステップＳ１００３の処理によって、天頂補正と、アライメント補正とを同時に行い得る補正パラメータが得られる。

その後、ステップＳ１００４で、画像変換部６３０は、補正パラメータに基づいて、キューブマップ形式の画像に変換する。ここで、キューブマップ形式への画像の変換について、図９を参照して説明する。

画像変換部６３０は、ステップＳ３０００から処理を開始する。ステップＳ３００１では、画像変換部６３０は、エクイレクタングラー形式のオリジナルの画像データを取得する。なお、図７のステップＳ１００１でオリジナルの画像データを取得していた場合には、ステップＳ３００１の処理は不要となる。

次にステップＳ３００２では、画像変換部６３０は、ステップＳ１００２およびＳ１００３で得られた補正パラメータを取得する。続くステップＳ３００３では、画像変換部６３０は、ステップＳ３００２で取得した補正パラメータを、ステップＳ３００１で取得した画像データに適用して、天頂補正およびアライメント補正を実行し、６つの透視投影画像を生成する。

その後、ステップＳ３００４では、ステップＳ３００３で生成した６つの透視投影画像を所定の配置に並べ、キューブマップ形式の画像を生成する。その後、ステップＳ３００５で処理を終了する。

説明を図７に戻す。ステップＳ１００４においてキューブマップ形式の画像を生成した後、ステップＳ１００５では、表示部６４０は、算出された補正パラメータによって補正され、キューブマップ形式に変換された全天球画像を、モニタ２７０に表示する。その後、ステップＳ１００６において処理を終了する。

なお、上述した例では、天頂補正およびアライメント補正を実行し、６つの透視投影画像を生成してからキューブマップ形式の画像を生成しているが、これに替えて、Ｓ１００１で取得した縮小画像データに基づいてステップＳ３００２で取得した補正パラメータを、ステップＳ３００１で取得したオリジナル画像データに適用するにあたり、先に６つの透視投影画像を生成してから、キューブマップ形式の画像に対して天頂補正およびアライメント補正を実行してもよい。

また、上述した例では、天頂補正およびアライメント補正を実行するものとして説明したが、例えば全天球撮像装置１１０は、撮影時に正立するよう三脚などに固定されて撮影される場合、鉛直方向に対する傾きがほとんど存在しないか、アライメント補正や画像閲覧に際し影響のない程度に僅かに存在する画像が撮影されることになる。この場合、上述したステップＳ１００２の天頂補正は行わず、Ｓ１００３に進んで天頂補正されていない（換言すると天頂補正の必要がない）全天球画像を取得して、アライメント補正パラメータを算出する、アライメント算出処理を行ってもよい。この場合、情報処理装置１２０が補正選択手段（不図示）を有し、表示部６４０は天頂補正を行うか否かを選択できるチェックボックスをモニタ２７０に表示させる制御ができ、ユーザは入力装置２８０により天頂補正の要否を選択すればよい。または、天頂補正の要否はユーザが選択せず、上述した姿勢データに閾値（例えば鉛直方向に対する傾きが５度など）を設け、この閾値を超えるとステップＳ１００２の天頂補正を実行し、閾値以下であれば天頂補正は実行しないようにしてもよい。このようにすることで、キューブマップ形式の各面の画像における、遠近の変化が不連続となることに起因する不自然な画像となる課題を解決するアライメント補正は実行しつつも、必要ではない天頂補正を実行しないため、ステップＳ１００５のキューブマップ形式に変換された全天球画像の表示までの処理時間を短くすることが可能となる。

以下では、本実施形態における画像処理の具体的な例について説明する。図１０は、本実施形態における天頂補正の例を示す図である。図１０（ａ）は、オリジナルの全天球画像の例を示しており、図１０（ｂ）は、天頂補正後の全天球画像の例を示している。図５において説明した通り、天頂補正は、例えば、全天球撮像装置１１０の撮像時の姿勢データに基づいて行ったり、画像内の物体を基準として行ったりできる。図１０に示すように、図１０（ａ）では斜めに傾いている柱が、天頂補正を行うことで、図１０（ｂ）のようにほぼ鉛直となっている。このように、全天球画像の天頂方向を適切に補正することで、画像の見やすさが向上する。

図１１は、本実施形態においてキューブマップ形式に変換する例を示す図である。なお、以下に説明するキューブマップ形式の全天球画像の例を示す図面において、図面内に付された「正面画像」、「背面画像」、「左側面画像」、「右側面画像」、「上面画像」、「底面画像」などの各文字および矢印は、説明の便宜のために付されたものであって、全天球画像を構成するものではない点に留意されたい。

図１１（ａ）は、キューブマップ形式の全天球画像の例を示しており、図１０（ｂ）に示したエクイレクタングラー形式の全天球画像を、キューブマップ形式に変換したものを示している。図１１（ａ）に示す例では、左側面画像、正面画像、右側面画像、背面画像が、中段に１列に並び、正面画像の上下に、上面画像、底面画像がそれぞれ配置される。

図１１（ｂ）は、本実施形態におけるキューブマップ形式の全天球画像の例を示している。図１１（ｂ）に示す例では、左背面画像、左側面画像、正面画像、右側面画像、右背面画像が、中段に１列に並び、正面画像の上下に、上面画像、底面画像がそれぞれ配置される。ここで、左背面画像および右背面画像は、図１１（ａ）の背面画像を縦に２分割した画像である。このように、背面画像を左右に分割し、表示画面の両端に配置することで、正面画像が中央に配置され、上下左右が対称となるような画像を表示することができ、図１１（ａ）と比べ、閲覧者が被写体を認識しやすくできる。なお、キューブマップの各面の画像を並べる場合には、図１１（ａ）、（ｂ）のように、各面の画像間に境界線を設けて配置することで、画像の見やすさを向上できる。また、立方体を展開して各面を並べるパターンは複数（数学的には１１種類）あることから、図１１（ａ）、（ｂ）のような並べ方でなくてもよく、任意の並べ方でキューブマップ形式の画像を表示することとしてもよい。

図１１（ａ）、（ｂ）の例では、キューブマップの各面の画像について隙間を有するように一定の間隔で並べている。そして、キューブマップ形式の全天球画像の背景に位置する背景領域（図１１（ａ）、（ｂ）の「正面画像」など説明のための便宜上の文字および矢印が位置している黒色領域を指す）が存在し、各面の画像間の隙間は背景領域の色（ここでは黒色）が境界線のように見えている。しかし、この隙間をなくし、各面の画像をつなげて表示することも可能である。この場合、各面の画像間に境界線を設けることは有効である。また、隙間の有無に関係なく、一部の画像を強調するよう、例えば「正面画像」の周囲のみを囲う境界線を表示することで、「正面画像」を強調して表示することも可能である。例えば入力装置２８０としてのマウスで「正面画像」にカーソルを合わせている選択前状態や「正面画像」をクリックした選択状態のときに、境界線を表示する。また、「正面画像」の選択前状態や選択状態のときに、他の面の画像とは異なる表示をしてもよく、一例として、他の面の画像の明るさを下げて表示したり、「正面画像」の明るさを上げて表示したりすることで強調を表現することができる。

また、図１１（ｂ）の例では背面画像を左右に分割し、表示画面の両端に配置するキューブマップ形式の全天球画像が示されているものの、面としては図１１（ａ）、（ｂ）ともに、左側面、正面、右側面、背面、上面、底面の６面を展開したものである。一方、上述した水平面のみ３６０度を撮影した全周画像においては、左側面、正面、右側面、背面の４面を展開したキューブマップ形式の画像とすれば良い。

さらに、全天球画像または全周画像のいずれであっても、キューブマップ形式の画像に変換する際に、変換したい面を選択する選択手段（不図示）を介して選択しても良い。例えば、表示部６４０は「全ての面」、「左側面」、「正面」、「右側面」、「背面」、「上面」、「底面」を選択できるチェックボックスをモニタ２７０に表示させる制御ができ、ユーザはこのチェックボックスにより変換したい面を選択すればよい。

この場合、情報処理装置１２０が選択手段を有し、ユーザは入力装置２８０により変換したい面を選択すればよい。なお、選択手段により選択されていない面は、キューブマップ形式の画像に変換されないか、または画像変換部６３０により変換自体はされるがモニタ２７０には表示されないようにすればよい。

ところで、図１１（ａ）、（ｂ）のように、単に天頂補正のみを行った全天球画像をキューブマップ形式に変換すると、１つ面が異なる遠近感で表示され、全天球画像全体の構成を把握しにくくなる。例えば、図１１の正面画像に含まれる壁と、右側面画像に含まれる壁とは、同じ壁であるにもかかわらず、両画像の境界で遠近の変化に不連続が生じ、異なる角度で表示されている。このため、画像の閲覧者は、両画像の壁が同じであるか否かが認識しにくくなる。

そこで、本実施形態では、全天球画像から画像に含まれる被写体を認識する処理を行い、被写体の位置、構造などに基づいて、ヨー方向に回転する補正、すなわち、アライメント補正を行う。

図１２は、本実施形態において構造を推定する例を示す図である。図１２（ａ）は、図１０（ｂ）に示したエクイレクタングラー形式の全天球画像に含まれる被写体を識別した例を示している。図１２（ａ）の例では、撮像した空間の壁面を識別しており、図中の破線は、各壁面の縁を示したものである。

図１２（ｂ）は、図１２（ａ）において識別した壁面から推定される撮像空間の構造を示したものである。なお、図面の見やすさの観点から、上面は省略している。図１２（ｂ）に示すように、例示の全天球画像の撮像空間は、Ｌ字形状の空間であることが特定される。

ここで、図１２（ｂ）に示した空間に基づいて、アライメント補正を行う場合を考える。図１３は、本実施形態においてキューブマップ形式の画像の構造を特定する例を示す図であり、図１３（ａ）は、特定した空間を上面から見た例であり、図１３（ｂ）は、図１１（ｂ）の全天球画像に壁面の縁を重畳して示した例である。

キューブマップ形式の全天球画像の正面画像（ＦＲＯＮＴ）、背面画像（ＢＡＣＫ）、右側面画像（ＲＩＧＨＴ）、左側面画像（ＬＥＦＴ）は、図１３（ａ）に示すように、上面から見た空間を９０度ごとに４分割して、割り当てられる。ここで、図１１（ｂ）の全天球画像に、識別された壁面の縁を重畳すると、図１３（ｂ）のようになる。図１３（ｂ）内の破線は、壁面の縁を示すものである。

図１３（ｂ）に示すように、正面画像と右側面画像とで同じ壁面の縁を示しているにもかかわらず、縁（破線）の角度が異なっているため、全天球画像の閲覧者は、画像内の構造が把握しにくい。したがって、アライメント補正を行うことによって、見やすさを向上させることが好ましい。

図１４は、本実施形態におけるアライメント補正の例を示す図である。図１４（ａ）は、撮像空間を上面から見た図を示している。撮像空間を上面から見た平面の頂点をＰ１～Ｐ６とすると、Ｐ１－Ｐ２間の距離が最も大きい。そこで、Ｐ１－Ｐ２間の壁面が正面画像に含まれるようにアライメント補正することで、見やすさの向上につながる。

アライメント補正のパラメータ（ヨー方向の回転角度θ）は、以下のようにして求められる。まず、Ｘ軸とＹ軸が交差する原点（一般には、全天球撮像装置が撮像した位置）を通り、線分Ｐ１－Ｐ２と直交する直線（図１４（ａ）における破線）を置く。ここで、破線と線分Ｐ１－Ｐ２とが交差する点をＡとし、Ａの座標を（ｘ１，ｙ１）する。そして、点Ａが正面画像の中央（すなわち、Ｙ軸上）となる回転角度θを求める。回転角度θは、π／２－ａｒｃｔａｎ２（ｙ１，ｘ１）で与えられる。

図１４（ｂ）は、図１４（ａ）において説明したように求めたアライメント補正のパラメータで回転する補正を行った場合の、全天球画像の撮像空間を上面から見た例である。図１４（ｂ）に示すように、Ｐ１－Ｐ２間の壁面が正面画像（ＦＲＯＮＴ）の視線（Ｙ軸）に直交するように配置されている。したがって、キューブマップ形式の全天球画像を表示した場合の見やすさが向上する。

図１５は、本実施形態においてアライメント補正されたキューブマップ形式の全天球画像の例を示す図である。図１５に示す例は、図１１（ｂ）の画像をアライメント補正した場合の全天球画像である。なお、図１５内の文字、矢印、破線は、説明の便宜のために付されたものであり、本実施形態の全天球画像を構成するものではない点に留意されたい。

補正パラメータ算出部６２０が算出したパラメータは、画像変換部６３０が画像を変換する際、または表示部６４０がキューブマップ形式の全天球画像を表示する際に用いられることで、図１５のような全天球画像を表示できる。図１５の正面画像に示すように、画像の視線が壁面に正対し、壁と天井との縁や、壁と床との縁が、正面画像の上下の辺と平行になっている。また、図１５の左側面画像や右側面画像についても、壁面に正対するように画像が表示されている。したがって、本実施形態のアライメント補正を行うことで、キューブマップ形式の全天球画像の見やすさが、図１１（ｂ）のものと比べて向上している。

図１５に示したように、本実施形態のアライメント補正によって、キューブマップ形式の全天球画像の見やすさが向上できる。特に、室内空間で撮像した全天球画像の場合、アライメント補正をせずにキューブマップ形式の全天球画像を表示すると、キューブマップの面ごとで、撮像された壁面の遠近が異なり、見にくくなりやすい。そのため、本実施形態の処理は、室内空間で撮像した全天球画像に対して特に有効である。したがって、他の好ましい実施形態の例では、撮像された全天球画像が、室内空間のものであるか否かを判断し、室内空間の全天球画像である場合に、アライメント補正を行うこととしてもよい。

なお、説明した実施形態では、辺長が大きい壁面が正対するようにアライメント補正を行う例を示したが、特に実施形態を限定するものではなく、画像に含まれる特定の被写体を識別し、当該被写体が見やすくなるような補正を行うことができる。したがって、アライメント補正を行う基準は壁面に限られず、例えば、相対的に大きな被写体や、特徴的な被写体が正面画像に含まれるようにアライメント補正をしてもよい。

また、画像内の被写体の識別、撮像空間や構造の特定などの処理は、アライメント補正のパラメータを算出する処理の一環として、補正パラメータ算出部６２０が行うことができる。なお、図１０～図１４に示した各画像は、処理の例を説明するためのものであり、本発明の実施形態においては、図１０～図１４に示したような画像は必ずしも生成されなくてもよい。

ところで、画像変換部６３０は、エクイレクタングラー形式の全天球画像の各座標を、キューブマップ形式の全天球画像の座標に対応付けることができる。したがって、図１６に示すように、エクイレクタングラー形式の全天球画像の任意の座標は、キューブマップ形式の全天球画像の特定の座標と対応することとなる。ここで、図１６は、本実施形態におけるエクイレクタングラー形式の全天球画像とキューブマップ形式の全天球画像との座標の対応を説明する図である。

図１６（ａ）は、エクイレクタングラー形式の全天球画像内の任意の点を示している。図１６（ａ）に示すように、全天球画像には６つの点が含まれている。これらの点は、画像変換部６３０による変換処理によって、対応するキューブマップ上の座標として求めることができる。ここで、補正パラメータ算出部が天頂補正およびアライメント補正のパラメータを算出している場合には、当該パラメータを適用することで、天頂補正およびアライメント補正にも対応したキューブマップ上の座標を求めることができる。

図１６（ｂ）は、図１６（ａ）に示した任意の点を含むキューブマップ形式の全天球画像を示している。図１６（ｂ）に示すように、天頂補正およびアライメント補正され、キューブマップ形式に変換された全天球画像上に、図１６（ａ）の各点に対応する点が配置される。

このような表示形式ごとの座標の対応関係は、エクイレクタングラー形式およびキューブマップ形式に限られず、例えば、透視投影形式の全天球画像や、魚眼画像などでも座標の対応付けをすることができる。また、このような表示形式ごとの座標の対応付けは、例えば全天球画像内にアノテーションを表示する場合に有用である。以下では、全天球画像内にアノテーションを表示する例について説明する。

図１７は、本実施形態においてアノテーションを表示する例を示す図である。図１７（ａ）は、アノテーションを含む透視投影形式の画像の例を示し、図１７（ｂ）は、アノテーションを含むキューブマップ形式の全天球画像の例を示している。図１７（ａ）、（ｂ）に示すように、画像内にはアノテーションを示すアイコンが表示されている。画像の閲覧者がクリックやタップなどの操作によってアイコンを選択することで、アノテーションの内容が表示される。

図１７（ａ）に示すアイコンは、全天球画像をキューブマップ形式に変換した場合には、図１７（ｂ）に示すように左側面図に含まれて表示される。図１７（ａ）のアイコンの位置と、図１７（ｂ）のアイコンの位置とは、対応している関係にある。本実施形態の変換処理部６３０は、画像にアノテーションが付加されている場合には、アノテーションの位置を保持しながら、キューブマップ形式の全天球画像に変換することができる。したがって、変換前の画像内の特定の物体にアノテーションを付加した場合であっても、キューブマップ形式に変換された全天球画像内の同じ物体の位置にアノテーションを付加できる。

ところで、アノテーションが付加された位置によっては、キューブマップ形式の全天球画像上に適切にアイコンが表示されない場合がある。例えば、エクイレクタングラー形式や透視投影形式で表示された全天球画像では、特定の物体にアノテーションが付加されたが、キューブマップ形式に変換すると、キューブマップの各面の端部近傍にアノテーションが配置されることがある。この場合、図１８に示すように、アノテーションを示すアイコンが見切れてしまい、適切に表示されない場合がある。図１８は、キューブマップ形式の全天球画像においてアイコンが適切に表示されない例を示す図である。

図１８（ａ）は、上面図の上端付近にアノテーションが付加されたため、アイコンの上側が見切れている。また、図１８（ｂ）は、右背面図の右上部にアノテーションが付加されたため、アイコンの右側が見切れている。図１８（ａ）、（ｂ）に示すようにアイコンが見切れてしまうと、全天球画像の閲覧者がアノテーションに気付きにくくなり、不都合が生じる可能性がある。

そこで、本実施形態では、図１９に示すように、アノテーションのアイコンを視認性の高い位置に配置する。図１９は、本実施形態においてキューブマップ形式の全天球画像内に適切にアイコンを配置する例を示す図である。キューブマップ形式の全天球画像の各面の画像には、空間的に同じ位置を示している箇所が（中央の面（説明する実施形態では正面画像）の四隅を除いて）２か所あるため、表示画面のサイズに基づいて適切な位置にアイコンを配置することができる。

図１９（ａ）は、図１８（ａ）で見切れたアイコンを適切な位置に配置して表示した例を示している。すなわち、図１８（ａ）のアイコンの位置と、図１９（ａ）のアイコンの位置は、全天球画像上では同じ位置、すなわち上述した座標が同じ位置である。図１９（ａ）に示すように、画面の表示領域に比較的余裕のある右背面画像の右上にアイコンを配置することで、アイコンが見切れずに表示できる。

つまり、キューブマップ形式の全天球画像と、その背景に位置する背景領域（図１９の黒色領域）とがモニタ２７０に表示されるところ、モニタ２７０の表示領域に対して、キューブマップ形式の全天球画像とアイコンとを合わせた第１の領域が、第２の領域であるモニタ２７０の表示領域に対して内側に含まれるように当該アイコンを配置する。ここで、第１の領域を、キューブマップ形式の全天球画像と、キューブマップ形式の全天球画像からはみ出したアイコンの部分とを合わせた領域とし、第２の領域をモニタ２７０の表示領域とした場合に、第２の領域≧第１の領域の関係を満たす領域が、画面の表示領域に比較的余裕のある領域となる。ここで、キューブマップ形式の全天球画像からはみ出したアイコンの部分は、背景領域に対して重畳して表示される。

また、図１９（ｂ）は、図１８（ｂ）で見切れたアイコンを適切な位置に配置して表示した例を示している。すなわち、図１８（ｂ）のアイコンの位置と、図１９（ｂ）のアイコンの位置は、全天球画像上では同じ位置、すなわち上述した座標が同じ位置である。図１９（ｂ）に示すように、画面の表示領域に比較的余裕のある上面画像の上部にアイコンを配置することで、アイコンが見切れずに表示できる。図１９（ｂ）の例でも、図１９（ａ）と同様に、比較的余裕のある領域は、第２の領域≧第１の領域の関係を満たす領域である。ここで、キューブマップ形式の全天球画像からはみ出したアイコンの部分は、背景領域に対して重畳して表示される。

さらに、図１９のようにアイコンを適切な位置に配置する方式ではなく、図１８のようにアイコンが見切れてしまう場合は、キューブマップ形式の全天球画像を縮小して表示することで、図１８に図示された位置にアイコンを表示しても良い。このようにしてアイコンを表示することで、表示領域に対しアイコンを表示する余裕を確保することが出来る。

図１９に示したように、アイコンを画面内の見切れない位置に配置することで、画像の閲覧者はアイコンを認識しやすくなる。したがって、キューブマップ形式の全天球画像において、画像や画像に付加されたアノテーションの見やすさを向上することができる。

また、アイコンを背景領域に対して重畳表示する場合、アイコンの表示色は、ユーザの目を引く色や、背景領域を構成する背景色と反対となる反対色や反対色に近い色など、背景色とは異なる色を採用することで、よりアノテーションの見やすさを向上することができる。

また、アノテーションの「テキスト」や「手書き文字・手書き図形」の場合は、文字や図形の表示色を変更できるものであっても良い。

また、本サービスを利用するユーザをユーザＩＤなどにより識別し、識別されたユーザ毎によってアノテーションの表示形態（たとえば色や形など）を異ならせることもできる。これにより、誰がアノテーションを追加したか判別しやすくなる。

また、例えば建築現場で利用する場合、工事の進捗によってアノテーションの表示形態を異ならせても良い。この場合、アノテーション内容が工事作業の指示に関するものであった場合、指示に対応済みのアノテーションは灰色、未対応のアノテーションは赤色、対応中のアノテーションは青色など、進捗によってアノテーションの表示態様が変わるため、進捗管理しやすくなる。また、未対応のアノテーションや新規に追加されたアノテーションには、未対応や新規追加であることを意味するバッジを、アノテーションを示すアイコンに重ねて表示しても良い。バッジは、アイコンの右上などの一部領域に赤いドットのような表示であってもよく、ユーザの注意を惹くために「！」のような記号の表示であっても良い。

また、背景領域には、選択したアノテーションの詳細情報をポップアップとして表示しても良い。詳細情報としては、アノテーションの詳細を説明したテキスト、ユーザのアカウント情報（ユーザＩＤやユーザ名など）、アノテーションの追加日時、更新日時、対応日時、などが含まれている。背景領域にポップアップ表示させることで、キューブマップ形式の画像閲覧を妨げることなくアノテーションの詳細を確認できる。

また、本実施形態の全天球画像は、図２０または図２１に示すようなＵＩで表示されてもよい。図２０および図２１は、本実施形態におけるキューブマップ形式の全天球画像を表示するＵＩの例を示す図である。

例えば、図２０に示すように、透視投影形式の画像と、キューブマップ形式の画像の両方を含む態様としてモニタ２７０に表示するよう構成しても良い。例えば第１表示領域２０１０、第２表示領域２０２０、第３表示領域２０３０などで構成されている。なお、図２０および図２１では、透視投影形式の画像とキューブマップ形式の画像に写っている被写体が異なって見えるが、両者の画像はともに同じエクイレクタングラー形式の画像に基づいた画像であり、同じ被写体が写っているものとして説明する。

第１表示領域２０１０は、透視投影形式の全天球画像や全周画像（以下、「第１表示領域２０１０に表示される画像」として参照する）が表示される。この画像は撮影範囲に応じ、入力装置２８０により画像を上下左右に操作して表示領域を変更することや拡大縮小が可能である。また、部屋やフロアを示す配置図（間取り図や設計図）を同時に表示可能であり、配置図の表示をするかしないかを選択しても良い。

第２表示領域２０２０は、上述したキューブマップ形式の全天球画像や全周画像（以下、「第２表示領域２０２０に表示される画像」として参照する）が表示される。

第３表示領域２０３０は、各種情報が表示される。各種情報の一例としては、建築現場の現場名や画像の撮影日時、工事の進捗状況などを示す情報である。また、アノテーション表示のＯＮまたはＯＦＦを切り替える切り替えボタンが含まれていても良い。アノテーション表示をＯＮにすることで、第１表示領域２０１０と第２表示領域２０２０にアノテーションが表示され、ＯＦＦにすることで非表示となる。また、現在閲覧している画像に付加されたアノテーションの数を示す情報が含まれていても良い。

ここで、第１表示領域２０１０に表示される画像には、そのとき表示されている画像の中心位置を示す図形（中心位置マーカ）が重畳して表示される。この図形は例えば十字マーカである。なお、第１表示領域２０１０に対する十字マーカの相対位置の関係は固定的である。そして、第２表示領域２０２０に表示される画像には、第１表示領域２０１０に表示される画像の中心位置に対応する位置に図形が重畳して表示される。この図形も例えば十字マーカである。なお、第２表示領域２０２０に対する十字マーカの相対位置の関係は流動的であり、この十字マーカについては、上述したとおり、表示形式ごとの座標の対応付けにより実現可能である。これにより、例えば第１表示領域２０１０に表示される画像を操作して表示位置をかえたとき、第１表示領域２０１０に表示されている画像の中心位置が変わることになる。このとき、第１表示領域２０１０に表示される十字マーカは、変更された中心位置を示していることになる。この場合、第２表示領域２０２０に表示される十字マーカは、第１表示領域２０１０に表示されている変更された中心位置の座標に対応するキューブマップ形式の画像の位置になるよう表示される。全天球画像や全周画像などは表示できる領域が多く、ユーザが自由に表示領域を変更できる点で便利ではあるが、表示の自由度が高いがゆえ、いま画像の中のどの領域を表示しているのか迷ってしまう場合が生じる可能性がある。そのとき、キューブマップ形式の画像に十字マーカが表示されることで、画像の全体のどの領域を表示しているかが認識しやすくなる。

また、キューブマップ形式の画像を表示する十字マーカを入力装置２８０により直接操作することで、第１表示領域２０１０に表示される画像の表示が変化するよう連れ回って表示されても良い。こうすることで、ユーザはキューブマップ形式の画像上でアノテーションを示すアイコンがある場所を確認し、そのアイコンを目指して（アイコンに近付けるように）十字マーカを操作することで、十字マーカに対応した透視投影形式の画像が第１表示領域２０１０に表示されるため、第１表示領域２０１０に表示される画像におけるアノテーション表示がよりスムーズになる。

また、第１表示領域２０１０に表示される画像に配置図が同時に表示されている場合、モニタ２７０には、第１表示領域２０１０に表示される画像と配置図、および第２表示領域２０２０に表示される画像とが同時に表示されることになる。この配置図には、撮影された位置を示す図形（例えば丸形状の図形）や、第１表示領域２０１０に表示される画像の表示範囲を示す図形（例えば扇型形状の図形）が含まれても良い。そして、撮影された位置が複数ある場合、第１表示領域２０１０に表示される画像には、現在表示されている撮影位置と隣接する他の撮影位置を示す図形（例えば矢印の図形）を表示しても良い。なお、他の撮影位置を示す図形に限らず、アノテーションの位置を示す図形（例えば矢印の図形）を表示することでも良く、この場合、ユーザは矢印を選択することで、アノテーションが付加された場所を第１表示領域２０１０に表示される画像の中心位置にするようモニタ２７０に表示される。

図２０に示すように、第１表示領域２０１０には、配置図と、配置図に示される撮像位置で撮像された透視投影形式の全天球画像とを重ね合わせて表示している。配置図には、複数の撮像位置が示され、現在表示している画像の撮像位置が他の撮像位置とは区別して示されている。また、配置図には、現在表示している画像の、撮像位置に対する方向や範囲も略扇形状で示されている。

第１表示領域２０１０の全天球画像には、近隣する撮像位置の方向を表し、その撮像位置で撮像された画像を表示させるための記号、全天球画像の上下、左右のエリアを表示させ、エリアを拡大および縮小させるためのボタンが示されている。

上述したように、第１表示領域２０１０が、配置図、記号、各種のボタンを備えることにより、借り手は、自分が実際にその場にいて、各部屋を移動しながら見ているような感覚を味わうことができる。

ここで、建築現場によっては大規模な現場である場合がある。このとき、配置図では現場に対する位置が把握でき、第２表示領域２０２０に表示される画像では表示する全天球画像や全周画像などに対する全体像が把握でき、第１表示領域２０１０に表示される画像で閲覧したい領域や方向を指定して画像の詳細を確認できる。これにより、ユーザはモニタ２７０を確認するだけで、現場における位置の確認、画像の閲覧、アノテーションの有無やアノテーションの位置の確認、アノテーションの内容の確認などを容易に行うことが出来る。

また、図２１に示すように、図２０における第１表示領域２０１０、第３表示領域に替えて、キューブマップ形式の画像を表示領域に表示し、この背景領域に透視投影形式の全天球画像や全周画像と、各種情報とを表示しても良い。また、配置図は透視投影形式の全天球画像や全周画像に重畳表示させず、背景領域に表示させても良い。また、アノテーションの詳細情報であるポップアップ表示も背景領域に表示させても良い。

以上、説明した本発明の実施形態によれば、キューブマップ形式の画像における視認性を向上する情報処理装置、情報処理システム、方法およびプログラムを提供することができる。

上述した本発明の実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ（登録商標）、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュールなどのデバイスを含むものとする。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１２…撮像体、１４…筐体、１８…撮影ボタン、２０…レンズ光学系、２２…撮像素子、１００…システム、１１０…全天球撮像装置、１２０…情報処理装置、２１０…ＣＰＵ、２２０…ＲＡＭ、２３０…ＲＯＭ、２４０…記憶装置、２５０…通信Ｉ／Ｆ、２６０…外部記憶装置Ｉ／Ｆ、２７０…モニタ、２８０…入力装置、６１０…画像データ取得部、６２０…補正パラメータ算出部、６３０…画像変換部、６４０…表示部、６５０…操作部、２０１０…第１表示領域、２０２０…第２表示領域、２０３０…第３表示領域

特許第６７０４１３４号公報

Claims (15)

1. 広角画像における鉛直方向を回転軸とする回転方向を補正する補正手段と、
   前記広角画像をキューブマップ形式に変換する変換手段と
   を含む、情報処理装置。
2. 前記補正され、キューブマップ形式に変換された前記広角画像を表示する表示手段
   をさらに含む、請求項１に記載の情報処理装置。
3. 前記表示手段は、前記キューブマップ形式に変換された広角画像の背面側の画像を右背面画像および左背面画像に分割し、前記右背面画像を右側面画像の右に配置し、前記左背面画像を左側面画像の左に配置して表示する、
   請求項２に記載の情報処理装置。
4. 前記広角画像における前記鉛直方向を回転軸とする前記回転方向を補正するパラメータを算出する算出手段
   をさらに含む、請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記補正手段により、前記広角画像は前記鉛直方向に対する傾きも補正される
   請求項１記載の情報処理装置。
6. 前記算出手段は、前記広角画像のサイズを縮小した画像に基づいて前記パラメータを算出する、
   請求項４に記載の情報処理装置。
7. 前記算出手段は、前記広角画像に含まれる主要な被写体が、前記キューブマップ形式に変換された広角画像の正面画像に配置されるように前記パラメータを算出する、
   請求項４に記載の情報処理装置。
8. 前記広角画像が室内で撮像された画像である場合に前記回転方向の補正を行う、
   請求項１に記載の情報処理装置。
9. 前記変換手段は、前記補正手段により前記鉛直方向を回転軸とする前記回転方向の補正と、前記鉛直方向に対する傾きの補正がされた広角画像に基づいて、当該広角画像をキューブマップ形式に変換する
   請求項５記載の情報処理装置。
10. 前記変換手段は、前記広角画像に付加されたアノテーションを、前記キューブマップ形式の画像における座標に変換する、請求項１に記載の情報処理装置。
11. 前記表示手段は、キューブマップ形式の広角画像と前記アノテーションとを合わせた領域が、前記表示手段の表示領域の内側に含まれるように、前記アノテーションを配置する、請求項１０に記載の情報処理装置。
12. 前記表示手段は、透視投影形式の広角画像と、前記キューブマップ形式に変換された前記広角画像を表示する
    請求項２に記載の情報処理装置。
13. 広角画像における鉛直方向を回転軸とする回転方向を補正する補正手段と、
    前記広角画像をキューブマップ形式に変換する変換手段と
    を含む、情報処理システム。
14. 広角画像における鉛直方向を回転軸とする回転方向を補正するステップと、
    前記広角画像をキューブマップ形式に変換するステップと
    を含む、方法。
15. 情報処理装置が実行するプログラムであって、前記情報処理装置を、
    広角画像における鉛直方向を回転軸とする回転方向を補正する補正手段、
    前記広角画像をキューブマップ形式に変換する変換手段
    として機能させる、プログラム。