JP7415496B2 - 画像処理装置、プログラム及び画像処理システム - Google Patents

Description

本発明は、画像処理装置、プログラム及び画像処理システムに関する。

特許文献１では、室内の撮影位置から全周囲方向３６０°を撮影して得られたパノラマ画像に基づいて室内の仮想環境モデルを生成する技術が提案されている。特許文献１に開示された技術では、パノラマ画像において、仮想空間上の任意の柱が天井面および床面に接する頂点に対応する位置にマーカーが設定され、マーカーに基づいて仮想空間上での視点から柱までの距離および視点の高さが求められる。

特開２０００－１１１７２号公報

特許文献１に開示された技術では、仮想空間上の天井面および床面に設定されたマーカーの位置に基づいて、各マーカーの仮想環境モデル上の座標を求める。従って、天井面に設けられたマーカーと床面に設けられたマーカーとを取り違えた場合に適切な仮想環境モデルを生成できないという問題を有する。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、撮影された画像から、任意の位置から見た状態の仮想画像を生成するためのテクスチャ画像を適切に生成することが可能な画像処理装置等を提供することにある。

本開示の一態様に係る画像処理装置は、直方体として閉鎖された実空間内で撮影されたパノラマ画像を取得する画像取得部と、前記パノラマ画像上で、前記直方体の鉛直方向の辺に対応する４線分を取得する線分取得部と、取得した前記４線分を高さとする前記直方体の形状を推定する推定部と、推定した前記直方体を構成する各面に、前記パノラマ画像の各画素を対応付けてテクスチャ画像を生成する生成部とを備える。

本開示の一態様によれば、実写画像に基づいて、任意の視点から見た状態の仮想画像を生成するためのテクスチャ画像を適切に生成できる。よって、適切に生成されたテクスチャ画像を用いて仮想画像を生成することができ、仮想画像をユーザに提供することができる。

画像処理システムの構成例を示す模式図である。 カメラ及び登録用端末の構成例を示すブロック図である。 サーバ及び閲覧用端末の構成例を示すブロック図である。 サーバに記憶されるＤＢの構成例を示す模式図である。 カメラの外観例を示す模式図である。 撮影画像の構成例を説明するための模式図である。 撮影画像の登録処理手順の一例を示すフローチャートである。 登録画面例を示す模式図である。 閲覧用画像の生成処理手順の一例を示すフローチャートである。 閲覧用画像の生成処理を説明するための模式図である。 天頂補正の処理手順の一例を示すフローチャートである。 天頂補正に含まれる回転軸の特定処理手順の一例を示すフローチャートである。 天頂補正に含まれる回転軸の特定処理手順の一例を示すフローチャートである。 天頂補正に含まれる回転量の特定処理手順の一例を示すフローチャートである。 天頂補正を説明するための模式図である。 極座標系及びワールド直交座標系の関係を示す模式図である。 直方体の推定処理手順の一例を示すフローチャートである。 直方体の推定処理を説明するための模式図である。 直方体の推定処理を説明するための模式図である。 直方体の推定処理を説明するための模式図である。 ポリゴンデータを説明するための模式図である。 テクスチャ画像を説明するための模式図である。 テクスチャ画像を説明するための模式図である。 パノラマ画像の再生処理手順の一例を示すフローチャートである。 パノラマ画像の表示画面例を示す模式図である。 実施形態２の画像処理システムの構成例を示す模式図である。

以下に、本開示の画像処理装置、プログラム及び画像処理システムについて、その実施形態を示す図面に基づいて詳述する。

（実施形態１）
図１は、画像処理システムの構成例を示す模式図である。本実施形態の画像処理システム１００は、サーバ１０（画像処理装置）、登録用端末２０、カメラ３０及び閲覧用端末４０（画像表示装置）を含む。サーバ１０、登録用端末２０及び閲覧用端末４０は、インターネット、公衆通信回線又はＬＡＮ（Local Area Network）等のネットワークＮに接続可能であり、ネットワークＮ経由で情報の送受信を行う。登録用端末２０及びカメラ３０は例えば無線通信可能であり、無線通信にて情報の送受信を直接行う。なお、カメラ３０がネットワークＮに接続可能である場合、カメラ３０及び登録用端末２０はネットワークＮ経由で情報の送受信を行う構成でもよい。

サーバ１０は、サーバコンピュータ又はパーソナルコンピュータ等の情報処理装置であり、複数台設けられてもよいし、大型計算機等の１台の装置内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。登録用端末２０は、パーソナルコンピュータ又はタブレット端末等であり、複数台設けられてもよい。カメラ３０は、撮影装置の一例である。本実施形態においては、カメラ３０を用いて、賃貸住宅及び販売住宅等の不動産物件の部屋、ホテル及び民宿等の宿泊施設の部屋等の空間内（実空間内）の任意の位置で撮影を行う。カメラ３０を用いて撮影する空間は、博物館、美術館、テーマパーク、アミューズメント施設、観光地、商業施設等であってもよいが、本実施形態では、撮影空間は略直方体形状の部屋とする。カメラ３０は、１回のシャッターで前後左右上下の撮影を行う全天球カメラを使用する。

本実施形態では、例えば不動産物件の管理会社の従業員等（パノラマ画像の登録者）が、カメラ３０を用いて不動産物件の室内（空間内）で撮影を行う。カメラ３０によって撮影された撮影画像（パノラマ画像）は、登録用端末２０を介してサーバ１０へ送信され、サーバ１０の撮影画像ＤＢ１２ａ（図３参照）に記録される。なお、カメラ３０は撮影によって画像データ（撮影画像データ）を取得するが、以下では画像データを単に画像という場合がある。従って、撮影画像は撮影画像データを意味する場合があり、パノラマ画像はパノラマ画像データを意味する場合がある。撮影画像は、複数の画素を含み、撮影画像データは、各画素の撮影画像中の位置（座標）を示す位置情報と各画素の輝度（画素値）とを対応付けて有する。

サーバ１０は、撮影画像ＤＢ１２ａに登録されたパノラマ画像をネットワークＮ経由で公開しており、不動産物件の部屋を内見したいユーザ（閲覧者）は、閲覧用端末４０を用いてサーバ１０にアクセスし、所望の部屋のパノラマ画像を閲覧できる。なお、サーバ１０は、撮影画像ＤＢ１２ａに登録されたパノラマ画像から、閲覧用端末４０で再生するための閲覧用画像を生成し、閲覧用画像を閲覧用端末４０に提供する。閲覧用端末４０は、スマートフォン、タブレット端末又はパーソナルコンピュータ等の汎用の情報処理装置であり、複数台設けられてもよい。閲覧用端末４０は、例えば入力部４４（図３参照）を介して撮影空間内の任意の位置（仮想位置）と仮想位置から室内を見た方向との入力を受け付け、受け付けた仮想位置から、受け付けた方向（仮想位置からの視線方向）を見た状態の仮想画像を生成して表示する。なお、閲覧用端末４０は、閲覧者が装着して使用するＨＭＤ（Head Mounted Display）型の情報処理装置であってもよい。この場合、閲覧用端末４０には、各種センサが内蔵され、装着した閲覧者の頭部の位置及び向き（視線方向）を検出し、検出した閲覧者の頭部の位置及び向きに基づいて仮想画像を生成する。また、閲覧用端末４０は、汎用の情報処理装置とＨＭＤ等の表示装置との組合せでもよく、スマートフォン等の軽量の携帯型情報処理装置と、携帯型情報処理装置を閲覧者の目の前に固定する固定部材との組合せでもよい。

このような構成により、閲覧者は、撮影対象となった部屋の中を仮想的に歩き回り、任意の向きを向いて、部屋の広さ、家具の配置、窓の外の景色等を感覚的に把握することができる。なお、閲覧者は回転可能な椅子に着席した状態で、ジョイスティック等を操作することで仮想視点（仮想位置）及び仮想視点からの向きを移動させてもよい。この場合、転倒及び衝突のおそれなく、部屋の中を仮想的に歩き回り、あるいは飛翔し、任意の向きを向いて、室内空間を把握することができる。

図２は、カメラ３０及び登録用端末２０の構成例を示すブロック図である。カメラ３０は、制御部３１、記憶部３２、通信部３３、シャッターボタン３４、撮影部３５等を含み、これらはバスを介して相互に接続されている。制御部３１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部３１は、記憶部３２に記憶してある制御プログラムを実行すると共に、バスを介してカメラ３０を構成するハードウェア各部の動作を制御する。これにより、制御部３１は、カメラ３０が行うべき種々の制御処理及び情報処理を実行する。記憶部３２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、磁気テープ等を含む。記憶部３２は、制御部３１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部３２は、制御部３１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。

通信部３３は、例えばBluetooth（登録商標）又はWi-Fi等の無線通信を行うためのインタフェースであり、無線通信によって外部装置（例えば登録用端末２０）との間で情報の送受信を直接行う。なお、通信部３３は、ケーブルを介した有線通信によって外部装置との間で情報の送受信を行うためのインタフェースであってもよい。また通信部３３は、無線通信又は有線通信によってネットワークＮに接続するためのインタフェースであってもよく、この場合、ネットワークＮ経由で外部装置との間で情報の送受信を行う。

シャッターボタン３４は、静止画を撮影する指示を受け付けるためのボタンである。なお、制御部３１は、無線通信によって、又はネットワークＮを通じてシャッターボタン３４の操作を受け付けてもよい。撮影部３５は、撮影を行う光学系及び撮像素子等を有する撮像装置である。制御部３１は、シャッターボタン３４から受け付けた指示に基づいて撮影部３５による撮影を行い、光学系を介して入射した光が撮像素子にて光電変換されて得られたデータに対して各種の画像処理を行い、撮影画像を取得する。カメラ３０は、上述した構成のほかに、液晶ディスプレイ等による表示部、ユーザによる各種の操作入力を受け付ける入力部等を有する構成でもよい。

登録用端末２０は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、読み取り部２６等を含み、これらはバスを介して相互に接続されている。制御部２１は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の１又は複数のプロセッサを含む。制御部２１は、記憶部２２に記憶してある制御プログラム２２Ｐを実行すると共に、バスを介して登録用端末２０を構成するハードウェア各部の動作を制御する。これにより、制御部２１は、登録用端末２０が行うべき種々の制御処理及び情報処理を実行する。記憶部２２は、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部２２は、制御部２１が実行する制御プログラム２２Ｐ及び制御プログラム２２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部２２は、制御部２１が制御プログラム２２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部２２は、ネットワークＮ経由で公開されているウェブサイトを閲覧するためのウェブブラウザ２２ａを記憶している。

通信部２３は、有線通信又は無線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮ経由で外部装置との間で情報の送受信を行う。また通信部２３は、無線通信又は有線通信によって外部装置（例えばカメラ３０）との間で情報の送受信を直接行うためのインタフェースを有する構成でもよい。入力部２４は、マウス及びキーボード等を含み、ユーザ（登録者）による操作入力を受け付け、操作内容に対応した制御信号を制御部２１へ送出する。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２１からの指示に従って各種の情報を表示する。入力部２４及び表示部２５は一体として構成されたタッチパネルであってもよい。

読み取り部２６は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体２ａに記憶された情報を読み取る。記憶部２２に記憶される制御プログラム２２Ｐ及びデータは、制御部２１が読み取り部２６を介して可搬型記憶媒体２ａから読み取って記憶部２２に記憶してもよい。また、記憶部２２に記憶される制御プログラム２２Ｐ及びデータは、制御部２１が通信部２３を介してネットワークＮ経由で外部装置からダウンロードして記憶部２２に記憶してもよい。更に、制御部２１が半導体メモリ２ｂから制御プログラム２２Ｐ及びデータを読み出してもよい。

図３は、サーバ１０及び閲覧用端末４０の構成例を示すブロック図である。サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらはバスを介して相互に接続されている。これらの各部１１～１６は、登録用端末２０の各部２１～２６と同様の構成を有するので、構成についての詳細な説明は省略する。なお、サーバ１０の記憶部１２は、制御プログラム１２Ｐのほかに、後述する撮影画像ＤＢ１２ａ及び閲覧用画像ＤＢ１２ｂを記憶する。撮影画像ＤＢ１２ａ及び閲覧用画像ＤＢ１２ｂは、サーバ１０に接続された外部の記憶装置に記憶されてもよく、ネットワークＮを介してサーバ１０が通信可能な外部の記憶装置に記憶されてもよい。

閲覧用端末４０は、制御部４１、記憶部４２、通信部４３、入力部４４、表示部４５等を含み、これらはバスを介して相互に接続されている。これらの各部４１～４５は、登録用端末２０の各部２１～２５と同様の構成を有するので、構成についての詳細な説明は省略する。なお、閲覧用端末４０がＨＭＤ型の情報処理装置である場合、閲覧用端末４０を装着した閲覧者の頭部の位置及び向きを検出するセンサ部（図示せず）を有する。センサ部は、例えば地磁気センサ、傾きセンサ、ＧＰＳ（Global Positioning System ）センサ等の複数のセンサの組合せであり、閲覧用端末４０の位置及び向きを検出する。例えばＧＰＳセンサによって閲覧用端末４０の現在位置を検出し、地磁気センサによって閲覧用端末４０の向きを検出し、傾きセンサによって閲覧用端末４０の重力方向（即ち、鉛直方向の下向き）に対する傾きを検出する。センサ部は、閲覧用端末４０の位置及び向きを検出することにより、閲覧用端末４０を頭部に装着しているユーザの頭部の位置及び向きを検出する。

図４は、サーバ１０に記憶されるＤＢ１２ａ，１２ｂの構成例を示す模式図であり、図４Ａは撮影画像ＤＢ１２ａを、図４Ｂは閲覧用画像ＤＢ１２ｂをそれぞれ示す。撮影画像ＤＢ１２ａは、カメラ３０を用いて撮影されたパノラマ画像（撮影画像）を記憶する。図４Ａに示す撮影画像ＤＢ１２ａは、画像ＩＤ列、撮影位置情報列、撮影画像列等を含み、画像ＩＤに対応付けて撮影場所の情報及び撮影画像（パノラマ画像）を記憶する。画像ＩＤ列は、撮影画像に割り当てられた識別情報を記憶する。撮影位置情報列は、撮影画像を撮影した場所、部屋、空間に関する情報を記憶し、例えば撮影した部屋の住所、建物名及び部屋番号、ランドマーク名、緯度及び経度等を用いることができる。撮影画像列は、カメラ３０を用いて撮影されたパノラマ画像のデータ（撮影画像データ）を記憶する。なお、パノラマ画像のデータ（撮影画像データ）は、撮影画像ＤＢ１２ａに記憶されずに、記憶部１２の所定領域又はサーバ１０に接続された外部記憶装置に記憶されてもよい。この場合、撮影画像列は、撮影画像（パノラマ画像）のデータを読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶する。撮影画像ＤＢ１２ａに記憶される画像ＩＤは、サーバ１０が新たなパノラマ画像を通信部１３にて取得した場合に、制御部１１によって発行されて記憶される。撮影情報ＤＢ１２ａに記憶される他の情報は、制御部１１が通信部１３を介して登録用端末２０から取得した場合に、制御部１１によって記憶される。なお、撮影位置情報は、登録用端末２０からパノラマ画像と共にサーバ１０へ送信される。撮影画像ＤＢ１２ａの記憶内容は図４Ａに示す例に限定されず、例えば撮影日時、撮影者の情報、撮影対象の空間（部屋）に関する情報等が記憶されてもよい。

閲覧用画像ＤＢ１２ｂは、サーバ１０がネットワークＮ経由で提供する閲覧用のパノラマ画像（閲覧用画像）を記憶する。なお、閲覧用画像は、撮影画像ＤＢ１２ａに登録された撮影画像を、サーバ１０が所定の画像処理を行うことによって得られたデータであり、具体的にはポリゴンデータ及びテクスチャ画像データを含む。図４Ｂに示す閲覧用画像ＤＢ１２ｂは、撮影画像ＤＢ１２ａと同様の構成を有し、撮影画像ＤＢ１２ａにおける撮影画像の代わりに、撮影画像から生成された閲覧用画像を記憶する。なお、閲覧用画像のデータも、閲覧用画像ＤＢ１２ｂに記憶されずに、記憶部１２の所定領域又はサーバ１０に接続された外部記憶装置に記憶されてもよい。この場合、閲覧用画像列は、閲覧用画像のデータ（ポリゴンデータ及びテクスチャ画像データ）を読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶する。閲覧用画像ＤＢ１２ｂに記憶される画像ＩＤ及び撮影位置情報は、サーバ１０が撮影画像から閲覧用画像を生成した場合に、この撮影画像に対応する画像ＩＤ及び撮影位置情報が制御部１１によって撮影画像ＤＢ１２ａから読み出されて記憶される。閲覧用画像ＤＢ１２ｂに記憶される閲覧用画像は、制御部１１が撮影画像から閲覧用画像を生成した場合に、制御部１１によって記憶される。閲覧用画像ＤＢ１２ｂの記憶内容は図４Ｂに示す例に限定されず、例えば処理前の撮影画像の撮影日時、撮影者の情報、撮影対象の空間（部屋）に関する情報等が記憶されてもよい。また、撮影画像ＤＢ１２ａ及び閲覧用画像ＤＢ１２ｂを１つのＤＢで構成してもよく、撮影画像ＤＢ１２ａに閲覧用画像を記憶する構成としてもよい。

以下に、本実施形態の画像処理システム１００におけるカメラ３０及びカメラ３０によって撮影されるパノラマ画像について説明する。図５は、カメラ３０の外観例を示す模式図である。本実施形態のカメラ３０は、略長方形板状の板状部３８を有する。本実施形態のカメラ３０は、図５に示すように板状部３８の長辺方向を上下方向に向けた状態で撮影するので、以後の説明においては、板状部３８の長辺方向をカメラ３０の上下方向と記載する。また、板状部３８の長辺方向を上下方向に向けた状態のカメラ３０において、板状部３８の第１広面３８１側をカメラ３０の前側（正面側）、第２広面３８２側をカメラ３０の後側（背面側）、板状部３８の短辺方向をカメラ３０の左右方向とそれぞれ記載する。

カメラ３０は、第１広面３８１の上寄りに、ドーム状の第１レンズ３７１が設けられている。第２広面３８２の上寄りに、ドーム状の第２レンズ３７２が設けられている。第１レンズ３７１及び第２レンズ３７２の内側には、図示しない複数のレンズ及びプリズム等の光学部品が配置されており、１８０度以上の視野角を有する光学系を形成している。以後の説明では、第１レンズ３７１側の光学系の光軸を第１光軸、第２レンズ３７２側の光学系の光軸を第２光軸とそれぞれ記載する。第１光軸と第２光軸とは、同一の直線上に配置されている。第１広面３８１にシャッターボタン３４が配置されている。

上述した構成のカメラ３０が撮影時に行う処理について説明する。図６は撮影画像の構成例を説明するための模式図である。図６Ａは、全天球画像を示す模式図である。図６Ｂは、図６Ａの全天球画像を正距円筒図法により展開した画像を示す模式図である。カメラ３０の制御部３１は、シャッターボタン３４から受け付けた指示に基づいて撮影部３５による撮影を行った場合、第１光軸側で撮影した画像と第２光軸側で撮影した画像とを合成することにより、図６Ａに示すように撮影位置を撮影中心Ｃとする全天球画像を生成する。

全天球画像上の各画素の位置を定める座標系について説明する。全天球画像上の画素の位置は、直交座標系及び極座標系により表現することができる。直交座標系は、図５に示した右方向をＸ軸の正側、上方向をＹ軸の正側、後ろ方向をＺ軸の正側とする右手系の直交座標系を用いる。極座標系は、方位角φ及び天頂角θ、並びに撮影中心Ｃからの距離ｒによって座標が示される座標系を用いる。極座標系の方位角は、第２光軸側（Ｚ軸の正側）を基準として、ＸＺ面（カメラ３０の前後左右方向を含む平面）内の反時計回りの角度φを示す。第１光軸（Ｚ軸の負側）は、方位角φがπラジアンの位置に存在する。ここでπは円周率を意味する。第２光軸は、方位角φが０ラジアンかつ２πラジアンの位置に存在する。極座標系の天頂角は、撮影中心Ｃから天頂への上方向（Ｙ軸の正側）を基準として、撮影中心Ｃを中心として下に向かう角度θを示す。上方向は、天頂角θが０ラジアンの位置に存在する。下方向（Ｙ軸の負側）は、天頂角θがπラジアンの位置に存在する。全天球画像上の任意の画素ａの位置は、直交座標系で表した座標（ｘ_a ，ｙ_a ，ｚ_a ）と、極座標系で表した座標（ｒ，θ_a ，φ_a）とによって表現することができる。なお、直交座標系の座標（ｘ，ｙ，ｚ）及び極座標系の座標（ｒ，θ，φ）は以下の（１）式及び（２）式によって相互に変換可能である。

カメラ３０の制御部３１は、全天球画像を方位角φ＝０の線に沿って切断して、正距円筒図法により図６Ｂに示すように横軸を方位角φとし縦軸を天頂角θとする平面に展開した長方形の撮影画像（以下では、パノラマ画像という）を生成する。このパノラマ画像を構成する各画素には、全天球画像における各画素の輝度（画素値）が割り当てられる。なお、図６Ｂに示すように、長方形（平面）のパノラマ画像は、左下を原点（０，０）とし、原点（０，０）は、方位角φが２πラジアンで天頂角θがπラジアンの位置の画素を示す。また、パノラマ画像は、右方向に方位角φが小さくなり、パノラマ画像の右端は方位角φが０ラジアンの位置の画素であり、上方向に天頂角θが小さくなり、パノラマ画像の上端は天頂角θが０ラジアンの位置の画素である。

例えば登録者は、カメラ３０を用いて撮影対象の空間内で撮影を行い、取得したパノラマ画像を登録用端末２０に取り込む。このとき、カメラ３０の制御部３１は、図６Ｂに示すようなパノラマ画像を通信部３３から登録用端末２０へ送信する。なお、カメラ３０の制御部３１は、図６Ｂに示すパノラマ画像の代わりに、図６Ａに示すような全天球画像の撮影画像を登録用端末２０へ送信してもよく、この場合、登録用端末２０が、全天球画像から、図６Ｂに示すパノラマ画像を生成する処理を行ってもよい。また、全天球画像からパノラマ画像を生成する処理は、パノラマ画像を記憶するサーバ１０で行ってもよい。この場合、カメラ３０によって撮影された全天球画像が、登録用端末２０によってサーバ１０へ送信され、サーバ１０が、全天球画像からパノラマ画像を生成する処理を行う。なお、カメラ３０は、パノラマ画像と共に撮影中心Ｃの位置情報（撮影位置の情報）を登録用端末２０へ送信してもよく、例えばＥｘｉｆ（Exchangeable image file format）形式を使用することにより、撮影位置の情報と撮影画像とを一つのファイルで送信することが可能である。撮影位置の情報は、例えばカメラ３０に内蔵されているＧＰＳセンサを用いて取得される。

以下に、本実施形態の画像処理システム１００における各装置が行う処理について説明する。図７は、撮影画像の登録処理手順の一例を示すフローチャート、図８は登録画面例を示す模式図である。図７では左側に登録用端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。登録者はまず、撮影対象の部屋内部でカメラ３０を用いて撮影を行い、パノラマ画像（撮影画像）を取得する。このとき、カメラ３０は、撮影画像と共に撮影位置の情報を取得してもよい。カメラ３０の制御部３１は、シャッターボタン３４からの指示に基づいて撮影部３５による撮影を行い、図６Ａに示すような全天球画像を生成し、更に全天球画像から図６Ｂに示すような平面のパノラマ画像を生成する。制御部３１は、例えば登録用端末２０からの要求に応じて、取得した撮影画像を登録用端末２０へ送信する。なお、撮影位置の情報がカメラ３０に内蔵されたセンサによって測定される場合、制御部３１は、測定した撮影位置の情報も撮影画像と共に登録用端末２０へ送信する。

登録用端末２０の制御部２１は、カメラ３０によって取得した撮影画像を取得しておく（Ｓ１１）。なお、カメラ３０が撮影位置の情報も取得している場合、制御部２１は、撮影画像と共に撮影位置の情報も取得しておく。登録者は、撮影画像の登録を行う場合、サーバ１０が提供するウェブサイトに登録用端末２０を用いてアクセスし、ウェブサイトを介してサーバ１０に撮影画像の登録を要求する。なお、サーバ１０はウェブサーバとしての機能を有しており、撮影画像の登録指示を受け付けるためのウェブサイトをネットワークＮ経由で公開している。登録用端末２０の制御部２１は、サーバ１０にアクセスし、撮影画像の登録を要求する（Ｓ１２）。

サーバ１０の制御部１１は、撮影画像の登録を要求された場合、図８に示すような登録画面を登録用端末２０へ送信する（Ｓ１３）。登録用端末２０の制御部２１は、サーバ１０が送信した登録画面を受信し、受信した登録画面を表示部２５に表示する（Ｓ１４）。図８に示す登録画面は、登録対象の撮影画像（パノラマ画像）を指定するための入力欄２５ａと、撮影位置（撮影場所）の情報を入力するための入力欄２５ｂ，２５ｃとを有する。なお、入力欄２５ｂは、撮影した部屋の住所、建物名及び部屋番号を入力する入力欄を含み、入力欄２５ｃは、撮影位置の緯度及び経度を入力する入力欄を含む。登録画面は、入力欄２５ａにファイル名が入力されて登録対象の撮影画像が指定された場合、指定された撮影画像が表示され、指定された撮影画像に撮影位置の情報（緯度及び経度）が含まれる場合、撮影位置の緯度及び経度が入力欄２５ｃに表示される。なお、登録用端末２０がカメラ３０から受信した撮影画像に撮影位置の情報が付加されていない場合、入力欄２５ｃに撮影位置の情報（緯度及び経度）は表示されない。このとき、入力欄２５ｃは空欄でもよく、例えば登録者が入力部２４を介して撮影位置の緯度及び経度を入力してもよい。登録者は、登録画面において、撮影場所の住所、建物名及び部屋番号を入力部２４から入力欄２５ｂに入力する。登録画面は、画面を介して入力された各情報の登録を指示するための登録ボタンと、登録処理の終了（中止）を指示するためのキャンセルボタンとを有する。登録画面の構成は図８に示す例に限定されず、撮影位置の情報は住所等のほかに、ランドマーク名、店舗名等が入力される構成としてもよい。

制御部２１は、登録画面において入力欄２５ａに対して撮影画像の指定を受け付け、入力欄２５ｂに対して撮影位置の情報（住所等）の入力を受け付ける（Ｓ１５）。制御部２１は、登録画面中の登録ボタンが操作されたか否かに応じて、登録画面を介して入力された情報の登録指示を受け付けたか否かを判断する（Ｓ１６）。制御部２１は、登録指示を受け付けていないと判断した場合（Ｓ１６：ＮＯ）、ステップＳ１５の処理に戻り、登録画面を介した各情報の受付を継続する。登録指示を受け付けたと判断した場合（Ｓ１６：ＹＥＳ）、即ち、登録画面中の登録ボタンが操作された場合、制御部２１は、登録画面を介して受け付けた撮影画像及び撮影位置の情報を対応付けてサーバ１０へ送信する（Ｓ１７）。

サーバ１０の制御部１１（画像取得部）は、登録用端末２０が送信した撮影画像及び撮影位置の情報を受信（取得）し、受信した情報を対応付けて登録する（Ｓ１８）。具体的には、制御部１１は、受信した撮影画像に画像ＩＤを発行し、画像ＩＤに対応付けて、受信した撮影位置の情報及び撮影画像を撮影画像ＤＢ１２ａに記憶する。上述した処理により、撮影対象の部屋で撮影されたパノラマ画像（撮影画像）が、撮影位置の情報と共にサーバ１０に登録される。なお、撮影画像は、１つの部屋において異なる複数の撮影位置で撮影してもよいが、それぞれの撮影画像について上述した処理を行うことによって、それぞれの撮影画像をサーバ１０に登録する。

次に、上述した処理によってサーバ１０の撮影画像ＤＢ１２ａに登録された撮影画像から閲覧用の画像（閲覧用画像）を生成する処理について説明する。図９は、閲覧用画像の生成処理手順の一例を示すフローチャート、図１０は、閲覧用画像の生成処理を説明するための模式図である。サーバ１０は、以下の処理を記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行するが、処理の一部を専用のハードウェア回路で実現する構成でもよい。サーバ１０の制御部１１は、例えば登録用端末２０から撮影画像を受信した場合に、受信した撮影画像を撮影画像ＤＢ１２ａに登録すると共に以下の処理を行う。また制御部１１は、定期的に、又は撮影画像ＤＢ１２ａにある程度の撮影画像が登録された後に以下の処理を行ってもよい。

サーバ１０の制御部１１は、処理対象の撮影画像を撮影画像ＤＢ１２ａから読み出す（Ｓ２１）。なお、登録用端末２０から撮影画像を受信した場合に閲覧用画像を生成する場合、制御部１１は、登録用端末２０から受信して撮影画像ＤＢ１２ａに記憶した撮影画像を読み出す。また、定期的に、又は撮影画像ＤＢ１２ａにある程度の撮影画像が登録された場合に閲覧用画像を生成する場合、制御部１１は、閲覧用画像がまだ生成されていない撮影画像（未処理の撮影画像）を撮影画像ＤＢ１２ａから読み出す。制御部１１は、読み出した撮影画像を例えば表示部１５に表示する（Ｓ２２）。なお、登録用端末２０から撮影画像を受信した場合に閲覧用画像を生成する場合、制御部１１は、撮影画像ＤＢ１２ａから読み出した撮影画像を登録用端末２０へ送信し、登録用端末２０の表示部２５に表示してもよい。

制御部１１は、表示部１５又は登録用端末２０の表示部２５に表示した撮影画像に、予め設定された箇所にデフォルトの４線分を重畳させて表示する（Ｓ２３）。図１０Ａは４線分Ｌ０～Ｌ３を重畳表示した撮影画像の例を示しており、図１０Ａに示すように、例えば撮影画像の左右方向に等間隔の位置に、上下方向に伸びる４線分Ｌ０～Ｌ３が表示される。なお、４線分Ｌ０～Ｌ３の表示箇所は撮影画像中のどこでもよく、また、表示部１５，２５の表示領域において、撮影画像の表示領域以外の領域に表示されてもよい。

制御部１１（線分取得部）は、撮影画像に重畳表示した４線分Ｌ０～Ｌ３に対して、撮影空間を直方体形状の部屋と見なした場合に撮影空間の４隅で鉛直方向に存在する４線分（４鉛直線）への移動を受け付け、撮影画像中の４鉛直線を取得する（Ｓ２４）。図１０Ｂは、図１０Ａに示した４線分Ｌ０～Ｌ３を撮影画像中の４鉛直線Ｌ０～Ｌ３に移動させた後の状態を示している。なお、登録用端末２０のユーザ（登録者）又はサーバ１０のユーザが、入力部２４，１４を用いて、表示部２５，１５に表示されたデフォルトの４線分Ｌ０～Ｌ３のそれぞれの端点を、表示部２５，１５に表示された撮影画像上の４鉛直線Ｌ０～Ｌ３のそれぞれの端点に移動させる指示を行う。これにより、図１０Ｂに示すように、撮影画像において、撮影空間の４隅の４鉛直線Ｌ０～Ｌ３が設定され、制御部１１は、４鉛直線のそれぞれの両端点、即ち、合計８頂点の座標値を取得する。

ここで、図１０Ｂに示すように、撮影画像中の各画素の位置を、画像の左上を原点（０，０）とし、原点から右方向をＸ軸とし下方向をＹ軸とした画像座標系の座標（ｘ_I ，ｙ_I ）で表すとする。なお、撮影画像の高さ（上下方向の長さ）はＨとし、幅（左右方向の長さ）はＷとする。よって、鉛直線Ｌ０～Ｌ３のそれぞれの両端点（各頂点）の座標値は、画像座標系の座標値（ｘ_I ，ｙ_I ）によって表される。これにより、制御部１１は、撮影画像上で、撮影空間（実空間）の４隅で鉛直方向に存在する４線分を特定できる。制御部１１は、取得した８頂点の座標値を記憶部１２に記憶しておく。

なお、制御部１１は、撮影画像ＤＢ１２ａから読み出した撮影画像に基づいて、画像認識処理によって撮影空間上で鉛直方向に存在する４隅の鉛直線（４鉛直線）を自動的に特定してもよい。例えば、略直方体形状の撮影空間（実空間）の４隅で鉛直方向に伸びる４鉛直線に対応する撮影画像中の４線分（４鉛直線）の特徴量を予め抽出して記憶部１２に記憶しておき、制御部１１は、記憶した特徴量を有する箇所を撮影画像から自動的に抽出することによって、撮影画像中の４鉛直線を特定してもよい。

また制御部１１は、撮影画像（パノラマ画像）が入力された場合に、撮影画像中の各画素を、４鉛直線（撮影空間の４鉛直線に対応する４線分）の領域又は他の領域に分類するように学習された学習済みモデルを用いて、撮影画像中の４鉛直線を特定してもよい。ここでの学習済みモデルは、ＳｅｇＮｅｔモデル、ＦＣＮ（Fully Convolutional Network ）モデル、Ｕ－Ｎｅｔモデル等のセグメンテーションＤＮＮ（Deep Neural Network ）を用いて構成することができる。セグメンテーションＤＮＮは、入力画像（撮影画像）と、入力画像中の各画素に対して、４鉛直線であるか否かを示す情報（クラスラベル）が対応付けられたラベル画像とを含む教師データを用いて学習する。セグメンテーションＤＮＮは、教師データに含まれる入力画像が入力された場合に、教師データに含まれるラベル画像を出力するように学習する。学習処理においてセグメンテーションＤＮＮは、入力値に対して行う所定の演算を規定する各種の関数の係数や閾値等のデータを最適化する。これにより、撮影画像（パノラマ画像）が入力された場合に、入力画像中の各画素を、４鉛直線の領域、又は他の領域にそれぞれ分類するように学習したセグメンテーションＤＮＮが得られる。

制御部１１が撮影画像に基づいて自動的に撮影画像中の４鉛直線を特定する場合、制御部１１は、撮影画像ＤＢ１２ａから読み出した撮影画像を表示部１５，２５に表示させる必要がなく、図１０Ａに示すようなデフォルトの４線分を表示させる必要もない。よって、この場合、制御部１１は、ステップＳ２２～Ｓ２３の処理をスキップし、ステップＳ２４で、撮影画像に基づいて撮影画像中の４鉛直線を特定（取得）する。

次に制御部１１（補正部）は、ステップＳ２４で取得した４鉛直線に基づいて、ステップＳ２１で読み出した撮影画像に対して天頂補正を行う（Ｓ２５）。なお、制御部１１は、上述した処理によって撮影画像中の４鉛直線（具体的には、４鉛直線の両端点の座標値）を取得した場合、４鉛直線の入力完了を、登録用端末２０の入力部２４又はサーバ１０の入力部１４を介して受け付けた後に、ステップＳ２５の処理に移行してもよい。図１１は天頂補正の処理手順の一例を示すフローチャート、図１２及び図１３は天頂補正に含まれる回転軸の特定処理手順の一例を示すフローチャート、図１４は天頂補正に含まれる回転量の特定処理手順の一例を示すフローチャート、図１５は天頂補正を説明するための模式図である。

ここで天頂補正処理について説明する。図１５Ａは天頂補正前の撮影画像の例を示し、図１５Ｂは天頂補正後の撮影画像の例を示す。カメラ３０の上下方向（板状部３８の長辺方向）が実空間上の鉛直方向に対して傾斜している場合、カメラ３０の第１光軸及び第２光軸は、実空間上の水平方向に対して傾斜を有する。このような状態で撮影した場合、カメラ３０の前後左右方向を含む平面（以下では撮影時平面という）が、実空間上の水平面に対して傾斜を有するので、実空間上の水平面上にある被写体が、撮影画像中の上下方向の中央部に写らず、歪みが生じたパノラマ画像が得られる。そこで、図１５Ａに示すように歪みが生じたパノラマ画像を、図１５Ｂに示すように実空間上の水平面上にある被写体が、撮影画像中の上下方向の中央部に写るパノラマ画像に補正する天頂補正を行う。なお、図１５Ｂから分かるように、天頂補正後のパノラマ画像では、４鉛直線Ｌ０～Ｌ３は画像の上下方向に配置される。

天頂補正処理において、制御部１１はまず、ステップＳ２４で取得した４鉛直線の両端点である８頂点の座標を取得する（Ｓ３１）。具体的には制御部１１は、記憶部１２に記憶した８頂点の座標値を読み出す。そして制御部１１は、読み出した８頂点の座標値に基づいて、４鉛直線のそれぞれを表すパラメータを算出する（Ｓ３２）。ここでは、それぞれの鉛直線を画像の原点（例えば左下端）からの距離ρ及び傾きθで表すパラメータを算出する。よって、制御部１１は、４鉛直線のそれぞれについて、各鉛直線を表すパラメータ（θ，ρ）を算出する。なお、傾きθは例えば０～πラジアンの範囲の値とし、距離ρは０～Ｌ（Ｌは画像の対角線の長さ）の範囲の値とする。

次に制御部１１は、４鉛直線に基づいて、図１５Ａに示すようなパノラマ画像を、図１５Ｂに示すようなパノラマ画像に補正するための補正量を特定する。ここでは、撮影画像中の４鉛直線のそれぞれが、図１５Ｂに示すように、補正後の撮影画像（パノラマ画像）において上下方向に配置されるために行うべき天頂補正における補正量を特定する。具体的には、制御部１１は、撮影時におけるカメラ３０の前後左右方向を含む撮影時平面が、実空間上の水平面に対して傾斜する中心軸（回転軸）及び回転角度（回転量）をそれぞれ特定する。即ち、制御部１１は、実空間上の水平面を基準として撮影時平面が回転する中心軸及び回転角度を天頂補正における補正量として特定する。

図１０Ｂから分かるように、４鉛直線のそれぞれの傾きは、パノラマ画像の左右方向の画像幅を１周期とする増減関数で表現でき、画像の上下方向の中央を通る中央ライン上で傾きが最大となる位置が回転の中心（回転軸）であり、その傾きが回転量（回転角度）とすることができる。そこで、４鉛直線のそれぞれの傾きを正弦波で近似することを考える。ここでの正弦波の周期はパノラマ画像の画像幅に一致するため、正弦波は位相φ及び振幅Ａの２つのパラメータで特定できる。また、４鉛直線のそれぞれの傾きは、各鉛直線を表すパラメータθ（０≦θ≦π）としてステップＳ３２で算出されている。よって、推定する正弦波は、ｙ＝Ａ・sin（ｘ＋φ）と表現でき、各鉛直線に基づいて、位相φ及び振幅Ａの各組合せに対して投票法を用いて最小二乗法で正弦波を推定する（１回目の推定処理）。なお、θ＝０及びθ＝πは共に鉛直方向を示すので、後の演算のためにθ＞π／２の場合は、θ:＝θ－πとし、－π／２≦θ≦π／２の範囲とする。

補正量の特定において、制御部１１はまず、撮影時平面が実空間上の水平面に対して傾斜する中心軸（回転軸）の位置を特定する（Ｓ３３）。具体的には、制御部１１は、４鉛直線に基づいて、補正後のパノラマ画像において４鉛直線のそれぞれが画像の上下方向に配置されるために、実空間上の水平面に一致するように撮影時平面を回転すべき回転軸の位置を特定する。図１２及び図１３に示す回転軸の特定処理において、制御部１１はまず、４鉛直線の傾きを近似する正弦波を表す振幅Ａ及び位相φの２つのパラメータを各軸とした２次元配列（投票空間）を設定し、配列中の各要素を全て０に初期化する（Ｓ４１）。具体的には、制御部１１は、投票空間である２次元配列を例えば記憶部１２に定義し、配列の各軸に振幅Ａ及び位相φを割り当て、振幅Ａ及び位相φで表される配列（Ａ，φ）中の各要素を全て０に初期化する。なお、配列の分割数Ｓは例えば、振幅Ａについては０～π／２の範囲を１０００等分し、位相φについてはパノラマ画像の画像幅０～Ｗ（Ｗは画像の左右方向の長さ）の範囲をＷ等分（１画素単位）する。配列（Ａ，φ）の各要素には、ｙ＝Ａ・sin（ｘ＋φ）に対する、各鉛直線の傾きθの誤差（差異）の二乗が累積されて記憶される。

次に制御部１１は、推定する正弦波における振幅Ａの候補値を０に設定し（Ｓ４２）、位相φの候補値を０に設定する（Ｓ４３）。制御部１１は、ステップＳ３２でパラメータを算出した４鉛直線のうちの１つを取得し（Ｓ４４）、取得した鉛直線について、設定した振幅Ａ及び位相φによって表される正弦波に基づく値と、ステップＳ３２で算出された傾きθ（パラメータ）との誤差を算出する（Ｓ４５）。鉛直線の横位置ｘ_C （画像座標系のＸ座標値）を、各鉛直線がパノラマ画像の中央ラインと交差する位置のＸ座標値とし、各鉛直線の横位置ｘ_C は既知であるから、０～２πに正規化するために、ｘ＝２π×ｘ_C ／Ｗとする。また投票空間においてφ方向（φ軸）のｉ番目の位相は２π×ｉ／Ｓ（ただし、Ｓは分割数であり、ここではＷ）で表される。これらより、配列（Ａ，φ）の要素に対応する鉛直線の横位置ｘ_C における正弦波の値は、ｙ＝Ａ・sin（２π×ｘ_C ／Ｗ－２π×ｉ／Ｓ）となる。従って、制御部１１は、このように算出した正弦波の値ｙと、既にこの鉛直線について算出した傾きθとの差異（誤差）を算出する。

制御部１１は、算出した差異（誤差）の二乗（ｙ－θ）² を算出し、算出した誤差の二乗を配列（Ａ，φ）の要素に加算する（Ｓ４６）。制御部１１は、ステップＳ３２でパラメータを算出した全ての鉛直線に対してステップＳ４５～Ｓ４６の処理を終了したか否かを判断する（Ｓ４７）。終了していないと判断した場合（Ｓ４７：ＮＯ）、制御部１１はステップＳ４４の処理に戻り、未処理の鉛直線を１つ取得し（Ｓ４４）、取得した鉛直線についてステップＳ４５～Ｓ４６の処理を繰り返す。これにより、配列（Ａ，φ）の１つの要素に対して、位相φ及び振幅Ａに基づく正弦波による各鉛直線の関数値と、算出された各鉛直線の傾きとの誤差の二乗が累積される。

制御部１１は、ステップＳ３２で算出した全ての鉛直線に対してステップＳ４５～Ｓ４６の処理を終了したと判断した場合（Ｓ４７：ＹＥＳ）、この時点の位相φにＷ／Ｓ（Ｗは画像の左右方向の幅、Ｓは配列の分割数）を加算し（Ｓ４８）、加算後の位相φがＷ（画像幅）以上であるか否かを判断する（Ｓ４９）。加算後の位相φがＷ未満であると判断した場合（Ｓ４９：ＮＯ）、制御部１１はステップＳ４４の処理に戻る。そして制御部１１は、この時点の位相φ及び振幅Ａに基づいて、ステップＳ３２でパラメータを算出した全ての鉛直線に対してステップＳ４４～Ｓ４７の処理を繰り返す。

加算後の位相φがＷ以上であると判断した場合（Ｓ４９：ＹＥＳ）、制御部１１は、この時点の振幅Ａにπ／２Ｓ（Ｓは配列の分割数）を加算し（Ｓ５０）、加算後の振幅Ａがπ／２以上であるか否かを判断し（Ｓ５１）、加算後の振幅Ａがπ／２未満であると判断した場合（Ｓ５１：ＮＯ）、ステップＳ４３の処理に戻る。そして制御部１１は、この時点の振幅Ａに基づいて、ステップＳ４３～Ｓ４９の処理を繰り返す。このように制御部１１は、位相φの候補値をＷ／Ｓずつ増加させ、振幅Ａの候補値をπ／２Ｓずつ増加させつつ、ステップＳ４４～Ｓ４７の処理を行うことにより、配列（Ａ，φ）の各要素に対して、位相φの候補値及び振幅Ａの候補値に基づく正弦波による各鉛直線の関数値と、算出された各鉛直線の傾きとの誤差の二乗を累積する。

ステップＳ５０で加算後の振幅Ａがπ／２以上であると判断した場合（Ｓ５１：ＹＥＳ）、即ち、配列（Ａ，φ）の全ての要素に対して全ての鉛直線についての誤差の二乗の累積が完了した場合、制御部１１は、配列（Ａ，φ）の要素の中から最小値を特定し、最小値の要素に対応する振幅Ａ及び位相φを、４鉛直線の傾きを近似した正弦波を表す仮パラメータ（Ａ_t ，φ_t ）に特定する（Ｓ５２）。なお、ここで特定した仮パラメータ（Ａ_t ，φ_t ）が１回目の推定結果である。制御部１１は、１回目の推定結果を用いて、ロバスト推定と呼ばれる手法によって正弦波を表すパラメータを精査する（２回目の推定処理）。ロバスト推定では、各鉛直線が正弦波の推定に与える影響を、仮パラメータの推定結果（Ａ_t ，φ_t ）との差異に基づいた重みを用いて表現する。例えば、仮パラメータ（Ａ_t ，φ_t ）において各鉛直線の横位置ｘ_C における正弦波の関数値ｙ＝Ａ_t ・sin（２π×ｘ_C ／Ｗ－φ_t ）と、ステップＳ３２で算出した各鉛直線の傾きθ（パラメータ）との差異ｄ＝ｙ－θに対する重みωを、所定の許容値Ωを用いて以下の（３）式のように設定する。なお、許容値Ωは例えば、全鉛直線における差異ｄの中央値の１．２５倍とすることができる。そして制御部１１は、以下の（３）式を用いて特定した重みωを用いて、２回目の正弦波の推定処理を行う。

よって、制御部１１は、１回目の推定処理と同様に、ステップＳ４１～Ｓ４４と同様の処理を行い（Ｓ５３～Ｓ５６）、取得した鉛直線について、仮パラメータが示す正弦波に基づく関数値と、ステップＳ３２で算出された傾きθとの差異に応じた重みを特定する（Ｓ５７）。また制御部１１は、ステップＳ４５と同様の処理を行い（Ｓ５８）、算出した誤差の二乗に、ステップＳ５７で特定した重みを乗じた値を算出し、配列（Ａ，φ）の対応する要素に加算する（Ｓ５９）。よって、２回目の推定処理では配列（Ａ，φ）の各要素に対して、各鉛直線について、正弦波の関数ｙ＝Ａ・sin（ｘ＋φ）と各鉛直線について算出された傾きθとの誤差（差異）の二乗を累積するが、このとき、上記（３）式で表される重みωを掛けた後に加算する。これにより、１回目の推定結果である仮パラメータ（Ａ_t ，φ_t ）で表される正弦波から許容値Ωよりも離れている鉛直線が正弦波の推定に与える影響を小さくすることができ、より精度の高い正弦波の推定が可能となる。

制御部１１は、ステップＳ３２でパラメータを算出した全ての鉛直線に対してステップＳ５７～Ｓ５９の処理を終了したか否かを判断する（Ｓ６０）。終了していないと判断した場合（Ｓ６０：ＮＯ）、制御部１１はステップＳ５６の処理に戻り、未処理の鉛直線を１つ取得し（Ｓ５６）、取得した鉛直線についてステップＳ５７～Ｓ５９の処理を繰り返す。制御部１１は、ステップＳ３２でパラメータを算出した全ての鉛直線に対してステップＳ５７～Ｓ５９の処理を終了したと判断した場合（Ｓ６０：ＹＥＳ）、ステップＳ４８～Ｓ５１と同様の処理を行い（Ｓ６１～Ｓ６４）、位相φの候補値をＷ／Ｓずつ増加させ、振幅Ａの候補値をπ／２Ｓずつ増加させつつ、ステップＳ５６～Ｓ６０の処理を行う。これにより、配列（Ａ，φ）の各要素に対して、位相φの候補値及び振幅Ａの候補値に基づく正弦波による各鉛直線の関数値と、算出された各鉛直線の傾きとの誤差の二乗に、この鉛直線に設定された重みを乗じた値を累積できる。ステップＳ６３で加算後の振幅Ａがπ／２以上であると判断した場合（Ｓ６４：ＹＥＳ）、即ち、配列（Ａ，φ）の全ての要素に対して、全ての鉛直線についての誤差の二乗に重みωを乗じた値の累積が完了した場合、制御部１１は、配列（Ａ，φ）の要素の中から最小値を特定し、最小値の要素に対応する振幅Ａ及び位相φを、各鉛直線の傾きを近似した正弦波を表すパラメータ（Ａ，φ）に特定する（Ｓ６５）。

図１５Ａは、上述の処理によって推定された正弦波の例を示しており、図１５Ａ中の破線は１回目の推定処理によって推定された正弦波を示し、実線は２回目の推定処理によって推定された正弦波を示し、一点破線は画像の中央ラインを示す。上述した処理により、４鉛直線の傾きθを近似した正弦波を推定することができる。なお、２回目の推定処理において、１回目の推定結果である仮パラメータで表される正弦波から離れている鉛直線が正弦波の推定に与える影響を小さくすることにより、信頼性の高い推定結果が得られる。なお、回転軸の特定処理において、制御部１１は、ロバスト推定（２回目の推定処理）を行わずに、１回目の推定処理によって得られた正弦波を、４鉛直線の傾きθを近似した正弦波としてもよい。この場合、１回目の推定処理で得られたパラメータである位相φを、天頂補正に用いる補正量（回転軸の位置）としてもよい。

ここで、上述のように算出（推定）した正弦波の位相φは、画像の中央ラインにおいて、正弦波の関数値ｙが０となる位置（鉛直線の傾きが０である位置）を示しているので、回転軸は、位相φの位置から中央ライン上でπ／２ずれた位置となる。これは、鉛直線の傾きが最大となる中央ライン上の位置が回転軸となるためである。よって、制御部１１は、上述のように算出（推定）した正弦波の位相φにπ／２を加算する（φ:＝φ＋π／２）ことにより、回転軸の位置（位相φ）を特定する。なお、ここまでパノラマ画像の左端をφ＝０とし、右端をφ＝２πとして扱ってきたが、ステップＳ３５で行う天頂補正で扱う極座標系ではパノラマ画像の左端がφ＝２πとなり、右端がφ＝０となる。よって、制御部１１は、特定した位相（φ:＝φ＋π／２）を２πから減算して位相φ（φ:＝３π／２－φ）を算出し、算出した位相φを、ステップＳ３５で行う天頂補正に用いる補正量（回転軸の位置を示す位相φ）に特定する（Ｓ６６）。制御部１１は、回転軸の特定処理を終了し、図１１の処理に戻る。

次に制御部１１は、ステップＳ３３で特定した回転軸の位置（位相φ）に基づいて、ステップＳ３５で行う天頂補正に用いる回転量（回転角度）αを特定する（Ｓ３４）。具体的には、制御部１１は、補正後のパノラマ画像において各鉛直線が上下方向に配置されるために、特定した回転軸を中心に撮影時平面を回転すべき回転量を特定する。なお、回転量αの推定においても、投票法を用いて最小二乗法を利用する。即ち、制御部１１は、ステップＳ３３で特定した正弦波を基準とした各鉛直線の誤差を算出し、算出した誤差に応じて、上記（３）式に従って各鉛直線に対する重みωを設定する。具体的には、ステップＳ３３で特定した正弦波のパラメータ（Ａ，φ）において各鉛直線の横位置ｘ_C における正弦波の関数値ｙ＝Ａ・sin（２π×ｘ_C ／Ｗ－φ）と、ステップＳ３２で算出された鉛直線の傾きθとの差異ｄ＝ｙ－θに応じて、各鉛直線に対する重みωを設定する。回転量αを推定（特定）する際の最小二乗法による投票処理は、１次元配列を用いること以外は、正弦波を推定する際に用いた投票処理と同様である。

図１４に示す回転量の特定処理において、制御部１１は、回転量αをパラメータとした１次元配列を設定し、配列α中の各要素を全て０に初期化する（Ｓ７１）。具体的には、制御部１１は、投票空間として１次元配列を例えば記憶部１２に定義し、配列α中の各要素を全て０に初期化する。なお、配列の要素数Ｓを例えば１０００とし、±３０°（±π／６ラジアン）の範囲の回転量を１０００等分する。配列に用いる±３０°の範囲は、カメラ３０を用いた撮影時に生じる傾きがせいぜい３０°以内であるとの前提に基づいて設定しており、この範囲に限定されず、例えば±４５°の範囲を用いてもよい。投票空間における配列αにおいて、ｉ番目の回転量αは、α＝（ｉ／１０００）×（π／３）－（π／６）で表される。配列の各要素には、ステップＳ３３で特定した位相φを中心軸としてそれぞれの回転量αを回転させたときの各鉛直線の回転後（天頂補正後）のパノラマ画像における傾きの二乗に、先に設定しておいた各鉛直線に対する重みωを乗じた値が累積されて記憶される。特定した位相φが示す軸を中心軸として適切な回転量だけ回転させた場合、各鉛直線は天頂補正後のパノラマ画像上で上下方向に配置されるはずであるから、配列の要素の中の最小値に対応する回転量αが、ステップＳ３５で行われる天頂補正に用いる回転量とすることができる。

制御部１１は、回転量αの候補値を－π／６に設定する（Ｓ７２）。制御部１１は、ステップＳ３２でパラメータを算出した鉛直線のうちの１つを取得し（Ｓ７３）、取得した鉛直線について、回転軸の特定処理によって特定したパラメータ（振幅Ａ及び位相φ）が示す正弦波に基づく関数値と、ステップＳ３２で算出された傾きとの差異に応じた重みを特定する（Ｓ７４）。

制御部１１は、取得した鉛直線に対して、ステップＳ３３で特定した回転軸φ及びステップＳ７２で設定した回転量αに基づく天頂補正（回転）を行い（Ｓ７５）、補正後の鉛直線における傾きを算出する（Ｓ７６）。具体的には、制御部１１は、処理対象の鉛直線の両端点に対応する画素Ｐ１，Ｐ２を特定し、位相φを回転軸として回転量αだけ回転した回転後（天頂補正後）のパノラマ画像において、端点Ｐ１，Ｐ２が移動した写像先の画素Ｐ１´，Ｐ２´の位置を算出する。なお、位相φ及び回転量αに基づく天頂補正（回転）をパノラマ画像に行う場合、パノラマ画像中の端点Ｐ１，Ｐ２の座標値を画像座標系から、撮影位置を原点としたワールド直交座標系に変換し、ワールド直交座標系において天頂補正を行う。画像座標系からワールド直交座標系に変換する場合、一旦極座標系に変換した後にワールド直交座標系に変換する。

よって、制御部１１は、パノラマ画像中の端点Ｐ１，Ｐ２のそれぞれの画像座標系の座標（ｘ_I ，ｙ_I ）を以下の（４）式によって極座標系の座標（ｒ，θ，φ）に変換する。極座標系における座標値は、画像座標系における座標値と１対１で対応しているので、以下の（４）式により変換可能であり、極座標系における半径ｒは便宜上１とする。そして制御部１１は、端点Ｐ１，Ｐ２のそれぞれの極座標系の座標（ｒ，θ，φ）を以下の（５）式によってワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）に変換する。

図１６は極座標系及びワールド直交座標系の関係を示す模式図である。ワールド直交座標系には、実空間上の鉛直上方向をＹ_W 軸の正側、実空間上の水平面をＸ_W 軸及びＺ_W 軸で表す３次元の右手系の直交座標系を用いる。図１６に示すように極座標系は、実空間上の鉛直上方向（Ｙ_W 軸の正側）を基準とした天頂角θと、鉛直上方向から見てＺ_W 軸の正側を基準として水平面であるＸ_W Ｚ_W 平面内の反時計回りの方位角φと、原点０からの距離ｒとによって表される。よって、３次元空間中の任意の位置Ｐは、ワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）と極座標系の座標（ｒ，θ，φ）とで表すことができる。なお、ワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）は、以下の（６）式によって極座標系の座標（ｒ，θ，φ）に変換可能である。

そして制御部１１は、変換したワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）に基づいて、パノラマ画像（端点Ｐ１，Ｐ２）に天頂補正（回転）処理を行う。なお、制御部１１は、位相φ及び回転量αに基づく天頂補正を行う場合、まずワールド直交座標系のＹ_W 軸を中心に時計回りにφだけ回転させて、位相φに基づく回転軸を一旦ワールド直交座標系のＺ_W 軸に一致させ、その後、ワールド直交座標系のＺ_W 軸を中心に回転量αだけ回転させる。そして制御部１１は、最初のＹ_W 軸を中心とした回転を戻すために、ワールド直交座標系のＹ_W 軸を中心に反時計回りにφだけ回転させ、回転後のパノラマ画像中の端点（画素）Ｐ１´，Ｐ２´の座標値を再び、座標変換により極座標系を経由して画像座標系の座標値に戻す。これにより、位相φ及び回転量αに基づく天頂補正によって、補正前のパノラマ画像中の端点Ｐ１，Ｐ２が移動する補正後のパノラマ画像中の画素Ｐ１´，Ｐ２´の位置が算出される。なお、ワールド直交座標系のＹ_W 軸を中心とした角度θの回転、及びＺ_W 軸を中心とした角度θの回転は、３×３の行列を用いて、以下の（７）式のように表される。よって、回転前のワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）から、以下の（８）式により回転後の座標（ｘ_W ´，ｙ_W ´，ｚ_W ´）が得られる。また、ワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）は、上記の（６）式によって極座標系の座標（ｒ，θ，φ）に変換され、極座標系の座標（ｒ，θ，φ）は、以下の（９）式により画像座標系の座標（ｘ_I ，ｙ_I ）に変換される。これにより、回転軸φ及び回転量αに基づく天頂補正（回転）によって、補正前のパノラマ画像中の端点Ｐ１，Ｐ２が移動する補正後のパノラマ画像中の位置Ｐ１´，Ｐ２´が算出される。

制御部１１は、上述したように算出した天頂補正後のパノラマ画像中の画素Ｐ１´，Ｐ２´の座標値に基づいて、線分Ｐ１´Ｐ２´の傾きを算出する。そして制御部１１は、算出した線分Ｐ１´Ｐ２´の傾きの二乗に、ステップＳ７４で特定した重みを乗じた値を、配列αの対応する要素に加算する（Ｓ７７）。制御部１１は、ステップＳ３２でパラメータを算出した全ての鉛直線に対してステップＳ７４～Ｓ７７の処理を終了したか否かを判断する（Ｓ７８）。終了していないと判断した場合（Ｓ７８：ＮＯ）、制御部１１はステップＳ７３の処理に戻り、未処理の鉛直線を１つ取得し（Ｓ７３）、取得した鉛直線についてステップＳ７４～Ｓ７７の処理を繰り返す。これにより、配列αの１つの要素に対して、ステップＳ３３で特定した回転軸φ及びここでの回転量αに基づく天頂補正を行った後の各鉛直線の傾きの二乗に、各鉛直線に設定された重みを乗じた値が累積される。ステップＳ３２でパラメータを算出した全ての鉛直線に対してステップＳ７４～Ｓ７７の処理を終了したと判断した場合（Ｓ７８：ＹＥＳ）、制御部１１は、この時点の回転量αにπ／３Ｓ（Ｓは配列の分割数）を加算し（Ｓ７９）、加算後の回転量αがπ／６以上であるか否かを判断する（Ｓ８０）。

回転量αがπ／６未満であると判断した場合（Ｓ８０：ＮＯ）、制御部１１は、ステップＳ７３の処理に戻る。そして制御部１１は、この時点の回転量αに基づいて、ステップＳ３２でパラメータを算出した全ての鉛直線に対してステップＳ７３～Ｓ７８の処理を繰り返す。制御部１１は、回転量αの候補値をπ／３Ｓずつ増加させつつ、ステップＳ７３～Ｓ７８の処理を行うことにより、配列αの各要素に対して、ステップＳ３３で特定した回転軸φ及び回転量αの各候補値に基づく天頂補正を行った後のそれぞれの鉛直線の傾きの二乗に、それぞれの鉛直線に設定された重みを乗じた値を累積できる。ステップＳ７９で加算後の回転量αがπ／６以上であると判断した場合（Ｓ８０：ＹＥＳ）、即ち、配列αの各要素に対して全ての鉛直線について補正後の傾きの二乗に重みωを乗じた値の累積を完了した場合、制御部１１は、配列αの要素の中から最小値を特定し、最小値の要素に対応する回転量αを、ステップＳ３５で行う天頂補正に用いる補正量（回転量α）に特定する（Ｓ８１）。制御部１１は、回転量の特定処理を終了し、図１１の処理に戻る。

制御部１１は、ステップＳ３３で特定した回転軸の位置（位相φ）と、ステップＳ３４で特定した回転量αとに基づく天頂補正を、ステップＳ２１で読み出したパノラマ画像に対して行う（Ｓ３５）。ここでは、制御部１１は、図１４中のステップＳ７５の天頂補正と同様の処理をパノラマ画像に対して行う。具体的には、制御部１１は、補正前のパノラマ画像中の各画素の画像座標系における座標（ｘ_I ，ｙ_I ）を上記の（４）式によって極座標系の座標（ｒ，θ，φ）に変換し、更に上記の（５）式によってワールド直交座標系の座標（ｘ_W ，ｙ_W ，ｚ_W ）に変換する。そして制御部１１は、各画素のワールド直交座標系における座標（ｘ_W ，ｙ_W ，ｚ_W ）を、ワールド直交座標系のＹ_W 軸を中心に時計回りにφ回転させて、位相φに基づく回転軸をＺ_W 軸に一致させた後、各画素を、ワールド直交座標系のＺ_W 軸を中心に回転角度α回転させ、回転量αに基づく天頂補正（回転）を行う。その後、制御部１１は、最初のＹ_W 軸を中心とした回転を戻すために、天頂補正後の各画素を、ワールド直交座標系のＹ_W 軸を中心に反時計回りにφ回転させ、更に天頂補正後の各画素の座標値を、座標変換により極座標系を経由して画像座標系の座標値に戻す。これにより、位相φ及び回転量αに基づく天頂補正によって補正前のパノラマ画像中の各画素が移動する補正後のパノラマ画像中の画素位置が算出される。

そして制御部１１は、補正前のパノラマ画像中の各画素の輝度を、それぞれ算出した補正後のパノラマ画像における各位置にコピーし、補正後のパノラマ画像を生成する。なお、パノラマ画像はデジタル画像であるため、上述のように算出した補正後の座標値によっては、補正後のパノラマ画像中の画素の位置を特定できない可能性がある。従って、例えばバイリニア法等の補間演算を行うことによって、補正後のパノラマ画像中の各画素の輝度を、演算によって算出された周囲の画素の輝度に基づいて算出してもよい。また、補正後のパノラマ画像中の各画素の位置から、対応する補正前のパノラマ画像中の各画素の位置を算出し、補正前後での各画素の位置（座標値）を対応付けてもよい。この場合、算出した補正前の画素位置の輝度を、補正後の画素位置にコピーすることにより、補正後のパノラマ画像が得られる。

制御部１１は、ステップＳ３５と同様の天頂補正を、ステップＳ２４で取得した４鉛直線に対して行い（Ｓ３６）、補正前のパノラマ画像中の各鉛直線の両端点が、天頂補正によって移動する天頂補正後のパノラマ画像中の画素位置を算出する。その後、制御部１１は天頂補正処理を終了し、図９の処理に戻る。上述した天頂補正により、図１５Ａに示すように歪んだパノラマ画像が、図１５Ｂに示すようなパノラマ画像に補正される。また、図１０Ｂに示すように設定された４つの鉛直線Ｌ０～Ｌ３は、図１５Ｂに示すパノラマ画像ではそれぞれ上下方向に伸びる状態となる。

撮影画像及び４鉛直線に対して天頂補正を行った場合、制御部１１（推定部）は、天頂補正後の撮影画像に基づいて、天頂補正後の４鉛直線を高さとする直方体の形状を推定する（Ｓ２６）。図１７は直方体の推定処理手順の一例を示すフローチャート、図１８～図２０は直方体の推定処理を説明するための模式図である。図１７に示す直方体の推定処理において、制御部１１は、ステップＳ２５の天頂補正処理によって得られた天頂補正後の撮影画像と、天頂補正後の４鉛直線とを取得する（Ｓ９１）。具体的には、制御部１１は、天頂補正後の撮影画像と、天頂補正後の各鉛直線における両端点の撮影画像中の位置（画像座標系の座標値）とを取得する。なお、これらの情報は、天頂補正を行った後に記憶部１２に記憶されている。

図１８Ａは天頂補正後の撮影画像及び４鉛直線Ｌ０～Ｌ３を示している。天頂補正後の撮影画像において４鉛直線Ｌ０～Ｌ３は画像の上下方向に配置されており、各鉛直線Ｌ０～Ｌ３の方位角φは既知である。例えば図１８Ａに示すように、画像の右端（カメラ３０の背面方向）を基準として鉛直線Ｌ３の方位角はφ₃ 、鉛直線Ｌ２の方位角はφ₂ …と既知である。よって、制御部１１（平面推定部）は、４鉛直線Ｌ０～Ｌ３の方位角φ₀ ～φ₃ から直方体の平面（縦方向及び横方向）を推定する（Ｓ９２）。直方体の平面は、図１８Ｂに示すように、撮影位置（撮影中心Ｃ）を原点としたワールド直交座標系において実空間上の鉛直方向を示すＹ_W 軸の正側から撮影空間を見たＸ_W Ｚ_W 平面で表すことができる。Ｙ_W 軸の正側から４鉛直線を見た場合、それぞれの鉛直線は点と見なすことができ、図１８Ｂに示すように鉛直線Ｌ０～Ｌ３のそれぞれを頂点Ｐ₀ ～Ｐ₃ で表すことができる。よって、制御部１１は、各頂点Ｐ₀ ～Ｐ₃ のＸ_W Ｚ_W 平面上の座標値（ワールド直交座標系の座標値）を算出することによって、直方体の平面（Ｘ_W Ｚ_W 平面での断面）を推定する。なお、画像の右端はワールド直交座標系におけるＺ_W 軸方向であるので、各鉛直線Ｌ０～Ｌ３に対応する頂点Ｐ₀ ～Ｐ₃ は、Ｚ_W 軸の正方向を基準として反時計回りにそれぞれの方位角φの位置で表される。各鉛直線Ｌ０～Ｌ３は厳密には画像の上下方向に配置されていない場合があるので、例えば各鉛直線Ｌ０～Ｌ３の両端点のＸ座標値（画像座標系のＸ座標値）の平均値から、各鉛直線Ｌ０～Ｌ３の方位角φ₀ ～φ₃ を特定（算出）してもよい。

具体的には、制御部１１は、天頂補正後の各鉛直線について、鉛直線の両端点のＸ座標値（画像座標系のＸ座標値ｘ_I ）の平均値を算出し、算出したＸ座標値の平均値を上記の（４）式によって極座標系の座標値φに変換する。よって、制御部１１は、鉛直線Ｌ０～Ｌ３のそれぞれについて極座標系の座標値φ₀ ～φ₃ を算出する。これにより、Ｘ_W Ｚ_W 平面において、各鉛直線Ｌ０～Ｌ３に対応する頂点Ｐ₀ ～Ｐ₃ についてＺ_W 軸の正方向を基準とした方位角φ₀ ～φ₃ が特定された。しかし、各頂点Ｐ₀ ～Ｐ₃ について撮影位置（原点Ｃ）からの距離Ｄ₀ ～Ｄ₃ （図１９Ａ参照）は未知であり、各距離Ｄ₀ ～Ｄ₃ が求まれば各頂点Ｐ₀ ～Ｐ₃ のＸ_W 座標値及びＺ_W 座標値を特定できる。よって、制御部１１は、各距離Ｄ₀ ～Ｄ₃ を算出する。

ここで、頂点Ｐ₀ ～Ｐ₃ を結んだ閉領域は、直方体の平面での断面であるので、図１９Ａに示すような矩形となる。よって、矩形Ｐ₀ ，Ｐ₁ ，Ｐ₂ ，Ｐ₃ において、頂点Ｐ₀ ，Ｐ₁ を結んだ線分Ｌ₀₁と頂点Ｐ₂ ，Ｐ₃ を結んだ線分Ｌ₂₃とは長さが同じであり、頂点Ｐ₁ ，Ｐ₂ を結んだ線分Ｌ₁₂と頂点Ｐ₃ ，Ｐ₀ を結んだ線分Ｌ₃₀とは長さが同じであり、線分Ｌ₀₁と線分Ｌ₁₂とは直交し、線分Ｌ₁₂と線分Ｌ₂₃とは直交するという条件が成立する。また、ある頂点を頂点Ｐ_k とし、頂点Ｐ_k のＸ_W Ｚ_W 平面上の座標値を座標値（ｘ_k ，ｚ_k ）とし、原点Ｃから頂点Ｐ_k までの距離を距離Ｄ_k とすると、ｘ_k ＝Ｄ_k ・sinφ_k ，ｚ_k ＝Ｄ_k ・cosφ_k で表される。なお、以降では、sinφ_k をＳ_k と記載し、cosφ_k をＣ_k と記載する。また、矩形Ｐ₀ ，Ｐ₁ ，Ｐ₂ ，Ｐ₃ では、対向する辺のベクトルが一致するので、例えばベクトルＰ₁ Ｐ₀ とベクトルＰ₂ Ｐ₃ とが一致することによって、以下の（１０）式及び（１１）式が成立する。更に、線分Ｌ₃₀（ベクトルＰ₀ Ｐ₃ ）と線分Ｌ₀₁（ベクトルＰ₀ Ｐ₁ ）とが直交するので両者の内積が０になることによって、以下の（１２）式が成立する。なお、（１２）式をｘ₀ 及びｚ₀ について整理すると、以下の（１３）式が得られる。

推定する直方体は、撮影空間の部屋の相似形であり、矩形Ｐ₀ ，Ｐ₁ ，Ｐ₂ ，Ｐ₃ の大きさは相対値であるので、例えば距離Ｄ₀ を１とすると、頂点Ｐ₀ のＸ_W Ｚ_W 平面上の座標値（ｘ₀ ，ｚ₀ ）は（Ｓ₀ ，Ｃ₀ ）で表され、頂点Ｐ₁ の座標値（ｘ₁ ，ｚ₁ ）は（Ｄ₁ Ｓ₁ ，Ｄ₁ Ｃ₁ ）で表され、頂点Ｐ₂ の座標値（ｘ₂ ，ｚ₂ ）は（Ｄ₂ Ｓ₂ ，Ｄ₂ Ｃ₂ ）で表され、頂点Ｐ₃ の座標値（ｘ₃ ，ｚ₃ ）は（Ｄ₃ Ｓ₃ ，Ｄ₃ Ｃ₃ ）で表される。よって、上記の（１０），（１１），（１３）式の３式から３つの未知数Ｄ₁ ～Ｄ₃ を算出する。まず、（１０）式のｘ₀ ～ｘ₃ のそれぞれに頂点Ｐ₀ ～Ｐ₃ のＸ_W 座標値を代入すると、距離Ｄ₃ を以下の（１４）式で表せる。同様に、（１１）式のｚ₀ ～ｚ₃ のそれぞれに頂点Ｐ₀ ～Ｐ₃ のＺ_W 座標値を代入し、（１４）式で表したＤ₃ を代入すると、距離Ｄ₂ を以下の（１５）式で表せる。そして、（１４）式に（１５）式で表したＤ₂ を代入すると、距離Ｄ₃ を以下の（１６）式で表せる。

ここで、（１５）式で表したＤ₂ 及び（１６）式で表したＤ₃ において、それぞれの係数をＡ₂ ，Ｂ₂ ，Ａ₃ ，Ｂ₃ とすると、Ｄ₂ ＝Ａ₂ ＋Ｂ₂ Ｄ₁ ，Ｄ₃ ＝Ａ₃ ＋Ｂ₃ Ｄ₁ と表せる。そして改めて、（１２）式のｘ₀ ～ｘ₃ のそれぞれに頂点Ｐ₀ ～Ｐ₃ のＸ_W 座標値を代入し、ｚ₀ ～ｚ₃ のそれぞれに頂点Ｐ₀ ～Ｐ₃ のＺ_W 座標値を代入し、更にＤ₃ ＝Ａ₃ ＋Ｂ₃ Ｄ₁ を代入し、Ｄ₁ について整理すると、以下の（１７）式が得られる。この（１７）式はＤ₁ に関する２次方程式となっているので、２次方程式の解の公式よりＤ₁ を算出できる。なお、Ｄ₁ は距離なので、正の値となるＤ₁ を算出する。上述した演算によって算出したＤ₁ を、Ｄ₂ ＝Ａ₂ ＋Ｂ₂ Ｄ₁ 及びＤ₃ ＝Ａ₃ ＋Ｂ₃ Ｄ₁ にそれぞれ代入することによって、Ｄ₂ 及びＤ₃ が算出される。これにより、頂点Ｐ₀ ～Ｐ₃ のＸ_W Ｚ_W 平面上の座標値（ｘ₀ ，ｚ₀ ）～（ｘ₃ ，ｚ₃ ）が算出できる。

頂点Ｐ₀ ～Ｐ₃ のＸ_W Ｚ_W 平面上の座標値が算出できた場合、即ち、直方体のＸ_W Ｚ_W 平面の大きさが推定できた場合、制御部１１は、矩形Ｐ₀ ，Ｐ₁ ，Ｐ₂ ，Ｐ₃ の各辺がＸ_W 座標軸又はＺ_W 座標軸に平行となるように、原点Ｃを中心に頂点Ｐ₀ ～Ｐ₃ （ステップＳ９２で推定したＸ_W Ｚ_W 平面）を回転させる（Ｓ９３）。例えば制御部１１は、線分Ｌ₁₂のＸ_W 座標軸に対する傾きΨを算出し、各頂点Ｐ₀ ～Ｐ₃ を、原点Ｃを中心に時計回りにΨだけ回転させる。図１９Ｂは回転後の頂点Ｐ₀ ´～Ｐ₃ ´を示す。具体的には、例えば回転後の線分Ｐ₀ ´Ｐ₁ ´（線分Ｌ₀₁）がＺ_W 座標軸に平行である場合、頂点Ｐ₀ ´及び頂点Ｐ₁ ´のＸ_W 座標値が一致する（ｘ₀ ＝ｘ₁ ）ので、
Ｄ₀ sin（φ₀ ＋Ψ）＝Ｄ₁ sin（φ₁ ＋Ψ）
となるΨを算出する。

なお、回転の前後で距離Ｄ₀ ～Ｄ₃ は変化しないので、Ｄ₀ ＝１であり、
sin（φ₀ ＋Ψ）＝Ｄ₁ sin（φ₁ ＋Ψ）
が成立する。ここで、加法定理sin（ｘ±ｙ）＝sinｘcosｙ±cosｘsinｙにより、
sinφ₀ cosΨ＋cosφ₀ sinΨ＝Ｄ₁ （sinφ₁ cosΨ＋cosφ₁ sinΨ）
が得られ、全体をcosΨで割ることにより、
sinφ₀ ＋cosφ₀ tanΨ＝Ｄ₁ （sinφ₁ ＋cosφ₁ tanΨ）
が得られ、tanΨについて整理すると、以下の（１８）式が得られる。よって、以下の（１９）式のように回転量Ψが算出できる。

制御部１１は、上述したように算出した回転量Ψを、回転前の各頂点Ｐ₀ ～Ｐ₃ の方位角φ₀ ～φ₃ にそれぞれ加算することによって、回転後の各頂点Ｐ₀ ´～Ｐ₃ ´の方位角φ₀ ´～φ₃ ´を算出できる。頂点Ｐ_k （ｋ＝０～３）の座標値（ｘ_k ，ｚ_k ）は（Ｄ_k sinφ_k ，Ｄ_k cosφ_k ）で表されるので、制御部１１は、それぞれ算出した各頂点Ｐ₀ ´～Ｐ₃ ´の方位角φ₀ ´～φ₃ ´と上述した処理で算出した距離Ｄ₀ ～Ｄ₃ （なお、Ｄ₀ ＝１）とによって回転後の各頂点Ｐ₀ ´～Ｐ₃ ´の座標値（ｘ₀ ´，ｚ₀ ´）～（ｘ₃ ´，ｚ₃ ´）を算出する。

回転後の各頂点Ｐ₀ ´～Ｐ₃ ´の座標値（ｘ₀ ´，ｚ₀ ´）～（ｘ₃ ´，ｚ₃ ´）を算出した場合、制御部１１は、処理対象の撮影画像、具体的には天頂補正後の撮影画像を、各頂点Ｐ₀ ～Ｐ₃ の回転量Ψだけ、左方向にスクロール（移動）しておく（Ｓ９４）。具体的には、撮影画像全体を、画像の左右幅のΨ／２πだけ左方向に平行移動させ、画像の右端のΨ／２πの領域には、平行移動によって画像の左端から削除したΨ／２πの領域をそのままコピーする。これにより、回転後の直方体において、Ｚ_W 座標軸の負方向を画像の中央に一致させることができる。同様に、制御部１１は、撮影画像中の４鉛直線をそれぞれ回転量Ψだけ、左方向に移動させる（Ｓ９５）。ここでは、鉛直線Ｌ０～Ｌ３の両端点の画像座標系のＸ座標値ｘ_I からΨ／２πを減算する。

次に制御部１１（高さ推定部）は、直方体の高さ（ワールド直交座標系のＹ_W 軸方向の長さ）を推定する（Ｓ９６）。ここでは制御部１１は、鉛直線Ｌ０～Ｌ３のそれぞれの両端点のＹ_W 座標値を算出することによって、直方体の高さを推定する。鉛直線Ｌ０～Ｌ３の両端点のワールド直交座標系のＸ_W 座標値は、上述の処理によって算出されたｘ₀ ´～ｘ₃ ´であり、Ｚ_W 座標値は、上述の処理によって算出されたｚ₀ ´～ｚ₃ ´である。また、撮影画像中の鉛直線Ｌ０～Ｌ３の両端点の画像座標系の座標（ｘ_I ，ｙ_I ）はステップＳ９５で算出されている。ここで、図２０に示すように正距円筒図法で表されたパノラマ画像では、各画素（各点）の画像座標系の座標値（ｘ_I ，ｙ_I ）から、各画素（各点）の極座標系の天頂角θ及び方位角φを特定できる。従って、制御部１１は、撮影画像中の鉛直線Ｌ０～Ｌ３の両端点の画像座標系の座標（ｘ_I ，ｙ_I ）から上記の（４）式を用いて極座標系の天頂角θ及び方位角φを算出する。なお、極座標系における距離ｒは未知である。これにより、鉛直線Ｌ０～Ｌ３の各端点について、ワールド直交座標系の座標（Ｘ_W ，Ｙ_W ，Ｚ_W ）（Ｙ_W は未知）と、極座標系の座標（θ，φ，ｒ）（ｒは未知）とで表すことができる。図２０では鉛直線Ｌ２の天井側の上端点について、ワールド直交座標系の座標（Ｘ_W ，Ｙ_W ，Ｚ_W ）と極座標系の座標（θ，φ，ｒ）とで表せることを示している。

ここで、上記の（６）式の１つ目の式と、上記の（５）式の２つ目の式を変形した式である、ｒ＝ｙ_w ／cosθとからｒを消去し、ｙ_w について整理すると、以下の（２０）式が得られる。この（２０）式に、鉛直線Ｌ０～Ｌ３の各端点について、ワールド直交座標系のＸ_W 座標値及びＺ_W 座標値と、極座標系の天頂角θとを代入することによって、各端点のワールド直交座標系のＹ_W 座標値が得られる。制御部１１は、鉛直線Ｌ０～Ｌ３のそれぞれの各端点について、ワールド直交座標系のＹ_W 座標値を算出する。以上の処理により、各鉛直線Ｌ０～Ｌ３の両端点のそれぞれについてワールド直交座標系の座標（Ｘ₀ ，Ｙ₀ ，Ｚ₀ ）～（Ｘ₃ ，Ｙ₃ ，Ｚ₃ ）が得られる。即ち、撮影空間の直方体における８頂点のワールド直交座標系の座標（Ｘ_W ，Ｙ_W ，Ｚ_W ）が得られ、制御部１１は図９の処理に戻る。

次に制御部１１は、ステップＳ２６の直方体推定で算出した撮影空間の直方体の８頂点に対するワールド直交座標系の座標（Ｘ_W ，Ｙ_W ，Ｚ_W ）に基づいて、直方体を構成する矩形の６面について、各面の４頂点の座標値と各頂点の接続関係とを規定するポリゴンデータを生成する（Ｓ２７）。図２１はポリゴンデータを説明するための模式図である。図２１Ａは、ワールド直交座標系における直方体を示しており、制御部１１は、図２１Ｂに示す頂点データ及びポリゴンデータを生成する。まず制御部１１は、図２１Ａに示すように、推定した直方体の各頂点にそれぞれ頂点ＩＤ（Ｖ０～Ｖ７）を割り当て、各頂点のワールド直交座標系の座標（Ｘ_W ，Ｙ_W ，Ｚ_W ）を、頂点ＩＤに対応付けて記憶する。これにより、図２１Ｂに示すような頂点データが生成される。次に制御部１１は、直方体の各面にそれぞれポリゴンＩＤ（Ｐｏ０～Ｐｏ５）を割り当て、ポリゴンＩＤに対応付けて、各面の４頂点の頂点ＩＤ（第１頂点ＩＤ～第４頂点ＩＤ）を対応付けて記憶する。また制御部１１は、ポリゴンＩＤに対応付けて、後述するテクスチャ画像に割り当てられるテクスチャＩＤを記憶する。これにより、図２１Ｂに示すようなポリゴンデータが生成される。

次に制御部１１（生成部）は、直方体の各面（各ポリゴン）にパノラマ画像の各画素をマッピングしてテクスチャ画像（テクスチャ画像データ）を生成する（Ｓ２８）。図２２及び図２３はテクスチャ画像を説明するための模式図である。図２２Ａは、ステップＳ２５で天頂補正が行われ、ステップＳ２６の直方体推定で左右方向にスクロールされた撮影画像を示す。制御部１１は、図２２Ａに示す撮影画像（パノラマ画像）を、各ポリゴンの頂点の座標値に基づいて各ポリゴンに写像変換することにより、６面分のテクスチャ画像を生成する。なお、本実施形態では、それぞれのテクスチャ画像を正方形とするが、長方形のテクスチャ画像であってもよい。

制御部１１はまず、処理対象のポリゴンについて、頂点データ及びポリゴンデータから、４頂点のワールド直交座標系の座標値を取得する。次に制御部１１は、４頂点の座標値に基づいて、このポリゴンを縦方向及び横方向のそれぞれに均等に分割し、例えば１０２４画素×１０２４画素を特定し、各画素の座標値（ワールド直交座標系）を算出する。次に制御部１１は、各画素のワールド直交座標系の座標値（Ｘ_W ，Ｙ_W ，Ｚ_W ）をそれぞれ、上記の（６）式を用いて極座標系の座標値（θ，φ）に変換し、極座標系の座標値（θ，φ）をそれぞれ、上記の（９）式を用いて画像座標系の座標値（Ｘ_I ，Ｙ_I ）に変換し、撮影画像中の各座標値（Ｘ_I ，Ｙ_I ）の画素の画素値（輝度値）をポリゴンの各画素にコピーする。これにより、１つのポリゴンに対するテクスチャ画像が生成され、生成されたテクスチャ画像は、ポリゴンデータに記憶されたテクスチャＩＤに対応付けて記憶部１２に記憶される。例えば図２２Ｂ中に太線矩形で示す直方体の手前側の面（ポリゴン）内の各画素が、図２２Ａ中に太線矩形で示す撮影画像中の領域内の各画素に対応する場合、図２２Ａ中の太線矩形内の各画素をコピーすることによって、図２２Ｃに示すようなテクスチャ画像が生成できる。

なお、パノラマ画像はデジタル画像であるため、上述のように算出した画像座標系の座標値によっては、パノラマ画像中の画素の位置を特定できない可能性がある。この場合、例えばバイリニア法、ニアレストネイバー法等の補間演算を行うことにより、算出した座標値の周囲の画素の画素値に基づいて、ポリゴンの各画素の輝度を算出してもよい。また、撮影画像中の各画素の位置から、対応するポリゴン中の各画素の位置を算出し、撮影画像中の各画素の画素値を、算出したポリゴン中の各画素にコピーしてもよい。制御部１１は、全てのポリゴンについて上述した処理を行うことにより、直方体の６面分のテクスチャ画像を生成する。図２３は６面分のテクスチャ画像を示しており、上側に並ぶ４つのテクスチャ画像は撮影空間（直方体）の４側面に対応しており、下側の左側のテクスチャ画像は撮影空間の上面（天井面）に対応しており、下側の右側のテクスチャ画像は撮影空間の下面（床面）に対応している。

６つのテクスチャ画像を生成した後、制御部１１は、ステップＳ２７で生成した頂点データ及びポリゴンデータと、ステップＳ２８で生成した６つのテクスチャ画像とを閲覧用画像として、記憶部１２の閲覧用画像ＤＢ１２ｂに記憶する（Ｓ２９）。なお、制御部１１は、生成した６つのテクスチャ画像を表示部１５又は登録用端末２０の表示部２５に表示し、入力部１４又は２４を介してサーバ１０又は登録用端末２０のユーザからの閲覧用画像の登録指示を受け付けた後に、閲覧用画像ＤＢ１２ｂに記憶してもよい。

以上の処理により、カメラ３０で撮影された撮影画像から、閲覧用端末４０のユーザ（閲覧者）に提供するための閲覧用の画像（閲覧用画像）を生成して記憶部１２（閲覧用画像ＤＢ１２ｂ）に登録することができる。また本実施形態では、撮影画像に対して指定された４鉛直線Ｌ０～Ｌ３を、撮影空間の直方体を推定する処理だけでなく、撮影画像に行う天頂補正でも利用するので、効率の良い処理が可能である。なお、本実施形態では、サーバ１０が、閲覧用画像を記憶しており、閲覧用端末４０からの要求に応じて、閲覧用画像を閲覧用端末４０に提供する。しかし、サーバ１０とは異なる画像提供サーバを設け、画像提供サーバが、サーバ１０から閲覧用画像を取得しておき、閲覧用端末４０からの要求に応じて、閲覧用画像を閲覧用端末４０に提供するように構成することもできる。またサーバ１０は、閲覧用画像を生成した後は、閲覧用画像の生成前の撮影画像を撮影画像ＤＢ１２ａから消去してもよい。

次に、サーバ１０の閲覧用画像ＤＢ１２ｂに登録された閲覧用画像に基づいて、カメラ３０で撮影したパノラマ画像を、閲覧用端末４０で再生（表示）する際に、サーバ１０及び閲覧用端末４０が行う処理について説明する。図２４は、パノラマ画像の再生処理手順の一例を示すフローチャート、図２５は、パノラマ画像の表示画面例を示す模式図である。図２４では左側に閲覧用端末４０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。

閲覧者は、サーバ１０に登録されているいずれかのパノラマ画像を閲覧したい場合、例えば閲覧用端末４０のウェブブラウザ（図示せず）を用いてサーバ１０にアクセスし、サーバ１０が提供するウェブサイトを介して所望のパノラマ画像（閲覧用画像）の送信を要求する。なお、サーバ１０はウェブサーバとしての機能を有しており、パノラマ画像（閲覧用画像）の要求を受け付けるためのウェブサイトをネットワークＮ経由で公開している。よって、閲覧用端末４０の制御部４１は、入力部４４を介した閲覧者からの指示に従って、サーバ１０が提供するウェブサイトを介して、パノラマ画像（閲覧用画像）を要求する（Ｓ１０１）。なお、制御部４１は、ウェブブラウザによってサーバ１０にアクセスするほかに、サーバ１０が提供するウェブサイトにアクセスするためのアプリケーションプログラムを用いてもよい。

サーバ１０の制御部１１は、閲覧用端末４０からいずれかのパノラマ画像を要求された場合、要求されたパノラマ画像（撮影画像）から生成された閲覧用画像を閲覧用画像ＤＢ１２ｂから選択して読み出す（Ｓ１０２）。なお、閲覧用端末４０の制御部４１は、閲覧者が閲覧したいパノラマ画像を撮影した部屋の指定を受け付け、指定された部屋の情報（撮影位置情報）に基づいてパノラマ画像をサーバ１０に要求してもよい。この場合、サーバ１０の制御部１１は、指定された部屋の情報（撮影位置情報）に対応付けて閲覧用画像ＤＢ１２ｂに記憶してある閲覧用画像を読み出せばよい。なお、閲覧用画像は、図２１Ｂに示す頂点データ及びポリゴンデータと、図２３に示すテクスチャ画像とを含む。

制御部１１は、閲覧用画像ＤＢ１２ｂから読み出した閲覧用画像と、閲覧用画像を再生（表示）するための閲覧プログラムとを通信部１３にて閲覧用端末４０へ送信する（Ｓ１０３）。閲覧プログラムは例えばＷｅｂＧＬであり、予め記憶部１２に記憶してある。閲覧用端末４０の制御部４１（取得部）は、サーバ１０が送信した閲覧用画像及び閲覧プログラムを通信部４３にて受信（取得）し、記憶部４２に記憶する（Ｓ１０４）。制御部４１は、閲覧プログラムを実行することにより、閲覧用画像に基づいて、撮影空間内の仮想位置から見た状態の仮想画像を生成して表示部４５に表示することができる。

例えば制御部４１は、予め設定されたデフォルトの仮想位置及び視線方向（向き）を読み出す（Ｓ１０５）。デフォルトの仮想位置及び視線方向は例えば閲覧プログラムに設定されている。そして制御部４１は、閲覧プログラム（ＷｅｂＧＬ）によるレンダリング機能（テクスチャマッピング）を利用して、閲覧用画像（頂点データ、ポリゴンデータ、テクスチャ画像）に基づいて、デフォルトの仮想位置から、デフォルトの視線方向を見た状態の仮想画像を生成する（Ｓ１０６）。具体的には、制御部４１（生成部）は、テクスチャ画像の各画素を、仮想位置での各画素位置に対応付けることによって仮想画像を生成する。制御部４１は、仮想画像を生成した場合、生成した仮想画像を表示部４５に表示する（Ｓ１０７）。

図２５は仮想画像の表示例を示しており、制御部４１は、仮想画像に重畳させて、視線変更ボタン４４１及び移動ボタン４４２を表示する。視線変更ボタン４４１は、上視線ボタン、下視線ボタン、左視線ボタン及び右視線ボタンの４つのボタンを有しており、それぞれのボタンに対する操作を受け付けた場合、制御部４１は、視線方向を上向き、下向き、左向き又は右向きに変更する指示を受け付ける。移動ボタン４４２は、前ボタン及び後ボタンの２つのボタンを有しており、それぞれのボタンに対する操作を受け付けた場合、制御部４１は、仮想位置を前方向又は後方向に変更する指示を受け付ける。なお、移動ボタン４４２は左方向又は右方向への移動を指示するためのボタンを有していてもよい。閲覧者は、入力部４４を介して視線変更ボタン４４１及び移動ボタン４４２のいずれかに対する操作を行うことにより、視線方向の変更及び仮想位置の変更を指示することができる。

制御部４１（位置取得部）は、入力部４４を介して移動ボタン４４２又は視線変更ボタン４４１のいずれかに対する操作を受け付けることにより、仮想位置又は視線方向の変更指示を受け付ける。よって、制御部４１は、移動ボタン４４２又は視線変更ボタン４４１に対する操作によって、仮想位置又は視線方向の変更指示を受け付けたか否かを判断する（Ｓ１０８）。制御部４１は、仮想視点又は視線方向の変更指示を受け付けたと判断した場合（Ｓ１０８：ＹＥＳ）、受け付けた変更指示に従って、仮想位置又は視線方向を変更する（Ｓ１０９）。例えば移動ボタン４４２の前ボタン又は後ボタンが操作された場合、制御部４１は、現在の仮想位置を前方向又は後方向に所定距離だけ移動させた位置を仮想位置に設定する。また視線変更ボタン４４１の上視線ボタン、下視線ボタン、左視線ボタン又は右視線ボタンが操作された場合、制御部４１は、現在の視線方向を上方向、下方向、左方向又は右方向に所定角度だけ変更させた方向を視線方向に設定する。その後、制御部４１はステップＳ１０６の処理に戻り、ステップＳ１０６～Ｓ１０７の処理を行う。これにより、変更後の仮想位置から変更後の視線方向を見た状態の仮想画像が生成されて表示部４５に表示される。

制御部４１は、仮想視点又は視線方向の変更指示を受け付けていないと判断した場合（Ｓ１０８：ＮＯ）、入力部４４を介してパノラマ画像の閲覧処理の終了指示を受け付けたか否かを判断する（Ｓ１１０）。例えばサーバ１０（ウェブサイト）へのアクセスの終了指示を入力部４４にて受け付けた場合、制御部４１は、パノラマ画像の閲覧処理を終了する指示を受け付けたと判断する。パノラマ画像の閲覧処理の終了指示を受け付けていないと判断した場合（Ｓ１１０：ＮＯ）、制御部４１はステップＳ１０８の処理に戻る。制御部４１は、視線変更ボタン４４１又は移動ボタン４４２に対する閲覧者からの操作を入力部４４にて受け付ける都度、ステップＳ１０９、Ｓ１０６～Ｓ１０７の処理を行うことにより、仮想画像を更新して表示する。パノラマ画像の閲覧処理の終了指示を受け付けたと判断した場合（Ｓ１１０：ＹＥＳ）、制御部４１は処理を終了する。上述した処理により、カメラ３０で撮影された実写データに基づいて、撮影空間内の任意の視点から見た画像（仮想画像）を閲覧者に提供することができる。よって、閲覧者は、撮影空間の部屋の中を仮想的に移動しながら、任意の方向に視線を変えることができ、部屋の広さ、家具の配置、窓の外の景色等を感覚的に把握することができる。

本実施形態では、カメラ３０で撮影したパノラマ画像に対して、撮影空間の４隅の４鉛直線を入力することで、天頂補正を行うことができ、また、閲覧用端末４０で再生可能な閲覧用画像を生成することができる。撮影空間上の４つの鉛直線を用いて撮影空間の直方体形状を推定するので、それぞれの鉛直線の天井面側の端点と床面側の端点との取り違いが発生せず、適切なテクスチャ画像を生成することができる。よって、適切に生成されたテクスチャ画像に基づいて、任意の位置から見た状態の仮想画像を適切に生成することができる。また本実施形態では、閲覧用端末４０が、サーバ１０で生成された閲覧用画像（頂点データ及びポリゴンデータ、並びにテクスチャ画像）をダウンロードすることによって、閲覧用端末４０で再生処理が行われる。よって、サーバ１０は、登録用端末２０を介して登録されたパノラマ画像（撮影画像）から閲覧用の画像を生成し、閲覧用の画像を閲覧用端末４０に提供すればよい。

本実施形態では、閲覧用端末４０として、ＨＭＤ型の情報処理装置を使用してもよく、この場合、コンピュータ等の操作に不慣れなユーザであっても容易に様々な視点から室内を見た状態の画像を確認できる画像処理システム１００を提供できる。本実施形態によると、市販の全天球カメラ等を用いて撮影したＪＰＥＧ（Joint Photographic Experts Group）形式等の汎用の形式の画像を使用して、様々な視点から室内を見た状態の画像を提供できる画像処理システム１００を提供できる。なお、カメラ３０は、全天球カメラに限定しない。たとえば、半球型の範囲を撮影可能なカメラであっても、通常の平面画像撮影用のカメラであってもよい。

（実施形態２）
サーバ１０で生成された閲覧用画像を、サーバ１０とは別のサーバ（閲覧用画像提供サーバ）で閲覧用端末４０に提供する画像処理システム１００について説明する。本実施形態の画像処理システム１００は、実施形態１のサーバ１０が行っていた処理のうち、閲覧用画像を閲覧用端末４０に提供する処理を別のサーバが行うこと以外は、実施形態１と同様である。図２６は、実施形態２の画像処理システム１００の構成例を示す模式図である。本実施形態の画像処理システム１００は、実施形態１の画像処理システム１００と同様の装置に加えて、閲覧用画像をネットワークＮ経由で提供する閲覧用画像提供サーバ５０を備える。閲覧用画像提供サーバ５０は、サーバ１０と同様の構成を有しており、ネットワークＮ経由で他の装置との間で情報の送受信を行う。

本実施形態の画像処理システム１００では、サーバ１０は、図７に示す撮影画像の登録処理を行い、登録用端末２０を介して取得した撮影画像（パノラマ画像）を記憶部１２（撮影画像ＤＢ１２ａ）に登録する。またサーバ１０は、図９，１１－１４，１７に示す閲覧用画像の生成処理を行い、登録された撮影画像のそれぞれから閲覧用画像を生成する。ここで、本実施形態のサーバ１０は、撮影画像から生成した閲覧用画像を、撮影場所の情報（撮影位置情報）に対応付けて閲覧用画像提供サーバ５０へ送信する。具体的には、サーバ１０は、図４Ｂに示すような閲覧用画像ＤＢ１２ｂを閲覧用画像提供サーバ５０に送信し、閲覧用画像提供サーバ５０が、受信した閲覧用画像ＤＢ１２ｂを記憶部に記憶する。そして、本実施形態では、閲覧用画像提供サーバ５０が、図２４に示す閲覧用画像の提供処理を行い、閲覧用端末４０からの要求に応じて閲覧用画像を閲覧用端末４０に提供する。

本実施形態では、実施形態１のサーバ１０が行っていた処理を分散させることにより、サーバ１０による処理負担を軽減できる。また、例えば不動産物件を撮影したパノラマ画像を提供対象（閲覧対象）とする場合、地域毎に閲覧用画像提供サーバ５０を設け、それぞれの閲覧用画像提供サーバ５０が、各地域内の物件の閲覧用画像を管理するように構成してもよい。この場合、例えば不動産会社の従業員が撮影を行い、得られたパノラマ画像をサーバ１０に登録し、サーバ１０は、登録されたパノラマ画像から閲覧用画像を生成し、生成した閲覧用画像を、撮影対象の物件の地域に対応する閲覧用画像提供サーバ５０に登録する。このような構成とした場合、地域毎の閲覧用画像提供サーバ５０にて各物件の閲覧用画像を管理できる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ サーバ
１１ 制御部
１２ 記憶部
１３ 通信部
２０ 登録用端末
２１ 制御部
２２ 記憶部
２３ 通信部
３０ カメラ
４０ 閲覧用端末
４１ 制御部
４２ 記憶部
４３ 通信部
１００ 画像処理システム
１２ａ 撮影画像ＤＢ
１２ｂ 閲覧用画像ＤＢ

Claims (7)

1. 直方体として閉鎖された実空間内で撮影された全天球画像を正距円筒図法により展開したパノラマ画像を取得する画像取得部と、
   前記パノラマ画像上で、前記直方体の鉛直方向の辺に対応する４線分を取得する線分取得部と、
   取得した前記４線分を高さとする前記直方体の形状を推定する推定部と、
   推定した前記直方体を構成する各面に、前記パノラマ画像の各画素を対応付けてテクスチャ画像を生成する生成部と
   を備える画像処理装置。
2. 取得した前記４線分のそれぞれがパノラマ画像の上下方向に存在するように、前記画像取得部が取得した前記パノラマ画像を補正する補正部を備え、
   前記推定部は、補正後のパノラマ画像に基づいて前記直方体の形状を推定する
   請求項１に記載の画像処理装置。
3. 前記推定部は、
   前記線分取得部が取得した前記４線分に基づいて、前記実空間上の水平面での前記直方体の断面を推定する平面推定部と、
   前記線分取得部が取得した前記４線分、及び推定した前記直方体の断面に基づいて、前記実空間上の鉛直方向における前記直方体の高さを推定する高さ推定部と
   を有する
   請求項１又は２に記載の画像処理装置。
4. 前記線分取得部は、前記画像取得部が取得したパノラマ画像に対して前記４線分の指定を受け付ける
   請求項１から３までのいずれかひとつに記載の画像処理装置。
5. 前記線分取得部は、前記画像取得部が取得したパノラマ画像に基づいて、前記パノラマ画像中の前記４線分を特定する
   請求項１から３までのいずれかひとつに記載の画像処理装置。
6. 直方体として閉鎖された実空間内で撮影された全天球画像を正距円筒図法により展開したパノラマ画像を取得し、
   前記パノラマ画像上で、前記直方体の鉛直方向の辺に対応する４線分を取得し、
   取得した前記４線分を高さとする前記直方体の形状を推定し、
   推定した前記直方体を構成する各面に、前記パノラマ画像の各画素を対応付けてテクスチャ画像を生成する
   処理をコンピュータに実行させるプログラム。
7. 画像処理装置及び画像表示装置を含む画像処理システムにおいて、
   前記画像処理装置は、
   直方体として閉鎖された実空間内で撮影された全天球画像を正距円筒図法により展開したパノラマ画像を取得する画像取得部と、
   前記パノラマ画像上で、前記直方体の鉛直方向の辺に対応する４線分を取得する線分取得部と、
   取得した前記４線分を高さとする前記直方体の形状を推定する推定部と、
   推定した前記直方体を構成する各面に、前記パノラマ画像の各画素を対応付けてテクスチャ画像を生成する生成部とを備え、
   前記画像表示装置は、
   前記画像処理装置で生成されたテクスチャ画像を取得する取得部と、
   前記実空間内の仮想位置を示す情報を取得する位置取得部と、
   取得した前記テクスチャ画像の各画素を、取得した前記仮想位置での各画素位置に対応付けることで仮想画像を生成する生成部と、
   生成した前記仮想画像を表示する表示部とを備える
   画像処理システム。

Images