JP7388084B2 - 情報処理装置、方法および記録媒体 - Google Patents

Description

本発明は、全天球画像の天頂補正を行う情報処理装置、方法および記録媒体に関する。

複数の広角レンズまたは魚眼レンズと、複数の撮像素子とを用いて、いわゆる全天球画像を撮像する撮像装置（以下、「全天球撮像装置」として参照する）が知られている。

全天球画像を補正する技術として、重力方向と画像の上下方向とが一致するように補正する、いわゆる「天頂補正」が知られている。全天球画像を天頂補正することで、鑑賞者は、より自然な感覚で全天球画像を見ることができる。

一般に全天球画像の天頂補正は、全天球撮像装置が具備する加速度センサなどが出力する、撮影時における全天球撮像装置の姿勢を示すデータ（以下、単に「姿勢データ」として参照する）に基づいて行われる。しかしながら、姿勢データに基づく天頂補正は、センサの測定精度に依存することから、測定誤差や、センサの組付けにおける誤差、温度ドリフトなどといった種々の要因によって測定精度が低下し、適切な天頂補正を行えない場合があった。

この点につき、撮影した全天球画像の画像データに基づいて、天頂補正を行う技術が知られている。例えば、特許第６４３６４６１号公報（特許文献１）は、全方位画像から鉛直方向の稜線を抽出し、当該稜線に基づいて天頂位置を算出することで、全方位画像の鉛直軸を校正する技術を開示している。

一方で、画像データに基づく天頂補正においては、鉛直方向の稜線の抽出の精度が、天頂補正の精度に影響する。したがって、特許文献１をはじめとする従来技術では、全天球画像の歪みなどによって稜線が適切に検出できない場合があり、適切に天頂補正を行う観点から充分ではなかった。そのため、画像データに基づく天頂補正の精度を向上する、さらなる技術が求められていた。

本発明は、上記従来技術における課題に鑑みてなされたものであり、全天球画像の天頂補正の精度を向上する情報処理装置、方法および記録媒体を提供することを目的とする。

すなわち、本発明によれば、
画像の一部の領域から、１以上の基準方向の線分を検出する検出手段と、
球面座標系における前記線分に含まれる２点の座標と、前記球面座標系の基準点とを含む平面の傾きを算出する算出手段と、
前記平面の傾きに基づいて、前記画像の天頂補正を行う補正手段と
を含む、情報処理装置が提供される。

本発明によれば、全天球画像の天頂補正の精度を向上する情報処理装置、方法および記録媒体が提供できる。

本実施形態におけるシステム全体のハードウェアの概略構成を示す図。 本実施形態の情報処理装置に含まれるハードウェア構成を示す図。 本実施形態のシステムを構成する全天球撮像装置の断面図。 本実施形態における全天球撮像装置の姿勢の定義を説明する図。 全天球画像の天頂補正の例を示す図。 本実施形態の情報処理装置に含まれるソフトウェアブロック図。 本実施形態の情報処理装置が実行する処理のフローチャート。 本実施形態において対象領域から線分を検出する例を示す図。 本実施形態において検出された線分の傾きを算出する例を示す図。 本実施形態において検出された線分の球面座標系への変換を説明する図。 本実施形態における線分と原点とを含む大円の傾きを説明する図。 本実施形態においてメイン天頂補正を行った全天球画像を示す図。 本実施形態における補正パラメータを算出するための線分を選択する処理を行うＵＩの例を示す図。 本実施形態における補正処理を行うＵＩの例を示す図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。

図１は、本実施形態におけるシステム１００全体のハードウェアの概略構成を示す図である。図１では、例として、全天球撮像装置１１０と、情報処理装置１２０とを含む構成のシステム１００を示している。全天球撮像装置１１０と、情報処理装置１２０とは、有線または無線にて相互にデータを通信することができ、例えば全天球撮像装置１１０が撮影した画像を情報処理装置１２０に送信することができる。なお、全天球撮像装置１１０、情報処理装置１２０間のデータのやり取りは、上述したような有線または無線による通信に限られず、例えば、種々の記録媒体によって行われてもよい。

全天球撮像装置１１０は、複数の広角レンズ画像や魚眼レンズ画像などを撮像し、当該全天球撮像装置１１０を中心とした立体角４πステラジアンの画像（以下、「全天球画像」として参照する）を撮像する装置である。なお、全天球撮像装置１１０の詳細な構成については後述する。

情報処理装置１２０は、例えば、パーソナルコンピュータやスマートフォンなどのような端末装置である。情報処理装置１２０は、全天球撮像装置１１０が撮影した全天球画像に対して種々の画像処理を行うことができ、また、全天球画像を表示することができる。情報処理装置１２０が行う画像処理の一例としては、全天球画像の天頂補正や、画像の明るさや色味の補正、画像へのぼかしやテキスト追加などの加工処理などが挙げられる。

次に、情報処理装置１２０のハードウェア構成について説明する。図２は、本実施形態の情報処理装置１２０に含まれるハードウェア構成を示す図である。情報処理装置１２０は、ＣＰＵ２１０と、ＲＡＭ２２０と、ＲＯＭ２３０と、記憶装置２４０と、通信Ｉ／Ｆ２５０と、外部記憶装置Ｉ／Ｆ２６０と、モニタ２７０と、入力装置２８０とを含んで構成され、各ハードウェアはバスを介して接続されている。

ＣＰＵ２１０は、情報処理装置１２０の動作を制御するプログラムを実行し、所定の処理を行う装置である。ＲＡＭ２２０は、ＣＰＵ２１０が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ２３０は、ＣＰＵ２１０が実行するプログラムやファームウェアなどを記憶するための不揮発性の記憶装置である。

記憶装置２４０は、情報処理装置１２０を機能させるＯＳや各種アプリケーション、設定情報、各種データなどを記憶する、読み書き可能な不揮発性の記憶装置である。記憶装置２４０の一例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などが挙げられる。

通信Ｉ／Ｆ２５０は、情報処理装置１２０とネットワークとを接続し、ネットワークを介して、他の装置との通信を可能にする。ネットワークを介した通信は、有線通信または無線通信のいずれであってもよく、ＴＣＰ／ＩＰなどの所定の通信プロトコルを使用し、各種データを送受信できる。また、通信Ｉ／Ｆ２５０は、ネットワークを介さずに、他の装置と直接通信することもでき、例えば、全天球撮像装置１１０と直接的に通信することができる。

外部記憶装置Ｉ／Ｆ２６０は、種々の記録媒体のデータを読み取り、またデータを書き込むためのインターフェースである。ここで、記録媒体の例としては、ＣＤ－ＲＯＭ、ＤＶＤ、ＳＤカードなどを挙げることができる。また、外部記憶装置Ｉ／Ｆ２６０の例としては、上述した記録媒体に対して読込や書き込みを可能にするＣＤドライブ、ＤＶＤドライブ、ＳＤカードスロットなどを挙げることができる。なお、記録媒体や外部記憶装置Ｉ／Ｆ２６０は、上述したものに限定されない。

モニタ２７０は、各種データ、画像、情報処理装置１２０の状態などを、ユーザに対して表示する装置であり、例として、ＬＣＤ（Liquid Crystal Display）などが挙げられる。入力装置２８０は、ユーザが情報処理装置１２０を操作するための装置であり、例として、キーボード、マウスなどが挙げられる。なお、モニタ２７０と入力装置２８０は、それぞれ別個の装置であってもよいし、タッチパネルディスプレイのような両方の機能を備えるものであってもよい。

図３は、本実施形態のシステム１００を構成する全天球撮像装置１１０の断面図である。図３に示す全天球撮像装置１１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられた撮影ボタン１８とを備える。また、全天球撮像装置１１０は、図示しない加速度センサや地磁気センサなどといった種々のセンサや、通信Ｉ／Ｆなどのデバイスを具備する。全天球撮像装置１１０は、上述した各種デバイスによって、姿勢データの取得や、情報処理装置１２０への画像の転送などが可能になる。なお、これらのデバイスについての詳細な説明は省略する。

図３に示す撮像体１２は、２つのレンズ光学系２０Ａ，２０Ｂと、２つの撮像素子２２Ａ，２２Ｂとを含み構成される。撮像素子２２Ａ，２２Ｂは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサなどである。撮像素子２２Ａ、２２Ｂは、各撮像面が相反するように配置される。レンズ光学系２０は、例えば６群７枚や１０群１４枚の魚眼レンズとして構成される。魚眼レンズは、図３に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１９０度以上の画角を有する。なお、説明する実施形態では、１８０度以上の全画角を有する２つの魚眼レンズを用いるものとして説明するが、全体として所定の画角が得られる限り、３つ以上のレンズ光学系および撮像素子を含んでいてもよい。また、説明する実施形態では、魚眼レンズを用いるものとして説明するが、全体として所定の画角が得られる限り、魚眼レンズに代えて、他の広角レンズや超広角レンズを用いることは妨げられない。

２つのレンズ光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。レンズ光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。なお、説明する実施形態では、視差を低減するために、２つのレンズ光学系２０Ａ，２０Ｂにより集光された光を、２つの９０度プリズムによって２つの撮像素子２２Ａ，２２Ｂに振り割ける屈曲光学系を採用するものとするが、これに限定されるものではく、視差をより低減するために３回屈折構造としてもよいし、コストを低減するべくストレート光学系であってもよい。

図３に示す実施形態では、レンズ光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理ブロックに順次、画像を出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、全天球画像が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。なお、説明する実施形態では、全天球画像を生成するものとして説明するが、水平面のみ３６０度を撮影した全周画像、いわゆる３６０度パノラマ画像であってもよく、全天球または水平面３６０度の全景のうちの一部を撮影した画像（例えば、水平３６０度、水平線から垂直９０度を撮影した全天周（ドーム）画像）であってもよい。また、全天球画像は、静止画として取得することもできるし、動画として取得することもできる。

ここで、図４および図５を参照しながら、天頂補正について説明する。図４は、本実施形態における全天球撮像装置１１０の姿勢の定義を説明する図である。図４（Ａ）は、全天球撮像装置１１０の側面から見た姿勢の定義を示し、図４（Ｂ）は、全天球撮像装置１１０の正面から見た姿勢の定義を示す。

図４に示すように、全天球撮像装置１１０の姿勢角としては、全天球撮像装置１１０の２つのレンズ中央を通る光軸方向を前後方向として、前後方向を軸とした軸周りの回転角（ロール）、全天球撮像装置１１０の左右方向を軸とした該軸周りの回転角（ピッチ）、および、上下方向を軸とした回転角（ヨー）が定義される。一方のレンズ（例えば撮影ボタン１８がある側の反対のレンズ）を前面として全天球撮像装置１１０をおじぎさせるような回転がピッチで表される。全天球撮像装置１１０のレンズ光軸周りの側方回転がロールで表され、全天球撮像装置１１０の筐体中心軸周りの回転がヨーで表される。

なお、説明する実施形態では、以下のように便宜的に全天球撮像装置１１０の前後を定義する。すなわち、撮影ボタン１８とは反対側のレンズ光学系２０Ａをフロントレンズとし、フロントレンズで撮影する側をフロント（Ｆ）側とする。また、撮影ボタン１８がある側のレンズ光学系２０Ｂをリアレンズとし、リアレンズで撮影する側をリア（Ｒ）側とする。

図５は、全天球画像の天頂補正の例を示す図である。図５に示す画像は、全天球画像を正距円筒図法（Equirectangular）で平面上に投影したエクイレクタングラー形式の画像である。なお、以下に説明する実施形態の各図面で使用される、全天球画像として例示される各画像は、線描に画像処理されたものであるが、特に実施形態を限定するものではなく、明細書上の見やすさの観点から画像処理されているものである点に留意されたい。

ここで、全天球画像の平面上への表示について説明する。全天球画像を平面上に表示する投影法の一つとして正距円筒図法がある。正距円筒図法は、球面の画像の各画素の３次元方向を緯度と経度に分解し、正方格子状に対応する画素値を並べる画像形式である。すなわち地球を例に正距円筒図法を説明すると、緯線、経線が直角かつ等間隔に交差するように投影したものとなる。以下では、エクイレクタングラー形式で表示された全天球画像を地球に見立てて、便宜的に、縦方向を緯度、横方向を経度とし、縦方向の中央を赤道として説明する。

図５（Ａ）は、天頂補正前の全天球画像の例を示す画像である。全天球撮像装置１１０は、撮影を行う状況や環境などによって、撮影時に正立していない場合がある。このような場合には、図５（Ａ）に示すように天頂補正前の全天球画像は、重力方向と天頂方向とが一致しない画像となる。図５（Ａ）は、一般的な建造物の室内を撮影した画像の例である。したがって、ドア、襖、窓枠、柱、壁面などといった構造物の縦方向は、垂直であるのが一般的である。しかしながら、全天球撮像装置１１０が撮影時に正立していない場合には、図５（Ａ）に示すように、撮影時における全天球撮像装置１１０の姿勢のずれなど起因して、種々の構造物の縦方向が、天頂方向と一致しない画像が生成される。

そこで、撮影時における全天球撮像装置１１０の姿勢データに基づいて、天頂補正を行う。姿勢データは、全天球撮像装置１１０が具備する加速度センサなどが出力する、全天球撮像装置１１０の姿勢角を、２軸のオイラー角（ロール角およびピッチ角）によって示すデータである。姿勢データに基づく天頂補正を行うことで、図５（Ｂ）に示すように、各種構造物の縦方向と、天頂方向とが一致するように全天球画像を補正することができる。一方で、種々の要因によって加速度センサの測定精度が低下すると、正確な姿勢データを取得することができず、その結果、適切な天頂補正を行うことができなくなる場合がある。すなわち、例えば図５（Ｂ）のように、天頂方向と重力方向とが一致しているように見える画像であっても、わずかに誤差のある全天球画像が出力されることとなる。このようなわずかな誤差であっても、全天球画像を用いたサービスの種類によっては、鑑賞者に不自然さや不快感を与えることになることから、好ましくない場合がある。そこで、本実施形態の情報処理装置１２０は、画像処理によって全天球画像の天頂補正を行う。なお、加速度センサの測定精度が低下する要因としては、例えば、測定誤差、加速度センサの組付けにおける誤差、温度ドリフトなどが挙げられる。

図６は、本実施形態の情報処理装置１２０に含まれるソフトウェアブロック図である。情報処理装置１２０は、画像取得部６１０、第１天頂補正部６２０、第２天頂補正部６３０、記憶部６４０、表示部６５０の各機能手段を含んで構成される。以下に、各機能手段の詳細について説明する。なお、以下の説明では、第１天頂補正部６２０が行う姿勢データに基づく天頂補正を「プレ天頂補正」、第２天頂補正部６３０が行う画像処理による天頂補正を「メイン天頂補正」としてそれぞれ参照し、区別する場合がある。

画像取得部６１０は、通信Ｉ／Ｆ２５０や外部記憶装置Ｉ／Ｆ２６０などを介して、全天球撮像装置１１０が撮影した全天球画像の画像データを取得する手段である。なお、画像取得部６１０が取得する画像データは、メタデータとして、撮影時における姿勢データが含まれるものであってもよい。

第１天頂補正部６２０は、画像データに含まれる姿勢データに基づいて、天頂補正を行う手段である。後述するように、本実施形態では、第２天頂補正部６３０が、全天球画像の画像処理によるメイン天頂補正を行うが、メイン天頂補正の事前に第１天頂補正部６２０による姿勢データに基づくプレ天頂補正を行うことで、より精度の高いメイン天頂補正を行うことができる。しかしながら、必ずしもプレ天頂補正を実施する必要は無く、メイン天頂補正のみを実施してもよい。なお、プレ天頂補正は、図５において説明したように行うことができる。

第２天頂補正部６３０は、全天球画像について画像処理によって天頂補正を行う手段である。第２天頂補正部６３０は、領域抽出部６３１、線分検出部６３２、座標算出部６３３、傾き算出部６３４、補正処理部６３５を含んで構成され、各機能手段によって一連のメイン天頂補正を行う。

領域抽出部６３１は、メイン天頂補正において、画像の傾きを評価するための線分を検出する対象となる領域（以下、「対象領域」として参照する）を抽出する手段である。領域抽出部６３１は、一例として、エクイレクタングラー形式で表示された全天球画像のうち、赤道から上下方向に所定の広がりを有する領域を抽出することができる。

線分検出部６３２は、領域抽出部６３１が抽出した対象領域に含まれる被写体から線分を検出する手段である。特に、線分検出部６３２は、対象領域に含まれる被写体のうち、方向が鉛直方向である蓋然性の高い１以上の線分を検出する（なお、以下の説明では、鉛直方向である蓋然性の高い線分を含め、単に「鉛直方向の線分」として参照する場合がある）。これによって、画像の傾き、すなわち天頂方向とのずれ量を適切に評価でき、精度の高い天頂補正を行うことができる。なお、以下に説明する実施形態では、鉛直方向の線分を検出する実施形態を示しているが、任意の基準方向の線分を検出する者であってもよい。

座標算出部６３３は、線分検出部６３２が検出した線分に含まれる２点の座標を算出する手段である。座標算出部６３３が算出する２点は、一例として、球面座標系における当該線分の端点の座標を算出する。

傾き算出部６３４は、座標算出部６３３が算出した線分の端点の座標と、球面座標系の原点とを含む平面の傾きを算出する手段である。傾き算出部６３４が算出した平面の傾きは、補正処理部６３５における天頂補正処理の補正パラメータとして扱うことができる。傾き算出部６３４は、線分検出部６３２が検出した線分の全てについて平面の傾きを算出する構成としてもよいし、算出した複数の平面の傾きの平均値を算出し、当該平均値を当該全天球画像の傾きとする構成としてもよい。

補正処理部６３５は、傾き算出部６３４が算出した平面の傾きを補正パラメータとして、全天球画像についてメイン天頂補正を行う手段である。補正処理部６３５によって補正された全天球画像は、記憶部６４０に格納されたり、表示部６５０に表示されたりする。

記憶部６４０は、記憶装置２４０の動作を制御し、種々のデータを格納したり、読み出したりする手段である。本実施形態では、記憶部６４０は、補正前の全天球画像のデータや、補正後の全天球画像のデータを格納し、または読み出すことができる。

表示部６５０は、モニタ２７０の動作を制御し、各種ＵＩや全天球画像などを表示する手段である。

なお、上述したソフトウェアブロックは、ＣＰＵ２１０が本実施形態のプログラムを実行することで、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。

次に、上述した各機能手段によって実行されるメイン天頂補正の詳細について、図７を以て説明する。図７は、本実施形態の情報処理装置１２０が実行する処理のフローチャートである。なお、以下の図７の説明においては、適宜図８～１３を参照して、図７を説明するものとする。

情報処理装置１２０は、ステップＳ１０００から処理を開始する。ステップＳ１００１では、画像取得部６１０は、全天球撮像装置１１０が撮影した全天球画像の画像データを取得する。画像取得部６１０は、通信Ｉ／Ｆ２５０や外部記憶装置Ｉ／Ｆ２６０などを介して画像データを取得することができる。なお、画像取得部６１０が取得する全天球画像の画像データは、撮影時における全天球撮像装置１１０の姿勢データを含むものであってもよい。

次に、ステップＳ１００２では、第１天頂補正部６２０は、姿勢データに基づいてステップＳ１００１で取得した全天球画像に対してプレ天頂補正を行う。このように、第２天頂補正部６３０によるメイン天頂補正の前に姿勢データに基づく天頂補正を行うことで、メイン天頂補正時において適切な画像処理を行うことができ、より高精度な天頂補正を行うことができる。なお、ステップＳ１００２のプレ天頂補正の処理は、省略されてもよい。また、プレ天頂補正は、必ずしも画像の生成を伴うものでなくてもよく、例えば、第１天頂補正部６２０は、姿勢データに基づいて生成されるプレ天頂補正における画像の変換テーブル（回転行列）を第２天頂補正部６３０に転送し、第２天頂補正部６３０は、変換テーブルのパラメータを加味して画像処理を行う構成としてもよい。このような構成とすることで、情報処理装置１２０は、天頂補正した画像を生成する処理の回数を低減でき、処理時間の短縮をすることができる。

その後、ステップＳ１００３～Ｓ１００７において、第２天頂補正部６３０は、全天球画像の画像処理によるメイン天頂補正を行う。なお、解像度が低い場合であっても線分の検出に与える影響は小さいことから、第２天頂補正部６３０は、全天球画像を低解像度化した上で、以下の処理を行う構成としてもよい。これによって、画像処理にかかる計算コストを低減することができる。

まず、ステップＳ１００３において、領域抽出部６３１は、全天球画像から線分を検出する対象領域を抽出する。次に、ステップＳ１００４では、線分検出部６３２は、ステップＳ１００３で抽出された対象領域から、鉛直方向の線分を検出する。ここで、ステップＳ１００３およびＳ１００４における処理の具体例を、図８および図９を以て説明する。図８は、本実施形態において対象領域から線分を検出する例を示す図である。

図８（Ａ）は、プレ天頂補正されたエクイレクタングラー形式の全天球画像の例であり、図５（Ｂ）の画像に相当する。図８（Ａ）では、全天球画像を便宜的に、赤道を中心とする緯度方向の上下に９０°ずつの１８０°と、経度方向に３６０°の広がりを有するエクイレクタングラー形式の画像として示している。ここで、領域抽出部６３１は、ステップＳ１００３において、図８（Ａ）におけるグレーアウトされていない領域を、対象領域として抽出する。なお、対象領域の範囲は、赤道を中心として緯度方向に任意の広がりを持った領域を対象領域とすることができる。対象領域の大きさは、特に実施形態を限定するものではなく、赤道を中心とする所定の範囲の対象領域を設定する。ここで、対象領域の範囲は、好ましくは２０°～３５°程度の範囲とすることができる。緯度方向の広がりを大きくすると、線分を検出しにくくなる一方で、広がりを小さくしても、ノイズも検出されやすくなるため線分の検出精度が低下する。一般に、屋外の画像は、屋内の画像よりも緯度方向の広がりを狭くすることが好ましい。このように、赤道近傍の領域を抽出して対象領域とすることで、高緯度領域の画像の歪みの影響を排除することができ、線分の検出における計算コストの低減や検出精度の向上を図ることができる。

図８（Ｂ）は、ステップＳ１００３において抽出された対象領域の例である。なお、対象領域の抽出処理では、必ずしも図（Ｂ）のような切り出した画像を生成しなくてもよく、単に対象領域と他の領域とを区別できればよい。

線分検出部６３２は、ステップＳ１００４において、図８（Ｂ）のような対象領域から鉛直方向の線分を検出する。図８（Ｃ）は、ステップＳ１００４において検出された線分の例を示している。線分検出部６３２は、既知の画像処理によって線分を検出し、当該線分のうち窓枠、柱、ドアなどといった鉛直方向である蓋然性の高い線分をさらに検出する。図８（Ｃ）の例では、濃い色で示されるＬ_１～Ｌ_１７の線分が、鉛直方向の線分として抽出されている。

線分を検出する方法は、特に限定されないが、一例として、ハフ変換による検出を採用することができる。ここで、ハフ変換による線分の検出と、当該線分の傾きの算出について、図９を以て説明する。図９は、本実施形態において検出された線分の傾きを算出する例を示す図である。図９において濃い色で示される線分は、ハフ変換によって検出された線分である。ハフ変換では、直線は、ｒおよびθの２つのパラメータで表現される。ここで、ｒは、原点から直線に引いた法線の長さであり、θは、法線の角度である。ハフ変換では、同じ直線上の点は、ｒとθのパラメータ空間で重なる性質を有することから、線分を検出することができる。このようにして検出された線分が鉛直方向のものであるか否かは、図９におけるθが、所定の閾値よりも小さいか否かによって判定することができる。一例として、θの絶対値が１０°以下の線分を、鉛直方向の線分として検出することができる。なお、ここまでに説明したハフ変換による線分の検出は一例であって、実施形態を限定するものではなく、他の方法によって線分を検出してもよい。

このようにして線分を検出することで、図８（Ｃ）のように、対象領域に含まれる、傾きが所定の閾値よりも小さい線分を、鉛直方向の線分として検出することができる。なお、線分が鉛直であるか否かは、上述したように、所定の閾値で判定してもよいし、ユーザが判断に基づいて選択されてもよい。

説明を図７に戻す。ステップＳ１００４において鉛直方向の線分を検出した後、ステップＳ１００５の処理に進む。ステップＳ１００５では、座標算出部６３３は、検出された線分の端点について、球面座標系における各座標を算出する。エクイレクタングラー形式の全天球画像の各座標と、球面座標系の各座標とは、１対１で対応付けることができるため、座標算出部６３３は、例えば
２次元画像と３次元画像とを変換する変換テーブルなどによって、線分の端点の座標を球面座標系に置き換えることができる。ここで、線分の球面座標系への変換について図１０を以て説明する。図１０は、本実施形態において検出された線分の球面座標系への変換を説明する図である。

図１０（Ａ）は、球面座標系に変換した全天球画像の例を示しており、ここでは、半球面に全天球画像を表示した例を示している。図１０（Ａ）において、グレーアウトされていない領域が、線分検出の対象領域である。図１０（Ａ）に示す全天球画像では、Ｌ_１～Ｌ_９の線分が検出された例を示している。なお、図８（Ａ）の全天球画像は、球面上に表示されているものと表現されているため、円の外側に近い領域の線分は、曲線として表現され、実際の構造物の縦方向と一致していないかのように表示されている点に留意されたい。

図１０（Ｂ）は、図１０（Ａ）の対象領域の一部を拡大した図であり、Ｌ_３～Ｌ_６の線分が含まれる領域を示している。また、図１０（Ｂ）の太い破線は赤道を示す線である。座標算出部６３３は、ステップＳ１００５において、各線分の端点の座標を算出する。線分の端点は、図１０（Ｂ）において黒丸印で示される部分であり、座標算出部６３３は、各端点の球面座標系における座標を算出する。

説明を図７に戻す。ステップＳ１００５で線分の端点の球面座標系における座標を算出した後、ステップＳ１００６の処理に進む。ステップＳ１００６では、傾き算出部６３４は、ステップＳ１００５で算出された端点と球面座標系の基準点である原点とを含む平面を求め、当該平面の傾きを算出する。３次元空間において同一直線上にない３点が定義されると、１つの平面を決定することができるため、傾き算出部６３４は、まず、線分の各端点と、球面座標系の原点とを含む平面を決定する。なお、ここで決定される平面は、球の中心と球面とを通ることから、当該平面と球面の接線は、いわゆる球の大円に相当する。以下では、決定された平面を大円として参照する。傾き算出部６３４は、大円を決定した後、当該大円の傾きを算出する。ここで、大円の傾きについて図１１を以て説明する。図１１は、本実施形態における線分と原点とを含む大円の傾きを説明する図である。

図１１（Ａ）は、ステップＳ１００５までの処理で線分の端点の座標を算出した、球面座標系における全天球画像の例を示している。図１１（Ａ）の例では、鉛直方向の線分として、Ｌ_１およびＬ_２の線分が検出された場合を示している。また、各線分の端点は、丸印で示している。

図１１（Ｂ）および（Ｃ）は、それぞれ、Ｌ_１およびＬ_２の線分の端点を含む大円を示す図である。図１１（Ｂ）、（Ｃ）において、濃い色で示される三角形は、線分の各端点と、球面座標系の原点とを含む平面を示している。また、図１１（Ｂ）、（Ｃ）において、薄い色で示される円は、当該平面を含む大円である。傾き算出部６３４は、ステップＳ１００６において、このようにして求めた大円について、球面座標系に対する傾きを算出する。大円の傾きは、図１１（Ｂ）、（Ｃ）において矢印で示されるような方向ベクトルとして表現される。

傾き算出部６３４が算出した大円の傾き、すなわち図１１（Ｂ）、（Ｃ）において方向ベクトルとして示される矢印は、メイン天頂補正における補正パラメータである。複数の線分が検出された場合には、傾き算出部６３４は、複数の方向ベクトルの平均をとって補正パラメータとすることができる。また、傾き算出部６３４は、複数の方向ベクトルのうち、平均値との差が大きい方向ベクトルを除外して、補正パラメータを算出する構成とすることができる。

このようにして算出された傾きは、メイン天頂補正における補正パラメータとして扱われる。具体的には、補正パラメータを用いて方向ベクトルが球面座標系の天頂方向と一致するように全天球画像を回転させることで、天頂補正を行う。

説明を図７に戻す。ステップＳ１００６において平面の傾きを算出した後、ステップＳ１００７の処理に進む。ステップＳ１００７では、補正処理部６３５が、補正パラメータすなわち図１１に示した方向ベクトルに基づいて、全天球画像のメイン補正処理を行う。図１２は、本実施形態においてメイン天頂補正を行った全天球画像を示す図である。

図１２（Ａ）は、メイン天頂補正前の全天球画像の例を示し、図１２（Ｂ）は、メイン天頂補正後の全天球画像の例を示している。また、図１２（Ａ）中の矢印は、補正パラメータを示す方向ベクトルである。図１２（Ａ）における横方向の実線と縦方向の線は、それぞれ、天頂補正前の球面座標系の水平方向と垂直方向とを示す線である。

補正処理部６３５は、ステップＳ１００７におけるメイン天頂補正処理において、方向ベクトルが球面座標系の天頂方向と一致するように全天球画像を回転させる。すなわち、補正処理部６３５は、図１２（Ａ）の矢印が、図１２（Ａ）中の縦方向の実線と一致するように全天球画像を回転させる。このようにして全天球画像を回転することで、補正処理部６３５は、メイン天頂補正を行う。

メイン天頂補正を行うと、図１２（Ｂ）に示すように、矢印が天頂方向と一致した全天球画像が得られる。なお、図１２（Ｂ）における実線は、メイン天頂補正前の水平方向と垂直方向を示す線であり、破線は、メイン天頂補正後の水平方向と垂直方向を示す線である。図１２（Ａ）と図１２（Ｂ）とを比較すると、メイン天頂補正を行うことによって、全天球画像内の襖や柱などが天頂方向と一致するように補正されたことが示されている。

説明を図７に戻す。ステップＳ１００７において補正処理部６３５がメイン天頂補正をした後、ステップＳ１００８に進み、情報処理装置１２０は、処理を終了する。なお、メイン天頂補正をした全天球画像は、記憶部６４０によって記憶装置２４０に格納されたり、表示部６５０によってモニタ２７０に表示されたりし、種々の用に供される。

図７～１３において説明した各種処理によって、情報処理装置１２０は、画像処理によって全天球画像の天頂補正をすることができる。

次に、上述した処理を行う過程で表示される種々のＵＩについて、図１３および図１４を以て説明する。まず、図１３について説明する。図１３は、本実施形態における補正パラメータを算出するための線分を選択する処理を行うＵＩの例を示す図である。

図７のステップＳ１００４では、上述したように、線分検出部６３２が所定の条件に基づいて鉛直方向の線分を検出する。しかしながら、画像処理における誤差などによって、鉛直方向の線分を適切に検出できない場合がある。そこで、図１３のような画面を表示し、ユーザに鉛直方向の線分を選択させることで、補正パラメータを算出するための線分を決定することができる。

図１３に示す例では、鉛直方向の線分としてＬ_１～Ｌ_７の線分が表示されている。しかしながら、Ｌ_２やＬ_５などの線分は、ドアや柱などといった鉛直方向の構造によって検出されたものではないため、補正パラメータの算出においては、除外することが好ましい。なお、このような線分が検出される要因の例としては、検出精度に起因したり、例えば樹木などのような正しく鉛直方向を向いていない構造物を検出することに起因したりする。

本実施形態では、このような線分を除外するために、図１３のような画面から例えばチェックボックスによって、各線分を選択するか除外するかを設定することができる。したがって、図１３の例では、Ｌ_２やＬ_５などの線分のチェックボックスからチェックが外されている。

次に、図１４について説明する。図１４は、本実施形態における補正処理を行うＵＩの例を示す図である。図１４では、メイン天頂補正前後の画像を比較する画面の例を示しており、図１４（Ａ）は、エクイレクタングラー形式の画像を、図１４（Ｂ）は、魚眼レンズ画像を、それぞれ示している。また、図１４（Ａ）のＵＩと、図１４（Ｂ）のＵＩとを切り替え可能に表示する構成としてもよい。なお、図１４（Ａ）は、エクイレクタングラー形式の画像であるが、特に実施形態を限定するものではなく、これ以外の表示形式であってもよい。例えば、図１４（Ａ）に示すようなエクイレクタングラー形式の画像の他に、全天球画像を透視投影変換して、２次元平面に投影した画像であってもよい。

図１４（Ａ）、（Ｂ）に示すＵＩでは、水平方向および垂直方向の基準線の表示の有無や、補正後のプレビューの表示の有無を選択することができる。このようなＵＩを表示することによって、ユーザは、補正前後の画像を比較できるため、メイン天頂補正を実行するか否かの判断がしやすくなる。また、ユーザは、算出された補正パラメータによってどの程度補正されるのかが理解しやすくなり、メイン天頂補正の効果を認識しやすくなることから、メイン天頂補正を実行するか否かの判断がしやすくなる。

以上、説明した本発明の実施形態によれば、全天球画像の天頂補正の精度を向上する情報処理装置、方法および記録媒体を提供することができる。

上述した本発明の実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ（登録商標）、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１２…撮像体、１４…筐体、１８…撮影ボタン、２０…レンズ光学系、２２…撮像素子、１００…システム、１１０…全天球撮像装置、１２０…情報処理装置、２１０…ＣＰＵ、２２０…ＲＡＭ、２３０…ＲＯＭ、２４０…記憶装置、２５０…通信Ｉ／Ｆ、２６０…外部記憶装置Ｉ／Ｆ、２７０…モニタ、２８０…入力装置、６１０…画像取得部、６２０…第１天頂補正部、６３０…第２天頂補正部、６３１…領域抽出部、６３２…線分検出部、６３３…座標算出部、６３４…傾き算出部、６３５…補正処理部、６４０…記憶部、６５０…表示部

特許第６４３６４６１号公報

Claims (10)

1. 画像を撮影した装置の姿勢を示す情報に基づく天頂補正を行う事前補正手段と、
   前記画像の一部の領域から、１以上の基準方向の線分を検出する検出手段と、
   球面座標系における前記線分に含まれる２点の座標と、前記球面座標系の基準点とを含む平面の傾きを算出する算出手段と、
   前記平面の傾きに基づいて、前記画像の天頂補正を行う補正手段と
   を含み、
   前記検出手段は、前記事前補正手段が補正した画像に基づいて、前記線分の検出を行うことを特徴とする、
   情報処理装置。
2. 画像の一部の領域から、１以上の基準方向の線分を検出する検出手段と、
   球面座標系における前記線分に含まれる２点の座標と、前記球面座標系の基準点とを含む平面の傾きを算出する算出手段と、
   前記平面の傾きに基づいて、前記画像の天頂補正を行う補正手段と
   を含み、
   前記領域は、エクイレクタングラー形式における前記画像のうち、赤道を中心として上下に所定の大きさで抽出された領域であることを特徴とする、
   情報処理装置。
3. 画像の一部の領域から、１以上の基準方向の線分を検出する検出手段と、
   球面座標系における前記線分に含まれる２点の座標と、前記球面座標系の基準点とを含む平面の傾きを算出する算出手段と、
   前記平面の傾きに基づいて、前記画像の天頂補正を行う補正手段と
   を含み、
   前記算出手段は、複数の線分に基づいて、複数の平面の傾きを算出し、
   前記補正手段は、前記複数の平面の傾きの平均値に基づいて、前記画像の天頂補正を行う、
   情報処理装置。
4. 画像の一部の領域から、１以上の基準方向の線分を検出する検出手段と、
   球面座標系における前記線分に含まれる２点の座標と、前記球面座標系の基準点とを含む平面の傾きを算出する算出手段と、
   前記平面の傾きに基づいて、前記画像の天頂補正を行う補正手段と、
   前記検出手段が検出した前記１以上の基準方向の線分を表示する第１の表示手段と、
   前記第１の表示手段を介して、前記１以上の基準方向の線分を前記算出手段における算出の対象とするか否かを選択する第１の選択手段と
   を含む、情報処理装置。
5. 前記画像は全天球画像であることを特徴とする、請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記算出手段は、前記線分のうち、傾きが所定の値よりも小さい線分を算出の対象とすることを特徴とする、
   請求項１～５のいずれか１項に記載の情報処理装置。
7. 前記画像の補正前後の画像を表示する第２の表示手段と、
   前記第２の表示手段を介して、前記補正手段による天頂補正を行うか否かを選択する第２の選択手段と
   をさらに含む、請求項１～６のいずれか１項に記載の情報処理装置。
8. 画像を撮影した装置の姿勢を示す情報に基づいて事前に天頂補正を行うステップと、
   前記画像の一部の領域から、１以上の基準方向の線分を検出するステップと、
   球面座標系における前記線分に含まれる２点の座標と、前記球面座標系の基準点とを含む平面の傾きを算出するステップと、
   前記平面の傾きに基づいて、前記画像の天頂補正を行うステップと
   を含み、
   前記検出するステップは、前記事前に天頂補正を行うステップにおいて補正した画像に基づいて、前記線分の検出を行うことを特徴とする、
   方法。
9. 画像の一部の領域から、１以上の基準方向の線分を検出するステップと、
   球面座標系における前記線分に含まれる２点の座標と、前記球面座標系の基準点とを含む平面の傾きを算出するステップと、
   前記平面の傾きに基づいて、前記画像の天頂補正を行うステップと
   を含み、
   前記領域は、エクイレクタングラー形式における前記画像のうち、赤道を中心として上下に所定の大きさで抽出された領域であることを特徴とする、
   方法。
10. 請求項８または９に記載の方法を情報処理装置に実行させるためのプログラムを格納した記録媒体。