JP6677098B2 - 全天球動画の撮影システム、及びプログラム - Google Patents

Description

本発明は、全天球動画の撮影システム、及びプログラムに関する。

従来、全方位（又は全天球）を撮像する装置として、双曲面ミラーを用いたものや、魚眼レンズを用いたもの等が存在する。それらの装置は、１ショットで半球や全天球の静止画を撮影するものがある。

魚眼レンズを用いた広角撮影により得られる半球を記録した歪曲円形画像より、その一部を切り出し、コンピュータで画像処理を行って歪曲している画像を平面正則画像に変換する技術が既に知られている。

さらに、そのような画像処理を行う際に、円形歪曲画像の中心位置が天頂方向と正しく一致していない場合に、ユーザに傾き角度のパラメータを指定させることにより、画像の歪曲補正時の負荷を軽減する技術も存在しており、既に知られている。

このように、撮像装置が傾いた状態で撮影されると、鉛直方向の間違った全方位（全天球）画像が作成される可能性があるという課題があり、それを解決するための発明が既に知られている。

特許文献１には、動画撮影時に本体が傾いていても、常に鉛直方向上向きが正しい全天球動画を記録するために動画の各フレームの画像を変換する目的で、二つの魚眼レンズと加速度センサを有する動画撮影装置にて、2つの魚眼状態の動画を記録しておき、加速度センサから取得した本体の傾き角のデータを利用して撮影後に正距円筒図法に変換する際に天頂の補正を同時に行う手法と機器の構成が開示されている。

特許文献２には、水平画角３６０度、垂直画角１８０度のドーム型の視野から成る全天、全方位より特定の電磁波を媒体として伝達される動画情報を収集する技術が開示されている。

特許文献３には、特許文献２と同様に、水平画角３６０度、垂直画角１８０度のドーム型の視野から成る全天、全方位より特定の電磁波を媒体として伝達される動画情報を収集する技術が開示されている。

特許文献１の発明で、手持ちで撮影を行うことができる全天球カメラにおいて、本体が傾いた状態で撮影された場合に、傾き角を補正して静止画表示を行う技術が知られており、上記課題が解決されたと思われたが、加速度センサのノイズに依る値のバラツキにより鉛直方向からの角度を求めることが難しいという新たな課題が浮上した。

また、特許文献２、および特許文献３は本発明と技術的特徴は異なるものであるがやはり、新たなに浮上した加速度センサのノイズに依る値のバラツキにより鉛直方向からの角度を求めることが難しいという課題は解決されていない。

そこで、本発明は、上記従来の問題点に鑑みてなされたもので、その目的とするところは、全天球カメラ本体の傾きを正しく補正するために、加速度センサのデータを画像データの取り込みよりも早い周期で取り込む撮影システムを提供することである。

係る目的を達成するために、本発明は、以下の特徴を有することとする。

本発明に係る全天球動画の撮影システムは、撮像素子から原画像データを取り込む第１の周期よりも短い「１／整数」の第２の周期で撮像素子の鉛直方向に対する傾き角を取得する取得手段と、原画像データを取得したタイミングで取得した撮像素子の鉛直方向に対する傾き角と、その前後のタイミングで取得した撮像素子の鉛直方向に対する傾き角と、に基づいて平均傾き角を算出する算出手段と、平均傾き角に基づいて原画像データを補正した補正画像データを生成する生成手段と、を備える、ことを特徴とする。

本発明によれば、加速度センサの取り込み周期を画像データの取り込み周期よりも早くすることで本体の傾き角を高精度に求めることが可能となり、高精度な全方位（全天球）動画像を生成することが可能となる。

実施形態における撮影システムについて説明する機能ブロック図である。 実施形態における撮像装置のハードウェア構成図である。 実施形態における情報処理装置のハードウェア構成図である。 実施形態における傾き角と画像データの取得周期を示す図である。 実施形態における撮像装置に用いられる魚眼レンズの射影関係について（Ａ）魚眼レンズの側面視における外観、（Ｂ）撮影画像の平面視における射影関数ｆ、をそれぞれ説明する図である。 実施形態における撮像装置で撮影された全方位（全天球）画像フォーマットについて、（Ａ）平面で表した場合、（Ｂ）球面で表した場合、についてそれぞれ説明する図である。 実施形態における撮像装置の傾きについて説明する概略図である。 実施形態における撮像装置で撮影された全方位（全天球）画像の鉛直補正演算について、（Ａ）カメラ座標系、（Ｂ）グローバル座標系、を用いて説明する図である。 実施形態における撮像装置で撮影された全方位（全天球）画像の変換テーブルについて、（Ａ）変換前後の画像座標値のマトリクス、（Ｂ）変換後画像の座標値、変換前画像の座標値、をそれぞれ説明する図である。 実施形態における撮像装置のフローチャートである。 実施形態における情報処理装置のフローチャートである。 実施形態における傾き角の補正を行った２つの魚眼レンズで撮影された画像を接合した画像である。 実施形態における傾き角の補正を行っていない２つの魚眼レンズで撮影された画像を接合した画像である。

本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。本実施形態では、全方位（全天球）撮像装置において、全方位（全天球）画像の生成を行うに際して、鉛直方向を検出し、画像処理に用いる変換テーブルに対して鉛直方向に応じた補正を行う。なお、撮影システムとは、複数の装置、例えば、デジタルカメラと、情報処理装置とが分離して利用されるものと意味するが、本実施形態で、特に、断りがなければ、撮像装置は撮影システムを概念的に含むものとする。

本発明の実施形態の最適な構成の一例は、撮像装置として全天球カメラ、情報処理装置として画像形成装置を用いる。
次に本実施形態の機能ブロックについて説明する。図１は本実施形態の撮影システムの機能ブロックを示すものである。本実施形態で用いる撮像装置は、取得手段１１、から構成され、情報処理装置は、算出手段２１、生成手段３１、から構成されている。

取得手段１１は、加速度センサから鉛直方向に対する傾き角を取得する際に、画像データを取得する周期よりも短い周期でデータ取得を行う。加速度センサは、撮像装置に対して、上下、左右、前後の互いに直交する３軸方向の加速度を検出する３軸加速度センサである。例えば、撮像装置が静止するように手で保持した場合、加速度センサは重力加速度のみを検出する。

傾き角を取得後、画像データを動画データへと圧縮された際に、傾き角の情報が１フレームごとの動画データに記録される。
鉛直方向に対する傾き角は、画像データが取得される周期よりも短い周期で取得されるため、画像データの取得タイミングと同期する傾き角の情報はもちろん、画像データの取得タイミングに同期しない傾き角も合わせて情報として記録されることになる。つまり、一つの画像データに対して、複数の傾き角の情報が含まれることになるが、詳細については後述する。

算出手段２１は、１フレーム毎に同期された複数の鉛直方向に対する傾き角に基づいて、３軸方向のそれぞれの鉛直方向に対する傾き角の平均値を算出する。
尚、平均値としては、算術平均に限定されることなく、中央値、最頻値を用いてもよい。

生成手段３１は、算出された鉛直方向に対する傾き角の平均値を用いて、１フレーム毎の画像データの鉛直方向に対する傾きの補正を行い、傾き角が正しく補正された後、補正データに基づいて、補正画像データを生成する。
ここで、鉛直方向に対する傾き角を修正するにあたって、所定の変換テーブルで傾き角の補正を行うが、詳細については後述する。

補正画像データの生成は、一旦動画ファイルを静止画ファイルへ変換すると時間がかかってしまうため、動画ファイルのまま、オンメモリで処理を行ってもよい。
全てのフレームに対して傾き角の補正、および補正画像データの生成が完了したら、全フレームの画像データを繋ぎ合わせて、正距円筒図法動画が生成される。

次に撮像装置のハードウェア構成について説明する。図２は本実施形態の撮像装置のハードウェア構成を示す図である。図２において、撮像装置（以下、「全天球カメラ」ともいう。）１１０は、第１撮像素子 １３０Ａと、第２撮像素子 １３０Ｂと、ＤＲＡＭ（Dynamic Random Access Memory）１３２と、外部ストレージ１３４と、加速度センサ１３６と、ＵＳＢコネクタ１３８と、無線ＮＩＣ（Network Interface Controller）１４０と、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮処理ブロック１１８とを具備している。ＤＲＡＭ１３２と、外部ストレージ１３４と、加速度センサ１３６と、ＵＳＢコネクタ１３８及び無線ＮＩＣ１４０は、それぞれＤＲＡＭインタフェース１２０、外部ストレージインタフェース１２２、外部センサインタフェース１２４、ＵＳＢインタフェース１２６及びシリアルブロック１２８により各部の必要とするインタフェース信号を作成し、バス１１９を介してＣＰＵ１１２と、ＲＯＭ１１４と、画像処理ブロック１１６と、動画圧縮処理ブロック１１８と接続され、画像データや傾き角などのデータのやり取りを行う。

ここで、本実施形態では、２つの撮像素子（いわゆる２眼）を用いて、全方位の画像を取得する構成としているが、この撮像素子は３つ以上でも良い。この撮像素子が３つ以上の場合、撮像素子に対応するレンズとしては、１８０度以上の画角を有する必要は無く、適宜に画角を調整することが可能である。なお、一般的には、レンズとしては、魚眼レンズを含む広角レンズが用いられる。また、撮像装置としては、全方位に限らず、水平方向に３６０度をカバーするような画像を取得できるものであっても良い。

加速度センサ１３６は、全天球カメラ１１０の撮影時の傾きを検出するために使用される。これにより、全天球カメラ１１０の傾き方向の検出を瞬時に、かつ容易に行うことができる。

上下方向の下方向のみの加速度が検出された場合には、全天球カメラ１１０の上下方向と、地上面の天地方向とが一致していることが分かる。つまり、一般的にデジタルカメラを操作するようにデジタルカメラを水平になるように保持していることが分かる。

撮影時は、第１撮像素子１３０Ａ及び第２撮像素子１３０Ｂによって、デジタル化された画像データが画像処理ブロック１１６に入力される。入力された画像データは、画像処理ブロック１１６、ＣＰＵ１１２、ＲＯＭ１１４等を使って画像処理され、動画圧縮が行われた後、ＤＲＡＭ１３２に保存される。さらに、加速度センサ１３６で取得した傾き角の情報も同じくＤＲＡＭ１３２に保存され、所定のプログラムに従って保存された動画ファイルに傾き角の情報が記録される。所定の処理完了後、最終的に外部ストレージ１３４に保存される。なお、外部ストレージとしては、例えば、コンパクトフラッシュ（登録商標）、ＳＤ（Secure Digital）メモリ等が挙げられる。

次に、情報処理装置のハードウェア構成図について説明する。図３は本実施形態の情報処理装置のハードウェア構成図である。尚、本実施形態では、情報処理装置の１例として画像形成装置を用いる。情報処理装置は画像形成装置に限定されず、本発明の撮影システムの機能を満たすものであれば、どのようなものでも構わない。

図３において、情報処理装置（以下、「画像処理装置」ともいう。）１５０は、外部ストレージ１６０と、液晶、または有機ＥＬパネルなどで構成されるディスプレイ１６２と、ＵＳＢコネクタ１６６と、無線ＮＩＣ１６４と、ＣＰＵ（Central Processing Unit）１５２と、ＲＡＭ（Random Access Memory）１５４と、フラッシュメモリなどの不揮発性メモリであるＨＤＤ１５６と、キーボードやマウス、タッチパネルなどの入力装置１５８とを具備している。そして外部ストレージ１６０、ディスプレイ１６２、ＵＳＢコネクタ１６６、無線ＮＩＣ１６４、ＣＰＵ１５２、ＲＡＭ１５４、ＨＤＤ１５６、及び入力装置１５８はバス１６８により相互に接続され、各種データのやり取りが行われる。

全天球カメラ１１０との通信により、画像処理装置１５０へ動画ファイルが提供される。提供された動画ファイルは一旦ＨＤＤ１５６に保存される。ＣＰＵ１５２の所定のプログラムに従って、ＨＤＤ１５６から読み出された動画ファイルを１フレーム毎の画像データにデコードされる。動画ファイルは一旦ＲＡＭ１５４に保存される。ここで、１フレーム毎の画像データに対する傾き角の情報は前述の通り、各々の方向に対して複数持っていることになるが、１フレームに対する各々の方向の傾き角は複数持つデータの平均値として算出される。

傾き角の平均値の計算完了後、画像データの角度情報である傾き角に応じて、所定の補正手段を用いることにより変換テーブルが補正される。なお、変換テーブルの補正方法については、後述する。補正された変換テーブルを用いて、１フレーム毎の補正画像データが生成される。尚、全てのフレームに対して変換が行われるまで処理が繰り返される。
補正画像データの生成においては、ＲＡＭ１５４に保存された動画ファイルを一旦静止画ファイルに変換せずに、ＲＡＭ１５４内の動画ファイルからオンメモリで変換する。動画ファイルを静止画に変更せずにオンメモリで行うことで、作業の高速性が増すことになる。

全てのフレームに対する補正画像データの生成が完了したら、補正画像データを繋ぎ合わせて動画データにエンコードする。エンコードされた動画データはＨＤＤ１５６に保存され、出力時には表示器であるディスプレイ１６２などに動画が表示される。

次に本実施形態の傾き角と画像データの記録方法について説明する。図４は全天球カメラで撮影を行っている際の、傾き角と画像データの取得周期を示す図である。
尚、図４の一例は、傾き角の取得周期が画像データの取得周期の「１／４」である場合のものである。傾き角の取得周期は、この周期に限定されず、例えば「１／５」、「１／１０」等でも構わず、画像データの取得周期よりも短い周期であれば十分である。
本実施形態では、撮影時に生成される動画ファイルに対して、全天球カメラの傾きに応じて変化する傾き角の情報を取得し、更に、傾き角の情報を記録する。

画像データの取得周期に対して、加速度センサから傾き角を取得する周期は「１／４」である。つまり１つの画像データを取得した際に、加速度センサは４つの傾き角を取得するということになる。尚、加速度センサが傾き角を取得する周期は一定であることが求められる。取得する周期が一定でなければ、鉛直方向に対する傾き角を算出する際に、求めた角度の信憑性が低くなるためである。
また、図４を参照すると、１つの画像データに対して、７つの傾き角の情報が記録されることがわかる。これは、画像データと同周期の傾き角と、その同周期の前後３周期分の傾き角も、該画像データの傾き角の情報として関連付けるからである。

尚、図４では、該画像データを取得したタイミングで取得した鉛直方向に対する傾き角以外では、その前後の第１の周期間に取得した全ての傾き角を関連付けているが、例えば直前１つ、直後１つの計２つの傾き角のみを関連付けてもよく、あるいは前後の第１の周期間で、加速度データのノイズの小さい傾き角の情報のみを関連付けるようにしてもよい。いずれにしても、画像データ取得の前後の周期間で、画像データの取得周期に同期しない傾き角の情報を追加で関連付けられればそれで十分である。

次に、本実施形態における全天球カメラで用いられる広角レンズの一例である魚眼レンズの射影関係について説明する。図５は、実施形態におけるデジタルカメラに用いられる魚眼レンズの射影関係について（Ａ）魚眼レンズの側面視における外観、（Ｂ）撮影画像の平面視における射影関数ｆ、をそれぞれ説明する図である。

１８０度を超える画角を有する魚眼レンズを通して撮影された画像は、撮影位置から略半球分のシーンの撮影画像となる。そして、図５（Ａ）、（Ｂ）に示すように、入射角度φに対応する像高ｈで画像生成され、入射角度φと像高ｈとの関係は、射影関数ｆによって定められている（ｈ＝ｆ×φ）。なお、射影関数は、魚眼レンズの性質によって異なるものである。

射影変換の方式（関数）としては、中心射影方式、立体射影方式、等距離射影方式、等立体角射影方式、正射影方式を挙げることができる。中心射影方式は、通常の画角を有するレンズを備えるデジタルカメラで撮影する際に用いられる方式であり、その他４つの方式は、魚眼レンズなどの超広角な画角を持つ広角レンズを用いたデジタルカメラで利用される方式である。

次に、本実施形態におけるデジタルカメラで撮影された全方位（全天球）画像のフォーマット（表現方式）について説明する。図６は、本実施形態におけるデジタルカメラで撮影された全方位（全天球）画像フォーマットについて、（Ａ）平面で表した場合、（Ｂ）球面で表した場合、についてそれぞれ説明する図である。

図６において、全方位（全天球）画像のフォーマットは、図６（Ａ）に示すように、平面に展開した場合、水平角度が０から３６０度、垂直角度が０から１８０度の、角度座標に対応する画素値を有する画像である。角度座標は、図６（Ｂ）に示す球面上の座標点の各点と対応付けられており、地球儀上における緯度経度座標のようなものとなっている。

魚眼レンズで撮影された画像の平面座標値と、全方位（全天球）画像の球面座標値との関係は、図５で説明したような射影関数ｆ（ｈ＝ｆ×φ）を用いることによって対応付けることができる。これにより、魚眼レンズで撮影された画像２枚を変換して結合（合成）することによって、図６（Ａ）や図６（Ｂ）に示すような全方位（全天球）画像を作成することができる。

次に、本実施形態における全天球カメラの傾きについて説明する。図７は、本実施形態における全天球カメラの傾きについて説明する概略図である。

図７において、鉛直方向は、グローバル座標系のｘ１−ｙ１−ｚ１の３次元方向の直交座標におけるｚ１軸に一致する。この方向と、図９に示したデジタルカメラの向きとが一致するときが、カメラが傾いてない状態である。これが一致していないときは、デジタルカメラは傾いた状態となる。

つまり、重力ベクトルからの傾き角度βと、ｘ１−ｙ１平面での傾斜角度αとは、加速度センサの出力を用いて、次の（１）式で求められる。ここで、Ａｘは、加速度センサのカメラ座標系のｘ０軸方向成分の値、Ａｙは加速度センサのカメラ座標系のｙ０軸方向成分の値、Ａｚは加速度センサのカメラ座標系のｚ０軸方向成分の値である。

次に、鉛直補正演算について説明する。図８は、本実施形態におけるデジタルカメラで撮影された全方位（全天球）画像の鉛直補正演算について、（Ａ）カメラ座標系、（Ｂ）グローバル座標系、を用いて説明する図である。

図８において、グローバル座標系の３次元直交座標を（ｘ１、ｙ１、ｚ１）、球面座標を（θ１、φ１）と表記し、カメラ座標系の３次元直交座標を（ｘ０、ｙ０、ｚ０）、球面座標を（θ０、φ０）と表記する。

図８に示した式を用いて、球面座標（θ１、φ１）から球面座標（θ０、φ０）への変換を行う。まず、傾きを補正するためには、３次元直交座標を用いて回転変換する必要があるため、図８の式を用いて、球面座標（θ１、φ１）から３次元直交座標（ｘ１、ｙ１、ｚ１）への変換を行う。

次に、カメラ傾きパラメータ（α、β）を用いて、図８に示した回転座標変換により、グローバル座標系（ｘ１、ｙ１、ｚ１）を、カメラ座標系（ｘ０、ｙ０、ｚ０)に変換する。換言すれば、カメラ傾きパラメータ（α、β）の定義となる。

これは、グローバル座標系を、まずｚ１軸を軸にα回転させ、次にｘ１軸を軸にβ回転させるとカメラ座標系になることを意味する。最後に、図８に示された式を用いて、カメラ座標系の３次元直交座標（ｘ０、ｙ０、ｚ０）を球面座標（θ０、φ０）に戻す変換を行う。

次に、変換テーブルを用いた傾きの補正方法について説明する。図９は、本実施形態におけるデジタルカメラで撮影された全方位（全天球）画像の変換テーブルについて示す。

図９（Ａ）は、変換前後の画像座標値のマトリクスを示した変換テーブル（変換データともいう。）を説明する図である。また、図９（Ｂ）は、変換後画像の座標値、変換前画像の座標値との関係を説明する図である。

画像変換に用いられる変換テーブルは、図９（Ａ）に示すように変換後画像の座標値である（θ、φ）（pix：ピクセル）と、それに対応する変換前画像の座標値（ｘ、ｙ）（pix）とのデータセットを、すべての変換後画像の座標値に対して有する。ここで、変換テーブルとして、テーブル状のデータ構造を示しているが、必ずしもテーブル状のデータ構造でなくても良い。つまり、変換データであれば良い。

図９（Ａ）に示した変換テーブルにしたがって、撮像された画像（変換前画像）から変換後画像を生成する。具体的には、図７に示すように、変換前と変換後の変換テーブルの対応関係から、変換後画像の各画素を、座標値（θ、φ）（pix）に対応する変換前画像の座標値（ｘ、ｙ）（pix）の画素値を参照することによって生成する。

次に本発明の一実施例について説明する。図１０は本実施形態のフローチャートである。以後は図１０のフローチャートに沿って説明を行う。本実施形態では、撮像装置を動画撮影モードとしておき、動画撮影モードで撮影を行う。
動画撮影が開始されると、所定の周期に従って撮像された画像データの取り込みを行う（ステップ１）。

画像データの取り込みが完了すると、所定の画像処理が行われる（ステップ２）。ここでの画像処理は、歪み補正、画素欠陥補正等の一般的な画像処理を指しており、傾き角における補正ではない。次に、取得手段１１により、加速度センサより所定の周期に従って鉛直方向に対する傾き角を取得する（ステップ３〜６）。本実施形態の一例では、傾き角の取得は、前述の通り画像データの取得の「１／４」の周期で行われる。

画像データ、および傾き角の取得が完了したら、画像データを動画データに圧縮する（ステップ７）。圧縮された動画は所定の記録媒体に記録される（ステップ８）。以上が１フレームに対する処理であり、以後ステップ９でＹＥＳとなるまで全てのフレームに対してステップ１からステップ８の処理が繰り返し行われる。

撮影が完了した際、記録媒体に保存された動画データの拡張領域に傾き角の情報を記録する（ステップ１０）。前述した通り、取得した画像データに対して同期する画像データと同周期の傾き角の情報と、その前後の画像データ取得の周期間に取得した計６つの傾き角の情報も、該画像データの傾き角の情報として扱われて記録される。
ここまでが、撮像装置本体における処理である。

次に、本実施形態の情報処理装置について説明する。本実施形態では、情報処理装置の一例として画像処理装置を用いる。図１１は本実施形態の情報処理装置のフローチャートである。以後は図１１のフローチャートに沿って説明を行う。

まず、撮像装置で処理された動画データを取り込む（ステップ１１）。ここで動画データの取得は有線、無線などのネットワーク通信や、外部ストレージを用いるなどデータを送受信できればどのような方法でも構わない。
算出手段２１が、取得した動画ファイルに記録されている傾き角の情報から１フレーム毎の平均値を算出する（ステップ１２）。

加速度センサのデータから傾き角は、段落「００４０」から「００４８」に記載してあるカメラ座標系、グローバル座標系におけるカメラ傾きのパラメータを算出することで求められる。加速度データは各座標系でＸ方向、Ｙ方向、Ｚ方向の３軸座標である。

傾き角の平均値の算出が完了したら、以下、生成手段３１により、１フレーム毎の鉛直方向に対する傾き角の補正を行う（ステップ１３）。尚、傾き角の修正においては、段落「００４９」から「００５４」に記載されている変換テーブルの補正を用いて行われる。尚、変換テーブルは所定の記録部、例えばＲＡＭなどの保存されている。所定のプログラムに沿って傾き角の修正が行われる。

傾き角の補正が完了したら、動画ファイルの付加情報を読み込む（ステップ１４）。ここでの付加情報とは、動画データとして表示する際の時間情報、および音声情報などを含む。
算出した傾き角の平均値、および動画ファイルの付加情報により、傾き角が修正された補正画像データを生成する（ステップ１５）。
補正画像データの生成は、動画ファイルを一旦静止画ファイルへと変換した後行うのではなく、記録媒体、例えばＲＡＭなどに格納されている状態で、オンメモリで変換を行う。この手法により高速に処理が完了する。以上が生成手段３１により行われる。以後、算出手段２１、および生成手段３１によるステップ１１からステップ１５の処理が、全てのフレームに対してステップ１６でＹＥＳとなるまで繰り返し行われる。

全てのフレームに対して補正画像データの生成が完了したら、補正画像データを繋ぎ合わせて正距円筒図法動画へとエンコードする（ステップ１７）。
図１２は本実施形態での傾き角の補正を行い、エンコードされた動画の静止画像である。図１３は本実施形態での傾き角の補正を行わずに、エンコードされた動画の静止画像である。

図１２、および図１３での鉛直上向きに対する画面の歪み、および水平面の差異は明らかであり、図１３では鉛直上向きが定まっておらず、画面が球面に見えてしまう。
図１２の本願発明の傾き角の補正を施すことで、撮像装置が傾いている場合でも鉛直上向きが明瞭に再現され、撮像装置が傾いていない水平な場合とほぼ同等の動画像を提供することができる。

以上説明してきたように、本願発明では、全方位（全天球）の撮像装置、および情報処理装置を用いて、画像データの取得周期の「１／４」の周期で加速度センサから傾き角を取得し、高精度の傾き角補正を行うことができる。また、傾き角補正後の画像データをオンメモリで行うことにより、高速の処理が可能となる。

以上、本実施を好適な形態で行う一例を説明した。ここでは特定の具体例を示して説明を行ったが、特許請求の範囲の趣旨及び範囲から逸脱しない範囲で、本具体例の様々な修正、および形態変更などが可能である。

動画データを構成する画像データの傾き角の補正、および補正画像データの生成などは、ハイスペックな機能を備えた装備が必要と考えられるため、全天球カメラ、および画像形成装置の２つの機器でもって、本願発明の撮影システムが構成されている。
例えば、撮像装置１つでもって、本願発明の撮影システムを実現できるようなものがあれば、画像形成装置のような情報処理装置を用いなくてもよい。

本願発明の撮影システムを実現できるような構成であれば、用いる装置の具備する内容、および装置の数量などは本実施例に限定されない。

１１ 取得手段
２１ 算出手段
３１ 生成手段
１１０ 全天球カメラ
１５０ 画像処理装置

特開２０１３−２１４９４７号公報 特開２０１０−２７１６７４号公報 特開２０１０−２７１６７５号公報

Claims (7)

1. 撮像素子から原画像データを取り込む第１の周期よりも短い「１／整数」の第２の周期で前記撮像素子の鉛直方向に対する傾き角を取得する取得手段と、
   前記原画像データを取得したタイミングで取得した前記撮像素子の鉛直方向に対する傾き角と、その前後のタイミングで取得した前記撮像素子の鉛直方向に対する傾き角と、に基づいて平均傾き角を算出する算出手段と、
   前記平均傾き角に基づいて原画像データを補正した補正画像データを生成する生成手段と、
   を備える、
   ことを特徴とする全天球動画の撮影システム。
2. 前記取得手段は、取得した３次元方向の加速度から、前記撮像素子の鉛直方向に対する傾き角を算出する、
   ことを特徴とする請求項１に記載の全天球動画の撮影システム。
3. 前記算出手段は、前記原画像データを取得したタイミングで取得した前記撮像素子の鉛直方向に対する傾き角と、その直前と、直後のタイミングで取得した前記撮像素子の鉛直方向に対する傾き角の合計３つの傾き角と、に基づいて平均傾き角を算出する、
   ことを特徴とする請求項１から２に記載の全天球動画の撮影システム。
4. 前記算出手段は、前記原画像データを取得したタイミングで取得した前記撮像素子の鉛直方向に対する傾き角と、その前後の前記第１の周期間に取得した全ての前記撮像素子の鉛直方向に対する傾き角と、に基づいて平均傾き角を算出する、
   ことを特徴とする請求項１から２に記載の全天球動画の撮影システム。
5. 前記第２の周期は、前記第１の周期の「１／４」である、
   ことを特徴とする請求項１から４に記載の全天球動画の撮影システム。
6. 前記生成手段は、前記補正画像データの生成をオンメモリで行う、
   ことを特徴とする請求項１から５に記載の全天球動画の撮影システム。
7. 撮像素子から原画像データを取り込む第１の周期よりも短い「１／整数」の第２の周期で前記撮像素子の鉛直方向に対する傾き角を取得する処理と、
   前記原画像データを取得したタイミングで取得した前記撮像素子の鉛直方向に対する傾き角と、その前後のタイミングで取得した前記撮像素子の鉛直方向に対する傾き角と、に基づいて平均傾き角を算出する処理と、
   前記平均傾き角に基づいて原画像データを補正した補正画像データを生成する処理と、
   を含むことを特徴とするプログラム。

Images