JP5843034B1 - 動画表示装置およびプログラム - Google Patents

Abstract

【課題】撮影手段の傾きに応じて傾き補正された動画データを生成する動画表示装置及びプログラムを提供する。【解決手段】撮像システムの機能ブロック２００は、複数のフレームの画像を撮像する撮像手段２１２と、基準方向に対する撮像手段の傾きを検出する検出手段２１６と、検出手段により検出された傾きの時系列データを記録する記録手段２１８と、記録手段により記録された傾きの時系列データに基づき、撮像手段により撮像された複数のフレーム各々の画像に対し傾き補正を行う補正手段２５８と、補正手段により補正された複数のフレーム各々の画像に基づき、動画データを生成する動画生成手段２６４とを含む。【選択図】図３

Description

本発明は、動画表示装置およびプログラムに関し、より詳細には、画像を生成するための動画表示装置およびプログラムに関する。

近年、１回の撮影により、半球ないし全天球の視野で静止画を撮像できるカメラが実用化されている。また、手持ちで全天球の静止画の撮影が可能なサイズのものも提供されている。このような手持ちサイズのカメラでは、カメラ本体が傾き易いため、本体カメラが傾いた状態の撮影に対応して、撮像された静止画像を傾き補正して表示する機能を備えたものも知られている。

静止画の傾きを補正する技術としては、特開２０１３‐２１４９４７号公報（特許文献１）が知られている。特許文献１は、鉛直方向が正しい静止画を得る目的で、２つの魚眼レンズを有する静止画撮影装置において、内部に備えた鉛直方向からの傾きを得るための加速度センサが検出した傾き角に応じて、魚眼画像の正則画像への変換パラメータを算出する構成を開示する。

また、静止画像のみならず、超広角のレンズにより広範囲を動画像として保存可能なカメラも開発されている。

しかしながら、従来技術の動画像を撮像するカメラでは、手ぶれ補正機能を搭載したものは知られているものの、カメラ本体が傾いた状態で撮像された場合に、鉛直方向と動画像撮像装置の天頂方向とが異なることに起因して不具合があった。すなわち、カメラ本体が傾いた状態で撮像した動画像を視聴する際に、鉛直方向を合わせたまま視野の変更が行われた場合に、複雑な回転が発生してしまい、視聴者に対して３次元酔いなどの不快感を与えてしまう可能性があった。特許文献１の従来技術は、静止画に対応するものであり、鉛直方向が正しい動画像を作成できる技術ではなかった。そのため、カメラの傾き状態にかかわらず、鉛直方向が正しい全天球動画を生成する技術の開発が望まれていた。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、基準方向に対する検出された撮影手段の傾きに応じて傾き補正された動画データを生成することができる、動画表示装置およびプログラムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する動画表示装置を提供する。動画表示装置は、複数の画像データおよび各画像データに対応する画像撮像時の傾きに関する情報を受け取る情報取得手段と、傾きに関する情報に基づいて各画像データの座標変換を行う変換手段と、座標変換された各画像データから動画データを生成する動画生成手段とを備える。

上記構成により、基準方向に対する検出された撮影手段の傾きに応じて傾き補正された動画データを生成することができる。

本実施形態による全天球動画撮像システムを構成する全天球カメラの断面図。 本実施形態による全天球動画撮像システムのハードウェア構成図。 本実施形態による全天球動画撮像システム上に実現される全天球動画撮像記録機能に関連する主要な機能ブロック図。 本実施形態による全天球動画撮像システムを構成する全天球カメラ側で行われる撮像処理を示すフローチャート。 本実施形態における魚眼レンズを用いた全天球カメラにおける射影関係を説明する図。 本実施形態における全天球カメラの傾きについて説明する概略図である。 本実施形態による全天球動画撮像システムを構成する画像処理装置側で行われる記録処理を示すフローチャート。 好ましい実施形態において、補正に際して、動画を構成する一部のフレームの画像のみをＲＡＭ上に展開する構成を説明する図。 本実施形態による全天球動画撮像システムを構成する画像処理装置側で行われる変換処理を示すフローチャート。 本実施形態における全天球画像フォーマットについて、（Ａ）平面で表した場合および（Ｂ）球面で表した場合についてそれぞれ説明する図。 本実施形態において全天球カメラにおいて各撮像素子で取得した画像、画像処理装置において生成された画像をそれぞれ説明する図。 本実施形態における全天球画像の変換テーブルを説明する図。 本実施形態における全天球画像の変換テーブルに対する修正処理の動作フローについて説明するフローチャート。 本実施形態における全天球画像の鉛直補正演算について、（Ａ）カメラ座標系、（Ｂ）グローバル座標系を用いて説明する図。 傾き補正前の動画のフレームを説明する図。 傾き補正後の動画のフレームを説明する図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、撮像装置および撮像システムの一例として、２つの魚眼レンズを光学系に含む撮像体を備える全天球カメラ、および、全天球カメラと、該全天球カメラから分離された画像処理装置とを備える全天球動画撮像システムを用いて説明する。

［全体構成］
以下、図１および図２を参照しながら、本実施形態による全天球動画撮像システムの全体構成について説明する。図１は、本実施形態による全天球動画撮像システム１００を構成する全天球カメラ１１０の断面図である。図１に示す全天球カメラ１１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッター・ボタン１８とを備える。

図１に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの撮像素子２２Ａ，２２Ｂとを含み構成される。結像光学系２０各々は、例えば６群７枚の魚眼レンズとして構成されている。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。このような広角な結像光学系２０と撮像素子２２とを１個ずつ組み合わせたものを広角撮像光学系と参照する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。より具体的には、結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。

図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理手段に順次、画像フレームを出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、画像処理装置１５０へ転送されて、合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。そして、全天球画像の連続するフレームにより、全天球動画が構成される。ここで、説明する実施形態では、全天球画像および全天球動画を生成するものとして説明するが、水平面のみ３６０度を撮影した、いわゆるパノラマ画像およびパノラマ動画であってもよい。

図２（Ａ）は、本実施形態による全天球動画撮像システム１００を構成する全天球カメラ１１０のハードウェア構成を示す。全天球カメラ１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続される加速度センサ１３６とを含み構成される。

ＣＰＵ１１２は、全天球カメラ１１０の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂ（図１における撮像素子２２Ａ，２２Ｂである。）と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。

動画圧縮ブロック１１８は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。加速度センサ１３６は、３軸の加速度成分を検出し、検出された加速度成分は、鉛直方向を検出して全天球画像の天頂補正を施すために用いられる。

全天球カメラ１１０は、さらに、外部ストレージインタフェース１２２と、ＵＳＢ（Universal Serial Bus）インタフェース１２６と、シリアルブロック１２８とを含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。シリアルブロック１２８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１４０が接続される。

電源スイッチの操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球カメラ１１０の後述する各機能部および処理が実現される。

図２（Ｂ）は、本実施形態による全天球動画撮像システム１００を構成する画像処理装置１５０のハードウェア構成を示す。図２（Ｂ）に示す画像処理装置１５０は、ＣＰＵ１５２と、ＲＡＭ１５４と、ＨＤＤ（Hard Disk Drive）１５６と、マウスやキーボードなどの入力装置１５８と、外部ストレージ１６０と、ディスプレイ１６２と、無線ＮＩＣ１６４と、ＵＳＢコネクタ１６６とを含み構成される。

ＣＰＵ１５２は、画像処理装置１５０の各部の動作および全体動作を制御する。ＲＡＭ１５４は、ＣＰＵ１５２の作業領域を提供する。ＨＤＤ１５６は、ＣＰＵ１５２が解読可能なコードで記述された、オペレーティング・システム、本実施形態による画像処理装置１５０側の処理を担うアプリケーションなどの制御プログラムを格納する。

入力装置１５８は、マウス、キーボード、タッチパッド、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。外部ストレージ１６０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。ディスプレイ１６２は、ユーザ操作に応答して再生された全天球動画を画面表示する。無線ＮＩＣ１６４は、全天球カメラ１１０などの外部機器との無線通信の接続を確立する。ＵＳＢコネクタ１６６は、全天球カメラ１１０などの外部機器とのＵＳＢ接続をする。

画像処理装置１５０に電源が投入され電源がオン状態になると、ＲＯＭやＨＤＤ１５６から制御プログラムが読み出され、ＲＡＭ１５４にロードされる。ＣＰＵ１５２は、ＲＡＭ１５４に読み込まれた制御プログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、画像処理装置１５０の後述する各機能部および処理が実現される。

［全天球動画撮像記録機能］
以下、図３〜図１６を参照しながら、本実施形態による全天球動画撮像システム１００が備える全天球動画撮像記録機能について説明する。図３は、本実施形態による全天球動画撮像システム１００上に実現される全天球動画撮像記録機能に関連する主要な機能ブロック２００を示す。

全天球カメラ１１０の機能ブロック２１０は、図３に示すように、撮像部２１２と、動画圧縮部２１４と、傾き検出部２１６と、傾き記録部２１８と、出力部２２０とを含み構成される。これに対して、画像処理装置１５０の機能ブロック２５０は、読出部２５２と、画像復元部２５４と、傾き取得部２５６と、傾き補正部２５８と、動画生成部２６４とを含み構成される。

まず、全天球カメラ１１０側から説明する。撮像部２１２は、上述した２つの広角撮像光学系を含み構成され、２つの撮像素子１３０Ａ，１３０Ｂを制御して、連続したフレームを順次撮像する。撮像素子１３０各々で撮像される画像は、概ね全天球のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子１３０それぞれが撮像した画像を部分画像と参照する場合がある。

動画圧縮部２１４は、動画圧縮ブロック１１８を含み構成され、撮像部２１２が撮像した連続するフレームを所定の動画形式の画像データに圧縮する。動画圧縮形式としては、特に限定されるものではないが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）、Ｍｏｔｉｏｎ ＪＰＥＧ（Joint Photographic Experts Group）、Ｍｏｔｉｏｎ ＪＰＥＧ２０００などの種々の動画圧縮形式を挙げることができる。

Ｍｏｔｉｏｎ ＪＰＥＧ系は、連続した静止画として動画を表現する形式であり、この方式を採用することにより、高品質な動画を得ることができる。これに対して、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣやＨ．２６５／ＨＥＶＣは、時間軸方向の圧縮を行うことができるため、処理効率が高く、外部ストレージへの書き込み遅延の要件を緩和することができる。手持ちされる全天球カメラ１１０側では、小型化および低コスト化の要請から、高性能なハードウェアを搭載することが難しいため、好ましい実施形態では、時間軸方向の圧縮を行うことができ、ビットレートを抑制することができるＨ．２６４／ＭＰＥＧ−４ ＡＶＣやＨ．２６５／ＨＥＶＣを好適に採用することができる。

なお、説明する実施形態では、撮像部２１２が、２つの撮像素子１３０Ａ，１３０Ｂで同一のタイミングで撮像された２つの魚眼画像をそれぞれ独立に出力し、動画圧縮部２１４が、独立した２つの魚眼画像のフレームから２つの動画形式の画像データをそれぞれ独立して生成する。しかしながら、画像データの表現形式は、特に限定されるものではない。他の実施形態では、撮像部２１２が、２つの撮像素子１３０Ａ，１３０Ｂで撮像された２つの魚眼画像を接合して構成された単一の画像を出力し、動画圧縮部２１４は、この２つの魚眼画像を含む画像をフレームとした動画形式の画像データに圧縮することができる。

傾き検出部２１６は、加速度センサ１３６を含み構成され、所定の基準方向に対する全天球カメラ１１０の傾きを検出する。ここで、所定の基準方向は、典型的には、鉛直方向であり、重力加速度が作用する方向である。傾き検出部２１６は、３軸加速度センサ１３６の各加速度成分の信号を傾き記録部２１８に出力する。傾き記録部２１８は、傾き検出部２１６から入力される加速度成分の信号を、動画形式の画像データのフレームに同期してサンプリングし、所定の基準方向に対する傾き角を求める。そして、動画形式の画像データのフレーム・レートと同等のレートの時系列データとして記録する。

なお、説明する実施形態では、動画形式の画像データ中のフレームに対し、傾き角が一対一で対応し、フレームと傾き角とは同期されて保存されているものとして説明する。しかしながら、保存する傾き角のレートは、必ずしもフレーム・レートと同一としなくともよく、一致しない場合は、フレーム・レートでリサンプリングすることにより、フレームに一対一で対応した傾き角を得ればよい。

上述した動画圧縮部２１４が生成した動画形式の画像データ各々および傾き記録部２１８が記録した傾き角データは、ＤＲＡＭ１３２上に一旦保持される。出力部２２０は、ＤＲＡＭ１３２上に保持されている動画形式の画像データ各々および傾き角データを、適切な書き込みサイズとなったタイミングで、２つの動画ファイル２３０および傾き角ファイル２４０として外部ストレージ１３４に書き出す。撮影が終了すると、２つの動画ファイル２３０および傾き角ファイル２４０が閉じられ、これにより、全天球カメラ１１０側の処理が終了する。

外部ストレージ１３４は、全天球カメラ１１０から取り出され、画像処理装置１５０に装着される。続いて、画像処理装置１５０側について説明を移す。読出部２５２は、画像処理装置１５０に装着された外部ストレージ１６０から、全天球カメラ１１０側で書き出した２つの動画ファイル２３０および傾き角ファイル２４０を読み出す。読み出された２つの動画ファイル２３０は、それぞれ、画像復元部２５４に渡される。また、読み出された傾き角ファイル２４０は、傾き取得部２５６に渡される。なお、外部ストレージ１３４を着脱させるほか、全天球カメラ１１０に備えられたＵＳＢインタフェースを通じて、画像処理装置１５０は、全天球カメラ１１０に備えられた外部ストレージ１３４から、全天球カメラ１１０側で書き出した２つの動画ファイル２３０および傾き角ファイル２４０を読み出しても良い。

画像復元部２５４は、読み出された動画ファイル２３０各々に対応する所定のコーデックを用いて、読み出された動画ファイル２３０各々をデコードし、動画を構成する静止画のフレームを復元して、傾き補正部２５８に入力する。傾き取得部２５６は、読み出された傾き角ファイル２４０から、画像復元部２５４で復元される各フレームに対応する傾き角を取得し、傾き補正部２５８に入力する。

傾き補正部２５８は、傾き取得部２５６から入力された、フレーム各々に対応する傾き角に基づき、画像復元部２５４で復元された静止画のフレーム各々に対し傾き補正を施すとともに、魚眼画像から全天球画像への変換を行う。傾き補正部２５８は、より詳細には、変換テーブル修正部２６０と、全天球画像生成部２６２とを含み構成される。

画像処理装置１５０側では、２つの撮像素子１３０Ａ，１３０Ｂで撮像された２つの魚眼画像（これは、それぞれ、動画ファイルのフレームとして画像処理装置へ渡される。）それぞれを球面座標系へ変換し、全天球画像を生成するための変換テーブルを事前に準備している。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、全天球カメラ１１０の真上方向が鉛直線に一致するものとして、魚眼画像を全天球画像へ変換するデータである。説明する実施形態において、全天球カメラ１１０が傾いた状態にあり、真上方向と鉛直線とが一致しない場合は、傾きに応じてこの変換データを修正することで天頂補正を反映させる。

動画形式の画像データ各々に含まれる部分画像は、受光領域が面積エリアを成す２次元の撮像素子で撮像されたものであり、平面座標系（ｘ，ｙ）で表現された画像データとなっている（図５（Ｂ）、並びに図１１に示す第１部分画像および第２部分画像）。これに対し、変換テーブルを用いて天頂補正がかけられた補正後の画像は、球面座標系（動径を１とし、２つの偏角θ，φを有する極座標系である。）で表現された全天球画像フォーマットの画像データとなる（図１０、および図１１に示す全天球画像）。

変換テーブルは、動画ファイル内に保存され、動画ファイルの読出しとともに取得してもよいし、全天球カメラ１１０から画像処理装置１５０へ予めダウンロードしておいてもよい。あるいは、全個体共通の基本となる変換テーブルを画像処理装置側に事前に準備しておき、動画ファイル内に全天球カメラ１１０の個体特有の変換テーブルを得るための差分データを書き込み、動画ファイルの読出しとともに、固有の変換テーブルを復元してもよい。

変換テーブル修正部２６０は、取得された傾き角に応じて、画像の天頂方向（観測者の真上の点を指す方向）が、検出された鉛直線（重力が作用する鉛直方向がなす直線）に一致するものとなるように、上述した変換テーブルに対し修正を施す。したがって、修正された変換テーブルを用いて魚眼画像を全天球画像に変換すれば、傾きに応じて天頂方向が鉛直線に一致するような補正が反映された形で、全天球画像が生成される。全天球画像生成部２６２は、変換テーブル修正部２６０により修正された変換テーブルを用いて、復元されたフレーム各々に対応する２つの部分画像を、天頂補正が反映された全天球画像へと変換し、全天球画像のフレーム各々を動画生成部２６４に出力する。変換テーブル修正部２６０および全天球画像生成部２６２により、補正後の複数のフレーム各々の画像の天頂方向が鉛直線に一致するように補正される。

動画生成部２６４は、傾き補正部２５８により補正された複数のフレーム各々の全天球画像に基づき、所定の動画圧縮形式でエンコードし、最終的な動画データを生成し、動画ファイル２７０として書き出す。この動画ファイル２７０は、全天球画像の動画データである。動画圧縮形式は、上述した形式を含む如何なる形式であってもよい。

視聴の際には、この生成された動画データに基づき、表示アプリケーション上で、全天球において指定された特定の視野の画像が再生されて表示されることになる。この生成された動画データにおいては、画像の天頂方向が鉛直線に対し固定されているため、その動画データを視聴中に、表示視野を変更したとしても、視野を変更した通りの回転が生じるのみである。ひいては、視野変更と傾きの変化を伴う複雑な回転の発生が抑制され、三次元酔いなどの不快感を与える可能性を軽減することができる。

以下、図４および図７を参照しながら、本実施形態による全天球カメラ１１０側での処理および画像処理装置１５０側での処理の詳細について、分けて説明する。図４は、本実施形態による全天球動画撮像システム１００を構成する全天球カメラ１１０側で行われる撮像処理を示すフローチャートである。図４に示す処理は、全天球カメラ１１０の動画撮影ボタンが押下されるなど、撮像の開始が指示されたことに応答して、ステップＳ１００から開始される。ステップＳ１０１では、全天球カメラ１１０は、撮像部２１２により、撮像素子１３０から１フレーム分の画像データを読み込む。

図５は、魚眼レンズを用いた全天球カメラ１１０における射影関係を説明する図である。本実施形態において、１つ魚眼レンズで撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。また、魚眼レンズは、図５（Ａ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像を生成する。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、魚眼レンズの性質によって異なるが、等距離射影方式と呼ばれる投影モデルの魚眼レンズでは、ｆを焦点距離として、下記式（１）で表現される。

上記投影モデルとしては、その他、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））および正射影方式（ｈ＝ｆ・ｓｉｎφ）を挙げることができる。いずれの方式においても、光軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。また、本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図５（Ｂ）に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。

説明する実施形態において、１フレーム分の画像データは、２つの撮像素子１３０Ａ，１３０Ｂにより撮像された、それぞれ撮影範囲の概ね半球分が投影されたイメージサークル全体を含む２つの平面画像（図１１の第１部分画像および第２部分画像）となる。

再び図４を参照すると、ステップＳ１０２では、全天球カメラ１１０は、撮像部２１２により、撮像した１フレーム分の画像データに対し、画像処理を施して、ＤＲＡＭ１３２上に保存させる。まず、撮像素子１３０から取り込まれたベイヤーＲＡＷの画像に対し、オプティカル・ブラック補正処理、欠陥画素補正処理、リニア補正処理、シェーディング処理などが行われる。そして、ホワイト・バランス処理、ガンマ補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調処理および色補正処理が行われる。

ステップＳ１０３では、全天球カメラ１１０は、傾き記録部２１８により、撮像したフレームに同期して傾き角を検出し、メモリ上に保存させる。

図６は、本実施形態における全天球カメラ１１０の傾きについて説明する概略図である。図６において、鉛直方向は、グローバル座標系のｘｙｚ３次元方向の直交座標におけるｚ軸に一致する。この方向と、図６に示した全天球カメラ１１０の真上の方向とが一致するときが、カメラが傾いてない状態である。これが一致していないときは、全天球カメラ１１０は、傾いた状態となる。

つまり、重力ベクトルからの傾き角度（以下、傾き角α）と、ｘｙ平面での傾斜角度β（以下、傾き角β）とは、加速度センサの出力を用いて、下記式（２）で求められる。ここで、Ａｘは、加速度センサ１３６のカメラ座標系のｘ０軸方向成分の値、Ａｙは、加速度センサ１３６のカメラ座標系のｙ０軸方向成分の値、Ａｚは、加速度センサ１３６のカメラ座標系のｚ０軸方向成分の値である。ステップＳ１０３では、加速度センサ１３６の各軸方向成分の値から傾き角α，βが求められて、保存される。

再び図４を参照すると、ステップＳ１０４では、全天球カメラ１１０は、取り込んだ１フレーム分の２つの画像データをそれぞれ動画圧縮部２１４へ入力し、動画形式の２つの画像データをメモリに書き込む。ステップＳ１０５では、全天球カメラ１１０は、動画を書き込む必要があるか否かを判定する。ステップＳ１０５で、所定の書き込みサイズに達し、動画を書き込む必要があると判定された場合（ＹＥＳ）は、ステップＳ１０６へ処理を分岐させる。ステップＳ１０６では、全天球カメラ１１０は、出力部２２０により、ＤＲＡＭ１３２上の動画形式の２つの画像データを外部ストレージ１３４にそれぞれ動画ファイルとして記録する。一方、ステップＳ１０５で、まだ所定の書き込みサイズに達しておらず、動画を書き込む必要がないと判定された場合（ＮＯ）は、ステップＳ１０７へ直接処理を進める。

ステップＳ１０７では、全天球カメラ１１０は、傾き角データを書き込む必要があるか否かを判定する。ステップＳ１０７で、所定の書き込みサイズに達し、傾き角データを書き込む必要があると判定された場合（ＹＥＳ）は、ステップＳ１０８へ処理を分岐させる。ステップＳ１０８では、全天球カメラ１１０は、出力部２２０により、ＤＲＡＭ１３２上の傾き角データを外部ストレージ１３４に傾き角ファイルとして記録する。一方、ステップＳ１０７で、まだ所定の書き込みサイズに達しておらず、傾き角データを書き込む必要がないと判定された場合（ＮＯ）は、ステップＳ１０９へ直接処理を進める。

ステップＳ１０９では、全天球カメラ１１０は、撮影が終了されているか否かを判定する。ステップＳ１０９で、まだ、ユーザによる撮影終了の指示が行われておらず、撮影が終了ではないと判定された場合（ＮＯ）は、ステップＳ１０１へ処理をループさせて、次のフレームに対する処理を続ける。一方、ステップＳ１０９で、ユーザから撮影終了の指示を受領済みであり、撮影が終了されたと判定された場合（ＹＥＳ）は、ステップＳ１１０へ処理を進める。

ステップＳ１１０では、全天球カメラ１１０は、画像処理装置１５０側で画像を変換するために必要となる付加情報を動画ファイル内に書き込み、ステップＳ１１１で全天球カメラ１１０側での撮像処理を終了する。ここで、画像を変換するために必要となる付加情報は、出力先の画像処理装置１５０側で、動画を撮像した特定の全天球カメラ１１０に適合した変換テーブルを復元するためのデータである。付加情報は、変換テーブルそのままであってもよいし、基準の変換テーブルに対応する各個体の変換テーブルの差分データであってもよいし、事前定義された複数の変換テーブルのうちから該当する変換テーブルを特定する識別情報であってもよい。

図７は、本実施形態による全天球動画撮像システム１００を構成する画像処理装置１５０側で行われる記録処理を示すフローチャートである。図７に示す記録処理は、画像処理装置１５０上で全天球動画生成用のアプリケーションにおいて、動画ファイルおよび傾き角ファイルが指定されてエンコード記録開始の指示が行われたことに応答して、ステップＳ２００から開始される。

ステップＳ２０１では、画像処理装置１５０は、読出部２５２により、外部ストレージ１６０から２つの動画ファイルを読み込み、画像復元部２５４により、所定フレーム数の２つの画像データを復元する。ステップＳ２０２では、画像処理装置１５０は、読出部２５２により、外部ストレージ１６０から傾き角ファイルを読み込み、傾き取得部２５６により、上記復元した所定フレーム数のフレーム各々に対応する傾き角を取得する。

動画ファイル２３０を構成するすべてのフレームがＲＡＭ１５４上に展開されると、メモリを過大に消費することになる。そこで、好ましい実施形態では、補正に際して、動画ファイル全体を構成するフレームのうちの、起点となるフレームに基づく一部のフレームの画像データおよび傾き角データのみをＲＡＭ１５４上に展開するよう構成することができる。この展開する単位は、ＭＰＥＧ−４／ＡＶＣなどの時間軸での圧縮を行う形式を採用する場合は、図８に示すような、ＧＯＰ（Group of Picture）あるいはそれと同等の概念で参照される単位でメモリ上に展開することが効率的である。

ＧＯＰは、Ｉピクチャ、ＰピクチャおよびＢピクチャを含み構成される。Ｉピクチャは、再生の起点となるピクチャであり、フレーム内予測符号化にて符号化されるピクチャである。Ｐピクチャは、前のＩピクチャまたはＰピクチャからフレーム間予測により符号化されるピクチャである。Ｂピクチャは、前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用してフレーム間予測により符号化されるピクチャである。ＧＯＰは、少なくとも１つのＩピクチャを含むため、ＧＯＰの単位でフレームを展開することにより、最小限のフレームを展開することで、所定フレーム数の静止画を復元することができる。

再び図７を参照すると、ステップＳ２０３では、画像処理装置１５０は、動画ファイル内から付加情報を読み込み、当該動画ファイルを撮像した特定の全天球カメラ１１０固有の変換テーブルを準備する。ステップＳ２０４では、画像処理装置１５０は、取得された傾き角および読み出された付加情報に基づき、動画ファイル各々から復元された所定フレーム数の画像データ各々に変換処理を施す。

図９は、本実施形態による全天球動画撮像システム１００を構成する画像処理装置１５０側で行われる変換処理を示すフローチャートである。図９に示す変換処理は、図７に示したステップＳ２０４で呼び出されて、ステップＳ３００から開始される。ステップＳ３０１〜ステップＳ３０７のループでは、フレーム毎に、ステップＳ３０２〜ステップＳ３０６の処理が実行される。

ステップＳ３０２では、画像処理装置１５０は、当該フレームに対応する傾き角α，βを設定する。ステップＳ３０３では、画像処理装置１５０は、変換テーブル修正部２６０により、取得された傾き角α，βに応じて変換テーブルを修正する。変換テーブルの修正処理については、詳細を後述する。

ステップＳ３０４では、画像処理装置１５０は、復元した当該フレームの２つの画像データを入力する。ステップＳ３０５では、画像処理装置１５０は、全天球画像生成部２６２により、修正された変換テーブルを用いて、復元された当該フレームの２つの画像データ（それぞれ魚眼画像を含む。）を変換し、補正された２つの画像データ（魚眼画像各々に対応する各半球を担当する２つの全天球画像）を生成する。ステップＳ３０６では、画像処理装置１５０は、当該フレームの補正された２つの画像データ（各半球を担当する全天球画像）を組み合わせることで、最終的な画像データ（全天球画像）を生成する。

図１０は、本実施形態における全天球画像フォーマットについて、（Ａ）平面で表した場合および（Ｂ）球面で表した場合についてそれぞれ説明する図である。図１０において、全天球画像のフォーマットは、図１０（Ａ）に示すように、平面に展開した場合、水平角度が０から３６０度、垂直角度が０から１８０度の角度座標に対応する画素値を有する画像である。角度座標は、図１０（Ｂ）に示す球面上の座標点の各点と対応付けられており、地球儀上における緯度経度座標のようなものとなっている。

魚眼レンズで撮影された画像の平面座標値と、全天球画像の球面座標値との関係は、図５で説明したような射影関数ｆ（ｈ＝ｆ（θ））を用いることによって対応付けることができる。これにより、魚眼レンズで撮影された部分画像２枚を変換して結合（合成）することによって、図１０に示すような全天球画像を作成することができる。

次に、実際に魚眼レンズで撮影された画像を用いて全天球画像が生成される過程について説明する。図１１は、本実施形態における全天球カメラ１１０において２つの魚眼レンズを介して各撮像素子１３０Ａ，１３０Ｂで取得した画像、画像処理装置１５０において変換テーブルによって変換され、変換後の２つの画像が合成されることにより生成された画像をそれぞれ説明する図である。

図１１において、２つの魚眼レンズを介して各撮像素子１３０Ａ，１３０Ｂで撮影された部分画像は、図９で説明したステップＳ３０５の処理、すなわち、修正後の変換テーブルを用いた画像変換処理によって、まず２枚の全天球画像に変換される。この時点で、画像は、全天球画像フォーマットに合致した表現形式、すなわち、図１０に対応する表現となっている。

図９に示したステップＳ３０６の処理、すなわち、２枚の変換後の画像合成処理によって、図１１に示す最終的な１枚の全天球画像が生成される。すなわち、各半球を担当する２つの全天球画像が、重複している部分をキーにして、重ね合わせて合成され、最終的な全天球画像が生成される。

図１１には、各部分画像における画素の位置と、対応する全天球画像上の画素の位置との対応関係についても示されている。全天球カメラ１１０が正しく垂直方向に載置され、傾くことなく撮影され、全天球カメラ１１０の真上の方向が鉛直線上にある場合、歪曲補正を行うだけで、図１１に示すように、撮影した者が認識する天頂と、水平線とが一致するような画像を得ることができる。このとき、水平線は、部分画像においても中心に位置し、全天球画像においても地球儀の赤道に対応する位置に配置されることになる。

再び図９を参照すると、ステップＳ３０１〜ステップＳ３０７のループを抜けると、ステップＳ３０８で本処理を終了し、図７に示す呼び出し元の処理に戻す。

再び図７を参照すると、ステップＳ２０５では、画像処理装置１５０は、動画生成部２６４により、変換された所定フレーム数の画像データをエンコードし、傾き補正された動画データを生成して、全天球画像の動画ファイル２７０に書き込む。ステップＳ２０６では、画像処理装置１５０は、読み出す動画ファイル２３０の最後のフレームに達したか否かを判定する。ステップＳ２０６で、未だ最後のフレームに達していないと判定された場合（ＮＯ）は、ステップＳ２０１へ処理をループさせて、次のフレーム群へ処理を進める。一方、ステップＳ２０６で、最後のフレームに達したと判定された場合（ＹＥＳ）は、ステップＳ２０７へ処理を分岐させて、本記録処理を終了する。

なお、好ましい実施形態では、ステップＳ２０４と、ステップＳ２０５との間に、時間方向のノイズ抑制画像処理、モスキートノイズやブロックノイズ等の動画圧縮コーデックに由来するノイズや輪郭のボケに対する画像補正処理、色合いの修正処理などの処理を実行することが好ましい。これにより、最終的な画像の高画質化が期待できる。

以下、図１２〜図１４を参照しながら、本実施形態における全天球画像の変換テーブルを、記録された全天球カメラ１１０の傾き角に応じて修正する処理について説明する。

図１２は、本実施形態における全天球画像の変換テーブルを説明する図である。図１２（Ａ）は、変換前後の画像座標値のマトリクスを示した変換テーブルを説明する図である。また、図１２（Ｂ）は、変換後画像の座標値および変換前画像の座標値の関係を説明する図である。

図９に示すステップＳ３０３で説明した画像変換に用いられる変換テーブルは、図１２（Ａ）に示すように、変換後画像の座標値である（θ，φ）（ｐｉｘ：ピクセル）と、それに対応する変換前画像の座標値（ｘ，ｙ）（ｐｉｘ）とのデータセットを、すべての変換後画像の座標値に対して有するものである。ここで、変換テーブルとして、説明する実施形態では、テーブル状のデータ構造を示しているが、必ずしもテーブル状のデータ構造でなくてもかまわない。つまり、変換データであればよい。

図１２（Ａ）に示した変換テーブルに従って、撮像された部分画像（変換前画像）から変換後画像を生成することができる。具体的には、図１２（Ｂ）に示すように、変換前と変換後の変換テーブル（図１２（Ａ））の対応関係から、変換後画像の各画素を、座標値（θ，φ）（ｐｉｘ）に対応する変換前画像の座標値（ｘ，ｙ）（ｐｉｘ）の画素値を参照することによって生成することができる。

修正処理前の変換テーブルは、全天球カメラ１１０の真上方向が鉛直線上に一致するものとして、歪み補正を反映したものであり、傾き角に応じた修正処理が施されることにより、修正後の変換テーブルは、全天球カメラ１１０の真上方向を鉛直線上に一致させる天頂補正が反映されたものとなる。

図１３は、本実施形態における全天球画像に対する変換テーブルの修正処理の動作フローについて説明するフローチャートである。図１３に示す修正処理は、図９に示したステップＳ３０３で呼び出されて、ステップＳ４００から開始される。

図１３において、ステップＳ４０１では、画像処理装置１５０は、変換テーブル修正部２６０により、処理対象である当該フレームに対応する傾き角（α，β）を取得する。次に、ステップＳ４０２では、画像処理装置１５０は、変換テーブル修正部２６０により、変換テーブルの入力値（θ１，φ１）を設定する。なお、図１３において、カメラ座標系については（θ０、φ０）と表記し、グローバル座標系については（θ１、φ１）と表記し、座標系に依存するパラメータ値である（θ、φ）を区別して表記する。すなわち、ここでは、グローバル座標系である（θ１、φ１）が設定される。

次に、ステップＳ４０３では、画像処理装置１５０は、変換テーブル修正部２６０により、鉛直補正演算によって、入力値のグローバル座標系である（θ１、φ１）を、カメラ座標系である（θ０、φ０）に変換する。

ここで、鉛直補正演算について説明する。図１４は、本実施形態における全天球画像の鉛直補正演算について、（Ａ）カメラ座標系、（Ｂ）グローバル座標系を用いて説明する図である。

図１４において、グローバル座標系の３次元直交座標を（ｘ１，ｙ１，ｚ１）、球面座標を（θ１，φ１）と表記し、カメラ座標系の３次元直交座標を（ｘ０，ｙ０，ｚ０）、球面座標を（θ０，φ０）と表記する。

鉛直補正演算では、下記式（３）〜（８）を用いて、球面座標（θ１、φ１）から球面座標（θ０、φ０）への変換を行う。まず、傾きを補正するためには、３次元直交座標を用いて回転変換する必要があるため、下記式（３）式から（５）式を用いて、球面座標（θ１，φ１）から３次元直交座標（ｘ１、ｙ１、ｚ１）への変換を行う。

次に、傾き角（α、β）を用いて、上記回転座標変換（上記式（６））により、グローバル座標系（ｘ１，ｙ１，ｚ１）を、カメラ座標系（ｘ０，ｙ０，ｚ０）に変換する。換言すれば、上記式（６）は、傾き角（α、β）の定義を与える。

これは、グローバル座標系を、まずｚ軸を軸にα回転させ、次にｘ軸を軸にβ回転させるとカメラ座標系になることを意味する。最後に、上記式（７）および式（８）式を用いて、カメラ座標系の３次元直交座標（ｘ０，ｙ０，ｚ０）を球面座標（θ０，φ０）に戻す変換を行う。

次に、鉛直補正演算の他の実施形態について説明する。他の実施形態における鉛直補正演算では、鉛直補正演算では、下記式（９）〜（１６）を用いて、球面座標（θ１、φ１）から球面座標（θ０、φ０）への変換を行うことができる。他の実施形態では、鉛直補正演算を高速化することができる。上記式（３）〜（８）の変換式は、上記式（９）〜（１６）ように書き直される。

すなわち、ｚ軸を軸とする回転α、γは、球面座標（θ、φ）のうちのθの回転そのものであるため、回転変換を、直交座標系に変換することなく、簡単な加減算で可能であり、高速化を可能とする。よって、ｘ軸を軸とする回転βの回転変換のみ、直交座標系を用いた変換が必要となる。これにより、演算速度を上げることができる。

上述した実施形態では、鉛直補正演算により座標変換を行っていた。しかしながら、さらに他の実施形態では、変換テーブルを各々が傾き角（α、β）に応じて異なる値となるように複数保持しておくことで、鉛直補正演算の処理を省略し、さらに高速化を図ることができる。つまり、傾き角（α、β）は、原理的には３次元の実数ベクトルであるが、特定の（α、β）に対してのみ変換テーブルを用意しておいて、検出された傾き角（α、β）に最も近いテーブルを採用することで、すべての場合に対して対応が可能である。あるいは、検出された傾き角（α、β）に近いテーブルを複数抽出し、近さに応じた重み付けや差分を取るといった補間演算を行うことも有効である。これにより、補間演算という比較的単純な演算のみで変換テーブルの補正を行うことができ、演算に掛かる処理を抑制することができる。

再び図１３を参照すると、続いて、ステップＳ４０４では、画像処理装置１５０は、変換テーブル修正部２６０により、変換されたカメラ座標系である（θ０、φ０）を、修正前の変換テーブルを用いて変換前画像の座標値（ｘ、ｙ）に変換する。なお、予め、カメラが傾いていない条件の下で作成された正確な全天球画像が生成されるための変換テーブルが事前に準備されることが前提である。

次に、ステップＳ４０５では、画像処理装置１５０は、変換テーブル修正部２６０により、グローバル座標系の入力値（θ１，φ１）と、最終的に算出された修正前の座標値（ｘ、ｙ）とを、修正後の変換テーブルの対応する座標セットとして保存する。

次に、ステップＳ４０６では、画像処理装置１５０は、未処理の入力値（θ１，φ１）、すなわち、対応する修正前の座標値（ｘ、ｙ）が算出されていないグローバル座標系の入力値（θ１，φ１）が残っているか否かを判定する。ステップＳ４０６で、残っていると判定された場合（ＹＥＳ）は、次の値としてグローバル座標系の入力値（θ１、φ１）が設定されるように、ステップＳ４０２へ処理をループさせる。

一方、ステップＳ４０６で、残っていないと判定された場合（ＮＯ）は、ステップＳ４０７へ処理を分岐させて、本処理を終了し、図９に示した呼び出し元の処理へ戻す。この場合、グローバル座標系の入力値（θ１、φ１）を座標値として有する、全天球画像フォーマットの各画素に対応する補正前の座標値（ｘ、ｙ）の算出が完了したことになる。

以下、図１１、図１５および図１６を参照しながら、具体的な傾きを補正する処理によって得られる動画のフレームについて説明する。図１５は、傾き補正前の動画のフレーム（全天球画像については修正されていない変換テーブルを用いて変換されたもの）を示し、図１６は、傾き補正後の動画のフレーム（全天球画像については修正された変換テーブルを用いて変換されたもの）を示す図である。また、図１１は、全天球カメラ１１０に傾きが無く、真上方向と鉛直線が一致している場合を例示し、図１５および図１６は、全天球カメラ１１０が傾き、真上方向と鉛直線が一致していない場合を例示する。

上述したように、全天球カメラ１１０が正しく垂直方向に載置される場合、図１１に示すように、撮影した者が認識する天頂および水平線が一致するように撮像することができる。全天球カメラ１１０を固定具に装着し、水準器等を用いて調整して撮像できる場合には、正しく垂直方向の撮影が可能である。

しかしながら、一般的に、人間が手持ちで撮像する場合には、水平で垂直に撮影されることは困難である。このように、本体カメラが傾いたままで撮像されると、傾き補正しなければ、図１５に示すように、互いの画像の天頂がずれ、水平線が歪んでしまう。このとき、部分画像における中心線はそのまま全天球画像の赤道に一致することになるが、撮影者が認識する水平線は、全天球画像において曲線として歪んでしまう。仮に図１５に示すように補正を行わないまま動画を視聴すると、視聴中に視野の変更を行った場合、鉛直方向と全天球カメラ１１０の中心軸とのずれによる影響で、三次元酔いの様な不快感を伴ってしまう。

これに対して、本実施形態においては、鉛直上向きと天頂の上方向が一致しているように全フレームの画像を変換した上でエンコードを施すことにより、図１６に示すようなフレームが得られる。すなわち、部分画像上で曲線であった撮影者が認識する水平線が、全天球画像において赤道に一致するようになる。このように変換することで、視聴時に視野の変更を行う場合にユーザに三次元酔い等の違和感を与えない全天球動画の作成が可能になる。

以上説明した実施形態によれば準方向に対する撮影手段の傾きを検出し、検出された傾きに応じて傾き補正された動画データを生成することができる撮像システム、撮像装置、プログラムおよびシステムを提供することができる。

本実施形態による全天球動画撮像記録機能によれば、動画像の各フレームを記録するのと同じ頻度で全天球カメラ１１０の傾き角を動画像の各フレームと紐付けた傾き角データが別ファイルとして保存される。そして、その傾き角ファイルのデータをフレームと同期させつつ、参照しながら動画像の各フレームにて傾きを補正し、動画像の表示や再エンコードが行われる。このため、鉛直方向が正しい全天球動画データを得ることができ、このため、ユーザが視野の変更を行う際に、三次元酔いのような不快感や違和感を感じさせない全天球動画データを提供することができる。

静止画であれば、傾き補正を行わずとも、表示アプリケーション側で、表示の際に傾き角の補正を加味した視野の形成を行うことで対応できる。しかしながら、動画データでは、典型的には、１５〜３０フレーム／秒と、常に表示内容が変遷するため、視聴時に対応することは難しい。上述したように、予め傾き角を補正した全天球動画をエンコードし、動画ファイルを生成しておくことにより、好適に、視聴者に対して３次元元酔いなどの不快感を与えない全天球動画表示が可能となる。

なお、上述した実施形態では、１８０度より大きな画角を有するレンズ光学系で撮像された２つの部分画像を重ね合わせて合成するものとしたが、他の実施形態では、１または複数のレンズ光学系により撮像された３以上の部分画像の重ね合わせ合成に適用してもよい。また、上述した実施形態では、魚眼レンズを用いた撮像システムを一例に説明してきたが、超広角レンズを用いた全天球動画撮像システムに適用してもよい。

また、上述した実施形態では、撮像された複数のフレームの画像を一旦動画形式に圧縮し、圧縮された動画形式の画像データと、傾きの時系列データとを全天球カメラ１１０から出力するものとした。そして、画像処理装置１５０側で、出力された動画形式の画像データと傾きの時系列データとを読み出し、読み出した動画形式の画像データから、複数のフレーム各々の画像を復元し、復元された複数のフレーム各々の画像に対し傾き補正を行っていた。

しかしながら、他の実施形態では、動画形式の画像データを経由せずに、直接、連続する静止画のフレームをグループとして出力する態様としてもよい。すなわち、他の実施形態では、全天球カメラ１１０は、複数のフレームの画像と、傾きの時系列データとを出力する。画像処理装置１５０側では、全天球カメラ１１０により出力された複数のフレームの画像と、傾きの時系列データとを読み出し、読み出した複数のフレーム各々の画像に対し傾き補正を行うことができる。

さらに、上述した実施形態では、外部ストレージを介して、全天球カメラ１１０から画像処理装置１５０へ動画ファイルおよび傾き角ファイルを渡していた。しかしながら、動画データおよび傾き角データの伝達方法は、特に限定されるものではなく、上述したＵＳＢ接続や無線ＬＡＮ接続などの通信手段にて、全天球カメラ１１０から画像処理装置１５０へ転送してもよい。

また、上記実施形態では、全天球カメラ１１０の複数の撮像素子１３０Ａ，１３０Ｂのそれぞれで撮像された画像について動画形式の画像データを作成し、画像処理装置１５０でそれぞれの画像を合成していたが、これに限定されるものではない。すなわち、上述のように全天球カメラ１１０側で、撮像素子１３０Ａ，１３０Ｂのそれぞれで撮像された画像を予め合成し、その合成画像から動画形式の画像データを生成し、そのデータを画像処理装置１５０で処理するようにしてもよい。この場合、画像処理装置で画像を合成する処理は不要となる。

また、上記実施形態では、全天球動画撮像システムとして、全天球カメラ１１０と画像処理装置１５０とを別体として説明を行ったが、これに限られない。すなわち、全天球動画撮像システムは、全天球カメラ１１０と画像処理装置１５０とを一体として構成してもよい。この場合、ＣＰＵ１１２とＣＰＵ１５２を共通のＣＰＵで構成してもよい。また、データ転送用のバス１４２とバス１６８は一つの線で構成され、各ハードウェア部材はその共通バスで繋がれる。このため、外部ストレージや有線または無線の通信手段を使ってデータの転送を行わなくてもよい。さらに、この場合、動画ファイルと傾き角ファイルを別に記録するようなことは行わずに、傾き角とそれに対応する画像が得られたら、傾き角に応じて傾きが補正（変換）された画像データを生成し、それらの画像データから動画データを生成し、ＤＲＡＭ１３２、ＲＡＭ１５４、ＨＤＤ１５６に記録したり、ディスプレイ１６２に表示したりしてもよい。

またさらに、上記実施形態では、鉛直方向と全天球カメラ１１０の真上の方向とが一致するとき、傾きがない状態としていたが、これに限られない。鉛直方向以外では、たとえば水平方向やその他所望の方向を基準方向として設定し、その基準方向に対する全天球カメラ１１０や撮像素子１３０Ａ、１３０Ｂ等所定の物体との傾きに基づいて画像の傾きを修正するようにしてもよい。なお、上記実施形態では、傾きの検出に加速度センサを用いたが、加速度センサと地磁気センサの組合せなどのその他の傾きセンサにより、全天球カメラ１１０や全天球カメラ１１０に固定された撮像素子１３０Ａ、１３０Ｂ、センサ自体等の傾きを検出するようにしてもよい。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

（付記）
（付記１）
撮像システムであって、
複数のフレームの画像を撮像する撮像手段と、
基準方向に対する前記撮像手段の傾きを検出する検出手段と、
前記検出手段により検出された傾きの時系列データを記録する記録手段と、
前記記録手段により記録された傾きの時系列データに基づき、前記撮像手段により撮像された複数のフレーム各々の画像に対し傾き補正を行う補正手段と、
前記補正手段により補正された複数のフレーム各々の画像に基づき、動画データを生成する動画生成手段と
を含む、撮像システム。
（付記２）
前記撮像システムは、さらに、
前記撮像手段により撮像された複数のフレームの画像を動画形式に圧縮する動画圧縮手段と、
前記動画圧縮手段により圧縮された動画形式の画像データと、前記記録手段により記録された傾きの時系列データとを出力する出力手段と、
前記出力手段により出力された動画形式の画像データと傾きの時系列データとを読み出す読出手段と、
前記読出手段により読み出した動画形式の画像データから、複数のフレーム各々の画像を復元する復元手段と
を含み、前記補正手段は、前記読出手段により読み出された傾きの時系列データに基づいて、前記復元手段により復元された複数のフレーム各々の画像に対し傾き補正を行う、付記１に記載の撮像システム。
（付記３）
前記撮像システムは、さらに、
前記撮像手段により撮像された複数のフレームの画像と、前記記録手段により記録された傾きの時系列データとを出力する出力手段と、
前記出力手段により出力された複数のフレームの画像と傾きの時系列データとを読み出す読出手段と
を含み、前記補正手段は、前記読出手段により読み出された傾きの時系列データに基づいて、前記読出手段により読み出した複数のフレーム各々の画像に対し傾き補正を行う、付記１に記載の撮像システム。
（付記４）
前記撮像手段、前記検出手段、前記記録手段および前記出力手段は、撮像装置に含まれ、前記読出手段、前記補正手段および前記動画生成手段は、前記撮像装置と分離された画像処理装置に含まれる、付記２または３に記載の撮像システム。
（付記５）
前記撮像手段は、第１の広角撮像光学系と、第２の広角撮像光学系とを含み、前記撮像手段が撮像するフレームの画像は、前記第１の広角撮像光学系で撮像された第１の部分画像と、前記第２の広角撮像光学系で撮像された第２の部分画像とを含み、前記補正手段は、
前記第１の部分画像および前記第２の部分画像を球面座標系へ変換する変換データに対し前記傾きに応じて修正を施す修正手段と、
前記修正手段により修正された変換データを用いて前記第１の部分画像および前記第２の部分画像を球面座標系へ変換し、全天球画像を生成する全天球画像生成手段と
を含み、前記動画データは、前記全天球画像の動画データである、付記１〜４のいずれか１つに記載の撮像システム。
（付記６）
前記補正手段は、補正に際して、全体を構成するフレームのうちの、起点となるフレームに基づく一部のフレームの画像をメモリ上に展開する、付記１〜５のいずれか１つに記載の撮像システム。
（付記７）
前記基準方向は、鉛直方向であり、前記補正手段は、前記補正手段により補正された複数のフレーム各々の画像の天頂が鉛直線に一致するように補正することを特徴とする、付記１〜６のいずれか１つに記載の撮像システム。
（付記８）
前記検出手段は、加速度センサを含む、付記１〜７のいずれか１つに記載の撮像システム。
（付記９）
画像を撮像する撮像装置であって、
複数のフレームの画像を撮像する撮像手段と、
基準方向に対する前記撮像手段の傾きを検出する検出手段と、
前記検出手段により検出された傾きの時系列データを記録する記録手段と、
前記撮像手段により撮像された複数のフレーム各々の画像を出力する第１の出力手段と、
前記記録手段により記録された傾きの時系列データを出力する第２の出力手段と
を含み、前記第１の出力手段により出力された複数のフレーム各々の画像は、前記第２の出力手段により出力された傾きの時系列データに基づき傾き補正が施される、撮像装置。
（付記１０）
画像を生成する画像処理装置を実現するためのプログラムであって、コンピュータを、
撮像装置により撮像された複数のフレームの画像を含む画像データを読み出す第１の読出手段、
前記画像データに対応する前記撮像装置により記録された前記撮像装置の基準方向に対する傾きの時系列データを読み出す第２の読出手段、
前記第２の読出手段により読み出した傾きの時系列データに基づき、前記第１の読出し手段により読み出された画像データに含まれる複数のフレーム各々の画像に対し傾き補正を行う補正手段、および
前記補正手段により補正された複数のフレーム各々の画像に基づき、動画データを生成する動画生成手段
として機能させるためのプログラム。
（付記１１）
対象を撮像し、複数の画像として出力する撮像手段と、
前記対象を撮像したときの傾きを検出する検出手段と、
前記複数の画像から動画を生成する動画生成手段と、
前記傾きに関する情報および前記動画を出力する出力手段と、
を備えた撮像装置。
（付記１２）
前記出力手段は、前記動画を構成する前記複数の画像と該複数の画像の各画像を撮像した時の傾きに関する情報を対応させて出力する、付記１１に記載の撮像装置。
（付記１３）
前記撮像手段を複数備え、
前記動画生成手段は、前記複数の撮像手段から出力される複数の画像に対して各々動画を生成し、
前記出力手段は、前記各々の動画を出力する、
付記１１または１２に記載の撮像装置。
（付記１４）
対象を撮像し、複数の画像として出力する撮像手段と、
前記対象を撮像したときの傾きを検出する検出手段と、
前記傾きに応じて前記複数の画像の変換を行う画像変換手段と、
前記変換された複数の画像から動画を生成する動画生成手段と、
を備えたシステム。
（付記１５）
前記撮像手段を複数備え、
前記画像変換手段は、前記複数の撮像手段から出力される複数の画像の変換を行い、
前記動画生成手段は、前記変換された複数の画像のうち、前記複数の撮像手段で同じタイミングで撮像した画像を一つに合成した画像から動画を生成する、
付記１４に記載のシステム。

１２…撮像体、１４…筐体、１８…シャッター・ボタン、２０…結像光学系、２２…撮像素子、１００…全天球動画撮像システム、１１０…全天球カメラ、１１２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１８…動画圧縮ブロック、１２０…ＤＲＡＭインタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１３０…撮像素子、１３２…ＤＲＡＭ、１３４…外部ストレージ、１３６…加速度センサ、１３８…ＵＳＢコネクタ、１４０…無線ＮＩＣ、１４２…バス、１５０…画像処理装置、１５２…ＣＰＵ、１５４…ＲＡＭ、１５６…ＨＤＤ、１５８…入力装置、１６０…外部ストレージ、１６２…ディスプレイ、１６４…無線ＮＩＣ、１６６…ＵＳＢコネクタ、１６８…バス、２００…機能ブロック、２１０…機能ブロック、２１２…撮像部、２１４…動画圧縮部、２１６…傾き検出部、２１８…傾き記録部、２２０…出力部、２３０…動画ファイル、２４０…傾き角ファイル、２５０…機能ブロック、２５２…読出部、２５４…画像復元部、２５６…傾き取得部、２５８…傾き補正部、２６０…変換テーブル修正部、２６２…全天球画像生成部、２６４…動画生成部、２７０…動画ファイル

特開２０１３‐２１４９４７号公報

Claims (5)

1. 撮像装置で撮像した複数の画像データ、各画像データに対応する画像撮像時の傾きに関する情報および前記撮像装置固有の付加情報を受け取る情報取得手段と、
   前記傾きに関する情報および前記付加情報に基づいて前記各画像データの座標変換を行う変換手段と、
   座標変換された各画像データから動画データを生成する動画生成手段と、
   を備えた動画表示装置。
2. 前記情報取得手段は、前記複数の画像データを動画形式の画像データとして取得する、請求項１に記載の動画表示装置。
3. 前記動画形式の画像データを複数の画像データに復元する復元手段を備え、
   前記変換手段は、前記復元手段により復元された画像データの座標を変換する、請求項２に記載の動画表示装置。
4. 前記複数の画像データは、複数の撮像素子で撮像され、出力された画像データであり、
   前記変換手段は、前記複数の撮像素子から出力された複数の画像データの座標変換を行い、
   前記動画生成手段は、前記座標変換された複数の画像データのうち、前記複数の撮像素子で同じタイミングで撮像した画像データを一つに合成した画像データから動画データを生成する、
   請求項１ないし３のいずれかに記載の動画表示装置。
5. 動画を表示する装置のコンピュータを、
   撮像装置で撮像した複数の画像データ、各画像データに対応する画像撮像時の傾きに関する情報および前記撮像装置固有の付加情報を取得する情報取得手段、
   前記傾きに関する情報および前記付加情報に基づいて前記各画像データの座標変換を行う変換手段、および
   座標変換された各画像データから動画データを生成する動画生成手段、
   として機能させるためのプログラム。