JP7383911B2 - 撮像システム、画像処理装置、撮像装置およびプログラム - Google Patents

Description

本開示は、撮像システムに関し、より詳細には、撮像システム、画像処理装置、撮像装置およびプログラムに関する。

従来、複数の魚眼レンズを用いて撮影し、得られた複数の画像に対し、歪み補正および射影変換を行い、各レンズにより撮影された部分画像を合成して、１枚の全天球画像を生成する撮像システムが知られている。全天球画像は、専用ビューアやＶＲ（仮想現実）ビューアで閲覧する際には、全天球画像を所定の画角で射影表示して生成された画像を閲覧することができる。一方、汎用のイメージ・ビューアで閲覧する場合や、専用ビューアやＶＲビューアなどで画像選択する場合には、全天球画像フォーマットでの矩形の画像が表示される。全天球画像を矩形の画像として表示する場合、被写体として撮影者を含めて人物が含まれる場合に、被写体の人物の顔の全体が端部で見切れてしまい、不自然な表示となる場合があった。

自撮り等に関し、特開２０１９－９５７４号公報（特許文献１）が知られている。特許文献１は、全天球画像を射影変換した平面画像を再生する際に、自分撮りの時は撮影者自身の位置が画像の中心に正位置となるよう表示し、撮影者の顔の位置や傾きがバラバラで見づらいことを解決することを可能にすることを目的とした技術を開示する。特許文献１の画像処理装置は、全天球画像データを表示する画像表示手段と、撮影者を検出する撮影者検出手段と、前記撮影者検出手段で撮影者が検出された場合に撮影者が画像の中心に正位置となるよう前記画像表示手段で表示する制御手段と、を備える。しかしながら、依然として、全天球画像のような、少なくとも１つの方向で全周する画像において、不自然な表示となる場合があり、充分なものではなかった。

本開示は、上記点に鑑みてなされたものであり、対象被写体が画像端部で分離しない状態で、少なくとも１つの方向で全周する出力画像を出力することができる、撮像システムを提供することを目的とする。

本開示では、上記課題を解決するために、下記特徴を有する撮像システムを提供する。本撮像システムは、互いに異なる方向を向き、画像を撮像する複数の撮像部を含む。本撮像システムは、また、撮像された画像に基づく、少なくとも第１の方向で全周する出力画像であって、撮像された画像に写り込む対象被写体の領域を、出力画像の端部で分割されない所定位置に配置して出力画像を出力する出力部を含む。

上記構成により、対象被写体が画像端部で分離しない状態で、少なくとも１つの方向で全周する出力画像を出力することが可能となる。

図１は、本実施形態による全天球撮像装置の断面図である。 図２は、本実施形態による全天球撮像装置のハードウェアブロック図である。 図３は、本実施形態による全天球撮像装置における画像処理全体の流れを説明する図である。 図４（Ａ）は、全天球画像の生成における画像データフロー図であり、図４（Ｂ）は、全天球画像のデータ構造を平面で表した図であり、図４（Ｃ）は、全天球画像のデータ構造を球面で表した図である。 図５は、本実施形態による全天球撮像装置の機能ブロック図である。 図６は、本実施形態における全天球撮像装置の姿勢の定義を説明する図である。 図７は、本実施形態による全天球画像のロールおよびピッチ方向の回転補正（天頂補正）およびヨー方向の回転補正について説明する図。 図８は、本実施形態による全天球画像に対する水平角度の方向での主要被写体の配置変更を説明する。 図９は、本実施形態による全天球画像に対する垂直角度の方向での主要被写体の配置変更を説明する。 図１０は、本実施形態による全天球撮像装置が実行する、全天球撮像処理を示すフローチャートである。 図１１は、他の実施形態による撮像システムの全体構成図である。 図１２は、他の実施形態による撮像システムを構成することができる情報処理装置のハードウェアブロック図である。

以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、全天球撮像装置１０が単独で撮像システムを構成する場合を一例として説明する。しかしながら、撮像システムの構成は、特に限定されるものではなく、全天球撮像装置１０と情報処理装置とを組み合わせて撮像システムが構成されてもよい。

全天球撮像装置の基本構成
以下、図１～図１０を参照しながら、本実施形態による全天球撮像装置の全体構成について説明する。図１は、本実施形態による全天球撮像装置１０の断面図である。図１に示す全天球撮像装置１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられた撮影ボタン１８とを備える。

図１に示す撮像体１２は、２つのレンズ光学系２０Ａ，２０Ｂと、２つの撮像素子２２Ａ，２２Ｂとを含み構成される。撮像素子２２Ａ，２２Ｂは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサなどである。撮像素子２２Ａ，２２Ｂは、各撮像面が相反するように配置される。なお、説明する実施形態では、２つのレンズ光学系２０Ａ，２０Ｂに対し２つの撮像素子２２Ａ，２２Ｂが複数の撮像部として設けられるものとして説明するが、これに限定されるものではない。他の実施形態では、１つの撮像素子における異なる部分それぞれを撮像部として、複数のレンズ光学系２０Ａ，２０Ｂを通して１つの撮像素子の各部分上で結像することもできる。レンズ光学系２０は、例えば６群７枚や１０群１４枚の魚眼レンズとして構成される。魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１９０度以上の画角を有する。なお、説明する実施形態では、１８０度以上の全画角を有する２つの魚眼レンズを用いるものとして説明するが、全体として所定の画角が得られる限り、３つ以上のレンズ光学系および撮像素子を含んでいてもよい。また、説明する実施形態では、魚眼レンズを用いるものとして説明するが、全体として所定の画角が得られる限り、魚眼レンズに代えて、他の広角レンズ（超広角レンズを含む。）を用いることは妨げられない。

２つのレンズ光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。レンズ光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。なお、説明する実施形態では、視差を低減するために、２つのレンズ光学系２０Ａ，２０Ｂにより集光された光を、２つの９０度プリズムによって２つの撮像素子２２Ａ，２２Ｂに振り割ける屈曲光学系を採用するものとするが、特に限定されるものではなく、視差をより低減するために３回屈折構造としてもよいし、コストを低減するべくストレート光学系であってもよい。

図１に示す実施形態では、レンズ光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理ブロックに順次、画像を出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。なお、説明する実施形態では、全天球画像を生成するものとして説明するが、少なくとも１つの方向で全周する限り、水平面のみ３６０度を撮影した全周画像、いわゆる３６０度パノラマ画像であってもよく、全天球の一部を撮影した画像（例えば、水平面３６０度、水平線から垂直９０度を撮影した全天周（ドーム）画像）であってもよい。また、本実施形態において、全天球画像は、基本的には、静止画として取得するものとするが、動画のフレームとして取得してもよい。

図２、本実施形態による全天球撮像装置１０のハードウェア構成を示す。全天球撮像装置１０は、デジタル・スチルカメラ・プロセッサ（以下、単にプロセッサと称する）１００と、鏡胴ユニット１０２と、プロセッサ１００に接続される種々のコンポーネントから構成されている。鏡胴ユニット１０２は、上述した２組のレンズ光学系２０Ａ，２０Ｂと、撮像素子２２Ａ，２２Ｂとを有している。撮像素子２２は、プロセッサ１００内のＣＰＵ（Central Processing Unit）１３０からの制御指令により制御される。ＣＰＵ１３０の詳細については後述する。

プロセッサ１００は、ＩＳＰ（Image Signal Processor）１０８と、ＤＭＡＣ（Direct Memory Access Controller）１１０と、メモリアクセスの調停のためのアービタ（ＡＲＢＭＥＭＣ）１１２とを含む。さらにプロセッサ１００は、メモリアクセスを制御するＭＥＭＣ（Memory Controller）１１４と、歪曲補正・画像合成ブロック１１８と、顔検出ブロック１１９とを含んでいる。ＩＳＰ１０８Ａ，１０８Ｂは、それぞれ、撮像素子２２Ａ，２２Ｂの信号処理を経て入力された画像に対し、自動露出（ＡＥ：Automatic Exposure）制御、自動ホワイトバランス（Auto White Balance）設定やガンマ設定を行う。なお、図２では、２つの撮像素子２２Ａ，２２Ｂに対応して２つのＩＳＰ１０８Ａ，１０８Ｂが設けられているが、特に限定されるものではなく、２つの撮像素子２２Ａ，２２Ｂに対し１つのＩＳＰが設けられてもよい。

ＭＥＭＣ１１４には、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１１６が接続されている。そして、ＳＤＲＡＭ１１６には、ＩＳＰ１０８Ａ，１０８Ｂおよび歪曲補正・画像合成ブロック１１８において処理を施す際に、データが一時的に保存される。歪曲補正・画像合成ブロック１１８は、レンズ光学系２０および撮像素子２２の２つの組から得られた２つの撮像画像に対し、モーションセンサ１２０からの情報を利用して歪曲補正とともに天頂補正などを施しながら画像合成する。モーションセンサ１２０は、３軸加速度センサ、３軸角速度センサおよび地磁気センサなどを含み得る。顔検出ブロック１１９は、画像から顔検出を行い、人物の顔の位置を特定する。なお、顔検出ブロック１１９とともに、これに代えて、人物の全身像、猫や犬など動物の顔や全身、車や花などの他の被写体を認識する物体認識ブロックが設けられてもよい。

プロセッサ１００は、さらに、ＤＭＡＣ１２２と、画像処理ブロック１２４と、ＣＰＵ１３０と、画像データ転送部１２６と、ＳＤＲＡＭＣ（SDRAM Controller）１２８と、メモリカード制御ブロック１４０と、ＵＳＢ（Universal Serial Bus）ブロック１４６と、ペリフェラル・ブロック１５０と、音声ユニット１５２と、シリアルブロック１５８と、ＬＣＤドライバ１６２と、ブリッジ１６８とを含む。

ＣＰＵ１３０は、全天球撮像装置１０の各部の動作を制御する。画像処理ブロック１２４は、画像データに対し各種画像処理を施す。プロセッサ１００には、リサイズブロック１３２が設けられ、リサイズブロック１３２は、画像データのサイズを補間処理により拡大または縮小するためのブロックである。プロセッサ１００には、また、静止画圧縮ブロック１３４が設けられ、静止画圧縮ブロック１３４は、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）などの静止画圧縮および伸張を行うコーデック・ブロックである。静止画圧縮ブロック１３４は、生成された全天球画像の静止画データを生成するために用いられる。プロセッサ１００には、さらに、動画圧縮ブロック１３６が設けられ、動画圧縮ブロック１３６は、ＭＰＥＧ（Moving Picture Experts Group）－４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。動画圧縮ブロック１３６は、生成された全天球画像の動画データを生成するために用いられる。また、プロセッサ１００には、パワーコントローラ１３７が設けられている。

画像データ転送部１２６は、画像処理ブロック１２４で画像処理された画像を転送する。ＳＤＲＡＭＣ１２８は、プロセッサ１００に接続されるＳＤＲＡＭ１３８を制御し、ＳＤＲＡＭ１３８には、プロセッサ１００内で画像データに各種処理を施す際に、画像データが一時的に保存される。メモリカード制御ブロック１４０は、メモリカードスロット１４２に挿入されたメモリカードおよびフラッシュＲＯＭ（Read Only Memory）１４４に対する読み書きを制御する。メモリカードスロット１４２は、全天球撮像装置１０にメモリカードを着脱可能に装着するためのスロットである。ＵＳＢブロック１４６は、ＵＳＢコネクタ１４８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。ペリフェラル・ブロック１５０には、電源スイッチ１６６が接続される。

音声ユニット１５２は、ユーザが音声信号を入力するマイク１５６と、記録された音声信号を出力するスピーカ１５４とに接続され、音声入出力を制御する。シリアルブロック１５８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１６０が接続される。ここでは、無線通信として、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮ（Local Area Network）を用いるものとして説明するが、特に限定されるものではない。無線通信として、Ｂｌｕｅｔｏｏｔｈ（登録商標）やワイヤレスＵＳＢが用いられてもよいし、第３世代移動通信システム（３Ｇ）や第４世代移動通信システム（４Ｇ）や第５世代移動通信システム（５Ｇ）などの移動通信システムを用いた通信であってもよい。５Ｇは４Ｇと比べても、高速・大容量・低遅延などの点で優れており、全天球撮像装置１０から外部装置への画像データを送信する際に有利である。ＬＣＤ（Liquid Crystal Display）ドライバ１６２は、ＬＣＤモニタ１６４を駆動するドライブ回路であり、ＬＣＤモニタ１６４に各種状態を表示するための信号に変換する。図１に示すもののほか、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）などの映像インタフェースが設けられていてもよい。

フラッシュＲＯＭ１４４には、ＣＰＵ１３０が解読可能なコードで記述された制御プログラムや各種パラメータが格納される。電源スイッチ１６６の操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされ、ＣＰＵ１３０は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御する。また同時に、制御に必要なデータがＳＤＲＡＭ１３８と、図示しないローカルＳＲＡＭ（Static Random Access Memory）とに一時的に保存される。なお、書き換え可能なフラッシュＲＯＭ１４４を使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のバージョンアップを容易に行うことができる。

全体画像処理
図３は、本実施形態における全天球撮像装置１０における画像処理全体の流れを説明する図である。図３に示すように、撮像素子２２Ａおよび撮像素子２２Ｂの各々によって、所定の露出条件パラメータのもとで画像が撮像される。続いて、撮像素子２２Ａおよび撮像素子２２Ｂの各々から出力された画像に対し、図２に示したＩＳＰ１０８Ａ，１０８Ｂにより、第１画像信号処理（処理１）の処理が行われる。第１画像信号処理の処理としては、オプティカル・ブラック（ＯＢ）補正処理、欠陥画素補正処理、リニア補正処理、シェーディング補正処理および領域分割平均処理が実行され、その結果はメモリに保存される。

第１画像信号処理（ＩＳＰ１）の処理が完了すると、続いて、ＩＳＰ１０８Ａ，１０８Ｂにより、第２画像信号処理（処理２）が行われる。第２画像信号処理として、ホワイトバランス（WB (White Balance)ゲイン）処理１７６、ベイヤー補間処理、色補正処理、ガンマ（γ）補正処理、ＹＵＶ変換処理およびエッジ強調（ＹＣＦＬＴ）処理が実行され、その結果はメモリに保存される。

自動露出制御部１７０は、両眼の画像の画像境界部分の明るさが合うように、領域分割平均処理によって得られたエリア積算値を用いて、各撮像素子２２Ａ，２２Ｂを適正露出に設定する。設定される露出条件パラメータとしては、シャッタスピード、ＩＳＯ感度および絞り値を用いることができるが、絞り値は、固定であってもよい。また、特定の場合に、撮像素子２２Ａと撮像素子２２Ｂとのシャッタスピードを同じにすることで、複数の撮像素子２２にまたがる動く被写体に対しても良好に繋ぎ合わせることができる。撮像素子２２Ａ，２２Ｂに対する露出条件パラメータは、自動露出制御部１７０から、各撮像素子２２Ａ、２２ＢのＡＥレジスタ１７２Ａ，１７２Ｂに設定される。また、各撮像素子２２Ａ，２２Ｂについてのホワイトバランス処理のパラメータは、上記領域分割平均処理により計算された分割領域毎のＲＧＢの積算値に基づき、ホワイトバランス計算部１７４により計算される。なお、自動露出制御部１７０およびホワイトバランス計算部１７４は、顔検出ブロック１１９などの検出結果に基づいて、肌の明るさおよび色を最適化することができる。

第２画像信号処理が終了したデータは、歪曲補正・画像合成ブロック１１８により歪曲補正・合成処理が行われ、全天球画像が生成される。歪曲補正・合成処理の過程で、適宜、モーションセンサ１２０からの情報を得て天頂補正および回転補正が行われる。画像は、静止画であれば、例えば図２に示した静止画圧縮ブロック１３４で適宜ＪＰＥＧ圧縮され、メモリに保存され、ファイル保存（タグ付け）が行われる。動画であれば、画像は、図２に示した動画圧縮ブロック１３６で適宜ＭＰＥＧ－４ ＡＶＣ／Ｈ．２６４などの動画フォーマットへ圧縮され、メモリに保存され、ファイル保存（タグ付け）が行われる。ここでは、内部記憶領域にファイル保存として出力するものとして説明するが、さらに、画像データがＳＤカードなどの外部メディアへのファイル保存がされてもよい。また、出力として、スマートフォンなどの情報処理装置に転送することもでき、この際には、無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標））やＢｌｕｅｔｏｏｔｈ（登録商標）などを使用して転送が行われる。
歪曲補正・画像合成

以下、図４を参照しながら、全天球画像の生成および生成される全天球画像について説明する。図４（Ａ）は、全天球画像生成における各画像のデータ構造および画像のデータフローを説明する。まず、撮像素子２２Ａ，２２Ｂ各々で直接撮像される画像は、全天球のうちの概ね半球を視野に収めた画像である。レンズ光学系２０に入射した光は、所定の射影方式に従って撮像素子２２の受光領域に結像される。ここで撮像される画像は、受光領域が平面エリアを成す２次元の撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また、典型的には、得られる画像は、図４（Ａ）において「部分画像Ａ」および「部分画像Ｂ」で示されるように、各撮影範囲が投影されたイメージサークル全体を含む魚眼レンズ画像として構成される。

これら複数の撮像素子２２Ａ，２２Ｂで撮像された複数の部分画像が、歪み補正および合成処理されて、１つの全天球画像が構成され、この全天球画像（エクイレクタングラー形式の画像）が出力される。合成処理では、平面画像として構成される各部分画像から、まず、相補的な各半球部分を含む各画像が生成される。そして、各半球部分を含む２つの画像が、重複領域のマッチングに基づいて位置合わせ（スティッチング処理）され、画像合成され、全天球全体を含む全天球画像が生成される。各半球部分の画像には他の画像との重複領域が含まれるが、画像合成においては、自然なつなぎ目となるように重複領域についてブレンディングが行われる。

図４（Ｂ）は、本実施形態で用いられる全天球画像の画像データのデータ構造を平面で表して説明する図である。図４（Ｃ）は、全天球画像の画像データのデータ構造を球面で表して説明する図である。図４（Ｂ）に示すように、全天球画像の画像データは、所定の軸に対してなされる垂直角度φと、所定の軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。垂直角度φは、０度～１８０度（あるいは－９０度～＋９０度）の範囲となり、水平角度θは、０度～３６０度（あるいは－１８０度～＋１８０度）の範囲となる。

全天球フォーマットの各座標値（θ，φ）は、図４（Ｃ）に示すように、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上に対応付けられる。魚眼レンズで撮影された部分画像の平面座標系と、全天球画像の球面上の座標（球面座標系）とは、所定の変換テーブルにて対応付けされる。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、部分画像を全天球画像へ変換するデータである。

なお、説明する実施形態では、出力の対象となる画像は、球面座標系（動径を１とし、２つの偏角θ，φを有する極座標系である。）で表現され、水平角度の方向で３６０度全周し、かつ、水平角度の方向に直交する垂直角度の方向で往復３６０度全周（１８０度半周を対応する２列合わせて全周）する全天球画像を例に説明するが、これに限定されるものではない。出力の対象となる画像は、少なくとも１つの方向で全周する画像であればよく、他の実施形態では、垂直角度の方向で所定の画角を有し、水平角度の方向で３６０度全周する全周画像（３６０度パノラマ画像）などであってもよいし、垂直角度の方向で０～９０度の画角を有し、水平角度の方向で３６０度全周する全天周画像（ドーム画像）などであってもよい。全周画像を用いる場合は、円筒座標系（動径を１とし、１つの偏角θおよび軸方向の変位ｚを有する座標系である。）で表現される。全天周画像を用いる場合は、球面座標系において、垂直角度φが０度～９０度となった座標系となる。

以下、図５～図１０を参照しながら、本実施形態による全天球撮像装置１０による全天球撮像処理について説明する。図５は、本実施形態による全天球撮像装置１０による全天球撮像処理に関連する機能ブロック図である。図５に示すように、画像処理部２００は、選択受付部２１０と、部分画像取得部２２０と、被写体認識部２３０と、画像合成部２４０と、傾き検出部２５０と、データ出力処理部２６０とを含み構成される。

本実施形態において、全天球撮像装置１０は、複数のモードを有しており、１つのモードとして、人物撮影モードを有する。人物撮影モードは、人物を主な被写体として撮影する際に利用者に使用してもらうことを意図したモードであり、これが選択されると、人物を主要被写体とする場合に適した撮像処理および画像処理のパラメータが設定される。全天球撮像装置１０は、それ以外にもモードを有し得るが、説明の便宜上、人物撮影モード以外のモードとして、通常モードがあるものとして説明する。選択受付部２１０は、複数のモードのうちの１つの選択を受け付ける。

なお、説明する実施形態においては、人物撮影モードを、主要な被写体に特化したモードの一例として説明するが、必ずしも人物撮影に限定されるものではない。種々の物体認識技術が知られており、他の実施形態では、動物（犬や猫）撮影に特化したモードがあってもよいし、その他の物体（花、自動車など）に特化したモードがあることを妨げない。

部分画像取得部２２０は、互いに異なる方向を向く複数のレンズ光学系２０Ａ，２０Ｂを通して撮像素子２２Ａ，２２Ｂで撮像された部分画像を入力画像として取得する。取得される複数の部分画像は、それぞれ、上述したように互いに異なる撮影範囲を有する。なお、選択受付部２１０は、人物撮影モードの選択を受け付けた場合、撮像素子２２およびＩＳＰ１０８に対し、例えば、検出された顔領域を優先する撮像および画像処理パラメータを設定するよう構成されていてもよい。これにより、例えば、人の肌の明るさや色が自然に再現されるように最適化することができる。

被写体認識部２３０は、撮像された部分画像に写り込む所定の対象被写体を認識し、対象被写体の領域の位置情報などの被写体認識結果を生成する。対象被写体の領域の位置情報は、被写体として認識された領域の外形（例えば矩形）を規定する座標値（矩形の場合の４隅の座標値）、または中心座標値およびサイズ（矩形の場合の中心座標値、縦サイズおよび横サイズ）である。また、被写体の数は、１つに限らず、複数あってもよく、その場合には、被写体毎に位置情報が検出される。

また、被写体認識部２３０は、好ましくは、複数の部分画像上で対象被写体を認識することができる。複数の部分画像上で認識された対象被写体の領域の位置情報（平面座標系）は、適宜、全天球画像の座標系（球面座標系）に変換可能である。しかしながら、これに限定されるものではなく、一旦、複数の部分画像を歪み補正および合成処理して全天球画像を得て、得られた全天球画像（合成画像）上で対象被写体が認識されてもよい。なお、被写体の認識には、特に限定されるものではないが、図２に示した顔検出ブロック１１９を用いることができる。ここで、被写体は、人物撮影モードとしているため、人の顔や人の全身を認識するものとする。しかしながら、動物や他の物体に対応するモードを用意する場合には、動物の顔、動物の全身、物体の部分あるいは物体の全体を対象被写体とすることができる。

傾き検出部２５０は、図２に示したモーションセンサ１２０を制御し、所定の基準方向に対する全天球撮像装置１０（撮像体１２）の傾きを検出する。ここで、所定の基準方向とは、典型的には、鉛直方向であり、重力加速度が作用する方向である。傾き検出部２５０により、モーションセンサ１２０の各加速度成分が測定され、傾き検出結果が生成される。傾き検出結果に基づいて、後述する天頂補正処理などが行われる。

画像合成部２４０は、図５を参照して説明した、撮像された複数の部分画像を歪み補正および合成処理して全天球画像を生成する画像合成処理を実行する。画像合成部２４０は、選択受付部２１０からのモードの指定を受けて、人物撮影モードおよび通常モードのいずれが指定されるかに応じて、自身の動作を切り替える。画像合成部２４０は、本実施形態における生成部を構成する。

画像合成部２４０は、より詳細には、回転量決定部２４２と、画像回転部２４４とを含み構成される。画像回転部２４４は、画像合成部２４０が生成する全天球画像に関し、ロール、ピッチおよびヨー方向での回転補正を適用する。回転量決定部２４２は、画像回転部２４４が行う回転補正のためのロール、ピッチおよびヨーの各回転量を決定する。

通常モードでは、傾き検出部２５０による傾き検出結果に基づいて、ロールおよびピッチ方向の回転補正（天頂補正）、および、必要に応じてヨー方向の回転補正が行われる。本実施形態において、人物撮影モードでは、傾き検出部２５０による傾き検出結果に加えて、被写体認識部２３０による被写体認識結果に基づいて、ロール、ピッチおよびヨー方向の回転補正が行われる。以下、まず、図６および図７を参照しながら、通常モードで傾き検出結果に基づいて行われる、ロールおよびピッチ方向の回転補正（天頂補正）およびヨー方向の回転補正について説明する。

図６は、本実施形態における全天球撮像装置１０の姿勢の定義を説明する図である。図６（Ａ）は、全天球撮像装置１０の側面から見た姿勢の定義を示し、図６（Ｂ）は、全天球撮像装置１０の正面から見た姿勢の定義を示す。

図６に示すように、全天球撮像装置１０の姿勢角としては、全天球撮像装置１０の２つのレンズ中央を通る光軸方向を前後方向として、前後方向を軸とした軸周りの回転角（ロール）、全天球撮像装置１０の左右方向を軸とした該軸周りの回転角（ピッチ）、および、上下方向を軸とした回転角（ヨー）が定義される。一方のレンズ（例えば撮影ボタン１８がある側の反対のレンズ）を前面として全天球撮像装置１０をおじぎさせるような回転がピッチで表される。全天球撮像装置１０のレンズ光軸周りの側方回転がロールで表され、全天球撮像装置１０の筐体中心軸周りの回転がヨーで表される。

図７は、本実施形態において行われる全天球画像のロールおよびピッチ方向の回転補正（天頂補正）およびヨー方向の回転補正を説明する図である。図７（Ａ）および図７（Ｃ）は、天頂補正前の全天球画像の定義およびその画像を示し、図７（Ｂ）および図７（Ｄ）は、天頂補正後の全天球画像の定義およびその画像を示す。

上述したように、全天球画像フォーマットの画像データは、所定の軸に対してなす垂直角度φと、上記所定の軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。ここで、所定の軸は、なんら補正がなされない場合は、全天球撮像装置１０を基準として定義される軸となる。例えば、図１に示す全天球撮像装置１０の撮像体１２側を頭部としてその反対側を底部として、底部から頭部へ筐体の中心を通る中心軸を、水平角度θおよび垂直角度φを定義する所定の軸として全天球画像を定義することができる。また、例えば２つのレンズ光学系２０Ａ，２０Ｂのうちの一方の光軸方向が水平角度θで中心に位置するように、全天球画像の水平角度θを定義することができる。

ロールおよびピッチ方向の回転補正（天頂補正）とは、図７（Ａ）のように実際には重力方向に対し中心軸が傾いている状態で撮像された、図７（Ｃ）に示すような全天球画像を、図７（Ｂ）のようにあたかも中心軸が重力方向に一致した状態で撮影されたかのような、図７（Ｄ）に示すような全天球画像に補正する処理をいう。これに対して、ヨー方向の回転補正は、天頂補正により重力方向に中心軸が一致するように補正された全天球画像（図７（Ｄ））において、さらに、重力方向周りの基準から回転をかける処理である。ヨー方向の回転補正は、行われなくてもよく、例えば、モーションセンサ１２０が、３軸加速度に加えて、３軸角速度および方位などを取得できる場合に、全天球画像を特定の方向（例えば磁北）に固定したい場合に、ユーザ選択に応じて、適用される。

通常モードでは、回転量決定部２４２が、傾き検出部２５０による傾き検出結果に基づいて、適切なロールおよびピッチ方向、必要に応じてヨー方向の回転量を算出し、画像回転部２４４が、算出された回転量に基づいて画像回転を適用する。

以下、図８および図９を参照しながら、本実施形態における人物撮影モードにおいて、被写体認識結果および傾き検出結果に基づいて行われる、ロール、ピッチおよびヨー方向の回転補正について説明する。人物撮影モードでは、認識された被写体の配置を回転補正によって変更する。

図８は、本実施形態による全天球画像に対する水平角度の方向での主要被写体の配置変更を説明する図である。図８（Ａ）は、２つの部分画像３００，３１０を示し、図８（Ｂ）は、天頂補正が施された全天球画像３２０を示す。図８（Ｃ）は、天頂補正に加えて、さらに、被写体認識結果に基づくヨー回転補正が施された、被写体配置変更後の全天球画像３３０を示す。

図８（Ａ）には、部分画像３００上で主要被写体（人物の顔）の領域Ｆが認識された状態が示されており、図８（Ｂ）には、天頂補正後の全天球画像３２０における、対応する被写体の領域Ｆ’が示されている。

図８（Ｂ）に示すように、図８の例では、天頂補正が施された全天球画像３２０においては、被写体の領域Ｆ’が、全天球画像３２０の左右の画像端部Ｌ，Ｒで分離した状態で配置されている。図８（Ｂ）に示すような全天球画像３２０であっても、専用ビューアや仮想現実ビューアで閲覧する場合には、全天球画像を所定の画角で射影表示して生成された画像が表示されるため、閲覧者に違和感を与えない。しかしながら、全天球画像フォーマットの画像を、汎用ビューアで表示する場合や、専用ビューア、仮想現実ビューアおよび汎用ビューアで縮小表示画像（サムネイル）をする場合には、２次元の通常の画像と同様の矩形画像として表示される。その場合に、人物の顔が矩形画像両端に分離してしまうと、不自然な絵面となってしまう。

そこで、本実施形態では、人物撮影モードにおいて、回転量決定部２４２は、図８（Ｃ）に示すように、全天球画像３３０において、認識された対象被写体の領域Ｆ’が、該領域が画像端部Ｌ，Ｒで分割されない水平方向の所定位置Ｆ’’に配置されるようなヨー方向の回転量（Ｙａｗ回転量）を決定する。画像回転部２４４は、全天球画像３３０に対し、回転量決定部２４２が決定したヨー方向の回転量で画像回転を適用する。データ出力処理部２６０は、画像回転部２４４が画像回転を施すことによって生成された全天球画像３３０を出力する。ここで、所定位置は、全天球画像において、水平方向での中心寄りの位置であり、より好ましくは、略中心位置である。データ出力処理部２６０は、本実施形態における出力部を構成する。

なお、全天球画像は、画素値の２次元配列であり、そのままでは、矩形形状を有しているが、水平方向で全周しており、０度および３６０度の両端で実際には画像が連続している。このため、ヨー方向の回転補正は、全天球画像において、水平方向での循環的な画像シフトを生じさせる。画像シフトにより、画像右端Ｒからはみ出た部分は、画像左端側Ｌに移動することになり、その反対も同様であり、画像として矛盾なく被写体の配置をシフトさせることが可能である。

また、ヨー方向の回転補正が行われない場合は、２つのレンズ光学系２０Ａ，２０Ｂのうちの一方（例えばレンズ光学系２０Ａ）の光軸方向が水平角度θで中心に位置するように、全天球画像の水平角度θが定義される。このため、ヨー方向の回転補正が行われる場合は、全天球画像中のレンズ光学系の中心に対応する画素が、ヨー方向の回転量の分だけ水平方向に移動する形で現れる。

なお、画像中に複数の被写体が含まれている場合であって、複数の人物が並んで撮影されるような場合は、複数の被写体を合わせた領域が画像端部で分割されないように、好ましくは、全天球画像において、水平方向での中心寄りの位置にくるように、回転量が決定される。例えば、ツーショット画像では、撮影された２人の人物が中心にくるような構図で全天球画像が生成される。

同様に、画像中に複数の被写体が含まれている場合であって、複数の被写体が全天球画像の水平方向に分散しているような場合は、可能な限り、認識された複数の被写体のいずれも画像端部Ｌ，Ｒで分割されないような回転量が決定される。その際に、複数の対象被写体のうちのいずれかの重心（例えば最も大きい面積を有する被写体（より近くの被写体）などを主要被写体としてその重心）が所定位置（例えば中心）に配置されるように回転量を決定してもよい。例えば、全天球撮像装置１０の周りを取り囲んで多数の人物が並んでいるようなシーンに適用される。

なお、被写体領域が画像単で分割しているか否かは、被写体領域の外形（例えば矩形）を規定する座標値（矩形の場合の４隅の座標値）の関係に基づいて判断することができる。例えば、被写体領域の右上隅の座標値（ＲＴ）が、被写体領域の左上隅の座標値（ＬＴ）よりも、左側にあれば、分離していると判断することができる。また、複数の被写体が全天球画像の水平方向に分散しているかは、複数の被写体を包含する領域を求めて、その幅によって判断することができる。例えば、認識された複数の被写体を包含する領域の幅が、３６０度のほとんどの幅を占めている場合は、複数の被写体が全天球画像の水平方向に分散していると判断できる。

これにより、全天球画像において、１または複数の対象被写体として認識された領域以外の領域が画像端部Ｌ，Ｒに位置するように回転量が最適化される。

好ましい実施形態では、水平角度の方向での主要被写体の配置変更に加えて、さらに、被写体認識結果に基づいて上述した天頂補正を修正することによって、垂直方向での主要被写体の配置変更を行うことができる。

図９は、本実施形態による全天球画像に対する垂直角度の方向での主要被写体の配置変更を説明する。図９（Ａ）は、２つの部分画像３５０，３６０を示し、図９（Ｂ）は、天頂補正が施された全天球画像３７０を示す。図９（Ｃ）は、被写体認識結果に基づき天頂補正を修正した場合の被写体配置変更後の全天球画像３８０を示す。

図９（Ａ）には、部分画像３５０上で被写体の領域Ｆ（人物の顔）が認識された状態が示されており、図９（Ｂ）には、天頂補正が施された全天球画像３７０における、対応する被写体の領域Ｆ’が示されている。

図９（Ｂ）に示すように、図９の例では、天頂補正が施された全天球画像３７０において、被写体の領域Ｆ’は、水平方向では概ね中央に位置しているものの、垂直方向で、高緯度側に配置されている。全天球画像では、高緯度側での画像の歪みが大きいため、人物を被写体とした撮影において、人物の顔が歪んで見えるのは、不自然であるといえる。

そこで、本実施形態では、人物撮影モードにおいて、回転量決定部２４２は、通常モードと同様に、まず、傾き検出部２５０による傾き検出結果に基づいて、適切なロールおよびピッチ方向の回転量を算出する。同時に、回転量決定部２４２は、認識された対象被写体の領域Ｆ’が所定基準を満たす場合に、全天球画像３８０において対象被写体の領域Ｆ’’がさらに垂直方向で中心寄りに配置されるようにピッチ方向の追加の回転量を計算して、天頂補正で求められたピッチ方向の回転量を修正し、最終的なピッチ方向の回転量を得る。画像回転部２４４は、全天球画像３８０に対し、回転量決定部２４２により最終的に決定したロールおよびピッチ方向の回転量で画像回転を施す。

ここで、所定基準を満たす場合とは、天頂補正後において、図９（Ｂ）に示すよりも、対象被写体の領域が垂直方向で基準Ｂ（例えば北緯または南緯３０度）より極寄り（高緯度側）に位置する場合である。計算する追加の回転量は、天頂補正後の全天球画像において、対象被写体の領域が垂直方向で基準Ｂより高緯度にあった位置を、少なくとも基準Ｂ上に移動させる程度の回転量である。

なお、通常モードでは、中心軸が重力方向に一致した状態とする天頂補正がかけられる。しかしながら、本実施形態における人物撮影モードでは、中心軸が重力方向に一致した状態とする天頂補正に対して、被写体認識部２３０による被写体認識結果に基づく修正が加えられる。このため、人物撮影モードでは、図９（Ｃ）に示すように、必ずしも中心軸が重力方向に一致した状態とはならない。つまり、上述した所定基準が満たされる場合には、天頂補正が部分的に犠牲となる。そのため、所定基準を満たす場合にだけ垂直方向の主要被写体の配置変更を行うことで、大きな偏りが無い場合に天頂補正を優先することができる。

このように、被写体認識結果に基づいて全天球画像における主要被写体の配置を変更した上で画像を出力するので、全天球画像フォーマットの画像として自然な仕上がりとなる。汎用ビューアで表示する場合であっても、人物の顔が矩形画像の両側で分離しないよう中央よりに配置された表示となり、自然な絵面となる。また、一般的に、この全天球画像に基づいて縮小表示画像（サムネイル）が生成されることとなる。このため、専用ビューア、仮想現実ビューアおよび汎用ビューアで縮小画像（サムネイル）表示する場合でも、自然な絵面となる。

なお、説明する実施形態では、部分画像から各半球部分を含む画像に変換し、得られた画像を合成して全天球画像を生成し、生成された全天球画像に対して、ロール、ピッチおよびヨー方向の画像回転を施す流れとして説明した。しかしながら、変換処理、合成処理および画像回転の順序は、特に限定されるものではない。

部分画像Ａと部分画像Ｂ（それを変換した相補的な各半球部分を含む２つの全天球画像）それぞれに対して画像回転を施した後に合成処理する流れとしてもよい。また、全天球フォーマットの画像に対して回転座標変換を施すほか、部分画像を全天球画像に変換するための変換テーブルに対し、ロール、ピッチおよびヨー方向の画像回転を反映し、画像回転が反映された変換テーブルに基づいて、部分画像Ａおよび部分画像Ｂから補正後の全天球画像を直接生成することもできる。

図１０を参照しながら、本実施形態による、被写体配置変更を行う全天球画像撮像処理について、より詳細に説明する。なお、図１０に示す処理は、静止画の全天球画像を撮影する場合に対応する。また、図１０に示す各ステップの処理は、全天球撮像装置１０が行うものとして説明するが、全天球撮像装置１０のＣＰＵ１３０や他の適切なハードウェアブロック（歪曲補正・画像合成ブロック１１８、顔検出ブロック１１９、ＩＳＰ１０８、静止圧縮ブロック１３４）が実行を担う。

図１０に示す処理は、例えば、ユーザからの撮影ボタン１８の押下を検出して、ステップＳ１００から開始される。ステップＳ１０１では、全天球撮像装置１０は、自身になされた設定値を参照し、選択されたモードが、通常モードおよび人物撮影モードのいずれであるかを特定する。ステップＳ１０２では、特定されたモードに応じて処理を分岐させる。

ステップＳ１０２で、通常モードであると判定された場合は、ステップＳ１０３へ処理が分岐される。ステップＳ１０３では、全天球撮像装置１０は、通常の設定で、図２に示した２つの撮像素子２２Ａ，２２Ｂを制御し、２つの部分画像を取得する。ステップＳ１０４では、全天球撮像装置１０は、図２に示したモーションセンサ１２０を制御し、所定の基準方向に対する全天球撮像装置１０の傾きを検出し、傾き検出結果を取得する。ステップＳ１０５では、全天球撮像装置１０は、回転量決定部２４２により、傾き検出結果に基づいて、ロール、ピッチおよびヨー方向（適宜）の回転量を決定し、ステップＳ１１３へ処理を進める。

一方、ステップＳ１０２で、人物撮影モードであると判定された場合は、ステップＳ１０６へ処理が分岐される。ステップＳ１０６では、全天球撮像装置１０は、例えば人物撮影用の設定で、図２に示した２つの撮像素子２２Ａ，２２Ｂを制御し、２つの部分画像を取得する。ステップＳ１０７では、全天球撮像装置１０は、図２に示したモーションセンサ１２０を制御し、所定の基準方向に対する全天球撮像装置１０の傾きを検出し、傾き検出結果を取得する。ステップＳ１０８では、全天球撮像装置１０は、回転量決定部２４２により、傾き検出結果に基づいて、ロールおよびピッチ方向の回転量を決定する。人物撮影モードでは、傾き検出結果に基づくヨー方向の回転量は計算しない。

ステップＳ１０９では、全天球撮像装置１０は、被写体認識部２３０により、被写体認識結果を取得する。ステップＳ１１０では、全天球撮像装置１０は、回転量決定部２４２により、被写体認識結果に基づいて、ヨー方向の回転量を決定する。ステップＳ１１１では、全天球撮像装置１０は、被写体の垂直方向の位置が所定条件を満たすか否かを判定する。ステップＳ１１１で、所定条件が満たされると判定された場合（ＹＥＳ）は、ステップＳ１１２へ処理が進められる。ステップＳ１１２では、全天球撮像装置１０は、回転量決定部２４２により、ステップＳ１０８で傾き検出結果に基づいて決定されたピッチ方向の回転量を修正し、ステップＳ１１３へ処理を進める。

通常モードおよび人物撮影モードのいずれにおいても、ステップＳ１１３の前段で、２つの部分画像が取得され、ロール、ピッチおよびヨー方向の回転量が求められている。ステップＳ１１３では、全天球撮像装置１０は、画像回転部２４４により、出力する全天球画像に関し、決定されたロール、ピッチおよびヨー方向の回転量で回転補正を適用する。より具体的には、ロール、ピッチおよびヨー方向の回転量で、図４（Ｃ）に示すような変換テーブルに回転座標変換を施す。

ステップＳ１１４では、全天球撮像装置１０は、画像合成部２４０により、ステップＳ１１３の回転補正が反映された変換テーブルを用いて、部分画像を歪み補正し、それぞれ相補的な半球部分を含む２つの補正画像を取得し、得られた２つの補正画像を合成し、全天球画像を生成する。なお、詳細な説明は省略するが、ステップＳ１１４において、適宜、パターン・マッチングなどにより、２つの補正画像間のつなぎ位置が検出され、検出されたつなぎ位置に応じて、得られた２つの部分画像の合成処理が施されることとなる。この際に、補正画像間の重複領域において、適宜、ブレンディングなどが行われる。

ステップＳ１１５では、全天球撮像装置１０は、データ出力処理部２６０により、合成された全天球画像を、適切な方式（ＪＰＥＧなど）で、記憶装置、記録媒体やモニタ、携帯情報端末などの装置に出力し、ステップＳ１１６で本処理を終了させる。

なお、図１０を参照しながら静止画の全天球画像を撮影する場合を一例として全天球画像撮像処理を説明した。しかしながら、全天球動画に関しても、動画中の特定のフレームをサムネイル表示したりする場合があり、そのようなサムネイル表示のためのフレームを対象として、本実施形態における主要被写体の配置を変更する処理を適用してもよい。

また、上述した実施形態においては、天頂補正を行うモードを、人物撮影モードとの対比としての通常モードとして参照したが、天頂補正が行わないモードがあってもよいし、ヨー方向の回転補正に関して有無など細分化されていてもよい。

また、図１０を参照しながら、全天球画像を撮影するとともに、主要被写体の配置を変更して全天球画像を合成する、全天球撮像装置１０が実行する処理として説明した。しかしながら、他の実施形態では、全天球撮像装置１０による撮影後の画像データに基づいて、全天球撮像装置１０上で、または、別の情報処理装置上で、本実施形態による主要被写体配置変更処理を行こともできる。

例えば、撮影時には、互いに異なる撮影範囲を有する複数の部分画像を含む画像（デュアルフィッシュアイ形式のＲＡＷ画像など）で画像ファイルを一旦保存し、メタデータとして、上述した傾き検出結果と、被写体認識結果と、人物撮影モードが選択された旨を保持することができる。その後、全天球撮像装置１０上で、または情報処理装置上で、画像ファイルを読み出し、部分画像を全天球画像に変換する処理において、人物撮影モードが選択されていた場合に、主要被写体の配置を変更しながら、全天球画像を合成することができる。なお、被写体認識結果は、事後的に認識処理で得られてもよいし、人物撮影モードの指定も、事後的に行われてもよい。

また、例えば、撮影時に一旦、互いに異なる撮影範囲を有する複数の部分画像を合成して得られる天頂補正前または天頂補正後の全天球画像（エクイレクタングラー形式）で画像ファイルを一旦保存し、メタデータとして、適宜、傾き検出結果、被写体認識結果、人物撮影モードが選択された旨を保持することができる。その後、全天球撮像装置１０上で、または他の情報処理装置上で、画像ファイルを読み出し、人物撮影モードが選択されていた場合に、全天球画像に対して、主要被写体の配置の変更を行う画像回転を適用して、全天球画像を合成することができる。

また、これらの処理を、情報処理装置上で行う場合には、情報処理装置のＣＰＵや他の適切なハードウェアブロック（ハードウェアアクセラレータなど）が実行を担う。また、全天球撮像装置１０および情報処理装置を組み合わせて撮像システムを構成し、全天球撮像装置１０および情報処理装置が協働して全天球画像を撮影するとともに全天球画像合成することもでき、その場合の全天球撮像装置１０および情報処理端末装置間の処理分担は、任意である。

図１１は、そのような他の実施形態による撮像システム１の全体構成図である。図１１に示すように、撮像システム１は、全天球撮像装置１０および情報処理装置５０を組み合わせて構成される。

図１２は、そのような他の実施形態による、全天球撮像装置１０とともに撮像システム１を構成することができる情報処理装置５０のハードウェア構成を示す。情報処理装置５０は、スマートフォンやタブレットコンピュータなどのモバイル端末、パーソナル・コンピュータ、ワークステーション、サーバ・コンピュータなどのコンピュータ・システムである。図１２に示す情報処理装置５０は、ＣＰＵ５２と、ＲＡＭ５４と、ＨＤＤ（Hard Disk Drive）５６とを含み構成される。ＣＰＵ５２は、情報処理装置５０の各部の動作および全体動作を制御する。ＲＡＭ５４は、ＣＰＵ５２の作業領域を提供する。ＨＤＤ５６は、ＣＰＵ５２が解読可能なコードで記述された、オペレーティング・システム、本実施形態による情報処理装置５０側の処理を担うアプリケーションなどのプログラムを格納する。ＨＤＤに代えて、ＳＳＤ（Solid State Drive）が設けられてもよい。

情報処理装置５０は、さらに、入力装置５８と、外部ストレージ６０と、ディスプレイ６２と、無線ＮＩＣ６４と、ＵＳＢコネクタ６６とを含み構成されてもよい。入力装置５８は、マウス、キーボード、タッチパッド、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。外部ストレージ６０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。

ディスプレイ６２は、ユーザが操作するための操作画面の表示、撮影前または撮影中の全天球撮像装置１０による撮像画像のモニタ画像の表示、保存された動画や静止画の再生、閲覧のための表示を行うことができる。ディスプレイ６２および入力装置５８により、ユーザは、操作画面を介して全天球撮像装置１０に対する撮影指示や各種設定変更を行うことが可能となる。

無線ＮＩＣ６４は、全天球撮像装置１０などの外部機器との無線ＬＡＮ通信の接続を確立する。ＵＳＢコネクタ６６は、全天球撮像装置１０などの外部機器とのＵＳＢ接続を確立する。なお、一例として、無線ＮＩＣ６４およびＵＳＢコネクタ６６を示すが、特定の規格に限定されるものではなく、Ｂｌｕｅｔｏｏｔｈ（登録商標）やワイヤレスＵＳＢなどの他の無線通信、有線ＬＡＮ（Local Area Network）などの有線通信で外部機器と接続されてもよい。また、無線は、３Ｇ、４Ｇ、５Ｇ第５世代移動通信システムである「５Ｇ」であってもよい。

情報処理装置５０に電源が投入され電源がオン状態になると、ＲＯＭやＨＤＤ５６からプログラムが読み出され、ＲＡＭ５４にロードされる。ＣＰＵ５２は、ＲＡＭ５４に読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、情報処理装置５０の後述する各機能部および処理が実現される。上記プログラムとしては、接続する全天球撮像装置１０に対し各種指示を行ったり、画像を要求したりするためのアプリケーションを挙げることができる。

以上説明したように、上述した実施形態によれば、対象被写体が画像端部で分離しない状態で、少なくとも１つの方向で全周する出力画像を出力することが可能な撮像システム、画像処理装置、撮像装置およびプログラムを提供することができる。

特許文献１は、全天球画像を射影変換した平面画像を再生する際に、自分撮りの時は撮影者自身の位置が画像の中心に正位置となるよう表示する技術を開示する。しかしながら、特許文献１の従来技術では、撮像画像をつなぎ合わせ合成した全天球画像を生成し、その後、この全天球画像に対し、表示装置に表示するための射影変換を行って平面画像を生成する際に、決定した座標が中心となるようにしている。しかしながら、全天球画像データ自体は、依然として撮像した状態のままであり、特許文献１の従来技術を実装するビューアでしか対応できず、汎用イメージ・ビューアで表示する際は、撮像された全天球画像データの構図のままとなる。

これに対し、本実施形態における撮像システムによれば、少なくとも第１の方向（例えば水平方向）で全周する出力画像（例えば全天球画像）において、撮像された画像に写り込む対象被写体（例えば人物の顔）の領域が、該領域が画像端部で分割されない所定位置に配置されるように構成されている。このため、この出力画像に基づいて表示を行う場合、汎用イメージ・ビューアが用いられても、主要な被写体が画像端部で分割されるといった不自然な絵面となってしまうことが防止され、得られる画像の品質を向上させることが可能である。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ－ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１…撮像システム、１０…全天球撮像装置、１２…撮像体、１４…筐体、１８…撮影ボタン、２０…レンズ光学系、２２…撮像素子、５０…情報処理装置、５２…ＣＰＵ、５４…ＲＡＭ、５６…ＨＤＤ、５８…入力装置、６０…外部ストレージ、６２…ディスプレイ、６４…無線ＮＩＣ、６６…ＵＳＢコネクタ、６８…バス、１００…プロセッサ、１０２…鏡胴ユニット，１０８…ＩＳＰ、１１０，１２２…ＤＭＡＣ、１１２…アービタ（ＡＲＢＭＥＭＣ）、１１４…ＭＥＭＣ、１１６，１３８…ＳＤＲＡＭ、１１８…歪曲補正・画像合成ブロック、１２０…モーションセンサ、１２４…画像処理ブロック、１２６…画像データ転送部、１２８…ＳＤＲＡＭＣ、１３０…ＣＰＵ、１３２…リサイズブロック、１３４…静止画圧縮ブロック、１３６…動画圧縮ブロック、１４０…メモリカード制御ブロック、１４２…メモリカードスロット、１４４…フラッシュＲＯＭ、１４６…ＵＳＢブロック、１４８…ＵＳＢコネクタ、１５０…ペリフェラル・ブロック、１５２…音声ユニット、１５４…スピーカ、１５６…マイク、１５８…シリアルブロック、１６０…無線ＮＩＣ、１６２…ＬＣＤドライバ、１６４…ＬＣＤモニタ、１６６…電源スイッチ、１６８…ブリッジ、１７０…自動露出制御、１７２…ＡＥレジスタ、ホワイトバランス値計算部１７４、ホワイトバランス処理１７６、２００…画像処理部、２１０…選択受付部、２２０…部分画像取得部、２３０…被写体認識部、２４０…画像合成部、２４２…回転量決定部、２４４…画像回転部、２５０…傾き検出部、２６０…データ出力処理部、３００，３１０，３５０，３６０…部分画像、３２０，３７０…天頂補正後の全天球画像、３３０，３８０…被写体配置変更後の全天球画像

特開２０１９－９５７４号公報

Claims (13)

1. 互いに異なる方向を向き、画像を撮像する複数の撮像部と、
   撮像された前記画像に基づく、少なくとも第１の方向で全周する出力画像において、撮像された前記画像に写り込む対象被写体の領域を、前記出力画像の端部で分割されない所定位置に配置されるような回転量を決定する回転量決定部と、
   前記出力画像に関し、前記回転量決定部が決定した前記回転量で画像回転を施す画像回転部と
   前記画像回転部が画像回転を施した前記出力画像を出力する出力部と
   を含む、撮像システム。
2. 前記所定位置は、前記出力画像において、前記第１の方向での中心寄りの位置である、請求項１に記載の撮像システム。
3. 前記出力画像は、さらに前記第１の方向と直交する第２の方向で全周する画像であり、前記画像回転部が、前記対象被写体の領域の位置が所定基準を満たす場合に、前記出力画像において前記対象被写体の領域がさらに前記第２の方向で中心寄りに配置されるように画像回転を施すことによって、前記出力画像が生成される、請求項２に記載の撮像システム。
4. 前記撮像部の傾きを検知する傾き検出部を含み、前記画像回転部は、前記傾き検出部が検知した傾きに基づいて、前記画像回転によって天頂補正を行うことを特徴とし、前記所定基準を満たす場合とは、前記天頂補正後において、前記対象被写体の領域が前記第２の方向で基準より画像端部寄りに位置する場合であり、前記所定基準を満たす場合には、前記天頂補正が部分的に犠牲となる、請求項３に記載の撮像システム。
5. 前記対象被写体が複数含まれる場合、複数の対象被写体を合わせた領域の重心または前記複数の対象被写体のうちのいずれかの重心が所定位置に配置されるように構成される、請求項１～４のいずれか１項に記載の撮像システム。
6. 前記出力画像において、前記対象被写体として認識される領域以外の領域が前記画像端部に位置するように構成される、請求項１～５のいずれか１項に記載の撮像システム。
7. 前記出力画像に基づいて、前記対象被写体の領域が、該領域が画像端部で分割されない所定位置に配置されるように構成された、縮小表示画像が生成される、請求項１～６のいずれか１項に記載の撮像システム。
8. 前記対象被写体は、人の顔、人の全身、動物の顔、動物の全身、物体の部分および物体の全体からなる群から選択された少なくとも１つを含む、請求項１～７のいずれか１項に記載の撮像システム。
9. 前記複数の撮像部により撮像された前記画像は、複数の撮像光学系それぞれを通して撮像された複数の部分画像を含み、前記撮像システムは、前記複数の部分画像上で、または、前記複数の部分画像を合成して得られる合成画像上で、撮像された前記画像に写り込む対象被写体を認識する認識部を含み、前記出力画像は、前記複数の部分画像を合成して得られる画像である、請求項１～８のいずれか１項に記載の撮像システム。
10. 前記複数の撮像光学系は、複数の魚眼または広角レンズを含み、前記複数の部分画像は、複数の魚眼または広角画像であり、前記出力画像および前記合成画像は、前記複数の部分画像に歪み補正および合成処理をして得られる、球面座標系の全天球画像である、請求項９に記載の撮像システム。
11. 互いに異なる撮影範囲を有する複数の部分画像または該複数の部分画像を合成して得られる合成画像を入力画像として取得する画像取得部と、
    取得された前記入力画像に写り込む対象被写体を認識する認識部と、
    取得された前記入力画像に基づく、少なくとも第１の方向で全周する出力画像において、認識された前記対象被写体の領域を、前記出力画像の端部で分割されない所定位置に配置されるような回転量を決定する回転量決定部と、
    前記出力画像に関し、前記回転量決定部が決定した前記回転量で画像回転を施す画像回転部と
    前記画像回転部が画像回転を施した前記出力画像を出力する出力部と
    を含む、画像処理装置。
12. 請求項１１に記載の画像処理装置と、
    互いに異なる方向を向き、前記複数の部分画像を撮像する複数の撮像部と
    を含む、撮像装置。
13. コンピュータを、
    互いに異なる撮影範囲を有する複数の部分画像または該複数の部分画像を合成して得られる合成画像を入力画像として取得する画像取得部、
    取得された前記入力画像に写り込む対象被写体を認識する認識部、
    取得された前記入力画像に基づく、少なくとも第１の方向で全周する出力画像において、認識された前記対象被写体の領域を、前記出力画像の端部で分割されない所定位置に配置されるような回転量を決定する回転量決定部、
    前記出力画像に関し、前記回転量決定部が決定した前記回転量で画像回転を施す画像回転部、および、
    前記画像回転部が画像回転を施した前記出力画像を出力する出力部
    として機能させるためのプログラム。