JP5514959B2 - パノラマ画像生成方法及び撮像装置 - Google Patents

Description

本発明は、パノラマ画像生成方法及び撮像装置に関する。

近年のデジタルカメラには、撮影者を中心とする３６０度全周囲のパノラマ画像を撮影できるものが普及してきている。

このようなデジタルカメラは、撮影者がカメラを手に持ち、体を回転させながらカメラを回転移動させて複数回の撮影を実施する。そして、その複数回の撮影で得られる画像データを合成して３６０度のパノラマ画像データ（環状画像データ）を生成している。

３６０度のパノラマ画像データを生成する方法としては、例えば特許文献１，２に開示されたものが知られている。

特許文献１，２では、３６０度のパノラマ画像データの始端と終端における垂直方向のズレを、３６０度のパノラマ画像データ全体を歪めることで補正している。

日本国特開平１１−３３１６９６号公報 日本国特開２００１−１８４４８４号公報

撮影者がカメラを手に持って体を回転させながら３６０度の全周囲を撮影する場合、カメラの軌跡が地面に平行な完全な円となるようにカメラを動かしていくことは不可能である。このため、３６０度のパノラマ画像データの始端と終端とでは画像にズレが生じる。

例えば、図１８に示すように、被写体Ａが画角に入るようにして撮影を開始し、その後、時計回りにカメラを回転移動させて撮影を行っていくと、カメラを３６０度回転移動させた後に、最初の撮影時よりもカメラが被写体Ａに近寄ってしまうことがある。この場合は、撮影後に生成されるパノラマ画像の終端にある被写体Ａが、始端にある被写体Ａよりも大きくなる。

また、図１９に示すように、被写体Ａが画角に入るようにして撮影を開始し、その後、時計回りにカメラを回転移動させて撮影を行っていくと、カメラを３６０度回転移動させた後に、最初の撮影時よりもカメラが地面に対して傾いてしまうことがある。この場合は、撮影後に生成されるパノラマ画像の終端にある被写体Ａが、始端にある被写体Ａに対して傾いたものとなる。

また、図２０に示すように、被写体Ａが画角に入るように撮影し、その後、時計回りにカメラを回転移動させて撮影を行っていき、カメラを３６０度回転移動させた後に、最初の撮影時よりもカメラが地面に対して上にずれてしまうことがある。この場合は、撮影後に生成されるパノラマ画像の終端にある被写体Ａと、始端にある被写体Ａとの垂直方向の位置がずれる。

３６０度のパノラマ画像データを生成するには、図１８，１９，２０に示すようなパノラマ画像の始端と終端の重複部分（被写体Ａ）同士を重ね合わせる必要がある。しかし、図１８，１９，２０のように、始端の被写体Ａと、終端の被写体Ａとに大きさの違いや角度の違いや位置の違いが生じていると、パノラマ画像の始端と終端の重複部分を重ね合わせた部分が不自然なものとなってしまう。

特許文献１，２には、パノラマ画像の始端と終端の垂直方向のズレを補正することについて記載されている。しかし、特許文献１，２に記載のズレ補正方法は、パノラマ画像データを生成後、このパノラマ画像データの終端を始端に合わせるように、パノラマ画像データ全体を変形させるものである。このため、パノラマ画像データの始端と終端の間の画像が歪むことになり、自然なパノラマ画像を生成することができない。また、パノラマ画像データの終端と始端における共通被写体の大きさや姿勢がずれることについては考慮されていない。

本発明は、上記事情に鑑みてなされたものであり、違和感のない自然な３６０度のパノラマ画像データを生成することが可能なパノラマ画像生成方法及び撮像装置を提供することを目的とする。

本発明のパノラマ画像生成方法は、複数の撮影画像データを用いて、撮影地点を中心とする周囲３６０度のパノラマ画像データを生成するパノラマ画像生成方法であって、前記複数の撮影画像データのうち、時系列的に最初に得られた撮影画像データと、時系列的に最後に得られた撮影画像データとには、それぞれ同一の被写体が含まれており、前記複数の撮影画像データを合成して、撮影地点を中心とする周囲３６０度以上のパノラマ画像データを生成する第１ステップと、前記周囲３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる前記被写体に対し、前記始端における前記被写体及び前記終端における前記被写体のいずれかを変形させて、前記始端における前記被写体及び前記終端における前記被写体の、大きさ及び姿勢を一致させる第一の処理と、前記周囲３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる前記被写体に対し、前記始端における前記被写体及び前記終端における前記被写体のいずれかを変形させて、前記周囲３６０度以上のパノラマ画像データの短手方向の位置を一致させる第二の処理との少なくとも一方を行う第２ステップと、前記第２ステップの後、前記周囲３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる前記被写体同士を重ね合わせて、前記周囲３６０度のパノラマ画像データを生成する第３ステップとを備えるものである。

本発明の撮像装置は、前記パノラマ画像生成方法の各ステップを実行するパノラマ画像生成部と、前記複数の撮影画像データを得るための撮像部とを備えるものである。

本発明によれば、違和感のない自然な３６０度のパノラマ画像データを生成することが可能なパノラマ画像生成方法及び撮像装置を提供することができる。

本発明の一実施形態を説明するための撮像装置の概略構成を示す図 図１に示すデジタルカメラのパノラマ画像生成部１９が行う第一のステップを説明するための概念図 図１に示すデジタルカメラのパノラマ画像生成部１９が行う第二のステップの第一の処理を説明するための概念図 図１に示すデジタルカメラのパノラマ画像生成部１９が行う第二のステップの第二の処理を説明するための概念図 図１に示すデジタルカメラのパノラマ画像生成部１９が行う第三のステップを説明するための概念図 図１に示すデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャート 図６におけるステップＳ６の詳細を説明するためのフローチャート ３６０度以上のパノラマ画像データの終端と始端から検出された特徴点の一例を示す図 ３６０度以上のパノラマ画像データの終端と始端から検出された特徴点の対応関係を示す図 ３６０度以上のパノラマ画像データの終端と始端から検出された特徴点にダミーの特徴点を付加するときの説明図 ３６０度のパノラマ画像データをトリミングする際の変形例を示す図 図１に示すデジタルカメラのパノラマ撮影モード時の動作の変形例を説明するためのフローチャート 図１に示すデジタルカメラのパノラマ撮影モード時の動作の変形例を説明するためのフローチャート 図１に示すデジタルカメラの３６０度のパノラマ画像データのエンドレススクロールを説明するための図 図１に示すデジタルカメラの３６０度のパノラマ画像データの編集処理を説明するための図 図１に示すデジタルカメラの３６０度以上のパノラマ画像データ生成時のメモリ使用方法を説明するための図 図１に示すデジタルカメラの３６０度以上のパノラマ画像データ生成時のメモリ使用方法を説明するための図 ３６０度のパノラマ画像データの始端と終端の被写体の大きさが異なってしまう場合の説明図 ３６０度のパノラマ画像データの始端と終端の被写体の姿勢が異なってしまう場合の説明図 ３６０度のパノラマ画像データの始端と終端の被写体の垂直位置が異なってしまう場合の説明図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、カメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。

図示するデジタルカメラの撮像系は、撮影レンズ１と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりする。また、システム制御部１１は、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６とＡ／Ｄ変換回路７は、システム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮影画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、連続撮影して得られた複数の撮影画像データを合成して３６０度のパノラマ画像データを生成するパノラマ画像生成部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、パノラマ画像生成部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

このデジタルカメラは、撮影地点（撮影者）を中心とする周囲３６０度のパノラマ画像を撮影できるパノラマ撮影モードが設定可能である。

撮影者は、パノラマ撮影モードを設定した後、デジタルカメラを手に持ち、シャッタボタンを押下して撮影を開始する。シャッタボタンが押下されている間、固体撮像素子５による撮影が継続して行われる。

撮影開始後、撮影者は、自身を中心にデジタルカメラを回転移動させていき、デジタルカメラを３６０度回転移動させる。そして、デジタルカメラが３６０度回転移動した時点で、撮影が自動的に終了するようになっている。

この連続撮影によりデジタル信号処理部１７では複数の撮影画像データが生成される。この複数の撮影画像データの時系列的に最初の撮影画像データ（回転角度０度で撮影して得られたデータ）と、時系列的に最後の撮影画像データ（回転角度３６０度で撮影して得られたデータ）とには、同一の被写体（主要被写体）が含まれる。

パノラマ画像生成部１９は、この複数の撮影画像データを用いて３６０度のパノラマ画像データを生成する。以下、パノラマ画像生成部１９による３６０度のパノラマ画像データの生成方法について説明する。

パノラマ画像生成部１９は、大きく分けて３つのステップにより３６０度のパノラマ画像データを生成する。

第一のステップでは、パノラマ画像生成部１９は、連続撮影して得られる複数の撮影画像データを合成して、撮影地点を中心とする周囲３６０度以上のパノラマ画像データを生成する。

ここで周囲３６０度以上のパノラマ画像データと言っているのは、連続撮影の撮影開始時における被写体と、撮影終了時における被写体とが重複しており、単純に複数の撮影画像データを合成すると、３６０度ぴったりのパノラマ画像データにはならず、３６０度＋α分のパノラマ画像データとなるからである。

続く第二のステップでは、３６０度以上のパノラマ画像データの始端（回転角度０度で得られた撮影画像データからトリミングされた部分）と終端（回転角度３６０度で得られた撮影画像データからトリミングされた部分）にそれぞれ含まれる同一の被写体に対し、始端における被写体及び終端における被写体のいずれかを変形させて、始端における被写体及び終端における被写体の、大きさ及び姿勢を一致させる第一の処理と、３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる被写体に対し、始端における被写体及び終端における被写体のいずれかを変形させて、３６０度以上のパノラマ画像データの短手方向の位置を一致させる第二の処理とを、この順に行う。

続く第三のステップでは、第二のステップ後に得られる３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる共通の被写体同士を重ね合わせて、３６０度のパノラマ画像データを生成する。

図２は、第一のステップを説明するための概念図である。ここでは撮影者が自身を中心に時計回りにデジタルカメラを回転させていった場合の例を説明する。

パノラマ画像生成部１９は、最初の撮影画像データ（撮影画像１）と２枚目の撮影画像データ（撮影画像２）が生成されると、撮影画像１と撮影画像２の間の移動量を求める。

そして、パノラマ画像生成部１９は、図２に示すように、撮影画像１と撮影画像２の各々の長手方向の中央部分をトリミングし、トリミング画像を合成する。

このとき、パノラマ画像生成部１９は、撮影画像２のトリミング画像を撮影画像１のトリミング画像に対して前述した移動量分だけずらして、撮影画像１のトリミング画像に撮影画像２のトリミング画像を重ね合わせることで合成を行う。

パノラマ画像生成部１９は、３枚目の撮影画像データ（撮影画像３）が生成されると、撮影画像２と撮影画像３の間の移動量を求める。

そして、パノラマ画像生成部１９は、撮影画像３の中央部分をトリミングし、前記移動量にしたがって、トリミング画像を撮影画像２のトリミング画像と合成する。

パノラマ画像生成部１９は、４枚目以降の撮影画像データについても同様の処理を行って、３６０度以上のパノラマ画像データを生成する。

なお、３６０度以上のパノラマ画像データの生成方法は図３に示したものに限らず、公知の手法を用いることができる。

図３は、第二のステップにおいて実行する第一の処理を説明するための概念図である。

第一のステップにて生成された３６０度以上のパノラマ画像データの始端と終端には、同一の被写体Ａが含まれる。

図１８や図１９で説明したような現象がおきると、図３に示すように、３６０度以上のパノラマ画像データの始端に含まれる被写体Ａと３６０度以上のパノラマ画像データの終端に含まれる被写体Ａとは、一方に対して他方が大きくなったり、一方に対して他方が傾いたりする。

図１８に示す被写体Ａは、パノラマ画像データに映出される背景画像よりも近景の被写体である。即ち、カメラを３６０度回転移動させた後で、最初の撮影時よりもカメラが被写体に近寄ってしまうこと、又は遠ざかってしまうことにより、撮影画角が視認できる程度に変化する被写体である。

そこで、パノラマ画像生成部１９は、第二のステップにおいて、まず、図３に示すように、３６０度以上のパノラマ画像データの終端の被写体Ａを変形させて、当該終端の被写体Ａの大きさ及び姿勢を始端の被写体Ａに一致させる第一の処理を行う。

なお、第一の処理では、始端の被写体Ａを変形させることで、始端と終端の被写体Ａを一致させてもよい。第一の処理の具体的な内容については後述する。

図４は、第二のステップにおいて実行する第二の処理を説明するための概念図である。

第一のステップにて生成された３６０度以上のパノラマ画像データの始端と終端には、同一の被写体Ａが含まれる。

図２０で説明したような現象がおきると、図４に示すように、３６０度以上のパノラマ画像データの始端に含まれる被写体Ａと３６０度以上のパノラマ画像データの終端に含まれる被写体Ａとは、３６０度以上のパノラマ画像データの短手方向の位置にずれが生じる。

そこで、パノラマ画像生成部１９は、第一の処理を行った後、図４に示すように、３６０度以上のパノラマ画像データの終端の被写体Ａを変形させて、当該終端の被写体Ａの短手方向の位置を始端の被写体Ａに一致させる第二の処理を行う。

なお、第二の処理では、始端の被写体Ａを変形させることで、始端と終端の被写体Ａを一致させてもよい。第二の処理の具体的な内容については後述する。

上記のように、第一の処理と第二の処理の両方を、この順番で行うことで、始端と終端の被写体Ａの形状を一致させてからズレ量を求めるので、より正確に被写体Ａを一致させることができる。

図５は、第三のステップを説明するための概念図である。

パノラマ画像生成部１９は、第二のステップを行って始端の被写体Ａと終端の被写体Ａの位置、姿勢、及び大きさが一致した３６０度以上のパノラマ画像データを得た後、この３６０度以上のパノラマ画像データを図５に示すように２分割する。

続いて、パノラマ画像生成部１９は、図５に示すように、３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる被写体Ａ同士を重ね合わせる。この時点で３６０度のパノラマ画像データが生成される。

３６０度以上のパノラマ画像データを分割し、３６０度以上のパノラマ画像データを２つの画像データとして扱うことで、合成処理を行いやすくすることができる。

最後に、パノラマ画像生成部１９は、図５に示すように、３６０度のパノラマ画像データの上下を削除（短手方向の中央部分をトリミング）して、３６０度のパノラマ画像データを完成させる。

なお、第三のステップにおける分割数は３つ以上としてもよい。また、３６０度以上のパノラマ画像データの分割は、第二のステップの前に行っておいてもよい。また、図５では、３６０度以上のパノラマ画像データの分割位置を、３６０度以上のパノラマ画像データの長手方向の中央としているが、この分割位置は中央以外の任意の位置としてもよい。

次に、以上の動作を、図６のフローチャートを用いて説明する。

図６は、図１に示すデジタルカメラのパノラマ撮影モード時の動作を説明するためのフローチャートである。

シャッタボタンが押下されると、固体撮像素子５が撮影を開始する（ステップＳ１）。２枚目の撮影が完了し、デジタル信号処理部１７によって撮影画像データが生成されると、パノラマ画像生成部１９は、１枚目の撮影画像データに対する２枚目の撮影画像データの移動量を算出する（ステップＳ２）。

上記移動量は各撮像画像データの比較により、周知の方法で算出できる。例えば、背景差分法やフレーム間差分法等の画像処理技術で求められる。

次に、パノラマ画像生成部１９は、１枚目の撮影画像データと２枚目の撮影画像データの各々の中央部分をトリミングし（ステップＳ３）、トリミング画像同士をステップＳ２で算出した移動量にしたがって合成する（ステップＳ４）。

次に、システム制御部１１が、デジタルカメラが撮影開始時点から３６０度回転したか否かを判定する（ステップＳ５）。

デジタルカメラには、図示はしていないがジャイロセンサ等の動き検出部が設けられており、デジタルカメラの回転角を検出できるようになっている。システム制御部１１は、この動き検出部からの情報に基づいて、ステップＳ５の判定を行う。

デジタルカメラが３６０度回転していない場合（ステップＳ５：ＮＯ）、システム制御部１１は、撮像素子駆動部１０を制御して、固体撮像素子５により次の撮影を実行させる（ステップＳ１に戻る）。

デジタルカメラが３６０度回転していた場合（ステップＳ５：ＹＥＳ）、システム制御部１１は、撮像素子駆動部１０を制御して、固体撮像素子５による撮影を終了させる。また、この場合には、ステップＳ４において３６０度以上のパノラマ画像データが生成されているため、パノラマ画像生成部１９がステップＳ６の処理を行う。

ステップＳ６では、パノラマ画像生成部１９が、図３に示した第一の処理と、図４に示した第二の処理とを続けて行って、始端と終端にそれぞれ含まれる共通の被写体の位置、大きさ、及び姿勢を一致させる。

次に、パノラマ画像生成部１９は、３６０度以上のパノラマ画像データを２つに分割する（ステップＳ７）。

次に、パノラマ画像生成部１９は、分割した２つの画像データの各々に含まれる共通被写体（重複部分）同士を重ね合わせて、分割した２つの画像データを合成し、３６０度のパノラマ画像データを生成する（ステップＳ８）。この合成の際に、フィルタ処理を施して、合成箇所が目立たないようにしてもよい。

次に、パノラマ画像生成部１９は、図５に示すように、３６０度のパノラマ画像データの短手方向の中央部分をトリミングする（ステップＳ９）。

最後に、パノラマ画像生成部１９は、トリミングした３６０度のパノラマ画像データを、外部メモリ制御部２０を介して記録媒体２１に記録して（ステップＳ１０）、処理を終了する。

図７は、図６におけるステップＳ６の詳細を説明するためのフローチャートである。

まず、パノラマ画像生成部１９は、ＫＬＴ法やＳＨＩＦＴ法等により、３６０度以上のパノラマ画像データの始端に含まれる主要被写体の特徴点と、３６０度以上のパノラマ画像データの終端における当該特徴点と対応する特徴点とを、３６０度以上のパノラマ画像データの始端及び終端から検出する（ステップＳ６１）。

例えば、図８に示すように、３６０度以上のパノラマ画像データの始端と終端の各々から複数の特徴点（図中黒丸で示す）が抽出される。始端の特徴点と終端の特徴点は、図９に示すように、破線で結ばれる特徴点同士が対応するものとなっている。

なお、図８では、３６０度以上のパノラマ画像データの終端における被写体が、３６０度以上のパノラマ画像データの始端における被写体に対して右に傾いている場合の特徴点検出例を示している。

次に、パノラマ画像生成部１９は、３６０度以上のパノラマ画像データの始端から検出した複数の特徴点を３点毎にグループ分けする（ステップＳ６２）。

具体的には、パノラマ画像生成部１９は、図８に示すように、複数の特徴点のうち隣接する３点を結んで得られる各三角形を１つのグループとする。図８の例では、６つのグループが形成されている。グループ分けの方法は、ドロネーの三角形分割等を用いることができる。

なお、ここでは特徴点を３点毎にグループ分けしているが、４点以上でグループ分けしてもよい。つまり、パノラマ画像生成部１９は、３６０度以上のパノラマ画像データの始端と終端からそれぞれ検出された複数の特徴点のうち隣接するｎ個の特徴点（ｎは３以上の自然数）を結んで得られる各ｎ角形を１つのグループとすればよい。

次に、パノラマ画像生成部１９は、３６０度以上のパノラマ画像データの始端と終端のそれぞれに対して設定される各三角形毎に、画像変形パラメータを算出する（ステップＳ６３）。画像変形パラメータとして、例えば、一般的なアフィン変換パラメータを用いる。

パノラマ画像生成部１９は、３６０度以上のパノラマ画像データの始端における各三角形の頂点の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）と、この３点に対応する３６０度以上のパノラマ画像データの終端における特徴点の座標（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）とを一般的なアフィン変換式である以下の式（１）に代入して、アフィン変換のパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を算出する。（ａ，ｂ，ｃ，ｄ）は画像変形パラメータであり、（ｓ，ｔ）は画像平行移動量である。

式（１）において、ｘには、ｘ１、ｘ２、ｘ３を代入し、ｙには、ｙ１、ｙ２、ｙ３を代入し、ｘ’には、ｘ１’、ｘ２’、ｘ３’を代入し、ｙ’には、ｙ１’、ｙ２’、ｙ３’を代入する。これにより、以下の６つの連立方程式が得られる。この連立方程式を解くことで、アフィン変換のパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を算出することができる。

次に、パノラマ画像生成部１９は、始端側の三角形と、この三角形に対応する終端側の三角形とのいずれか一方内の画像を、この２つの三角形のペアに対して求めたアフィン変換パラメータを用いて変形する。

つまり、式（１）のｘ、ｙに、始端側の三角形の各点の座標、又は、終端側の三角形の各点の座標を代入することで、始端側の三角形又は終端側の三角形を変形する。この変形処理を、始端側三角形とこれに対応する終端側三角形とのペア毎に行う（ステップＳ６４）。

このステップＳ６４の処理により、３６０度以上のパノラマ画像データの始端と終端に共通に含まれる被写体の大きさ及び姿勢が一致する。

なお、始端側の被写体Ａより終端側の被写体Ａが大きい場合は、始端側の被写体Ａを拡大させる変形処理を施すことで、大きい側の被写体Ａに統一するとよい。こうすることで、背景画像に空白域を生じさせることなく、より自然な処理画像が得られる。

続いて、パノラマ画像生成部１９は、３６０度以上のパノラマ画像データの始端から検出された特徴点の座標と、この特徴点に対応する３６０度以上のパノラマ画像データの終端から検出された特徴点の座標との差の平均値を求めることで、３６０度以上のパノラマ画像データの始端と終端における共通被写体同士の、３６０度以上のパノラマ画像データの長手方向のズレ量（ＯｆｆｓｅｔＸ）と、３６０度以上のパノラマ画像データの短手方向のズレ量（ＯｆｆｓｅｔＹ）とを算出する（ステップＳ６５）。

３６０度以上のパノラマ画像データの始端から検出された特徴点をＮ個とし、各特徴点の座標を（ｘ１、ｙ１）〜（ｘＮ，ｙＮ）とし、当該各特徴点に対応する３６０度以上のパノラマ画像データの終端側の特徴点の座標を、（ｘ１’、ｙ１’）〜（ｘＮ’，ｙＮ’）として、パノラマ画像生成部１９は、ＯｆｆｓｅｔＸとＯｆｆｓｅｔＹを下記式（２）によって算出する

次に、パノラマ画像生成部１９は、３６０度以上のパノラマ画像データの長手方向の幅（Ｗｉｄｔｈ）と、式（２）によって算出されるＯｆｆｓｅｔＹとの比である傾き量Δを、下記式（３）により算出する（ステップＳ６６）。

この傾き量Δをゼロにできれば、３６０度以上のパノラマ画像データの終端と始端における共通被写体同士の短手方向の位置を一致させることができる。

傾き量Δをゼロに補正するためのアフィン変換式は以下の式（４）となる。

アフィン変換のパラメータに傾き量Δを適応する場合、傾きを戻すため式（４）に示すようにΔに（−１）をかけている。また、上記式（４）は、変形後の画像の座標（ｘ’，ｙ’）を求める形で式を与えているが、変形前の画像の座標（ｘ，ｙ）を求める形での式は、以下のようになる。

式（５）は、式（４）に対して逆行列を適用し、その解を求めることで得ることができる。

パノラマ画像生成部１９は、ステップＳ６６で算出した傾き量Δから画像変形パラメータ（アフィン変換パラメータ）を生成し、このアフィン変換パラメータを用いて、３６０度以上のパノラマ画像データの始端又は終端の主要被写体を変形する。

つまり、式（５）のｘ’，ｙ’に、始端側の各特徴点の座標、又は、終端側の各特徴点の座標を代入することで、始端側又は終端側の主要被写体を変形する（ステップＳ６７）。

ステップＳ６７の処理により、３６０度以上のパノラマ画像データの始端と終端に含まれる共通被写体の短手方向（垂直方向）における位置が一致する。

なお、図６のステップＳ８では、図７のステップＳ６５において算出したＯｆｆｓｅｔＸにしたがって、共通被写体が重なるように、分割画像データ同士を重ね合わせる。

以上のように、図１に示したデジタルカメラは、３６０度以上のパノラマ画像データを生成した後、３６０度以上のパノラマ画像データの始端と終端に共通に含まれる主要被写体の大きさ及び姿勢を、３６０度以上のパノラマ画像データの始端と終端のいずれかの主要被写体を変形することにより補正する。

更に、このデジタルカメラは、３６０度以上のパノラマ画像データの始端と終端に共通に含まれる主要被写体の位置を、３６０度以上のパノラマ画像データの始端と終端のいずれかの主要被写体を変形することにより補正する。

このような補正処理により、３６０度以上のパノラマ画像データの全体が歪むことはなくなるため、違和感のない自然な３６０度のパノラマ画像データを生成することが可能となる。

また、このデジタルカメラは、３６０度以上のパノラマ画像データを分割し、分割した２つの画像データを合成することで３６０度のパノラマ画像データを生成している。

特許文献１、２に記載の補正方法では、３６０度以上のパノラマ画像データの全体が歪むため、補正後の３６０度以上のパノラマ画像データを分割し、分割した２つの画像データを合成して３６０度のパノラマ画像データを生成すると、３６０度のパノラマ画像データの両端の部分において短手方向にズレが生じる。このため、そのズレが生じた分、３６０度のパノラマ画像データの上下をカットする幅を広くとる必要があり、画像サイズが小さくなる。

これに対し、図１のデジタルカメラによれば、３６０度以上のパノラマ画像データ全体は歪まないため、３６０度以上のパノラマ画像データを分割して合成した場合でも、３６０度のパノラマ画像データの両端において短手方向にズレは生じない。したがって、３６０度のパノラマ画像データの上下をカットする幅を狭くすることができ、画像サイズの拡大を図ることができる。

なお、以上の説明では、図６のステップＳ６の処理において、第一の処理と第二の処理の両方を行うものとしたが、第一の処理と第二の処理のいずれか一方のみを行う構成としてもよい。このような構成であっても、全く補正を行わない場合よりは自然な３６０度のパノラマ画像データを生成することができる。

また、パノラマ画像生成部１９は、図７のステップＳ６１において検出した特徴点に、画像自体からは検出されなかったダミーの特徴点を加え、このダミーの特徴点も含めて、ステップＳ６２以降の処理を行うことが好ましい。

例えば、図１０の黒丸で示すように、３６０度以上のパノラマ画像データの始端と終端から特徴点が検出された場合、パノラマ画像生成部１９は、検出された特徴点からは離れた位置に白丸で示すダミーの特徴点を追加する。

ダミーの特徴点は、３６０度以上のパノラマ画像データの始端における任意の検出特徴点と、この検出特徴点に対応する３６０度以上のパノラマ画像データの終端における検出特徴点との対応関係と同じになるように、３６０度以上のパノラマ画像データの始端と終端にそれぞれ追加する。

そして、パノラマ画像生成部１９は、このダミーの特徴点も含めて三角形を形成し、始端側と終端側の三角形のペア毎に画像の変形を行う。

このようにすることで、３６０度以上のパノラマ画像データの始端と終端のうち、双方に共通に含まれる主要被写体以外の部分も変形させることができる。このため、変形後の画像における主要被写体とその周囲の画像との繋ぎ目を自然なものとすることができ、画質向上を図ることができる。

また、パノラマ画像生成部１９は、図６のステップＳ９において３６０度のパノラマ画像データをトリミングする際、図１１に示すように、ＯｆｆｓｅｔＹをもとに、トリミングする箇所を決めてもよい。

また、パノラマ画像生成部１９が、３６０度のパノラマ画像データだけでなく、３６０度以上のパノラマ画像データも記録媒体２１に保存するようにしてもよい。

図１２は、図１に示すデジタルカメラのパノラマ撮影モード時の動作の変形例を説明するためのフローチャートである。図１２において、図６と同じ処理には同一符号を付して説明を省略する。

ステップＳ５の判定がＹＥＳのとき、パノラマ画像生成部１９は、既に生成されている３６０度以上のパノラマ画像データを記録媒体２１に保存するか否かを判定する（ステップＳ２１）。

このデジタルカメラでは、撮影開始前に操作部１４の操作によって３６０度以上のパノラマ画像データの保存の有無、３６０度のパノラマ画像データの保存の有無を設定できるようになっており、この設定情報をもとに、パノラマ画像生成部１９はステップＳ２１の判定を行う。

又は、パノラマ画像生成部１９は、表示部２３に３６０度以上のパノラマ画像データを保存するかどうかを確認するメッセージを表示させ、このメッセージにしたがって操作部１４から入力された指示情報（保存する、保存しないを示す情報）にしたがってステップＳ２１の判定を行う。

ステップＳ２１の判定がＹＥＳであれば、パノラマ画像生成部１９は、３６０度以上のパノラマ画像データを記録媒体２１に保存する（ステップＳ２２）。ステップＳ２１の判定がＮＯであれば、パノラマ画像生成部１９はステップＳ６の処理を行う。

ステップＳ８の後、パノラマ画像生成部１９は、ステップＳ８で生成された３６０度のパノラマ画像データを記録媒体２１に保存するか否かを判定する（ステップＳ２３）。この判定方法は、ステップＳ２１のときと同じである。

ステップＳ２３の判定がＹＥＳであれば、パノラマ画像生成部１９は、３６０度のパノラマ画像データを記録媒体２１に保存する（ステップＳ１０）。

ステップＳ２３の判定がＮＯであれば、パノラマ画像生成部１９は３６０度のパノラマ画像データを保存せずに処理を終了する。

なお、３６０度のパノラマ画像データを保存しない設定が予めなされていた場合、パノラマ画像生成部１９は、図１２におけるステップＳ６〜ステップＳ８の処理は省略してもよい。

このように、３６０度以上のパノラマ画像データと３６０度のパノラマ画像データのうちのどれを保存するかを撮影者によって設定できるようにすることで、デジタルカメラの使い勝手を向上させることができる。

図１３は、図１に示すデジタルカメラのパノラマ撮影モード時の動作の変形例を説明するためのフローチャートである。図１３において、図１２と同じ処理には同一符号を付して説明を省略する。

ステップＳ２１の判定がＹＥＳのとき、パノラマ画像生成部１９は、３６０度以上のパノラマ画像データのＥＸＩＦタグに、３６０度以上のパノラマ画像データであることを示す識別情報を付加した上で、３６０度以上のパノラマ画像データを記録媒体２１に保存する。

また、ステップＳ２３の判定がＹＥＳのとき、パノラマ画像生成部１９は、３６０度のパノラマ画像データのＥＸＩＦタグに、３６０度のパノラマ画像データであることを示す識別情報を付加した上で、３６０度のパノラマ画像データを記録媒体２１に保存する（ステップＳ３２）。

このように、パノラマ画像データに付属するＥＸＩＦタグに記憶された識別情報によって、そのパノラマ画像データが３６０度のパノラマ画像データであるか、３６０度以上のパノラマ画像データであるかを識別することができる。このため、パノラマ画像データを再生する際に、再生するパノラマ画像データの種類によって再生方法を変更するといったことが可能になる。

例えば、３６０度のパノラマ画像データの再生が指示された場合、システム制御部１１は、３６０度のパノラマ画像データをエンドレスに再生する制御を行う。

例えば、システム制御部１１は、図１４に示すように、３６０度のパノラマ画像データの１コマ目の表示が終了すると、表示用メモリにおいて、その１コマ分の画像データを３６０度のパノラマ画像データの最後尾にコピーする。システム制御部１１は、このような動作を繰り返し行う。これにより、表示部２３には、３６０度のパノラマ画像データが永遠にスクロールされることになる。

なお、３６０度のパノラマ画像データの右端の１コマ分を、３６０度のパノラマ画像データの左端にコピーするようにしてもよい。また、画像をコピーする幅は１コマ以上でもよい。

３６０度以上のパノラマ画像データの再生が指示された場合、システム制御部１１は、３６０度以上のパノラマ画像データの全てのコマの再生が終了した時点で、再生を終了する通常の再生制御を行う。

このように、ＥＸＩＦタグに付加されている識別情報に基づいて、エンドレススクロール再生と通常スクロール再生を切替えることで、デジタルカメラのユーザからの設定を要求することなく、自動的に適切な表示形態となり、付加価値のある製品を実現することができる。

また、図１のデジタルカメラによって生成される３６０度のパノラマ画像データは、全体として歪みのないものとなっている。このため、３６０度のパノラマ画像データの編集を容易に行うことができる。

例えば、図１５に示すように、システム制御部１１が、３６０度のパノラマ画像データの左端から、ユーザから操作部１４を介して指定された幅の画像データ（破線部分）を切り取り、切り取った画像データの左端を、３６０度のパノラマ画像データの右端と接合する。このようにすることで、再生開始位置を変えた３６０度のパノラマ画像データを簡単に生成することができる。

なお、システム制御部１１は、３６０度のパノラマ画像データの右端から、ユーザから指定された幅の画像データを切り取り、切り取った画像データの右端を、３６０度のパノラマ画像データの左端と接合してもよい。３６０度のパノラマ画像データのどちらの端部から画像を切り取るかは、ユーザの指示に従えばよい。

図１のデジタルカメラでは、３６０度以上のパノラマ画像データを生成する方法の一例として、撮影画像データの長手方向の中央部分をトリミングし、トリミング画像を順次合成していく方法を採用している。

この方法によれば、トリミングした画像を合成する場合、合成される画像同士の視差が小さいため、特許文献１，２に記載されているような円筒変換が不要となり、処理負荷を大幅に低減できる。

また、この方法によれば、ｎ枚目の撮影画像データと（ｎ＋１）枚目の撮影画像データのトリミング画像同士の合成が終了した後は、ｎ枚目の撮影画像データを削除することができるため、メモリ使用量を削減できる。

また、連続撮影と並行してリアルタイムにトリミング画像の合成が行われるため、３６０度以上のパノラマ画像データの生成に要する時間を短くすることができる。

一方で、この方法では、撮影された順にトリミング画像を合成していくため、図１６に示すように、デジタルカメラの回転方向が反時計回り（左方向）であった場合には、メモリ上で右端から左端に向けてトリミング画像を記憶していく必要がある。

また、図１６に示すように、デジタルカメラの回転方向が上方向であった場合には、メモリ上で下端から上端に向けてトリミング画像を記憶していく必要がある。

また、図１６に示すように、デジタルカメラの回転方向が下方向であった場合には、メモリ上で上端から下端に向けてトリミング画像を記憶していく必要がある。

図１６のように、デジタルカメラの回転方向に応じてメモリの使用方法を変更してしまうと、メモリ設計が複雑になる。

そこで、デジタルカメラの回転方向がどの方向であっても、デジタルカメラの回転方向が右方向のときのメモリ使用方法を採用できるようにすることが好ましい。

図１のデジタルカメラでは、パノラマ画像生成部１９が、デジタルカメラの回転方向が左方向のときには、図１７に示すように、トリミング画像を１８０度回転する処理を行ってから、メモリに記憶する。また、パノラマ画像生成部１９が、デジタルカメラの回転方向が上方向のときには、図１７に示すように、トリミング画像を時計回りに９０度回転する処理を行ってから、メモリに記憶する。また、パノラマ画像生成部１９が、デジタルカメラの回転方向が下方向のときには、図１７に示すように、トリミング画像を反時計回りに９０度回転する処理を行ってから、メモリに記憶する。

このような回転処理を行うことで、メモリ使用方法を１つにすることができ、メモリ設計が容易となる。

以上説明したように、本明細書には次の事項が開示されている。

開示されたパノラマ画像生成方法は、複数の撮影画像データを用いて、撮影地点を中心とする周囲３６０度のパノラマ画像データを生成するパノラマ画像生成方法であって、前記複数の撮影画像データのうち、時系列的に最初に得られた撮影画像データと、時系列的に最後に得られた撮影画像データとには、それぞれ同一の被写体が含まれており、前記複数の撮影画像データを合成して、撮影地点を中心とする周囲３６０度以上のパノラマ画像データを生成する第１ステップと、前記周囲３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる前記被写体に対し、前記始端における前記被写体及び前記終端における前記被写体のいずれかを変形させて、前記始端における前記被写体及び前記終端における前記被写体の、大きさ及び姿勢を一致させる第一の処理と、前記周囲３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる前記被写体に対し、前記始端における前記被写体及び前記終端における前記被写体のいずれかを変形させて、前記周囲３６０度以上のパノラマ画像データの短手方向の位置を一致させる第二の処理との少なくとも一方を行う第２ステップと、前記第２ステップの後、前記周囲３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる前記被写体同士を重ね合わせて、前記周囲３６０度のパノラマ画像データを生成する第３ステップとを備えるものである。

開示されたパノラマ画像生成方法は、前記第２ステップでは、前記第一の処理と前記第二の処理の両方をこの順番で行うものである。

開示されたパノラマ画像生成方法は、前記第３ステップでは、前記周囲３６０度以上のパノラマ画像データを分割した上で、前記周囲３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる前記被写体同士を重ね合わせて、前記周囲３６０度のパノラマ画像データを生成するものである。

開示されたパノラマ画像生成方法は、前記第一の処理が、前記始端における前記被写体の特徴点及び前記終端における当該特徴点と対応する特徴点を抽出する特徴点抽出処理と、前記始端における前記被写体から抽出された隣接するｎ個（ｎは３以上の自然数）の第一の特徴点同士を結ぶ始端側ｎ角形と、前記ｎ角形を構成する第一の特徴点に対応する前記終端における前記被写体から抽出された第二の特徴点によって形成される終端側ｎ角形のいずれか一方内の画像を変形する処理を、前記始端側ｎ角形とこれに対応する前記終端側ｎ角形とのペア毎に行う画像変形処理とを含むものである。

開示されたパノラマ画像生成方法は、前記第一の処理が、前記特徴点抽出処理により抽出した前記第一の特徴点と前記第二の特徴点に対し、更にダミーの特徴点を追加する特徴点追加処理を含み、前記画像変形処理では、前記ダミーの特徴点を含む前記第一の特徴点及び前記第二の特徴点にしたがって前記画像を変形するものである。

開示された撮像装置は、前記パノラマ画像生成方法の各ステップを実行するパノラマ画像生成部と、前記複数の撮影画像データを得るための撮像部とを備えるものである。

開示された撮像装置は、前記周囲３６０度以上のパノラマ画像データ及び前記周囲３６０度のパノラマ画像データを記録媒体へ保存するか否かを指定するための情報を入力する情報入力部と、前記情報にしたがって、保存すると指定されたパノラマ画像データを前記記録媒体に記録する記録部とを備えるものである。

開示された撮像装置は、前記記録部は、前記周囲３６０度以上のパノラマ画像データを前記記録媒体に記録する場合に、前記周囲３６０度以上のパノラマ画像データのヘッダに前記周囲３６０度以上のパノラマ画像データであることを示す識別情報を付加し、前記周囲３６０度のパノラマ画像データを前記記録媒体に記録する場合に、前記周囲３６０度のパノラマ画像データのヘッダに前記周囲３６０度のパノラマ画像データであることを示す識別情報を付加するものである。

開示された撮像装置は、前記周囲３６０度以上のパノラマ画像データ又は前記周囲３６０度のパノラマ画像データを表示部上でスクロール再生する再生制御部を備え、前記再生制御部は、再生指示された画像データが前記周囲３６０度以上のパノラマ画像データと前記周囲３６０度のパノラマ画像データのどちらであるかを前記パノラマ画像データのヘッダの情報から判定し、再生指示された画像データが前記周囲３６０度のパノラマ画像データであった場合は、前記周囲３６０度のパノラマ画像データをエンドレスにスクロール再生し、再生指示された画像データが前記周囲３６０度以上のパノラマ画像データであった場合は、前記周囲３６０度以上のパノラマ画像データの全ての領域を再生した時点で再生を停止するものである。

開示された撮像装置は、前記周囲３６０度のパノラマ画像データの一端から、指定された幅の画像データを切り取り、切り取った画像データの前記一端側を、前記周囲３６０度のパノラマ画像データの他端と接合する画像編集部を備えるものである。

本発明のパノラマ画像生成方法及び撮像装置は、違和感のない自然な３６０度のパノラマ画像データを生成することができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１１年７月２２日出願の日本特許出願（特願２０１１−１６１３２８）に基づくものであり、その内容はここに参照として取り込まれる。

５ 固体撮像素子
１１ システム制御部
１９ パノラマ画像生成部

Claims (10)

1. 複数の撮影画像データを用いて、撮影地点を中心とする周囲３６０度のパノラマ画像データを生成するパノラマ画像生成方法であって、
   前記複数の撮影画像データのうち、時系列的に最初に得られた撮影画像データと、時系列的に最後に得られた撮影画像データとには、それぞれ同一の被写体が含まれており、
   前記複数の撮影画像データを合成して、撮影地点を中心とする周囲３６０度以上のパノラマ画像データを生成する第１ステップと、
   前記周囲３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる前記被写体に対し、前記始端における前記被写体及び前記終端における前記被写体のいずれかを変形させて、前記始端における前記被写体及び前記終端における前記被写体の、大きさ及び姿勢を一致させる第一の処理と、前記周囲３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる前記被写体に対し、前記始端における前記被写体及び前記終端における前記被写体のいずれかを変形させて、前記周囲３６０度以上のパノラマ画像データの短手方向の位置を一致させる第二の処理との少なくとも一方を行う第２ステップと、
   前記第２ステップの後、前記周囲３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる前記被写体同士を重ね合わせて、前記周囲３６０度のパノラマ画像データを生成する第３ステップとを備えるパノラマ画像生成方法。
2. 請求項１記載のパノラマ画像生成方法であって、
   前記第２ステップでは、前記第一の処理と前記第二の処理の両方をこの順番で行うパノラマ画像生成方法。
3. 請求項１又は２記載のパノラマ画像生成方法であって、
   前記第３ステップでは、前記周囲３６０度以上のパノラマ画像データを分割した上で、前記周囲３６０度以上のパノラマ画像データの始端と終端のそれぞれに含まれる前記被写体同士を重ね合わせて、前記周囲３６０度のパノラマ画像データを生成するパノラマ画像生成方法。
4. 請求項１〜３のいずれか１項記載のパノラマ画像生成方法であって、
   前記第一の処理は、
   前記始端における前記被写体の特徴点及び前記終端における当該特徴点と対応する特徴点を抽出する特徴点抽出処理と、
   前記始端における前記被写体から抽出された隣接するｎ個（ｎは３以上の自然数）の第一の特徴点同士を結ぶ始端側ｎ角形と、前記ｎ角形を構成する第一の特徴点に対応する前記終端における前記被写体から抽出された第二の特徴点によって形成される終端側ｎ角形のいずれか一方内の画像を変形する処理を、前記始端側ｎ角形とこれに対応する前記終端側ｎ角形とのペア毎に行う画像変形処理とを含むパノラマ画像生成方法。
5. 請求項４記載のパノラマ画像生成方法であって、
   前記第一の処理は、前記特徴点抽出処理により抽出した前記第一の特徴点と前記第二の特徴点に対し、更にダミーの特徴点を追加する特徴点追加処理を含み、
   前記画像変形処理では、前記ダミーの特徴点を含む前記第一の特徴点及び前記第二の特徴点にしたがって前記画像を変形するパノラマ画像生成方法。
6. 請求項１〜５のいずれか１項記載のパノラマ画像生成方法の各ステップを実行するパノラマ画像生成部と、
   前記複数の撮影画像データを得るための撮像部とを備える撮像装置。
7. 請求項６記載の撮像装置であって、
   前記周囲３６０度以上のパノラマ画像データ及び前記周囲３６０度のパノラマ画像データを記録媒体へ保存するか否かを指定するための情報を入力する情報入力部と、
   前記情報にしたがって、保存すると指定されたパノラマ画像データを前記記録媒体に記録する記録部とを備える撮像装置。
8. 請求項７記載の撮像装置であって、
   前記記録部は、前記周囲３６０度以上のパノラマ画像データを前記記録媒体に記録する場合に、前記周囲３６０度以上のパノラマ画像データのヘッダに前記周囲３６０度以上のパノラマ画像データであることを示す識別情報を付加し、前記周囲３６０度のパノラマ画像データを前記記録媒体に記録する場合に、前記周囲３６０度のパノラマ画像データのヘッダに前記周囲３６０度のパノラマ画像データであることを示す識別情報を付加する撮像装置。
9. 請求項８記載の撮像装置であって、
   前記周囲３６０度以上のパノラマ画像データ又は前記周囲３６０度のパノラマ画像データを表示部上でスクロール再生する再生制御部を備え、
   前記再生制御部は、再生指示された画像データが前記周囲３６０度以上のパノラマ画像データと前記周囲３６０度のパノラマ画像データのどちらであるかを前記パノラマ画像データのヘッダの情報から判定し、再生指示された画像データが前記周囲３６０度のパノラマ画像データであった場合は、前記周囲３６０度のパノラマ画像データをエンドレスにスクロール再生し、再生指示された画像データが前記周囲３６０度以上のパノラマ画像データであった場合は、前記周囲３６０度以上のパノラマ画像データの全ての領域を再生した時点で再生を停止する撮像装置。
10. 請求項６〜９のいずれか１項記載の撮像装置であって、
    前記周囲３６０度のパノラマ画像データの一端から、指定された幅の画像データを切り取り、切り取った画像データの前記一端側を、前記周囲３６０度のパノラマ画像データの他端と接合する画像編集部を備える撮像装置。

Images