JP4656216B2 - 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、撮像装置を移動させながら撮影を行い、パノラマ画像を合成する撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体に関する。

近年、パノラマ状の画像を撮影する種々のカメラシステムが提案されている。例えば、このカメラシステムは、大別すると広い視野を複数レンズで一度に撮影する多眼式と、単眼レンズを用いて撮像方向を順にシフトさせつつ個々の画像に分けて連続撮影する単眼式とに分類される。多眼式のカメラシステムは、通常のカメラとほぼ同様の操作でパノラマ状の全体画像を生成することができるという利点があるが、システム全体が高価となる欠点がある。

これに対して単眼式のカメラシステムは、比較的安価にパノラマ画像を撮影することができ、撮像方向をシフトさせつつ撮影する方法としていくつかの方法が提案されている。例えば、手で撮像系を一定の速度でシフト又は回転させる方法（例えば、特許文献１参照。）、手で撮像系をシフト又は回転させる動作と静止とを繰り返す方法（例えば、特許文献２参照。）等が知られている。また、ステッピングモータ等を用いて撮像系のシフトや回転、静止をする方法（例えば、特許文献３参照）が知られている。

特開平１１−８８７５４号公報 特開平１１−８８８１１号公報 特開２００５−３３３３９６号公報

ところで、上述したいずれの撮影方法においても、画像を破綻なく結合するためには、連続して撮影される画像間の正確な移動量の算出が重要となる。また、パノラマ画像の合成前に、連続して撮影した画像を一時保存する必要があるが、一時保存先の記憶領域を少なくしてコストを抑えることが望まれる。

連続して撮影した画像間の移動量を算出する際に、仮に狭い短冊状（スリット状）の狭い画角の画像同士から画像間の移動量を求めると、移動量が大きい場合には撮影画像間の重複領域が非常に狭くなってしまう。そのため、狭い短冊状の画像同士から画像間の移動量を求めた場合には、重複領域に特徴点のある被写体が無い画像だけになってしまう可能性が高く、これにより正確な画像間の移動量が算出できないことが頻繁に発生してしまう。このように、画像間の移動量が正確に算出できないと、複数の画像を結合してパノラマ画像を合成する際に、画像同士の結合部のずれが目立つことになってしまい、良好な合成画像を得ることができない。

一方、広い画角の画像を用いる場合には、画像間の移動量を算出する際の正確性が向上するものの、連続して撮影する画像の一時保存用に大きな記憶領域が必要となってしまうため、コストが増加してしまう。また、パノラマ撮影を行う際には、撮影機器のぶれが生じやすく、撮影者の意図通りに簡易に撮影することが困難であった。

そこで、本発明は、上記従来の課題を解決するものであり、移動量の正確な検出、記憶領域の削減及び撮影者の意図通りの簡易な撮影が可能となる撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。

すなわち、本発明に係る撮像装置は、レンズ系を介して入射される被写体画像を撮像し、第１の画角の画像を得る画像取得手段と、連続した撮影により取得される複数の上記第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出部と、上記第１の画角の画像よりも画角が狭い第２の画角の画像を記憶する部分画像記憶部とを備え、上記部分画像記憶部は、上記移動量検出部により検出した第１の画角の画像間の移動量に基づく切り出し画角でそれぞれ上記第１の画角の画像から上記第２の画角の画像を切り出して保存し、保存された複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする。
また、本発明に係る撮像装置は、レンズ系を介して入射される被写体画像を撮像し、第１の画角の画像を得る画像取得手段と、連続した撮影により取得される複数の上記第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出部と、上記第１の画角の画像を圧縮して上記第１の画角の画像よりも画角が狭い第２の画角の画像を生成する画像圧縮部と、上記画像圧縮部から供給された上記第２の画角の画像を記憶する部分画像記憶部と、上記部分画像記憶部に記憶された第２の画角の画像を解凍して該第２の画角の画像の画角以下の第３の画角の画像を生成する画像解凍部とを備え、上記画像解凍部は、上記移動量検出部により検出した第１の画角の画像間の移動量が所定の閾値より大きい場合には、上記解凍領域を大きくし、該第１の画角の画像間の移動量が所定の閾値より小さい場合には、該解凍領域を小さくして上記第３の画角の画像を生成し、生成した複数の第３の画角の画像と、該複数の第３の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする。

また、本発明に係る画像処理装置は、入力信号から得られる連続した複数の第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出部と、上記第１の画角の画像よりも画角が狭い第２の画角の画像を記憶する部分画像記憶部とを備え、上記部分画像記憶部は、上記移動量検出部により検出した第１の画角の画像間の移動量に基づく切り出し画角でそれぞれ上記第１の画角の画像から上記第２の画角の画像を切り出して保存し、保存された複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする。

また、本発明に係る画像処理方法は、入力信号から得られる連続した複数の第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出工程と、上記第１の画角の画像よりも画角が狭い第２の画角の画像を記憶する部分画像記憶工程とを有し、上記部分画像記憶工程では、上記移動量検出工程で検出した第１の画角の画像間の移動量に基づく切り出し画角でそれぞれ上記第１の画角の画像から上記第２の画角の画像を切り出して保存し、保存された複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする。

また、本発明に係るプログラムは、入力信号から得られる連続した複数の第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出工程と、上記第１の画角の画像よりも画角が狭い第２の画角の画像を記憶する部分画像記憶工程とを有し、上記部分画像記憶工程では、上記移動量検出工程で検出した第１の画角の画像間の移動量に基づく切り出し画角でそれぞれ上記第１の画角の画像から上記第２の画角の画像を切り出して保存し、保存された複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする画像処理方法を情報処理装置に実行させるためのものである。

また、本発明に係る記録媒体は、入力信号から得られる連続した複数の第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出工程と、上記第１の画角の画像よりも画角が狭い第２の画角の画像を記憶する部分画像記憶工程とを有し、上記部分画像記憶工程では、上記移動量検出工程で検出した第１の画角の画像間の移動量に基づく切り出し画角でそれぞれ上記第１の画角の画像から上記第２の画角の画像を切り出して保存し、保存された複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする画像処理方法を情報処理装置に実行させるためのプログラムを記録したものである。

本発明によれば、広い画角の第１の画角の画像に基づいて画像間の移動量を検出するため、正確な移動量を検出することが可能となる。また、本発明によれば、画像記憶部に第１の画角の画像よりも画角が狭い第２の画角の画像のみを記憶させるため、記憶領域の削減を図ることができる。さらに、本発明によれば、撮影中に広い画角の第１の画角の画像を表示部に表示することで、例えば撮影機器の移動方向に対して垂直方向のブレが少なく撮影が可能となるため、撮影者の意図通りの簡易な撮影が可能となる。

以下、発明を実施するための最良の形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮影方向に応じて部分画像を可変）
２．第２の実施の形態（一時保存領域を可変）
３．第３の実施の形態（部分解凍領域を可変）

＜１．第１の実施の形態＞
図１は、第１の実施の形態に係る撮像装置１の構成を示すブロック図である。第１の実施の形態に係る撮像装置１は、レンズ系１０と、撮像素子１１と、画像用信号処理部１２と、表示部１３と、移動量検出用画像一時記憶部１４と、移動量検出部１５と、移動量記憶部１６と、部分画像記憶部１７と、パノラマ合成部１８と、記録媒体１９とを備える。

撮像装置１では、レンズ系１０を介して、被写体画像が撮像素子１１に照射される。撮像素子１１としては、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ等が用いられる。撮像素子１１に照射された被写体画像は、撮像素子１１により電気信号（撮像信号）に変換される。なお、図示しないが、撮像素子１１は、所定の信号処理回路を有し、変換された電気信号をさらにディジタル画像データに変換して、画像用信号処理部１２に供給する。

画像用信号処理部１２では、撮像素子１１から供給されるディジタル画像データに対してガンマ補正、輪郭強調補正等を行う。画像用信号処理部１２は、撮像信号から得られる広い画角の画像（以下、第１の画角の画像という。）を表示部１３と、移動量検出用画像一時記憶部１４と、移動量検出部１５と、部分画像記憶部１７とに供給する。

表示部１３は、画像用信号処理部１２から供給される第１の画角の画像を表示する。表示部１３としては、例えば液晶パネル等が用いられる。

移動量検出用画像一時記憶部１４は、画像用信号処理部１２から供給される現在撮影中の第１の画角の画像を蓄積し、１フレーム過去の第１の画角の画像を移動量検出部１５に供給する。

移動量検出部１５には、画像用信号処理部１２から供給される現在撮影中の第１の画角の画像とともに、移動量検出用画像一時記憶部１４に蓄積された１フレーム前の第１の画角の画像が供給される。そして、移動量検出部１５は、連続して撮影される複数の第１の画角の画像間の移動量を算出し、第１の画角の画像間の移動量を移動量記憶部１６に供給する。

移動量記憶部１６は、撮影中に移動量検出部１５で算出された複数の第１の画角の画像間の移動量を順次保存しておき、撮影終了後、保存されている複数の第１の画角の画像間の移動量をパノラマ合成部１８に供給する。

部分画像記憶部１７は、画像用信号処理部１２から現在撮影中の第１の画角の画像が供給され、撮影方向に応じた第１の画角の画像よりも画角が狭い矩形状の画像（以下、第２の画角の画像という。）を順次保存する。そして、部分画像記憶部１７は、撮影終了後、保存した複数の第２の画角の画像をパノラマ合成部１８に供給する。

図２は、撮影方向に応じた第２の画角の画像の切り出し方法を説明するための図である。部分画像記憶部１７では、図２に示すように、撮影方向に応じて、第２の画角の画像を記憶する際に、第２の画角の画像の切り出し画角の方向を変更する。具体的には、部分画像記憶部１７では、図２（Ａ）に示すように、撮像装置１の移動方向（撮影方向）が、撮像装置１の長手方向ｙに対して略垂直の場合には、撮像装置１の長手方向ｙに第２の画角の画像を長く切り出す。また、部分画像記憶部１７は、図２（Ｂ）に示すように、撮像装置１の移動方向（撮影方向）が撮像装置１の長手方向ｙに対して略平行な場合には、撮像装置１の短手方向ｘに第２の画角の画像を長く切り出す。つまり、部分画像記憶部１７は、矩形状の第２の画角の画像を記憶する際に、撮像装置１の移動方向に対して略垂直方向の辺の長さＬを固定し、該撮像装置１の移動方向に対して略平行な切り出し画角の辺の長さＷを変更する。

ここで、部分画像記憶部１７は、ハードウェアやソフトウェアに対するインプリメンテーションのしやすさ等を考慮して、第２の画角の画像の切り出し画角、すなわち、短手方向の辺の長さＷを固定させるようにすることが好ましい。例えば、部分画像記憶部１７は、第２の画角の画像の短手方向の辺の長さＷが第１の画角の画像の長手方向ｙの長さ又は短手方向ｘの長さに対して１／２程度となるようにするのが好ましい。

パノラマ合成部１８には、撮影終了後に、部分画像記憶部１７から撮影中に保存された複数の第２の画角の画像が供給される。また、パノラマ合成部１８には、移動量記憶部１６に記憶される複数の第２の画角の画像に関連付けられた画像間移動量が移動量記憶部１６から供給される。パノラマ合成部１８は、連続する第２の画角の画像を画像間移動量に基づいてパノラマ画像へと合成する。このように、パノラマ合成部１８では、移動量記憶部１６に記憶される複数の第２の画角の画像に関連付けられ画像間移動量撮影終了後に、そして、パノラマ合成部１８は、合成したパノラマ画像に対してＪＰＥＧ等の圧縮処理を行った後、記録媒体１９に供給する。

記録媒体１９は、パノラマ合成部１８で合成されたパノラマ画像を保存する。記録媒体１９は、ディジタル信号を記録可能な記録媒体であれば、どのような記録媒体でも良く、例えばハードディスク、光磁気ディスク、ＤＶＤ(Digital Versatile Disc)、ＭＤ（商標）、半導体メモリ、磁気テープ等を適用することができる。

このように、第１の実施の形態に係る撮像装置１によれば、広い画角の第１の画角の画像に基づいて移動量検出部１５により画像間の移動量を検出するため、画像間の移動量を正確に検出することが可能となる。また、撮像装置１によれば、部分画像記憶部１７に第２の画角の画像のみを記憶させるため、部分画像記憶部１７の記憶領域の削減を図ることができる。さらに、撮像装置１によれば、撮影中に広い画角の第１の画角の画像を表示部１３に表示することで、例えば撮像装置１の移動方向に対して垂直方向のブレが少なく撮影が可能となるため、撮影者の意図通りの簡易な撮影が可能となる。

＜２．第２の実施の形態＞
次に、第２の実施の形態に係る撮像装置２について説明する。図３は、第２の実施の形態に係る撮像装置２の構成を示すブロック図である。撮像装置２は、レンズ系１０と、撮像素子１１と、画像用信号処理部１２と、表示部１３と、移動量検出部１５と、移動量記憶部１６と、部分画像記憶部１７と、パノラマ合成部１８と、記録媒体１９と、全画角画像一時記憶部２１とを備える。この撮像装置２は、上述した第１の実施の形態に係る撮像装置１と比較すると、次の点で異なる。すなわち、撮像装置２は、移動量検出用画像一時記憶部１４の代わりに全画角画像一時記憶部２１を備え、全画角画像一時記憶部２１が、第１の画角の画像を移動量検出部１５及び部分画像記憶部１７に供給する点で撮像装置１と異なる。なお、撮像装置２において、撮像装置１と同一の構成については、同一の符号を付してその詳細な説明を省略する。

撮像装置２では、レンズ系１０を介して被写体画像が撮像素子１１に照射される。画像用信号処理部１２では、ガンマ補正や輪郭強調補正等を行い、表示部１３と全画角画像一時記憶部２１と、移動量検出部１５と、部分画像記憶部１７に広い画角の画像を供給する。表示部１３は、画像用信号処理部１２から供給される第１の画角の画像を表示する。

全画角画像一時記憶部２１は、撮影中の第１の画角の画像を蓄積しておき、１フレーム過去の第１の画角の画像を移動量検出部１５に供給するとともに、部分画像記憶部１７にも１フレーム過去の第１の画角の画像を供給する。

移動量検出部１５には、画像用信号処理部１２から供給される現在撮影中の第１の画角の画像とともに、全画角画像一時記憶部２１に蓄積された１フレーム前の第１の画角の画像が供給される。移動量検出部１５は、これらの連続して撮影された第１の画角の画像間の移動量、すなわち、現在の第１の画角の画像と、１フレーム過去の第１の画角の画像とに基づく第１の画角の画像間の移動量を検出する。そして、移動量検出部１５は、検出した第１の画角の画像間の移動量を移動量記憶部１６及び部分画像記憶部１７に供給する。

移動量記憶部１６は、撮影中に移動量検出部１５で検出した複数の第１の画角の画像間の移動量を順次保存しておき、撮影終了後、保存した第１の画角の画像間移動量をパノラマ合成部１８に供給する。

部分画像記憶部１７には、移動量検出部１５で検出された第１の画角の画像間の移動量とともに、全画角画像一時記憶部２１から１フレーム過去の第１の画角の画像が供給される。部分画像記憶部１７は、移動量検出部１５により検出した第１の画角の画像間の移動量に基づいて、第２の画角の画像を記憶する際の切り出し画角を変更する。つまり、部分画像記憶部１７は、撮影中は、移動量検出部１５からの画像間移動量の情報に基づいて、第１の画角の画像のうち撮影方向に応じた第２の画角の画像の画角を適応的に変えながら第２の画角の画像を順次保存する。

図４は、画像間移動量に基づいて部分画像の画角を変更する方法を説明するための図である。部分画像記憶部１７では、撮像装置２の移動方向に対して略垂直な第２の画角の画像の切り出し画角の辺の長さ、すなわち長さＬを固定させる。また、部分画像記憶部１７では、撮像装置２の移動方向に対して略平行な第２の画角の画像の切り出し画角の辺の長さ、すなわち長さＷを変更する。

なお、第２の実施の形態に係る撮像装置２において、部分画像記憶部１７に記憶する第２の画角の画像は、上述した図２に示す場合と同様に、撮影方向に応じて切り出し幅が固定となる辺、すなわち長さＬの辺が異なるものとする。

具体的に、上記Ｗについては、図５に示すような方法で決定する。すなわち、撮像装置２の移動方向をｙとし、この移動方向ｙに直交する方向をｘとし、n枚目に撮影された第１の画角の画像を構成する圧縮された第２の画角の画像のy方向の長さをLnとする。また、n枚目から(n+1)枚目の画像間の移動量をVnとし、Vnのy方向の成分をVn_yとし、Vnのx方向の成分をVn_xとし、第２の画角の画像間の重複幅をdとする。この場合において、Ｗは、以下の（１）式に従って、部分解凍する画像の画角を変化させる。
W = Ln = Vn_y + d （１）

そして、部分画像記憶部１７は、撮影終了後、撮影中に保存した複数の第２の画角の画像をパノラマ合成部１８に供給する。

パノラマ合成部１８は、撮影終了後に、部分画像記憶部１７から撮影中に保存された複数の第２の画角の画像とともに、移動量記憶部１６に保存されたそれぞれの第２の画角の画像に関連付けられた複数の画像間移動量が供給される。パノラマ合成部１８は、連続する第２の画角の画像を画像間移動量に基づいてパノラマ画像に合成する。このように、パノラマ合成部１８では、撮影終了後にパノラマ画像を合成することにより、より高速なパノラマ合成処理が可能となる。そして、パノラマ合成部１８は、合成したパノラマ画像に対してＪＰＥＧ等の圧縮処理を行った後、記録媒体１９に供給する。そして、記録媒体１９は、パノラマ合成部１８で合成されたパノラマ画像を保存する。

このように、第２の実施の形態に係る撮像装置２によれば、広い画角の第１の画角の画像に基づいて画像間の移動量を検出するため、画像間の移動量を正確に検出することが可能となる。また、撮像装置２によれば、部分画像記憶部１７に第２の画角の画像のみを記憶させるため、記憶領域の削減を図ることができる。ここで、撮像装置２によれば、移動量検出部１５により検出した第１の画角の画像間の移動量に基づいて、部分画像記憶部１７に記憶する第２の画角の画像の切り出し画角を変更する。これにより、撮像装置２によれば、より部分画像記憶部１７の記憶領域を削減することができる。さらに、撮像装置２によれば、撮影中に広い画角の第１の画角の画像を表示部１３に表示することで、例えば撮像装置２の移動方向に対して垂直方向のブレが少なく撮影が可能となるため、撮影者の意図通りの簡易な撮影が可能となる。

＜３．第３の実施の形態＞
次に、第３の実施の形態に係る撮像装置３について説明する。図６は、第３の実施の形態に係る撮像装置３の構成を示すブロック図である。撮像装置３は、レンズ系１０と、撮像素子１１と、画像用信号処理部１２と、表示部１３と、移動量検出用画像一時記憶部１４と、移動量検出部１５と、移動量記憶部１６と、部分画像記憶部１７と、パノラマ合成部１８と、記録媒体１９と、部分画像圧縮部２３と、部分画像解凍部２５とを備える。この撮像装置３は、次の点で上述した第１の実施の形態に係る撮像装置１とは異なる。すなわち、撮像装置３は、部分画像圧縮部２３及び部分画像解凍部２５を備えるとともに、移動量記憶部１６に記憶した画像間移動量を部分画像解凍部２５に供給する点で、第１の実施の形態に係る撮像装置１とは異なる。この第３の実施の形態に係る撮像装置３によれば、後に詳述するように、部分画像記憶部１７の記憶領域をより削減することが可能となる。なお、撮像装置３において、撮像装置１と同一の構成については、同一の符号を付してその詳細な説明を省略する。

レンズ系１０を介して被写体画像が撮像素子１１に照射される。照射された被写体画像は、撮像素子１１によって電気信号に変換される。画像用信号処理部１２は、ガンマ補正や輪郭強調補正等を行い、表示部１３と移動量検出用画像一時記憶部１４と、移動量検出部１５と、部分画像圧縮部２３とに第１の画角の画像を供給する。表示部１３には、現在撮影中の第１の画角の画像が表示される。

移動量検出用画像一時記憶部１４は、撮影中の第１の画角の画像を蓄積し、１フレーム過去の第１の画角の画像を移動量検出部１５に供給する。

移動量検出部１５には、画像用信号処理部１２から供給される現在撮影中の第１の画角の画像とともに、移動量検出用画像一時記憶部１４に蓄積された１フレーム前の第１の画角の画像が供給される。移動量検出部１５は、これらの連続して撮影された第１の画角の画像間の移動量、すなわち、現在の第１の画角の画像と、１フレーム過去の第１の画角の画像とに基づく第１の画角の画像間の移動量を検出する。そして、移動量検出部１５は、検出した第１の画角の画像間の移動量を移動量記憶部１６に供給する。

移動量記憶部１６は、撮影中に移動量検出部１５で検出した複数の第１の画角の画像間の移動量を順次保存する。移動量記憶部１６は、撮影終了後、部分画像解凍部２５と、パノラマ合成部１８とに保存された複数の第１の画角の画像間の移動量を供給する。

部分画像圧縮部２３には、現在撮影中の第１の画角の画像が画像用信号処理部１２から供給される。部分画像圧縮部２３は、部分画像記憶部１７の記憶領域を削減するために、第１の画角の画像のうち撮影方向に応じた一部の画像に対してＪＰＥＧ等の画像圧縮を行う。そして、部分画像圧縮部２３は、圧縮した部分画像、すなわち第１の画角の画像よりも画角の狭い画像（以下、第２の画角の画像という。）を部分画像記憶部１７に供給する。なお、部分画像圧縮部２３は、圧縮を行う第１の画角の画像については、上述した図２に示す場合と同様に、撮影方向に応じて切り出し領域を変更する。

部分画像記憶部１７は、撮影中においては、部分画像圧縮部２３から供給される複数の第２の画角の画像を順次保存する。部分画像記憶部１７は、撮影終了後においては、撮影中に保存した複数の第２の画角の画像を部分画像解凍部２５に供給する。

部分画像解凍部２５には、撮影終了後に、撮影中に保存された複数の第２の画角の画像が部分画像記憶部１７から供給される。また、部分画像解凍部２５には、第２の画角の画像に関連付けられた複数の画像間移動量が移動量記憶部１６から供給される。部分画像解凍部２５は、画像間移動量の情報に基づいて第２の画角の画像を部分的に解凍し、第２の画角の画像の画角以下の画像（以下、第３の画角の画像という。）を生成してパノラマ合成部１８に供給する。

ここで、部分画像圧縮部２３、部分画像記憶部１７及び部分画像圧縮部２３での具体的な処理を説明する。

図７は、画像間移動量に基づいて解凍する部分画像の画角を変更する方法の一例を説明するための図である。まず、部分画像圧縮部２３では、図７に示すように、画像用信号処理部１２から供給される第１の画角の画像を圧縮して、例えば長手方向の辺の長さがＬ、短手方向の辺の長さがＷ１の第２の画角の画像を生成する。ここで、部分画像圧縮部２３は、部分画像記憶部１７の記憶領域を削減する点、ハードウェアやソフトウェアに対するインプリメンテーションのしやすさ等を考慮して、第１の画角の画像を圧縮する際の圧縮領域を固定させるようにすることが好ましい。例えば、部分画像圧縮部２３は、第２の画角の画像の圧縮領域が第１の画角の画像に対して１／２程度となるようにするのが好ましい。なお、部分画像圧縮部２３では、圧縮領域を固定させずに、例えば、画像間の移動量に応じて圧縮領域を可変させるようにしてもよい。

続いて、部分画像記憶部１７は、撮影中においては部分画像圧縮部２３から供給される複数の第２の画角の画像を順次保存し、撮影終了後においては撮影中に保存した複数の第２の画角の画像を部分画像解凍部２５に供給する。

続いて、部分画像解凍部２５は、撮像装置３の移動方向に応じて、矩形状の第２の画角の画像の解凍領域（解凍部分）を変更して第３の画角の画像を生成する。部分画像解凍部２５では、圧縮された第２の画角の画像を解凍する際に、撮像装置３の移動方向に対して略垂直な長さＬを固定し、撮像装置３の移動方向に対して略平行な長さがＷ２である第３の画角の画像を生成する。

部分画像解凍部２５は、例えば、図７（Ａ）に示すように、移動量記憶部１６から供給される第１の画角の画像間の移動量が所定の閾値よりも大きい場合には、第２の画角の画像を解凍する際の解凍領域を大きくする。一方、図７（Ｂ）に示すように、部分画像解凍部２５は、部分画像記憶部１７から供給される第１の画角の画像間の移動量が所定の閾値よりも小さい場合には、第２の画角の画像を解凍する際の解凍領域を小さくする。

ここで、部分画像解凍部２５では、撮像装置３においてパノラマ画像を高速で作成することを考慮して、必要最低限の第２の画角の画像を解凍することが好ましい。つまり、部分画像解凍部２５では、部分画像圧縮部２３により圧縮した第２の画角の画像を解凍する際に、画像間移動量に応じて解凍領域を変更することにより、第２の画角の画像を解凍する時間を短縮することができる。これにより、撮像装置３においては、より高速なパノラマ画像の合成が可能となるため、パノラマ画像が合成されるまでの待ち時間を少なくして、ユーザが快適にパノラマ画像を鑑賞することが可能となる。

具体的に、部分画像解凍部２５で部分解凍を行う領域については、図８に示すような方法で決定する。すなわち、撮像装置３の移動方向をｙとし、この移動方向ｙに直交する方向をｘとし、n枚目に撮影された第１の画角の画像を構成する圧縮された第２の画角の画像のy方向の長さをLnとする。また、n枚目から(n+1)枚目の画像間の移動量をVnとし、Vnのy方向の成分をVn_yとし、Vnのx方向の成分をVn_xとし、第２の画角の画像間の重複幅をdとする。この場合において、部分画像解凍部２５では、以下の（２）式に従って、部分解凍する画像の画角を変化させる。
Ln = Vn_y + d （２）

パノラマ合成部１８には、撮影終了後に、複数の第３の画角の画像が部分画像解凍部２５から供給されるとともに、それぞれの第３の画角の画像に関連付けられた複数の画像間移動量が移動量記憶部１６から供給される。パノラマ合成部１８は、連続する第３の画角の画像を画像間移動量に基づいてパノラマ画像に合成する。そして、パノラマ合成部１８は、合成したパノラマ画像に対してＪＰＥＧ等の圧縮処理を行った後、記録媒体１９に供給する。そして、記録媒体１９は、パノラマ合成部１８で合成されたパノラマ画像を保存する。

このように、第３の実施の形態に係る撮像装置３によれば、広い画角の第１の画角の画像に基づいて画像間の移動量を検出するため、画像間の移動量を正確に検出することが可能となる。

また、撮像装置３によれば、部分画像記憶部１７に部分画像圧縮部２３により圧縮した第２の画角の画像のみを記憶させるため、記憶領域の削減を図ることができる。

さらにまた、撮像装置３によれば、部分画像解凍部２５が移動量記憶部１６からの画像間の移動量に応じて、部分画像記憶部１７から読み出した第２の画角の画像の解凍領域を変更することにより、必要最小限の部分画像を解凍することができる。したがって、撮像装置３においては、より高速にパノラマ画像を合成することが可能となる。

また、撮像装置３によれば、撮影中に広い画角の第１の画角の画像を表示部１３に表示することで、例えば撮像装置３の移動方向に対して垂直方向のブレが少なく撮影が可能となるため、撮影者の意図通りの簡易な撮影が可能となる。

［パノラマ合成処理の動作］
次に、本実施の形態に係る撮像装置において、パノラマ画像の撮影と合成を行う手順の一例について図９を用いて説明をする。なお、以下では、上述した第１の実施の形態に係る撮像装置１を例にして説明する。

先ず、撮像装置１においては、ハードウェアの診断や初期化を行った後、ステップＳ１へ移行し、各種撮影パラメータを計算する。このステップＳ１では、露出計により識別された明るさに関する情報を取得し、絞り値やシャッタ速度等の撮影パラメータを計算する。

ステップＳ２では、撮像装置１においては、操作部（図示せず）におけるシャッタボタンが押圧入力操作に基づく操作信号が生成されたか否かにより撮影開始タイミングを識別する。その結果、撮像装置１では、かかる押圧入力の操作信号の生成を識別することができた場合（ステップＳ２：真）には、ステップＳ３へ移行する。これに対して、撮像装置１では、かかる押圧入力の操作信号の生成を識別することができなかった場合（ステップＳ２：偽）には、再びステップＳ１へ戻り、上述した処理を繰り返し実行する。

ステップＳ３では、撮像装置１においては、ステップＳ１にて決定した撮影パラメータを用いてレンズ系１０の絞り駆動部を調整するとともに画像の撮像、つまり、撮像素子１１から画像を読み出す。撮像装置１では、撮像面に撮像された被写体像が撮像素子１１により電気信号に変換され撮像信号となる。続いて、撮像装置１では、画像用信号処理部１２によりガンマ補正や輪郭強調補正等を行う。続いて、撮像装置１では、表示部１３により撮像中の画像を表示するとともに、移動量検出用画像一時記憶部１４により広い画角の第１の画角の画像を保存する。

ステップＳ４では、移動量検出部１５は、画像間移動量を検出する。具体的に、移動量検出部１５には、ステップＳ３で得られた画像用信号処理部１２から供給される画像信号とともに、移動量検出用画像一時記憶部１４に保存された１フレーム前の第１の画角の画像が供給される。そして、移動量検出部１５は、現在の第１の画角の画像と１フレーム前の第１の画角の画像とに基づいて画像間の移動量を検出する。

ステップＳ５では、移動量記憶部１６は、ステップＳ４で移動量検出部１５により検出した第１の画角の画像間の移動量を保存する。

ステップＳ６では、部分画像記憶部１７は、ステップＳ３で処理された画像のうち、一部の画像である第２の画角の画像を保存する。なお、部分画像記憶部１７は、第２の画角の画像に対してＪＰＥＧ等の圧縮処理を行った後に保存する。また、図４で示すように、第２の画角の画像の保存領域を可変にする場合は、ステップＳ４で求められた画像間の移動量に基づいて、保存する画像の画像領域を適応的に変化させて、部分画像記憶部１７に保存する。

ステップＳ７では、撮像装置１においては、操作部におけるシャッタボタンの押圧入力が継続しているか否を調べることで撮影終了のタイミングを識別する。その結果、撮像装置１において、未だ該押圧入力操作が継続していると識別した場合（ステップＳ７：真）には、撮影を継続させるためにステップＳ３の処理へ戻り、被写体の撮像を繰り返す。一方、撮像装置１において、シャッタボタンの押圧入力が終了しているものと識別した場合（ステップＳ７：偽）には、撮影の終了動作へ移行するためにステップＳ８へ移行する。

ステップＳ８では、パノラマ合成部１８で、パノラマ合成処理を行う。つまり、撮像装置１においては、部分画像記憶部１７に保存された複数の第２の画角の画像と、その複数の第２の画角の画像に関連づけられた複数の画像間の移動量に基づいてパノラマ画像を合成する。なお、図７に示す第３の実施の形態に係る撮像装置３のように、部分画像がＪＰＥＧ等で圧縮されて保存されている場合には、以下のように部分画像の読み込み動作を行うようにする。すなわち、撮像装置１は、処理速度の高速化を図るために、ステップＳ４で算出した画像間の移動量に基づいて、ＪＰＥＧ等の圧縮を解凍する画像領域を適応的に変化させて部分画像の読み込み動作を行う。

ステップＳ９では、撮像装置１においては、ステップＳ８で合成されたパノラマ合成画を記録媒体１９に保存を行う。

以上説明したように、本実施の形態に係る撮像装置によれば、撮像画像から得られる広い画角の第１の画角の画像に基づいて画像間の移動量を検出するため、正確な移動量を検出することが可能となる。また、本実施の形態に係る撮像装置によれば、画像記憶部に第１の画角の画像よりも画角の狭い第２の画角の画像のみを記憶させるため、記憶領域の削減を図ることができる。さらに、本実施の形態に係る撮像装置によれば、撮影中に広い画角の画像を表示部に表示することで、例えば撮影機器の移動方向に対して垂直方向のブレが少なく撮影が可能となるため、撮影者の意図通りの簡易な撮影が可能となる。さらにまた、本実施の形態に係る撮像装置によれば、第１の画角の画像よりも画角の狭い画像を用いてパノラマ画像を合成することにより、パノラマ画像を合成する際に画像の繋ぎ目を滑らかにするための画像処理が不要となる。つまり、本実施の形態に係る撮像装置によれば、パノラマ画像に劣化を生じさせず、画像の繋ぎ目が滑らかなパノラマ画像を高速で作成することが可能となる。

なお、本発明は、上述した撮像装置の他に、例えば画像処理装置等に適用することも可能である。また、本実施の形態において説明した一連の処理はハードウェア、ソフトウェア、又は両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、又は各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。また、本実施の形態に記載された各種の処理は、時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

第１の実施の形態に係る撮像装置の構成例を示すブロック図である。 撮影方向に応じた部分画像の切り出し方法の一例を説明するための図である。 第２の実施の形態に係る撮像装置の構成例を示すブロック図である。 画像間移動量に基づいて部分画像の画角を変更する方法の一例を説明するための図である。 画像間移動量の算出方法の一例を説明するための図である。 第３の実施の形態に係る撮像装置の構成例を示すブロック図である。 画像間移動量に基づいて解凍する部分画像の画角を変更する方法の一例を説明するための図である。 画像間移動量の算出方法の一例を説明するための図である。 撮像装置におけるパノラマ撮影処理の一例を説明するためのフローチャートである。

符号の説明

１０ レンズ系、１１ 撮像素子、１２ 画像用信号処理部、１３ 表示部、１４ 移動量検出用画像一時保存部、１５ 移動量検出部、１６ 移動量記憶部、１７ 部分画像記憶部、１８ パノラマ合成部、１９ 記録媒体、２１ 全画角画像一時記憶部、２３ 部分画像圧縮部、２４ 部分画像記憶部、２５ 部分画像解凍部

Claims (14)

1. レンズ系を介して入射される被写体画像を撮像し、第１の画角の画像を得る画像取得手段と、
   連続した撮影により取得される複数の上記第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出部と、
   上記第１の画角の画像よりも画角が狭い第２の画角の画像を記憶する部分画像記憶部とを備え、
   上記部分画像記憶部は、上記移動量検出部により検出した第１の画角の画像間の移動量に基づく切り出し画角でそれぞれ上記第１の画角の画像から上記第２の画角の画像を切り出して保存し、保存された複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする撮像装置。
2. 上記部分画像記憶部は、上記第２の画角の画像を記憶する際に、上記移動量検出部により検出した第１の画角の画像間の移動量が所定の閾値以上の場合には、上記第２の画角の画像の切り出し画角を大きくし、該第１の画角の画像間の移動量が所定の閾値未満である場合には、該第２の画角の画像の切り出し画角を小さくする請求項１記載の撮像装置。
3. 上記部分画像記憶部に記憶した複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づいて、パノラマ画像を合成するパノラマ合成部をさらに備える請求項１又は２記載の撮像装置。
4. レンズ系を介して入射される被写体画像を撮像し、第１の画角の画像を得る画像取得手段と、
   連続した撮影により取得される複数の上記第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出部と、
   上記第１の画角の画像を圧縮して上記第１の画角の画像よりも画角が狭い第２の画角の画像を生成する画像圧縮部と、
   上記画像圧縮部から供給された上記第２の画角の画像を記憶する部分画像記憶部と、
   上記部分画像記憶部に記憶された第２の画角の画像を解凍して該第２の画角の画像の画角以下の第３の画角の画像を生成する画像解凍部とを備え、
   上記画像解凍部は、上記移動量検出部により検出した第１の画角の画像間の移動量が所定の閾値より大きい場合には、上記解凍領域を大きくし、該第１の画角の画像間の移動量が所定の閾値より小さい場合には、該解凍領域を小さくして上記第３の画角の画像を生成し、生成した複数の第３の画角の画像と、該複数の第３の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする撮像装置。
5. 上記画像圧縮部は、上記第１の画角の画像を圧縮する際の圧縮領域を固定させる請求項４記載の撮像装置。
6. 上記画像解凍部で生成した複数の第３の画角の画像と、上記複数の第３の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づいて、パノラマ画像を合成するパノラマ合成部さらに備える請求項４又は５記載の撮像装置。
7. 入力信号から得られる連続した複数の第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出部と、
   上記第１の画角の画像よりも画角が狭い第２の画角の画像を記憶する部分画像記憶部とを備え、
   上記部分画像記憶部は、上記移動量検出部により検出した第１の画角の画像間の移動量に基づく切り出し画角でそれぞれ上記第１の画角の画像から上記第２の画角の画像を切り出して保存し、保存された複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする画像処理装置。
8. 上記部分画像記憶部に記憶した複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づいて、パノラマ画像を合成するパノラマ合成部をさらに備える請求項７記載の画像処理装置。
9. 入力信号から得られる連続した複数の第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出工程と、
   上記第１の画角の画像よりも画角が狭い第２の画角の画像を記憶する部分画像記憶工程とを有し、
   上記部分画像記憶工程では、上記移動量検出工程で検出した第１の画角の画像間の移動量に基づく切り出し画角でそれぞれ上記第１の画角の画像から上記第２の画角の画像を切り出して保存し、保存された複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする画像処理方法。
10. 上記複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づいて、パノラマ画像を合成するパノラマ合成工程をさらに有する請求項９記載の画像処理方法。
11. 入力信号から得られる連続した複数の第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出工程と、
    上記第１の画角の画像よりも画角が狭い第２の画角の画像を記憶する部分画像記憶工程とを有し、
    上記部分画像記憶工程では、上記移動量検出工程で検出した第１の画角の画像間の移動量に基づく切り出し画角でそれぞれ上記第１の画角の画像から上記第２の画角の画像を切り出して保存し、保存された複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする画像処理方法を情報処理装置に実行させるためのプログラム。
12. 上記複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づいて、パノラマ画像を合成するパノラマ合成工程をさらに有する請求項１１記載の画像処理方法を情報処理装置に実行させるためのプログラム。
13. 入力信号から得られる連続した複数の第１の画角の画像に基づいて、該第１の画角の画像間の移動量を検出する移動量検出工程と、
    上記第１の画角の画像よりも画角が狭い第２の画角の画像を記憶する部分画像記憶工程とを有し、
    上記部分画像記憶工程では、上記移動量検出工程で検出した第１の画角の画像間の移動量に基づく切り出し画角でそれぞれ上記第１の画角の画像から上記第２の画角の画像を切り出して保存し、保存された複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づくパノラマ画像の合成を可能とする画像処理方法を情報処理装置に実行させるためのプログラムを記録した記録媒体。
14. 上記複数の第２の画角の画像と、該複数の第２の画角の画像に関連付けられる上記第１の画角の画像間の移動量とに基づいて、パノラマ画像を合成するパノラマ合成工程をさらに有する請求項１３記載の画像処理方法を情報処理装置に実行させるためのプログラムを記録した記録媒体。

Images