JP5648563B2

JP5648563B2 - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP5648563B2
Application number: JP2011084380A
Authority: JP
Inventors: 康佑松本; 直知宮本
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2011-04-06
Filing date: 2011-04-06
Publication date: 2015-01-07
Anticipated expiration: 2031-04-06
Also published as: JP2012222493A

Description

本発明は、デジタルカメラや撮像機能を有する携帯電話などの画像処理装置、画像処理方法、及びプログラムに関する。

デジタルカメラや、撮像機能を有する携帯電話などにおいて、撮像画角の限界は、レンズの焦点距離、撮像素子のサイズなど、装置本体が備えるハードスペックに依存している。そして、このような撮像画角の限界の問題に対しては、撮像装置の中には、広角撮像用のコンバージョンレンズなどを、既存のレンズ前に装着したり（例えば、特許文献１、２、３参照）、複数のレンズを予め備え、撮像目的に応じてレンズを切り替えることで対処していた（例えば、特許文献４参照）。

特開２００４−１９１８９７号公報特開２００５−０２７１４２号公報特開２００５−０５７５４８号公報特開２００７−０８１４７３号公報

しかしながら、上記従来技術では、広角撮像を行うために、いちいち広角撮像用のコンバージョンレンズを装着したり、撮像目的に応じてレンズを切り替えたりしなくてはならず、操作性や、コストの面で問題があった。また、これら広角撮像用のコンバージョンレンズや、切り替え可能なレンズを用いたとしても、撮影者が希望する広角画像を得ることは難しいという問題があった。

そこで本発明は、レンズ交換を行うことなく、容易に、かつ効率的に広角画像の生成に必要な画像を得ることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

この発明は、被写体を連続して撮像して、複数の画像を順次出力する撮像手段と、本画像処理装置の前記撮像手段の移動方向を判別する判別手段と、前記判別手段により判別された移動方向が第１の方向である場合に、当該第１の方向で前記撮像手段によって撮像された複数の画像を記録手段に記録させるよう制御する一方、前記判別手段により判別された移動方向が前記第１の方向と異なる第２の方向である場合に、前記記録手段への画像の記録を禁止するよう制御する記録制御手段と、前記記録制御手段の制御により前記記録手段に記録された複数の画像を合成することにより、広角画像を生成する広角画像生成手段とを備え、前記記録制御手段は、前記記録手段への画像の記録後における画像の記録の禁止中に前記判別手段により前記移動方向が第１の方向であると判定された場合、前記撮像手段によって撮像される画像の前記記録手段への記録を当該判定後に前記広角画像の生成の指示がなされなくとも再開することを特徴とする画像処理装置である。

この発明によれば、レンズ交換を行うことなく、容易に、かつ効率的に広角画像の生成に必要な画像を得ることができるという利点が得られる。

本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。通常の撮像モードを説明するための概念図である。本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードを説明するための概念図である。本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードでのデジタルカメラ１の動き（ユーザによる動かし方）を示す概念図である。本第１実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。本第１実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。本第１実施形態によるデジタルでの合成処理の動作を説明するためのフローチャートである。本第１実施形態によるデジタルでの合成処理の動作を説明するための概念図である。本第２実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。本第２実施形態によるデジタルカメラ１での連写処理の動作を説明するための概念図である。本第３実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。本第３実施形態によるデジタルカメラ１での連写処理の動作を説明するための概念図である。パノラマ撮影時のデジタルカメラ１の動かし方の他の例を示す概念図である。撮影範囲を示す撮影枠や、移動方向の他の表示例を示す概念図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ１は、撮像レンズ２、レンズ駆動部３、絞り兼用シャッタ４、ＣＣＤ５、ＴＧ（Timing
Generator）６、ユニット回路７、画像処理部８、ＣＰＵ１１、ＤＲＡＭ１２、メモリ１３、フラッシュメモリ１４、画像表示部１５、キー入力部１６、カードＩ／Ｆ１７、及びメモリ・カード１８を備えている。

撮像レンズ２は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部３が接続されている。レンズ駆動部３は、撮像レンズ２を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、ＣＰＵ１１からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１１から送られてくる制御信号に従って絞り４を動作させる。該絞り４は、撮像レンズ２から入ってくる光の量を制御する。ＣＣＤ（撮像素子）５は、撮像レンズ２、絞り４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路７に出力する。また、ＣＣＤ５は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

ユニット回路７は、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated
Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic
Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されている。ＣＣＤ５の撮像信号は、ユニット回路７を経てデジタル信号として画像処理部８に送られる。なお、ユニット回路７は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

画像処理部８は、ユニット回路７から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、複数の撮像画像を合成する処理などを行う。なお、画像処理部８は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

ＣＰＵ１１は、デジタルカメラ１の各部を制御するワンチップマイコンである。特に、本第１実施形態では、ユーザがデジタルカメラ１を動かしている間に、ＣＰＵ１１は、所定の周期（時間間隔）で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように（例えば、αブレンドを用いて）合成していき、広角で撮像したような１枚の合成画像を生成すべく各部を制御する。なお、画像合成の詳細については後述する。

ＤＲＡＭ１２は、ＣＣＤ５によって撮像された後、ＣＰＵ１１に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１１のワーキングメモリとして使用される。メモリ１３は、ＣＰＵ１１によるデジタルカメラ１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ１１は、このプログラムに従って処理を行う。フラッシュメモリ１４や、メモリ・カード１８は、ＣＣＤ５によって撮像された画像データなどを保存しておく記録媒体である。

画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮像待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４や、メモリ・カード２３から読み出され、伸張された記録画像を表示させる。キー入力部１６は、シャッタＳＷ、ズームＳＷ、モードキー、ＳＥＴキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１１に出力する。カードＩ／Ｆ１７には、デジタルカメラ１本体の図示しないカードスロットを介してメモリ・カード１８が着脱自在に装着されている。

図２は、通常の撮像モードを説明するための概念図である。デジタルカメラ１で、通常の撮像モードで撮影する場合には、図２に示すように、当該デジタルカメラ１の撮像系の画角Ｓでしか撮影できない。

図３は、本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードを説明するための概念図である。また、図４は、本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードでのデジタルカメラ１の動き（ユーザによる動かし方）を示す概念図である。

ユーザは、所望する景色に対して、画角の長手方向を縦方向になるように、デジタルカメラ１を縦方向に構え、左上端でシャッタＳＷを押下（半押し→全押し）し、図３に示す矢印のように、まず、シャッタＳＷを押下して水平方向に動かし（状態＃１：図４参照）、所定の位置で垂直方向に動かし（状態＃２：図４参照）、さらに、水平方向に動かす（状態＃３：図４参照）。デジタルカメラ１では、所定のタイミングで画像を順次撮像していく。

デジタルカメラ１では、水平方向に動かしている状態＃１で撮像した複数の画像から第１のパノラマ画像を合成し、同じく水平方向に動かしている状態＃３で撮影した複数の画像から第２のパノラマ画像を合成し、第１のパノラマ画像と第２のパノラマ画像とを合成し、最終的に、所望する広角画像（図３の下側）を生成する。なお、垂直方向に動かしている状態＃２では、パノラマ画像の生成に必要としないので、画像を撮像することはない。

Ａ−２．第１実施形態の動作
次に、上述した第１実施形態の動作について説明する。
図５は、本第１実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。まず、ＣＰＵ１１は、シャッタＳＷが半押しされると（ステップＳ１０）、ＡＦ（オートフォーカス）処理を実行し（ステップＳ１２）、シャッタＳＷが全押しされると（ステップＳ１４）、所定の周期（時間間隔）で複数枚の画像を連写する（ステップＳ１６）。なお、連写処理の詳細については後述する。

このとき、ユーザは、図３に示すように、所望する景色に対して、画角の長手方向が縦方向になるように、デジタルカメラ１を縦方向に構え、左上でシャッタＳＷを押下（半押し→全押し）し、図３に示す矢印のように、デジタルカメラ１を、まず、シャッタＳＷを押下して水平方向（左端から右方向）に動かし（状態＃１：図４参照）、所定の位置で垂直方向（下方向）に動かし（状態＃２：図４参照）、さらに、水平方向（左方向）に動かす（状態＃３：図４参照）。そして、連写が終了したか否か、すなわち、パノラマ撮影が終了したか否かを判断し（ステップＳ１８）、連写が終了していなければ、ステップＳ１６に戻り、連写処理を継続する。

一方、連写が終了した場合、すなわち、パノラマ撮影が終了した場合には（ステップＳ１８のＹＥＳ）、左端から右方向に動かしている状態＃１で撮像した複数の画像から第１のパノラマ画像を合成し、右端から左方向に動かしている状態＃３で撮影した複数の画像から第２のパノラマ画像を合成し、第１のパノラマ画像と第２のパノラマ画像とを合成し、最終的に、所望する広角画像を生成する（ステップＳ２０）。なお、合成処理の詳細については後述する。

図６は、本第１実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。まず、ＣＰＵ１１は、１つ前の撮像画像と現在の撮影画像との位置合わせを行い（ステップＳ３０）、現在の状態が状態＃１、＃２、＃３のいずれであるかを判断する（ステップＳ３２）。

そして、ユーザが、デジタルカメラ１を、水平方向（左端から右方向）に動かしている状態＃１である場合には（ステップＳ３２の状態＃１）、撮像した画像をパノラマ作成用の画像として保存する（ステップＳ３４）。次に、デジタルカメラ１が所定の位置（この場合、状態＃１での終位置である右端）に到達したか否かを判断する（ステップＳ３６）。そして、所定の位置に達していない場合には（ステップＳ３６のＮＯ）、現在の状態＃１を変更することなく、当該処理を終了し、図５に示すメインルーチンに戻る。

以下、デジタルカメラ１が所定の位置（この場合、状態＃１での終位置である右端）に達するまで、ステップＳ３４で、撮像した画像をパノラマ作成用の画像として保存していく。そして、デジタルカメラ１が所定の位置に到達すると（ステップＳ３６のＹＥＳ）、状態＃１から状態＃２へ移行するので、現在の状態を状態＃２に変更する（ステップＳ３８）。

次に、ユーザが、デジタルカメラ１を、垂直方向（下方向）に動かしている状態＃２に移行すると（ステップＳ３２の状態＃２）、取り込んだ画像をパノラマ作成用の画像として保存することなく（ステップＳ４０）、デジタルカメラ１が所定の位置（この場合、状態＃２での終位置である下部右端）に到達したか否かを判断する（ステップＳ４２）。そして、所定の位置に達していない場合には（ステップＳ４２のＮＯ）、現在の状態＃２を変更することなく、当該処理を終了し、図５に示すメインルーチンに戻る。

以下、デジタルカメラ１が所定の位置（この場合、状態＃２での終位置である下部右端）に達するまで、パノラマ作成用の画像として保存せずにそのまま動作を継続し、デジタルカメラ１が所定の位置に到達すると（ステップＳ４２のＹＥＳ）、状態＃２から状態＃３へ移行するので、現在の状態を状態＃３に変更する（ステップＳ４４）。

次に、ユーザが、デジタルカメラ１を、水平方向（右から左方向）に動かしている状態＃３に移行すると（ステップＳ３２の状態＃３）、撮像した画像をパノラマ作成用の画像として保存する（ステップＳ４６）。そして、デジタルカメラ１が所定の位置（この場合、状態＃３での終位置である左端）に到達したか否かを判断する（ステップＳ４８）。そして、所定の位置に達していない場合には（ステップＳ４８のＮＯ）、現在の状態＃３を変更することなく、当該処理を終了し、図５に示すメインルーチンに戻る。

以下、デジタルカメラ１が所定の位置（この場合、状態＃３での終位置である左端）に達するまで、ステップＳ４６で、撮像した画像をパノラマ作成用の画像として保存していく。そして、デジタルカメラ１が所定の位置に到達すると（ステップＳ４８のＹＥＳ）、連写終了とする（ステップＳ５０）。

上述した動作の結果、ユーザが、デジタルカメラ１を、左端から右方向に動かしている状態＃１で撮像された複数の画像と、デジタルカメラ１を、右から左方向に動かしている状態＃３で撮像された複数の画像とが得られる。次に、これら撮像された複数の画像を用いて最終的な広角画像を得る方法について説明する。

図７は、本第１実施形態によるデジタルでの合成処理の動作を説明するためのフローチャートである。また、図８は、本第１実施形態によるデジタルでの合成処理の動作を説明するための概念図である。まず、ＣＰＵ１１は、パノラマ作成用の画像を取得し（ステップＳ６０）、その画像の撮影時の状態を判別する（ステップＳ６２）。その画像の撮影時の状態が状態＃１である場合には、パノラマ＃１として合成処理を行う（ステップＳ６４）。

その後、パノラマ合成が終了したか否かを判断し（ステップＳ６８）、終了していなければ、ステップＳ６０に戻る。以下、図８（ａ）に示すように、状態＃１で撮影された複数の画像ＦＲ１〜ＦＲ６を一部が重複するように（例えば、αブレンドを用いて）合成し、パノラマ＃１を作成する。

一方、取得したパノラマ作成用の画像が状態＃２で撮像された画像である場合には、パノラマ＃２として合成処理を行う（ステップＳ６６）。その後、パノラマ合成が終了したか否かを判断し（ステップＳ６８）、終了していなければ、ステップＳ６０に戻る。以下、図８（ｂ）に示すように、状態＃２で撮影された複数の画像ＦＬ１〜ＦＬ６を一部が重複するように（例えば、αブレンドを用いて）合成し、パノラマ＃２を作成する。

次に、パノラマ合成が終了した場合には（ステップＳ６８のＹＥＳ）、図８（ｃ）に示すように、上記パノラマ＃１の下側の所定領域とパノラマ＃２の上側の所定領域とを、一部が重複するように（例えば、αブレンドを用いて）合成し、１つの広角画像を作成する（ステップＳ７０）。

なお、上述した第１実施形態においては、キー入力部から予め広角画像の撮像範囲を指定しておくと、指定された撮像範囲に基づく、サイズのパノラマ画像を生成するようにしてもよい。また、画像処理部８において、パノラマ画像同士を合成する際に、合成すべきパノラマ画像同士の撮像範囲を比較し、該比較の結果、撮像範囲が小さい方のパノラマ画像に他のパノラマ画像の撮像範囲を合わせて合成することで、最終的な広角画像を生成するようにしてもよい。

上述した第１実施形態によれば、レンズ交換を行うことなく、容易に、かつ効率的に広角画像の生成に必要な画像を得ることができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、パノラマ撮影時にユーザがデジタルカメラ１を動かす際の、状態＃１から状態＃２、状態＃２から状態＃３へと移動方向の変化を、カメラ要因として、移動量、方位センサや加速度センサなどの情報、ユーザ要因として、移動方向指示操作、シャッタキー等のキー操作、ユーザのジェスチャー、音声などをトリガとして用いることを特徴としている。

なお、デジタルカメラ１の構成は、図１と同様であるので説明を省略する。また、パノラマ撮影モードのメインルーチンは、図５と同様であり、合成処理は、図７と同様であるので説明を省略する。

図９は、本第２実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。また、図１０は、本第２実施形態によるデジタルカメラ１での連写処理の動作を説明するための概念図である。

本第２実施形態では、トリガ検出に伴い、現在、デジタルカメラ１が状態＃１、＃２、＃３のいずれの状態にあるかを判別するために、トリガが検出される度に反転されるフラグと、トリガが検出される度に、１ずつインクリメントされる状態＃Ｎ（係数）とを用意している。フラグは、初期値を「０」とし、トリガが検出される度に反転されるようになっている。また、状態＃Ｎは、初期値を「１」とし、現在のデジタルカメラ１が状態＃１、＃２、＃３のいずれの状態にあるかを示す係数である。状態＃Ｎは、１回目のトリガが検出されるまでは、「１」となって状態＃１を示し、トリガが検出される度に、「２」となって状態＃２を示し、「３」となって状態＃３を示すようになっている。

まず、ＣＰＵ１１は、１つ前の撮像画像と現在の撮影画像との位置合わせを行い（ステップＳ８０）、トリガが検出されたか否かを判断する（ステップＳ８２）。トリガが検出されない場合には、図１０に示すように、状態＃１から状態＃２へ移行していない、すなわち、水平方向（左端から右方向）に動かしている状態＃１にあると判断し、フラグが「１」であるか否を判断する（ステップＳ８８）。この場合、トリガがまだ検出されていないため、フラグは「０」であり、状態＃Ｎは、「１」である。

そして、フラグが「０」であるので（ステップＳ８８のＮＯ）、撮像した画像を、状態＃Ｎ（＝１）のパノラマ作成用の画像として保存する（ステップＳ９０）。その後、当該処理を終了し、図５に示すメインルーチンに戻る。以下、トリガが検出されるまで、ステップＳ９０で、撮像した画像を、状態＃Ｎ（＝１）のパノラマ作成用の画像として保存していく。

次に、図１０に示すように、状態＃１から状態＃２へ移行する際、例えば、カメラ要因として、移動量や、方位センサの情報や、ユーザ要因として、移動方向、シャッタキー等のキー操作、ユーザのジェスチャー、音声などにより、デジタルカメラ１が状態＃１の終端に到達したことが検出された場合、これらがトリガとして検出される（ステップＳ８２のＹＥＳ）。トリガが検出されると、フラグを反転し（ステップＳ８４）、状態＃ＮをＮ＋１とする（ステップＳ８６）。この場合、フラグは「１」となり、状態＃Ｎは、「２」となる。

次に、フラグが「１」であるか否かを判断する（ステップＳ８６）。この場合、フラグが「１」であるので、取り込んだ画像をパノラマ作成用の画像として保存することなく（ステップＳ９２）、当該処理を終了し、図５に示すメインルーチンに戻る。以下、次のトリガが検出されるまで（デジタルカメラ１の移動方向が状態＃３になるまで）、取り込んだ画像をパノラマ作成用の画像として保存することなく、当該処理を終了し、図５に示すメインルーチンに戻る動作を繰り返す。したがって、状態＃２では、撮影画像は保存されることはない。

次に、図１０に示すように、状態＃２から状態＃３へ移行する際、例えば、カメラ要因として、移動量や、方位センサの情報や、ユーザ要因として、移動方向、シャッタキー等のキー操作、ユーザのジェスチャー、音声などにより、デジタルカメラ１が状態＃２の終端に到達し、状態＃３へ移行することが検出された場合、これらがトリガとして検出される（ステップＳ８２のＹＥＳ）。トリガが検出されると、フラグを反転し（ステップＳ８４）、状態＃ＮをＮ＋１とする（ステップＳ８６）。この場合、フラグは「０」となり、状態＃Ｎは、「３」となる。

次に、フラグが「１」であるか否かを判断する（ステップＳ８６）。この場合、フラグが「０」であるので、撮像した画像を、状態＃Ｎ（＝３）のパノラマ作成用の画像として保存する（ステップＳ９０）。その後、当該処理を終了し、図５に示すメインルーチンに戻る。以下、次のトリガが検出されるまで、ステップＳ９０で、撮像した画像を、状態＃Ｎ（＝３）のパノラマ作成用の画像として保存していく。

上述した動作の結果、ユーザが、デジタルカメラ１を、左端から右方向に動かしている状態＃１で撮像された複数の画像と、デジタルカメラ１を、右下から左方向に動かしている状態＃３で撮像された複数の画像とが得られる。

次に、これら撮像された複数の画像を用いて、上述した第１実施形態と同様の方法（図７参照）で、状態＃１の複数の画像を合成してパノラマ＃１、状態＃３の複数の画像を合成してパノラマ＃２を作成し、さらに、パノラマ＃１の下側の所定領域とパノラマ＃２の上側の所定領域とを一部が重複するように（例えば、αブレンドを用いて）合成し、１つの広角画像を作成する。

上述した第２実施形態によれば、レンズ交換を行うことなく、容易に、かつ効率的に広角画像の生成に必要な画像を得ることができる。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
上述した第１、第２実施形態では、ユーザは、広画角の合成画像を得るために必要とされる全ての画像を撮像するために、図３の矢印で示すように、所望する景色に対して、画角の長手方向を縦方向になるようにデジタルカメラ１を縦方向に構え、左上でシャッタＳＷを押下し（半押し→全押し）、まず、シャッタＳＷを押下して水平方向（左端から右方向）に動かし（状態＃１）、所定の位置で垂直方向に動かし（状態＃２）、さらに、水平方向（左方向）に動かす（状態＃３）ことになる。しかしながら、ユーザにとっては、どのようにデジタルカメラ１を動かしたらよいか、あるいは必要とされる画像が確実に得られているのかが分かりにくい。

そこで、本第３実施形態では、パノラマ撮像モードにおいて、ユーザによりシャッタＳＷを押下されると、デジタルカメラ１で撮像すべき領域を示す撮影枠や、どちらの方向に移動させたらよいかを示す移動方向を画像表示部１５に表示することで、ユーザを誘導するようになっている。また、パノラマ撮像モード中は、現在、デジタルカメラ１のＣＣＤ５に結像した画像を、プレビュー画像（低解像度）として画像表示部１５にスルー表示するとともに、プレビュー画像を用いて合成した合成画像を画像表示部１５に半透明（透過率５０％）で表示するようになっている。

このように、パノラマ撮像モード中、次に撮像すべき撮像領域を示す撮影枠や、どちらの方向に移動させたらよいかを示す移動方向、さらには、撮影済みの画像を合成した縮小画像を画像表示部１５に表示するようにしたので、ユーザは、どの方向にデジタルカメラ１を移動させたらよいかを容易に認識することができる。

図１１は、本第３実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。また、図１２は、本第３実施形態によるデジタルカメラ１での連写処理の動作を説明するための概念図である。

まず、ＣＰＵ１１は、１つ前の撮像画像と現在の撮影画像との位置合わせを行い（ステップＳ１００）、現在の状態が状態＃１、＃２、＃３のいずれであるかを判断する（ステップＳ１０２）。そして、ユーザが、デジタルカメラ１を、左端から右方向に動かしている状態＃１である場合には（ステップＳ１０２の状態＃１）、図１２に示すように、撮影枠ＦＲ１、移動方向Ｍ１を表示する（ステップＳ１０４）。そして、撮像した画像を状態＃１でのパノラマ作成用の画像として保存し（ステップＳ１０６）、保存した撮像画像の縮小画像から簡易合成画像ＩＭＧを作成して半透明（透過率５０％）で表示する（ステップＳ１０８）。

次に、デジタルカメラ１が所定の位置Ｐ１（この場合、状態＃１での終位置：図１２参照）に到達したか否かを判断する（ステップＳ１１０）。そして、所定の位置Ｐ１に達していない場合には（ステップＳ１１０のＮＯ）、現在の状態＃１を変更することなく、当該処理を終了し、メインルーチンに戻る。

以下、デジタルカメラ１が所定の位置Ｐ１に達するまで、ステップＳ１０６で、撮像した画像を状態＃１でのパノラマ作成用の画像として保存しながら、ステップＳ１０８で、その時点の合成画像を半透明（透過率５０％）で表示していく。そして、デジタルカメラ１が所定の位置Ｐ１に到達すると（ステップＳ１１０のＹＥＳ）、状態＃１から状態＃２へ移行するので、現在の状態を状態＃２に変更する（ステップＳ１１２）。

次に、ユーザが、デジタルカメラ１を、状態＃１の終端位置から下方向に動かす状態＃２に移行すると（ステップＳ１０２の状態＃２）、図１２に示すように、撮影枠ＦＲ２、移動方向Ｍ２を表示する（ステップＳ１１４）。そして、取り込んだ画像をパノラマ作成用の画像として保存することなく（ステップＳ１１６）、デジタルカメラ１が所定の位置Ｐ２（この場合、状態＃２での終位置：図１２参照）に到達したか否かを判断する（ステップＳ１１８）。そして、所定の位置Ｐ２に達していない場合には（ステップＳ１１８のＮＯ）、現在の状態＃２を変更することなく、当該処理を終了し、図５に示すメインルーチンに戻る。

以下、デジタルカメラ１が所定の位置Ｐ２に達するまで、パノラマ作成用の画像として保存せずにそのまま動作を継続し、デジタルカメラ１が所定の位置Ｐ２に到達すると（ステップＳ１１８のＹＥＳ）、状態＃２から状態＃３へ移行するので、現在の状態を状態＃３に変更する（ステップＳ１２０）。

次に、ユーザが、デジタルカメラ１を、状態＃２から左方向に動かす状態＃３に移行すると（ステップＳ１０２の状態＃３）、図１２に示すように、撮影枠ＦＲ３、移動方向Ｍ３を表示する（ステップＳ１２２）。そして、撮像した画像を状態＃３でのパノラマ作成用の画像として保存し（ステップＳ１２４）、保存した撮像画像の縮小画像から簡易合成画像を作成して半透明（透過率５０％）で表示する（ステップＳ１２６）。

以下、デジタルカメラ１が所定の位置Ｐ３（終点）に達するまで、ステップＳ１２４で、撮像した画像を状態＃３でのパノラマ作成用の画像として保存しながら、ステップＳ１２６で、その時点の合成画像を半透明（透過率５０％）で表示していく。そして、デジタルカメラ１が所定の位置Ｐ３に到達すると（ステップＳ１２８のＹＥＳ）、連写終了とする（ステップＳ１３０）。

次に、これら撮像された複数の画像を用いて、上述した第１、第２実施形態と同様の方法（図７参照）で、状態＃１の複数の画像を合成してパノラマ＃１、状態＃３の複数の画像を合成してパノラマ＃２を作成し、さらに、パノラマ＃１の下側の所定領域とパノラマ＃２の上側の所定領域とを一部が重複するように（例えば、αブレンドを用いて）合成し、１つの広角画像を作成する。

なお、上述した第３実施形態において、画像表示部１５に表示される撮影枠ＦＲ１〜ＦＲ３には、図１２に示すように、マージン（余裕）ＭＧを設けること、すなわち実際に撮像される画像範囲より多少大きめの撮影枠とすることが好ましい。マージンＭＧを設けることで、デジタルカメラ１を動かす範囲に余裕が生じ、ユーザのストレスを軽減することができる。

また、上述した第３実施形態においては、状態＃１から状態＃２、状態＃２から状態＃３への移動方向の変化を、所定の位置に到達したか否かで判断するようにしたが、これに限らず、上述した第２実施形態と同様に、カメラ要因として、移動量、方位センサや加速度センサなどの情報、ユーザ要因として、移動方向指示操作、シャッタキー等のキー操作、ユーザのジェスチャー、音声などをトリガとして用いるようにしてもよい。

上述した第３実施形態によれば、リアルタイムで、合成画像を画像表示部１５に表示するとともに、デジタルカメラ１を移動させるべき、撮影枠や移動方向を表示するようにしたので、ユーザは、撮影枠や移動方向を見ながらデジタルカメラ１を動かせばよいので、一度の撮像では得られない広画角の画像を生成するために必要とされる複数の画像を容易に、かつ効率的に撮像することができ、広画角の画像を容易に生成することができる。

なお、上述した第１から第３実施形態では、パノラマ撮影時に、デジタルカメラ１を左から右、上から下、そして、右から左へと移動させたが、これに限らず、例えば、図１３（ａ）に示すように、一方向に動かしている間に複数の画像を撮像し、それらを合成して１つの広角画像を生成するようにしてもよい。あるいは、図１３（ｂ）に示すように、デジタルカメラ１を左から右、上から下、右から左、上から下、そして左から右というように、横方向の移動を３回以上繰り返すようにしてもよいし、３つ以上のパノラマ画像を合成して広角画像を生成するようにしてもい。

また、上述した第３実施形態では、撮影範囲を示す撮影枠や、移動方向を表示させるようにしたが、これに限らず、図１４に示すように、最終の広角画像の全体枠２０に対して撮像画像として取得した部分３０を塗り潰すようにしてもよい。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
付記１に記載の発明は、撮像手段と、前記撮像手段により順次撮像する撮像制御手段と、所定のトリガを検出する検出手段と、前記検出手段によって所定のトリガが検出されると、それまで前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段と、前記パノラマ生成手段によって生成された複数のパノラマ画像同士を合成して広角画像を生成する広角画像生成手段とを備えることを特徴とする画像処理装置である。

（付記２）
付記２に記載の発明は、前記パノラマ生成手段は、前記検出手段によって所定のトリガが検出されると、それまで前記撮像手段によって順次撮像された複数の画像から、前記パノラマ画像を生成することを特徴とする付記１に記載の画像処理装置である。

（付記３）
付記３に記載の発明は、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像される画像を順次記憶する記憶手段と、前記検出手段によって所定のトリガが検出される度に、前記撮像制御手段によって撮像される画像の前記記憶手段への記憶を制御する記憶制御手段を更に備え、前記検出手段によって所定のトリガが検出される度に、それまで前記記憶制御手段によって前記記憶手段に記憶された複数の画像から、前記パノラマ画像を生成することを特徴とする付記２に記載の画像処理装置である。

（付記４）
付記４に記載の発明は、前記検出手段は、移動量、または方位センサの情報、または移動方向の変化、またはユーザによる所定の指示操作、またはユーザの音声による指示、またはユーザの動作による指示を、前記所定のトリガとして検出することを特徴とする付記１から３のいずれかに記載の画像処理装置である。

（付記５）
付記５に記載の発明は、前記記憶制御手段は、前記検出手段によってトリガが検出された場合には、それ以降の前記撮像制御手段によって撮像される画像の前記記憶手段への記憶を禁止し、前記記憶の禁止中に、前記検出手段によってトリガが検出された場合には、それ以降の前記撮像制御手段によって撮像される画像の前記記憶手段への記憶を再開することを特徴とする付記１から３のいずれかに記載の画像処理装置である。

（付記６）
付記６に記載の発明は、撮像部により順次撮像する撮像制御ステップと、所定のトリガを検出する検出ステップと、前記検出ステップで所定のトリガが検出されると、それまで前記撮像制御ステップで前記撮像部によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成ステップと、前記パノラマ生成ステップで生成された複数のパノラマ画像同士を合成して広角画像を生成する広角画像生成ステップとを含むことを特徴とする画像処理方法である。

（付記７）
付記７に記載の発明は、画像処理を行う画像処理装置のコンピュータに、撮像部により順次撮像する撮像制御機能、所定のトリガを検出する検出機能、前記検出機能で所定のトリガが検出されると、それまで前記撮像制御機能で前記撮像部によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成機能、前記パノラマ生成機能で生成された複数のパノラマ画像同士を合成して広角画像を生成する広角画像生成機能を実行させることを特徴とするプログラムである。

１デジタルカメラ
２撮像レンズ
３レンズ駆動部
４絞り兼用シャッタ
５ＣＣＤ
６ＴＧ
７ユニット回路
８画像処理部
１１ＣＰＵ
１２ＤＲＡＭ
１３メモリ
１４フラッシュメモリ
１５画像表示部
１６キー入力部
１７カードＩ／Ｆ
１８メモリ・カード

Claims

被写体を連続して撮像して、複数の画像を順次出力する撮像手段と、
本画像処理装置の前記撮像手段の移動方向を判別する判別手段と、
前記判別手段により判別された移動方向が第１の方向である場合に、当該第１の方向で前記撮像手段によって撮像された複数の画像を記録手段に記録させるよう制御する一方、前記判別手段により判別された移動方向が前記第１の方向と異なる第２の方向である場合に、前記記録手段への画像の記録を禁止するよう制御する記録制御手段と、
前記記録制御手段の制御により前記記録手段に記録された複数の画像を合成することにより、広角画像を生成する広角画像生成手段と
を備え、
前記記録制御手段は、
前記記録手段への画像の記録後における画像の記録の禁止中に前記判別手段により前記移動方向が第１の方向であると判定された場合、前記撮像手段によって撮像される画像の前記記録手段への記録を当該判定後に前記広角画像の生成の指示がなされなくとも再開する
ことを特徴とする画像処理装置。
前記撮像手段による撮像中に所定のトリガを検出する検出手段を更に備え、
前記判別手段は、前記検出手段によって検出された所定のトリガに基づいて、本画像処理装置の撮像方向を判別することを特徴とする請求項１に記載の画像処理装置。
前記検出手段は、複数のタイミングで前記所定のトリガを検出し、
前記判別手段は、前記複数のタイミングで検出された前記所定のトリガに基づいて、本画像処理装置の移動方向として、上下左右方向を含めた複数種の前記第１の方向を更に判別し、
前記判別手段により判別された複数種の第１の方向における各方向で、前記撮像手段によって順次撮像された複数の画像から、一方に長い複数のパノラマ画像を生成するパノラマ生成手段を更に備え、
前記広角画像生成手段は、前記パノラマ生成手段により生成された複数のパノラマ画像を前記一方に対し直交方向に合成することで、前記広角画像を生成する
ことを特徴とする請求項２に記載の画像処理装置。
前記検出手段は、
移動量、または方位センサの情報、または移動方向の変化、またはユーザによる所定の指示操作、またはユーザの音声による指示、またはユーザの動作による指示を、前記所定のトリガとして検出することを特徴とする請求項２又は３に記載の画像処理装置。
前記記録制御手段は、
前記記録手段への画像の記録の禁止中に、前記検出手段によってトリガが検出された場合には、それ以降に前記撮像手段によって撮像される画像の前記記録手段への記録を再開する
ことを特徴とする請求項２に記載の画像処理装置。
撮像手段により被写体を連続して撮像させ、複数の画像を順次出力させる撮像制御ステップと、
本画像処理装置の前記撮像手段の移動方向を判別する判別ステップと、
前記判別ステップにより判別された移動方向が第１の方向である場合に、当該第１の方向で撮像された複数の画像を記録手段に記録させるよう制御する一方、前記判別ステップにより判別された状態が前記第１の方向と異なる第２の方向である場合に、前記記録手段への画像の記録を禁止するよう制御する記録制御ステップと、
前記記録制御ステップで前記記録手段に記録された複数の画像を合成することにより、広角画像を生成する広角画像生成ステップと
を含み、
前記記録制御ステップは、
前記記録手段への画像の記録後における画像の記録の禁止中に前記判別ステップにより前記移動方向が第１の方向であると判定された場合、前記撮像手段によって撮像される画像の前記記録手段への記録を当該判定後に前記広角画像の生成の指示がなされなくとも再開する
ことを特徴とする画像処理方法。
コンピュータに、
撮像手段により被写体を連続して撮像させ、複数の画像を順次出力させる撮像制御機能、
本画像処理装置の前記撮像手段の移動方向を判別する判別機能、
前記判別機能により判別された移動方向が第１の方向である場合に、当該第１の方向で前記撮像手段によって撮像された複数の画像を記録手段に記録させるよう制御する一方、前記判別機能により判別された移動方向が前記第１の方向と異なる第２の方向である場合に、前記記録手段への画像の記録を禁止するよう制御する記録制御機能、
前記記録制御機能の制御により前記記録手段に記録された複数の画像を合成することにより、広角画像を生成する広角画像生成機能
を実行させ、
前記記録制御機能は、
前記記録手段への画像の記録後における画像の記録の禁止中に前記判別機能により前記移動方向が第１の方向であると判定された場合、前記撮像手段によって撮像される画像の前記記録手段への記録を当該判定後に前記広角画像の生成の指示がなされなくとも再開する
ことを特徴とするプログラム。