JP5893489B2

JP5893489B2 - 画像処理装置

Info

Publication number: JP5893489B2
Application number: JP2012093132A
Authority: JP
Inventors: 岡本　正義; 正義岡本
Original assignee: Xacti Corp
Current assignee: Xacti Corp
Priority date: 2012-04-16
Filing date: 2012-04-16
Publication date: 2016-03-23
Anticipated expiration: 2032-04-16
Also published as: JP2013223079A; WO2013157411A1

Description

この発明は、画像処理装置に関し、特に拡大画角の画像を作成する、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像装置は、回動中心を中心として回動している状態で、複数の撮像画像を撮像する。撮像装置は、得られた複数の撮像画像のそれぞれから、撮像画像における所定の基準位置により定まる領域を短冊画像として切り出して、それらの短冊画像を並べて合成することにより、撮像空間上の所定の領域を被写体とするパノラマ画像を生成する。撮像装置は、撮像画像からの短冊画像の切り出し位置をずらしながら、複数のパノラマ画像を生成することで、複数のパノラマ画像からなるパノラマ動画像を得る。このパノラマ動画像によれば、撮像画像中の被写体を、動きを持たせて表示させることができる。

特開２０１１−８２９１７号公報

しかし、背景技術では、撮像装置の動きと無関係に動く物体像が複数の撮像画像に含まれる場合に、その物体像の同一部分または全部を示す画像が異なる短冊画像に跨がって含まれる可能性がある。また、その物体像の一部または全部を示す画像がいずれの短冊画像にも含まれない可能性もある。これによって、合成された画像の品質が低下する恐れがある。

それゆえに、この発明の主たる目的は、合成画像の品質を高めることができる、画像処理装置を提供することである。

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する取得手段(16, S25~S27)、取得手段によって取得された複数の画像にそれぞれ現れた複数の動的物体像を検出する検出手段(S39)、取得手段によって取得された複数の画像から検出手段によって検出された複数の動的物体像をそれぞれ排除して複数の静的物体像を作成する第１作成手段(S43, S53, S55)、および検出手段によって検出された複数の動的物体像の１つと第１作成手段によって作成された複数の静的物体像とに基づいて単一の合成画像を作成する第２作成手段(S49, S57)を備える。

好ましくは、検出手段によって検出された複数の動的物体像に相当する動的物体の属性を識別する識別手段(S225~S235)、および検出手段によって検出された複数の動的物体像の１つを識別手段の識別結果に応じて異なる態様で選択する選択手段(S237~S241)がさらに備えられ、第２作成手段は選択手段によって選択された動的物体像を合成処理の対象とする。

或る局面では、選択手段は、識別結果が顔部を有する特定物体を示すとき顔部の姿勢が既定条件を満足する動的物体像を選択する第１選択処理手段(S239)、および識別結果が特定物体と異なる物体を示すとき既定番目の動的物体像を選択する第２選択処理手段(S241)を含む。

他の局面では、属性は動的物体の向きおよび／または傾きに相当する。

好ましくは、動的物体像は人物の顔画像に相当する。

この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(26)に、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する取得ステップ(S25~S27)、取得ステップによって取得された複数の画像にそれぞれ現れた複数の動的物体像を検出する検出ステップ(S39)、取得ステップによって取得された複数の画像から検出ステップによって検出された複数の動的物体像をそれぞれ排除して複数の静的物体像を作成する第１作成ステップ(S43, S53, S55)、および検出ステップによって検出された複数の動的物体像の１つと第１作成ステップによって作成された複数の静的物体像とに基づいて単一の合成画像を作成する第２作成ステップ(S49, S57)を実行させるための、画像処理プログラムである。

この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する取得ステップ(S25~S27)、取得ステップによって取得された複数の画像にそれぞれ現れた複数の動的物体像を検出する検出ステップ(S39)、取得ステップによって取得された複数の画像から検出ステップによって検出された複数の動的物体像をそれぞれ排除して複数の静的物体像を作成する第１作成ステップ(S43, S53, S55)、および検出ステップによって検出された複数の動的物体像の１つと第１作成ステップによって作成された複数の静的物体像とに基づいて単一の合成画像を作成する第２作成ステップ(S49, S57)を備える。

この発明に従う外部制御プログラムは、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する取得ステップ(S25~S27)、取得ステップによって取得された複数の画像にそれぞれ現れた複数の動的物体像を検出する検出ステップ(S39)、取得ステップによって取得された複数の画像から検出ステップによって検出された複数の動的物体像をそれぞれ排除して複数の静的物体像を作成する第１作成ステップ(S43, S53, S55)、および検出ステップによって検出された複数の動的物体像の１つと第１作成ステップによって作成された複数の静的物体像とに基づいて単一の合成画像を作成する第２作成ステップ(S49, S57)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。

この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(60)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置であって、外部制御プログラムは、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する取得ステップ(S25~S27)、取得ステップによって取得された複数の画像にそれぞれ現れた複数の動的物体像を検出する検出ステップ(S39)、取得ステップによって取得された複数の画像から検出ステップによって検出された複数の動的物体像をそれぞれ排除して複数の静的物体像を作成する第１作成ステップ(S43, S53, S55)、および検出ステップによって検出された複数の動的物体像の１つと第１作成ステップによって作成された複数の静的物体像とに基づいて単一の合成画像を作成する第２作成ステップ(S49, S57)を内部制御プログラムと協働して実行するプログラムに相当する。

この発明によれば、動的物体が撮像シーンに存在する場合、パン／チルト動作と並列して取得された複数の画像から複数の動的物体像が検出される。合成画像は、検出された複数の動的物体像がそれぞれ排除された複数の静的物体像と検出された複数の動的物体像の１つとに基づいて作成される。これによって、合成画像の品質が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の基本的構成を示すブロック図である。この発明の一実施例の構成を示すブロック図である。撮像面における評価エリアの割り当て状態の一例を示す図解図である。パノラマ撮影におけるパン操作を示す図解図である。図２実施例において参照されるレジスタの構成の一例を示す図解図である。図２実施例において参照される他のレジスタの構成の一例を示す図解図である。図２実施例において参照されるその他のレジスタの構成の一例を示す図解図である。図２実施例において参照されるさらにその他のレジスタの構成の一例を示す図解図である。被重ね合わせ判定領域の一例を示す図解図である。重ね合わせ判定領域の一例を示す図解図である。ずれ量測定処理の一部を示す図解図である。動き領域検出処理の一部を示す図解図である。画像合成処理の一部を示す図解図である。図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。この発明の他の実施例の構成を示すブロック図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。取得手段１は、撮像面で捉えられた複数の画像を撮像面のパン／チルト動作と並列して取得する。検出手段２は、取得手段１によって取得された複数の画像にそれぞれ現れた複数の動的物体像を検出する。第１作成手段３は、取得手段１によって取得された複数の画像から検出手段２によって検出された複数の動的物体像をそれぞれ排除して複数の静的物体像を作成する。第２作成手段４は、検出手段２によって検出された複数の動的物体像の１つと第１作成手段３によって作成された複数の静的物体像とに基づいて単一の合成画像を作成する。

動的物体が撮像シーンに存在する場合、パン／チルト動作と並列して取得された複数の画像から複数の動的物体像が検出される。合成画像は、検出された複数の動的物体像がそれぞれ排除された複数の静的物体像と検出された複数の動的物体像の１つとに基づいて作成される。これによって、合成画像の品質が向上する。
［実施例］

図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経たシーンの光学像は、イメージセンサ１６の撮像面に照射され、光電変換を施される。これによって、シーンを表す電荷が生成される。

電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。

前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２に書き込まれる。

後処理回路３４は、ＳＤＲＡＭ３２に格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データが作成される。表示画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２に書き込まれる。

ＬＣＤドライバ３６は、ＳＤＲＡＭ３２に格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表すリアルタイム動画像（スルー画像）がＬＣＤモニタ３８に表示される。

図３を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。

ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。

ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。

シャッタボタン２８ｓｈが非操作状態のとき、ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を撮像タスクの下で実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、この結果、スルー画像の明るさが適度に調整される。

シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は撮像タスクの下で、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づき、厳格ＡＥ処理を実行する。厳格ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。

撮像タスクの下でＣＰＵ２６はまた、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値に基づき、ＡＦ処理を実行する。この結果、合焦点にフォーカスレンズ１２が配置され、スルー画像の鮮鋭度が向上する。

シャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、キー入力装置２８に設けられたモード変更ボタン２８ｍｄの状態（つまり現時点の撮影モード）を判別する。判別の結果、通常撮影モードに設定されていた場合、ＣＰＵ２６は、撮像タスクの下で静止画取り込み処理と記録処理とを実行する。シャッタボタン２８ｓｈが全押しされた時点の１フレームの生画像データは、静止画取り込み処理によってＳＤＲＡＭ３２に取り込まれる。また、記録処理によって１つの静止画ファイルが記録媒体４２に作成される。取り込まれた生画像データは、新規作成された静止画ファイルに記録処理によって記録される。

これに対して、パノラマ撮影モードに設定されていた場合、パノラマ画像を生成する処理が以下の要領で実行される。図４を参照して、パノラマ撮影モードにおいては、操作者は、シャッタボタン２８ｓｈの全押し後にディジタルカメラ１０のカメラ筐体をパン方向に回転させる。ＣＰＵ２６は、垂直同期信号Ｖｓｙｎｃが発生する毎に静止画取り込み処理を実行し、ＳＤＲＡＭ３２に一旦取り込まれた画像データは、フラッシュメモリ４４に格納される。静止画取り込み処理は、既定回数の実行または操作者による撮影完了操作によって終了する。

このようにして取り込まれた複数の画像データを用いてパノラマ画像を作成する処理のために、図５に示すずれ量レジスタＲＧＳＴｇｐ，図６に示す動き領域レジスタＲＧＳＴａｒ，図７に示す顔状態レジスタＲＧＳＴｆｃ，および図８に示す代表画像レジスタＲＧＳＴｒｐが準備される。

複数回の静止画取り込み処理の実行後、複数の取り込み画像の互いのずれの量を測定するべく、ずれ量測定処理が実行される。ずれ量測定処理においては、Ｎ番目に取り込まれた画像の中央に被重ね合わせ判定領域ＡＲ１が割り当てられ（図９参照）、Ｎ＋１番目に取り込まれた画像の中央に重ね合わせ判定領域ＡＲ２が割り当てられる（図１０参照）。被重ね合わせ判定領域ＡＲ１には、例えば画像全体の９０％の領域が割り当てられる。重ね合わせ判定領域ＡＲ２には、被重ね合わせ判定領域ＡＲ１よりも狭い領域が割り当てられ、例えば画像全体の８０％の領域が割り当てられる。

ＣＰＵ２６は、このような２つの画像を用いて重ね合わせ処理を実行する。重ね合わせ処理によって、重ね合わせ判定領域ＡＲ２に属する画像が被重ね合わせ判定領域ＡＲ１に属する画像の一部と一致する位置が特定される。このようにして特定された位置にＮ＋１番目の取り込み画像を置いたものと仮定して、最初に取り込まれた画像の位置を０とした場合のＮ＋１番目の取り込み画像の位置のＸ座標およびＹ座標ならびにＮ番目の取り込み画像との位置のずれ量ＧＰを、ＣＰＵ２６はずれ量レジスタＲＧＳＴｇｐに登録する。

最初の取り込み画像ないし最終から２番目の取り込み画像に対してこのような重ね合わせ処理が実行され、ずれ量ＧＰ１，ＧＰ２，…が図１１に示す要領で算出される。

ＣＰＵ２６は、ずれ量測定処理の完了後、動き領域検出処理を実行する。図４に示す例では、複数回の静止画取り込み処理の実行中に人物ＨＭ１の顔が動いている。操作者のパン操作とは無関係なこのような物体の動きが捉えられた領域が、動き領域検出処理の実行によって動き領域ＭＡとして検出される。

動き領域検出処理においては、Ｍ番目の取り込み画像とＭ＋１〜ＭＡ＋３番目の取り込み画像の各々とが比較され、パン操作とは無関係な物体の動きがあるか否かが検出される。そのような動きが検出された領域が動き領域ＭＡとされる。図１２に示すように右方向にパン操作が行われた場合は、動き領域ＭＡの左上位置および右下位置をそれぞれ開始点ＳＰおよび終了点ＥＰとして、最初に取り込まれた画像の左上位置を０とした場合の各々の座標が、動き領域レジスタＲＧＳＴａｒに登録される。

ＣＰＵ２６は次に、画像合成処理を実行する。画像合成処理は、先頭の取り込み画像〜動き領域の直前，動き領域，動き領域の直後〜最終の取り込み画像の直前，および最終の取り込み画像の各領域に分けて実行される。

画像合成処理においては、短冊画像ＲＧが繰り返し作成される。短冊画像ＲＧは、ずれ量測定処理において求められた各画像間のずれ量ＧＰと短冊基準幅ＲＷＬＴＤとに基づいて、短冊幅ＲＷが決定される。例えば図１３に示すように右方向にパン操作が行われた場合は、先頭の取り込み画像の左半分に短冊画像ＲＧ１が合成され、短冊画像ＲＧ２，ＲＧ３，…が作成される毎に追加的に右側に合成される。また、短冊画像ＲＧが合成される毎に、合成方向の末端位置ＦＴが定められる。

図１３に示す例によると、短冊画像ＲＧ４は動き領域ＭＡの直前に合成される。このため、短冊画像ＲＧ１，ＲＧ２，およびＲＧ３の短冊幅がそれぞれＲＷ１，ＲＷ２，およびＲＷ３であるのに対して、短冊画像ＲＧ４の短冊幅は、動き領域ＭＡの開始位置ＳＰと末端位置ＦＴとのＸ座標の差分によって定められる。

動き領域ＭＡの画像合成処理においては、動き領域ＭＡ全体を含むいずれかの取り込み画像に基づいて単一の短冊画像ＲＧが作成される。このとき、短冊画像ＲＧの作成元となる取り込み画像の決定のために、人物の顔画像に注目した代表画像抽出処理が実行される。

代表画像抽出処理の実行によって、動き領域ＭＡ全体を含む全ての取り込み画像に対して顔検出処理が施され、各々の取り込み画像における顔向き等の顔画像の状態が取り込み順とともに顔状態レジスタＲＧＳＴｆｃに登録される。顔検出処理が完了すると、顔状態レジスタＲＧＳＴｆｃに登録された状態の中から、例えば最も正面を向いている，顔の傾きが最も少ない，または瞼が開いている等の最良の状態の顔画像を代表画像に決定する。このような代表画像を含む取り込み画像の取り込み順が代表画像レジスタＲＧＳＴｒｐに登録される。ＣＰＵ２６は、代表画像レジスタＲＧＳＴｒｐに登録された取り込み画像に基づいて動き領域ＭＡに相当する短冊画像ＲＧを作成し、追加的に画像合成処理を実行する。

動き領域の直後〜最終の取り込み画像の直前の画像合成処理においては、上述のように、各画像間のずれ量ＧＰと短冊基準幅ＲＷＬＴＤとに基づいて決定された短冊幅ＲＷの短冊画像ＲＧが繰り返し作成されて、作成毎に追加的に画像が合成される。

最終の取り込み画像の画像合成処理は、合成画像の末端位置ＦＴおよび取り込み画像の末端位置の間隔を短冊幅とした短冊画像ＲＧが作成されて、追加的に画像が合成される。

このような画像合成処理によってパノラマ画像の作成処理が完了すると、ＣＰＵ２６は、記録処理を実行する。記録処理によって１つの静止画ファイルが記録媒体４２に作成され、パノラマ画像の画像データは、新規作成された静止画ファイルに記録処理によって記録される。

ＣＰＵ２６は、図１４〜１６に示す撮像タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。

図１４を参照して、ステップＳ１では動画取り込み処理を開始する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＮＯの間はステップＳ５で簡易ＡＥ処理を実行する。この結果、スルー画像の明るさが適度に調整される。判別結果がＮＯからＹＥＳに更新されると、ステップＳ７で厳格ＡＥ処理を実行する。この結果、スルー画像の明るさが厳格に調整される。ステップＳ９では、厳格ＡＦ処理を実行する。この結果、合焦点にフォーカスレンズ１２が配置され、スルー画像の鮮鋭度が向上する。

ステップＳ１１ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、判別結果がＮＯであればシャッタボタン２８ｓｈの半押し状態が解除されたか否かをステップＳ１３で判別する。ステップＳ１３の判別結果がＮＯであればステップＳ１１に戻る一方、ステップＳ１３の判別結果がＹＥＳであればステップＳ３に戻る。

ステップＳ１１の判別結果がＹＥＳであれば、パノラマ撮影モードに設定されているか否かをステップＳ１５で判別する。ステップＳ１５の判別結果がＹＥＳであればステップＳ２１に進む一方、ステップＳ１５の判別結果がＮＯであればステップＳ１７およびＳ１９の処理を経てステップＳ３に戻る。

ステップＳ１７では静止画取り込み処理を実行し、ステップＳ１９では記録処理を実行する。シャッタボタン２８ｓｈが全押しされた時点の１フレームの生画像データは、静止画取り込み処理によってＳＤＲＡＭ３２に取り込まれる。また、記録処理によって１つの静止画ファイルが記録媒体４２に作成される。取り込まれた生画像データは、新規作成された静止画ファイルに記録処理によって記録される。

ステップＳ２１では変数ＩＭＧに“１”を設定し、ステップＳ２３では垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ２５では静止画取り込み処理を実行する。この結果、更新された１フレームの生画像データがＳＤＲＡＭ３２に取り込まれる。取り込まれた生画像データはステップＳ２７でフラッシュメモリ４４に格納される。

ステップＳ２９では撮影完了操作が行われたか否かを判別し、判別結果がＹＥＳであればステップＳ３７に進む一方、判別結果がＮＯであればステップＳ３１〜Ｓ３５の処理を経てステップＳ３７に進む。ステップＳ３１では変数ＩＭＧをインクリメントする。ステップＳ３３では、既定の取り込み回数ＬＭＴを変数ＩＭＧが超えたか否かを判別し、判別結果がＮＯであればステップＳ２３に戻る一方、判別結果がＹＥＳであればステップＳ３５で既定の取り込み回数ＬＭＴを変数ＩＭＧに設定する。

ステップＳ３７ではずれ量測定処理を実行し、ステップＳ３９では動き領域検出処理を実行する。ステップＳ４１では変数ＭＳに“１”が設定されているか否かを判別し、判別結果がＹＥＳであればステップＳ４５に進む一方、判別結果がＮＯであればステップＳ４３に進む。

ステップＳ４３では、先頭の取り込み画像〜動き領域の直前に対する画像合成処理を実行する。この結果フラグＦＬＧ＿Ｆに“１”が設定されたか否かをステップＳ４７で判別する。判別結果がＹＥＳであればステップＳ５５に進む一方、判別結果がＮＯであればステップＳ４９に進む。ステップＳ４５では、変数ＦＴに動き領域ＭＡの開始位置の座標を設定する。

ステップＳ４９では、動き領域ＭＡに対する画像合成処理を実行する。この結果変数ＭＥの値が変数ＩＭＧの値以上となったか否かをステップＳ５１で判別し、判別結果がＹＥＳであればステップＳ５５に進む一方、判別結果がＮＯであればステップＳ５３の処理を経てステップＳ５５に進む。

ステップＳ５３では、動き領域ＭＡの直後〜最終の取り込み画像の直前の領域に対する画像合成処理を実行する。ステップＳ５５では、最終の取り込み画像の領域に対する画像合成処理を実行する。この結果、パノラマ画像が作成される。

ステップＳ５７では、作成されたパノラマ画像に対する記録処理を実行する。記録処理によって１つの静止画ファイルが記録媒体４２に作成され、パノラマ画像の画像データは、新規作成された静止画ファイルに記録処理によって記録される。

ステップＳ３７のずれ量測定処理は、図１７に示すサブルーチンに従って実行される。図１７を参照して、ステップＳ６１では変数Ｎに“１”を設定し、ステップＳ６３ではＮ番目の取り込み画像をフラッシュメモリ４４から読み出す。ステップＳ６５ではＮ＋１番目の取り込み画像をフラッシュメモリ４４から読み出す。

ステップＳ６７では、Ｎ番目およびＮ＋１番目の取り込み画像を用いて重ね合わせ処理を実行する。重ね合わせ処理によって、重ね合わせ判定領域ＡＲ２に属する画像が被重ね合わせ判定領域ＡＲ１に属する画像の一部と一致する位置が特定される。このようにして特定された位置にＮ＋１番目の取り込み画像を置いたものと仮定して、最初に取り込まれた画像の位置を０とした場合のＮ＋１番目の取り込み画像の位置のＸ座標およびＹ座標ならびにＮ番目の取り込み画像との位置のずれ量ＧＰを、ステップＳ６９でずれ量レジスタＲＧＳＴｇｐに登録する。

ステップＳ７１では変数Ｎをインクリメントし、ステップＳ７３では変数ＩＭＧ−１を変数Ｎが超えたか否かを判別する。判別結果がＮＯであればステップＳ６５に戻る一方、判別結果がＹＥＳであれば上階層のルーチンに復帰する。

ステップＳ３９の動き領域検出処理は、図１８〜２０に示すサブルーチンに従って実行される。図１８を参照して、ステップＳ８１では変数Ｍに“１”を設定し、ステップＳ８３では変数ＣＭＰに“２”を設定する。ステップＳ８５では変数ＭＳおよびＭＥに“０”を設定し、ステップＳ８７ではフラグＦＬＧ＿ＭＳに“０”を設定する。

ステップＳ８９ではフラグＦＬＧ＿ＭＣに“０”を設定し、ステップＳ９１ではＭ番目およびＣＭＰ番目の取り込み画像を用いて動き検出処理を実行する。この結果動きが検出されたか否かをステップＳ９３で判別し、判別結果がＮＯであればステップＳ１０９に進む一方、判別結果がＹＥＳであればステップＳ９５〜ステップＳ１０７の処理を経てステップＳ１０９に進む。

ステップＳ９５ではフラグＦＬＧ＿ＭＣに“１”を設定し、ステップＳ９７ではフラグＦＬＧ＿ＭＳに“１”が設定されているか否かを判別する。判別結果がＹＥＳであればステップＳ１０５の処理を経てステップＳ１０７に進む一方、判別結果がＮＯであればステップＳ９９〜Ｓ１０３の処理を経てステップＳ１０７に進む。

ステップＳ９９ではフラグＦＬＧ＿ＭＳに“１”を設定し、ステップＳ１０１では変数Ｍが示す値を変数ＭＳに設定する。ステップＳ１０３では、動き領域ＭＡの開始点ＳＰおよび終了点ＥＰの各々の座標を動き領域レジスタＲＧＳＴａｒに登録する。ステップＳ１０５では、動き領域レジスタＲＧＳＴａｒに登録された動き領域ＭＡの終了点ＥＰの座標を更新する。

ステップＳ１０７では変数ＣＭＰが示す値を変数ＭＥに設定し、ステップＳ１０９では変数ＣＭＰをインクリメントする。ステップＳ１１１では変数Ｍ＋３が示す値を変数ＣＭＰが超えたか否かを判別し、判別結果がＮＯであればステップＳ９１に戻る一方、判別結果がＹＥＳであればステップＳ１１３に進む。

ステップＳ１１３ではフラグＦＬＧ＿ＭＣに“０”が設定されているか否かを判別し、判別結果がＮＯであればステップＳ１１７に進む一方、判別結果がＹＥＳであればステップＳ１１５に進む。ステップＳ１１５ではフラグＦＬＧ＿ＭＳに“１”が設定されているか否かを判別し、判別結果がＮＯであればステップＳ１１７に進む一方、判別結果がＹＥＳであれば上階層のルーチンに復帰する。

ステップＳ１１７では変数Ｍをインクリメントし、ステップＳ１１９では変数ＩＭＧ−３が示す値を変数Ｍが超えたか否かを判別する。判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ１２１に進む。

ステップＳ１２１では変数Ｍ＋１が示す値を変数ＣＭＰに設定する。ステップＳ１２１の処理が完了すると、ステップＳ８９に戻る。

ステップＳ４３の先頭の取り込み画像〜動き領域の直前に対する画像合成処理は、図２１〜２３に示すサブルーチンに従って実行される。図２１を参照して、ステップＳ１３１ではフラグＦＬＧ＿Ｆに“０”を設定し、ステップＳ１３３では取り込み画像の幅に０．５を乗じた値を変数ＦＴに設定する。ステップＳ１３５では変数Ｋに“２”を設定し、ステップＳ１３７では変数ＲＷに“０”を設定する。

ステップＳ１３９では変数ＲＷ＋Ｋ番目の取り込み画像のずれ量ＧＰが示す値を変数ＲＷに設定し、ステップＳ１４１ではフラグＦＬＧ＿ＭＳが“１”を示すか否かを判別する。判別結果がＮＯであればステップＳ１４５に進む一方、判別結果がＹＥＳであればステップＳ１４３に進む。

ステップＳ１４３では変数ＦＴ＋変数ＲＷが示す値が動き領域ＭＡの開始位置ＳＰのＸ座標を超えたか否かを判別し、判別結果がＮＯであればステップＳ１５９に進む一方、判別結果がＹＥＳであればステップＳ１４５で変数Ｋをインクリメントする。

ステップＳ１４７では変数Ｋの示す値が変数ＩＭＧの示す値以下であるか否かを判別し、判別結果がＮＯであればステップＳ１５１に進む一方、判別結果がＹＥＳであればステップＳ１４９に進む。ステップＳ１４９では変数ＲＷが短冊基準幅ＲＷＬＴＤを超えるか否かを判別し、判別結果がＮＯであればステップＳ１３９に戻る一方、判別結果がＹＥＳであればステップＳ１５３に進む。ステップＳ１５１ではフラグＦＬＧ＿Ｆに“１”を設定し、その後に上階層のルーチンに復帰する。

ステップＳ１５３では変数ＦＴが示す合成画像の末端位置から変数ＲＷが示す短冊幅の短冊画像ＲＧを作成し、作成された短冊画像ＲＧをステップＳ１５５で追加的に合成する。ステップＳ１５７では変数ＦＴ＋変数ＲＷが示す値を変数ＦＴに設定して、その後にステップＳ１３７に戻る。

ステップＳ１５９では変数ＦＴが示す合成画像の末端位置から動き領域ＭＡの開始位置ＳＰまでの領域の短冊画像ＲＧを作成し、作成された短冊画像ＲＧをステップＳ１６１で追加的に合成する。ステップＳ１６３では変数ＦＴ＋ステップＳ１５９で作成された短冊画像ＲＧの短冊幅が示す値を変数ＦＴに設定して、その後に上階層のルーチンに復帰する。

ステップＳ４９の動き領域ＭＡに対する画像合成処理は、図２４に示すサブルーチンに従って実行される。図２４を参照して、ステップＳ１７１では代表画像抽出処理を実行し、代表画像が抽出された取り込み画像を用いて動き領域ＭＡに相当する短冊画像ＲＧをステップＳ１７３で作成する。ステップＳ１７３で作成された短冊画像ＲＧをステップＳ１７５で追加的に合成する。ステップＳ１７７では変数ＦＴ＋ステップＳ１７３で作成された短冊画像ＲＧの短冊幅が示す値を変数ＦＴに設定して、その後に上階層のルーチンに復帰する。

ステップＳ５３の動き領域直後〜最終取り込み画像直前に対する画像合成処理は、図２５〜２６に示すサブルーチンに従って実行される。図２５を参照して、ステップＳ１８１では変数ＦＴが示す合成画像の末端位置から動き領域ＭＡを含む最終の取り込み画像の端までの領域に相当する短冊画像ＲＧを作成し、作成された短冊画像ＲＧをステップＳ１８３で追加的に合成する。ステップＳ１８５では変数ＦＴ＋ステップＳ１８１で作成された短冊画像ＲＧの短冊幅が示す値を変数ＦＴに設定する。

ステップＳ１８７では変数ＭＥ＋１が示す値が変数ＩＭＧ以上であるか否かを判別し、判別結果がＮＯであればステップＳ１８９に進む一方、判別結果がＹＥＳであれば上階層のルーチンに復帰する。

ステップＳ１８９では変数ＲＷに“０”を設定し、ステップＳ１９１では変数ＭＥ＋１が示す値を変数Ｌに設定する。

ステップＳ１９３では変数ＲＷ＋Ｌ番目の取り込み画像のずれ量ＧＰが示す値を変数ＲＷに設定し、ステップＳ１９５では変数Ｌをインクリメントする。ステップＳ１９７では変数Ｌの示す値が変数ＩＭＧの示す値以上であるか否かを判別し、判別結果がＮＯであればステップＳ１９３に戻る一方、判別結果がＹＥＳであればステップＳ１９９に進む。

ステップＳ１９９では変数ＦＴが示す合成画像の末端位置から変数ＲＷが示す短冊幅の短冊画像ＲＧを作成し、作成された短冊画像ＲＧをステップＳ２０１で追加的に合成する。ステップＳ２０３では変数ＦＴ＋変数ＲＷが示す値を変数ＦＴに設定して、その後に上階層のルーチンに復帰する。

ステップＳ５５の最終の取り込み画像の画像合成処理は、図２７に示すサブルーチンに従って実行される。図２７を参照して、ステップＳ２１１では変数ＦＴが示す合成画像の末端位置から最終の取り込み画像の端までの領域に相当する短冊画像ＲＧを作成し、作成された短冊画像ＲＧをステップＳ２１３で追加的に合成する。ステップＳ２１３の処理が完了すると上階層のルーチンに復帰する。

ステップＳ１７１の代表画像抽出処理は、図２８〜２９に示すサブルーチンに従って実行される。図２８を参照して、ステップＳ２２１では変数ＭＳが示す値を変数Ｐに設定し、ステップＳ２２３では顔状態レジスタＲＧＳＴｆｃの登録内容をクリアする。

ステップＳ２２５では探索エリアをＰ番目の取り込み画像の動き領域ＭＡに設定し、ステップＳ２２７では顔検出処理を実行する。ステップＳ２２９ではステップＳ２２７で発見された顔画像の状態を検出し、検出された顔画像の状態をステップＳ２３１で顔状態レジスタＲＧＳＴｆｃに登録する。

ステップＳ２３３では変数Ｐをインクリメントし、ステップＳ２３５では変数ＭＥが示す値を変数Ｐが超えるか否かを判別する。判別結果がＮＯであればステップＳ２２５に戻る一方、判別結果がＹＥＳであればステップＳ２３７に進む。

ステップＳ２３７では顔状態レジスタＲＧＳＴｆｃに登録があるか否かを判別し、判別結果がＮＯであればステップＳ２４１の処理を経て上階層のルーチンに復帰する一方、判別結果がＹＥＳであればステップＳ２３９の処理を経て上階層のルーチンに復帰する。

ステップＳ２３９では、顔状態レジスタＲＧＳＴｆｃに登録された顔画像の状態の中から最良の状態の顔画像を代表画像に決定する。このような代表画像を含む取り込み画像の取り込み順が代表画像レジスタＲＧＳＴｒｐに登録される。

ステップＳ２４１では、ＭＳ番目の取り込み画像を代表画像に決定し、変数ＭＳが示す値が代表画像レジスタＲＧＳＴｒｐに登録される。

以上の説明から分かるように、ＣＰＵ２６は、イメージセンサ１６によって捉えられたシーンを表す複数フレームの画像データを撮像面のパン／チルト動作と並列して取得し(S25~S27)、取得された複数フレームの画像データにそれぞれ現れた複数の動的物体像を検出する(S39)。ＣＰＵ２６はまた、取得された複数フレームの画像データから複数の動的物体像をそれぞれ排除して静的物体像だけが残った複数フレームの静的物体像データを作成し(S43, S53, S55)、複数の動的物体像の１つと複数フレームの静的物体像データとに基づいて単一の合成画像データを作成する(S49, S57)。

動的物体が撮像シーンに存在する場合、パン／チルト動作と並列して取得された複数フレームの画像データから複数の動的物体像が検出される。合成画像データは、検出された複数の動的物体像がそれぞれ排除された複数の静的物体像データと検出された複数の動的物体像の１つとに基づいて作成される。これによって、合成画像データの品質が向上する。

なお、この実施例では、連続した複数の取り込み画像を比較して物体の動きがあるか否かを検出するようにした。しかし、先頭の取り込み画像から順に顔検出処理を施し、人物の顔画像が検出された場合に動きが発生する可能性が高いと判断して、動き領域ＭＡを設定するようにしてもよい。

また、この実施例では、人物の顔画像を検出することによって代表画像を抽出するようにした。しかし、人物以外の顔画像を検出するようにしてもよいし、顔画像以外の物体像を検出するようにしてもよい。

また、この実施例では、パン動作に従ってパノラマ画像を作成するようにした。しかし、チルト動作に従ってパノラマ画像を作成するようにしてもよい。

また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ６０を図３０に示す要領でディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。

また、この実施例では、ＣＰＵ２６によって実行される処理を、図１４〜１６に示す撮像タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。

また、この実施例では、ディジタルスチルカメラを用いて説明したが、本発明は、ディジタルビデオカメラ，携帯電話端末またはスマートフォンなどにも適用することができる。

１０ …ディジタルビデオカメラ
１６ …イメージセンサ
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
３８ …ＬＣＤモニタ
４４ …フラッシュメモリ

Claims

撮像面で捉えられた複数の画像を前記撮像面のパン／チルト動作と並列して取得する取得手段、
前記取得手段によって取得された複数の画像にそれぞれ現れた複数の動的物体像を検出する検出手段、
前記取得手段によって取得された複数の画像から前記検出手段によって検出された複数の動的物体像をそれぞれ排除して複数の静的物体像を作成する第１作成手段、および
前記検出手段によって検出された複数の動的物体像の１つと前記第１作成手段によって作成された複数の静的物体像とに基づいて単一の合成画像を作成する第２作成手段を備え、
前記検出手段によって検出された複数の動的物体像に相当する動的物体の属性を識別する識別手段、および
前記検出手段によって検出された複数の動的物体像の１つを前記識別手段の識別結果に応じて異なる態様で選択する選択手段をさらに備え、
前記第２作成手段は前記選択手段によって選択された動的物体像を合成処理の対象とする、画像処理装置。
前記選択手段は、前記識別結果が顔部を有する特定物体を示すとき前記顔部の姿勢が既定条件を満足する動的物体像を選択する第１選択処理手段、および前記識別結果が前記特定物体と異なる物体を示すとき既定番目の動的物体像を選択する第２選択処理手段を含む、請求項１記載の画像処理装置。
前記属性は前記動的物体の向きおよび／または傾きに相当する、請求項１または２記載の画像処理装置。
前記動的物体像は人物の顔画像に相当する、請求項１ないし３のいずれかに記載の画像処理装置。
画像処理装置のプロセッサに、
撮像面で捉えられた複数の画像を前記撮像面のパン／チルト動作と並列して取得する取得ステップ、
前記取得ステップによって取得された複数の画像にそれぞれ現れた複数の動的物体像を検出する検出ステップ、
前記取得ステップによって取得された複数の画像から前記検出ステップによって検出された複数の動的物体像をそれぞれ排除して複数の静的物体像を作成する第１作成ステップ、および
前記検出ステップによって検出された複数の動的物体像の１つと前記第１作成ステップによって作成された複数の静的物体像とに基づいて単一の合成画像を作成する第２作成ステップを実行させるための、画像処理プログラムであって、
前記検出ステップによって検出された複数の動的物体像に相当する動的物体の属性を識別する識別ステップ、および
前記検出ステップによって検出された複数の動的物体像の１つを前記識別ステップの識別結果に応じて異なる態様で選択する選択ステップをさらに備え、
前記第２作成ステップは前記選択ステップによって選択された動的物体像を合成処理の対象とする、画像処理プログラム。
画像処理装置によって実行される画像処理方法であって、
撮像面で捉えられた複数の画像を前記撮像面のパン／チルト動作と並列して取得する取得ステップ、
前記取得ステップによって取得された複数の画像にそれぞれ現れた複数の動的物体像を検出する検出ステップ、
前記取得ステップによって取得された複数の画像から前記検出ステップによって検出された複数の動的物体像をそれぞれ排除して複数の静的物体像を作成する第１作成ステップ、および
前記検出ステップによって検出された複数の動的物体像の１つと前記第１作成ステップによって作成された複数の静的物体像とに基づいて単一の合成画像を作成する第２作成ステップを備え、
前記検出ステップによって検出された複数の動的物体像に相当する動的物体の属性を識別する識別ステップ、および
前記検出ステップによって検出された複数の動的物体像の１つを前記識別ステップの識別結果に応じて異なる態様で選択する選択ステップをさらに備え、
前記第２作成ステップは前記選択ステップによって選択された動的物体像を合成処理の対象とする、画像処理方法。
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
撮像面で捉えられた複数の画像を前記撮像面のパン／チルト動作と並列して取得する取得ステップ、
前記取得ステップによって取得された複数の画像にそれぞれ現れた複数の動的物体像を検出する検出ステップ、
前記取得ステップによって取得された複数の画像から前記検出ステップによって検出された複数の動的物体像をそれぞれ排除して複数の静的物体像を作成する第１作成ステップ、および
前記検出ステップによって検出された複数の動的物体像の１つと前記第１作成ステップによって作成された複数の静的物体像とに基づいて単一の合成画像を作成する第２作成ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラムであって、
前記検出ステップによって検出された複数の動的物体像に相当する動的物体の属性を識別する識別ステップ、および
前記検出ステップによって検出された複数の動的物体像の１つを前記識別ステップの識別結果に応じて異なる態様で選択する選択ステップをさらに備え、
前記第２作成ステップは前記選択ステップによって選択された動的物体像を合成処理の対象とする、外部制御プログラム。
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
撮像面で捉えられた複数の画像を前記撮像面のパン／チルト動作と並列して取得する取得ステップ、
前記取得ステップによって取得された複数の画像にそれぞれ現れた複数の動的物体像を検出する検出ステップ、
前記取得ステップによって取得された複数の画像から前記検出ステップによって検出された複数の動的物体像をそれぞれ排除して複数の静的物体像を作成する第１作成ステップ、および
前記検出ステップによって検出された複数の動的物体像の１つと前記第１作成ステップによって作成された複数の静的物体像とに基づいて単一の合成画像を作成する第２作成ステップを前記内部制御プログラムと協働して実行し、
前記検出ステップによって検出された複数の動的物体像に相当する動的物体の属性を識別する識別ステップ、および
前記検出ステップによって検出された複数の動的物体像の１つを前記識別ステップの識別結果に応じて異なる態様で選択する選択ステップをさらに備え、
前記第２作成ステップは前記選択ステップによって選択された動的物体像を合成処理の対象とするプログラムに相当する、画像処理装置。