JP5696525B2

JP5696525B2 - 撮像装置、撮像方法及びプログラム

Info

Publication number: JP5696525B2
Application number: JP2011035882A
Authority: JP
Inventors: 石毛　善樹; 善樹石毛
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2011-02-22
Filing date: 2011-02-22
Publication date: 2015-04-08
Anticipated expiration: 2031-02-22
Also published as: JP2012175426A

Description

本発明は、光学ズーム機能とフォーカルプレーンシャッタを有するデジタルカメラに好適な撮像装置、撮像方法及びプログラムに関する。

従来より、画面の左右あるいは上下方向に移動する被写体を撮影する際に発生する、ローリングシャッタ効果とも称されるフォーカルプレーン歪みを補正するための技術がいくつか考えられている。（例えば、特許文献１，２）

特開２００６−１４８４９６号公報特開２００６−１０９０３７号公報

上述した特許文献も含め、一般的なフォーカルプレーン歪みに対する補正は、撮影しようとする画面と平行に移動する被写体に対処するべくなされたものである。したがって、相対的に画面中の被写体の大きさが変化する場合、例えば被写体が画面と直交する撮影光軸方向に沿って移動する場合や、光学ズーム動作中に撮影を行なう場合など、被写体の大きさが時間に応じて変化するような場合には対処することができない。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、相対的に画面中の被写体の大きさが変化するような画像の撮影時に発生するフォーカルプレーン歪みを補正して自然な描写の画像を取得することが可能な撮像装置、撮像方法及びプログラムを提供することにある。

本発明の一態様は、フォーカルプレーンシャッタを有し、該シャッタの走行に同期して１画面分の撮影画像を複数領域に分割して取得する撮影手段と、上記撮影手段による撮影動作中、画面内に占める主要被写体の大きさの変化の指標となる情報を検出する検出手段と、上記検出手段で検出した情報から撮影動作中に主要被写体の大きさが変化したか否かを判断する判断手段と、上記判断手段での判断結果にしたがい、上記撮影手段で複数領域毎に分割して取得した撮影画像中の各主要被写体の画像のうち最も主要被写体の大きく写っている画像を基準として、主要被写体を変形して補正画像を生成する補正画像生成手段と、を具備し、上記補正画像生成手段は、上記各主要被写体の画像を、上記最も主要被写体の大きく写っている画像と同一の大きさに拡大して、主要被写体の画像として合成する第１の画像合成手段を含むことを特徴とする。

本発明によれば、相対的に画面中の被写体の大きさが変化するような画像の撮影時に発生するフォーカルプレーン歪みを補正して自然な描写の画像を取得することが可能となる。

本発明の一実施形態に係るデジタルカメラの機能回路の概略構成を示すブロック図。同実施形態に係る静止画撮影モードでの撮影処理の内容を示すフローチャート。同実施形態に係る画像の分割領域毎の取込みと合成処理とを説明する図。

以下、本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。

図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すものである。同図では、カメラ筐体の前面に配設される光学レンズ部１１、及びフォーカルプレーンシャッタ１２を介して、固体撮像素子、例えばＣＭＯＳイメージセンサ１３の撮像面上に被写体の光像を入射して結像させる。

上記光学レンズ部１１は、ズームレンズ１１ａ、フォーカスレンズ１１ｂ及び固定レンズ群１１ｃを有する。ズームレンズ１１ａは、ズームレンズモータ（Ｍ）１１ｄの駆動により光学レンズ部１１の光軸方向に沿って移動することで、ズーム画角を可変する。フォーカスレンズ１１ｂは、フォーカスレンズモータ（Ｍ）１１ｅの駆動により、光学レンズ部１１の光軸方向に沿って移動することで、合焦位置を可変する。

フォーカルプレーンシャッタ１２は、例えば上下走行式のメカニカルシャッタとして、光学レンズ部１１から離れた、撮影光軸上のＣＭＯＳイメージセンサ１３の直前位置に配設される。

スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、このＣＭＯＳイメージセンサ１３での撮像により得た画像信号をＡＧＣ・Ａ／Ｄ変換部１４に送り、相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理を実行してデジタル化する。このデジタル値の画像データはシステムバスＳＢを介してバッファメモリ１５に保持される。

このバッファメモリ１５に保持された画像データに対して、画像処理部１６が適宜必要な画像処理を施す。画像処理部１６では、バッファメモリ１５が保持する、上記ＣＭＯＳイメージセンサ１３が備えるベイヤー配列のカラーフィルタの構成に応じた画像データに対してデジタル現像処理、具体的には画素補間処理、ガンマ補正処理、マトリックス演算等のデモザイク処理を施すことで、輝度色差系（ＹＵＶ）の画像データに変換する。

画像処理部１６は、現像後の画像データから表示用に画素数及び階調ビットを大幅に減じた画像データを作成し、システムバスＳＢを介して表示部１７へ送る。表示部１７では、送られてきた画像データに基づいてスルー画像を表示する。

この表示部１７は、例えばバックライト付きのカラー液晶パネルとそのコントローラとで構成される。この表示部１７の画面上部に一体にして透明導電膜を用いたタッチパネル部１８が構成される。

このタッチパネル部１８でユーザが手指等で表面をタッチ操作すると、タッチパネル部１８では操作された座標位置を算出し、算出した座標信号を上記システムバスＳＢを介して後述するＣＰＵ２２に送出する。

また、上記光学レンズ部１１と同じくカメラ筐体前面には、マイクロホン１９が配設され、被写体方向の音声が入力される。マイクロホン１９は入力した音声を電気信号化し、音声処理部２０へ出力する。

音声処理部２０は、音声単体での録音時、音声付き静止画像撮影時、及び動画像の撮影時にマイクロホン１９から入力する音声信号をデジタルデータ化する。さらに音声処理部２０は、デジタル化した音声データの音圧レベルを検出する一方で、該音声データを所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇｐｉｃｔｕｒｅｅｘｐｅｒｔｓｇｒｏｕｐ−４ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。

加えて音声処理部２０は、ＰＣＭ音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ１０の筐体背面側に設けられるスピーカ２１を駆動して、拡声放音させる。

以上の回路をＣＰＵ２２が統括して制御する。このＣＰＵ２２は、メインメモリ２３、プログラムメモリ２４と直接接続される。メインメモリ２３は、例えばＳＲＡＭで構成され、ワークメモリとして機能する。プログラムメモリ２４は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述する静止画撮影時の動作を含む各種動作プログラムやデータ等を固定的に記憶する。

ＣＰＵ２２はプログラムメモリ２４から必要なプログラムやデータ等を読出し、メインメモリ２３に適宜一時的に展開記憶させながら、このデジタルカメラ１０全体の制御動作を実行する。

さらに上記ＣＰＵ２２は、キー操作部２５から直接入力される各種キー操作信号、及び上記タッチパネル部１８からのタッチ操作に応じた座標信号に対応して制御動作を実行する。

キー操作部２５は、例えば電源キー、シャッタレリーズキー、ズームアップ／ダウンキー、撮影モードキー、再生モードキー、メニューキー、カーソル（「↑」「→」「↓」「←」）キー、セットキー、解除キー、ディスプレイキー等を備える。

ＣＰＵ２２は、システムバスＳＢを介して上記ＡＧＣ・Ａ／Ｄ変換部１４、バッファメモリ１５、画像処理部１６、表示部１７、タッチパネル部１８、及び音声処理部２０の他、さらに光学系駆動部２６、フラッシュ駆動部２７、イメージセンサ（ＩＳ）駆動部２８、メモリカードコントローラ２９、及び３軸加速度センサ３０と接続される。

光学系駆動部２６は、ＣＰＵ２２からの制御信号を受けて上記光学レンズ部１１のズームレンズモータ（Ｍ）１１ｄ，フォーカスレンズモータ（Ｍ）１１ｅの回転をそれぞれ制御し、ズームレンズ１１ａ、フォーカスレンズ１１ｂの位置を個別に制御させる。

加えて光学系駆動部２６は、ＣＰＵ２２からの制御信号を受けて上記フォーカルプレーンシャッタ１２の開閉を行なうソレノイド（Ｍｇ）３１の駆動も制御する。

フラッシュ駆動部２７は、静止画像撮影時にＣＰＵ２２からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部３２を撮影タイミングに同期して点灯駆動する。

イメージセンサ駆動部２８は、その時点で設定されている撮影条件等に応じて上記ＣＭＯＳイメージセンサ１３の走査駆動を行なう。

上記画像処理部１６は、上記キー操作部２５のシャッタレリーズキー操作に伴う画像撮影時に、ＡＧＣ・Ａ／Ｄ変換部１４から送られてきてバッファメモリ１５に保持される画像データをデモザイク処理する。

さらに、フォーカルプレーンシャッタ１２の幕速自体より早い高速のシャッタ速度で撮像を行なう場合には、フォーカルプレーンシャッタ１２を構成する先幕が完全に走行を終える前に後幕が走行を開始し、フォーカルプレーンシャッタ１２の開口部分がＣＭＯＳイメージセンサ１３の撮像面より小さい短冊状となる。

このとき画像処理部１６は、上記デモザイク処理に加えて、複数の領域に分割して得られる画像データを合成処理部１６ａにより画像合成して１枚の画像データとする。

画像処理部１６は、こうして得られた１枚の画像データに対し、所定のデータファイル形式、例えばＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）であればＤＣＴ（離散コサイン変換）やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルは一度バッファメモリ１５に保持され、この後、システムバスＳＢ、メモリカードコントローラ２９を介してメモリカード３３に書込まれて保存される。

また画像処理部１６は、再生モード時にメモリカード３３からメモリカードコントローラ２９を介して読出されてくる画像データをシステムバスＳＢを介して受取り、バッファメモリ１５に保持させた上で、このバッファメモリ１５に保持させた画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、得た画像データのデータ量を減じた後にシステムバスＳＢを介して表示部１７で表示させる。
メモリカードコントローラ２９は、カードコネクタ３４を介してメモリカード３３と接続される。メモリカード３３は、このデジタルカメラ１０に着脱自在に装着され、このデジタルカメラ１０の記録媒体となる画像データ等の記録用メモリであり、内部には不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。

３軸加速度センサ３０は、このデジタルカメラ１０の３次元空間内での移動の方向と量とを検出するセンサであり、その検出出力は手ブレ補正と、後述するフォーカルプレーン歪みの補正に用いられる。

次に上記実施形態の動作について説明する。
なお、以下に示す動作は、静止画像を撮影するための静止画撮影モード時に、ＣＰＵ２２の制御の下に実行される処理内容を示す。ＣＰＵ２２はプログラムメモリ２４に記憶されている動作プログラムやデータを読出し、メインメモリ２３に展開して記憶させた上で実行する。

プログラムメモリ２４に記憶されている動作プログラム等は、このデジタルカメラ１０の製造工場出荷時にプログラムメモリ２４に記憶されていたものに加え、例えばこのデジタルカメラ１０のバージョンアップに際して、デジタルカメラ１０を図示しないパーソナルコンピュータと接続し、あるいは更新プログラムを記憶したメモリカード３３を一時的にカードコネクタ３４に装着することにより外部から新たな動作プログラム、データ等をインストールするものも含む。

図２は、静止画撮影モード時の処理内容を示す。その当初にＣＰＵ２２は、例えばコントラスト方式の自動合焦（ＡＦ）処理と、自動露出（ＡＥ）処理とを実行して適正な主要被写体までの合焦位置及び露出値を取得する（ステップＳ１０１）。

この合焦位置及び露出値に基づいてＣＭＯＳイメージセンサ１３で撮影を実行し、得た画像データに基づいて表示部１７でスルー画像を表示させる（ステップＳ１０２）。

加えて、ＣＰＵ２２は上記キー操作部２５のシャッタレリーズキーの操作があるか否かにより静止画の撮影が指示されたか否かを判断する（ステップＳ１０３）。ここでシャッタレリーズキーの操作がないと判断した場合は、上記ステップＳ１０１からの処理に戻る。

こうしてステップＳ１０１〜Ｓ１０３の処理を繰返し実行することで、ＡＦ処理、ＡＥ処理と表示部１７でのスルー画像の表示を行ないながら、シャッタレリーズキーが操作されるのを待機する。

そしてシャッタレリーズキーが操作されるとＣＰＵ２２は上記ステップＳ１０３でそれを判断し、あらためて直前の上記ステップＳ１０１で得た合焦位置及び露出値に基づいてＣＭＯＳイメージセンサ１３より撮影した画像データを入力し、バッファメモリ１５にて保持させる（ステップＳ１０４）。

なお本実施形態では、撮影中であってもＡＦ処理は続行し、主要被写体の移動に追従して随時フォーカスレンズ１１ｂを移動させるものとする。

図３（Ａ）は、撮影開始時の被写体全体の画像を例示する。画像の略中央に主要被写体ＯＪが位置している。本動作例では説明を簡易化するために、上記フォーカルプレーンシャッタ１２が縦走行式であり、画像を「上」「中」「下」の３つの横長短冊状の領域に分割して連続して画像を入力するものとする。

図３（Ｂ）は、撮影当初の上側の略１／３の分割領域の画像を入力した状態を示す。デジタルカメラ１０の構成上、ＣＭＯＳイメージセンサ１３の撮像面を正確に１／３の領域毎に分割して画像データを入力するのではなく、隣り合う領域とで重複するマージン部分を含んでおり、入力時には１／３より若干大きな範囲の画像情報を入力し、バッファメモリ１５に保持することになる。

上記ステップＳ１０４での画像入力後、ＣＰＵ２２は１画面分の画像入力を終えたか否かを判断する（ステップＳ１０５）。ここでまだ画像入力を終えていないと判断すると、再び上記ステップＳ１０４に処理に戻って、次の分割領域での画像入力処理に移行する。

こうしてステップＳ１０４，Ｓ１０５の処理を分割領域の数だけ繰返すことで、１画面分の撮影画像の入力処理を終える。

図３（Ｃ）は、２番目の中央の略１／３の分割領域の画像を入力した状態を示す。上記図３（Ｂ）で示した画像に比して、画面に対する主要被写体ＯＪの大きさが増していることがわかる。

続く図３（Ｄ）は、３番目の下側の略１／３の分割領域の画像を入力した状態を示す。上記図３（Ｂ），（Ｃ）で示した画像に比して、画面に対する主要被写体ＯＪの大きさがさらに増していることがわかる。

１画面分の画像の入力とバッファメモリ１５への保持を行なった後、ＣＰＵ２２は上記ステップＳ１０５でそれを判断すると、ＣＰＵ２２は上記画像入力中に光学レンズ部１１のズームレンズ１１ａをズームレンズモータ（Ｍ）１１ｄにより移動させたか否かにより、撮影画角を変えながらの撮影であったか否かを判断する（ステップＳ１０６）。

ここで撮影中はズームレンズ１１ａを移動させておらず、撮影画角を変えていないと判断すると、次にＣＰＵ２２は、上記画像入力中に３軸加速度センサ３０の出力により、デジタルカメラ１０が光学レンズ部１１の撮影光軸に沿った方向に動いたか否かを判断する（ステップＳ１０７）。

ここで撮影中は少なくともデジタルカメラ１０が光学レンズ部１１の撮影光軸に沿った方向に動いていないと判断すると、次にＣＰＵ２２は、上記画像入力中に光学レンズ部１１のフォーカスレンズ１１ｂをフォーカスレンズモータ（Ｍ）１１ｅにより移動させたか否かにより、主要被写体がこの光学レンズ部１１の撮影光軸に沿った方向に移動してこのデジタルカメラ１０との距離が変化したか否かを判断する（ステップＳ１０８）。

上記ステップＳ１０６で撮影中にズームレンズ１１ａを移動させて撮影画角を変えたと判断した場合、あるいは上記ステップＳ１０７で撮影中にデジタルカメラ１０が光学レンズ部１１の撮影光軸に沿った方向に動いたと判断した場合、あるいは上記ステップＳ１０８で主要被写体がこの光学レンズ部１１の撮影光軸に沿った方向に移動してこのデジタルカメラ１０との距離が変化したと判断した場合、いずれも撮影画像中における主要被写体の大きさが変化しており、フォーカルプレーン歪みを発生している可能性があるものとして、ＣＰＵ２２はその動きの量と方向とを検出する（ステップＳ１０９）。

そしてその検出結果により、デジタルカメラ１０と主要被写体、及び背景との相対位置の変化を勘案して上記３分割した領域の画像を合成してフォーカルプレーン歪みを補正した１枚の画像を画像処理部１６の合成処理部１６ａにより合成する（ステップＳ１１０）。

以下、その画像合成の一例について説明する。
上記ステップＳ１０６で撮影中に撮影画角を変えたと判断した場合、デジタルカメラ１０と主要被写体、及び背景の相対的な位置関係自体は変化しておらず、単に被写体方向の撮影範囲が変化したものと考えられる。

上記図３を例にとって考えると、上記図３（Ｄ）に示した３番目、下側の分割領域の撮影時の撮影画角は、図３（Ａ）の破線ＢＬ１で示す範囲に相当する。この破線ＢＬ１で示す範囲を上中下で３分割した場合、上記図３（Ｂ）で示した１番目、上側の分割領域では破線ＢＬ２で示す範囲が、図３（Ｃ）で示した２番目、中央の分割領域では破線ＢＬ３で示す範囲が、３番目、下側の分割領域と対応する。

したがって画像処理部１６の合成処理部１６ａでは、まず上側の分割領域の破線ＢＬ２で示す範囲中の主要被写体ＯＪの画像と、中央の分割領域の破線ＢＬ３で示す範囲中の主要被写体ＯＪの画像とを、最も主要被写体ＯＪが大きく写っている下側の分割領域の主要被写体ＯＪの画像を基準として合成する。

このとき、図３（Ｄ）の主要被写体ＯＪを基準（「１」）とした場合の、図３（Ｃ）の主要被写体ＯＪの画像に対する拡大率をｍｆ１、図３（Ｂ）の主要被写体ＯＪの画像に対する拡大率をｍｆ２とすると、その関係は「１＜ｍｆ１＜ｍｆ２」となり、小さく写っている図３（Ｂ）の主要被写体ＯＪの画像に対する拡大率の方が高くなる。

こうして、最も大きく写っている主要被写体ＯＪを基準として他の分割領域の主要被写体ＯＪの画像をそれぞれの拡大率で拡大し、同じ大きさに揃えた状態で合成処理を行なった後、背景画像の合成を行なう。

撮影中に撮影画角を変えた場合、上述した如く主要被写体と背景との関係自体は変化しておらず、単に撮影画面に入る周辺側の範囲が変化するに過ぎない。
したがって、背景画像の合成に関しては、上記主要被写体の拡大率をそのまま使用し、上側の分割領域の破線ＢＬ２で示す範囲中の背景の画像と、中央の分割領域の破線ＢＬ３で示す範囲中の背景の画像とをそれぞれ拡大して、最も主要被写体ＯＪが大きく写っている下側の分割領域の背景の画像を基準として合成する。
こうして主要被写体ＯＪの合成画像と背景の合成画像とをさらに画像合成することで、最終的にフォーカルプレーン歪みを補正した合成画像を取得できる。

フォーカルプレーン歪みを補正した１枚分の画像データを取得すると、画像処理部１６ではその画像データを例えばＪＰＥＧなどの所定のデータファイル形式により画像データファイル化する。ＣＰＵ２２は、この画像データファイルをメモリカードコントローラ２９を介してメモリカード３３に書込んで記録させ（ステップＳ１１２）、以上で静止画像の撮影から記録に至る一連の処理を終了し、次の静止画の撮影に備えるべく上記ステップＳ１０１からの処理に戻る。

また、上記ステップＳ１０７で撮影中にデジタルカメラ１０が光学レンズ部１１の撮影光軸に沿った方向に動いたと判断した場合、デジタルカメラ１０と主要被写体、及び背景の相対的な位置関係が変化する。

具体的には、例えばデジタルカメラ１０が主要被写体に近づいた場合、主要被写体が大きくなり、背景の撮影範囲が狭くなり、且つ主要被写体が大きくなることで背景画像中の主要被写体に隣接する部分は主要被写体の影に入って見えなくなる。

上記図３を例にとって考える。上記図３（Ｄ）に示した３番目、下側の分割領域の撮影時の撮影範囲が、図３（Ａ）の破線ＢＬ１で示す範囲に相当するものとする。この破線ＢＬ１で示す範囲を上中下で３分割した場合、上記図３（Ｂ）で示した１番目、上側の分割領域では破線ＢＬ２で示す範囲が、図３（Ｃ）で示した２番目、中央の分割領域では破線ＢＬ３で示す範囲が、３番目、下側の分割領域と対応するものとする。

撮影中にデジタルカメラ１０が主要被写体に近づいた場合、上述した如く主要被写体と背景との関係も変化し、背景画像中でも画像上で主要被写体に隣接した位置の画像は、カメラが主要被写体に近づくにつれて主要被写体の影になって見えなくなる。

したがって、背景画像の合成に関しては、上記主要被写体の拡大率をそのまま使用すると共に、上側の分割領域の破線ＢＬ２で示す範囲中の背景の画像と、中央の分割領域の破線ＢＬ３で示す範囲中の背景の画像とをそれぞれ拡大した上で矩形範囲の外側となる周辺側から画像パターンのマッチングを図り、拡大後の主要被写体ＯＪの位置までを合成することで、主要被写体ＯＪの影に入って隠れしまう背景部分の画像合成を行なうことなく、最も主要被写体ＯＪが大きく写っている下側の分割領域の背景の画像を基準とした背景の画像合成を完了する。

こうして主要被写体ＯＪの合成画像と背景の合成画像とをさらに画像合成することで、最終的にフォーカルプレーン歪みを補正した合成画像を取得できる。

また、上記ステップＳ１０８で撮影中に主要被写体が光学レンズ部１１の撮影光軸に沿った方向に動いたと判断した場合、デジタルカメラ１０と主要被写体、及び背景の相対的な位置関係が変化する。

具体的には、例えば主要被写体がデジタルカメラ１０に向かって近づいた場合、背景の撮影範囲自体は変化しないものの、主要被写体が大きくなり、且つ主要被写体が大きくなることで背景画像中の主要被写体に隣接する部分は主要被写体の影に入って見えなくなる。

上記図３を例にとって考える。上記図３（Ｄ）に示した３番目、下側の分割領域の撮影時の撮影範囲は、図３（Ａ）で示す撮影範囲と同様であり、背景の範囲に変化はないものの、主要被写体ＯＪの大きさのみが変化していると考えられる。

一方で主要被写体ＯＪのみに着目すると、図３（Ａ）中に破線ＢＬ１で示す範囲の主要被写体ＯＪの画像を拡大することで、図３（Ｄ）に示す主要被写体ＯＪの画像と一致するものと考えられる。

撮影中に主要被写体がデジタルカメラ１０に向かって近づいた場合、上述した如く背景画像の撮影範囲自体は変化しないものの、背景画像中でも画像上で主要被写体に隣接した位置の画像は、主要被写体がカメラに近づくにつれて主要被写体の影になって見えなくなる。

したがって、背景画像に関しては拡大を勘案した画像合成処理は必要なく、上側の分割領域全体の背景の画像と、中央の分割領域全体の背景の画像、及び下側の分割領域全体の背景の画像とで矩形範囲の外側となる周辺側から、拡大後の主要被写体ＯＪの位置までを合わせ込むことにより、主要被写体ＯＪの影に入って隠れしまう背景部分の合わせ込みを行なうことなく、最も主要被写体ＯＪが大きく写っている下側の分割領域の背景の画像を基準とした背景の合わせ込みを完了する。

こうして主要被写体ＯＪの合成画像と背景画像とをさらに画像合成することで、最終的にフォーカルプレーン歪みを補正した合成画像を取得できる。

なお、上記ステップＳ１０８で主要被写体は撮影中にこの光学レンズ部１１の撮影光軸に沿った方向に移動しておらず、このデジタルカメラ１０との距離は変化していないと判断した場合、ＣＰＵ２２はフォーカルプレーン歪みを発生している可能性はないものと判断して、画像合成の処理は省略し、上側の分割領域全体の画像と、中央の分割領域全体の画像、及び下側の分割領域全体の画像とをそのまま合わせ込むことにより、１枚の画像データを取得する（ステップＳ１１１）。

こうして１枚分の画像データを取得すると、画像処理部１６ではその画像データを例えばＪＰＥＧなどの所定のデータファイル形式により画像データファイル化する。ＣＰＵ２２は、この画像データファイルをメモリカードコントローラ２９を介してメモリカード３３に書込んで記録させ（ステップＳ１１２）、以上で静止画像の撮影から記録に至る一連の処理を終了し、次の静止画の撮影に備えるべく上記ステップＳ１０１からの処理に戻る。

なお、上記画像合成を行なう場合はいずれも画像中に占める主要被写体ＯＪの大きさが増す場合について説明したが、画像中に占める主要被写体ＯＪの大きさが減る場合、すなわち、撮影中にズーム操作により撮影画角をより広く変えた場合、撮影中にデジタルカメラ１０の位置が光学レンズ部１１の撮影光軸に沿って主要被写体ＯＪから遠ざかる方向に移動した場合、及び撮影中に主要被写体が光学レンズ部１１の撮影光軸に沿ってデジタルカメラ１０から遠ざかる方向に移動した場合であっても、基本的な考え方は同様であり、いずれも主要被写体が画像中に占める大きさが最も大きかった分割領域、すなわち上側の分割領域を基準として中央と下側の分割領域における主要被写体と必要により背景の拡大、合成処理を行なう。

さらに、画像中に占める主要被写体ＯＪの大きさが増す場合、あるいは画像中に占める主要被写体ＯＪの大きさが減る場合だけではなく、画像中に占める主要被写体ＯＪの大きさが一旦増した後に減る場合、あるいは反対に一旦減った後に増す場合でも、同様の考え方に基づき、主要被写体が画像中に占める大きさが最も大きかった分割領域を基準として主要被写体と必要により背景の拡大、合成処理を行なう。

このように最も主要被写体が大きく写っている分割領域の画像を基準として用いることにより、背景画像に関しては、他の分割領域でも撮影により取得できた画像を少なくとも部分的に使用することで、撮影できていない範囲の背景画像を擬似的に作成して補う必要がないため、合成後の画像を実画像に比して、より忠実で自然な表現の画像として提供できる。

なお上記実施形態では、説明を簡易にするために縦走行式のフォーカルプレーンシャッタ１２に合わせて画像を上下方向に３つに分割して画像データを取得するものとして説明したが、実際には、例えばＣＭＯＳイメージセンサ１３の画像サイズ構成が縦３０００画素×横４０００画素で計１２００万画素のものであった場合、仕様にもよるが、上下方向に例えば１５０程度の短冊状の領域（水平ライン２０本単位程度）に分割して画像データを取得するものが一般的であり、本発明もそのような多数の分割領域に対応するべく考えられたものである。

また上記実施形態では、撮影中にズーム画角を可変する操作を行なった場合、撮影中にデジタルカメラ１０の位置が光学レンズ部１１の撮影光軸に沿って移動した場合、及び撮影中に主要被写体の位置が光学レンズ部１１の撮影光軸に沿って移動した場合について個別に検討しているが、実際の撮影時にはこれらが重複して発生することも充分考えられるため、各検出結果により状態を正確に判断してそれらを総合的に対処する必要がある。

以上詳述した如く本実施形態によれば、相対的に画面中の主要被写体の大きさが変化するような画像の撮影時に発生するフォーカルプレーン歪みを補正して、自然な描写の画像を取得することが可能となる。

特に上記実施形態では、撮影中にズーム画角が変化する場合について対応したため、光学ズーム機能及び画像処理によるデジタルズーム機能のいずれの動作時であっても、フォーカルプレーン歪みを補正して自然な描写の画像を取得することが可能となる。

また上記実施形態では、デジタルカメラ１０が自動合焦機能を有し、撮影中の主要被写体までの距離が変化する場合について対応可能であるものとしたので、例えばペットや子供など、動きの早い被写体を対象とした撮影を行なう場合であっても、フォーカルプレーン歪みを補正して自然な描写の画像を取得することが可能となる。

さらに上記実施形態では、デジタルカメラ１０が３軸加速度センサ３０を有し、撮影中にカメラ自体の動きが変化する場合について対応可能であるものとしたので、近時は各種携帯電子機器やゲーム機等での使用で安価になった３軸加速度センサを手ブレ補正、縦横撮影検出用のセンサと兼用して使用することで、撮影者が例えば車などの移動体に乗った状態で撮影するような場合であっても、フォーカルプレーン歪みを補正して自然な描写の画像を取得することが可能となる。

なお上記実施形態は本発明をデジタルカメラに適用した場合について説明したものであるが、フォーカルプレーンシャッタを有するカメラ機能を備えた電子機器、例えば携帯電話端末などでも同様に適用することが可能となる。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当所の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、フォーカルプレーンシャッタを有し、該シャッタの走行に同期して１画面分の撮影画像を複数領域に分割して取得する撮影手段と、上記撮影手段による撮影動作中、画面内に占める主要被写体の大きさの変化の指標となる情報を検出する検出手段と、上記検出手段で検出した情報から撮影動作中に主要被写体の大きさが変化したか否かを判断する判断手段と、上記判断手段での判断結果にしたがい、上記撮影手段で複数領域毎に分割して取得した撮影画像中の各主要被写体の画像を同一の大きさに変形して主要被写体の画像として合成する第１の画像合成手段と、上記第１の合成手段で得た主要被写体の画像と、上記撮影手段で複数領域毎に分割して取得した画像とにより上記主要被写体以外の背景部分の画像を合成する第２の画像合成手段と、上記第１の画像合成手段で得た主要被写体の画像と、上記第２の画像合成手段で得た背景部分の画像とにより１枚の画像を合成する第３の画像合成手段と、上記第３の画像合成手段で得た画像を記録する記録手段とを具備したことを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、上記撮像手段は、撮影画角を可変するズーム機能を有し、上記検出手段は、上記ズーム機能による撮影画角を主要被写体の大きさの変化の指標となる情報として検出することを特徴とする。

請求項３記載の発明は、上記請求項１記載の発明において、上記撮像手段は、主要被写体までの距離に応じて合焦位置を移動させる自動合焦機能を有し、上記検出手段は、上記自動合焦機能による主要被写体までの距離を主要被写体の大きさの変化の指標となる情報として検出することを特徴とする。

請求項４記載の発明は、上記請求項１記載の発明において、上記撮影手段による撮影光軸方向に沿った装置の移動の方向及び量を検出する移動検出手段をさらに具備し、上記検出手段は、上記移動検出手段による装置の移動の方向及び量を主要被写体の大きさの変化の指標となる情報として検出することを特徴とする。

請求項５記載の発明は、上記請求項１記載の発明において、上記第１の画像合成手段は、上記撮影手段で複数領域毎に分割して取得した撮影画像中の各主要被写体の画像から最も大きいものを基準として他の画像をそれぞれ拡大することで主要被写体の画像を合成することを特徴とする。

請求項６記載の発明は、フォーカルプレーンシャッタを有し、該シャッタの走行に同期して１画面分の撮影画像を複数領域に分割して取得する撮影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、当該プログラムを、上記撮影部による撮影動作中、画面内に占める主要被写体の大きさの変化の指標となる情報を検出する検出手段、上記検出手段で検出した情報から撮影動作中に主要被写体の大きさが変化したか否かを判断する判断手段、上記判断手段での判断結果にしたがい、上記撮影部で複数領域毎に分割して取得した撮影画像中の各主要被写体の画像を同一の大きさに変形して主要被写体の画像として合成する第１の画像合成手段、上記第１の合成手段で得た主要被写体の画像と、上記撮影部で複数領域毎に分割して取得した画像とにより上記主要被写体以外の背景部分の画像を合成する第２の画像合成手段、上記第１の画像合成手段で得た主要被写体の画像と、上記第２の画像合成手段で得た背景部分の画像とにより１枚の画像を合成する第３の画像合成手段、及び上記第３の画像合成手段で得た画像を記録する記録手段として機能させることを特徴とする。

１０…デジタルカメラ、１１…光学レンズ部、１１ａ…ズームレンズ、１１ｂ…フォーカスレンズ、１１ｃ…固定レンズ群、１１ｄ…ズームレンズモータ（Ｍ）、１１ｅ…フォーカスレンズモータ（Ｍ）、１２…フォーカルプレーンシャッタ、１３…ＣＭＯＳイメージセンサ、１４…ＡＧＣ・Ａ／Ｄ変換部、１５…バッファメモリ、１６…画像処理部、１６ａ…合成処理部、１７…表示部、１８…タッチパネル部、１９…マイクロホン、２０…音声処理部、２１…スピーカ、２２…ＣＰＵ、２３…メインメモリ、２４…プログラムメモリ、２５…キー操作部、２６…光学系駆動部、２７…フラッシュ駆動部、２８…イメージセンサ駆動部、２９…メモリカードコントローラ、３０…３軸加速度センサ、３１…ソレノイド（Ｍｇ）、３２…フラッシュ部、３３…メモリカード、３４…カードコネクタ、ＯＪ…主要被写体、ＳＢ…システムバス。

Claims

フォーカルプレーンシャッタを有し、該シャッタの走行に同期して１画面分の撮影画像を複数領域に分割して取得する撮影手段と、
上記撮影手段による撮影動作中、画面内に占める主要被写体の大きさの変化の指標となる情報を検出する検出手段と、
上記検出手段で検出した情報から撮影動作中に主要被写体の大きさが変化したか否かを判断する判断手段と、
上記判断手段での判断結果にしたがい、上記撮影手段で複数領域毎に分割して取得した撮影画像中の各主要被写体の画像のうち最も主要被写体の大きく写っている画像を基準として、主要被写体を変形して補正画像を生成する補正画像生成手段と、
を具備し、
上記補正画像生成手段は、上記各主要被写体の画像を、上記最も主要被写体の大きく写っている画像と同一の大きさに拡大して、主要被写体の画像として合成する第１の画像合成手段を含む
ことを特徴とする撮像装置。
上記補正画像生成手段は、上記第１の合成手段で得た主要被写体の画像と、上記撮影手段で複数領域毎に分割して取得した画像とにより上記主要被写体以外の背景部分の画像を合成する第２の画像合成手段を更に含むことを特徴とする請求項１記載の撮像装置。
上記補正画像生成手段は、上記第１の画像合成手段で得た主要被写体の画像と、上記第２の画像合成手段で得た背景部分の画像とにより１枚の画像を合成する第３の画像合成手段を更に含むことを特徴とする請求項２記載の撮像装置。
上記撮像手段は、撮影画角を可変するズーム機能を有し、
上記検出手段は、上記ズーム機能による撮影画角を主要被写体の大きさの変化の指標となる情報として検出する
ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
上記撮像手段は、主要被写体までの距離に応じて合焦位置を移動させる自動合焦機能を有し、
上記検出手段は、上記自動合焦機能による主要被写体までの距離を主要被写体の大きさの変化の指標となる情報として検出する
ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
上記撮影手段による撮影光軸方向に沿った装置の移動の方向及び量を検出する移動検出手段をさらに具備し、
上記検出手段は、上記移動検出手段による装置の移動の方向及び量を主要被写体の大きさの変化の指標となる情報として検出する
ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
フォーカルプレーンシャッタを有し、該シャッタの走行に同期して１画面分の撮影画像を複数領域に分割して取得する撮影部を備えた装置における撮像方法であって、
上記撮影部による撮影動作中、画面内に占める主要被写体の大きさの変化の指標となる情報を検出する検出ステップと、
上記検出ステップで検出した情報から撮影動作中に主要被写体の大きさが変化したか否かを判断する判断ステップと、
上記判断ステップでの判断結果にしたがい、上記撮影部で複数領域毎に分割して取得した撮影画像中の各主要被写体の画像のうち最も主要被写体の大きく写っている画像を基準として、主要被写体を変形して補正画像を生成する補正画像生成ステップと、
を含み、
上記補正画像生成ステップは、上記各主要被写体の画像を、上記最も主要被写体の大きく写っている画像と同一の大きさに拡大して、主要被写体の画像として合成する画像合成ステップを含む
ことを特徴とする撮像方法。
フォーカルプレーンシャッタを有し、該シャッタの走行に同期して１画面分の撮影画像を複数領域に分割して取得する撮影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、当該プログラムに、
上記撮影部による撮影動作中、画面内に占める主要被写体の大きさの変化の指標となる情報を検出する検出機能、
上記検出機能で検出した情報から撮影動作中に主要被写体の大きさが変化したか否かを判断する判断機能、
上記判断機能での判断結果にしたがい、上記撮影部で複数領域毎に分割して取得した撮影画像中の各主要被写体の画像のうち最も主要被写体の大きく写っている画像を基準として、主要被写体を変形して補正画像を生成する補正画像生成機能、
を実現させ、
上記補正画像生成機能は、上記各主要被写体の画像を、上記最も主要被写体の大きく写っている画像と同一の大きさに拡大して、主要被写体の画像として合成する画像合成機能を含む
ことを特徴とするプログラム。