JP5803467B2 - 画像処理装置および撮像装置、ならびに画像処理方法 - Google Patents

画像処理装置および撮像装置、ならびに画像処理方法 Download PDF

Info

Publication number
JP5803467B2
JP5803467B2 JP2011200874A JP2011200874A JP5803467B2 JP 5803467 B2 JP5803467 B2 JP 5803467B2 JP 2011200874 A JP2011200874 A JP 2011200874A JP 2011200874 A JP2011200874 A JP 2011200874A JP 5803467 B2 JP5803467 B2 JP 5803467B2
Authority
JP
Japan
Prior art keywords
image
camera shake
unit
continuous
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011200874A
Other languages
English (en)
Other versions
JP2013062741A (ja
Inventor
祐治 山中
祐治 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2011200874A priority Critical patent/JP5803467B2/ja
Priority to US13/605,932 priority patent/US9129401B2/en
Publication of JP2013062741A publication Critical patent/JP2013062741A/ja
Application granted granted Critical
Publication of JP5803467B2 publication Critical patent/JP5803467B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect

Description

本発明は、画像処理装置および撮像装置、ならびに画像処理方法に関する。
従来より、撮像装置により連写された移動する物体（以下、動体という）の複数の画像から、動体の移動が一目で分かるように背景のある１枚の画像に合成した所謂ストロボアクション画像を作成する画像処理装置が知られている。
一般にストロボアクション画像は、画像処理装置において、動体の写っている領域（以下、動体領域という）がそれ以外の領域（以下、背景領域という）から抽出され、複数の動体領域の画像が背景領域を含む１枚の画像に合成されることで作成される。この種の画像処理装置では、連続する画像間の差分を計算することにより、動体領域と背景領域とが分離され、背景領域から動体領域が抽出されるようになっている。
また、例えば、動体領域と背景領域とを分離するために、動きベクトルの大きさを利用する画像処理装置が知られている（例えば、特許文献１参照）。この画像処理装置では、小さな動きベクトルを有する背景領域を除去することにより、大きな動きベクトルを有する動体領域を抽出するようになっている。
これにより、背景領域が観客や屋外の樹木等のように停止することなく小さな複雑な動きをする場合であっても、相対的に動きの大きい動体領域を抽出することで、動体領域を高精度に抽出することができる。
しかしながら、このような画像処理装置にあっては、動体領域を背景領域から分離する判断のために動きベクトルの大きさの違いを利用しているので、動きベクトルを算出するために非常に多数の計算工程を必要としてしまう。これにより、処理時間が長時間化してしまうという問題があった。
また、仮にこの画像処理装置を普及型のコンパクトデジタルスチルカメラ（以下、デジタルカメラという）に搭載した場合、１枚のストロボアクション画像を作成するために、例えば、数十秒もの時間を要してしまう可能性があり、実用性があるとは言い難かった。
しかも、デジタルカメラで手持ち撮影する場合には、手ぶれが発生することがある。手ぶれが発生した場合、動体領域と背景領域との分離が不完全になって、一部では動体領域が背景領域に上書きされてしまい、不自然なストロボアクション画像を作成してしまうことがあるという問題があった。
本発明は、このような問題を解決するためになされたもので、撮影時に生じた手ぶれ等を含んだ連写画像であっても、背景領域から動体領域を高精度かつ簡易に抽出して１枚の画像に合成できる画像処理装置および撮像装置、ならびに画像処理方法を提供することを目的とする。
本発明に係る画像処理装置は、動体を連続撮影した複数の静止画像からなる連写画像を縮小して縮小連写画像を作成するサイズ縮小部と、複数の前記縮小連写画像から動体領域を抽出して縮小動体抽出マスク画像を作成するマスク作成部と、前記縮小動体抽出マスク画像を拡大し、前記サイズ縮小部で縮小する前の大きさに復元して動体抽出マスク画像を作成するサイズ復元部と、前記動体抽出マスク画像を利用して前記連写画像から前記動体領域を抽出し動体画像を得るとともに、前記動体画像を前記連写画像の所定の１枚に合成する合成部と、前記連写画像が前記サイズ縮小部において縮小される前に、前記連写画像の手ぶれの量を検知する手ぶれ量検知部と、前記連写画像が前記サイズ縮小部において縮小される前に、前記サイズ縮小部で前記連写画像を縮小する縮小率を前記手ぶれの量に応じて決定する縮小率決定部と、を備えることを特徴とするものである。
この構成により、動体の連写画像から得られた複数の動体画像が１枚の画像に合成されることにより、ストロボアクション画像が作成される。
ここで、マスク作成部における処理の前に連写画像を縮小するとともに、マスク作成部における処理の後に縮小動体抽出マスク画像を拡大して元のサイズに復元している。このため、従来のように連写画像のそのままのサイズでマスク画像を作成する場合に比べて、連写画像をマスク画像の作成前に縮小することでマスク画像におけるノイズが少なくなり、手ぶれによる画像のずれを吸収することができる。これにより、画像処理装置をコンパクトデジタルスチルカメラのような小型の撮像装置に搭載しても、高精度なストロボアクション画像を十分に実用性のある処理時間で得ることができる。
本発明によれば、撮影時に生じた手ぶれ等を含んだ連写画像であっても、背景領域から動体領域を高精度かつ簡易に抽出して１枚の画像に合成できる画像処理装置および撮像装置、ならびに画像処理方法を提供することができる。
本発明の第１の実施の形態に係る撮像装置の全体を示す概略のブロック図である。 本発明の第１の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。 本発明の第１の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。 本発明の第１の実施の形態に係る撮像装置により、移動する自動車のおもちゃを撮影した連写画像であり、（ａ）〜（ｅ）は５コマ／秒で順次撮影した画像、（ｆ）は（ａ）〜（ｅ）の画像を合成したストロボアクション画像である。 マスク作成部により作成された動体抽出マスク画像を示す画像であり、（ａ）はマスク作成の前に画像の縮小処理を行うとともにマスク作成の後に画像の拡大処理を行った実施例、（ｂ）はマスク作成の前後で縮小拡大処理を行わなかった比較例である。 本発明の第２の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。 本発明の第２の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。 本発明の第２の実施の形態に係る撮像装置の画像処理手段での手ぶれ補正の原理を示す概略の説明図であり、（ａ）は基準時刻ｔ０において撮影された画像、（ｂ）は基準時刻のｔ１後に撮影された画像である。 本発明の第３の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。 本発明の第３の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。 本発明の第３の実施の形態に係る撮像装置の画像処理手段での手ぶれ補正の原理を示す概略の説明図である。 本発明の第４の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。 本発明の第４の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。 本発明の第５の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。 本発明の第５の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。 本発明の第６の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。 本発明の第６の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。 本発明の第６の実施の形態に係る撮像装置の画像処理手段での差分を検出する部位を示す概略の説明図であり、（ａ）は画像の四隅よりやや内側の場合、（ｂ）は画像の四隅の場合、（ｃ）は画像の周縁の場合である。 本発明の第７の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。 本発明の第７の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。 本発明の第８の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。 本発明の第８の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。 本発明の第９の実施の形態に係る撮像装置の画像処理手段を示す概略のブロック図である。 本発明の第９の実施の形態に係る撮像装置の画像処理手段における処理の手順を示すフローチャートである。
以下、本発明の実施の形態について、図面を参照して説明する。
（第１の実施の形態）
まず、本発明の実施の形態に係る画像処理装置を搭載した撮像装置について説明する。ここでは、画像処理装置を撮像装置の一例としてのコンパクトデジタルスチルカメラ１に適用している。
図１に示すように、デジタルカメラ１は、撮像手段２と、制御手段３と、画像処理装置の一例としての画像処理手段４と、画像出力手段５と、操作手段６とを備えている。
撮像手段２は、撮影光学系２０と、メカシャッタ２１と、撮像素子２２と、ＣＤＳ（Correlated Double Sampling）回路２３と、アナログデジタル変換器（以下、Ａ／Ｄ変換器という）２４と、モータドライバ２５と、タイミング信号発生器２６とを備えている。撮像手段２は、動体を連続撮影して複数の静止画像からなる連写画像を生成するようになっている。
撮影光学系２０は、例えば複数の光学レンズ群からなるとともに、被写体の光学像を入射して撮像素子２２に結像するようになっている。メカシャッタ２１は、例えばレンズシャッタからなるとともに、撮影光学系２０を通して撮像素子２２に入射される入射光を遮断できるようになっている。撮像素子２２は、例えばＣＣＤ（Charge Coupled Device）からなる。撮像素子２２は、撮像面を有するとともに、この撮像面に結像された被写体の光学像をアナログの画像信号に変換するようになっている。
ＣＤＳ回路２３は、撮像素子２２から出力されたアナログの画像信号からノイズ成分を除去するようになっている。Ａ／Ｄ変換器２４は、ＣＤＳ回路２３から出力されたアナログの画像信号をデジタルの画像信号（以下、画像データという）に変換するようになっている。
モータドライバ２５は、制御手段３の指示に基づいて、撮影光学系２０およびメカシャッタ２１を駆動し、撮影光学系２０の位置を変動させたり、あるいはメカシャッタ２１を開閉させたりする。タイミング信号発生器２６は、制御手段３の指示に基づいて、撮像素子２２と、ＣＤＳ回路２３と、Ａ／Ｄ変換器２４とを、所定のタイミングで動作させるためのタイミング信号を発生するようになっている。
制御手段３は、ＣＰＵ（Central Processing Unit）３０と、一時的にデータを記憶するＲＡＭ（Random Access Memory）３１と、固定されたデータの記憶を行うＲＯＭ（Read Only Memory）３２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３３と、メモリカード３４とを備えている。
ＲＯＭ３２には、デジタルカメラ１によりストロボアクション画像を撮影するためのプログラムが記憶されている。ＣＰＵ３０は、ＲＯＭ３２に記憶されたプログラムを、ＲＡＭ３１を作業領域として実行することにより、後述するようにコンパクトデジタルカメラ１によりストロボアクション画像を撮影するようになっている。
画像処理手段４は、Ａ／Ｄ変換器２４に接続されるとともに、Ａ／Ｄ変換器２４から出力された連写画像の画像データに画像処理を行って出力するようになっている。
図２に示すように、画像処理手段４は、記憶部４０と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
記憶部４０は、Ａ／Ｄ変換器２４に接続されるとともに、Ａ／Ｄ変換器２４から出力された連写画像の画像データを記憶するようになっている。サイズ縮小部４１は、記憶部４０に接続されるとともに、記憶部４０から出力された動体を連続撮影した複数の静止画像からなる連写画像を縮小して縮小連写画像を作成するようになっている。
マスク作成部４２は、差分計算部４２ａと、絶対値計算部４２ｂと、二値化計算部４２ｃと、ＡＮＤ処理部４２ｄとを備えている。マスク作成部４２は、サイズ縮小部４１に接続されるとともに、サイズ縮小部４１から出力された複数の縮小連写画像から動体領域を抽出して、縮小動体抽出マスク画像を作成するようになっている。
差分計算部４２ａは、サイズ縮小部４１に接続されるとともに、サイズ縮小部４１から出力された縮小連写画像の２枚を比較して輝度の差分処理を行い、差分データを得るようになっている。絶対値計算部４２ｂは、差分計算部４２ａに接続されるとともに、差分計算部４２ａから出力された差分データに対して絶対値を計算し、絶対値データを得るようになっている。
二値化計算部４２ｃは、絶対値計算部４２ｂに接続されるとともに、絶対値計算部４２ｂから出力された絶対値データに対して二値化処理を行い、二値データを得るようになっている。ＡＮＤ処理部４２ｄは、二値化計算部４２ｃに接続されるとともに、二値化計算部４２ｃから出力された二値データに対してＡＮＤ処理を行い、縮小動体抽出マスク画像を得るようになっている。
サイズ復元部４３は、マスク作成部４２に接続されるとともに、マスク作成部４２から出力された縮小動体抽出マスク画像を拡大して、サイズ縮小部４１で縮小する前の連写画像のサイズに復元して動体抽出マスク画像を作成するようになっている。
合成部４４は、サイズ復元部４３および記憶部４０に接続される。合成部４４は、サイズ復元部４３から出力された動体抽出マスク画像を利用して、記憶部４０から出力された対応する連写画像から動体画像を抽出する。そして、合成部４４は、抽出して得られた複数の動体画像を連写画像の１枚に合成し、ストロボアクション画像を作成する。
本実施の形態では、合成部４４は、サイズ復元部４３から出力された動体抽出マスク画像と、記憶部４０から出力された対応する１枚の連写画像と、直前に作成した前ストロボアクション画像とを用いて、現ストロボアクション画像を得るようになっている。すなわち、合成部４４は、動体抽出マスク画像と対応する連写画像とを用いて動体画像を抽出し、得られた動体画像をその直前に作成した前ストロボアクション画像に合成する。複数の連写画像のそれぞれについて動体を抽出して１枚の画像に順次合成することにより、ストロボアクション画像を作成する。
図１に示すように、画像出力手段５は、液晶ディスプレイ装置（Liquid Crystal Display；以下、ＬＣＤという）で構成されている。画像出力手段５は、制御手段３に接続されるとともに、制御手段３により表示が制御されるようになっている。
操作手段６は、スイッチや、レバーや、タッチパネル等により構成されるとともに、ユーザによる操作入力を受けるようになっている。
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図３に示すフローチャートを用いて説明する。この画像処理方法は、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。
サイズ縮小ステップは、動体を連続撮影した複数の静止画像からなる連写画像を縮小して縮小連写画像を作成するものとしている。マスク作成ステップは、複数の縮小連写画像から動体領域を抽出して縮小動体抽出マスク画像を作成するものとしている。サイズ復元ステップは、縮小動体抽出マスク画像を拡大し、サイズ縮小部４１で縮小する前の大きさに復元して動体抽出マスク画像を作成するものとしている。画像合成ステップは、動体抽出マスク画像を利用して連写画像から動体領域を抽出し動体画像を得るとともに、動体画像を連写画像の所定の１枚に合成するものとしている。
まず、撮像手段２が、動体を含む被写体を連続撮影する（図４（ａ）〜図４（ｅ）を参照）。得られた画像は、撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。記憶部４０は、撮像手段２から出力された連写画像を記憶する。一例として、画像記憶部４０は、図４（ａ）〜図４（ｃ）に示す３枚の連写画像（画像ＩＡ、画像ＩＢ、画像ＩＣ）を記憶したものとする。
サイズ縮小部４１は、画像記憶部４０から出力された連写画像を入力し、サイズ縮小ステップの一例として、入力した各画像に縮小処理を行う（ステップＳ２）。縮小処理の方法としては、単純に画素を間引く方法、最隣接補間法、バイリニア補間法等を適宜利用することができる。上述した３枚の連写画像（画像ＩＡ、画像ＩＢ、画像ＩＣ）の例では、サイズ縮小部４１により各画像が縮小されて、３枚の縮小連写画像（画像ｉＡ、画像ｉＢ、画像ｉＣ）を得たものとする。
ここで、画像が縮小されることにより、１画素あたりの表示する被写体の面積が広くなるので、画像が僅かでも縮小されることでノイズや手ぶれによるずれが吸収される効果は認められる。また、画像の縮小の程度が大きいほど、ノイズや手ぶれによるずれが吸収される効果は大きくなるが、画像の縮小の程度が大きすぎるとマスク画像が不適になってしまう。
そこで、画像の縮小の程度は、手ぶれの量や元の画像の画素数に応じて適宜設定することが好ましい。例えば、元の画像が約３６００×２７００ピクセルで、手ぶれ量が通常の範囲である場合は、連写画像の１辺あたり１／８〜１／３２程度に縮小することが好ましく、１／１６程度にすることがより好ましい。ただし、この数値範囲に限られないのは勿論である。
差分計算部４２ａは、サイズ縮小部４１から出力された連写縮小画像の輝度の差分データを得る（ステップＳ３）。例えば、上述した３枚の縮小連写画像（画像ｉＡ、画像ｉＢ、画像ｉＣ）に対しては、画像ｉＡと画像ｉＢの輝度の差分データｄＡＢ、画像ｉＣと画像ｉＢの差分データｄＣＢをそれぞれ計算する。
各画像の輝度から差分データを算出する計算式は、例えば次のようになっている。
ｄＡＢ（ｘ，ｙ）＝ｉＡ（ｘ，ｙ）−ｉＢ（ｘ，ｙ）
ｄＣＢ（ｘ，ｙ）＝ｉＣ（ｘ，ｙ）−ｉＢ（ｘ，ｙ）
（ｘ，ｙ）は縮量連写画像における座標である。
絶対値計算部４２ｂは、差分計算部４２ａから出力された差分データの絶対値を得る（ステップＳ４）。例えば、差分データｄＡＢおよび差分データｄＣＢに対しては、差分データの絶対値データｅＡＢおよび絶対値データｅＣＢをそれぞれ計算する。
各差分データから絶対値を算出する計算式は、例えば次のようになっている。
ｅＡＢ（ｘ，ｙ）＝ |ｄＡＢ（ｘ，ｙ）|
ｅＣＢ（ｘ，ｙ）＝ |ｄＣＢ（ｘ，ｙ）|
二値化計算部４２ｃは、絶対値計算部４２ｂから出力された絶対値データに対して二値化処理を行い、二値データを得る（ステップＳ５）。例えば、絶対値データｅＡＢおよび絶対値データｅＣＢに対して二値化処理を行い、二値データｆＡＢおよび二値データｆＣＢを得る。
ここでの二値化処理は、例えばある閾値Ｔを予め設定し、次の式により実行される。
ｆＡＢ（ｘ，ｙ）＝０（ｅＡＢ（ｘ，ｙ）＜Ｔの場合）
ｆＡＢ（ｘ，ｙ）＝１（ｅＡＢ（ｘ，ｙ）≧Ｔの場合）
ｆＣＢ（ｘ，ｙ）＝０（ｅＣＢ（ｘ，ｙ）＜Ｔの場合）
ｆＣＢ（ｘ，ｙ）＝１（ｅＣＢ（ｘ，ｙ）≧Ｔの場合）
ＡＮＤ処理部４２ｄは、二値化計算部４２ｃから出力された二値データに対してＡＮＤ処理を行い、マスク作成ステップの一例として、縮小動体抽出マスク画像を得る（ステップＳ６）。ＡＮＤ処理は２つの二値データの各座標について論理積を取ることで実行し、縮小動体抽出マスク画像ｇＡＢＣを得る。
ここでのＡＮＤ処理は、例えば二値データｆＡＢと二値データｆＣＢに対して行い、次の式により実行される。
ｇＡＢＣ（ｘ，ｙ）＝１（ｆＡＢ（ｘ，ｙ）、ｆＣＢ（ｘ，ｙ）の両方が１の場合）
ｇＡＢＣ（ｘ，ｙ）＝０（ｆＡＢ（ｘ，ｙ）、ｆＣＢ（ｘ，ｙ）の少なくとも一方が０の場合）
サイズ復元部４３は、サイズ復元ステップの一例として、ＡＮＤ処理部４２ｄから出力された縮小動体抽出マスク画像ｇＡＢＣを連写画像と同じサイズに拡大し、図５（ａ）に示すように動体抽出マスク画像ＧＡＢＣを得る（ステップＳ７）。サイズ復元部４３での拡大手法は、サイズ縮小部４１で述べたような再隣接補間法やバイリニア補間法等を適宜利用できる。
合成部４４は、画像合成ステップの一例として、サイズ復元部４３から出力された動体抽出マスクＧＡＢＣと、記憶部４０から出力された画像ＩＢと、直前に作成された前ストロボ画像Ｓｎ−１とを用いて、現ストロボ画像Ｓｎを得る（ステップＳ８）。
その計算式は以下の通りとなる。
Ｓｎ（ｘ,ｙ）＝Ｓｎ−１（ｘ,ｙ）×（１−ＧABC（ｘ,ｙ））＋ＩＢ（ｘ,ｙ）×ＧABC（ｘ,ｙ）
ここで、合成部４４において合成される記憶部４０から出力された画像ＩＢについては、画像の縮小および拡大を行っていないので、画像ＩＢ自体の劣化がないことは勿論である。また、最初の合成処理で前ストロボ画像Ｓｎ−１が無い場合は、連写画像からストロボアクション画像のベースとなる任意の画像を１枚選択し、前ストロボ画像Ｓｎ−１とする。
そして、ＣＰＵ３０は、合成を行っていない残りの連写画像があるか否かを判断する（ステップＳ９）。残りの連写画像がある場合は（ステップＳ９；ＹＥＳ）、次の連写画像について動体抽出マスク画像を作成して動体画像を得るために、サイズ縮小部４１が次の連写画像に縮小処理を行う（ステップＳ２）。一方、残りの連写画像がない場合は（ステップＳ９；ＮＯ）、処理を終了する。
以上のように、本実施の形態に係る画像処理手段４によれば、マスク作成部４２における処理の前に連写画像ＩＡ〜ＩＣを縮小して縮小連写画像ｉＡ〜ｉＣを得ている。また、マスク作成部４２における処理の後に縮小動体抽出マスク画像ｇＡＢＣを拡大して元のサイズに復元して、動体抽出マスク画像ＧＡＢＣを得ている。
このため、従来のように連写画像のそのままのサイズでマスク画像を作成する場合（図５（ｂ）を参照）に比べて、連写画像をマスク画像の作成前に縮小することでマスク画像におけるノイズが少なくなり（図５（ａ）を参照）、手ぶれによる画像のずれを吸収することができる。これにより、画像処理手段４をコンパクトデジタルスチルカメラ１のような小型の撮像装置に搭載しても、高精度なストロボアクション画像を十分に実用性のある処理時間で得ることができる。
（第２の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段２０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
図６に示すように、本実施の形態の画像処理手段２０４は、記憶部４０と、手ぶれ量検知部２４５と、手ぶれ補正部２４６と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
手ぶれ量検知部２４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部２４５は、画像を用いて手ぶれ量を検知するものであり、手法としては例えばブロックマッチング法を用いるようにしている。
手ぶれ補正部２４６は、連写画像がサイズ縮小部４１において縮小される前に、手ぶれ量検知部２４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正するようになっている。
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図７に示すフローチャートを用いて説明する。この画像処理方法は、手ぶれ補正ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。手ぶれ補正ステップは、サイズ縮小ステップの前に、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像における手ぶれを補正するものとしている。
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部２４５は、手ぶれ補正ステップの一例として、入力した各画像の手ぶれ量を検知する（ステップＳ２０１）。例えば、ブロックマッチング法では、異なる時刻に撮影された２枚の画像間で、同じ対象の対応付けを行い、その移動量として動きベクトルを検出する。
図８（ａ）に示すように、画像２００は、ある時刻ｔ０において撮影された画像である。また、図８（ｂ）に示すように、画像３００は、時刻ｔ０とは異なる時刻ｔ１において撮影された画像である。
ここでは、画像２００中の位置（ｉ，ｊ）の領域２０１の動きベクトルを検出する。領域２０１は、横方向にＭ画素、縦方向にＮ画素の計（Ｍ×Ｎ）画素を含む。この領域２０１をテンプレートとし、画像３００中における領域２０１と同じ位置の領域３０１の近傍領域３１０において、類似度演算を行い、類似度が最も高い位置または相違度が最も低い位置を対応領域とする。
テンプレートの対応領域が、図中の領域３０２の場合には、動きベクトルは、領域３０１の中心から領域３０２の中心へと向かうベクトル３０５となる。これを、動きベクトルＶｉｊとする。
相違度を表す指標は、例えば、ＳＡＤ（Sum of Absolute Difference）を用いることが好ましい。ＳＡＤは、次の数式１により表される。
ここで、ＲはＳＡＤで算出した相違度、Ｉはｘ＝ｙ＝０のときに領域３０１と一致する画像３００の部分領域、Ｔはテンプレート領域２０１である。近傍領域３１０内で、ｘおよびｙを変化させてＳＡＤを算出し、値の最も低いときのｘの値ｘｍｉｎ及びｙの値ｙｍｉｎから対応する領域３０２を決定する。すなわち、Ｖｉｊ＝（ｘｍｉｎ，ｙｍｉｎ）で表される。
次に、手ぶれ補正部２４６は、手ぶれ量検知部２４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正する（ステップＳ２０２）。上述した画像３００について手ぶれ補正を行う場合は、手ぶれ量検知部２４５で検知された手ぶれの量Ｖｉｊ＝（ｘｍｉｎ，ｙｍｉｎ）に対応して、画像３００をＶｉｊだけ逆方向にずらす処理を行う。
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
以上のように、本実施の形態に係る画像処理手段２０４によれば、サイズ縮小部４１における処理の前に連写画像に手ぶれ補正処理を施している。このため、第１の実施形態のようなサイズ縮小部４１およびサイズ復元部４３のみでは吸収できないような大きな手ぶれが生じていても、適正な動体領域を抽出することができる。よって、大きな手ぶれが生じていても、背景領域を誤ってマスクするようなことを抑制することができる。しかも、手ぶれ補正を画像処理により行っているので、撮像装置への負担が小さく、処理時間を短く抑えることができる。
（第３の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段３０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
図９に示すように、本実施の形態の画像処理手段３０４は、記憶部４０と、手ぶれ量検知部３４５と、手ぶれ補正部３４６と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
手ぶれ量検知部３４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部３４５は、撮像装置に備えられた外部センサとしている。外部センサとしては、例えば加速度センサを用いることができる（図９中、加速度センサとして示す）。
手ぶれ補正部３４６は、連写画像がサイズ縮小部４１において縮小される前に、手ぶれ量検知部３４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正するようになっている。
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図１０に示すフローチャートを用いて説明する。この画像処理方法は、手ぶれ補正ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。手ぶれ補正ステップは、サイズ縮小ステップの前に、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像における手ぶれを補正するものとしている。
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部３４５は、手ぶれ補正ステップの一例として、入力した各画像の手ぶれ量を検知する（ステップＳ３０１）。
例えば、図１１に示すように、画像３５０は、ある時刻ｔ０において撮影された画像である。また、画像３６０は、時刻ｔ０とは異なる時刻ｔ１において撮影された画像である。加速度センサにより、時刻ｔ０と時刻ｔ１との間での被写体に対するデジタルカメラ１の横方向の移動量Δｘと縦方向の移動量Δｙとが検出される。
次に、手ぶれ補正部３４６は、手ぶれ量検知部３４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正する（ステップＳ３０２）。上述した画像３１０について手ぶれ補正を行う場合は、手ぶれ量検知部３４５で検知された手ぶれの量（Δｘ，Δｙ）に対応して、画像３１０をその分だけ逆方向にずらす処理を行う。
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
以上のように、本実施の形態に係る画像処理手段３０４によれば、手ぶれ量検知部３４５が加速度センサであるので、デジタルカメラ１の実際のぶれ量を高精度に検出することができる。
（第４の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段４０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
図１２に示すように、本実施の形態の画像処理手段４０４は、記憶部４０と、縮小部４４５と、手ぶれ量検知部４４６と、手ぶれ補正部４４７と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
縮小部４４５は、連写画像が手ぶれ補正される前に手ぶれ量検知用の画像を縮小するようになっている。手ぶれ量検知部４４６は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部４４７は、画像を用いて手ぶれ量を検知するものであり、手法としては例えばブロックマッチング法を用いるようにしている。
手ぶれ補正部４４７は、連写画像がサイズ縮小部４１において縮小される前に、手ぶれ量検知部４４６で検知された手ぶれの量に応じて連写画像における手ぶれを補正するようになっている。
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図１３に示すフローチャートを用いて説明する。この画像処理方法は、手ぶれ補正ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。手ぶれ補正ステップは、サイズ縮小ステップの前に、連写画像を縮小して、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像における手ぶれを補正するものとしている。
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、縮小部４４５は、手ぶれ補正ステップの一例として、連写画像を手ぶれ量検知用画像として縮小する（ステップＳ４０１）。手ぶれ量検知部４４６は、入力した各縮小画像の手ぶれ量を検知する（ステップＳ４０２）。次に、手ぶれ補正部４４７は、手ぶれ量検知部４４６で検知された手ぶれの量に応じて連写画像における手ぶれを補正する（ステップＳ４０３）。
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
以上のように、本実施の形態に係る画像処理手段４０４によれば、手ぶれ量検知部４４６において手ぶれ量を検知する前に、縮小部４４５が検知用の画像を縮小している。このため、例えばブロックマッチングにおける探索範囲やテンプレートのサイズを小さくすることができるので、演算回数を少なくでき、画像の縮小を行わない場合に比べて処理時間の短縮化や処理コストの低減を図ることができる。
（第５の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段５０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
図１４に示すように、本実施の形態の画像処理手段５０４は、記憶部４０と、手ぶれ量検知部５４５と、縮小率決定部５４６と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
手ぶれ量検知部５４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部５４５は、撮像装置に備えられた外部センサとしている。外部センサとしては、例えば加速度センサを用いることができる（図１４中、加速度センサとして示す）。
縮小率決定部５４６は、連写画像がサイズ縮小部４１において縮小される前に、サイズ縮小部４１で連写画像を縮小する縮小率を手ぶれ量検知部５４５で検知された手ぶれの量に応じて決定するようになっている。
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図１５に示すフローチャートを用いて説明する。この画像処理方法は、縮小率決定ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。縮小率決定ステップは、サイズ縮小ステップの前に、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像を縮小する縮小率を決定するものとしている。
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部５４５は、縮小率決定ステップの一例として、入力した各縮小画像の手ぶれ量を検知する（ステップＳ５０１）。次に、縮小率決定部５４６は、手ぶれ量検知部５４５で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定する（ステップＳ５０２）。
ここで、例えば、サイズ縮小部４１における初期設定の縮小率を１／Ｍ０（例えば１／１６等）とし、縮小により吸収できる手ぶれ量はＭ０／ｋ画素とする。ここで、ｋの値は、使用するデジタルカメラ１により適宜設定することができる。
これに対し、初期設定で想定された手ぶれ量を超える手ぶれが発生した場合は、サイズ縮小部４１で用いる縮小率Ｍ１を初期設定の縮小率Ｍ０に対して変更する。縮小率の変更は、例えば次式により行われる。
Ｍ１＝α・Ｍ０
αは手ぶれ量検知部５４５により検知された手ぶれの画素数により適宜変更される係数である。例えば、手ぶれ量検知部５４５により検知された手ぶれの画素数がＭ０／ｋ画素と同じである場合は、α＝１とする。また、手ぶれ量検知部５４５により検知された手ぶれの画素数がＭ０画素である場合は、α＝ｋとする。そして、得られた修正後の縮小率Ｍ１を用いて、サイズ縮小部４１で連写画像を縮小する。
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
以上のように、本実施の形態に係る画像処理手段５０４によれば、縮小率決定部５４６が、手ぶれ量検知部５４５で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定している。このため、初期設定での縮小率で想定していた手ぶれよりも大きな手ぶれが生じた場合でも、適正な動体領域を抽出することができる。よって、大きな手ぶれが生じていても、背景領域を誤ってマスクするようなことを抑制することができる。
また、本実施の形態では、手ぶれ量検知部５４５により検知された手ぶれの画素数に応じてαを適宜設定して、Ｍ１＝α・Ｍ０式を用いて都度計算している。しかしながら、これに限定されるものではなく、例えば、縮小率決定部５４６に予めルックアップテーブルを記憶しておき、手ぶれ量検知部５４５により検知された手ぶれの画素数に応じてルックアップテーブルを参照して縮小率を出力するようにしてもよい。
（第６の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段６０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
図１６に示すように、本実施の形態の画像処理手段６０４は、記憶部４０と、手ぶれ量検知部６４５と、縮小率決定部６４６と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
手ぶれ量検知部６４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部６４５は、画像を用いて手ぶれ量を検知するものである。手ぶれ量検知のための手法としては、例えば画像間の差分を算出するようにしている。
縮小率決定部６４６は、連写画像がサイズ縮小部４１において縮小される前に、サイズ縮小部４１で連写画像を縮小する縮小率を、手ぶれ量検知部６４５で検知された手ぶれの量、すなわち差分量に応じて決定するようになっている。
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図１７に示すフローチャートを用いて説明する。この画像処理方法は、縮小率決定ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。縮小率決定ステップは、サイズ縮小ステップの前に、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像を縮小する縮小率を決定するものとしている。
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部６４５は、縮小率決定ステップの一例として、入力した各縮小画像の手ぶれ量を検知する（ステップＳ６０１）。次に、縮小率決定部６４６は、手ぶれ量検知部６４５で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定する（ステップＳ６０２）。
例えば、図１８（ａ）に示すように、手ぶれ量検知部６４５は、画像６００の四隅よりやや内側に入った部位６０１の４箇所において差分の検出を行っている。そして、４箇所の差分から１画素当たりの差分量を算出する。さらに、縮小率決定部６４６は、手ぶれ量検知部６４５で得られた差分量に応じて、縮小率を決定する。例えば、手ぶれ量検知部６４５で得られた差分量が想定よりも大きい場合は、画像がより小さくなるように縮小する。
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
以上のように、本実施の形態に係る画像処理手段６０４によれば、手ぶれ量検知部６４５は画像６００の四隅よりやや内側に入った部位６０１の４箇所で差分の検出を行っているので、動体が存在する可能性高い画像中央部を避けて手ぶれ量を検知することができる。このため、手ぶれ量を算出する際に動体の影響を受けにくく、高精度に手ぶれ量を検出することができる。よって、大きな手ぶれが生じていても、背景領域を誤ってマスクするようなことを抑制することができる。
また、本実施の形態では、手ぶれ量検知部６４５は画像６００の四隅よりやや内側に入った部位６０１の４箇所で差分の検出を行っている。しかしながら、これに限定されるものではなく、例えば、図１８（ｂ）に示すように、画像６１０の四隅６１１の４箇所で差分の検出を行うようにしてもよい。あるいは、図１８（ｃ）に示すように、画像６２０の周縁部６２１で差分の検出を行うようにしてもよく、さらには画像の全体で差分の検出を行うようにしてもよい。
（第７の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段７０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
図１９に示すように、本実施の形態の画像処理手段７０４は、記憶部４０と、縮小部７４５と、手ぶれ量検知部７４６と、縮小率決定部７４７と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
縮小部７４５は、連写画像の手ぶれ量が検知される前に手ぶれ量検知用の画像を縮小するようになっている。手ぶれ量検知部７４６は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部７４６は、画像を用いて手ぶれ量を検知するものである。手ぶれ量検知のための手法としては、例えば画像間の差分を算出するようにしている。
縮小率決定部７４７は、連写画像がサイズ縮小部４１において縮小される前に、サイズ縮小部４１で連写画像を縮小する縮小率を、手ぶれ量検知部７４６で検知された手ぶれの量、すなわち差分量に応じて決定するようになっている。
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図２０に示すフローチャートを用いて説明する。この画像処理方法は、縮小率決定ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。縮小率決定ステップは、サイズ縮小ステップの前に、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像を縮小する縮小率を決定するものとしている。
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、縮小部７４５は、縮小率決定ステップの一例として、連写画像を手ぶれ量検知用画像として縮小する（ステップＳ７０１）。手ぶれ量検知部７４６は、入力した各縮小画像の手ぶれ量を検知する（ステップＳ７０２）。次に、縮小率決定部７４７は、手ぶれ量検知部７４６で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定する（ステップＳ７０３）。
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
以上のように、本実施の形態に係る画像処理手段７０４によれば、手ぶれ量検知部７４６において手ぶれ量を検知する前に、縮小部７４５が検知用の画像を縮小している。このため、例えばブロックマッチングにおける探索範囲やテンプレートのサイズを小さくすることができるので、演算回数を少なくでき、画像の縮小を行わない場合に比べて処理時間の短縮化や処理コストの低減を図ることができる。
（第８の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段８０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
図２１に示すように、本実施の形態の画像処理手段８０４は、記憶部４０と、手ぶれ量検知部８４５と、手ぶれ補正部８４６と、縮小率決定部８４７と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
手ぶれ量検知部８４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部８４５は、撮像装置に備えられた外部センサとしている。外部センサとしては、例えば加速度センサを用いることができる（図２１中、加速度センサとして示す）。
手ぶれ補正部８４６は、連写画像がサイズ縮小部４１において縮小される前に、手ぶれ量検知部８４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正するようになっている。
縮小率決定部８４７は、連写画像がサイズ縮小部４１において縮小される前に、サイズ縮小部４１で連写画像を縮小する縮小率を、手ぶれ量検知部８４５で検知された手ぶれの量に応じて決定するようになっている。
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図２２に示すフローチャートを用いて説明する。この画像処理方法は、手ぶれ補正ステップと、縮小率決定ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。
手ぶれ補正ステップは、サイズ縮小ステップの前に、連写画像を縮小して、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像における手ぶれを補正するものとしている。縮小率決定ステップは、サイズ縮小ステップの前に、手ぶれ補正ステップで検知された連写画像の手ぶれの量に応じて、連写画像を縮小する縮小率を決定するものとしている。
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部８４５は、手ぶれ補正ステップの一例として、入力した各画像の手ぶれ量を検知する（ステップＳ８０１）。次に、手ぶれ補正部８４６は、手ぶれ量検知部８４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正する（ステップＳ８０２）。さらに、次に、縮小率決定部８４７は、縮小率決定ステップの一例として、手ぶれ量検知部８４５で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定する（ステップＳ８０３）。
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
以上のように、本実施の形態に係る画像処理手段８０４によれば、サイズ縮小部４１における処理の前に、手ぶれ補正処理と縮小率の決定を行っている。よって、大きな手ぶれが生じていても、背景領域を誤ってマスクするようなことをより確実に抑制することができる。
（第９の実施の形態）
本実施の形態は、上述の第１の実施の形態と略同様の全体構成を有している。本実施の形態に係るデジタルカメラ１においては、画像処理手段９０４の構成が異なっているが、他の構成は同様に構成されている。したがって、同一の構成については、図１〜図３に示した第１の実施の形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。
図２３に示すように、本実施の形態の画像処理手段９０４は、記憶部４０と、手ぶれ量検知部９４５と、手ぶれ補正部９４６と、縮小率決定部９４７と、サイズ縮小部４１と、マスク作成部４２と、サイズ復元部４３と、合成部４４とを備えている。
手ぶれ量検知部９４５は、連写画像がサイズ縮小部４１において縮小される前に、連写画像の手ぶれの量を検知するようになっている。手ぶれ量検知部９４５は、画像を用いて手ぶれ量を検知するものであり、手法としては、例えば、第２の実施の形態と同様のブロックマッチング法を用いるようにしている。
手ぶれ補正部９４６は、連写画像がサイズ縮小部４１において縮小される前に、手ぶれ量検知部９４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正するようになっている。
縮小率決定部９４７は、連写画像がサイズ縮小部４１において縮小される前に、サイズ縮小部４１で連写画像を縮小する縮小率を、手ぶれ量検知部９４５で検知された手ぶれの量に応じて決定するようになっている。
次に、本実施の形態のデジタルカメラ１における画像処理方法の流れを、図２４に示すフローチャートを用いて説明する。この画像処理方法は、手ぶれ補正ステップと、縮小率決定ステップと、サイズ縮小ステップと、マスク作成ステップと、サイズ復元ステップと、画像合成ステップとを備えている。
手ぶれ補正ステップは、サイズ縮小ステップの前に、連写画像を縮小して、連写画像の手ぶれの量を検知するとともに、手ぶれの量に応じて連写画像における手ぶれを補正するものとしている。縮小率決定ステップは、サイズ縮小ステップの前に、手ぶれ補正ステップで検知された連写画像の手ぶれの量に応じて、連写画像を縮小する縮小率を決定するものとしている。
まず、連写画像が撮像手段２から画像処理手段４に連続して入力される（ステップＳ１）。そして、手ぶれ量検知部９４５は、手ぶれ補正ステップの一例として、入力した各画像の手ぶれ量を検知する（ステップＳ９０１）。次に、手ぶれ補正部９４６は、手ぶれ量検知部９４５で検知された手ぶれの量に応じて連写画像における手ぶれを補正する（ステップＳ９０２）。さらに、次に、縮小率決定部９４７は、縮小率決定ステップの一例として、手ぶれ量検知部９４５で検知された手ぶれの量に応じて、サイズ縮小部４１で連写画像を縮小する縮小率を決定する（ステップＳ９０３）。
以降の動作は第１の実施形態のステップＳ２以降と同様であるので説明を省略する。
以上のように、本実施の形態に係る画像処理手段９０４によれば、サイズ縮小部４１における処理の前に、手ぶれ補正処理と縮小率の決定を行っている。よって、大きな手ぶれが生じていても、背景領域を誤ってマスクするようなことをより確実に抑制することができる。
また、上述した各実施の形態では、手ぶれ量検知部２４５，３４５，４４６，５４５，６４５，７４６，８４５，９４５の手法として、ブロックマッチングや差分の画像処理を利用するもの、あるいは加速度センサを利用するものとした。しかしながら、これに限定されるものではなく、他の方法を利用するものであってもよい。
上述した第１の実施の形態に係るデジタルカメラ１を利用してストロボアクション画像を作成した。本実施例では、デジタルカメラ１により、移動する自動車のおもちゃを５コマ／秒で撮影した。連続撮影で得られた画像を図４（ａ）〜図４（ｅ）に画像ＩＡ〜画像ＩＥで示す。
（実施例１）
図３に示すフローチャートに沿って、画像ＩＡ〜画像ＩＣを用いて画像ＩＢにおける動体抽出マスク画像ＧＡＢＣを得た。その結果を図５（ａ）に示す。同図に示すように、動体抽出マスク画像ＧＡＢＣは、輪郭が自動車おもちゃの輪郭にほぼ一致するとともに、ノイズが少なく鮮明なマスク画像となった。
また、得られた動体抽出マスク画像ＧＡＢＣ等を利用して、ストロボアクション画像ＩＳを作成した。その結果を図４（ｆ）に示す。同図に示すように、自動車おもちゃの周囲の背景に自動車おもちゃとの重なりは見られず、背景は静止するとともに動体のみが移動して見えるストロボアクション画像ＩＳを得ることができた。
（比較例１）
図３に示すフローチャートに対して、縮小画像を作成する工程（ステップＳ２）および拡大処理により動体抽出マスクを作成する工程（ステップＳ７）のみを省略した処理により、動体抽出マスクＨＡＢＣを作成した。その結果を図５（ｂ）に示す。同図に示すように、動体抽出マスクＨＡＢＣは、全体的にノイズが多く、輪郭も乱れたマスク画像となった。
したがって、マスク画像を作成する前に画像を縮小するとともに、マスク画像の作成後に元の大きさに復元する処理を行うことにより、輪郭が動体の輪郭にほぼ一致するとともに、ノイズが少なく鮮明なマスク画像を得られることが確認された。
１ コンパクトデジタルスチルカメラ（撮像装置の一例）
２ 撮像手段
３ 制御手段
４，２０４，３０４，４０４，５０４，６０４，７０４，８０４，９０４ 画像処理手段（画像処理装置の一例）
４１ サイズ縮小部
４２ マスク作成部
４３ サイズ復元部
４４ 合成部
２４５，３４５，４４６，５４５，６４５，７４６，８４５，９４５ 手ぶれ量検知部
２４６，３４６，４４７，８４６，９４６ 手ぶれ補正部
５４６，６４６，７４７，８４７，９４７ 縮小率決定部
４４５，７４５ 縮小部
特許第３７９３２５８号公報

Claims (9)

  1. 動体を連続撮影した複数の静止画像からなる連写画像を縮小して縮小連写画像を作成するサイズ縮小部と、
    複数の前記縮小連写画像から動体領域を抽出して縮小動体抽出マスク画像を作成するマスク作成部と、
    前記縮小動体抽出マスク画像を拡大し、前記サイズ縮小部で縮小する前の大きさに復元して動体抽出マスク画像を作成するサイズ復元部と、
    前記動体抽出マスク画像を利用して前記連写画像から前記動体領域を抽出し動体画像を得るとともに、前記動体画像を前記連写画像の所定の１枚に合成する合成部と、
    前記連写画像が前記サイズ縮小部において縮小される前に、前記連写画像の手ぶれの量を検知する手ぶれ量検知部と、
    前記連写画像が前記サイズ縮小部において縮小される前に、前記サイズ縮小部で前記連写画像を縮小する縮小率を前記手ぶれの量に応じて決定する縮小率決定部と、
    を備えることを特徴とする画像処理装置。
  2. 前記連写画像が前記サイズ縮小部において縮小される前に、前記手ぶれの量に応じて前記連写画像における手ぶれを補正する手ぶれ補正部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  3. 前記手ぶれ量検知部は、前記連写画像同士の差分により前記連写画像の手ぶれの量を検知することを特徴とする請求項１に記載の画像処理装置。
  4. 前記差分は、前記連写画像の四隅同士の差分であることを特徴とする請求項３に記載の画像処理装置。
  5. 前記手ぶれ量検知部は、前記連写画像に対するブロックマッチングにより前記連写画像の手ぶれの量を検知することを特徴とする請求項１又は２に記載の画像処理装置。
  6. 前記手ぶれ量検知部は、手ぶれの量を検知する加速度センサであることを特徴とする請求項１又は２に記載の画像処理装置。
  7. 前記手ぶれ量検知部が前記連写画像の手ぶれの量を検知する前に、前記連写画像を縮小する縮小部を備えることを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
  8. 動体を連続撮影して複数の静止画像からなる連写画像を生成する撮像手段と、前記連写画像を入力して画像処理する画像処理手段とを備える撮像装置において、
    前記画像処理手段は、請求項１〜７のいずれかに記載の画像処理装置であることを特徴とする撮像装置。
  9. 動体を連続撮影した複数の静止画像からなる連写画像を縮小して縮小連写画像を作成するサイズ縮小ステップと、
    複数の前記縮小連写画像から動体領域を抽出して縮小動体抽出マスク画像を作成するマスク作成ステップと、
    前記縮小動体抽出マスク画像を拡大し、前記サイズ縮小ステップで縮小する前の大きさに復元して動体抽出マスク画像を作成するサイズ復元ステップと、
    前記動体抽出マスク画像を利用して前記連写画像から前記動体領域を抽出し動体画像を得るとともに、前記動体画像を前記連写画像の所定の１枚に合成する画像合成ステップと、
    前記連写画像が前記サイズ縮小ステップにおいて縮小される前に、前記連写画像の手ぶれの量を検知する手ぶれ量検知ステップと、
    前記連写画像が前記サイズ縮小ステップにおいて縮小される前に、前記サイズ縮小ステップで前記連写画像を縮小する縮小率を前記手ぶれの量に応じて決定する縮小率決定ステップと、
    を備えることを特徴とする画像処理方法。
JP2011200874A 2011-09-14 2011-09-14 画像処理装置および撮像装置、ならびに画像処理方法 Expired - Fee Related JP5803467B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011200874A JP5803467B2 (ja) 2011-09-14 2011-09-14 画像処理装置および撮像装置、ならびに画像処理方法
US13/605,932 US9129401B2 (en) 2011-09-14 2012-09-06 Image processing apparatus, imaging apparatus, and image processing method, configured to process reduced-size images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011200874A JP5803467B2 (ja) 2011-09-14 2011-09-14 画像処理装置および撮像装置、ならびに画像処理方法

Publications (2)

Publication Number Publication Date
JP2013062741A JP2013062741A (ja) 2013-04-04
JP5803467B2 true JP5803467B2 (ja) 2015-11-04

Family

ID=47829540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011200874A Expired - Fee Related JP5803467B2 (ja) 2011-09-14 2011-09-14 画像処理装置および撮像装置、ならびに画像処理方法

Country Status (2)

Country Link
US (1) US9129401B2 (ja)
JP (1) JP5803467B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102031284B1 (ko) * 2013-03-14 2019-11-08 삼성전자주식회사 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
JP5833794B2 (ja) * 2013-03-27 2015-12-16 富士フイルム株式会社 撮像装置
JP2014215604A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 画像処理装置および画像処理方法
US9571720B2 (en) * 2013-12-10 2017-02-14 Olympus Corporation Image processing device, display device, imaging apparatus, image processing method, and program
US20150319375A1 (en) * 2014-04-30 2015-11-05 Sony Corporation Apparatus and method for creating real-time motion (stroboscopic) video from a streaming video
CN105100579B (zh) * 2014-05-09 2018-12-07 华为技术有限公司 一种图像数据的采集处理方法及相关装置
CN104243819B (zh) * 2014-08-29 2018-02-23 小米科技有限责任公司 照片获取方法及装置
CN105049695A (zh) * 2015-07-07 2015-11-11 广东欧珀移动通信有限公司 一种视频录制方法及装置
JP6739374B2 (ja) * 2017-03-01 2020-08-12 株式会社日立製作所 画像処理装置、画像処理方法及び画像処理プログラム
JP7157526B2 (ja) * 2017-12-07 2022-10-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP7009252B2 (ja) 2018-02-20 2022-01-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11625574B2 (en) * 2019-10-28 2023-04-11 MakinaRocks Co., Ltd. Method for generating abnormal data
JP7059239B2 (ja) * 2019-11-15 2022-04-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3793258B2 (ja) 1995-10-03 2006-07-05 日本放送協会 動画像処理装置および方法
JP2000078590A (ja) * 1998-08-28 2000-03-14 Sony Corp 符号化装置および方法、並びに提供媒体
JP3782368B2 (ja) * 2002-03-29 2006-06-07 株式会社東芝 物体画像切り出し方法及びプログラム並びに物体画像切り出し装置
JP4068485B2 (ja) * 2002-09-30 2008-03-26 株式会社東芝 画像合成方法、画像合成装置、画像合成プログラム
JP4307910B2 (ja) * 2003-03-07 2009-08-05 富士フイルム株式会社 動画像切り出し装置および方法並びにプログラム
US20080094481A1 (en) * 2006-10-19 2008-04-24 Barinder Singh Rai Intelligent Multiple Exposure
JP4821642B2 (ja) * 2007-02-15 2011-11-24 株式会社ニコン 画像処理方法、画像処理装置、ディジタルカメラ及び画像処理プログラム
WO2008149925A1 (ja) * 2007-06-08 2008-12-11 Nikon Corporation 撮像装置、画像表示装置、プログラム
JP5219474B2 (ja) * 2007-11-29 2013-06-26 キヤノン株式会社 撮像装置及びその制御方法
JP4513869B2 (ja) * 2008-02-13 2010-07-28 カシオ計算機株式会社 撮像装置、ストロボ画像生成方法、および、プログラム
US8103134B2 (en) * 2008-02-20 2012-01-24 Samsung Electronics Co., Ltd. Method and a handheld device for capturing motion
JP4960907B2 (ja) * 2008-03-11 2012-06-27 富士フイルム株式会社 撮影装置および撮影方法
JP4492724B2 (ja) * 2008-03-25 2010-06-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2010034706A (ja) * 2008-07-25 2010-02-12 Panasonic Electric Works Co Ltd 録画表示装置
JP4735742B2 (ja) * 2008-12-18 2011-07-27 カシオ計算機株式会社 撮像装置、ストロボ画像生成方法、および、プログラム
JP5321070B2 (ja) * 2009-01-08 2013-10-23 カシオ計算機株式会社 撮影装置、撮影方法及びプログラム
US8659680B2 (en) * 2009-07-31 2014-02-25 Casio Computer Co., Ltd. Imaging apparatus, image recording method, and recording medium
JP5683851B2 (ja) * 2009-08-20 2015-03-11 株式会社ザクティ 撮像装置及び画像処理装置
JP5449980B2 (ja) * 2009-10-28 2014-03-19 京セラ株式会社 動き補正装置およびその方法
JP5786110B2 (ja) * 2009-12-11 2015-09-30 ライカ バイオシステムズ イメージング インコーポレイテッドＡｐｅｒｉｏ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｉｎｃ． デジタル病理画像分析における信号対雑音比の改善
JP2012073997A (ja) 2010-09-01 2012-04-12 Ricoh Co Ltd 物体追尾装置、物体追尾方法およびそのプログラム
JP2012099876A (ja) * 2010-10-29 2012-05-24 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像処理方法、プログラム
TW201228376A (en) * 2010-12-28 2012-07-01 Altek Corp Electronic apparatus, image capturing apparatus and method thereof
US9210468B2 (en) * 2011-03-22 2015-12-08 Sony Corporation System and method for effectively implementing a stroboscopic visual effect
US20120243802A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence
US8736704B2 (en) * 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
US8736716B2 (en) * 2011-04-06 2014-05-27 Apple Inc. Digital camera having variable duration burst mode

Also Published As

Publication number Publication date
US20130063625A1 (en) 2013-03-14
JP2013062741A (ja) 2013-04-04
US9129401B2 (en) 2015-09-08

Similar Documents

Publication Publication Date Title
JP5803467B2 (ja) 画像処理装置および撮像装置、ならびに画像処理方法
KR101396743B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
EP2330812B1 (en) Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium
KR101624450B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP4861109B2 (ja) 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置
US10359498B2 (en) Image pickup apparatus having function of generating simulation image,control method therefor, and storage medium
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
JP2009147727A (ja) 撮像装置及び画像再生装置
US8965105B2 (en) Image processing device and method
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP2009017223A (ja) 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
JP5581728B2 (ja) 画像処理装置及び方法、並びにプログラム
JP2010193476A (ja) 撮像装置及び画像再生装置
KR20130098675A (ko) 얼굴 검출 처리 회로 및 이를 포함하는 촬상 장치
JP6455354B2 (ja) 動画撮影装置、動画撮影方法及びプログラム
JPWO2011129036A1 (ja) 撮像装置および集積回路
JP2009027437A (ja) 画像処理装置，画像処理方法及び撮像装置
JP2014138378A (ja) 撮像装置、その制御方法、および制御プログラム
JP2014153517A (ja) 画像処理装置および画像処理方法、プログラム並びに記憶媒体
JP2018174461A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017220834A (ja) 撮像装置、撮像方法およびプログラム
JP5131376B2 (ja) 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置
JP2007019743A (ja) 像ブレ検出装置及び電子カメラ
JP2023125905A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R151 Written notification of patent or utility model registration

Ref document number: 5803467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees