JP4748230B2 - 撮像装置、撮像方法及び撮像プログラム - Google Patents

撮像装置、撮像方法及び撮像プログラム Download PDF

Info

Publication number
JP4748230B2
JP4748230B2 JP2009033913A JP2009033913A JP4748230B2 JP 4748230 B2 JP4748230 B2 JP 4748230B2 JP 2009033913 A JP2009033913 A JP 2009033913A JP 2009033913 A JP2009033913 A JP 2009033913A JP 4748230 B2 JP4748230 B2 JP 4748230B2
Authority
JP
Japan
Prior art keywords
image
camera shake
determination
images
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009033913A
Other languages
English (en)
Other versions
JP2010193058A (ja
JP2010193058A5 (ja
Inventor
和久 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009033913A priority Critical patent/JP4748230B2/ja
Priority to EP10151652.4A priority patent/EP2219366B1/en
Priority to TW099104264A priority patent/TWI420901B/zh
Priority to CN2010101716218A priority patent/CN101895679B/zh
Priority to US12/706,174 priority patent/US8310553B2/en
Priority to KR1020100014065A priority patent/KR101109532B1/ko
Publication of JP2010193058A publication Critical patent/JP2010193058A/ja
Publication of JP2010193058A5 publication Critical patent/JP2010193058A5/ja
Priority to HK11100593.8A priority patent/HK1146436A1/xx
Application granted granted Critical
Publication of JP4748230B2 publication Critical patent/JP4748230B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Description

本発明は、例えばデジタルカメラ等の撮像装置に係り、被写体を撮影して静止画で記録する撮像装置、撮像方法及び撮像プログラムに関するものである。
従来より、デジタルカメラの手ブレを補正する方法として、連続する複数枚の画像を撮影し各画像の対応する画素同士を加算する電子式手振れ補正が知られている。例えば、全画素６０フレーム／秒で連写した数枚の画像を加算処理するマルチプレーン加算方式を採用すると、一枚の画像よりも数倍Ｓ／Ｎ比の良い画像を得ることができる。
かかるマルチプレーン加算方式による電子式手振れ補正に関しては、ブレ補正を行う必要がある条件下で撮影を行った場合には有効なブレ補正となる反面、ブレ補正を行う必要がない条件下で撮影を行った場合もブレ補正が行われるために無用な画質低下を招くという課題があった。この課題を解決するためブレ補正を行う必要がある条件を満たしている場合にのみブレ補正を行うための処理をする方式がある（特許文献１参照）。
特開２００８−９２００５号公報（明細書［００３２］）
しかしながら、マルチプレーン加算処理をするか否かは、例えば、撮影する環境が少し暗めであるかなど、手ブレしやすい環境にあるか否かを撮影前（シャッターボタンの半押し時等）にデジタルカメラが判断して決定しているところ、決定時の状況と実際に撮影される時の状況は必ずしも一致せず、期待した手ブレ補正の結果が得られない場合があった。
本発明は、かかる従来の課題に鑑みてなされたものであり、速やかに状況が変化する場合であっても、手ブレの無い高画質な画像を得ることを目的とする。
前記課題を解決するため請求項１記載の発明に係る撮像装置にあっては、撮影指示に応答して直ちに、第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と、前記第１の露光時間とは異なる第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを、予め決められている規定枚数分だけ取得する撮像手段と、前記撮像手段による第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定手段と、前記撮像手段による第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定手段と、前記手ブレ判定手段による判定結果及び前記像ブレ判定手段による判定結果に応じて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択手段と、を備えたことを特徴とする。
また、請求項２記載の発明に係る撮像装置にあっては、前記選択手段は、前記像ブレ判定手段によって像ブレが生じていないと判定され、前記手ブレ判定手段によって手ブレが生じていると判定された場合に、前記第２の画像群から得られる画像を選択することを特徴とする。
また、請求項３記載の発明に係る撮像装置にあっては、前記第２の画像群の画像を合成して新たな画像を生成する画像処理手段を備え、前記第２の画像群から得られる画像は、前記新たな画像であることを特徴とする。
また、請求項４記載の発明に係る撮像装置にあっては、前記選択手段は、前記像ブレ判定手段によって像ブレが生じていないと判定され、前記手ブレ判定手段によって手ブレが生じていないと判定された場合に、前記第１の画像群から得られる画像を選択することを特徴とする。
また、請求項５記載の発明に係る撮像装置にあっては、前記第１の画像群のうち時間的に隣接する画像間において射影変換行列を求めて、射影変換行列から動きベクトルの大きさを算出する算出手段を備え、前記像ブレ判定手段は、前記算出手段によって算出された各画像の動きベクトルの大きさが最小の画像について、像ブレが生じたか否かを判定することを特徴とする。
また、請求項６記載の発明に係る撮像装置にあっては、前記手ブレ判定手段は、前記動きベクトルの大きさが最小の画像について、動きベクトルの大きさが所定の閾値を超えたか否かによって、手ブレが生じたか否かを判定することを特徴とする。
また、請求項７記載の発明に係る撮像装置にあっては、前記撮像手段は、第１の画像群を撮影したときの感度及び第２の画像群を撮影したときの感度の何れよりも高い感度で被写体を撮影した第３の画像を取得し、前記選択手段は、前記第１の画像群から得られる画像、前記第２の画像群から得られる画像、前記第３の画像のいずれかを選択するものであって、前記像ブレ判定手段によって像ブレが生じていると判定された場合に、前記第３の画像を選択することを特徴とする。
また、請求項８記載の撮像方法にあっては、撮影指示に応答して直ちに、第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と、前記第１の露光時間とは異なる第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを、予め決められている規定枚数分だけ取得する取得工程と、第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定工程と、前記手ブレ判定工程及び前記像ブレ判定工程のそれぞれの判定結果に基づいて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択工程と、を有することを特徴とする。
また、請求項９記載の撮像プログラムにあっては、撮像装置が有するコンピュータに、撮影指示に応答して直ちに、第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と、前記第１の露光時間とは異なる第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを、予め決められている規定枚数分だけ取得する取得工程と、第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定工程と、前記手ブレ判定工程の判定結果と前記像ブレ判定工程の判定結果とに応じて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択工程と、を実行させることを特徴とする。
また、請求項１０記載の撮像装置にあっては、前記第２の露光時間は、前記第１の露光時間よりも短い時間であることを特徴とする。
また、請求項１１記載の撮像装置にあっては、撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する撮像手段と、前記撮像手段により取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定手段と、前記判定手段による判定結果に応じて、前記複数枚の画像の中から１枚の画像を抽出する抽出手段と、を備えたことを特徴とする。
また、請求項１２記載の撮像方法にあっては、撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する取得工程と、取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定工程と、前記判定工程の判定結果に応じて、前記複数枚の画像の中から１枚の画像を抽出する抽出工程と、を有することを特徴とする。
さらに、請求項１３記載の撮像プログラムにあっては、撮像装置が有するコンピュータに、撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する取得工程と、取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定工程と、前記判定工程の判定結果に応じて、前記複数枚の画像の中から１枚の画像を抽出する抽出工程と、を実行させることを特徴とする。
本発明によれば、画像取得後に撮影された画像自体を解析して手ブレや像ブレが生じているか否かを判断しているので、撮影前に手ブレや像ブレの補正が必要か否かを判断するような時間的乖離による状況誤認がない。
本発明の一実施の形態の撮像装置であるデジタルカメラの電気的構成を示したブロック図である。 記録モードが設定されているときのＣＰＵコアの処理手順を示すフローチャートである。 （ａ）は基準画像に設定するウインドウを示す図、（ｂ）はウインドウ内を区分したブロックを示す図である。 各フレームの射影変換行列と動きベクトルの算出を説明するための図である。 平行移動成分を表す動きベクトルの大きさの算出の詳細を説明するための図である。 出力する画像を選択する処理を説明するための図である。 マルチプレーン加算合成を説明するための図である。
３ ＣＭＯＳ撮像素子
５ ＤＲＡＭ
８ 液晶表示画面
７ａ ＣＰＵ
７ｂ シャッタ制御部
７ｃ 受光制御部
７ｄ デモザイク部
７ｅ 特徴量演算部
７ｆ ＳＲＡＭ
７ｇ ブロックマッチング部
７ｈ 画像変形合成加算部
１１ 外部記憶媒体
図１は、本発明の一実施の形態の撮像装置であるデジタルカメラの電気的構成を示したブロック図である。このデジタルカメラは、基本となる動作モードとして撮影を行うための記録モードと、撮影した画像を再生するための再生モードと、を有する。
図１に示すように本実施の形態のデジタルカメラは、撮影レンズ１と、撮影レンズ１により収束された撮影光をシャッタ２を介して受光するとともに、受光面に結像された被写体の光学像を光電変換し画像信号として出力する撮像素子であるＣＭＯＳ撮像素子３、ＣＭＯＳ撮像素子３の出力信号をデジタルの画像データへ変換するＡ／Ｄ変換器４、変換後の画像データを逐次記憶するＤＲＡＭ５を備えている。なお、ＤＲＡＭ５には、複数枚の画像データが格納される。
シャッタ２の動作は、ＣＰＵコア７ａの命令に従いシャッタ制御部７ｂにより制御され、ＣＭＯＳ撮像素子３及びＡ／Ｄ変換器４の動作はＣＰＵコア７ａの命令に従い受光制御部７ｃにより制御される。ＤＲＡＭ５に格納された１枚分の画像データ、すなわちＲＡＷデータはデモザイク部７ｄにより画素毎に色情報を補間されてＹＵＶデータに変換された後、液晶表示コントローラ６を介して液晶表示画面８に表示される。なお、変換されたＹＵＶデータもＤＲＡＭ５に一時的に記憶される。
記録モードでの撮影時にデモザイク部７ｄによりＹＵＶデータに変換された画像データは、ＣＰＵコア７ａによってＪＰＥＧ等の所定の圧縮方式に従い圧縮された後、外部記憶媒体１１に静止画ファイル又は動画ファイルとして記録される。外部記憶媒体１１に記録された画像データは、再生モードにおいては、必要に応じてＣＰＵコア７ａに読み出されて伸張された後、液晶表示コントローラ６を介して液晶表示画面８において表示される。なお、外部記憶媒体１１は、例えばカメラ本体に着脱自在なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。
また、ＣＰＵコア７ａには、特徴量演算部７ｅ、ＳＲＡＭ７ｆ、ブロックマッチング部７ｇ、画像変形合成加算部７ｈの他、シャッタボタン９、モードボタン１０が接続されている。なお、ＣＰＵコア７ａ内のメモリには、ＣＰＵコア７ａの動作に必要な種々のプログラム及びプログラムの実行に際して使用される各種のデータが記憶されているが、これらはＣＰＵコア７ａとは別のメモリに記憶されていてもよい。
ＣＰＵコア７ａは、プログラムに従いシャッタボタン９の押下操作に応じてデジタルカメラの各部の動作を制御する、本発明の撮像手段、手ブレ判定手段、像ブレ判定手段、選択手段として機能する。
ブロックマッチング部７ｇは、ＳＲＡＭ７ｆを作業メモリとして使用し、ＣＭＯＳ撮像素子３により撮像された複数枚の画像同士でマッチングを行い、被写体部分の相対的なずれ量及びずれ方向を示す動きベクトルを取得してＣＰＵコア７ａに出力する、本発明の算出手段として機能する。
画像変形合成加算部７ｈは、ＣＰＵコア７ａの指示に応じ、ＣＭＯＳ撮像素子３により撮像された複数枚の画像を位置合わせして合成する本発明の画像処理手段として機能する。
次に、以上の構成からなるデジタルカメラにおいて、記録モードが設定されているときの動作について説明する。図２は、記録モードが設定されているときのＣＰＵコア７ａの処理手順を示すフローチャートである。
まず、デジタルカメラのモードボタン１０をユーザが操作することによって、デジタル手振れ補正モードが設定される（ステップＡ１）。これにより、デジタルカメラは自動的に手振れ補正を実行する。
次に、デジタルカメラのシャッタボタン９をユーザが１回押下すると、それを検出したＣＰＵコア７ａは、第１の画像群、第２の画像群及び第３の画像からなる９枚の連写撮影を実施する（ステップＡ２）。具体的には、ＣＭＯＳ撮像素子３によって時間的に連続する９枚の画像を取得する。９枚の画像のうち、第３の画像である最初の１枚の画像は、被写体ブレや暗い場所での撮影に対応可能な高い撮影感度、例えば、ＩＳＯ１６００相当の撮影感度で第３の露光時間にて被写体ブレ抑制用撮影を行って取得される。第１の画像群である次の４枚の画像は、通常の露光時間（第１の露光時間）にて撮影を行って取得される。第２の画像群である最後の４枚の画像は、通常の露光時間よりもシャッタ時間を２段階短くした時間（第２の露光時間）にて撮影を行って取得される。さらに、撮影時には、ＣＭＯＳ撮像素子３がシフト動作する光学手振れ補正も同時に行う。
ＣＰＵコア７ａは、ＣＭＯＳ撮像素子３によって時間的に連続する９枚の画像について、各々のＲＡＷデータを取得し、ＤＲＡＭ５に記録する（ステップＡ３）。また、各々のＲＡＷデータをデモザイク部７ｄによってＹＵＶデータ及び輝度成分のみからなる輝度画像データに変換し、変換後の画像データをＤＲＡＭ５に記憶する（ステップＡ３）。ここで、ＹＵＶデータは合成用の画像データであり、輝度画像データは、複数枚の画像（ＹＵＶデータ）の合成時における位置合わせ作業に十分なサイズの縮小画像データである。
次に、輝度画像データのうち１枚目の画像を基準画像とし、その基準画像に、予め決められている所定サイズのウィンドウをフレーム内の中央部分に設定する。さらに、このウィンドウ内を縦１６画素×横１６画素を単位とした複数ブロックに分割して、隣接するフレーム画像間でブロックマッチングを行う（ステップＡ４）。具体的には、図３に示すように、基準画像１０１に設定したウィンドウ１０２（基準画像１０１の中心の（１／２）＊（１／２）の領域）を複数（４＊４＝１６）のブロック１０３に分割する。
このようにして得られたブロック１０３について、ブロックマッチング部７ｇにおいて、被写体部分のみを追跡対象とするブロックマッチングを行う。ＣＰＵコア７ａは、ブロックマッチングにより取得した各々のブロックの動きベクトルデータのうちで、所定の距離以下のずれ量を示す特定の動きベクトルを用いて、隣接フレーム画像の位置関係を表す射影変換行列を生成する（ステップＡ５）。つまり、本来は得られないような（明らかに誤って取得された）動きベクトルを排除した正しい動きベクトルのみに基づき射影変換行列を求める。なお、本実施の形態において射影変換行列はＲＡＮＳＡＣ法により生成する。ＲＡＮＳＡＣ法は、ランダムに選択したサンプルを元に生成した仮説を全データで検証することを繰り返すことによるモデル推定アルゴリズムに従う。この場合、ランダムに位置の組を選択し、その選択した位置の組に対応する射影変換行列の候補を算出し、その式に従って、全ての位置の座標を射影変換したときに、結果がどれだけ一致するかを評価する。こうした計算と評価を繰り返し、最もよい評価値を得た時の射影変換行列を採用する。この手法に従って、図４に示すように、フレーム２を基準画像としてフレーム３との位置関係を表す射影変換行列２を求める。
引き続き、輝度画像データを順に変更しながら上述したステップＡ４及びＡ５の処理を繰り返し、時間的に連続する５枚目までの画像について射影変換行列を生成する（ステップＡ６）。具体的には、フレーム３を基準画像としてフレーム４との位置関係を表す射影変換行列３を求め、フレーム４を基準画像としてフレーム５との位置関係を表す射影変換行列４を求め、フレーム５を基準画像としてフレーム６との位置関係を表す射影変換行列５を求める。
フレーム５までの画像（輝度画像データ）について前述した射影変換行列が生成できたら、つまり、２枚目から５枚目までの画像間における被写体の位置関係が把握できたら（ステップＡ６でＹＥＳ）、ステップＡ５で取得した射影変換行列から、各々の隣接フレーム間における平行移動成分を算出する（ステップＡ７）。平行移動成分（動きベクトルの大きさ）の算出は図５に示すとおり、（ｓ2＋ｔ2）1/2によって求めることができる。
ステップＡ７で算出された平行移動成分の大きさが最小の画像について、被写体の像ブレが発生しているか否かを判断する（ステップＡ８）。被写体の像ブレは、全てのブロック１０３について、隣接フレームの同一位置のブロックと差分二乗和をとり、その値が１ブロックでも所定の閾値より大きければ、像ブレが発生していると判断する。
ステップＡ８において、被写体の像ブレが発生していると判断した場合は、図６に示すように、１枚目の画像である被写体ブレ抑制用の画像（フレーム1）を選択して（ステップＡ９）、当該画像を外部記憶媒体１１に保存する。
一方、ステップＡ８において、被写体の像ブレが発生していないと判断した場合は、平行移動成分の大きさが最小の画像について、平行移動成分の大きさが所定値（例えば、２画素）以下であるかどうかを判断して、手ブレが発生しているか否かを判断する（ステップＡ１０）。なお、本実施の形態では、所定値を２画素として説明するが、本発明はこれに限定されない。実装に応じて最適な値を所定値として設定することができる。
ステップＡ１０において平行移動成分の大きさが２画素以下である場合は、手ブレが十分に小さいと判断して、図６に示すように、当該平行移動成分の大きさが最小の画像を選択して（ステップＡ１１）、当該画像を外部記憶媒体１１に保存する。
一方、ステップＡ１０において平行移動成分の大きさが２画素以下でない場合は、図６に示すように、画像変形合成加算部７ｈは、第２の露光時間で撮影した６枚目から９枚目までの画像をマルチプレーン加算により合成して新たな画像を生成し（ステップＡ１２）、当該新たな画像を外部記憶媒体１１に保存する。
画像変形合成加算部７ｈは、６枚目から９枚目までの画像についてＢａｙｅｒ配列データでマルチプレーン加算合成処理を行うことにより、増感効果を高めた高感度処理を行うことができる。具体的には、図７に示すように、各画像のＢａｙｅｒ配列データのうち、輝度成分や解像感をよく反映するＧ（緑）画像の相関度を求めて位置合せ合成を行い、またＢａｙｅｒ配列データでは欠けている縦、横、斜め画素の補間処理を行いフル画素のＧデータを生成する。Ｒ（赤）、Ｂ（青）データは、Ｇ（緑）データの位置合せ結果に準じて位置合せとカラー補間処理を行い、フルサイズのＲＧＢデータに変換する。位置合せ処理では、さらに、回転方向も検出して、アフィン変換などにより座標回転変換して位置合せし、回転位置に応じて補間処理を行うようにしてもよい。あるいは、中央や前景の主な被写体の領域画像を抽出して、被写体や背景の輪郭形状や特徴量が重なる位置に移動して位置合せしてから加算するようにしてもよい。
以上説明したように、本実施の形態では、被写体ブレ抑制用の第３の露光時間で撮影した画像を１枚、通常の１枚撮影の露光時間（第１の露光時間）で撮影した画像を複数枚、シャッタ時間を短くしたマルチプレーン加算用の第２の露光時間で撮影した画像を複数枚、連写撮影し、時間的に連続する画像において隣接画像間の位置関係を表す射影変換行列を全ての隣接画像間において求めて、通常の露光時間で撮影した第１の画像群において手ブレの一番少ない画像を選択し、その画像に被写体の像ブレが発生しておらず、手ブレが十分小さい場合に、その画像を選択するので、撮影状況に応じてブレの少ない最適な画像を選択して出力することができる。また、通常の露光時間で撮影した第１の画像群において手ブレの一番少ない画像を選択し、その選択した画像に被写体の像ブレが発生している場合には、被写体ブレ抑制用の画像を選択するので、撮影状況に応じてブレの少ない最適な画像を選択して出力することができる。さらに、上記で選択した画像に手ブレが発生している場合は、マルチプレーン加算用に撮影した第２の画像群をマルチプレーン加算した新たな画像を生成するので、撮影状況に応じてブレの少ない最適な画像を出力することができる。
本実施の形態においては、撮影された画像自体で画像のブレの有無を判断しているので、シャッタボタンの半押し時にブレを判定するような時間的乖離による状況誤認がない。また、通常の露光時間で撮影した連写画像の中からブレの少ない程度の良いものがあるかどうかも判断するので、ブレが十分に少ない画像を選択して出力することができる。また、マルチプレーン加算が必要のない状況で不必要なマルチプレーン加算をして、被写体の像ブレを強調するだけの画像生成を回避することができる。
また、画像連写時にＣＭＯＳ撮像素子を移動させることにより光学手振れ補正をジャイロセンサーにより行っている場合などは、画像撮影時にジャイロセンサー値の大小は、必ずしもその画像の手ブレの大小を反映している訳ではないことから、ジャイロセンサーによる手ブレ判定は不正確になるが、本実施の形態においては、光学手ブレ補正後の撮像画像より位置関係を求めているので、正確にブレの発生を知ることができる。

Claims (13)

  1. 撮影指示に応答して直ちに、第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と、前記第１の露光時間とは異なる第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを、予め決められている規定枚数分だけ取得する撮像手段と、
    前記撮像手段による第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定手段と、
    前記撮像手段による第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定手段と、
    前記手ブレ判定手段による判定結果及び前記像ブレ判定手段による判定結果に応じて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記選択手段は、前記像ブレ判定手段によって像ブレが生じていないと判定され、前記手ブレ判定手段によって手ブレが生じていると判定された場合に、前記第２の画像群から得られる画像を選択することを特徴とする請求項１記載の撮像装置。
  3. 前記第２の画像群の画像を合成して新たな画像を生成する画像処理手段を備え、
    前記第２の画像群から得られる画像は、前記新たな画像であることを特徴とする請求項１又は２記載の撮像装置。
  4. 前記選択手段は、前記像ブレ判定手段によって像ブレが生じていないと判定され、前記手ブレ判定手段によって手ブレが生じていないと判定された場合に、前記第１の画像群から得られる画像を選択することを特徴とする請求項１から３のいずれか記載の撮像装置。
  5. 前記第１の画像群のうち時間的に隣接する画像間において射影変換行列を求めて、射影変換行列から動きベクトルの大きさを算出する算出手段を備え、
    前記像ブレ判定手段は、前記算出手段によって算出された各画像の動きベクトルの大きさが最小の画像について、像ブレが生じたか否かを判定することを特徴とする請求項１から４のいずれか記載の撮像装置。
  6. 前記手ブレ判定手段は、前記動きベクトルの大きさが最小の画像について、動きベクトルの大きさが所定の閾値を超えたか否かによって、手ブレが生じたか否かを判定することを特徴とする請求項５記載の撮像装置。
  7. 前記撮像手段は、第１の画像群を撮影したときの感度及び第２の画像群を撮影したときの感度の何れよりも高い感度で被写体を撮影した第３の画像を取得し、
    前記選択手段は、前記第１の画像群から得られる画像、前記第２の画像群から得られる画像、前記第３の画像のいずれかを選択するものであって、前記像ブレ判定手段によって像ブレが生じていると判定された場合に、前記第３の画像を選択することを特徴とする請求項１から６のいずれか記載の撮像装置。
  8. 撮影指示に応答して直ちに、第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と、前記第１の露光時間とは異なる第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを、予め決められている規定枚数分だけ取得する取得工程と、
    第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、
    第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定工程と、
    前記手ブレ判定工程及び前記像ブレ判定工程のそれぞれの判定結果に基づいて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択工程と、
    を有することを特徴とする撮像方法。
  9. 撮像装置が有するコンピュータに、
    撮影指示に応答して直ちに、第１の露光時間で被写体を撮影した時間的に連続する第１の画像群と、前記第１の露光時間とは異なる第２の露光時間で被写体を撮影した時間的に連続する第２の画像群とを、予め決められている規定枚数分だけ取得する取得工程と、
    第１の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、
    第１の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定工程と、
    前記手ブレ判定工程の判定結果と前記像ブレ判定工程の判定結果とに応じて、前記第１の画像群から得られる画像又は前記第２の画像群から得られる画像のいずれかを選択する選択工程と、
    を実行させることを特徴とする撮像プログラム。
  10. 前記第２の露光時間は、前記第１の露光時間よりも短い時間であることを特徴とする請求項１記載の撮像装置。
  11. 撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する撮像手段と、
    前記撮像手段により取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定手段と、
    前記判定手段による判定結果に応じて、前記複数枚の画像の中から１枚の画像を抽出する抽出手段と、
    を備えたことを特徴とする撮像装置。
  12. 撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する取得工程と、
    取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定工程と、
    前記判定工程の判定結果に応じて、前記複数枚の画像の中から１枚の画像を抽出する抽出工程と、
    を有することを特徴とする撮像方法。
  13. 撮像装置が有するコンピュータに、
    撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する取得工程と、
    取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定工程と、
    前記判定工程の判定結果に応じて、前記複数枚の画像の中から１枚の画像を抽出する抽出工程と、
    を実行させることを特徴とする撮像プログラム。
JP2009033913A 2009-02-17 2009-02-17 撮像装置、撮像方法及び撮像プログラム Expired - Fee Related JP4748230B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2009033913A JP4748230B2 (ja) 2009-02-17 2009-02-17 撮像装置、撮像方法及び撮像プログラム
EP10151652.4A EP2219366B1 (en) 2009-02-17 2010-01-26 Image capturing device, image capturing method, and image capturing program
CN2010101716218A CN101895679B (zh) 2009-02-17 2010-02-11 拍摄装置和拍摄方法
TW099104264A TWI420901B (zh) 2009-02-17 2010-02-11 攝像裝置、攝像方法及攝像程式
US12/706,174 US8310553B2 (en) 2009-02-17 2010-02-16 Image capturing device, image capturing method, and storage medium having stored therein image capturing program
KR1020100014065A KR101109532B1 (ko) 2009-02-17 2010-02-17 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체
HK11100593.8A HK1146436A1 (en) 2009-02-17 2011-01-20 Image capturing device, image capturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009033913A JP4748230B2 (ja) 2009-02-17 2009-02-17 撮像装置、撮像方法及び撮像プログラム

Publications (3)

Publication Number Publication Date
JP2010193058A JP2010193058A (ja) 2010-09-02
JP2010193058A5 JP2010193058A5 (ja) 2010-11-18
JP4748230B2 true JP4748230B2 (ja) 2011-08-17

Family

ID=42102652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009033913A Expired - Fee Related JP4748230B2 (ja) 2009-02-17 2009-02-17 撮像装置、撮像方法及び撮像プログラム

Country Status (7)

Country Link
US (1) US8310553B2 (ja)
EP (1) EP2219366B1 (ja)
JP (1) JP4748230B2 (ja)
KR (1) KR101109532B1 (ja)
CN (1) CN101895679B (ja)
HK (1) HK1146436A1 (ja)
TW (1) TWI420901B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5868053B2 (ja) * 2011-07-23 2016-02-24 キヤノン株式会社 画像処理方法、画像処理装置、およびプログラム
KR101804215B1 (ko) * 2012-03-06 2017-12-05 삼성전자주식회사 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
US8928765B2 (en) * 2012-06-08 2015-01-06 Apple Inc. Noise reduction based on motion sensors
KR101904203B1 (ko) * 2012-06-20 2018-10-05 삼성전자주식회사 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법
US9449374B2 (en) * 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment
JP6604831B2 (ja) * 2015-11-30 2019-11-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
CN107615745B (zh) * 2016-04-05 2020-03-20 华为技术有限公司 一种拍照方法及终端
TWI693577B (zh) * 2018-09-19 2020-05-11 聚晶半導體股份有限公司 影像產生方法與電子裝置
JP7110397B2 (ja) 2019-01-09 2022-08-01 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2020184669A (ja) * 2019-05-07 2020-11-12 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
WO2022097102A1 (en) * 2020-11-06 2022-05-12 Buyaladdin.com, Inc. Vertex interpolation in one-shot learning for object classification

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4285889B2 (ja) * 2000-06-30 2009-06-24 株式会社リコー 撮像装置
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP2005136760A (ja) * 2003-10-31 2005-05-26 Nikon Corp デジタルスチルカメラ
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
US7538794B2 (en) * 2005-01-31 2009-05-26 Hewlett-Packard Development Company, L.P. Method and apparatus for motion estimation in a digital imaging device
EP1689164B1 (en) * 2005-02-03 2007-12-19 Sony Ericsson Mobile Communications AB Method and device for creating enhanced picture by means of several consecutive exposures
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
JP4086166B2 (ja) * 2005-03-02 2008-05-14 船井電機株式会社 電子写真装置
WO2007032082A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
JP2007243774A (ja) * 2006-03-10 2007-09-20 Olympus Imaging Corp 電子的ぶれ補正装置
US20080170126A1 (en) 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
JP4867554B2 (ja) 2006-09-29 2012-02-01 カシオ計算機株式会社 電子カメラ、撮像制御プログラム及び撮像制御方法
JP4315971B2 (ja) 2006-11-09 2009-08-19 三洋電機株式会社 撮像装置
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
JP4860568B2 (ja) * 2007-03-30 2012-01-25 富士フイルム株式会社 撮影装置
JP4936222B2 (ja) * 2007-06-14 2012-05-23 カシオ計算機株式会社 動きベクトル照合装置、画像合成装置及びプログラム
KR101371775B1 (ko) * 2007-07-09 2014-03-24 삼성전자주식회사 카메라의 손떨림 보정 방법 및 장치
TWI351219B (en) * 2007-09-28 2011-10-21 Altek Corp Image capturing apparatus with image-compensating function and method for compensating image thereof
KR101442610B1 (ko) * 2008-02-18 2014-09-19 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체

Also Published As

Publication number Publication date
EP2219366B1 (en) 2020-05-27
JP2010193058A (ja) 2010-09-02
CN101895679B (zh) 2012-09-26
US8310553B2 (en) 2012-11-13
CN101895679A (zh) 2010-11-24
HK1146436A1 (en) 2011-06-03
KR101109532B1 (ko) 2012-01-31
KR20100094397A (ko) 2010-08-26
EP2219366A1 (en) 2010-08-18
TW201101813A (en) 2011-01-01
US20100209009A1 (en) 2010-08-19
TWI420901B (zh) 2013-12-21

Similar Documents

Publication Publication Date Title
JP4748230B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP5574423B2 (ja) 撮像装置、表示制御方法及びプログラム
KR101303410B1 (ko) 촬상장치 및 촬상방법
JP5445363B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2007300595A (ja) 静止画像撮影の手ブレ回避方法
JP6362068B2 (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP2009118483A (ja) オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法
JP5729237B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5211589B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
US8243154B2 (en) Image processing apparatus, digital camera, and recording medium
JP2016111568A (ja) 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム
JP2007133810A (ja) 画像処理装置
JP4942572B2 (ja) 画像加算装置および方法並びにプログラム
JP5822606B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP6752942B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP6218520B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5831492B2 (ja) 撮像装置、表示制御方法及びプログラム
JP5195973B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2006253875A (ja) 撮像装置
JP5181952B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4687619B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5301690B2 (ja) 撮影装置および方法並びにプログラム
JP5158167B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5012805B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP4919165B2 (ja) 画像合成装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110502

R150 Certificate of patent or registration of utility model

Ref document number: 4748230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees