JPWO2013145799A1 - 画像処理装置、撮影装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、撮影装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
JPWO2013145799A1
JPWO2013145799A1 JP2014507456A JP2014507456A JPWO2013145799A1 JP WO2013145799 A1 JPWO2013145799 A1 JP WO2013145799A1 JP 2014507456 A JP2014507456 A JP 2014507456A JP 2014507456 A JP2014507456 A JP 2014507456A JP WO2013145799 A1 JPWO2013145799 A1 JP WO2013145799A1
Authority
JP
Japan
Prior art keywords
image
noise
reference image
reduced
intermediate composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014507456A
Other languages
English (en)
Other versions
JP5567235B2 (ja
Inventor
田中　康一
康一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014507456A priority Critical patent/JP5567235B2/ja
Application granted granted Critical
Publication of JP5567235B2 publication Critical patent/JP5567235B2/ja
Publication of JPWO2013145799A1 publication Critical patent/JPWO2013145799A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

非基準画像について、同一の被写体像の位置を基準画像と対応させて変形した変形画像を生成し（Ｓ１１１）、基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成し（Ｓ１２３）、基準画像と非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど変形画像に対する基準画像の重み係数を大きく設定して基準画像と変形画像との合成処理を行い中間合成画像を生成し（Ｓ１１７）、基準画像と中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど中間合成画像に対するノイズ低減画像の重み係数を小さく設定して中間合成画像とノイズ低減画像との合成処理を行い最終画像を生成する（Ｓ１２９）。

Description

本発明は、画像処理装置、撮影装置、プログラム及び画像処理方法に関し、特に、連続撮影によって得られた画像に対して画像処理を行う撮影装置、画像処理装置、プログラム及び画像処理方法に関する。
従来、撮影装置によって高精細画像を撮影する技術として、連続的に複数回撮影し、撮影で得られた複数枚の画像を位置合せして合成した画像を最終的な撮影画像とすることで、ノイズが少ない撮影画像を生成する技術が用いられている。この技術において画像を合成する際には、合成対象の各々の画像間の動きベクトル（動き量）をジャイロセンサや画像処理によって求め、この動きベクトルに基づいて複数枚の画像を平行移動させたり回転させたりして位置合わせを行った上で合成する。
しかし、人間が撮影装置を手に持って撮影した場合等には、手ブレにより、連続的に撮影した画像であっても各々の画像間で画角が比較的大きく異なっている場合がある。また、合成対象の画像を変形させることにより、画像を合成する際に相互の画像が合成される画素領域と合成されない画素領域が発生する。そのため、複数枚の画像を合成した場合に、合成画像において画素領域毎に合成回数が異なってしまう。一方、画像を合成する際に、被写体ブレが発生している領域、オクルージョンが発生している領域等に対応する画素が合成されないように制御する場合もあり、その場合においても、合成画像において画素領域毎に合成回数が異なってしまう。
このように画素領域毎に合成回数が異なっている場合には、合成画像におけるノイズ低減量に画素領域毎にばらつきが発生する。すなわち、合成回数が多い画素領域においてはノイズが十分に低減されていても、合成回数が少ない画素領域においてはノイズが残存している可能性がある。
これを解消するために、特開２００９−１９４７００号公報には、合成画像に対して画素領域毎に合成回数に応じたノイズ低減処理を施す撮影装置が開示されている。この撮影装置は、連続的に撮影された複数枚の画像を位置合わせした上で加算して合成画像を生成するとともに、合成画像の画素毎に加算回数を算出する加算回数算出手段と、合成画像の画素毎に加算回数に応じてノイズを低減するノイズ低減手段とを備えている。この構成により、高精細画像を生成することが可能となっている。
特開２００９−１９４７００号公報に開示されている技術では、合成画像の画素領域毎に合成回数に応じてノイズ低減処理を行っている。しかしながら、一般的な撮影装置に搭載されているノイズ低減処理の機能は対象とする画像全体に対してノイズ低減処理を行うものである。すなわち、合成画像の画素領域毎にノイズを低減するためには、画素領域を指定してノイズ低減処理を行う機能を別途設ける必要がある。
本発明は、このような課題を解決するためになされたものであり、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる画像処理装置、撮影装置、プログラム及び画像処理方法を提供することにある。
本発明の画像処理装置は、同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、を備えている。
この画像処理装置によれば、画像取得手段により、同一被写体を複数回撮影して得られた複数の画像が取得され、基準画像選択手段により、前記複数の画像の何れか１つの画像が基準画像として選択され、変形画像生成手段により、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像が生成される。
また、ノイズ低減画像生成手段により、前記基準画像に対してノイズを低減する処理が行われてノイズ低減画像が生成され、中間合成画像生成手段により、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像が生成される。
ここで、最終画像生成手段により、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像が生成される。すなわち、中間合成画像に対して、基準画像と中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きい画素領域、すなわち合成によるノイズ低減効果が高い画素領域に対して、ノイズ低減画像の重みを軽くしてノイズ低減画像を合成する。
これにより、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。
また、本発明の画像処理装置は、前記中間合成画像生成手段が、前記第１の差の絶対値が前記第１閾値より大きく前記第１閾値より大きい第２閾値以下である場合には、当該第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を徐々に大きくなるように設定して、前記基準画像と前記変形画像との合成処理を行うようにしてもよい。これにより、合成に適さない画素領域が合成されることを回避することができる。
また、本発明の画像処理装置は、前記最終画像生成手段が、前記第２の差の絶対値が第３閾値より大きく前記第３閾値より大きい第４閾値以下である場合には、当該第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に小さくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。
また、本発明の画像処理装置は、前記ノイズ低減画像生成手段が、前記中間合成画像生成手段による合成処理の回数が多いほどノイズを低減する強度が大きくなるようにノイズ低減画像を生成するようにしてもよい。これにより、適切な強度で合成画像におけるノイズを低減させることができる。
また、本発明の画像処理装置は、前記ノイズ低減画像生成手段が、前記中間合成画像における前記基準画像の重みが重いほどノイズを低減する強度が小さくなるようにノイズ低減画像を生成するようにしてもよい。これにより、適切な強度で合成画像におけるノイズを低減させることができる。
また、本発明の画像処理装置は、前記複数の画像の各々を、全ての画像が同一の重みとなるように合成した単純合成画像を生成する単純合成画像生成手段をさらに備え、前記最終画像生成手段が、前記単純合成画像と前記中間合成画像との対応する画素間の画素値の第３の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。
また、本発明の画像処理装置は、前記最終画像生成手段が、前記第３の差の絶対値が第５閾値より大きく前記第５閾値より大きい第６閾値以下である場合には、当該差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。
また、本発明の画像処理装置は、前記最終画像生成手段が、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。
また、本発明の画像処理装置は、前記最終画像生成手段が、前記中間合成画像における前記基準画像の重みが第７閾値より大きく前記第７閾値より大きい第８閾値以下である場合には、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。
本発明の撮影装置は、被写体を撮影する撮影手段と、本発明の画像処理装置とを備え、前記取得手段は、前記撮影手段により同一被写体を複数回撮影して得られた画像を取得する。
この撮影装置によれば、本発明の画像処理装置と同様に作用するので、本発明の画像処理装置と同様に、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。
本発明のプログラムは、コンピュータを、同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、として機能させる。
このプログラムによれば、コンピュータを本発明の画像処理装置と同様に作用させることができるので、本発明の画像処理装置と同様に、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。
本発明の画像処理方法は、同一被写体を複数回撮影して得られた複数の画像を取得する画像取得ステップと、前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択ステップと、前記基準画像選択ステップにより選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成ステップと、前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成ステップと、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成ステップと、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成ステップと、を備えている。
この画像処理方法によれば、本発明の画像処理装置と同様に作用するので、本発明の画像処理装置と同様に、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。
本発明によれば、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる、という効果が得られる。
実施形態に係るデジタルカメラを示す正面斜視図である。 実施形態に係るデジタルカメラを示す背面斜視図である。 実施形態に係るデジタルカメラの電気系の要部構成を示す概略ブロック図である。 第１実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。 第１実施形態に係るデジタルカメラが撮影制御処理を開始してから中間合成画像を生成するまでの処理の流れを説明するための概略図である。 第１実施形態に係るデジタルカメラが撮影制御処理を開始してから中間合成画像を生成するまでの処理の流れを説明するための概略図である。 第１実施形態に係るデジタルカメラにおける画素値の差分の絶対値ｄと第１加重係数ｗとの関係の一例を示すグラフである。 第１実施形態に係るデジタルカメラが中間合成画像を生成してから最終合成画像を生成するまでの処理の流れを説明するための概略図である。 第１実施形態に係るデジタルカメラにおける画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。 第２実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。 第２実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。 第３実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。 第４実施形態に係るデジタルカメラにより中間合成画像を生成してから最終合成画像を生成するまでの処理の流れを説明するための概略図である。 第４実施形態に係るデジタルカメラにおける画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。 第５実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。 第５実施形態に係るデジタルカメラにおける第１加重係数ｗと第２加重係数ｗ’との関係の一例を示すグラフである。 実施形態に係る撮影装置の一実施形態であるスマートフォンの外観を示す図である。 図１６に示すスマートフォンの構成を示すブロック図である。
〔第１実施形態〕
以下、図面を参照して、第１実施形態に係る撮影装置について詳細に説明する。なお、第１実施形態では、本発明を単眼デジタルカメラに適用した場合を例に挙げて説明する。
図１Ａは、第１実施形態に係るデジタルカメラ１の構成を示す正面斜視図であり、図１Ｂは第１実施形態に係るデジタルカメラ１の構成を示す背面斜視図である。図１Ａ及び図１Ｂに示すように、デジタルカメラ１は筐体１０を備えていて、筐体１０の内部に後述するＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等の各種電子部品が収納されている。筐体１０の上面にはレリーズボタン１１が備えられていて、ユーザによりレリーズボタン１１が押下されることによりデジタルカメラ１に撮影等の指示が入力される。
また、筐体１０の上面には電源ボタン１２が備えられていて、ユーザにより電源ボタン１２が押下されることにより、デジタルカメラ１の電源のオン／オフ状態を切り替える指示が入力される。さらに、筐体１０の上面にはズームレバー１３が備えられていて、ユーザによりこのズームレバー１３が操作されることにより、撮影時にズーム機能の画角や倍率の変更の指示が入力される。
一方、図１Ａに示すように、筐体１０の正面にはフラッシュ１４が備えられていて、フラッシュ１４を発光させることにより周囲が照明される。また、筐体１０の正面にはレンズ１５が備えられていて、このレンズ１５に入射した光が当該レンズ１５を通過して内部に入力される。
また、図１Ｂに示すように、筐体１０の背面には、液晶ディスプレイ１６が備えられていて、撮影画像や設定事項などが表示される。また、筐体１０の背面には、各種操作ボタン１７が備えられていて、ユーザにより各種操作ボタン１７が操作されることにより各種設定事項の設定の指示が入力される。
図２は、第１実施形態に係るデジタルカメラ１の電気系の要部構成を示す概略ブロック図である。図２に示すように、デジタルカメラ１は、主制御部２０、撮影部２１、撮影制御部２２、画像処理部２３、圧縮／伸張処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、加重係数導出部３０、ノイズ低減処理部３１、及び合成処理部３２を備えている。
主制御部２０は、上述したＣＰＵ、ＲＡＭ及びＲＯＭを備えていて、レリーズボタン１１、電源ボタン１２、及び各種操作ボタン１７等の入力部を介したユーザ操作に従って、デジタルカメラ１を総括的に制御する。また、主制御部２０は、後述する撮影制御処理プログラムを実行する。
撮影部２１は、ＣＣＤやＣＭＯＳで構成された撮像素子を有し、レンズ１５に入射した光を受光し、受講した光を電気信号に変換して画像データを生成する。また、撮影部２１は、生成した画像データを画像処理部２３に送信する。
撮影制御部２２は、ＡＦ（Automatic Focusing）処理部（図示省略）及びＡＥ（Automatic Exposure）処理部（図示省略）を備えている。ＡＦ処理部は、ユーザによるレリーズボタン１１の半押し操作等により撮影部２１によって取得されたプレ画像（撮影の前段階においてレンズ１５に入射している光による画像）に基づいて合焦領域を決定するとともに、レンズの焦点位置を決定し、撮影部２１に合焦領域や焦点位置を示すデータを出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１にシャッタ速度や絞り値を示すデータを出力する。
また、撮影制御部２２は、ユーザによるレリーズボタン１１の全押し操作により撮影部２１に対して本画像を撮影する本撮影を行うように指示を出す。なお、レリーズボタン１１が全押し操作される前には、撮影制御部２２は、撮影範囲を確認するための本画像よりも画素数が少ない動画像であるスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１に対して行っている。
画像処理部２３は、撮影部２１が取得した画像データが示す画像に対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の様々な画像処理を施す。
圧縮／伸張処理部２４は、画像処理部２３によって処理が施された画像を示す画像データに対して、例えばＪＰＥＧなどの圧縮形式で圧縮処理を行って圧縮画像データを生成する。圧縮画像データは、例えばＥｘｉｆフォーマットに基づいて、基線長、輻輳角、及び撮影日時などの付帯情報、並びに視点位置を表す視点情報などが格納される。
フレームメモリ２５は、撮影部２１が生成した画像データに対して、画像処理部２３が行う処理を含む各種画像処理を行う際に使用される作業用メモリである。
メディア制御部２６は、デジタルカメラ１に記録メディア２６Ａなどの各種記録メディアが電気接続された際に、この記録メディア２６Ａの記憶領域に対して画像ファイルなどのデータの読み書きの制御を行う。
内部メモリ２７は、デジタルカメラ１において設定される各種設定事項、主制御部２０が実行するプログラムやプログラムの処理に使用されるデータ、及び撮影画像を示す複数の画像データを記憶する。なお、内部メモリ２７は、後述する撮影制御処理プログラムを記憶している。
表示制御部２８は、主制御部２０または撮影制御部２２による制御に基づいて、撮影時においてフレームメモリ２５に格納された各々の画像データが示す画像を液晶ディスプレイ１６に表示させたり、記録メディア２６Ａに記憶されている画像データが示す画像を液晶ディスプレイ１６に表示させたりする。
ここで、第１実施形態に係るデジタルカメラ１における撮影制御処理について説明する。なお、第１実施形態に係るデジタルカメラ１は、高精細画像を撮影するために、連続的に複数回撮影して得られた複数枚の画像をそれぞれ合成して中間合成画像を生成し、この中間合成画像をノイズ低減処理を施した基準画像と合成して最終合成画像を生成し、この最終合成画像を最終的な撮影画像とする。
図３は、第１実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。また、図４及び図５は、第１実施形態に係るデジタルカメラ１が撮影制御処理を開始してから中間合成画像Ｃを生成するまでの処理の流れを説明するための概略図である。さらに、図７は、第１実施形態に係るデジタルカメラ１が中間合成画像Ｃを生成してから最終合成画像Ｅを生成するまでの処理の流れを説明するための概略図である。
当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行される。また、当該撮影制御処理プログラムは、内部メモリ２７に予め記憶されている。
ステップＳ１０１において、主制御部２０は、レリーズボタン１１が全押しされたか否かを判定する。ステップＳ１０１において全押しされていないと判定された場合は、主制御部２０は、そのままレリーズボタン１１が全押しされるまで待機する。
ステップＳ１０１において全押しされたと判定された場合は、ステップＳ１０３において、主制御部２０は、デジタルカメラ１において連続的に複数回の撮影が行われるように制御し、撮影された複数枚の画像の各々の画像情報を取得する。なお、ステップＳ１０３において、本実施形態では、連続的に複数回の撮影が行われるように制御されるが、必ずしも連続的に撮影が行われる必要はなく、同一被写体を複数回撮影した画像の各々の画像情報が得られれば良い。
次のステップＳ１０５において、主制御部２０は、ステップＳ１０３において連続的に撮影された画像のうち１つの画像を基準画像Ａとして選択する。この際、例えば、レリーズボタン１１が全押しされた直後に撮影された画像がユーザ所望の画像であることを考慮し、最初に撮影された１枚が基準画像Ａとして選択される。なお、後述する各画像の位置合わせを考慮し、連続的に撮影された他の画像に対するずれ量の平均値が最も小さいと考えられる、時系列で中央に位置する画像が基準画像Ａとして選択されても良い。以下、ステップＳ１０５において選択された基準画像Ａを、「当初の基準画像Ａ」ともいう。
次のステップＳ１０７において、主制御部２０は、ステップＳ１０３において連続的に撮影された画像から、ステップＳ１０５において選択された基準画像Ａに対して最初に合成される画像である非基準画像Ｂを選択する。この際、例えばステップＳ１０３において基準画像Ａの次に撮影された画像が非基準画像Ｂとして選択されると良い。ステップＳ１０５及びＳ１０７によって、図４に示すように、合成対象とする基準画像Ａ及び非基準画像Ｂが選択される。
次のステップＳ１０９において、主制御部２０は、基準画像Ａ及び非基準画像Ｂにおける動きベクトルを検出する。この際、主制御部２０は、例えば、基準画像Ａ及び非基準画像Ｂにおいて複数の特徴点を検出して、各々の特徴点について各々の画像で相互に対応させてブロックマッチングを行う。ブロックマッチングは、以下の（１）及び（２）の手順で画像間の変位を画素単位で求める手法である。
（１）画像間の類似性を評価するために、各々比較する画像から領域を切り出し、その領域に対する輝度差の総和（SAD; Sum of Absolute Difference）、輝度差の２乗和（SSD: Sum of Squared Differece）、または正規化相互相関（ZNCC; Zero-mean Normalized Cross- Correlation）等を求める。
（２）ＳＡＤまたはＳＳＤを用いるときには最小値、ＺＮＣＣを用いるときには最大値を与える切り出し位置を検索することで、画像間の変位を画素単位で求める。
そして、主制御部２０は、各々の特徴点の画像間の変位により基準画像Ａ及び非基準画像Ｂにおける動きベクトルを検出する。
次のステップＳ１１１において、主制御部２０は、ステップＳ１０９において検出した動きベクトルに基づいて基準画像Ａに対して非基準画像Ｂを変形させる。この際、非基準画像Ｂにおける特徴点が基準画像Ａにおける特徴点に略一致するように、非基準画像Ｂを平行移動、回転移動及び伸縮のうちの少なくとも１つを行うことにより変形させる。上記「略一致するように」は、各々対応する特徴点を完全に一致するように変形させる場合に加えて、各々対応する特徴点のずれのベクトルが全体として略０となるように変形させることを含む。ステップＳ１１１の処理によって、図５に示すように、基準画像Ａにおける被写体Ｈの位置と非基準画像Ｂにおける被写体Ｈの位置が略一致するように、非基準画像Ｂが変形される。
次のステップＳ１１３において、主制御部２０は、基準画像Ａ及び非基準画像Ｂの対応する各画素の画素値の差分の絶対値ｄを導出する。画素値の差分の絶対値ｄは、基準画像Ａ、非基準画像Ｂの画素値をそれぞれimg[1], img[2]とすると、以下の（１）式によって計算される。
〔数１〕
d = | img[2] − img[1] | …（１）
次のステップＳ１１５において、主制御部２０は、各画素の画素値の差分の絶対値ｄに基づいて、基準画像Ａ及び非基準画像Ｂを合成する際に基準画像Ａに重み付けを行うための第１加重係数ｗを画素毎に導出する。
図６は、第１実施形態に係るデジタルカメラ１における画素値の差分の絶対値ｄと第１加重係数ｗとの関係の一例を示すグラフである。図６においては横軸が画素値の差分の絶対値ｄ、縦軸が第１加重係数ｗに設定されている。また、第１所定値ｄ１及び第２所定値ｄ２（ｄ１＜ｄ２）は、経験により予め得られている値である。
図６に示すように、第１加重係数ｗは０から１までの値であり、画素値の差分の絶対値ｄが０から第１所定値ｄ１までの値である場合には第１加重係数ｗが０．５となり、画素値の差分の絶対値ｄが第２所定値ｄ２以上の値である場合には第１加重係数ｗが１となり、かつ、画素値の差分の絶対値ｄが第１所定値ｄ１から第２所定値ｄ２までの値である場合には、画素値の差分の絶対値ｄが大きくなるほど第１加重係数ｗが比例して大きくなるような０．５から１までの間での値となる。
画素値の差分の絶対値ｄが小さい場合には、基準画像Ａに対する非基準画像Ｂにおける被写体の動き（ブレ量）が小さいため、基準画像Ａ及び非基準画像Ｂの合成の際の基準画像Ａの第１加重係数ｗを０．５とし、非基準画像Ｂの加重係数（１−ｗ）を０．５として、基準画像Ａ及び非基準画像Ｂの各々の重みを対等にする。一方、画素値の差分の絶対値ｄが大きい場合には、基準画像Ａに対する非基準画像Ｂにおける被写体の動き（ブレ量）が大きいため、基準画像Ａ及び非基準画像Ｂの合成の際の基準画像Ａの第１加重係数ｗを１とし、非基準画像Ｂの加重係数（１−ｗ）を０として、基準画像Ａの重みを大きくする。また、基準画像Ａ及び非基準画像Ｂの重みが対等な領域と基準画像Ａの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄが第１所定値ｄ１から第２所定値ｄ２までの第１加重係数ｗの値を滑らかに変化させている。
なお、図６に示す画素値の差分の絶対値ｄと第１加重係数ｗとの関係は一例であり、画素値の差分の絶対値ｄと第１加重係数ｗとの関係は、画素値の差分の絶対値ｄが小さい場合には、基準画像Ａ及び非基準画像Ｂの各々の重みを対等にし、画素値の差分の絶対値ｄが大きい場合には、基準画像Ａの重みを重くするようなグラフであれば良い。
次のステップＳ１１７において、基準画像ＡとステップＳ１１１において変形させた非基準画像Ｂとを加重係数ｗを用いて合成して、中間合成画像Ｃを生成する。基準画像Ａ及び非基準画像Ｂの合成画像は、基準画像Ａ及び非基準画像Ｂにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
すなわち、中間合成画像Ｃの各画素の画素値は、基準画像Ａ、非基準画像Ｂ、中間合成画像Ｃの画素値をそれぞれimg[1], img[2], mixとすると、以下の（２）式によって計算される。
〔数２〕
mix = w × img[1] + (1-w) × img[2] …（２）
上記（２）式によって合成画像の各画素の画素値が計算され、図４及び図５に示すように、基準画像Ａ及び非基準画像Ｂの合成画像として中間合成画像Ｃが生成される。
このように複数の画像を撮影して合成する目的は、ランダムノイズを低減することである。したがって、各々の画像間の撮影条件、撮影された画像に対する信号処理の条件が略同等であれば、ノイズ低減効果が最大となるのは、基準画像Ａと非基準画像Ｂとを１：１の割合で加重平均した場合、すなわち第１加重係数ｗが０．５の場合である。しかし、例えば基準画像Ａにおける全画素について１：１の割合で加重平均すると、基準画像Ａ内に動体が存在した場合等に、合成画像における動体領域において動体が多重像化してしまう。そこで、主制御部２０は、事前に画素毎に画素値の差分の絶対値ｄを計算し、画素値の差分の絶対値ｄが大きい領域（図６に示す例では、ｄ≧ｄ２の領域）を合成に適さない領域（以下、「合成不適領域」ともいう。）として基準画像Ａの重みを示す第１加重係数ｗを１とすることで、合成不適領域が合成に用いられることを回避している。
次のステップＳ１１９において、主制御部２０は、ステップＳ１０３において連続的に撮影された画像の全ての画像がステップＳ１１７の処理によって合成されたか否かを判定する。ステップＳ１１９において全ての画像が合成されていないと判定された場合、ステップＳ１２１において、主制御部２０は、ステップＳ１１７において生成した中間合成画像を新たな基準画像Ａとして選択し、ステップＳ１０７に移行する。そして、主制御部２０は、ステップＳ１０７において、まだ合成されていない画像を非基準画像Ｂとして選択し、ステップＳ１０９乃至Ｓ１２１の処理を繰り返し行うことにより、ステップＳ１０３において連続的に撮影された複数の画像の全ての画像が合成された中間合成画像Ｃが生成される。
ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ１２３において、主制御部２０は、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。この空間的なノイズ低減処理には、ＬＰＦ（ローパスフィルタ）や、バイラテラルフィルタ、またはエッジの強度・方向に応じた適応的なフィルタ等、様々な既知の手法を適用できる。このような空間ノイズ低減処理を行うための機能は、一般的なデジタルカメラに略必須とされている機能であり、多くのデジタルカメラに既に搭載されている。なお、ステップＳ１２３の処理は、後述するステップＳ１２５の処理より前の段階であれば、どの段階で実行されても構わない。
次のステップＳ１２５において、主制御部２０は、基準画像Ａ及び中間合成画像Ｃの対応する各画素の画素値の差分の絶対値ｄ’を算出する。画素値の差分の絶対値ｄ’は、基準画像Ａ、中間合成画像Ｃの画素値をそれぞれimg[1], img[3]とすると、以下の（３）式によって計算される。
〔数３〕
d'= | img[3] −img[1] | …（３）
次のステップＳ１２７において、主制御部２０は、各画素の画素値の差分の絶対値ｄ’に基づいて、ノイズ低減画像Ｄ及び中間合成画像Ｃを合成する際にノイズ低減画像Ｄに重み付けを行うための第２加重係数ｗ’を画素毎に導出する。
図８は、第１実施形態に係るデジタルカメラ１における画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。図８においては横軸が画素値の差分の絶対値ｄ’、縦軸が第２加重係数ｗ’に設定されている。図８に示すように、第２加重係数ｗ’は０から１までの値であり、画素値の差分の絶対値ｄ’が０から第３所定値ｄ３までの値である場合には第２加重係数ｗ’が１となり、画素値の差分の絶対値ｄ’が第４所定値ｄ４（ｄ３＜ｄ４）以上の値である場合には第２加重係数ｗ’が０となり、かつ、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの値である場合には、画素値の差分の絶対値ｄ’が大きくなるほど第２加重係数ｗ’が比例して小さくなるような０から１までの間での値となる。
画素値の差分の絶対値ｄ’が小さい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が低い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を１とし、中間合成画像Ｃの加重係数（１−ｗ’）を０として、ノイズ低減画像Ｄの重みを大きくする。一方、画素値の差分の絶対値ｄが大きい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が高い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を０とし、中間合成画像Ｃの加重係数（１−ｗ’）を１として、ノイズ低減画像Ｄの重みを小さくする。また、ノイズ低減画像Ｄの重みが大きい領域と中間合成画像Ｃの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの第２加重係数ｗ’の値を滑らかに変化させている。
なお、図８に示す画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は一例であり、画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は、画素値の差分の絶対値ｄ’が小さい場合にはノイズ低減画像Ｄの重みを重くし、画素値の差分の絶対値ｄが大きい場合にはノイズ低減画像Ｄの重みを軽くするようなグラフであれば良い。
次のステップＳ１２９において、ステップＳ１２７によって導出された第２加重係数ｗ’に基づいてノイズ低減画像Ｄと中間合成画像Ｃとを合成して、最終合成画像Ｅを生成して、撮影制御処理を終了する。ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像は、ノイズ低減画像Ｄ及び中間合成画像Ｃにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
すなわち、中間画像の各画素の画素値は、ノイズ低減画像Ｄ、中間合成画像Ｃ、最終合成画像Ｅの画素値をimg’[1]、mix、mix_fとすると、以下の（４）式によって計算される。
〔数４〕
mix_f = w’ × img’[1] + (1-w’) × mix …（４）
上記（４）式によって合成画像の各画素の画素値が計算され、図７に示すように、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像として最終合成画像Ｅが生成される。
なお、上述したように、非基準画像Ｂに対して平行移動や回転等の変形を行うことにより、基準画像Ａ及び非基準画像Ｂを合成した際に、図５に示すように、中間合成画像Ｃにおいて、基準画像Ａ及び非基準画像Ｂが合成された画素領域（以下、「合成領域」ともいう。）、及び基準画像Ａ及び非基準画像Ｂが合成されない画素領域（以下、「非合成領域」ともいう。）が発生する。合成領域においては合成によりノイズが低減されている一方で、非合成領域においてはノイズが低減されていないために非合成領域のノイズ量は基準画像Ａと同等であり、非合成領域においてはノイズ低減効果が全く得られていないことになる。しかし、中間合成画像Ｃの非合成領域に対して、基準画像Ａに空間ノイズ低減処理を行った画像を、他の画素領域よりも合成比率を高くして合成することで、合成処理における合成領域と非合成領域のノイズ量の差を小さくすることが可能である。
このようにして第１実施形態に係るデジタルカメラ１では、合成不適領域及び非合成領域に対して空間的なノイズ低減を施すことで、複数枚の画像を位置合せして合成して得られる合成画像の、合成によるノイズ低減効果の非均一性を解消することが可能である。また、第１実施形態に係るデジタルカメラ１では、基準画像Ａに一般的に用いられている画像全体に対して空間ノイズ低減処理を行う機能を用いることができるため、新たな機能を追加することなくノイズ低減効果の非均一性を解消することが可能である。
なお、中間合成画像Ｃを生成するために合成される画像が３枚以上である場合、中間合成画像Ｃにおける各領域を合成領域と非合成領域の２つの領域に明確に分類することができない。その場合には、画素単位、あるいは所定の領域単位で合成の度合（ノイズ低減の度合）が変更されると良い。
〔第２実施形態〕
第２実施形態に係るデジタルカメラ１について説明する。
第２実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
第２実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２３において実行されるノイズ低減処理のノイズ低減強度を、中間合成画像Ｃの合成回数に応じて設定するものである。
図９は、第２実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
始めに、上述したステップＳ１０１乃至Ｓ１０５の処理を行った後に、ステップＳ２０１において、主制御部２０は、ステップＳ１１７における合成処理を何回行ったかを示す合成回数を０に設定する。そして主制御部２０は、ステップＳ１０７乃至Ｓ１１７の処理を行う。
次のステップＳ２０３において、ステップＳ２０１において０に設定した合成回数に１を加算して、ステップＳ１１９に移行する。このステップＳ２０３の処理により、ステップＳ１０７乃至Ｓ１１７の処理が行われる毎に合成回数が計数される。
ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ２０５において、主制御部２０は、ステップＳ２０３において計数された合成回数に応じて、合成回数が多くなるほどノイズを低減する強度が大きくなるように、基準画像Ａに対するノイズ低減強度を設定する。
上述したように、合成によるノイズ低減効果の非均一性を解消する目的で行うため、基準画像Ａに対するノイズ低減の効果（強度）も合成枚数に依存させることが好ましい。ノイズ低減強度の設定は、例えば、ノイズ低減処理を行う際にガウシアンフィルタを用いる場合には、ガウシアンフィルタによる平滑化度合を調整する際、合成回数が多くなるほどパラメータσの値が大きくなるようにパラメータσの値を変更して平滑化度合を調整すると良い。なお、ガウシアンフィルタは、注目画素に近いほど平均値を計算するときの重みを大きくし、遠くなるほど重みを小さくなるようにガウス分布の関数を用いてレートを計算するフィルタであり、パラメータσの値が大きいほど平滑化の効果が大きくなる。
また、ノイズ低減処理を行う際に平均値フィルタを用いた場合には、合成回数が多くなるほどカーネルサイズが大きくなるようにカーネルサイズを変更する方法を用いても良い。なお、平均値フィルタは、注目画素とその近傍の画素の濃度値の平均値を、注目画素の新しい濃度値とするフィルタである。
次のステップＳ２０７において、主制御部２０は、ステップＳ２０５において設定されたノイズ低減強度で、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。そして、主制御部２０は、ステップＳ１２５乃至Ｓ１２９の処理を行って撮影制御プログラムを終了する。
このようにして第２実施形態に係るデジタルカメラ１は、ノイズ低減画像Ｄを生成する際に、合成回数に応じて基準画像Ａに対する空間ノイズ低減の強度を調整することにより、合成によるノイズ低減効果の非均一性を過不足なく解消することができる。
〔第３実施形態〕
第３実施形態に係るデジタルカメラ１について説明する。
第３実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態及び第２実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
第３実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２３において実行されるノイズ低減処理のノイズ低減強度を、中間合成画像Ｃにおける基準画像Ａの重み（合成比率）に応じて設定するものである。
図１０は、第２実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
始めに、上述したステップＳ１０１乃至Ｓ１２１の処理を行う。そして、ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ３０１において、主制御部２０は、中間合成画像Ｃにおける基準画像Ａの重みを算出する。
合成によるノイズ低減効果は、合成対象の各々の画像がどのような合成比率で合成されたかに依存する。例えば、合成対象の画像がＮ枚であった場合、第ｎ番目の中間合成画像Ｃをmix[n] 、第ｎ番目の非基準画像Ｂをimg[n]、第ｎ番目の第１加重係数ｗをw[n]とすると、生成された中間合成画像Ｃに占める基準画像Ａの重みを示す第１加重係数ｗを下記の（５）式のように表すことができる。
〔数５〕
w = w[1] × w[2] ×w[3] × ・・・× w[N-1] …（５）
ただし、
mix[1] = w[1] × img[1] + (1-w[1]) × img[2]
mix[2] = w[2] × mix[1] + (1-w[2]) × img[3]
mix[3] = w[3] × mix[2] + (1-w[3]) × img[4]
・
・
・
次のステップＳ３０３において、ステップＳ３０１において算出した基準画像Ａの重みに基づいて、基準画像Ａの重みが重くなるほどノイズを低減する強度が小さくなるように、基準画像Ａに対するノイズ低減強度を設定する。
第３実施形態では、上記（５）式によって画素毎に算出された基準画像Ａの第１加重係数ｗの値のうち最小の値に基づいて、ノイズ低減処理の強度を調整する。ノイズ低減強度の調整は、例えば、ガウシアンフィルタを用いて、ガウシアンフィルタによる平滑化度合を調整する際、中間合成画像Ｃにおける基準画像Ａの重みが重くなるほどパラメータσの値が小さくなるようにパラメータσの値を変更して平滑化度合を調整すると良い。あるいは、平均値フィルタにおいて、中間合成画像Ｃにおける基準画像Ａの重みが多くなるほどカーネルサイズが小さくなるようにカーネルサイズを変更する方法を用いても良い。
次のステップＳ３０５において、主制御部２０は、ステップＳ３０３において設定されたノイズ低減強度で、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。そして、主制御部２０は、ステップＳ１２５乃至Ｓ１２９の処理を行って撮影制御プログラムを終了する。
このようにして第２実施形態に係るデジタルカメラ１は、ノイズ低減画像Ｄを生成する際に、中間合成画像Ｃにおける基準画像Ａの重みに応じて基準画像Ａに対する空間ノイズ低減の強度を調整することにより、合成によるノイズ低減効果の非均一性を過不足なく解消することができる。
〔第４実施形態〕
第４実施形態に係るデジタルカメラ１について説明する。
第４実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態乃至第３実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
第４実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２７において中間合成画像Ｃ及びノイズ低減画像Ｄを合成する際の第２加重係数ｗ’を導出する際に、中間合成画像Ｃ及び単純合成画像（ステップＳ１０３において連続的に撮影して得られた複数の画像の各々を同一の比率で合成した画像）Ｆに応じて設定するものである。
図１１は、第３実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。また、図１２は、第４実施形態に係るデジタルカメラ１により中間合成画像Ｃを生成してから最終合成画像Ｅを生成するまでの処理の流れを説明するための概略図である。
当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
始めに、上述したステップＳ１０１乃至Ｓ１２１の処理を行う。そして、ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ４０１において、主制御部２０は、ステップＳ１０３において連続的に撮影されて得られた複数の画像の各々を、全ての画像が同一の合成比率となるように合成した単純合成画像Ｆを生成する。
次のステップＳ１２３において、主制御部２０は、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。また、次のステップＳ４０３において、主制御部２０は、中間合成画像Ｃ及び単純合成画像Ｆの対応する各画素の画素値の差分の絶対値ｄ’を算出する。
次のステップＳ４０５において、主制御部２０は、各画素の画素値の差分の絶対値ｄ’に基づいて、ノイズ低減画像Ｄ及び中間合成画像Ｃを合成する際にノイズ低減画像Ｄに重み付けを行うための第２加重係数ｗ’を画素毎に導出する。
図１３は、第４実施形態に係るデジタルカメラ１における画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。図１３においては横軸が画素値の差分の絶対値ｄ’、縦軸が第２加重係数ｗ’に設定されている。図１３に示すように、第２加重係数ｗ’は０から１までの値であり、画素値の差分の絶対値ｄ’が０から第５所定値ｄ５までの値である場合には第２加重係数ｗ’が０となり、画素値の差分の絶対値ｄ’が第６所定値ｄ６（ｄ５＜ｄ６）以上の値である場合には第２加重係数ｗ’が１となり、かつ、画素値の差分の絶対値ｄ’が第５所定値ｄ５から第６所定値ｄ６までの値である場合には、画素値の差分の絶対値ｄ’が大きくなるほど第２加重係数ｗ’が比例して大きくなるような０から１までの間での値となる。
この場合には、第１実施形態と異なり、画素値の差分の絶対値ｄ’が小さい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が高い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を０とし、中間合成画像Ｃの加重係数（１−ｗ’）を１として、ノイズ低減画像Ｄ及び中間合成画像Ｃの重みを同等にする。一方、画素値の差分の絶対値ｄが大きい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が低い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を１とし、中間合成画像Ｃの加重係数（１−ｗ’）を０として、ノイズ低減画像Ｄの重みを大きくする。また、ノイズ低減画像Ｄの重みが大きい領域と中間合成画像Ｃの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの第２加重係数ｗ’の値を滑らかに変化させている。
なお、図１３に示す画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は一例であり、画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は、画素値の差分の絶対値ｄ’が小さい場合にはノイズ低減画像Ｄ及び中間合成画像Ｃの重みを同等とし、画素値の差分の絶対値ｄが大きい場合にはノイズ低減画像Ｄの重みを重くするようなグラフであれば良い。
次のステップＳ１２９において、ステップＳ１２７によって導出された第２加重係数ｗ’に基づいてノイズ低減画像Ｄと中間合成画像Ｃとを合成して、最終合成画像Ｅを生成して、撮影制御処理を終了する。ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像は、ノイズ低減画像Ｄ及び中間合成画像Ｃにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
このようにして第４実施形態に係るデジタルカメラ１では、第１実施形態と同様の作用及び効果を得ることができる。
〔第５実施形態〕
第５実施形態に係るデジタルカメラ１について説明する。
第５実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態乃至第４実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
第５実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２７において中間合成画像Ｃ及びノイズ低減画像Ｄを合成する際の第２加重係数ｗ’を導出する際に、第１加重係数ｗに基づいて第２加重係数ｗ’を導出するものである。すなわち、上記（５）式に示すように、第１加重係数ｗの値が大きいほど中間合成画像Ｃにおける基準画像Ａの重みが大きくノイズ低減効果が低いことを表している。そこで、第５実施形態に係るデジタルカメラ１は、第２加重係数ｗ’を第１加重係数ｗに応じて導出する。
図１４は、第５実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
始めに、上述したステップＳ１０１乃至Ｓ１２３の処理を行う。そして、次のステップＳ５０１において、主制御部２０は、ステップＳ１１５において導出した、基準画像Ａ及び変形させた非基準画像Ｂを合成する際の第１加重係数ｗに基づいて、中間合成画像Ｃ及びノイズ低減画像Ｄを合成する際の第２加重係数ｗ’を導出する。
図１５は、第５実施形態に係るデジタルカメラ１における第１加重係数ｗと第２加重係数ｗ’との関係の一例を示すグラフである。図１５においては横軸が第１加重係数ｗ、縦軸が第２加重係数ｗ’に設定されている。図１５に示すように、第２加重係数ｗ’は０から１までの値であり、第１加重係数ｗが０から第７所定値ｄ７（ここでは、０．５）までの値である場合には第２加重係数ｗ’が０となり、第１加重係数ｗが第８所定値ｄ８以上の値である場合には第２加重係数ｗ’が１となり、かつ、第１加重係数ｗが第７所定値ｄ７から第８所定値ｄ８（ｄ７＜ｄ８）までの値である場合には、第１加重係数ｗが大きくなるほど第２加重係数ｗ’が比例して大きくなるような０から１までの間での値となる。
第１加重係数ｗが小さい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が高い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を０とし、ノイズ低減画像Ｄの重みを小さくする。一方、画素値の差分の絶対値ｄが大きい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が低い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を１とし、ノイズ低減画像Ｄの重みを大きくする。また、ノイズ低減画像Ｄの重みが大きい領域と中間合成画像Ｃの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの第２加重係数ｗ’の値を滑らかに変化させている。
なお、図１５に示す第１加重係数ｗと第２加重係数ｗ’との関係との関係は一例であり、第１加重係数ｗと第２加重係数ｗ’との関係は、第１加重係数ｗが小さい場合にはノイズ低減画像Ｄの重みを小さくし、画素値の差分の絶対値ｄが大きい場合にはノイズ低減画像Ｄの重みを大きくするようなグラフであれば良い。
次のステップＳ１２９において、ステップＳ１２７によって導出された第２加重係数ｗ’に基づいてノイズ低減画像Ｄと中間合成画像Ｃとを合成して、最終合成画像Ｅを生成して、撮影制御処理を終了する。ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像は、ノイズ低減画像Ｄ及び中間合成画像Ｃにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
すなわち、中間画像の各画素の画素値は、ノイズ低減画像Ｄ、中間合成画像Ｃ、最終合成画像Ｅの画素値をimg’[1]、mixとすると、以下の（６）式によって計算される。
〔数６〕
mix_f = w’ × img’[1] + (1-w’) × mix[N-1] …（６）
上記（６）式によって合成画像の各画素の画素値が計算され、図７に示すように、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像として最終合成画像Ｅが生成される。
このようにして第５実施形態に係るデジタルカメラ１では、算出済みの第１加重係数ｗから第２加重係数ｗ’を算出するようにしたので、第１実施形態と同様の作用及び効果を得ることができる上に、処理速度を向上させることができる。
以上、本発明の撮影装置の実施形態として、デジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型又は外付け型のＰＣ（パーソナルコンピュータ）用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
図１６は、実施形態に係る撮影装置の一実施形態であるスマートフォン７０の外観を示す図である。図１６に示すスマートフォン７０は、平板状の筐体７２を有し、筐体７２の一方の面に表示部としての表示パネル７４Ａと、入力部としての操作パネル７４Ｂとが一体となった表示入力部７４を備えている。また、係る筐体７２は、スピーカ７６と、マイクロホン７８と、操作部８０と、カメラ部８２とを備えている。なお、筐体７２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図１７は、図１６に示すスマートフォン７０の構成を示すブロック図である。図１７に示すように、スマートフォンの主たる構成要素として、無線通信部８４と、表示入力部７４と、通話部８６と、操作部８０と、カメラ部８２と、記憶部８８と、外部入出力部９０と、ＧＰＳ（Global Positioning System）受信部９２と、モーションセンサ部９４と、電源部９６と、主制御部９８とを備える。また、スマートフォン７０の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部８４は、主制御部９８の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示入力部７４は、主制御部９８の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル７４Ａと、操作パネル７４Ｂとを備える。
表示パネル７４Ａは、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル７４Ｂは、表示パネル７４Ａの表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部９８に出力する。次いで、主制御部９８は、受信した検出信号に基づいて、表示パネル７４Ａ上の操作位置（座標）を検出する。
図１６に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン７０の表示パネル７４Ａと操作パネル７４Ｂとは一体となって表示入力部７４を構成しているが、操作パネル７４Ｂが表示パネル７４Ａを完全に覆うような配置となっている。係る配置を採用した場合、操作パネル７４Ｂは、表示パネル７４Ａ外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル７４Ｂは、表示パネル７４Ａに重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル７４Ａに重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル７４Ａの大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル７４Ｂが、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体７２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル７４Ｂで採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部８６は、スピーカ７６やマイクロホン７８を備え、マイクロホン７８を通じて入力されたユーザの音声を主制御部９８にて処理可能な音声データに変換して主制御部９８に出力したり、無線通信部８４あるいは外部入出力部９０により受信された音声データを復号してスピーカ７６から出力するものである。また、図１６に示すように、例えば、スピーカ７６を表示入力部７４が設けられた面と同じ面に搭載し、マイクロホン７８を筐体７２の側面に搭載することができる。
操作部８０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１６に示すように、操作部８０は、スマートフォン７０の筐体７２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部８８は、主制御部９８の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部８８は、スマートフォン内蔵の内部記憶部８８Ａと着脱自在な外部メモリスロットを有する外部記憶部８８Ｂにより構成される。なお、記憶部８８を構成するそれぞれの内部記憶部８８Ａと外部記憶部８８Ｂは、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
外部入出力部９０は、スマートフォン７０に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））、ＵＷＢ（登録商標）（Ultra Wideband）、ジグビー（ZigBee（登録商標）など）により直接的又は間接的に接続するためのものである。
スマートフォン７０に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン７０の内部の各構成要素に伝達することや、スマートフォン７０の内部のデータが外部機器に伝送されるようにすることができる。
ＧＰＳ受信部９２は、主制御部９８の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン７０の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部９２は、無線通信部８４や外部入出力部９０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部９４は、例えば、３軸の加速度センサなどを備え、主制御部９８の指示にしたがって、スマートフォン７０の物理的な動きを検出する。スマートフォン７０の物理的な動きを検出することにより、スマートフォン７０の動く方向や加速度が検出される。係る検出結果は、主制御部９８に出力されるものである。
電源部９６は、主制御部９８の指示にしたがって、スマートフォン７０の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部９８は、マイクロプロセッサを備え、記憶部８８が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン７０の各部を統括して制御するものである。また、主制御部９８は、無線通信部８４を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部８８が記憶するアプリケーションソフトウェアにしたがって主制御部９８が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部９０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
また、主制御部９８は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部７４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部９８が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部７４に表示する機能のことをいう。
更に、主制御部９８は、表示パネル７４Ａに対する表示制御と、操作部８０、操作パネル７４Ｂを通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部９８は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示したりする。なお、スクロールバーとは、表示パネル７４Ａの表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部９８は、操作部８０を通じたユーザ操作を検出したり、操作パネル７４Ｂを通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部９８は、操作パネル７４Ｂに対する操作位置が、表示パネル７４Ａに重なる重畳部分（表示領域）か、それ以外の表示パネル７４Ａに重ならない外縁部分（非表示領域）かを判定し、操作パネル７４Ｂの感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部９８は、操作パネル７４Ｂに対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部８２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部８２は、主制御部９８の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部８８に記録したり、入出力部９０や無線通信部８４を通じて出力したりすることができる。図１６に示すにスマートフォン７０において、カメラ部８２は表示入力部７４と同じ面に搭載されているが、カメラ部８２の搭載位置はこれに限らず、表示入力部７４の背面に搭載されてもよいし、あるいは、複数のカメラ部８２が搭載されてもよい。なお、複数のカメラ部８２が搭載されている場合には、撮影に供するカメラ部８２を切り替えて単独にて撮影したり、あるいは、複数のカメラ部８２を同時に使用して撮影したりすることもできる。
また、カメラ部８２はスマートフォン７０の各種機能に利用することができる。例えば、表示パネル７４Ａにカメラ部８２で取得した画像を表示することや、操作パネル７４Ｂの操作入力のひとつとして、カメラ部８２の画像を利用することができる。また、ＧＰＳ受信部９２が位置を検出する際に、カメラ部８２からの画像を参照して位置を検出することもできる。更には、カメラ部８２からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン７０のカメラ部８２の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部８２からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにＧＰＳ受信部９２により取得した位置情報、マイクロホン７８により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部９４により取得した姿勢情報等などを付加して記憶部８８に記録したり、入出力部９０や無線通信部８４を通じて出力したりすることもできる。

Claims (12)

  1. 同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、
    前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、
    前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、
    前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、
    前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、
    前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、
    を備えた画像処理装置。
  2. 前記中間合成画像生成手段は、前記第１の差の絶対値が前記第１閾値より大きく前記第１閾値より大きい第２閾値以下である場合には、当該第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を徐々に大きくなるように設定して、前記基準画像と前記変形画像との合成処理を行う
    請求項１記載の画像処理装置。
  3. 前記最終画像生成手段は、前記第２の差の絶対値が第３閾値より大きく前記第３閾値より大きい第４閾値以下である場合には、当該第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に小さくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
    請求項１または２記載の画像処理装置。
  4. 前記ノイズ低減画像生成手段は、前記中間合成画像生成手段による合成処理の回数が多いほどノイズを低減する強度が大きくなるようにノイズ低減画像を生成する
    請求項１乃至３の何れか１項記載の画像処理装置。
  5. 前記ノイズ低減画像生成手段は、前記中間合成画像における前記基準画像の重みが重いほどノイズを低減する強度が小さくなるようにノイズ低減画像を生成する
    請求項１乃至３の何れか１項記載の画像処理装置。
  6. 前記複数の画像の各々を、全ての画像が同一の重みとなるように合成した単純合成画像を生成する単純合成画像生成手段をさらに備え、
    前記最終画像生成手段は、前記単純合成画像と前記中間合成画像との対応する画素間の画素値の第３の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
    請求項１記載の画像処理装置。
  7. 前記最終画像生成手段は、前記第３の差の絶対値が第５閾値より大きく前記第５閾値より大きい第６閾値以下である場合には、当該差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
    請求項６記載の画像処理装置。
  8. 前記最終画像生成手段は、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
    請求項１記載の画像処理装置。
  9. 前記最終画像生成手段は、前記中間合成画像における前記基準画像の重みが第７閾値より大きく前記第７閾値より大きい第８閾値以下である場合には、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
    請求項８記載の画像処理装置。
  10. 被写体を撮影する撮影手段と、
    請求項１乃至９の何れか１項記載の画像処理装置とを備え、
    前記取得手段は、前記撮影手段により同一被写体を複数回撮影して得られた画像を取得する撮影装置。
  11. コンピュータを、
    同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、
    前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、
    前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、
    前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、
    前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、
    前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、
    として機能させるためのプログラム。
  12. 同一被写体を複数回撮影して得られた複数の画像を取得する画像取得ステップと、
    前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択ステップと、
    前記基準画像選択ステップにより選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成ステップと、
    前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成ステップと、
    前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成ステップと、
    前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成ステップと、
    を備えた画像処理方法。
JP2014507456A 2012-03-30 2013-01-09 画像処理装置、撮影装置、プログラム及び画像処理方法 Expired - Fee Related JP5567235B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014507456A JP5567235B2 (ja) 2012-03-30 2013-01-09 画像処理装置、撮影装置、プログラム及び画像処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012080949 2012-03-30
JP2012080949 2012-03-30
JP2014507456A JP5567235B2 (ja) 2012-03-30 2013-01-09 画像処理装置、撮影装置、プログラム及び画像処理方法
PCT/JP2013/050243 WO2013145799A1 (ja) 2012-03-30 2013-01-09 画像処理装置、撮影装置、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
JP5567235B2 JP5567235B2 (ja) 2014-08-06
JPWO2013145799A1 true JPWO2013145799A1 (ja) 2015-12-10

Family

ID=49259085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014507456A Expired - Fee Related JP5567235B2 (ja) 2012-03-30 2013-01-09 画像処理装置、撮影装置、プログラム及び画像処理方法

Country Status (4)

Country Link
US (1) US9235916B2 (ja)
JP (1) JP5567235B2 (ja)
CN (1) CN104205804B (ja)
WO (1) WO2013145799A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192487A1 (ja) * 2013-05-29 2014-12-04 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
JP5953285B2 (ja) * 2013-11-11 2016-07-20 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
EP3179716B1 (en) * 2014-08-27 2019-10-09 Huawei Technologies Co., Ltd. Image processing method, computer storage medium, device, and terminal
JP6452414B2 (ja) * 2014-12-03 2019-01-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
GB2536430B (en) * 2015-03-13 2019-07-17 Imagination Tech Ltd Image noise reduction
GB2536429B (en) * 2015-03-13 2018-01-10 Imagination Tech Ltd Image noise reduction
CN107683403B (zh) * 2015-06-09 2020-05-05 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
TWI598847B (zh) 2015-10-27 2017-09-11 東友科技股份有限公司 影像接合方法
JP2017092909A (ja) * 2015-11-17 2017-05-25 株式会社東芝 撮像装置、画像処理装置およびプログラム
CN105491358B (zh) * 2015-11-26 2018-11-16 努比亚技术有限公司 一种图像处理方法及装置、终端
TW201742001A (zh) * 2016-05-30 2017-12-01 聯詠科技股份有限公司 影像雜訊估測方法及裝置與影像擷取裝置
US10475215B2 (en) * 2016-09-23 2019-11-12 Carestream Health, Inc. CBCT image processing method
CN107220951A (zh) * 2017-05-31 2017-09-29 广东欧珀移动通信有限公司 人脸图像降噪方法、装置、存储介质及计算机设备
CN107330867B (zh) 2017-06-16 2020-02-18 Oppo广东移动通信有限公司 图像合成方法、装置、计算机可读存储介质和计算机设备
CN111050646B (zh) * 2017-09-01 2023-02-28 株式会社岛津制作所 图像处理装置
US20200099862A1 (en) * 2018-09-21 2020-03-26 Qualcomm Incorporated Multiple frame image stabilization
CN109889695A (zh) * 2019-02-27 2019-06-14 努比亚技术有限公司 一种图像区域确定方法、终端及计算机可读存储介质
CN109951634B (zh) * 2019-03-14 2021-09-03 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
JP6562492B1 (ja) * 2019-05-16 2019-08-21 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム
CN110827219B (zh) * 2019-10-31 2023-04-07 北京小米智能科技有限公司 图像处理模型的训练方法、装置及介质
CN111401411B (zh) * 2020-02-28 2023-09-29 北京小米松果电子有限公司 获取样本图像集的方法及装置
JP2022159844A (ja) * 2021-04-05 2022-10-18 キヤノン株式会社 画像形成装置、その制御方法、及びプログラム
US11330145B1 (en) 2021-06-10 2022-05-10 Bank Of America Corporation Image processing edge device for document noise removal
CN116862918B (zh) * 2023-09-05 2023-11-24 浙江奔月电气科技有限公司 基于人工智能的环网柜内部凝露实时检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517242A (en) * 1993-06-29 1996-05-14 Kabushiki Kaisha Toyota Chuo Kenkyusho Image sensing device having expanded dynamic range
JP3539539B2 (ja) * 1998-04-28 2004-07-07 シャープ株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP4272443B2 (ja) * 2003-02-05 2009-06-03 パナソニック株式会社 画像処理装置および画像処理方法
CN101222584A (zh) * 2007-01-12 2008-07-16 三洋电机株式会社 晃动检测装置、晃动修正装置及方法
JP5112104B2 (ja) * 2008-02-15 2013-01-09 オリンパス株式会社 画像処理装置及び画像処理プログラム
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP4727720B2 (ja) * 2008-12-31 2011-07-20 株式会社モルフォ 画像処理方法および画像処理装置
JP2010200178A (ja) * 2009-02-26 2010-09-09 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体

Also Published As

Publication number Publication date
CN104205804B (zh) 2016-05-25
JP5567235B2 (ja) 2014-08-06
US9235916B2 (en) 2016-01-12
CN104205804A (zh) 2014-12-10
WO2013145799A1 (ja) 2013-10-03
US20150010247A1 (en) 2015-01-08

Similar Documents

Publication Publication Date Title
JP5567235B2 (ja) 画像処理装置、撮影装置、プログラム及び画像処理方法
US9578260B2 (en) Digital photographing apparatus and method of controlling the digital photographing apparatus
JP5694607B2 (ja) 画像処理装置、撮像装置及び画像処理方法、並びにプログラム
US10095004B2 (en) Imaging apparatus and focusing control method
JP4513903B2 (ja) 画像処理装置、及び画像処理方法
US20180007292A1 (en) Imaging device, imaging method, and image processing device
JP5901782B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6086975B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5903528B2 (ja) 撮像装置及び画像処理方法
WO2015141084A1 (ja) 撮像装置及び合焦制御方法
JP5923595B2 (ja) 画像処理装置及び方法並びに撮像装置
JP7112529B2 (ja) 撮像装置、撮像方法、及びプログラム
JP7110406B2 (ja) 撮像装置、撮像方法、及びプログラム
JPWO2018066454A1 (ja) 撮像装置、撮像方法、およびプログラム
WO2013136602A1 (ja) プロジェクタ付き撮影装置及びその撮影制御方法
JP5832673B2 (ja) 撮像装置およびその動作制御方法
JP5901780B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
CN107085841B (zh) 一种图片拉焦处理方法及终端
JP5932862B2 (ja) デジタルカメラの撮像方法及びコンピュータが実行可能なプログラム
JP6810298B2 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置
WO2020003944A1 (ja) 撮像装置、撮像方法、及びプログラム
KR101611303B1 (ko) 영상 촬영 방법 및 장치

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140618

R150 Certificate of patent or registration of utility model

Ref document number: 5567235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees