JP5678911B2 - 画像合成装置、その画像合成方法、及びプログラム - Google Patents

Description

本発明は、分割露光で撮像した複数画像を撮影画像として合成する画像合成装置、その画像合成方法、及びプログラムに関するものである。

従来、星空等の光量の少ない被写体を適正露出で撮影する際には、長時間露光が必要であるため、撮影画像として星等の移動物体が流れた画像しか得ることができなかった。これを解決可能とする技術として、例えば下記特許文献１には、撮像装置において、各回の露光時間を短時間とした分割露光による撮像を行い、撮像した複数画像を合成するとともに、その際、各画像を移動物体である被写体の移動量分だけずらす技術が記載されている。

係る技術によれば、複数画像を合成することで必要な露光量を確保すると共に、合成時に各画像を被写体の移動量分だけずらすことにより、移動物体が静止した画像を得ることができる。

特開２００３−２５９１８４号公報

しかしながら、上記の技術においては、被写体が移動物体のみである場合はよいが、例えば建物や風景のように移動しない物体が被写体として含まれる場合には、撮影画像が移動物体とは逆に移動しない物体が流れた画像になってしまうなど、移動物体と非移動物体との双方を適切に合成することができないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、分割露光で撮像した複数画像を撮影画像として合成する際、移動物体と非移動物体との双方を適切に合成することが可能な画像合成装置、その画像合成方法、及びプログラムを提供することを目的とする。

前記課題を解決するため、本発明にあっては、連続して撮像し複数の画像を取得する画像取得手段と、前記画像取得手段により取得された複数画像の各々から、画像間で位置が変化する移動物体の画像部分を抽出する第１の抽出手段と、前記画像取得手段による連続撮像により異なるタイミングで撮像された一組の画像を加算して得られた加算画像から、前記一組の画像の一方から他方を減算して得られた減算画像を減算することによって、前記画像取得手段により取得された複数画像の各々から、画像間で位置が変化しない非移動物体の画像部分を抽出する第２の抽出手段と、前記第１の抽出手段により抽出された前記複数画像の各々における前記移動物体の画像部分の位置を画像間における位置の変化に応じて移動し、かつ前記第２の抽出手段により抽出された前記複数画像の各々における前記非移動物体の画像部分の位置は固定したまま、各々の画像部分を合成し撮影画像を生成する合成手段とを備えたことを特徴とする。

本発明によれば、分割露光で撮像した複数画像を撮影画像として合成する際、移動物体と非移動物体との双方を適切に合成することが可能となる。

本発明に係る撮像装置としてのデジタルカメラのブロック図である。 同デジタルカメラの星空撮影モードでの動作内容を示すフローチャートである。 分割露光撮影に際して取得する画像の一例を示す図である。 本画像における撮影時刻に応じた星の位置を示す図である。 本画像に基づき作成される画像を示す図である。 一連の移動物体画像の一部を、対応する本画像の撮影順に示す図である。 最終的な撮影画像に先立ち作成される画像を示す図である。

以下、本発明の実施形態について説明する。図１は、本発明に係る撮像装置としてのデジタルカメラ１の概略構成を示すブロック図である。

デジタルカメラ１は、ＣＰＵ（Central Processing Unit）２によってシステムの全体を制御される構成である。ＣＰＵ２には、現在の日付と時刻とを得るためのカレンダー機能を有する内蔵時計２ａが含まれる。

デジタルカメラ１は、フォーカスレンズを含む光学系と機械式シャッタからなるレンズブロック３と、レンズブロック３内における光学系、機械式シャッタをそれぞれ駆動するためのモータ等のアクチュエータ４とを有している。そして、アクチュエータ４を駆動するための各種のドライバにより構成されるドライバブロック５がバス６を介して接続されている。

また、デジタルカメラ１は、撮像手段としてＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像素子７を有している。撮像素子７は、ＴＧ（Timing Generator）８が生成した垂直タイミング信号と、水平タイミング信号と、電子シャッタタイミング信号に従い水平／垂直ドライバ９によって駆動される。

撮像素子７は、水平／垂直ドライバ９によって駆動されることにより、レンズブロック３の光学系において結像された被写体の光学像（被写体像）を光電変換することによって、アナログの撮像信号をＡＦＥ（Analog Front End）１０に供給する。

ＡＦＥ１０は、ＣＤＳ（Correlated Double Sampling）と、ＰＧＡ（Programmable Gain Amp）、ＡＤＣ（Analog-to-Digital converter）等から構成される。ＡＦＥ１０は、アナログの撮像信号に対しＣＤＳ処理によるノイズ除去、及び撮像信号のデジタル信号への変換を行い、ＤＳＰ（Digital Signal Processor）１１へ出力する。

ＤＳＰ１１は、入力した撮像信号をＲＧＢデータに変換し、さらにＲＧＢデータを輝度（Ｙ）成分及び色差（ＵＶ）成分からなるＹＵＶデータに変換する。また、ＤＳＰ１１は、ＹＵＶデータにオートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を施し、順次ＳＤＲＡＭ１２に記憶させる。

撮影モードでは、ＳＤＲＡＭ１２に１フレーム分（１画面分）のＹＵＶデータ（画像データ）が蓄積される毎に、ＹＵＶデータが液晶モニタ（ＬＣＤ）１３へ送られてライブビュー画像として画面表示される。また、シャッタキーが押された撮影時には、ＣＰＵ２がＳＤＲＡＭ１２に一時記憶されるＹＵＶデータを圧縮し、所定のフォーマットの画像ファイルとして外部メモリ１４に記録する。外部メモリ１４は、図示しないカードインターフェイスを介してカメラ本体に接続された着脱自在なメモリカードである。

再生モードにおいてＣＰＵ２は、外部メモリ１４に記録された画像ファイルをユーザの選択操作に応じて読み出し伸張し、ＹＵＶデータとしてＳＤＲＡＭ１２に展開させた後、液晶モニタ１３に表示させる。

フラッシュメモリ１５は、ＣＰＵ２にカメラ全体を制御させるための複数種のプログラムやデータが記憶されているプログラム格納用メモリである。フラッシュメモリ１５に記憶されているプログラムには、ＣＰＵ２にＡＦ（auto focus）制御やＡＥ（Auto Exposure）制御、ＡＷＢ（Auto White Balance）制御や、後述する処理を行わせるための制御プログラムが含まれる。

キー入力部１６は、シャッタキー、及びデジタルカメラ１の基本の動作モードである撮影モードと再生モードとの切り替えや、撮影モードの下位の動作モードとして設けられている個別の撮影モードの選択に使用されるモード切替キー等の複数の操作キーから構成される。キー入力部１６における操作キーの操作状態はＣＰＵ２により随時監視される。

そして、本実施形態のデジタルカメラ１には、撮影モードの下位の動作モードとして、デジタルカメラ本体を三脚等で固定した状態で星空を撮影する際に使用する星空撮影モードが設けられており、星空撮影モードにおいては、ＣＰＵ２がフラッシュメモリ１５に記憶されているプログラムに従い以下の処理を実行する。

概略を述べると、星空撮影モードにおいてＣＰＵ２は、被写体の明るさに応じた分割露光による撮像を行い、係る撮像により取得した複数枚の画像から、画像合成を含む所定の処理を行うことによって最終的な撮影画像を取得して記録する。

以下、星空撮影モードでＣＰＵ２が実行する具体的な処理内容を、図２に示したフローチャートに従って説明する。

ＣＰＵ２は、ユーザによって星空撮影モードが設定されると処理を開始し、まず基準時刻を設定する（ステップＳ１）。基準時刻は前述した複数枚の画像を合成する際に基準とする画像の撮影時刻であり、係る時刻はユーザに所定のキー操作によって指定させる。ユーザに指定させる時刻は具体的な時刻に限らず、例えば撮影開始時、撮影終了時や、ｎ分後やｎ時間後（但し、ｎは任意の値）といった撮影開始時点を起点とした相対的な時刻が含まれる。

次に、ＣＰＵ２は、シャッタキーの押下による撮影指示があるまで待機し（ステップＳ２：ＮＯ）、撮影指示があると（ステップＳ２：ＹＥＳ）、ＡＥ制御によって適正露出を得るための露光時間（以下、全露光時間という。）を決定する（ステップＳ３）。

さらに、ＣＰＵ２は、ステップＳ３で決定した全露光時間に応じた撮影枚数Ｎを決定する（ステップＳ４）。係る処理に際してＣＰＵ２は、全露光時間（Ｔ）を、既定の単位露光時間（ｔ）で割った値（Ｔ／ｔ）を求め、それを撮影枚数Ｎとして決定する。

既定の単位露光時間は、分割露光撮影で得られる複数枚の撮影画像に不可避的に含まれる、撮像素子７で発生する暗電流に起因する暗電流ノイズを抑えることを考慮して予め決められた短い露光時間（数秒）である。

しかる後、ＣＰＵ２は、撮影開始時刻が到来するまで待機し（ステップＳ５：ＮＯ）、撮影開始時刻が到来すると（ステップＳ５：ＹＥＳ）、ステップＳ６〜ステップＳ８の処理を繰り返すことにより、撮影枚数Ｎ分の撮影画像を取得する。

ここで、撮影開始時刻は、ステップＳ１の処理で設定した基準時刻に対応する時刻であり、例えば基準時刻が具体的な時刻であればその時刻である。また、基準時刻が撮影開始時、及び撮影終了時であった場合においては、ステップＳ５の処理タイミング、すなわち現在時刻である。その場合、ＣＰＵ２は、ステップＳ５の処理タイミングで、直ちにステップＳ６〜ステップＳ８の処理を開始する。

また、基準時刻がｎ分後やｎ時間後といった撮影開始時点を起点とした相対的な時刻であった場合、撮影開始時刻は現在時刻からｎ分後やｎ時間後の時刻である。なお、係る相対的な時刻に対応する撮影開始時刻については、現在時刻からｎ分やｎ時間が経過した時点の時刻や、それから全露光時間だけ手前の時刻とすることもできる。

そして、上述した撮影開始時刻が到来すると、ＣＰＵ２は直ちに本画像撮影（ステップＳ６）、ダーク画像撮影（ステップＳ７）、本画像からダーク画像を「減算」した画像の作成、記憶（ステップＳ８）からなる一連の処理を開始する。

ステップＳ６の処理は、先に説明した単位露光時間の露光によって通常の撮影画像（以下、本画像という。）を取得する処理である。図３（ａ）に、ステップＳ６の処理で得られる本画像１０１の例を示す。本画像１０１には、時間が経過しても移動しない物体（以下、非移動物体という。）である山（風景）２０１及び北極星２０２と、日周運動で移動する他の星２０３とが含まれ、さらに不可避的に生ずる暗電流ノイズ２０４が含まれる。

ここで、実際の暗電流ノイズ２０４は画像内の複数ヶ所に点在するが、本画像１０１の撮影時における露光時間は前述したように既定の単位露光時間であって短かい時間である。そのため、本画像１０１における暗電流ノイズ２０４は、主として再現性を有する固定パターンノイズとなる。

ステップＳ７のダーク画像撮影は、レンズブロック３における機械式シャッター（不図示）を閉じた状態で撮影を行うことによりノイズ成分のみからなるノイズ画像（以下、ダーク画像という。）を取得する処理である。図３（ｂ）は、ステップＳ７の処理で得られるダーク画像１０２の例を示す図であり、ダーク画像１０２には、本画像１０１に含まれていた被写体は含まれず、暗電流ノイズ２０４のみが存在する。

また、ステップＳ８の処理は、本画像からダーク画像を減算することによって本画像から暗電流ノイズを除去し、ノイズ除去後の本画像をＤＳＲＡＭ１２に予め確保した作業領域に一時的に記憶する処理である。図３（ｃ）は、ステップＳ８の処理で得られるノイズ除去後の本画像であるノイズ除去画像１０３を示す図である。

ここで、既説したように本画像１０１に存在する暗電流ノイズ２０４は、主として再現性を有する固定パターンノイズである。したがって、ステップＳ８の処理を行うことにより、暗電流ノイズ２０４が極めて少ない良好な状態の画像をノイズ除去画像１０３として得ることができる。

以後、ＣＰＵ２は、設定した撮影枚数Ｎ分の撮影が終了するまで、すなわちＮ枚のノイズ除去画像１０３を取得するまで（ステップＳ９：ＮＯ）、前述したステップＳ６〜ステップＳ８の一連の処理を繰り返す。これによりＳＤＲＡＭ１２には、図４（ａ）〜（ｆ）に示したように、画像内における複数の星２０３の位置が、撮影タイミングの違いに応じて徐々に変化しているＮ枚のノイズ除去画像１０３が一時的に記憶される。

その後、撮影枚数Ｎ分の撮影が終了すると（ステップＳ９：ＹＥＳ）、ＣＰＵ２は全てのノイズ除去画像１０３について、撮影順が相前後する２枚のノイズ除去画像１０３を処理対象として以下の処理を繰り返し行う。

まず、ＣＰＵ２は、処理対象とする２枚一組のノイズ除去画像を示す変数ｎを設定する（ステップＳ１０）。なお、変数ｎの初期値は１であり、ステップＳ１０の処理を繰り返す毎に、ＣＰＵ２は変数ｎに３，５，７，・・・といった奇数を順に設定する（ステップＳ１０）。

次に、ＣＰＵ２は、ｎ枚目のノイズ除去画像からｎ＋１枚目のノイズ除去画像を減算する減算処理を行い差分画像を作成する（ステップＳ１１）。図５（ａ）はｎ枚目のノイズ除去画像Ｇ１、図５（ｂ）はｎ＋１枚目のノイズ除去画像Ｇ２、図５（ｃ）は差分画像Ｇ３をそれぞれ示した図である。

図５（ｃ）に示したように差分画像Ｇ３には、ｎ枚目、及びｎ＋１枚目のノイズ除去画像Ｇ１，Ｇ２に共通する非移動物体である山２０１及び北極星２０２が減算される結果、双方のノイズ除去画像Ｇ１，Ｇ２の各々に存在していた移動物体である複数の星２０３のみが異なる位置に存在することになる。

次に、ＣＰＵ２は、ｎ枚目のノイズ除去画像Ｇ１とｎ＋１枚目のノイズ除去画像Ｇ２とを加算する加算処理を行い、図５（ｄ）に示したような加算画像Ｇ４を作成する（ステップＳ１２）。

図５（ｄ）に示したように加算画像Ｇ４には、非移動物体である山２０１及び北極星２０２と、日周運動している移動物体である複数の星２０３との双方が存在することになる。また、加算画像Ｇ４においては、非移動物体である山２０１及び北極星２０２の明るさがｎ枚目、及びｎ＋１枚目のノイズ除去画像での明るさの２倍となる。

なお、ＣＰＵ２は、以上の処理で作成した差分画像Ｇ３、及び加算画像Ｇ４をＳＤＲＡＭ１２に予め確保されている作業領域に一時記憶する。

次に、ＣＰＵ２は、差分画像Ｇ３と加算画像Ｇ４との差分を抽出する減算処理を行い、図５（ｅ）に示したような非移動物体画像Ｇ５を作成し（ステップＳ１３）、係る非移動物体画像Ｇ５をＳＤＲＡＭ１２に予め確保した作業領域に一時的に記憶する。

図５（ｅ）に示したように非移動物体画像Ｇ５には、非移動物体である山２０１及び北極星２０２のみがｎ枚目、及びｎ＋１枚目のノイズ除去画像Ｇ１，Ｇ２の２倍の明るさで存在する。

引き続き、ＣＰＵ２は、非移動物体画像Ｇ５の明るさを１／２に低下させたうえで、非移動物体画像Ｇ５とｎ枚目のノイズ除去画像Ｇ１とを対象として減算処理を行い、図５（ｆ）に示したような移動物体画像Ｇ６を作成する（ステップＳ１４）。図５（ｆ）に示したように、移動物体画像Ｇ６には、ｎ枚目のノイズ除去画像Ｇ１に存在していた移動物体である複数の星２０３のみが、ｎ枚目のノイズ除去画像Ｇ１と同じ明るさで存在することとなる。

さらに、ＣＰＵ２は、非移動物体画像Ｇ５の明るさを１／２に低下させたうえで、非移動物体画像Ｇ５とｎ＋１枚目のノイズ除去画像Ｇ２とを対象として減算処理を行い、図５（ｇ）に示したような移動物体画像Ｇ７を作成する（ステップＳ１５）。図５（ｇ）に示したように移動物体画像Ｇ７には、ｎ＋１枚目のノイズ除去画像Ｇ２に存在していた移動物体である複数の星２０３のみが、ｎ＋１枚目のノイズ除去画像Ｇ２と同じ明るさで存在するものとなる。

なお、ＣＰＵ２は、ステップＳ１４、及びステップＳ１５の処理に際し、各処理で作成した移動物体画像Ｇ６，Ｇ７をＳＤＲＡＭ１２に予め確保した作業領域に一時的に記憶する。

以後、ＣＰＵ２は、撮影枚数Ｎの１／２に相当する全ての組についての処理が完了するまで（ステップＳ１６：ＮＯ）、ステップＳ１０の処理に戻り変数ｎを変更したうえで、前述したステップＳ１１〜ステップＳ１５の処理を繰り返す。

なお、図示しないが、撮影枚数Ｎが偶数ではなく奇数であった場合、ＣＰＵ２は、Ｎ枚目（最後）のノイズ除去画像については、例外的にＮ枚目のノイズ除去画像とＮ−１枚目のノイズ除去画像とを一組として同様の処理を行う。なお、以下の説明においては、便宜上、撮影枚数Ｎが偶数であることを前提とする。

以上の処理により、ＳＤＲＡＭ１２には、移動物体である複数の星２０３のみがそれぞれ存在する、合計Ｎ枚の移動物体画像Ｇ６，Ｇ７が記憶される。なお、以下の説明では移動物体画像Ｇ６，Ｇ７を一連の移動物体画像と総称する。同時に、ＳＤＲＡＭ１２には、非移動物体である山２０１及び北極星２０２のみが２倍の明るさで存在するＮ／２枚の非移動物体画像Ｇ５が記憶される。

図６は、ＳＤＲＡＭ１２に記憶される一連の移動物体画像１０４の一部を、各々が対応する本画像の撮影順、つまり複数の星２０３が撮影された順に並べた図である。図６に示したように一連の移動物体画像１０４においては、複数の星２０３の位置に、撮影時刻の差に応じた日周運動の移動分だけのずれが存在することとなる。

その後、撮影枚数Ｎの１／２の相当する全ての組についての処理が完了すると（ステップＳ１６：ＹＥＳ）、ＣＰＵ２は引き続き以下の処理を行う。

まず、ＣＰＵ２は、Ｎ枚の移動物体画像１０４から、複数の星２０３の日周運動の「移動量」を計算する（ステップＳ１７）。係る処理は、Ｎ枚の移動物体画像１０４のうちで、ステップＳ１で設定した基準時刻において撮影された本画像に対応する移動物体画像１０４を基準画像として、係る基準画像における複数の星２０３に対する他の移動物体画像１０４の複数の星２０３の相対的な移動量を計算する処理である。

具体的に述べると、画像間における複数の星２０３の移動が日周運動であって、北極星２０２を中心とした回転移動であるため、公知の画像処理技術を用いて北極星２０２の位置に対応する回転中心を特定した後、基準画像以外の移動物体画像１０４について基準画像に対する相対的な回転角度を移動量として演算する。

その際、回転中心は以下の方法により特定する。まずＮ枚の移動物体画像１０４を合成し、図７（ａ）に示したような作業用合成画像１０５を作成する。ここで作業用合成画像１０５内においては同一の星２０３の移動軌跡が円弧となる。したがって、例えば認識しやすい最も明るい任意の星２０３について移動軌跡を特定し、特定した移動軌跡を含む円の中心を求めることによって回転中心を特定する。なお、撮影時の画角内に北極星が含まれていない場合、回転中心は画像外に存在することとなる。

次に、ＣＰＵ２は、基準画像となる移動物体画像１０４に、他の複数枚の移動物体画像１０４をステップＳ１７の処理で計算した移動量に応じた位置調整（回転）を行いながら順に加算し、十分な明るさが確保された複数の星２０３のみが存在する、図７（ｂ）に示したような第１の合成画像１０６を作成する（ステップＳ１８）。なお、図７（ｂ）は、基準時刻が撮影開始時であって、１枚目の移動物体画像１０４を基準画像とした場合の例である。

さらに、ＣＰＵ２は、Ｎ／２枚の非移動物体画像Ｇ５を加算し、十分な明るさが確保された山２０１及び北極星２０２のみが存在する、図７（ｃ）に示したような第２の合成画像１０７を作成する（ステップＳ１９）。

しかる後、ＣＰＵ２は、第１の合成画像１０６と第２の合成画像１０７を加算するとこによって、十分な明るさが確保された複数の星２０３と山２０１及び北極星２０２が存在する、図７（ｄ）に示したような最終的な撮影画像１０８を作成し（ステップＳ２０）、外部メモリ１４に保存する（ステップＳ２１）。

したがって、デジタルカメラ１においては、星空を撮影する際、星空撮影モードを使用することにより、適正露出で撮影された場合と同様の明るさが確保されるとともに、分割露光で撮影された移動物体である複数の星と、非移動物体である山及び北極星との双方が適切に合成された撮影画像を得ることができる。

また、本実施形態においては、分割露光で撮像した複数枚の画像から暗電流ノイズを除去したノイズ除去画像を撮影画像の合成に使用することにより、質のよい撮影画像を得ることができる。

また、本実施の形態においては、前述したように、撮影画像の合成に先立つ処理において、ｎ枚目のノイズ除去画像Ｇ１と、ｎ＋１枚目のノイズ除去画像Ｇ２を加算した加算画像Ｇ４から、ｎ枚目のノイズ除去画像Ｇ１からｎ＋１枚目のノイズ除去画像Ｇ２を減算した差分画像Ｇ３を減算することによって、２枚一組のノイズ除去画像から非移動物体である山２０１及び北極星２０２を抽出するようにした（図５参照）。これにより、非移動物体の画像部分を高精度かつ効率よく得ることができる。

また、ｎ枚目のノイズ除去画像Ｇ１と、ｎ＋１枚目のノイズ除去画像Ｇ２とから、それぞれ差分画像Ｇ３を明るさを１／２にして減算することによって、各々のノイズ除去画像から移動物体である複数の星２０３を抽出するようにした（図５参照）。これにより、移動物体の画像部分を高精度かつ効率よく得ることができる。

また、本実施形態においては、ユーザに指定された基準時刻を、複数枚の画像を合成する際に基準とする画像の撮影時刻として設定し、異なる時刻に撮影された移動物体である複数の星２０３の位置を、基準時刻に該当する位置に回転移動、つまり補正して合成するようにした。したがって、ユーザは、撮影画像として、複数の星２０３が所望する時刻に該当する位置に静止した画像を得ることができる。

また、例えば基準時刻が撮影開始時である場合には、１枚目の画像の撮影時における複数の星２０３の位置が合成後の撮影画像における複数の星２０３の位置となる。したがって、その場合には、撮影時にユーザが実際に確認している状態の画像を撮影画像として得ることができる。

なお、本実施形態においては、ユーザが指定した基準時刻において撮影された本画像に対応する移動物体画像１０４を基準画像とし、基準画像における複数の星２０３に他の移動物体画像１０４における複数の星２０３を合成する構成とし、また、先の説明では基準画像を１枚目の画像とする場合について説明した。しかし、基準画像は固定されていてもよく、本発明の実施に際しては、例えば複数回Ｎの撮影のうちの最後（Ｎ枚目）の画像や、撮影回数が中央（Ｎ／２枚目）の画像、さらにはその他の任意の撮影回数の画像とすることができる。

なお、以上の説明においては、本発明を、デジタルカメラ１において星空を撮影する際に使用する星空撮影モードでの動作に適用した場合について説明した。つまり被写体が暗く、かつ画角内に存在する移動物体の移動速度が極めて遅い場合の適用例について説明した。しかし、本発明は、被写体が明るく、かつ画角内に存在する移動物体の移動速度が速い場合であっても適用することができる。

以上、本発明のいくつかの実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。
以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
分割露光で撮像した複数画像を撮影画像として合成する撮像装置において、前記複数画像の各々から、画像間で位置が変化する移動物体の画像部分を抽出する第１の抽出手段と、前記複数画像の各々から、画像間で位置が変化しない非移動物体の画像部分を抽出する第２の抽出手段と、前記第１の抽出手段により抽出された前記複数画像の各々における前記移動物体の画像部分の位置を画像間における位置の変化に応じて移動し、かつ前記第２の抽出手段により抽出された前記複数画像の各々における前記非移動物体の画像部分の位置は固定したまま、各々の画像部分を合成し適正露出の撮影画像を生成する合成手段とを備えたことを特徴とする撮像装置。
［請求項２］
前記合成手段は、前記撮影画像として、前記移動物体及び前記非移動物体が共に静止している内容の画像を生成することを特徴とする請求項１記載の撮像装置。
［請求項３］
前記第２の抽出手段は、分割露光により異なるタイミングで撮像された一組の画像を加算して得られた加算画像から、前記一組の画像の一方から他方を減算して得られた減算画像を減算することによって、前記複数画像の各々から前記非移動物体の画像部分を抽出することを特徴とする請求項１又は２記載の撮像装置。
［請求項４］
前記第１の抽出手段は、前記複数画像の各々から、前記第２の抽出手段により抽出された非移動物体の画像部分を減算することによって、前記複数画像の各々における前記移動物体の画像部分を抽出することを特徴とする請求項１又は２，３記載の撮像装置。
［請求項５］
前記合成手段は、前記第１の抽出手段により抽出された前記複数画像の各々における移動物体の画像部分の位置を、分割露光で撮像された１枚目の画像の移動物体の画像部分の位置に補正して合成することを特徴とする請求項１乃至４いずれか記載の撮像装置。
［請求項６］
時刻設定手段を更に備え、前記合成手段は、前記第１の抽出手段により抽出された前記複数画像の各々における前記移動物体の画像部分の位置を、前記時刻設定手段により設定された時刻に該当する位置に補正して合成することを特徴とする請求項１乃至４いずれか記載の撮像装置。
［請求項７］
機械式シャッタと、分割露光による撮像タイミングと相前後する前記機械式シャッタを閉じた状態で撮像された複数のノイズ画像を取得する取得手段と、前記複数画像の各々から、前記取得手段により取得された複数のノイズ画像の各々を減算することによって、前記複数画像の各々からノイズを除去し、ノイズを除去した後の前記複数画像を前記移動物体の画像部分、及び前記非移動物体の画像部分の抽出対象として前記第１の抽出手段、及び前記第２の抽出手段へ供給する供給手段とを更に備えたことを特徴とする請求項１乃至６いずれか記載の撮像装置。
［請求項８］
分割露光で撮像した複数画像を撮影画像として合成する撮像装置において、前記複数画像の各々から、画像間で位置が変化する移動物体の画像部分を抽出する第１の工程と、前記複数画像の各々から、画像間で位置が変化しない非移動物体の画像部分を抽出する第２の工程と、前記第１の工程で抽出した前記複数画像の各々における前記移動物体の画像部分の位置を画像間における位置の変化に応じて移動し、かつ前記第２の工程で抽出した前記複数画像の各々における前記非移動物体の画像部分の位置は固定したまま、各々の画像部分を合成し適正露出の撮影画像を生成する第３の工程とを含むことを特徴とする画像合成方法。
［請求項９］
コンピュータに分割露光で撮像した複数画像の各々から、画像間で位置が変化する移動物体の画像部分を抽出する第１の抽出処理と、前記複数画像の各々から、画像間で位置が変化しない非移動物体の画像部分を抽出する第２の抽出処理と、前記第１の抽出処理により抽出された前記複数画像の各々における前記移動物体の画像部分の位置を画像間における位置の変化に応じて移動し、かつ前記第２の抽出処理により抽出された前記複数画像の各々における前記非移動物体の画像部分の位置は固定したまま、各々の画像部分を合成し適正露出の撮影画像を生成する合成処理とを実行させることを特徴とするプログラム。

１ デジタルカメラ装置
２ ＣＰＵ
３ レンズブロック
７ 撮像素子
１２ ＳＤＲＡＭ
１４ 外部メモリ
１５ フラッシュメモリ
１６ キー入力部
Ｇ１，Ｇ２ ノイズ除去画像
Ｇ３ 差分画像
Ｇ４ 加算画像
Ｇ５ 非移動物体画像
Ｇ６，Ｇ７ 移動物体画像
１０１ 本画像
１０２ ダーク画像
１０３ ノイズ除去画像
１０４ 移動物体画像
１０５ 作業用合成画像
１０６ 第１の合成画像
１０７ 第２の合成画像
１０８ 撮影画像

Claims (10)

1. 連続して撮像し複数の画像を取得する画像取得手段と、
   前記画像取得手段により取得された複数画像の各々から、画像間で位置が変化する移動物体の画像部分を抽出する第１の抽出手段と、
   前記画像取得手段による連続撮像により異なるタイミングで撮像された一組の画像を加算して得られた加算画像から、前記一組の画像の一方から他方を減算して得られた減算画像を減算することによって、前記画像取得手段により取得された複数画像の各々から、画像間で位置が変化しない非移動物体の画像部分を抽出する第２の抽出手段と、
   前記第１の抽出手段により抽出された前記複数画像の各々における前記移動物体の画像部分の位置を画像間における位置の変化に応じて移動し、かつ前記第２の抽出手段により抽出された前記複数画像の各々における前記非移動物体の画像部分の位置は固定したまま、各々の画像部分を合成し撮影画像を生成する合成手段と
   を備えたことを特徴とする画像合成装置。
2. 前記画像取得手段は、１回の撮影を短時間の連続する複数回に分割して露光する分割露光により複数の画像を取得することを特徴とする請求項１記載の画像合成装置。
3. 前記合成手段は、前記撮影画像として、前記移動物体及び前記非移動物体が共に静止している内容の画像を生成することを特徴とする請求項１又は２記載の画像合成装置。
4. 前記第１の抽出手段は、前記複数画像の各々から、前記第２の抽出手段により抽出された非移動物体の画像部分を減算することによって、前記複数画像の各々における前記移動物体の画像部分を抽出することを特徴とする請求項１乃至３のいずれか記載の画像合成装置。
5. 前記合成手段は、前記第１の抽出手段により抽出された前記複数画像の各々における移動物体の画像部分の位置を、連続で撮像された１枚目の画像の移動物体の画像部分の位置に補正して合成することを特徴とする請求項１乃至４のいずれか記載の画像合成装置。
6. 時刻設定手段を更に備え、
   前記合成手段は、前記第１の抽出手段により抽出された前記複数画像の各々における前記移動物体の画像部分の位置を、前記時刻設定手段により設定された時刻に該当する位置に補正して合成する
   ことを特徴とする請求項１乃至４のいずれか記載の画像合成装置。
7. 機械式シャッタと、
   分割露光による撮像タイミングと相前後する前記機械式シャッタを閉じた状態で撮像された複数のノイズ画像を取得するノイズ画像取得手段と、
   前記複数画像の各々から、前記ノイズ画像取得手段により取得された複数のノイズ画像の各々を減算することによって、前記複数画像の各々から暗電流ノイズを除去し、暗電流ノイズを除去した後の前記複数画像を前記移動物体の画像部分、及び前記非移動物体の画像部分の抽出対象として前記第１の抽出手段、及び前記第２の抽出手段へ供給する供給手段と
   を更に備えたことを特徴とする請求項２記載の画像合成装置。
8. 手振れ補正手段を更に備え、
   前記合成手段は、前記第２の抽出手段により抽出された前記複数画像の各々における前記非移動物体の画像部分の位置を、前記補正手段により手振れを補正して固定したまま、各々の画像部分を合成し撮影画像を生成する
   ことを特徴とする請求項１記載の画像合成装置。
9. 連続して撮像された複数の画像を取得する画像取得手段を備える装置において、
   前記画像取得手段により取得された複数画像の各々から、画像間で位置が変化する移動物体の画像部分を抽出する第１の工程と、
   前記画像取得手段による連続撮像により異なるタイミングで撮像された一組の画像を加算して得られた加算画像から、前記一組の画像の一方から他方を減算して得られた減算画像を減算することによって、前記画像取得手段により取得された複数画像の各々から、画像間で位置が変化しない非移動物体の画像部分を抽出する第２の工程と、
   前記第１の工程で抽出した前記複数画像の各々における前記移動物体の画像部分の位置を画像間における位置の変化に応じて移動し、かつ前記第２の工程で抽出した前記複数画像の各々における前記非移動物体の画像部分の位置は固定したまま、各々の画像部分を合成し撮影画像を生成する第３の工程と
   を含むことを特徴とする画像合成方法。
10. 連続して撮像された複数の画像を取得する画像取得手段を備える装置のコンピュータに
    前記画像取得手段で取得した複数画像の各々から、画像間で位置が変化する移動物体の画像部分を抽出する第１の抽出機能、
    前記画像取得手段による連続撮像により異なるタイミングで撮像された一組の画像を加算して得られた加算画像から、前記一組の画像の一方から他方を減算して得られた減算画像を減算することによって、前記画像取得手段で取得した複数画像の各々から、画像間で位置が変化しない非移動物体の画像部分を抽出する第２の抽出機能、
    前記第１の抽出機能により抽出された前記複数画像の各々における前記移動物体の画像部分の位置を画像間における位置の変化に応じて移動し、かつ前記第２の抽出機能により抽出された前記複数画像の各々における前記非移動物体の画像部分の位置は固定したまま、各々の画像部分を合成し撮影画像を生成する合成機能
    を実現させるためのプログラム。

Images