JP6569176B2 - 画像処理装置、撮像装置、画像処理方法 - Google Patents

Description

本発明は、時系列的に撮像された複数枚の画像データを合成する画像処理装置、撮像装置、画像処理方法に関する。

近年、比較明合成処理機能が搭載されたデジタルカメラ等の撮像装置が提案されている。ここに比較明合成処理とは、時系列的に撮像された複数枚の画像における同一画素位置の画素値を比較して、値が大きい方の画素値で該当画素位置の画素値を置き換える処理である。

この比較明合成処理は、比較的明るく小さい移動体を含む撮影シーンにおいて、必要十分な短いシャッタ速度で時系列的に撮像（いわゆる連続撮影）して得られた複数枚の画像に対して用いられ、移動体の軌跡をＳ／Ｎ比の高い良好な画像として取得することができる。

適用される撮影シーンの幾つかの例を挙げれば、花火、天体撮影、夜間の車等のヘッドライトの移動軌跡の撮影、などである。

例えば花火撮影の場合、花火を構成する輝点の数秒の流れを、数秒よりも短いシャッタ速度で時系列的に撮像して複数枚の画像を取得する。また、天体撮影の場合、天体を構成する星々の非常にスローな動きを、短いシャッタ速度で時系列的に撮像して複数枚の画像を取得する。さらに、夜間の車等のヘッドライトの移動軌跡の場合にも、同様に、撮影しようとする移動軌跡の長さに対応するシャッタ速度よりも短いシャッタ速度で時系列的に撮像して複数枚の画像を取得する。

そして、何れの場合にも、得られた複数枚の画像を比較明合成することにより、長時間のシャッタ速度で撮影した場合のような暗電流による画質劣化を避けて、Ｓ／Ｎの良い画像を得ることができる。

こうした技術として、例えば特開２０１４−２１２４１５号公報には、最初の画像データを累積比較明合成画像データとして記憶し、新たに得られた画像データと累積比較明合成画像データとを画素毎に比較して、大きい方の画素データを新たな画素データとして累積比較明合成画像データを再構成する比較明合成処理を、新たな画像データが取得される毎に繰り返して行う比較明合成処理部を備える撮像装置が記載されている。

さらに、該公報には、比較明合成処理部と比較暗合成処理部とを備え、累積比較明合成画像データと累積比較暗合成画像データとの差分画像データを演算し、累積比較暗合成画像データにゲイン値を乗算した画像データと、差分画像データに任意のゲイン値を乗算した画像データと、を合成する技術が記載されている。

特開２０１４−２１２４１５号公報

ところで、比較明合成は、上述したような撮影シーンにおいて、印象的な（例えば、実際よりも印象的な）画像を撮影する技術として普及しつつあるが、実際よりもさらに一層印象的な画像を撮影することが望まれている撮影シーンがある。

例えば、花火の撮影シーンでは様々な色のカラフルな花火が打ち上げられているが、その一方で、あまりカラフルでない花火が打ち上げられることもある。こうした場合に、カラフルな花火のみが画像化されることが望まれる場合がある。

また、花火に伴って、煙などのような花火の鮮明さを損なう現象も発生する。同様に、夜間の車等のヘッドライトの移動軌跡の撮影においても、都会の道路を対象とする場合には、路上に浮遊する排気ガスがヘッドライトの移動軌跡の鮮明さを損なうことがある。こうした場合に、煙や排気ガスが除去されたより鮮明な画像が望まれる場合がある。

こうして、より鮮やかで印象的な画像を撮影するというユーザニーズが存在している。

本発明は上記事情に鑑みてなされたものであり、実際の撮影シーンよりも鮮やかで印象的な画像を得ることができる画像処理装置、撮像装置、画像処理方法を提供することを目的としている。

本発明のある態様による画像処理装置は、被写体を時系列的に撮像して取得された複数枚の画像データについて、前記画像データを構成する各画素の彩度が高彩度エリア内であるか否かを判定する彩度判定部と、前記画像データを構成する各画素の内の、前記彩度判定部により前記高彩度エリア内であると判定された画素のみについて、輝度成分を含む指標がより大きい画素の画素値に置き換える高彩度比較明合成処理を、前記複数枚の画像データについて行う画像合成部と、を具備している。

本発明のある態様による撮像装置は、被写体を撮像して画像データを取得する撮像部と、前記撮像部に撮像を時系列的に行わせて複数枚の画像データを取得させる制御部と、前記複数枚の画像データを処理する前記画像処理装置と、を具備している。

本発明のある態様による画像処理方法は、被写体を時系列的に撮像して取得された複数枚の画像データについて、前記画像データを構成する各画素の彩度が高彩度エリア内であるか否かを判定する彩度判定ステップと、前記画像データを構成する各画素の内の、前記彩度判定ステップにより前記高彩度エリア内であると判定された画素のみについて、輝度成分を含む指標がより大きい画素の画素値に置き換える高彩度比較明合成処理を、前記複数枚の画像データについて行う画像合成ステップと、を有している。

本発明の画像処理装置、撮像装置、画像処理方法によれば、実際の撮影シーンよりも鮮やかで印象的な画像を得ることができる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における撮像素子の構成を示す図。 上記実施形態１の撮像素子の有効画素部における画素の配列を示す図。 上記実施形態１における画像処理部の構成を示すブロック図。 上記実施形態１の撮像装置における高彩度比較明合成モードの処理を示すフローチャート。 上記実施形態１の撮像装置において、合成対象となる複数枚の画像を取得する様子を示すタイミングチャート。 上記実施形態１の図５のステップＳ３における高彩度比較明合成処理の詳細を示すフローチャート。 上記実施形態１において、高彩度エリアを設定する方法の一例を説明するための図。 上記実施形態１において、フレーム１の画像が取得された時点の撮影シーンの例を示す図。 上記実施形態１において、フレーム１〜ｎの画像が取得された期間のトータルの撮影シーンの例を示す図。 上記実施形態１において、フレーム１〜ｎの画像に基づき作成された比較暗画像の例を示す図。 上記実施形態１において、フレーム１〜ｎの画像に基づき作成された高彩度比較明画像の例を示す図。 本発明の実施形態２の撮像装置における高彩度比較明合成モードの処理を示すフローチャート。 上記実施形態２の撮像装置において、高彩度比較明合成用の複数枚の画像を取得し、その後に比較暗合成用の複数枚の画像を取得する様子を示すタイミングチャート。 上記実施形態２の図１３のステップＳ３における高彩度比較明合成処理の詳細を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１２は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。本実施形態の撮像装置は、以下に説明するように、撮像して得られた画像を処理する画像処理装置としての機能を備えたものとなっている。

この撮像装置は、図１に示すように、レンズ１と、撮像素子２と、画像処理部３と、ＡＦ（オートフォーカス）評価値演算部４と、表示部５と、手振検出部７と、手振補正部８と、露光制御部９と、フォーカス制御部１０と、カメラ操作部１１と、カメラ制御部１２と、を備えている。なお、図１にはメモリカード６も記載されているが、このメモリカード６は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。

レンズ１は、被写体の光学像を撮像素子２の撮像領域に結像する撮像光学系である。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本実施形態においては手振補正機能も備えたものとなっている。

撮像素子２は、レンズ１により結像された被写体の光学像を撮像（光電変換）して画像データを取得し出力する撮像部である。なお、本実施形態においては、撮像素子２が原色ベイヤー配列のカラーフィルタを備えたカラー撮像素子であるとして説明するが、もちろんその他の構成であっても構わない。また、撮像素子２は、レンズ１の撮影光軸に垂直な面内を移動可能に構成されていて、手振補正機能を備えたものとなっている。

画像処理部３は、撮像素子２から出力される画像データに各種の画像処理を行い、表示用あるいは記録用の画像を作成するものである。この画像処理部３の構成については、後で図４を参照してより詳細に説明する。

ＡＦ評価値演算部４は、撮像素子２から出力された画像データに基づいてＡＦ評価値を算出し、カメラ制御部１２へ出力するものである。例えば、ＡＦ評価値演算部４は、撮像素子２から出力された画像データに基づいてコントラスト値を算出し、ＡＦ評価値として出力する。

表示部５は、画像処理部３により表示用に画像処理された信号に基づき、画像を表示するものである。この表示部５は、ライブビュー表示や静止画像表示、動作再生表示等を行うとともに、この撮像装置に係る各種の情報等も表示するようになっている。

メモリカード６は、画像処理部３により記録用に処理された画像データ（静止画像データ、動画像データなど）を保存するための記録媒体である。

手振検出部７は、加速度センサや角速度センサ等を有して構成され、この撮像装置の手振れを検出してカメラ制御部１２へ出力するものである。

手振補正部８は、カメラ制御部１２の制御に基づいて、検出された手振れを相殺するようにレンズ１と撮像素子２との少なくとも一方を移動させ、撮像素子２の撮像領域上に結像される光学的な被写体像に手振れの影響が生じるのを軽減するものである。

露光制御部９は、カメラ制御部１２の指令に基づいて、該カメラ制御部１２により決定されたシャッタ速度（露光時間）で撮像素子２の素子シャッタを制御し画像を取得させるものである。さらに、露光制御部９は、カメラ制御部１２により決定された絞り値に基づいて、レンズ１に含まれる絞りの制御等も行うようになっている。また、露光制御部９は、撮像素子２の駆動情報をカメラ制御部１２へ出力するようになっている。

フォーカス制御部１０は、焦点を調節するためにレンズ１を駆動するものである。すなわち、フォーカス制御部１０は、ＡＦ評価値演算部４からＡＦ評価値を受けたカメラ制御部１２の制御に基づいて、レンズ１に含まれるフォーカスレンズを駆動し、撮像素子２に結像される被写体像が合焦に至るようにする。また、フォーカス制御部１０は、レンズ位置などのレンズ駆動情報をカメラ制御部１２へ出力するようになっている。

カメラ操作部１１は、この撮像装置に対する各種の操作入力を行うための操作部である。このカメラ操作部１１には、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影、動画撮影などを指示入力するためのレリーズボタン、静止画撮影モード（この静止画撮影モードは、より詳細なモードとして、高彩度比較明合成モードを含む）や動画撮影モード、ライブビューモードなどを設定するためのモードボタン等の操作部材が含まれている。

カメラ制御部１２は、フォーカス制御部１０からのレンズ駆動情報やＡＦ評価値演算部４からのＡＦ評価値、露光制御部９からの駆動情報、画像処理部３からの処理情報、手振検出部７からの手振情報、カメラ操作部１１からの操作入力などに基づいて、画像処理部３、メモリカード６、手振補正部８、露光制御部９、フォーカス制御部１０等を含むこの撮像装置全体を制御するものである。

このカメラ制御部１２は、自動露出制御に基づき、あるいはカメラ操作部１１から入力された設定値に基づき、シャッタ速度（露光時間）および絞り値を決定して、決定したシャタ速度および絞り値の情報を露光制御部９へ出力する。

そして、カメラ制御部１２は、高彩度比較明合成モードが設定されているときには、露光制御部９を介して撮像素子２に撮像を時系列的に行わせて複数枚の画像データを取得させる制御部として機能する。

次に、図２は撮像素子２の構成を示す図である。

撮像素子２は、レンズ１からの光を受光して光電変換を行う画素が垂直方向および水平方向に配列された有効画素部２１と、レンズ１からの光が遮光されているオプティカルブラック（ＯＢ）部２２と、を備えている。

図３は、撮像素子２の有効画素部２１における画素の配列を示す図である。

撮像素子２の有効画素部２１には、図３に示すように、原色ベイヤー配列のカラーフィルタが配置されている。ここに原色ベイヤー配列は、よく知られているように、２×２画素配列を基本配列として、この基本配列の対角位置に緑色画素Ｇｒ，Ｇｂを配置し、緑色画素Ｇｒと同一ライン上に赤色画素Ｒを、緑色画素Ｇｂと同一ライン上に青色画素Ｂを配置したものとなっている。

なお、原色ベイヤー配列のカラーフィルタは、有効画素部２１に配置するに限るものではなく、ＯＢ部２２を含む、撮像素子２の撮像面全体に配置するようにしても構わない。

図４は画像処理部３の構成を示すブロック図である。

画像合成部である画像処理部３は、比較暗合成処理部３１と、高彩度比較明合成処理部３２と、標準画像処理部３３と、を備えている。

比較暗合成処理部３１は、連続して撮影し得られた複数枚の画像データに比較暗合成処理を行って比較暗画像を作成するものである。ここに比較暗合成処理は、複数枚の画像における同一画素位置の画素値を比較して、値が小さい方の画素値で該当画素位置の画素値を置き換える処理である。

高彩度比較明合成処理部３２は、後で図７等を参照して詳細に説明するように、彩度を考慮した比較明合成処理を行うものである。ここに、本実施形態（および後述する他の実施形態）における比較明合成処理は、通常の比較明合成処理を、より一般化したものとなっている。

すなわち、通常の比較明合成処理は、複数枚の画像における同一画素位置の画素値を比較して、値が大きい方の画素値で該当画素位置の画素値を置き換える処理である。

これに対して、本実施形態（および後述する他の実施形態）の比較明合成処理は、複数枚の画像における同一画素位置の指標（画素の輝度成分を含む指標）を比較して、指標がより大きい方の画素値を該当画素位置の画素値に置き換える処理となっている。この指標の一例は、通常の比較明合成処理において示されている画素値自体であるが、後述する実施形態２において説明するように、画素の輝度色差成分を重み付け加算して得られる合成評価値を、画素の輝度成分を含む指標としても良い。

そして、高彩度比較明合成処理部３２は、複数枚の画像データについて、画像データを構成する各画素の彩度が高彩度エリア内であるか否かを判定する彩度判定部として機能すると共に、画像合成部の一部として機能し、画像データを構成する各画素の内の、彩度判定部により高彩度エリア内であると判定された画素のみについて、輝度成分を含む指標がより大きい画素の画素値に置き換える高彩度比較明合成処理を、複数枚の画像データについて行うようになっている。

標準画像処理部３３は、比較暗合成処理部３１および高彩度比較明合成処理部３２により作成された合成画像に、表示用画像または記録用画像を作成するための標準画像処理、いわゆる現像処理を行うものである。この標準画像処理部３３は、高彩度比較明合成モード以外の通常の静止画撮影モードにおいて得られた画像に対しても、同様に現像処理を行う。なお、高彩度比較明合成モード以外の通常の静止画撮影モードにおいて得られた画像の場合には、比較暗合成処理部３１および高彩度比較明合成処理部３２の各処理は適宜スキップされる。

この標準画像処理部３３は、ＯＢ減算部３４を含んでいる。このＯＢ減算部３４は、有効画素部２１の画素値からＯＢ部２２の画素値を減算するか、露光時間（シャッタ速度）が比較的長い場合は遮光画像を別途に取得してフレーム減算することで、有効画素部２１に含まれるオフセット成分や固定パターンノイズ等を除去するものである。

図５は撮像装置における高彩度比較明合成モードの処理を示すフローチャートである。

図示しないメイン処理からこの処理に入ると、まず、カメラ制御部１２の制御に基づいて、高彩度比較明合成処理において合成対象となる複数枚の画像を取得する（ステップＳ１）。

ここで図６は、撮像装置において、合成対象となる複数枚の画像を取得する様子を示すタイミングチャートである。

撮影を開始する前に、ユーザは、手ブレ補正機能を予めオンにするか、より好ましくは撮像装置を例えば三脚等に固定しているものとする。そして、ユーザが、レリーズボタンの１回目の押圧操作Ｒ１を例えば行うことにより、合成対象となる複数枚の画像の取得が開始され、まずフレーム１の画像が取得される。続いて、フレーム２，フレーム３，…の各画像が順次取得される。その後、ユーザがレリーズボタンの２回目の押圧操作Ｒ２を行うことにより、合成対象となる複数枚の画像における最終画像であるフレームｎ（ｎは正の整数）の画像が取得される。こうして、フレーム１〜フレームｎの画像が、高彩度比較明合成を実施する対象のフレーム情報ＢＦとなる。

図９は、フレーム１の画像が取得された時点の撮影シーンＰ１の例を示す図である。

撮影シーンＰ１には、街の夜景４１と、夜空４２と、灰色の雲４３と、彩度が低い花火４４と、がある。

また、図１０は、フレーム１〜ｎの画像が取得された期間のトータルの撮影シーンＰ１〜ｎの例を示す図である。

トータルの撮影シーンＰ１〜ｎには、撮影シーンＰ１の後に打ち上げられた彩度の高い各色の花火４５がさらに加わっている。このトータルの撮影シーンＰ１〜ｎは、フレーム１〜ｎの画像に対して、通常の比較明合成処理を行ったときに得られる画像の様子とほぼ一致している。

こうして、合成対象となる複数枚の画像が取得されたら、次に、比較暗合成処理部３１が比較暗画像を合成する（ステップＳ２）。すなわち、比較暗合成処理部３１は、高彩度比較明合成処理用に取得されたフレーム１〜フレームｎの各画像から、各画素位置において最も画素値が小さい画素を選択して合成することで、比較暗画像を作成する。この処理を行うことにより、合成対象となる複数枚の画像において共通する背景が抽出される。

図１１は、フレーム１〜ｎの画像に基づき作成された比較暗画像の例を示す図である。

この図１１に示す例においては、最も画素値が小さい画素が選択された結果、フレーム１〜ｎの画像の何れかに含まれていた、街の夜景４１および夜空４２が残り、灰色の雲４３、彩度が低い花火４４、および彩度の高い各色の花火４５が消去されている。

続いて、高彩度比較明合成処理部３２により、後で図７を参照して説明する高彩度比較明合成処理を行う（ステップＳ３）。

図１２は、フレーム１〜ｎの画像に基づき作成された高彩度比較明画像の例を示す図である。

本実施形態の高彩度比較明合成処理を行うと、街の夜景４１、夜空４２、および彩度の高い各色の花火４５が残り、灰色の雲４３および彩度が低い花火４４が消去されている。すなわち、通常の比較明合成処理では残る灰色の雲４３および彩度が低い花火４４は、本実施形態においては彩度が低いために比較明合成の対象から除去されて、最終的な合成画像には残らない（図７の処理を参照）。

さらに、標準画像処理部３３により合成画像に対して標準画像処理（いわゆる現像処理）を行い（ステップＳ４）、作成した画像を表示部５に表示すると共にメモリカード６に記録して（ステップＳ５）、この処理から図示しないメイン処理にリターンする。

図７は、図５のステップＳ３における高彩度比較明合成処理の詳細を示すフローチャートである。この高彩度比較明合成処理は、カメラ制御部１２の制御に基づいて、画像合成部の一部である高彩度比較明合成処理部３２により行われる。

この処理を開始すると、高彩度比較明合成処理部３２は、まず、上述したステップＳ２において比較暗合成処理部３１により作成された比較暗画像を、高彩度比較明合成処理における合成画像の初期値（最初の合成画像）として設定する（ステップＳ１１）。これにより、比較暗画像が、高彩度比較明合成処理を行う際の基準の画像となる。

次に、高彩度エリアを設定する（ステップＳ１２）。

図８は、高彩度エリアを設定する方法の一例を説明するための図である。

ある画素が高彩度であるか否かを判定するための高彩度エリアは、所定のエリアとして予め与えても良いが、撮影シーンに応じて適応的に設定するとより良い。そこで、この図８は、高彩度エリアを、合成対象となる複数枚の画像に基づいて設定する例を示している。

まず、合成対象となる複数枚の画像に基づいて、高彩度エリアを設定するための評価画像を作成する。この評価画像としては、合成対象となる複数枚の画像に対して通常の比較明合成処理を行って得られる比較明画像を用いても良いし、ステップＳ２の処理により作成した比較暗画像を用いることも可能であるし、その他の画像を用いても構わない。また、評価画像を作成する際には、処理負荷を軽減するために、画素数を減少させた縮小画像を用いると良い。

さらに、評価画像が例えばベイヤー画像である場合には、デモザイキング処理を行って、各画素が色成分（ここでは例えば、ＲＧＢ成分）をもつ評価画像を作成する。

次に、評価画像を所定の複数個の部分画像に分割する。この部分画像への分割は、等分割であっても良いし、画像の例えば中央部と周辺部とで異なる大きさおよび形状にする分割であっても構わない。ここで、分割して得られた複数の部分画像を記号ｉにより分別して表すことにすると、まず、部分画像ｉに含まれる全画素のＲＧＢ成分の平均値Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ）を算出し、さらに、部分画像ｉの平均輝度色差成分、
Ｙ（ｉ）＝｛Ｒ（ｉ）＋２Ｇ（ｉ）＋Ｂ（ｉ）｝／４
Ｃｘ（ｉ）＝｛Ｒ（ｉ）−Ｂ（ｉ）｝／Ｙ（ｉ）
Ｃｙ（ｉ）＝｛Ｒ（ｉ）＋Ｂ（ｉ）−２Ｇ（ｉ）｝／Ｙ（ｉ）
を算出する。

こうして算出した部分画像ｉのＣｘ（ｉ），Ｃｙ（ｉ）が、図８に示す予め定めた無彩色エリアＮＣＡに入るか否かを判定する処理を、全ての部分画像ｉに対して行う。

この判定の結果、無彩色エリアＮＣＡに入ると判定された複数の部分画像を記号ｉ’により分別して表すこととする。次に、全ての部分画像ｉ’のＣｘ（ｉ’），Ｃｙ（ｉ’）の平均値をそれぞれ算出して、算出した平均値を、高彩度比較明合成処理において無彩色の基準となるＣｘ基準値およびＣｙ基準値とする。このＣｘ基準値およびＣｙ基準値に対応する色空間上の座標が、図８に示す無彩色基準値ＳＰである。

この無彩色基準値ＳＰが決定されたら、図８に示すような無彩色基準値ＳＰを基準とした所定範囲の領域を、適応的に定めた非高彩度エリアＴＣＡとする。

そして、全色空間ＡＣＡの内の、非高彩度エリアＴＣＡの外側の領域（図８においてハッチングを付した領域）を、高彩度エリアとする。なお、全色空間ＡＣＡの輪郭に沿って付した３桁の数値は、光の波長をｎｍ単位で表したものである。

こうして、彩度判定部である高彩度比較明合成処理部３２は、複数枚の画像データに基づいて無彩色基準値を決定し、決定した無彩色基準値に応じて、高彩度エリアを設定する。

なお、ここで説明した高彩度エリアの設定方法は一例であり、その他の適宜の設定方法を用いても構わない。

続いて、合成対象となる複数枚の画像の内の、１枚の画像を読み込み（ステップＳ１３）、読み込んだ画像中のある画素を読み込む（ステップＳ１４）。

さらに、読み込んだ画素がステップＳ１２で設定された高彩度エリア内であるか否かを高彩度比較明合成処理部３２が判定する（ステップＳ１５）。

この判定を行うに際しては、読み込んだ画素の色成分が必要であるが、ステップＳ１３において読み込んだ画像が例えばベイヤー画像である場合には、デモザイキング処理を行って、さらに上述と同様に該画素のＣｘ成分およびＣｙ成分を求める処理を行う。

ここにデモザイキング処理は、より簡易化して処理を高速化するために、一例として、次のような処理を行っても良い。

すなわち、ベイヤー配列における画素Ｇｒに対しては、上下に隣接する画素Ｂの平均値をＢ成分、左右に隣接する画素Ｒの平均値をＲ成分とする。また、ベイヤー配列における画素Ｇｂに対しては、左右に隣接する画素Ｂの平均値をＢ成分、上下に隣接する画素Ｒの平均値をＲ成分とする。さらに、ベイヤー配列における画素Ｒに対しては、左右に隣接する画素Ｇｒの平均値をＧ成分、左上右上左下右下（あるいは、これら４つの内の２つでも構わない）に隣接する画素Ｂの平均値をＢ成分とする。そして、ベイヤー配列における画素Ｂに対しては、左右に隣接する画素Ｇｂの平均値をＢ成分、左上右上左下右下（あるいは、これら４つの内の２つでも構わない）に隣接する画素Ｒの平均値をＲ成分とする。

ステップＳ１５において、高彩度エリア内であると判定された場合には、現在の合成画像における対応する画素値よりも、ステップＳ１４において読み込んだ画素の画素値の方が明るい（画素値が大きい）か否かを高彩度比較明合成処理部３２が判定する（ステップＳ１６）。従って、本実施形態の画像合成部は、画素の輝度成分を含む指標として、画素値自体（画素の明るさ）を用いて、高彩度比較明合成処理を行うようになっている。

そして、読み込んだ画素の画素値の方が明るいと判定された場合には、現在の合成画像の画素値を、ステップＳ１４において読み込んだ画素の画素値で置き換える（ステップＳ１７）。

このステップＳ１７の処理が終了するか、またはステップＳ１５において高彩度エリア内でないと判定された場合、あるいはステップＳ１６において、読み込んだ画素の画素値の方が明るくないと判定された場合には、ステップＳ１３において読み込んだ画像の全画素について処理が終了したか否かを判定する（ステップＳ１８）。従って、高彩度エリア内に入っていない画素は、比較明合成処理が行われないことになる。

このステップＳ１８において、全画素についての処理が終了していないと判定された場合には、ステップＳ１４へ行って次の画素を読み込み、上述したような処理を行う。

一方、ステップＳ１８において、全画素についての処理が終了したと判定された場合には、合成対象となる複数枚の画像の全てについて処理が終了したか否かを判定する（ステップＳ１９）。

ここで、全ての画像についての処理が終了していないと判定された場合には、ステップＳ１３へ行って次の画像を読み込み、上述したような処理を行う。

こうして、ステップＳ１９において、全ての画像についての処理が終了したと判定された場合には、この処理から図５に示した処理にリターンする。

このような実施形態１によれば、画像データを構成する各画素が高彩度であるか否かを判定して、高彩度であると判定された画素のみについて、輝度成分を含む指標がより大きい画素の画素値に置き換える高彩度比較明合成処理を行うようにしたために、例えば、花火の煙、路上に浮遊する排気ガス、同時に打ち上げられる多数の花火の内の彩度が低くあまり見映えのしない花火、路上のヘッドライト等の特定色などを取り除き、鮮やかさを増した印象的な画像を残すことができる。

また、複数枚の画像データに基づいて、無彩色基準値および高彩度エリアを適応的に設定するようにしたために、撮影シーンに応じた最適な彩度の画像を残すことが可能となる。

さらに、高彩度比較明合成処理を行う際の輝度成分を含む指標として画素値を用いることにより、高彩度エリア内の画素に対して通常の比較明合成処理を行うことができ、既存の処理回路や処理プログラムを適用可能となってコストを削減することができる。

そして、比較暗画像を高彩度比較明合成処理における合成画像の初期値として設定するようにしたために、夜空等の暗部のノイズを低減しながら黒に近付けることができ、よりダイナミックレンジが広くノイズ感が少ない鮮明な合成画像を得ることができる。

このとき、高彩度比較明合成処理用に取得された複数枚の画像データに基づき比較暗画像を作成することで、撮影に要する時間を短縮することができる。
［実施形態２］

図１３から図１５は本発明の実施形態２を示したものであり、図１３は撮像装置における高彩度比較明合成モードの処理を示すフローチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態では、高彩度比較明合成処理において合成対象となる複数枚の画像を用いて、比較暗画像を作成した。これに対して、本実施形態は、高彩度比較明合成処理において合成対象となる複数枚の画像データを取得するタイミングとは異なるタイミングで複数の画像データを取得して、異なるタイミングで取得した複数の画像データを少なくとも含む画像データに基づき比較暗画像を作成するようにしたものとなっている。さらに、上述した実施形態１では、読み込んだ画素の画素値自体の大きさを比較した結果に応じて画素値の置き換えを行っていたが、本実施形態では、読み込んだ画素の画素値から合成評価値を算出して、算出した合成評価値の大きさを比較した結果に応じて画素値の置き換えを行うようにしたものとなっている。

すなわち、図１３に示す処理を開始すると、ステップＳ１で高彩度比較明合成処理において合成対象となる複数枚の画像を取得した後に、高彩度比較明合成用の画像群とは別途に、比較暗合成用の画像群を取得する（ステップＳ２１）。

ここに、図１４は、撮像装置において、高彩度比較明合成用の複数枚の画像を取得し、その後に比較暗合成用の複数枚の画像を取得する様子を示すタイミングチャートである。

ユーザが、レリーズボタンの１回目の押圧操作Ｒ１を行い、その後にレリーズボタンの２回目の押圧操作Ｒ２を行うことにより、高彩度比較明合成を実施する対象のフレーム情報ＢＦであるフレーム１〜フレームｎの画像が取得されるのは、上述した実施形態１と同様である。

本実施形態においては、フレームｎの次のフレーム（ｎ＋１）から、比較暗合成を実施する対象のフレーム情報ＤＦを取得する。ここでは、ｍ枚の画像がフレーム情報ＤＦとして取得されるものとする。こうして、フレーム（ｎ＋ｍ）が取得されたところで、撮影の処理が終了する。

画像の鮮明度を低下させる煙や雲などは、時間と共に変化する。これに対して、撮像装置を例えば三脚等に固定している場合には、背景は変化しない。そこで、高彩度比較明合成用の画像群を取得するのとは別途のタイミングで比較暗合成用の画像群を取得することで、煙や雲などの影響を排除して、より鮮明な比較暗画像を得ることが可能となる。

従って、引き続くステップＳ２においては、フレーム情報ＤＦとして取得されたフレーム（ｎ＋１）〜（ｎ＋ｍ）の画像を用いて、比較暗合成処理部３１により比較暗画像を合成する。

その後は、ステップＳ３〜Ｓ５の処理を行って、この処理から図示しないメイン処理にリターンする。

なお、上述では、高彩度比較明合成用の複数枚の画像を取得した後に比較暗合成用の画像群を取得してそのフレーム（ｎ＋１）〜（ｎ＋ｍ）の画像群で比較暗合成を実施しているが、フレーム１〜（ｎ＋ｍ）の全ての画像を用いて比較暗合成を実施しても構わない（この場合には、高彩度比較明合成用の複数枚の画像データを取得するタイミングとは異なるタイミングで取得された複数枚の画像データを含む画像データに基づき比較暗画像を作成することになる）し、高彩度比較明合成用の複数枚の画像を取得する前に比較暗合成用の画像群を取得しても良い。あるいは、同一の撮影シーンにおける以前の撮影において、既に比較暗画像が作成されている場合（三脚を用いての撮影では、こうした場合が多い）には、この比較暗画像を用いるようにしても構わない。例えば花火撮影においては、打ち上げられる花火の数が増えるほど煙も増えるために、打ち上げ開始の時点、または打ち上げ開始前の時点で比較暗画像を作成しておけば、より好ましい比較暗画像を得ることができる。

次に、図１５は、図１３のステップＳ３における高彩度比較明合成処理の詳細を示すフローチャートである。この高彩度比較明合成処理は、カメラ制御部１２の制御に基づいて、画像合成部の一部である高彩度比較明合成処理部３２により行われる。

この処理を開始すると、ステップＳ１１〜Ｓ１５の処理を行う。

そして、ステップＳ１５において高彩度エリア内であると判定された場合には、ステップＳ１４において読み込んだ画素に対する合成評価値Ｐを、画素の輝度成分を含む指標として算出する（ステップＳ３１）。

すなわち、ステップＳ１４において読み込んだ画素の輝度色差成分をＹ，Ｃｘ，Ｃｙとしたときに、合成評価値Ｐを、
Ｐ＝ｋ×Ｙ＋ｌ×Ｃｘ＋ｍ×Ｃｙ
により算出する。ここに、ｋ，ｌ，ｍは、合成評価値Ｐを算出する際に各成分Ｙ，Ｃｘ，Ｃｙに与える重み係数である。この重み係数を調整することにより、Ｙ，Ｃｘ，Ｃｙの何れを重要視した合成評価値Ｐとするかを所望に設定することができる。例えば、ｌ＞ｋ、かつｌ＞ｍとすれば、Ｃｘ成分を重要視した合成評価値Ｐを得ることができる。

続いて、算出した合成評価値Ｐが、現在の合成画像における対応する画素の合成評価値Ｐ０よりも大きいか否かを判定する（ステップＳ３２）。

ここで、合成評価値Ｐが合成評価値Ｐ０よりも大きいと判定された場合には、ステップＳ１７へ行って、上述したように、現在の合成画像の画素値をステップＳ１４において読み込んだ画素の画素値で置き換える。

従って、本実施形態の画像合成部は、画素の輝度色差成分を重み付け加算して得られる合成評価値を、輝度成分を含む指標として用いて、高彩度比較明合成処理を行うようになっている。

このステップＳ１７の処理が終了するか、またはステップＳ１５において高彩度エリア内でないと判定された場合、あるいはステップＳ３２において、合成評価値Ｐが合成評価値Ｐ０以下であると判定された場合には、ステップＳ１８およびステップＳ１９の処理を行う。従って、高彩度エリア内でないと判定された画素、および合成評価値Ｐが合成評価値Ｐ０以下である画素は、画素値の置き換えが行われないことになる。

こうして、ステップＳ１９において、全ての画像についての処理が終了したと判定された場合には、この処理から図１３に示した処理にリターンする。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、高彩度比較明合成処理用の複数枚の画像データを取得するタイミングとは異なるタイミングで、比較暗合成処理用の複数枚の画像データを取得するようにしたために、画像の背景の彩度を低下させる要因（例えば、煙や花火等）を取り除いたより純粋な背景シーンを得ることが可能となり、ひいては、より好ましい高彩度比較明画像を得ることができる。

また、画素の輝度色差成分を重み付け加算して得られる合成評価値Ｐを、輝度成分を含む指標として用いて、高彩度比較明合成処理を行うようにしたために、単により明るい画素を選択するのではなく、例えば、赤色あるいは青色の画素を優先して選択する（色選択）、あるいは彩度と明るさの何れかを優先して選択する、等を行うことが可能となり、よりユーザの意向に沿った合成画像の作成を行うことが可能となる。

なお、上述では主として撮像装置について説明したが、撮像装置により被写体を時系列的に撮像して取得された複数枚の画像データを用いて上述したような比較暗合成処理や高彩度比較明合成処理を行う画像処理装置であっても構わない。また、撮像装置または画像処理装置と同様の処理を行う撮像方法または画像処理方法であっても良いし、コンピュータに撮像装置または画像処理装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…レンズ
２…撮像素子
３…画像処理部
４…ＡＦ評価値演算部
５…表示部
６…メモリカード
７…手振検出部
８…手振補正部
９…露光制御部
１０…フォーカス制御部
１１…カメラ操作部
１２…カメラ制御部
２１…有効画素部
２２…オプティカルブラック部（ＯＢ部）
３１…比較暗合成処理部
３２…高彩度比較明合成処理部
３３…標準画像処理部
３４…ＯＢ減算部
４１…街の夜景
４２…夜空
４３…灰色の雲
４４…彩度が低い花火
４５…彩度の高い各色の花火
Ｐ１，Ｐ１〜ｎ…撮影シーン
ＡＣＡ…全色空間
ＮＣＡ…無彩色エリア
ＳＰ…無彩色基準値
ＴＣＡ…非高彩度エリア

Claims (9)

1. 被写体を時系列的に撮像して取得された複数枚の画像データについて、前記画像データを構成する各画素の彩度が高彩度エリア内であるか否かを判定する彩度判定部と、
   前記画像データを構成する各画素の内の、前記彩度判定部により前記高彩度エリア内であると判定された画素のみについて、輝度成分を含む指標がより大きい画素の画素値に置き換える高彩度比較明合成処理を、前記複数枚の画像データについて行う画像合成部と、
   を具備することを特徴とする画像処理装置。
2. 前記彩度判定部は、前記複数枚の画像データに基づいて無彩色基準値を決定し、決定した無彩色基準値に応じて、前記高彩度エリアを設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像合成部は、画素値を、前記輝度成分を含む指標として用いて、前記高彩度比較明合成処理を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記画像合成部は、画素の輝度色差成分を重み付け加算して得られる合成評価値を、前記輝度成分を含む指標として用いて、前記高彩度比較明合成処理を行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記画像合成部は、複数枚の画像データに比較暗合成処理を行って比較暗画像を作成する比較暗合成処理部を含み、作成した比較暗画像を、前記高彩度比較明合成処理における合成画像の初期値として設定することを特徴とする請求項１に記載の画像処理装置。
6. 前記比較暗合成処理部は、前記高彩度比較明合成処理用に取得された前記複数枚の画像データに基づき、前記比較暗画像を作成することを特徴とする請求項５に記載の画像処理装置。
7. 被写体を撮像して画像データを取得する撮像部と、
   前記撮像部に撮像を時系列的に行わせて複数枚の画像データを取得させる制御部と、
   前記複数枚の画像データを処理する請求項１に記載の画像処理装置と、
   を具備することを特徴とする撮像装置。
8. 前記画像合成部は、複数枚の画像データに比較暗合成処理を行って比較暗画像を作成する比較暗合成処理部を含み、作成した比較暗画像を、前記高彩度比較明合成処理における合成画像の初期値として設定し、
   前記制御部は、前記高彩度比較明合成処理用の前記複数枚の画像データを取得するタイミングとは異なるタイミングで、前記比較暗合成処理用の複数枚の画像データを前記撮像部に取得させ、
   前記比較暗合成処理部は、少なくとも該異なるタイミングで取得された前記複数枚の画像データを含む画像データに基づき、前記比較暗画像を作成することを特徴とする請求項７に記載の撮像装置。
9. 被写体を時系列的に撮像して取得された複数枚の画像データについて、前記画像データを構成する各画素の彩度が高彩度エリア内であるか否かを判定する彩度判定ステップと、
   前記画像データを構成する各画素の内の、前記彩度判定ステップにより前記高彩度エリア内であると判定された画素のみについて、輝度成分を含む指標がより大きい画素の画素値に置き換える高彩度比較明合成処理を、前記複数枚の画像データについて行う画像合成ステップと、
   を有することを特徴とする画像処理方法。