JP5828663B2 - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Description

本発明は複数の画像の合成処理を行う画像処理装置及び画像処理装置の制御方法に関する。

１回の撮影にあたって複数の異なる撮影条件で撮影を実行し、複数の画像とその撮影条件とから、１つの画像を合成する画像処理手段を具備することを特徴とする画像処理装置がある（特許文献１）。この技術は予め設定された条件で撮影した画像を用いて合成画像を作成することにより、合成画像の画質を向上することを目的としている。

特登録２９７０４４０号公報

特許文献１では、合成画像に付される撮影情報は、合成画像の素材となった代表的な素材画像の撮影パラメータを採用して記録するというものであった。

しかしながら、上記のように合成画像に代表的な１枚の素材画像の撮影情報を付した場合、実際に生成される合成画像は付帯される撮影情報による撮影条件で撮影された画像とは異なる場合が考えられる。このとき、例えば付帯された撮影情報を参考にして画像処理を施す場合などには、付帯された撮影情報の不正確さから、画像処理に不具合が生じるという問題があった。

上記課題に鑑み、本発明では、複数枚合成によって生成された合成画像の撮影情報をより合成画像の性質に近いものにすることを可能にする画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、異なる露出条件で撮像された複数の画像を所定の合成比率で合成して１枚の合成画像を生成する合成手段と、前記複数の画像それぞれの露出条件を前記合成比率で重みづけ加算して前記合成画像の露出情報として算出する算出手段と、前記算出手段によって算出された露出情報を前記合成画像に付帯してあるいは関連付けて記録媒体に記録する記録手段と、を有することを特徴とする。

また、本発明の画像処理装置の制御方法は、異なる露出条件で撮像された複数の画像を所定の合成比率で合成して１枚の合成画像を生成する合成ステップと、前記複数の画像それぞれの露出条件を前記合成比率で重みづけ加算して前記合成画像の露出情報として算出する算出ステップと、前記合成画像の露出情報を合成画像に付帯してあるいは関連付けて記録媒体に記録する記録ステップと、を有することを特徴とする。

課題を解決するための手段に記載した構成により、複数枚合成によって生成された合成画像の撮影情報をより合成画像の性質に近いものにすることを可能にする。

本実施形態における画像処理装置のブロック図である 本実施形態における画像合成処理のフロー図である 本実施形態におけるダイナミックレンジ解析処理のフロー図である

図１は、本実施形態における画像処理装置の１例としてのデジタルカメラ１００のブロック図である。

１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。１２の機械式シャッター以外にも、１８の撮像素子のリセットタイミングの制御によって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また２０の画像処理回路によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行っている。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、メモリ２０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。

これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０は画像処理装置１００全体を制御するシステム制御回路である。

６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中（半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了（全押し）でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。また、フラッシュはこの露光期間中に発光させて、露光期間終了と同時に露光制御手段４０により遮光することで、撮像素子１４への露光を終了させる。その後、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理を行う。さらに、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮処理、記録媒体２００に画像データを書き込む記録処理を行う。シャッタースイッチＳＷ１は、これらの一連の撮影処理の動作開始を指示する。

６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

１１０は通信手段でＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。

１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。

記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。

本実施形態における処理フローを図２に示す。本実施形態では、異なる露光条件で撮影された複数の画像から１枚のダイナミックレンジの広い合成画像を生成可能である。

ユーザーによって画像合成モードが選択され、更にシャッタースイッチＳＷ１６２、シャッタースイッチＳＷ２６４が操作され撮影が開始されると、露光制御手段４０を駆動して露出条件の違う３枚の画像を撮影する（Ｓ３０１、Ｓ３０２、Ｓ３０３）。その後、撮影した画像それぞれについて、ダイナミックレンジ解析を行う（Ｓ３０４）。

ダイナミックレンジ解析の例を以下に示す。ダイナミックレンジの広さを解析する方法として、画面内の『白飛び』と『黒潰れ』を利用する方法が知られている。ダイナミックレンジが広いと、撮像素子のラチチュードに収まらない場合が出てくる。その場合画像には明るいところは『白飛び』、暗いところは『黒潰れ』として画像に記録される。その面積の割合によって、撮影されたシーンのダイナミックレンジの広さを推定するものである。

上記ダイナミックレンジ解析の具体的な処理を図３を用いて示す。まず適正露出画像内の輝度値をスキャンする（Ｓ４０１）。その後、画像内の白飛び領域として所定値以上の輝度値の部分を検出し（Ｓ４０２）、次に黒潰れ領域として所定値以下の輝度値の部分を検出する（Ｓ４０３）。この結果から予め定められた所定値と比較してダイナミックレンジの広さを判断するものである（Ｓ４０４）。一般的には、『白飛び』『黒潰れ』の画素数が全画素数に対して一定の割合を超えないのであれば、画面内の輝度分布がセンサーのラチチュードの中に収まっていることが予想されるため、ダイナミックレンジが狭い画像と判断する。逆に『白飛び』『黒潰れ』が一定の割合を超える場合は画面内の輝度分布がセンサーのラチチュードを超えていることが予想されるため、ダイナミックレンジが広い画像と判断する。

ダイナミックレンジ解析が行った後その解析結果に基づいて合成比率を決定する（Ｓ３０５）。画像合成によって、広いダイナミックレンジを持つ合成画像を作成する方法が知られている。一般的に広いダイナミックレンジ画像を作成する場合は、適正露出の画像の合成比率をオーバー露光画像とアンダー露光画像に比べて相対的に均等の比率（１／３）より下げることにより広いダイナミックレンジ画像を得る事ができる。本実施形態では、前述の『白飛び』『黒潰れ』の画素数は一般的に撮影毎に違うため、撮影毎に画像解析を行いその都度最適な合成比率を決定している。もちろん、露光量やゲインの調整方法についてはこれに限らない。上記の方法で合成比率が決定すると、撮影した画像を、合成枚数によってゲインを調整し（Ｓ３０６）、その後前述の合成比率に従って画像合成を行う（Ｓ３０７）。

続いて先に決定した合成比率に基づいて、合成画像に付帯されて、あるいは関連付けられて記録される撮影露出情報を決定する（Ｓ３０８）。本実施形態では、合成画像の撮影条件として、適正露出の画像の撮影条件を単に付与するのではなく、複数の画像全体の撮影条件を加味して、合成画像の撮影条件を１回の撮影における撮影条件に換算する。例として撮影条件が、絞り値、ＩＳＯ感度がそれぞれＦ４．０、ＩＳＯ１００に固定されており、シャッタースピードが、１／１２５を中心として上下に同じ分だけスピートの異なる１／６０、１／１２５、１／２５０であるとする。先に決定した合成比率がたとえば各画像均等（１／３）の場合、作成した合成画像のシャッタースピードとして１／１２５を記載する。これは、合成画像の露光量を１回の撮影の撮影条件に換算すると、１枚だけ撮影した場合の理論的な露光量は１／１２５のシャッタースピードと等価だからである。

前述の方法で算出した合成比率が例えばシャッタースピード１／６０、１／１２５、１／２５０の各画像の順で８／１０、１／１０、１／１０の場合、合成画像がどのシャッタースピードで撮影された画像と等価になるかを算出する。各画像のシャッタースピードに対応するＴｖ値を用いて、合成比率による重みづけ加算により合成画像のＴｖ値（シャッタースピード）を算出する。上述の条件の場合、シャッタースピード１／６０、１／１２５、１／２５０はそれぞれＴｖ値６、７、８に対応するので、

すなわち、Ｔｖ値６．３に最も近いＴｖ値に対するシャッタースピード１／８０（秒）が合成画像の等価シャッタースピードとなる。一般化すると、合成後の適正露出情報のシャッタースピード（Ｔｖ）は合成比率とそれぞれのシャッタースピードに対応するＴｖ値を用いて以下のように計算することができる。

ただし、Ｔｖｎはｎ枚目の画像のＴｖ値、Ｒｎはｎ枚目の画像の合成比率とする。もちろん、演算方法としてはこれに限らず、実質的に合成画像の露光量が１枚撮影の時の画像の露光量とほぼ等価になるように換算されるような演算であれば、本発明に適用できる。上記のように合成比率を決定し、合成画像とともに記録媒体２００に１枚撮影の時の露光量と等価になるシャッタースピードを撮影露出情報として、他の撮影条件（例えば絞り値、ＩＳＯ感度、色温度等）とともに記録する。（Ｓ３０９）
以上の処理を行うことで、合成画像を利用するユーザーは通常撮影の画像と同じように画像編集などの際に撮影情報を参照することができる。

また上記説明した例においては、絞り値とＩＳＯ感度を固定して撮影する場合における画像合成時のシャッタースピード（撮影露出情報）の導出方法を説明した。しかしこれと同じ考え方を絞り値、あるいはＩＳＯ感度にも適用できる。たとえば、ユーザーがシャッタースピード１／１２５を変更しない、いわゆるシャッタースピード優先モードで撮影し、絞り値あるいはＩＳＯ感度を振って露光量を異ならせるとする。この場合、振らせる値が絞り値（Ｆ値）であれば、上記の式（１）のＴｖ値の代わりに各画像のＦ値に対応するＡｖ値を代入することで、合成画像のＡｖ値が算出できる。また振らせる値がＩＳＯ感度であるならば、例えばシャッタースピードに対するＴｖ値、絞りに対するＡｖ値と同じように、例えばＩＳＯ１００に対して０を割り当て、１段の段数の違いを数値上の１の違いとして表現したものを上記の式（１）のＴｖ値の代わりに代入して、合成画像のＩＳＯ感度に対する値を算出し、ＩＳＯ感度を割り出す。

また、本実施形態では、ダイナミックレンジを拡大するために１度の撮影で露光量の異なる画像を複数枚撮影し、合成するＨＤＲ処理を例に挙げた。しかし、本実施形態の撮影情報の算出はこの場合に限らず、単純にユーザーが自由に撮影した撮影条件の異なる複数枚の画像を合成する場合の、合成画像の撮影露出情報の算出にも適用できることは自明である。この場合、複数枚の画像のシャッタースピード、絞り値、ＩＳＯ感度のうち、２つ以上のパラメータが複数枚の中でばらついている可能性がある。従って、各パラメータについて、上記の式（１）の演算を行うことにより、合成画像の各パラメータを算出し、撮影露出情報とすればよい。さらにこのとき、合成比率を算出するための各画像の解析方法は、いかなるものを用いても良い。例えば輝度分布や色分布などを見て合成比率などを求めても良い。

また、前述の例（絞り値、ＩＳＯ感度をそれぞれ固定しシャッタースピード１／６０、１／１２５、１／２５０で合成比率８／１０、１／１０、１／１０）のように、合成後の合成画像のＴｖ値が設定可能なシャッタースピードに対応していない場合がある。このような場合は、得られたＴｖ値（絞りを振る場合はＡｖ値、ＩＳＯ感度を振る場合はあるＩＳＯ感度を基準とした値）から所定幅以内の近傍のＴｖ値で、設定可能なＴｖ値に対応するシャッタースピードを、合成画像の撮影露出情報とする。こうすることで、他の画像との比較がしやすいなど汎用性があり、望ましい。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

４０ 露光制御部
５０ システム制御部
６０ モードダイアルスイッチ
６２ シャッタースイッチＳＷ１
６４ シャッタースイッチＳＷ２
１００ デジタルカメラ
２００ 記録媒体
２０２ 記録部

Claims (9)

1. 異なる露出条件で撮像された複数の画像を所定の合成比率で合成して１枚の合成画像を生成する合成手段と、
   前記複数の画像それぞれの露出条件を前記合成比率で重みづけ加算して前記合成画像の露出情報として算出する算出手段と、
   前記算出手段によって算出された露出情報を前記合成画像に付帯してあるいは関連付けて記録媒体に記録する記録手段と、を有することを特徴とする画像処理装置。
2. 前記複数の画像を解析する解析手段と、
   前記解析手段の解析結果に基づいて前記合成比率を決定する決定手段と、を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像はシャッタースピードが異なり、
   前記算出手段は、前記複数の画像それぞれのシャッタースピードを前記合成比率で重みづけ加算して前記合成画像の露出情報としてシャッタースピードを算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記複数の画像は絞り値が異なり、
   前記算出手段は、前記複数の画像それぞれの絞り値を前記合成比率で重みづけ加算して前記合成画像の露出情報として絞り値を算出することを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
5. 前記複数の画像はＩＳＯ感度が異なり、
   前記算出手段は、前記複数の画像それぞれのＩＳＯ感度を前記合成比率で重みづけ加算して前記合成画像の露出情報としてＩＳＯ感度を算出することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
6. 前記算出手段は、前記重みづけ加算の結果が所定の値のいずれにもならない場合は、前記重みづけ加算の結果の近傍の所定の値に丸めることを特徴とする請求項３乃至５のいずれか１つに記載の画像処理装置。
7. 異なる露出条件で撮像された複数の画像を所定の合成比率で合成して１枚の合成画像を生成する合成ステップと、
   前記複数の画像それぞれの露出条件を前記合成比率で重みづけ加算して前記合成画像の露出情報として算出する算出ステップと、
   前記合成画像の露出情報を合成画像に付帯してあるいは関連付けて記録媒体に記録する記録ステップと、を有することを特徴とする画像処理装置の制御方法。
8. 請求項７に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
9. コンピュータに、請求項７に記載の画像処理装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images