JP5324052B2 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置及び画像処理方法に関し、特に画質の向上と操作性の悪化を最小限に押さえる画像処理装置、撮像装置及び画像処理方法に関する。

従来から、小型カメラモジュールを装備し携帯可能な撮像装置として、電子スチルカメラやカメラ付き携帯電話の需要が確実に増え続けている。ユーザのニーズは様々であるが、低照度撮影時の画質改善も重要課題のひとつである。低照度撮影時の画質改善策にはカメラ自体の高感度化以外に、電気的なゲインアップ、長時間露光、画像合成による感度向上がある。

ゲインアップは、手軽に明るさをあげる事が可能であり、かつシャッター速度を速いまま保つ事が出来るので、動きの大きな被写体への追従性もよく、かつ手ブレを起こしにくいという効果がある。反面、ノイズも同時に増幅する為、低照度時など画像信号量が少ない場合などはノイズ増加量の方が目立ち、結果として画質を損ねてしまう場合が多い。

長時間露光は、シャッター速度を遅くし数フレームに渡って露光を行う事による感度向上策である。回路ゲインを低く保つ事ができるのでノイズを増幅することなくＳＮ（Signal to noise ratio）に優れた撮影をする事ができる。反面、シャッター速度が遅くなる為に被写体追従性が悪くなり、手ブレも起こし易くなると言う欠点がある。

画像合成は、同一条件で被写体を複数枚連写し、後段処理でそれらの複数画像を重ね合わせ合成し明るさを改善する技術である。シャッター速度を速く保ち、かつゲインも低く出来るので、被写体追従性もよくＳＮにも優れるという利点がある。合成枚数を増やすほどＳＮが良くなる反面、画像合成処理に時間が掛かって撮影時間が長くなり、ユーザにストレスを与えると言う欠点がある。

画像合成手法を用いてユーザの不用意な操作による画質の劣化を防止する技術が提案されている（例えば特許文献１参照）。図５に従来技術の構成図、図６に従来技術の動作フローチャートを示す。かかる従来の撮影装置は、撮影開始指令入力手段５０１と、前記撮影開始指令入力手段５０１に入力された撮像開始指令に基づいて撮影を行う撮影手段５０２と、前記撮影手段５０２により得られた画像情報を処理する画像処理手段５０３と、前記撮影手段５０３による撮影の終了をユーザに通知する合図発生手段５０４を備え（図５、図６参照）、長時間露光撮影の終了合図をユーザに行うことにより、ユーザに必要以上にカメラを保持する負荷を軽減するとともに、ユーザの不用意な操作による画質の劣化を防止する。また、複数画像を合成する場合に関してもユーザに撮影の開始、終了を通知することで上記と同様の効果が得られるとしている。
特開２００６−１５７３４２号公報

しかしながら、上記のような技術では、あくまでも長時間露光や複数画像の合成時に、その開始や終了をユーザに通知する事で必要以上にカメラを保持する負荷を軽減し、また、撮影中の不用意な操作による画質劣化を防止する。ここで、昨今ではユーザのカメラ性能・機能に対する要求が厳しさと多面性を呈してきている。ユーザのニーズは様々であるが、総じて言えば高画質化と操作性の向上であると言える。しかしながら上記のような従来技術では、複数画像合成時に画質を改善しつつ、操作性を向上することはできない。

本発明はこのような状況に鑑みてなされたものであり、複数画像合成時に必要以上に合成枚数を増やすことなく、また、画質向上をしつつ操作性の悪化を最小限に押さえる画像処理装置、撮像装置及び画像処理方法を提供することを目的とする。

請求項１記載の発明は、画像データの輝度レベルを測定する輝度測定手段と、前記測定した輝度レベルが、所定の輝度レベルに達しているか判断する判断手段と、前記判断手段により、前記画像データが前記所定の輝度レベルに達していないと判断した場合には、新規画像データを取得する画像データ取得手段と、前記取得した新規画像データを、前記画像データと合成する合成手段と、を備え、前記輝度測定手段は、前記合成手段により合成された合成画像データの輝度レベルを測定し、前記判断手段は、前記合成画像データの輝度レベルが前記所定の輝度レベルに達しているか判断し、前記所定の輝度レベルに達していると判断するまで前記新規画像データの取得と、前記合成を繰り返すことを特徴とする画像処理装置である。

請求項２記載の発明は、請求項１記載の装置において、前記合成手段は、合成前の画像データから抽出した特徴部分が重なるように位置調整を行い前記取得した画像データを合成することを特徴とする。

請求項３記載の発明は、請求項１又は２記載の画像処理装置を備え、前記画像データ取得手段は、撮影により取得することを特徴とする撮像装置である。

請求項４記載の発明は、画像データの輝度レベルを測定する輝度測定手段と、前記測定した輝度が、所定の輝度レベルに達しているか判断する判断手段と、前記判断手段により、前記画像データが前記所定の輝度レベルに達していないと判断した場合には、新規画像データを取得する画像データ取得手段と、前記画像データ取得手段により取得する新規画像データの数を決定する決定手段と、前記取得した少なくとも１以上の新規画像データと、前記画像データと、を合成する合成手段と、を備えることを特徴とする画像処理装置である。

請求項５記載の発明は、請求項４記載の装置において、前記合成手段は、合成前の画像データから抽出した特徴部分が重なるように位置調整を行い前記取得した画像データを合成することを特徴とする。

請求項６記載の発明は、請求項４又は５記載の画像処理装置を備え、前記画像データ取得手段は、撮影により取得することを特徴とする撮像装置である。

請求項７記載の発明は、請求項６記載の装置において、前記決定手段は、下記式により新規画像データを取得するための撮影回数を決定することを特徴とする。
所定の輝度レベル／初めに撮影された画像データの輝度レベル＝α
撮影回数＝（α以上の最小の整数値）−１

請求項８記載の発明は、画像データの輝度レベルを測定するステップと、前記測定した輝度レベルが、所定の輝度レベルに達しているか判断するステップと、前記画像データが前記所定の輝度レベルに達していないと判断した場合には、新規画像データを取得するステップと、前記取得した新規画像データを、前記画像データと合成するステップと、前記合成された合成画像データの輝度レベルを測定するステップと、前記合成画像データの輝度レベルが前記所定の輝度レベルに達しているか判断するステップと、を備え、前記所定の輝度レベルに達していると判断するまで前記新規画像データの取得と、前記合成を繰り返すことを特徴とする画像処理方法である。

本発明によれば、複数画像合成時に必要以上に合成枚数を増やすことなく、また、画質向上をしつつ操作性の悪化を最小限に押さえる画像処理装置、撮像装置及び画像処理方法を提供することができる。

以下に、本発明の実施形態について、図面を用いて詳細に説明する。なお、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。

まず、本発明の実施形態に係る撮像装置の構成について説明する。図１は、本実施形態に係る撮像装置のブロック構成図である。カメラモジュール１は、光学レンズ２、撮像素子３、ＡＤ（Analog to Digital）変換器４、画像処理ＤＳＰ（Digital Signal Processor）５、Ｉ／Ｆ（インターフェイス：interface）回路６、電源・Ｖドライバー回路７、マイコン（Microcomputer）８から構成される。カメラモジュール１は、装置内部バス９を介してＣＰＵ１０、メモリ１１と接続される。また装置内部バス９には画像表示手段としてＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）１２が接続されている。

ＡＤ変換器（Analog to Digital）４は、光学レンズ２、撮像素子３、前記撮像素子３から出力されるアナログ信号をデジタル信号に変換する。

画像処理ＤＳＰ５は、前記ＡＤ変換器４から出力されるデジタル信号に対して色補間、色補正、画質調整など所定の画像処理を行い、デジタル映像信号を生成・出力すると共に、水平垂直同期信号やCLK（Clock）信号を出力する。

Ｉ／Ｆ回路６は、前記画像処理ＤＳＰ５の出力信号とＣＰＵ１０からの制御信号を、装置内部バス９を介してやり取りする。

電源・Ｖドライバー回路７は、前記撮像素子３を駆動する。

マイコン８は、前記Ｉ／Ｆ回路６を介して入来する制御信号を元に、前記画像処理ＤＰＳ５や電源・Ｖドライバー回路７を制御する。

次に、本実施形態に係る撮像装置の動作処理について図を用いて説明する。図２は、本実施形態に係る撮像装置において輝度値（画像の明るさ）改善の必要性を判断する処理を含む一連の撮影動作処理を示すフローチャートである。

装置電源ＯＮ後（ステップＳ１）、カメラを起動する事により（ステップＳ２）、カメライニシャライズ（Initialize：初期化）が実行される（ステップＳ３）。このイニシャライズにおいて、カメラの動作クロック、撮影画角、画質設定等の初期値設定が行われる。

イニシャライズ動作が完了するとカメラでの撮影が可能となる（ステップＳ４）。撮像素子３から得られた映像信号が画像処理ＤＳＰ５に入力されて所定の画像処理が施される（ステップＳ５）。画像処理ＤＳＰ５には、画像処理・画質調整用の各種レジスタ（Register）が装備されており、このレジスタ値を変更する事により画質調整が可能となっている。画像処理ＤＳＰ５は、所定の画像処理が施された映像信号を出力する。

カメラモジュール１で撮影された映像信号は、装置内部バス９を介して一旦メモリ１１に取り込まれると共にＬＣＤ１２上にプレビュー表示される（ステップＳ６）。

次に、画像処理ＤＳＰ５は、ステップＳ６においてメモリ１１に格納された画像データの解析、具体的には輝度値判定を行う（ステップＳ７）。判定は、撮影した画像データの輝度信号レベルと、予め設定してある基準値（Y_ref）との比較により行う。画像データの輝度信号レベルは、例えば得られた画像データ一面の輝度信号の平均値（Y_ave）を算出することにより得られる。

次に、輝度値判定の結果に基づき、輝度値改善の必要性が判断される。Y_ave≧Y_refの場合は、輝度値が所定のレベルに達しているとして、輝度値改善は不要と判断する。所定の輝度レベルに達し、輝度値改善の必要性が不要と判定されると、輝度値改善のための画像合成処理に必要となる次画像の取込みは不要となり（ステップＳ８／Ｎｏ）、画像記録処理（ステップＳ９）に移行する。画像記録処理が終了した時点で終了した旨を通知し（ステップＳ１０）、画像保存後一連の動作を終了する。

一方、輝度レベルY_ave＜Y_refの場合は、輝度値改善が必要と判断される。輝度値改善の必要性が認められた場合（Y_ave＜Y_ref）、次画像を取込む（ステップＳ８／Ｙｅｓ）。ＣＰＵ１０は、引き続きカメラに対して次の画像取得を命令すると共に、画像処理ＤＳＰ５に対して画像合成を命令する。この命令によってカメラは前回と同一のシャッター速度、ゲインにより次の画像の撮影を行う（ステップＳ４）。かかる２枚目の画像データを画像データＢと称す。

画像処理ＤＳＰ５は、先の画像データ（画像データＡと称す）と、画像データＢを合成する（ステップＳ５）。

ここで、複数画像の合成方法について説明する。完全に静止している被写体の場合は何も処理せずにそのまま合成しても問題がないが、実際の撮影シーンを考慮した場合、装置側、被写体側が多少動くことが考え得る。このような場合に、単純に画像を合成する処理を行うと、画像がずれた状態で合成されてしまい、ブレた画像いわゆるゴースト画像となり、画質を著しく劣化させる。そこで、画質劣化を防ぐ合成方法が必要となる。図３は複数画像の合成方法の一例である特徴点抽出法を説明するための図である。

特徴点抽出法は、合成元の画像（画像データＡ及び画像データＢ）においてそれぞれ被写体の特徴となる部分を抽出し（図３の○印参照）、それらの特徴点が重なるように位置調節を行って合成する。

これにより、輝度値向上のために画像中の被写体の位置がずれている複数の画像を合成する場合であっても、画質劣化を防止して高品質な画像を得ることができる。

ステップＳ５において合成された画像は、再度ステップＳ７、S８において輝度値判定がなされる。以下、ステップＳ８にて輝度値改善が必要ない（Y_ave≧Y_ref）と判断されるまで画像の撮影と合成が繰り返される。

上記実施形態により、撮影された画像データの輝度レベルを解析し、輝度値が所定のレベルに達するまで画像の撮影と合成を繰り返すため、どのような撮影条件下においても最適な輝度値（明るさ）を保った画像を得ることができ、また、必要以上に撮影と合成処理を行うことが無いため、処理時間を短縮でき、操作性を保ったまま最適な画質での撮影をすることができる。このように、画質向上と操作性向上（処理時間短縮）の両立を図ることができる。

次に、本発明の他の実施形態について図４を用いて説明する。上記実施形態と本実施形態の相違点は、輝度値判定処理（図２のステップＳ８、図４のステップＳ２２）の後に、合成枚数の計算処理（図４のステップＳ２５）を追加した点である。

装置電源ＯＮ後（ステップＳ１５）、ユーザがカメラを起動することにより（ステップＳ１６）、カメライニシャライズが実行される（ステップＳ１７）。前記イニシャライズ（ステップＳ１７）動作が完了するとカメラでの撮影が可能となり（ステップＳ１８）、撮像素子３から得られた映像信号が画像処理ＤＳＰ５に入力されて所定の画像処理が施されて映像信号が出力される（ステップＳ１９）。

画像処理ＤＳＰ５には画像処理・画質調整用の各種レジスタが装備されており、このレジスタ値を変更することにより画質調整が可能となっている。次に映像信号は装置内部バス９を介して一旦メモリ１１に取り込まれると共にＬＣＤ１２上にプレビュー表示がされる（ステップＳ２０）。

次にステップＳ２１において、ステップＳ２０においてメモリ１１に格納された画像データの解析がなされる。解析を行うのは画像処理ＤＳＰ５である。メモリ１１に格納された画像データに対して、画像処理ＤＳＰ５は輝度信号レベルの計測を行い、予め設定してある輝度レベル基準値Y_refと比較を行う。輝度レベルの計測は、例えば得られた画像一面の輝度信号の平均値Y_aveを算出することにより得られる。

ステップＳ２１における輝度レベル（Y_ave）計測が行われた結果、輝度値改善の必要性が判断される（ステップＳ２２）。輝度レベルY_ave＜Y_refの場合は、輝度値改善が必要と判断し（ステップＳ２２／Ｙｅｓ）、Y_ave≧Y_refの場合は、輝度値が所定のレベルに達しているとして輝度値改善は必要なしと判断する（ステップＳ２２／Ｎｏ）。

ステップS２２において輝度値改善の必要性がない（Y_ave≧Y_ref）と判断された場合は（ステップＳ２２／Ｎｏ）、画像データの画像記録処理を行い（ステップＳ２３）、画像処理の完了を通知後（ステップＳ２４）、画像保存後一連の動作を終了する。

一方、ステップＳ２２において輝度値改善の必要性が認められた場合は（Y_ave＜Y_ref）（ステップＳ２２／Ｙｅｓ）、複数の画像を合成するため、次画像の取り込み（再撮影）を行う。

ここで、本実施形態の特徴である合成枚数計算（ステップＳ２５）について説明する。輝度レベル基準値Y_refとY_aveとの比率Y_ref／Y_ave＝αを計算し、基準の輝度レベルを得るための取得画像枚数βを計算する。βはα以上の最小の整数値−１となる。この合成枚数値に基づき画像処理ＤＳＰ５はカメラに対して次の複数の画像取得を命令する。この命令によってカメラは前回と同一のシャッター速度、ゲインにより画像の撮影を行う（ステップＳ１８）。

例えば、α＝３.５の場合、取得画像枚数βは４−１＝３枚となる。βの値に基づいて撮影された複数の画像は次に画像処理ＤＳＰ５によって合成される（ステップＳ１９）。ここで、図４に示すフローチャートでは、再度ステップＳ２１、Ｓ２２での判定処理を経由し、輝度レベルが基準値に達したかどうかを確認しているが、ステップＳ２１、Ｓ２２での判定処理はスキップすることも考え得る。

上記実施形態により、１回目に撮影した画像データの解析に基づき輝度値改善に必要な合成枚数を算出し、連続的に必要な枚数の画像を取り込むため、処理時間を短縮できる。また、合成後の画像データの輝度値判定処理を不要とした場合は、さらに処理時間を短縮できる。

なお本発明は、図１に示すカメラモジュール１を用いた構成を備える電子スチルカメラ、カメラ付き携帯電話等全ての撮像装置に適用出来ることは明らかである。

また、フローチャートに示す処理を、ＣＰＵが実行するためのプログラムは本発明によるプログラムを構成する。このプログラムを記録する記録媒体としては、半導体記憶部や光学的及び／又は磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。

以上、本発明を好適な実施の形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

本発明の実施形態に係る撮像装置のブロック構成図である。 本発明の実施形態に係る撮像装置において輝度値改善の必要性を判断する処理を含む一連の撮影動作処理を示すフローチャートである。 本発明の実施形態に係る複数画像の合成方法の一例を説明するための図である。 本発明の実施形態に係る撮像装置において輝度値改善の必要性を判断する処理を含む一連の撮影動作処理を示すフローチャートである。 従来技術のブロック構成図である。 従来技術の動作処理を示すフローチャートである。

符号の説明

１ カメラモジュール
２ 光学レンズ
３ 撮像素子
４ ＡＤ変換器
５ 画像処理ＤＳＰ
６ Ｉ／Ｆ回路
７ 電源・Ｖドライバー回路
８ マイコン
９ 装置内部バス
１０ ＣＰＵ
１１ メモリ
１２ ＬＣＤ

Claims (3)

1. 画像データの輝度レベルを測定する輝度測定手段と、
   前記測定した輝度が、所定の輝度レベルに達しているか判断する判断手段と、
   前記判断手段により、前記画像データが前記所定の輝度レベルに達していないと判断した場合には、新規画像データを取得する画像データ取得手段と、
   前記画像データ取得手段により取得する新規画像データの数を決定する決定手段と、
   前記取得した少なくとも１以上の新規画像データと、前記画像データと、を合成する合成手段であって、合成前の画像データから被写体の特徴となる部分を抽出し、この抽出した特徴部分が重なるように位置調整を行い取得した画像データを合成する合成手段と、を備えることを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置を備え、
   前記画像データ取得手段は、撮影により取得することを特徴とする撮像装置。
3. 前記決定手段は、下記式により新規画像データを取得するための撮影回数を決定することを特徴とする請求項２記載の撮像装置。
   所定の輝度レベル／初めに撮影された画像データの輝度レベル＝α
   撮影回数＝（α以上の最小の整数値）−１

Images