JP7379438B2 - 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、画像処理装置に関するものであり、特に複数回撮像した画像を合成する画像処理装置に関するものである。

従来、撮像装置の露光時間より長く設定して撮像することで、動いている被写体に動きブレが生じた状態で画像を撮像し、被写体の動きを表現する長秒撮像と呼ばれる撮像手法が知られている。長秒撮像においては、露光時間が長いため、センサーの露光量が飽和レベルに達して白とびが生じてしまう場合がある。

特許文献１では、露光及びセンサーからの画像信号の出力を一定の時間間隔で撮像を繰り返し、画像合成部で合成することにより、所定の露光時間相当の画像となる合成画像を生成している旨の技術が記載されている。特許文献１に記載の技術を用いると、白とびを抑えながら長秒撮像を実現することができる。

特開２０１９－９２０１８号公報

しかしながら、同じ画面内に、長秒撮像に適している被写体と長秒撮像に適していない被写体とが存在すると、特許文献１に記載の方法を用いると、画面全体が合成画像に用いられるため、長秒撮像に適していない被写体でも合成されてしまう。このため、特許文献１に記載の技術を用いるとき、長秒撮像に適していない被写体が存在すると、違和感が出てしまう可能性がある。

本発明は、上記の課題を鑑みてなされたものであり、画面内の一部の領域に対して合成を行うことにより、長秒撮像で表現したくない領域を合成に用いないことを目的とする。

上記課題を解決するため、本願発明は、複数の画像のそれぞれに対して領域分割を行う分割手段と、前記複数の画像から、合成画像を作成する合成手段と、前記複数の画像内の被写体の種別を判定する判定手段と、前記領域分割された領域それぞれに重み付けを設定する設定手段と、を有し、前記分割手段は前記判定手段の判定結果に基づいて前記領域分割を行い、前記合成手段は前記重み付けに基づいて前記複数の画像の対応する領域毎に合成枚数を決定することを特徴とする画像処理装置を提供する。

本発明の構成によれば、長秒撮像の画像を得るために合成を行う場合、一部の領域を合成する画像処理装置を提供することができる。

本発明の実施形態における撮像装置の構造を説明するためのブロック図である。 第１の実施形態における合成画像の作成について説明するためのフローチャートである。 第１の実施形態における基準画像の領域分割を説明するための図である。 第２の実施形態における合成画像の作成を説明するためのフローチャートである。 第２の実施形態における動きベクトルの算出を説明するためのフローチャートである。 第２の実施形態における動きベクトルの算出を説明するための図である。 第２の実施形態における合成に用いる参照画像の特定について説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

（第１の実施形態）
図１は、本実施形態における画像処理装置としての撮像装置の構造を説明するためのブロック図である。

制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックに対する制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、撮像装置１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行するプログラムの展開や、撮像装置１００が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。また、後述するように、読み出された分割露光画像の画像信号を一時的に記録し、合成画像を生成する際に用いる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部１０５の撮像面上に結像する。光学系１０４には、光学系１０４のズームポジション、フォーカスポジションをユーザーが直接操作して制御する不図示の操作手段が設けられている。

撮像部１０５は、たとえばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像部１０５の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１０７は、分割露光を用いた長秒撮像用の動作として、ＲＡＭ１０３に一時的に記録された分割露光画像を読み出し、合成（たとえば加算平均）する処理も行う。

記録部１０８は、着脱可能なメモリカード等である。記録部１０８は、画像処理部１０７で処理された画像データを、ＲＡＭ１０３を介し、記録画像として記録する。表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３に記憶されている画像や記録部１０８に記録されている画像の表示、ユーザーからの指示を受け付けるための操作ユーザーインターフェイスの表示等を行う。指示入力部１１０は、タッチパネルやマウス等であり、ユーザーによる指示を入力する。

図２は、本実施形態における合成画像の作成について説明するためのフローチャートである。

ユーザーが撮像装置１００の電源を入れ、指示入力部１１０を用いて撮像モードを長秒撮像モードに設定すると、図２に示したフローが開始する。

ステップＳ２０１で、制御部１０１の制御のもとで、撮像部１０５が複数の画像を同じ画角で撮像する。具体的に、制御部１０１が、あらかじめ定められた露光時間を複数の時間区分に分割し、分割した時間区分ごとに、撮像部１０５が画像を生成し、生成した画像を分割露光画像という。また、制御部１０１は、生成した分割露光画像をＲＡＭ１０３に順次記録する。

ステップＳ２０２で、制御部１０１は、基準画像に対して領域分割を行う。ここでいう基準画像は、ステップＳ２０１で撮像部１０５が撮像した複数の画像のうちの任意の１枚の画像でよく、たとえば最初に撮像した画像である。

図３は、本実施形態における基準画像の領域分割を説明するための図である。図３（ａ）は、領域分割の処理結果を示す。領域分割では、制御部１０１は、水面や水が流れている水領域、木や芝生のような木領域、空を示す空領域、岩や建物のように動かない領域に領域を分割する。ここで、分割の方法は特に問わないものとする。画像を所定の領域に分割する技術の例としては、画像の特徴量および評価値を使用して分割する方法や、ニューラルネットワークを使用した画像分割の技術が提示されている。図３（ａ）では、制御部１０１は、領域３０１が池や滝の画像であるため水領域と、領域３０２が空領域と、領域３０３が木領域と判定している。

ステップＳ２０３で、制御部１０１は、ステップＳ２０２で分割された各領域に対して、それぞれ加算重みを決定する。図３（ｂ）は、加算重みの一例を示している。図３（ｂ）に示すように、動きを表現したい水領域に関しては、制御部１０１が加算重みに１を設定する。逆に木領域は加算処理を行うとブレとして見えてしまうため、制御部１０１が加算重みに０を設定する。空領域や動かない領域のように、加算することによってノイズ抑圧効果を出したい領域は、制御部１０１が加算重みに１を設定する。判定できない領域に対しては、特別な制御を行わないようにするために制御部１０１が加算重みに１を設定する。

ステップＳ２０４で、制御部１０１が合成処理を行う。具体的に、制御部１０１は、重みが１と設定されている領域については、ステップＳ２０１で撮像したすべての画像の同じ領域を全て加算平均処理した画像を出力画像として出力する。重みが０と設定されている領域については、参照画像の加算は行わず、制御部１０１が基準画像を出力画像として出力する。

以上、本実施形態における合成画像の生成方法について説明した。

なお、本実施例では制御部１０１が領域分割の処理を自動で行っているが、指示入力部１１０を使用してユーザーからの指示によって、制御部１０１が長秒露光効果を出す領域と出さない領域とを区別しても良い。その場合は、指示入力部１１０を使用して入力されたユーザーからの指示に応じて、分割された各領域に対して、制御部１０１がそれぞれユーザーからの指示に基づいて加算重みの設定を行う。ユーザーによって設定された領域分割の情報および各領域の加算重みに従って、ステップＳ２０４において制御部１０１が画像合成の処理を行う。

第１の実施形態によれば、撮像装置が、複数の画像を撮像し、疑似的に長秒露光効果を出す領域と出さない領域とを区別して合成するかどうかを決めることにより、画面内の一部領域だけに対して合成して合成画像を作成することができる。

（第２の実施形態）
以下では、図を用いながら第２の実施形態について説明する。第２の実施形態では、第１の実施形態と異なり、合成処理の有無を、基準画像と他の画像の間の動き情報に基づいて判断する。

図４は、本実施形態における合成画像の作成を説明するためのフローチャートである。

ステップＳ４０１での撮像処理は、第１の実施形態のステップＳ２０１と同様である。

ステップＳ４０２で、制御部１０１は、画像間の動きベクトルを算出する。まず、制御部１０１が、第１の実施形態と同じように、ステップＳ４０１で撮像した画像のうちの１つの画像を基準画像とする。次に、制御部１０１が、基準画像以外の各画像と基準画像とから、動きベクトルを算出する。ここで、基準画像と動きベクトルを算出する基準画像以外の画像を参照画像と呼ぶ。以下では、基準画像と参照画像とから動きベクトルを算出する方法について説明する。なお、本実施形態では、動きベクトルの算出方法としてブロックマッチング法を例にあげて説明するが、動きベクトルの算出方法はこの例に限定されず、例えば勾配法でもよい。

図５は、本実施形態における動きベクトルの算出を説明するためのフローチャートである。

ステップＳ５０１で、制御部１０１は、未処理の参照画像から処理対象となる参照画像を選択する。

ステップＳ５０２で、制御部１０１が、基準画像の未処理の画素を中心に、Ｎ×Ｎ画素の基準ブロックを配置する。

図６は、本実施形態における動きベクトルの算出を説明するための図である。図６には、基準画像６０１にＮ×Ｎ画素の基準ブロックが配置されていることが示されている。

次に、ステップＳ５０３で、制御部１０１が、ステップＳ５０１で選択した参照画像に、ステップＳ５０２で配置した基準ブロックが対応する探索範囲を設定する。図６では、制御部１０１が、参照画像６０３に、基準ブロックの中心位置６０２と同様な位置６０４を中心に、（Ｎ＋ｎ）×（Ｎ＋ｎ）画像の探索範囲６０５を配置したことを示している。

ステップＳ５０４で、制御部１０１が相関演算を行う。相関演算では、制御部１０１は、ステップＳ５０２で配置した基準ブロックとステップＳ５０３で設定した探索範囲の中に存在するＮ×Ｎ画素の参照ブロックとの相関値を算出する。ここでの相関値は、たとえば、差分絶対値和、差分二乗和や正規相互相関値などである。

図６では、制御部１０１は、参照画像６０３の探索範囲６０５に、参照ブロック６０６を設定することを示している。制御部１０１は、探索範囲６０５に参照ブロック６０６の位置を移動させながら、基準ブロックと参照ブロックとの相関値を算出する。

ステップＳ５０５で、制御部１０１は、動きベクトルを算出する。具体的に、制御部１０１は、ステップＳ５０４で、相関値が最大となる参照ブロックの位置を特定し、相関値が最大となる参照ブロックの中心位置と基準ブロックの中心位置とから動きベクトルを算出できる。

ステップＳ５０６で、制御部１０１は、ステップＳ５０１で選択した参照画像の周辺部以外のすべての画素に対して、動きベクトルの算出の処理を行ったかどうか判断する。画像の周辺部の画素を中心に、基準ブロックを配置できない可能性があるので処理しない。周辺部以外のすべての画素が処理済みであれば、ステップＳ５０７に進む。まだ処理済みでない画素があれば、ステップＳ５０２に戻り、制御部１０１は、処理済みでない画素を中心に、新たに基準ブロックを配置する。

ステップＳ５０７で、制御部１０１は、制御部１０１は、すべての参照画像を処理したかどうかについて判断する。すべての参照画像が処理済みであれば、本フローが終了する。まだ処理済みでない参照画像があれば、ステップＳ５０１に戻り、処理済みでない参照画像から新たに相関演算の対象画像を選択する。

図５に示したフローを実施すると、制御部１０１は、基準画像の周辺部以外のそれぞれの画素の、各参照画像に対応する動きベクトルを得られる。

なお、ステップＳ４０２で、制御部１０１は、指定されたが基準画像の一部の領域のみ上記の動きベクトルの算出の処理を行ってもよい。

次に、ステップＳ４０３で、制御部１０１は、各画素で合成に用いる画像を決定する。まず、制御部１０１は、基準画像の各画素で検出した各参照画像に対応する動きベクトルの大きさに対して、あらかじめ定められた閾値ＴＨ１とＴＨ２との比較を行う。制御部１０１がステップＳ５０５で算出した動きベクトルの大きさが、閾値ＴＨ１より大きく、かつ閾値ＴＨ２より小さいのであれば、該動きベクトルが対応する参照画像の画素を加算対象の画素とする。逆に、制御部１０１がステップＳ５０５で算出した動きベクトルの大きさが、閾値ＴＨ１以下の場合、該画素が対応する被写体が静止状態であることと判断し、合成に用いる必要がない。また、制御部１０１がステップＳ５０５で算出した動きベクトルの大きさが、閾値ＴＨ２以上の場合、該画素が対応する被写体の動きが激しく、合成に用いると不自然なボケになってしまうと判断し、合成に用いないことにする。つまり、制御部１０１は、ＴＨ１～ＴＨ２の範囲内の動きベクトルを抽出する。

制御部１０１は、上述のように、すべての参照画像から算出した動きベクトルの大きさに対して判断し、基準画像のそれぞれの画素の合成に用いる参照画像を特定する。図７は、本実施形態における合成に用いる参照画像の特定について説明するための図である。制御部１０１は、図７（ａ）に示したように、基準画像の周辺部以外の画素（動きベクトルが算出された）に位置の番号を付与する。次に、制御部１０１は、図７（ｂ）のように、基準画像の周辺部以外の画素のそれぞれに対して、対応するそれぞれの参照画像の同じ位置の画素が、合成に用いられるかどうか判断する。図７（ｂ）では基準画像の画素位置と参照画像番号とから合成に用いるかどうかわかる。図７（ｂ）は、「１」が「是」、つまり合成に用いることを意味し、「０」が「非」、つまり合成に用いないことを意味する。たとえば、図７（ｂ）では、画素位置の番号が１の画素は、参照画像番号が１乃至７の参照画像の同じ位置の画素のすべてに合成されることがわかる。また、画素位置の番号が２の画素は、参照画像番号が１、２、３の参照画像の同じ位置の画素のすべてに合成されることがわかる。画素位置の番号が５の画素は、どの参照画像の同じ位置の画素とも合成されないことがわかる。なお、図７（ｂ）の右側に、参考として加算画像数、つまりそれぞれの基準画像の画素位置に、合成される画像の枚数が示されている。

ステップＳ４０４で、制御部１０１は、ステップＳ４０３で決定した参照画像の画素を、基準画像と合成する。

なお、以上の説明では、画素ごとに動きベクトルを検出し、合成するというように説明したが、これに限らず、たとえば、何画素からなる領域ごとに動きベクトルを算出し、領域ごとに合成するという方法でも実施できる。また、上述の基準ブロック、探索領域の大きさも、制御部１０１の処理機能およびＲＯＭ１０２、ＲＡＭ１０３の記憶容量などにより適宜調整してよい。

第２の実施形態によれば、画像間の動きを判断し、合成に用いる参照画像の画素と合成に用いない参照画像の画素を決めることにより、疑似的に画面内の一部領域だけ長秒露光効果を出す合成画像を作成することができる。

（その他の実施形態）
以上、本発明の実施形態を説明したが、上記に記載の実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上記に記載の実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。

また、以上の説明では、撮像装置をもとに説明したが、本実施形態では、すでに撮像された画像に対して、コンピュータなどプロセッサー搭載の電子機器を使って画像処理を行えば、本発明の効果が得られる。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 記録部
１０９ 表示部
１１０ 指示入力部

Claims (14)

1. 複数の画像のそれぞれに対して領域分割を行う分割手段と、
   前記複数の画像から、合成画像を作成する合成手段と、
   前記複数の画像内の被写体の種別を判定する判定手段と、
   前記領域分割された領域それぞれに重み付けを設定する設定手段と、を有し、
   前記分割手段は前記判定手段の判定結果に基づいて前記領域分割を行い、
   前記合成手段は前記重み付けに基づいて前記複数の画像の対応する領域毎に合成枚数を決定することを特徴とする画像処理装置。
2. 前記対応する領域とは、同じ位置にある分割された領域であることを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は前記重み付けが第１の値より大きい第２の値を持つ領域について、前記第１の値を持つ領域よりも合成枚数を多くすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記合成手段は、加算平均で前記合成画像を作成することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記判定手段は、ニューラルネットワークを用いて前記複数の画像内の被写体の種別を判定することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記被写体の種別は水領域、木領域、空領域の少なくとも１つを含むことを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記設定手段は前記判定手段の判定結果に基づいて重み付けを行うことを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記合成画像の少なくとも一部の領域は、疑似的に、前記複数の画像より露光時間が長いことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記複数の画像は、同じ画角を有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記複数の画像の露光時間が同じであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 複数の画像を撮像する撮像手段と、
    前記複数の画像のそれぞれに対して領域分割を行う分割手段と、
    前記複数の画像から、合成画像を作成する合成手段と、
    前記複数の画像内の被写体の種別を判定する判定手段と、
    前記領域分割された領域それぞれに重み付けを設定する設定手段と、を有し、
    前記分割手段は前記判定手段の判定結果に基づいて前記領域分割を行い、
    前記合成手段は前記重み付けに基づいて前記複数の画像の対応する領域毎に合成枚数を決定することを特徴とする撮像装置。
12. 複数の画像のそれぞれに対して領域分割を行う分割ステップと、
    前記複数の画像から、合成画像を作成する合成ステップと、
    前記複数の画像内の被写体の種別を判定する判定ステップと、
    前記領域分割された領域それぞれに重み付けを設定する設定ステップと、を有し、
    前記分割ステップでは前記判定ステップの判定結果に基づいて前記領域分割を行い、
    前記合成ステップでは前記重み付けに基づいて前記複数の画像の対応する領域毎に合成枚数を決定することを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法をコンピュータに動作させるコンピュータのプログラム。
14. 請求項１３に記載のプログラムを記録するコンピュータが読み取り可能な記録媒体。

Images