JP7375208B2

JP7375208B2 - スーパー夜景画像の生成方法、装置、電子機器および記憶媒体

Info

Publication number: JP7375208B2
Application number: JP2022541888A
Authority: JP
Inventors: 謝亮
Original assignee: Arashi Vision Inc
Current assignee: Arashi Vision Inc
Priority date: 2020-01-07
Filing date: 2021-01-05
Publication date: 2023-11-07
Anticipated expiration: 2041-01-05
Also published as: WO2021139635A1; CN111242860B; CN111242860A; EP4089625A1; JP2023509744A; EP4089625A4; US20230074180A1; CN112288646A

Description

本発明は画像処理の技術分野に属し、特にスーパー夜景画像の生成方法、装置、電子機器および記憶媒体に関するものである。

従来の夜景強調撮影処理では、画像を撮影した後、撮影した夜景画像を画像輝度アルゴリズムまたはコントラスト強調アルゴリズムによって強調処理することで、画像の暗部の輝度とコントラストを向上させるのが一般的である。しかしながら、夜景画像にはノイズが比較的に多く、またノイズも強調されるおそれがあるため、夜景画像全体の強調効果を悪化させるようになる。しかも、局所分散に基づいて強調係数を決定する手段では、明暗が過度に強いところでハレーションを起こしやすい。

従来の技術案には、複数のフレームの画像からハイダイナミックレンジ画像を生成する技術手段があるが、この手段は、昼間に撮影したシーンでは良好な効果があるが、夜景写真ではノイズが非常に大きくなる。従来技術には、複数のフレームの夜景画像を直接融合させてノイズを除去するなどの処理手段があるが、この手段で得られた夜景画像はまだ画像の明部や暗部で十分に鮮明ではないものである。

本発明の目的は、従来技術では生成されたスーパー夜景画像のノイズが大きいという問題を解決するために、スーパー夜景画像の生成方法、装置、電子機器および記憶媒体を提供することにある。

本発明の一側面は、スーパー夜景画像の生成方法を提供しており、前記方法は、
１つのフレームの露光不足画像と複数のフレームの正常露光画像とを含む連続的な複数のフレームの原画像を取得するステップと；
前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得るステップと；
前記正常ノイズ低減画像に対して階調変換処理を行って、１つのフレームの過度露光画像を得るステップと；
前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得るステップとを含む。

上記した前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得るステップは、
前記複数のフレームの正常露光画像に対して重み付融合ノイズ低減処理を行って、１つのフレームのスタックされたノイズ低減画像を得るステップと；
前記スタックされたノイズ低減画像に対して、単フレーム画像ノイズ低減法によってノイズ低減処理を行って、前記正常ノイズ低減画像を得るステップとを含むことが好ましい。

好ましくは、上記した前記複数のフレームの正常露光画像に対して重み付融合ノイズ低減処理を行って、１つのフレームのスタックされたノイズ低減画像を得るステップは、
前記複数のフレームの正常露光画像の中から、一つのフレームの画像を基準画像として選択するステップと；
前記複数のフレームの正常露光画像のうち、前記基準画像以外の画像と前記基準画像とをアライメント処理するステップと、
アライメント処理された前記複数のフレームの正常露光画像に対して、第１の式によって重み付融合ノイズ低減処理を行って、前記スタックされたノイズ低減画像を得るステップとを含み、

前記アライメント処理された前記複数のフレームの正常露光画像に対して、第１の式によって重み付融合ノイズ低減処理を行うステップは、
ＹＵＶ空間では、アライメント処理された前記複数のフレームの正常露光画像に対して、前記第１の式によって重み付融合ノイズ低減処理を行うステップを含むことが好ましい。

前記ＹＵＶ空間では、アライメント処理された前記複数のフレームの正常露光画像に対して、前記第１の式によって重み付融合ノイズ低減処理を行うステップは、
アライメント処理された前記複数のフレームの正常露光画像のＹ成分データ、および前記基準画像のＵ成分データとＶ成分データを取得するステップと；
前記第１の式によって、前記Ｙ成分データに対して重み付融合ノイズ低減処理を行い、かつ前記Ｕ成分データと前記Ｖ成分データに対してエッジ保存フィルタリング処理を行うステップと；
重み付融合ノイズ低減処理されたＹ成分データと、エッジ保存フィルタリング処理された前記Ｕ成分データおよび前記Ｖ成分データとを合成して、前記スタックされたノイズ低減画像を得るステップとを含むことが好ましい。

上記した前記スタックされたノイズ低減画像に対して、単フレーム画像ノイズ低減法によってノイズ低減処理を行うステップは、
対象画素点の近傍ウィンドウ内でいくつかの基準画素点をランダムに選択するステップと；
前記対象画素点と各前記基準画素点をそれぞれ中心として画素ブロックを取得するステップと；
前記画素ブロック毎にＤＣＴ変換を行い、予め設定された閾値に基づいて前記画素ブロック毎に対応するＤＣＴ係数を更新するステップと；
更新されたＤＣＴ係数をＤＣＴ逆変換して、各画素ブロックを再構成するステップと；
再構成された各画素ブロックにおける対象画素点の位置に対応する画素点の画素値を重み付平均し、重み付平均した画素値を前記対象画素点の画素値とするステップとを含むことが好ましい。

前記予め設定された閾値に基づいて前記画素ブロック毎に対応するＤＣＴ係数を更新するステップは、
前記ＤＣＴ係数のうち、前記予め設定された閾値未満の係数をゼロにするステップを含むことが好ましい。

好ましくは、上記した前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得るステップの後に、
前記スーパー夜景画像に対して細部強調アルゴリズムによって細部強調処理を行って、細部強調されたスーパー夜景画像を得るステップを含み、
ここで、前記細部強調アルゴリズムは、エッジ保存フィルタリングによる細部強調アルゴリズムであり、前記細部強調されたスーパー夜景画像は、

上記した前記正常ノイズ低減画像に対して階調変換処理を行うステップは、
前記正常ノイズ低減画像に対してガンマ変換処理を行うステップを含むことが好ましい。

前記正常ノイズ低減画像に対してガンマ変換処理を行う際のガンマ係数は０．６２５であることが好ましい。

本発明の別の側面は、スーパー夜景画像の生成装置を提供しており、前記装置は、
１つのフレームの露光不足画像と複数のフレームの正常露光画像とを含む連続的な複数のフレームの原画像を取得するための画像取得ユニットと；
前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得るためのスタック型ノイズ低減ユニットと；
前記正常ノイズ低減画像に対して階調変換処理を行って、１つのフレームの過度露光画像を得るための階調変換ユニットと；
前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得るための画像合成ユニットとを備える。

本発明の別の側面は、メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで動作可能なコンピュータプログラムとを備える電子機器であって、前記プロセッサが前記コンピュータプログラムを実行する際に、上記のような方法のステップを実現する電子機器を提供する。

本発明の別の側面は、コンピュータ可読記憶媒体を提供しており、前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサに実行されると、上記のような方法のステップを実現する。

本発明では、１つのフレームの露光不足画像と複数のフレームの正常露光画像とを含む連続的な複数のフレームの原画像を取得し、前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得て、前記正常ノイズ低減画像に対して階調変換処理を行って、１つのフレームの過度露光画像を得て、前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得ることにより、夜景画像のノイズが低減され、さらにユーザ体験が向上された。

本発明の第１の実施例によるスーパー夜景画像の生成方法の実現フローチャートである。本発明の第２の実施例によるスーパー夜景画像の生成方法の実現フローチャートである。本発明の第３の実施例によるスーパー夜景画像の生成装置の構造模式図である。本発明の第４の実施例による電子機器の構造模式図である。

以下、本発明の目的、技術手段及び利点をより一層明らかにするように、添付図面及び実施例に基づいて本発明をさらに詳細に説明する。ここで記載された具体的な実施例は、本発明を釈明するためのものだけであり、本発明を限定する意図はないことを理解すべきである。

以下、具体的な実施例に基づいて本発明の具体的な実現について詳細に説明する。

第１の実施例
図１は、本発明の第１の実施例によるスーパー夜景画像の生成方法の実現の流れを示し、説明の便宜上、本発明の実施例に関連する部分のみを示しており、詳細は以下のとおりである。

ステップＳ１０１では、１つのフレームの露光不足画像と複数のフレームの正常露光画像とを含む連続的な複数のフレームの原画像を取得する。

本発明の実施例は携帯電話、腕時計、タブレット、コンピュータ、カメラなどの撮影機能を有する機器を含んでも良い電子機器に適用される。本発明の実施例では、暗所で電子機器によって連続的に撮影した複数のフレームの原画像を取得し、この暗所が夜間や他の光が比較的に暗いシーンを指しても良く、説明の便宜上、この例の原画像のフレーム数はＭで表され、ｍ≧３であり、この複数のフレームの原画像には１つのフレームの露光不足画像と複数のフレームの正常露光画像が含まれている必要がある。実際には、操作を容易にするために、通常、取得する第１のフレームの画像を露光不足画像とし、例えば、連続的に撮影された原画像は９フレームであり、第１のフレームの画像は露光不足画像、次の８フレームの画像は正常露光画像である。

ステップＳ１０２では、前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得る。

本発明の実施例では、前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得る場合は、具体的に以下のステップを含んでも良い。

Ｓ１０２１：前記複数のフレームの正常露光画像に対して重み付融合ノイズ低減処理を行って、１つのフレームのスタックされたノイズ低減画像を得る。

具体的には、前記複数のフレームの正常露光画像の中から、一つのフレームの画像を基準画像として選択し、前記複数のフレームの正常露光画像のうち前記基準画像以外の画像と前記基準画像とをアライメント処理し、さらに、アライメント処理された前記複数のフレームの正常露光画像に対して重み付融合ノイズ低減処理を行って、前記スタックされたノイズ低減画像を得ることにより、画像のズレによる悪影響を低減するようになる。ここで、基準画像として、正常露光画像のうちの第１のフレームの画像を選択してもよいし、正常露光画像のうちの第２のフレームの画像を選択してもよいし、正常露光画像のうちの最後のフレームの画像を選択してもよいが、ここでは限定しない。前記複数のフレームの正常露光画像のうち前記基準画像以外の画像と前記基準画像とをアライメント処理する時に、一つのフレームの画像と他のフレームの画像とをアライメント処理するのは従来技術であるため、ここで説明を省略しており、例えば、疎なオプティカルフローでアライメントしても良い。

アライメント処理された前記複数のフレームの正常露光画像に対して、第１の式によって重み付融合ノイズ低減処理を行って、前記スタックされたノイズ低減画像を得ることが好ましい。

なお、ここに、ＲＧＢ空間では、アライメント処理された前記複数のフレームの正常露光画像に対して、前記第１の式によって重み付融合ノイズ低減処理を行ってもよく、ＹＵＶ空間では、アライメント処理された前記複数のフレームの正常露光画像に対して、前記第１の式によって重み付融合ノイズ低減処理を行うことが好ましく、重み付融合ノイズ低減処理中の計算速度を向上するために、アライメント処理された前記複数のフレームの前記正常露光画像のＹ成分データ、および前記基準画像のＵ成分データとＶ成分データを取得し、前記第１の式によって、前記Ｙ成分データに対して重み付融合ノイズ低減処理を行い、かつ前記Ｕ成分データと前記Ｖ成分データに対してエッジ保存フィルタリング処理を行い、重み付融合ノイズ低減処理されたＹ成分データと、エッジ保存フィルタリング処理された前記Ｕ成分データおよび前記Ｖ成分データとを合成して、前記スタックされたノイズ低減画像を得ることがさらに好ましい。ここで、エッジ保存フィルタリング処理はバイラテラルフィルタリング処理であってもよいし、誘導フィルタリング処理であってもよく、ここでは限定しない。スタックされたノイズ低減画像は、ＹＵＶ空間に保存された画像であってもよいし、ＲＧＢ空間や他の色空間に変換して保存された画像であってもよく、ここでは、これについても限定しない。

Ｓ１０２２：前記スタックされたノイズ低減画像に対して、単フレーム画像ノイズ低減法によって、一枚の正常ノイズ低減画像を生成する。

前記スタックされたノイズ低減画像に対して、単フレーム画像ノイズ低減法によって一枚の正常ノイズ低減画像を生成することで、ノイズの影響をさらに解消することができる。この単フレーム画像ノイズ低減法は離散コサイン空間で行われ、離散コサイン変換によってノイズ低減を行う際に、一回に１画素ずつずれるようにするものであり、説明の便宜上、本実施例において、ずれる度に対応する画素点を対象画素点と呼び、画像のノイズ低減効果を効果的に向上するために、対象画素点の近傍ウィンドウ内でいくつかの基準画素点をランダムに選択し、前記対象画素点と各前記基準画素点をそれぞれ中心として画素ブロックを取得し、前記画素ブロック毎にＤＣＴ変換（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ、離散コサイン変換）を行い、かつ予め設定された閾値に基づいて前記画素ブロック毎に対応するＤＣＴ係数を更新し、更新されたＤＣＴ係数をＤＣＴ逆変換して、各画素ブロックを再構成し、再構成された各画素ブロックにおける対象画素点の位置に対応する画素点の画素値を重み付平均し、重み付平均した画素値を前記対象画素点の画素値とすることが好ましい。ここで、前記近傍ウィンドウのサイズは一般的に８×８であり、これに対応して、各前記画素ブロックのサイズも８×８であるのは一般的であり、予め設定されたしきい値は通常マニュアル設定されるものであり、このしきい値の大きさは画像のノイズレベルに基づいて設定してもよく、ちなみに、ノイズレベルはＩＳＯ、カメラの露光時間およびカメラのセンサ自身によって確定することができ、ＩＳＯの数値が高いほど当該感光部品の感光能力が強いことを示している。予め設定された閾値に基づいて画素ブロック毎に対応するＤＣＴ係数を更新する時に、オプションとして、ＤＣＴ係数のうち、予め設定された閾値より小さい係数をゼロにしても良い。

ステップＳ１０３では、前記正常ノイズ低減画像に対して階調変換処理を行って、１つのフレームの過度露光画像を得る。

ステップＳ１０４では、前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得る。

本発明の実施例において、前記露光不足画像は、画像のハイライト部分に豊富な細部を提供でき、前記正常ノイズ低減画像は、画像に豊富な中間輝度の細部を提供でき、前記過度露光画像は、画像の暗所に細部を提供でき、前記露光不足画像と、前記正常ノイズ低減画像と、前記過度露光画像とに対して融合処理を行うことで、ＨＤＲ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ、ハイダイナミックレンジ）画像である融合されたスーパー夜景画像を得る。前記露光不足画像と、前記正常ノイズ低減画像と、前記過度露光画像とに対して融合処理を行う時には、ハイダイナミックレンジ画像の視覚効果を向上するために、正常露光画像を基準として露光不足画像および過度露光画像に対して移動画素除去を行って、それぞれ第３の画像および第４の画像を得て、正常露光画像、第３の画像および第４の画像をダウンサンプリングして第１の重み値マップを算出し、ダウンサンプリングして得られた３枚の画像をそれぞれ階調図に変換し、得られた階調図を多重解像度融合して第２の重み値マップを算出し、第２の重み値マップを元の画像サイズに合わせてアップサンプリングし、正常露光画像と、露光不足画像と、過度露光画像とを重み付融合することが好ましい。もちろん、前記露光不足画像と、前記正常ノイズ低減画像と、前記過度露光画像とに対して融合処理を行う時に、従来技術における他の融合処理方法を採用してもよく、ここでは贅言しない。

本発明の実施例では、１つのフレームの露光不足画像と複数のフレームの正常露光画像とを含む連続的な複数のフレームの原画像を取得し、前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得て、前記正常ノイズ低減画像に対して階調変換処理を行って、１つのフレームの過度露光画像を得て、前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得ることにより、夜景画像のノイズが低減され、さらにユーザ体験が向上された。前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行う時に、ＹＵＶ空間では、アライメント処理された前記複数のフレームの正常露光画像に対して重み付融合ノイズ低減処理を行うことにより、夜景画像の処理速度が向上され、さらにユーザ体験が向上された。

第２の実施例
図２は、本発明の第２の実施例によるスーパー夜景画像の生成方法の実現の流れを示し、説明の便宜上、本発明の実施例に関連する部分のみを示しており、詳細は以下のとおりである。

ステップＳ２０１では、１つのフレームの露光不足画像と複数のフレームの正常露光画像とを含む連続的な複数のフレームの原画像を取得する。

ステップＳ２０２では、前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得る。

ステップＳ２０３では、前記正常ノイズ低減画像に対して階調変換処理を行って、１つのフレームの過度露光画像を得る。

ステップＳ２０４では、前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得る。

本発明の実施例において、ステップＳ２０１～Ｓ２０４の実施形態は、前述の第１の実施例におけるステップＳ１０１～Ｓ１０４に関する説明を対応して参照しても良いので、ここでは贅言しない。

ステップＳ２０５では、前記スーパー夜景画像に対して細部強調アルゴリズムによって細部強調処理を行って、細部強調されたスーパー夜景画像を得る。

本発明の実施例では、前記スーパー夜景画像に対して細部強調アルゴリズムによって細部強調処理を行って、細部強調されたスーパー夜景画像を得ることにより、画像の細部がさらに向上され、さらに画像の鮮明さが向上された。

また好ましくは、前記細部強調アルゴリズムは、普通のフィルタリングによる細部強調アルゴリズムであり、前記細部強調されたスーパー夜景画像は、

本発明の実施例では、１つのフレームの露光不足画像と複数のフレームの正常露光画像とを含む連続的な複数のフレームの原画像を取得し、前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得て、前記正常ノイズ低減画像に対して階調変換処理を行って、１つのフレームの過度露光画像を得て、前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得て、そして、前記スーパー夜景画像に対して細部強調アルゴリズムによって細部強調処理を行うことにより、夜景画像の細部が向上され、さらにユーザ体験が向上された。

第３の実施例
図３は、本発明の第３の実施例によるスーパー夜景画像の生成装置の構造を示し、説明の便宜上、本発明の実施例に関連する部分のみを示しており、その中に、
１つのフレームの露光不足画像と複数のフレームの正常露光画像とを含む連続的な複数のフレームの原画像を取得するための画像取得ユニット３１と；
前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得るためのスタック型ノイズ低減ユニット３２と；
前記正常ノイズ低減画像に対して階調変換処理を行って、１つのフレームの過度露光画像を得るための階調変換ユニット３３と；
前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得るための画像合成ユニット３４とを備える。

スタック型ノイズ低減ユニットは、
前記複数のフレームの正常露光画像に対して重み付融合ノイズ低減処理を行って、１つのフレームのスタックされたノイズ低減画像を得るための第１のノイズ低減サブユニットと、
前記スタックされたノイズ低減画像に対して、単フレーム画像ノイズ低減法によってノイズ低減処理を行って、前記正常ノイズ低減画像を得るための第２のノイズ低減サブユニッと、を備えることが好ましい。

好ましくは、前記第１のノイズ低減サブユニットは、
前記複数のフレームの正常露光画像の中から、一つのフレームの画像を基準画像として選択するための基準画像選択ユニットと、
前記複数のフレームの正常露光画像のうち前記基準画像以外の画像と前記基準画像とをアライメント処理するための画像アライメント処理ユニットと、
アライメント処理された前記複数のフレームの正常露光画像に対して、第１の式によって重み付融合ノイズ低減処理を行って、前記スタックされたノイズ低減画像を得るための第３のノイズ低減サブユニットと、を備え、ここで、前記第１の式は、

前記第２のノイズ低減サブユニットは、
対象画素点の近傍ウィンドウ内でいくつかの基準画素点をランダムに選択するための画素点選択ユニットと、
前記対象画素点と各前記基準画素点をそれぞれ中心として画素ブロックを取得するための画素ブロック取得ユニットと、
前記画素ブロック毎にＤＣＴ変換を行い、かつ予め設定された閾値に基づいて前記画素ブロック毎に対応するＤＣＴ係数を更新するためのＤＣＴ変換ユニットと、
更新されたＤＣＴ係数をＤＣＴ逆変換して、各画素ブロックを再構成するためのＤＣＴ逆変換ユニットと、
再構成された各画素ブロックにおける対象画素点の位置に対応する画素点の画素値を重み付平均し、重み付平均した画素値を前記対象画素点の画素値とするための画素値計算ユニットと、を備えることが好ましい。

前記ＤＣＴ変換ユニットは、
ＤＣＴ係数のうち、前記予め設定された閾値未満の係数をゼロにするためのＤＣＴ変換サブユニットを備えることが好ましい。

前記第３のノイズ低減サブユニットは、
ＹＵＶ空間では、アライメント処理された前記複数のフレームの正常露光画像に対して、前記第１の式によって重み付融合ノイズ低減処理を行うための第４のノイズ低減サブユニットを備えることが好ましい。

前記第４のノイズ低減サブユニットは、
アライメント処理された前記複数のフレームの正常露光画像のＹ成分データ、および前記基準画像のＵ成分データとＶ成分データを取得するための成分データ取得ユニット、または、
前記第１の式によって、前記Ｙ成分データに対して重み付融合ノイズ低減処理を行い、かつ前記Ｕ成分データと前記Ｖ成分データに対してエッジ保存フィルタリング処理を行うための成分データ取得ユニットと、
重み付融合ノイズ低減処理されたＹ成分データと、エッジ保存フィルタリング処理された前記Ｕ成分データおよび前記Ｖ成分データとを合成して、前記スタックされたノイズ低減画像を得るための成分データ合成ユニットと、を備えることが好ましい。

階調変換ユニットは、
前記正常ノイズ低減画像に対してガンマ変換処理を行うためのガンマ変換ユニットを備えることが好ましい。

好ましくは、前記装置はさらに、
前記スーパー夜景画像に対して細部強調アルゴリズムによって細部強調処理を行って、細部強調されたスーパー夜景画像を得るための細部強調処理ユニットを備え、
ここで、前記細部強調アルゴリズムは、エッジ保存フィルタリングによる細部強調アルゴリズムであり、前記細部強調されたスーパー夜景画像は、

本発明の実施例において、スーパー夜景画像生成装置の各ユニットは、対応するハードウェアユニットまたはソフトウェアユニットで実現することができ、各ユニットは独立したソフトウェアユニットやハードウェアユニットであっても良いし、一つのソフトウェアユニットやハードウェアユニットに統合されてもよいが、ここで本発明を限定する意図はない。スーパー夜景画像生成装置の各ユニットの具体的な実施形態については、上記方法の実施例の記載を参照してもよいので、ここでは贅言しない。

第４の実施例
図４は、本発明の第４の実施例による電子機器の構造を示し、説明の便宜上、本発明の実施例に関連する部分のみを示している。

本発明の実施例における電子機器４は、プロセッサ４０と、メモリ４１と、メモリ４１に記憶され、プロセッサ４０で動作可能なコンピュータプログラム４２とを備える。このプロセッサ４０はコンピュータプログラム４２を実行する際に、上述した各方法の実施例におけるステップ、例えば図１に示すステップＳ１０１～Ｓ１０４を実現する。あるいは、プロセッサ４０はコンピュータプログラム４２を実行する際に、上述した各装置の実施例における各ユニットの機能、例えば、図３に示すユニット３１～３４の機能を実現する。

本発明の実施例では、１つのフレームの露光不足画像と複数のフレームの正常露光画像とを含む連続的な複数のフレームの原画像を取得し、前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得て、前記正常ノイズ低減画像に対して階調変換処理を行って、１つのフレームの過度露光画像を得て、前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得ることにより、夜景画像のノイズが低減され、さらにユーザ体験が向上された。

第５の実施例
本発明の実施例では、コンピュータ可読記憶媒体を提供しており、このコンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサに実行されると、上述した方法の実施例におけるステップ、例えば図１に示すステップＳ１０１～Ｓ１０４を実現する。あるいは、このコンピュータプログラムがプロセッサに実行されると、上述した各装置の実施例における各ユニットの機能、例えば、図３に示すユニット３１～３４の機能を実現する。

本発明の実施例におけるコンピュータ可読記憶媒体は、例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク、フラッシュメモリなどのメモリのようなコンピュータプログラムコードを保持可能な任意のエンティティまたは装置、記憶媒体を含んでも良い。

以上に述べたのは本発明の好ましい実施例に過ぎず、それによって本発明を限定するものではなく、本発明の精神と原則の範囲内でなされたいかなる修正、等価置換および改良などは、いずれも本発明の保護範囲に含まれるべきである。

Claims

１つのフレームの露光不足画像と複数のフレームの正常露光画像とを含む連続的な複数のフレームの原画像を取得するステップと；
前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得るステップと；
前記正常ノイズ低減画像に対して階調変換処理を行って、１つのフレームの過度露光画像を得るステップと；
前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得るステップとを含む、ことを特徴とするスーパー夜景画像の生成方法。
上記した前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つの正常ノイズ低減画像を得るステップは、
前記複数のフレームの正常露光画像に対して重み付融合ノイズ低減処理を行って、１つのフレームのスタックされたノイズ低減画像を得ることと；
前記スタックされたノイズ低減画像に対して、単フレーム画像ノイズ低減法によってノイズ低減処理を行って、前記正常ノイズ低減画像を得ることとを含む、ことを特徴とする請求項１に記載の方法。
上記した前記複数のフレームの正常露光画像に対して重み付融合ノイズ低減処理を行って、１つのフレームのスタックされたノイズ低減画像を得るステップは、
前記複数のフレームの正常露光画像の中から、一つのフレームの画像を基準画像として選択することと；
前記複数のフレームの正常露光画像のうち、前記基準画像以外の画像と前記基準画像とをアライメント処理することと、
アライメント処理された前記複数のフレームの正常露光画像に対して、第１の式によって重み付融合ノイズ低減処理を行って、前記スタックされたノイズ低減画像を得ることとを含む、ことを特徴とする請求項２に記載の方法、
前記アライメント処理された前記複数のフレームの正常露光画像に対して、第１の式によって重み付融合ノイズ低減処理を行うステップは、
ＹＵＶ空間では、アライメント処理された前記複数のフレームの正常露光画像に対して、前記第１の式によって重み付融合ノイズ低減処理を行うことを含む、ことを特徴とする請求項３に記載の方法。
前記ＹＵＶ空間では、アライメント処理された前記複数のフレームの正常露光画像に対して、前記第１の式によって重み付融合ノイズ低減処理を行うステップは、
アライメント処理された前記複数のフレームの正常露光画像のＹ成分データ、および前記基準画像のＵ成分データとＶ成分データを取得することと；
前記第１の式によって、前記Ｙ成分データに対して重み付融合ノイズ低減処理を行い、かつ前記Ｕ成分データと前記Ｖ成分データに対してエッジ保存フィルタリング処理を行うことと；
重み付融合ノイズ低減処理されたＹ成分データと、エッジ保存フィルタリング処理された前記Ｕ成分データおよび前記Ｖ成分データとを合成して、前記スタックされたノイズ低減画像を得ることとを含む、ことを特徴とする請求項４に記載の方法。
上記した前記スタックされたノイズ低減画像に対して、単フレーム画像ノイズ低減法によってノイズ低減処理を行うステップは、
対象画素点の近傍ウィンドウ内でいくつかの基準画素点をランダムに選択することと；
前記対象画素点と各前記基準画素点をそれぞれ中心として画素ブロックを取得することと；
前記画素ブロック毎にＤＣＴ変換を行い、かつ予め設定された閾値に基づいて前記画素ブロック毎に対応するＤＣＴ係数を更新することと；
各画素ブロックを再構成するように、更新されたＤＣＴ係数をＤＣＴ逆変換することと；
再構成された各画素ブロックにおける対象画素点の位置に対応する画素点の画素値を重み付平均し、重み付平均した画素値を前記対象画素点の画素値とすることとを含む、ことを特徴とする請求項２に記載の方法。
前記予め設定された閾値に基づいて前記画素ブロック毎に対応するＤＣＴ係数を更新するステップは、
前記ＤＣＴ係数のうち、前記予め設定された閾値未満の係数をゼロにすることを含む、ことを特徴とする請求項６に記載の方法。
上記した前記正常ノイズ低減画像に対して階調変換処理を行うステップは、
前記正常ノイズ低減画像に対してガンマ変換処理を行うことを含む、ことを特徴とする請求項１に記載の方法。
前記正常ノイズ低減画像に対してガンマ変換処理を行う際のガンマ係数は０．６２５である、ことを特徴とする請求項８に記載の方法。
上記した前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得るステップの後に、
前記スーパー夜景画像に対して細部強調アルゴリズムによって細部強調処理を行って、細部強調されたスーパー夜景画像を得ることを含む、ことを特徴とする請求項１に記載の方法、
１つのフレームの露光不足画像と複数のフレームの正常露光画像とを含む連続的な複数のフレームの原画像を取得するための画像取得ユニットと；
前記複数のフレームの正常露光画像をスタックさせてノイズ低減処理を行って、１つのフレームの正常ノイズ低減画像を得るためのスタック型ノイズ低減ユニットと；
前記正常ノイズ低減画像に対して階調変換処理を行って、１つのフレームの過度露光画像を得るための階調変換ユニットと；
前記露光不足画像と、前記正常ノイズ低減画像と前記過度露光画像とに対して融合処理を行って、１つのフレームのスーパー夜景画像を得るための画像合成ユニットと、
を備えることを特徴とするスーパー夜景画像の生成装置。
メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで動作可能なコンピュータプログラムとを備える電子機器であって、前記プロセッサが前記コンピュータプログラムを実行する際に、請求項１～請求項１０のいずれか一つに記載の方法のステップを実現する、ことを特徴とする電子機器。
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサに実行されると、請求項１～請求項１０のいずれか一つに記載の方法のステップを実現する、ことを特徴とするコンピュータ可読記憶媒体。