JP7412545B2 - 画像処理方法、画像処理装置、及びそれを応用する電子機器 - Google Patents

Description

関連出願の相互参照

本願発明は、２０１９年９月３０日に出願された、出願番号が２０１９１０９４３３１４．８であり、発明名称が「画像処理方法、画像処理装置、及びそれを応用する電子機器」である中国特許出願についての優先権を主張し、その全ての内容は参照により本願に組み込まれるものとする。

本発明は、コンピュータビジョン技術に関し、具体的には、画像処理方法、画像処理装置及び、それを応用する電子機器に関する。

近年、電子技術が絶えずに発展するとともに、様々な電子製品、特に撮像装置付き電子製品、例えばテレビ（ＴＶ）、携帯電話、デスクトップコンピュータ、ノートパソコン、タブレットパソコン、パーソナルデジタルアシスタント（ＰＤＡ）などは、各生活分野に広く応用されている。それとともに、ユーザのこれらの撮像装置に対する要求も増加する一方で、製品メーカーは、ユーザの要求を満たすために、次々と新しい機能を開発している。

２０００年に写真を撮る機能を備えた世界初の携帯電話が登場して以来、写真を撮ることは、携帯電話の不可欠な機能となり、現在の顧客が特に注目している機能の１つでもある。現在で発売中のデュアルカメラスマートフォン又はタブレットパソコンは、一般的には、機器の正面と背面にそれぞれ取り付けられるか、又は全部機器の背面に取り付けられる２つのカメラを有する。一般的なデュアルカメラとは、機器に１つの広角レンズと１つの望遠レンズがあり、ユーザの選択に応じて、近景と遠景の鮮明な画面をそれぞれ実現することができる。

携帯型電子機器（例えばスマートファン又はタブレットパソコン）のサイズと重さによる制限のため、より良い撮像効果を得るために、マルチカメラに基づくスマート電子機器は、発展する傾向となる。しかし、異なるカメラを使用して取得した画像をどのように処理して出力画像の品質をさらに向上させるかは、注目する焦点の１つである。

本発明の実施例は、複数の撮像ユニットに基づいて取得した画像品質が悪いという課題を少なくとも解決するための画像処理方法、画像処理装置及び、それを応用する電子機器を提供した。

本発明の実施例の１つの態様によれば、少なくとも２つの撮像ユニットを有する電子機器に用いられる画像処理方法であって、第１の撮像ユニットによって第１の画像を取得するステップと、第２の撮像ユニットによって第２の画像を取得するステップと、前記第１の画像における第１の領域と前記第２の画像をレジストレーション(Ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ)し、レジストレーション結果を取得するステップであって、前記第１の領域と前記第２の画像は、同じ視野領域に対応するものであるステップと、前記レジストレーション結果に基づいて、前記第１の領域と前記第２の画像を融合処理し、融合図を取得するステップ、とを含む画像処理方法を提供する。

選択的には、該画像処理方法は、画質向上技術を用いて前記第１の画像における第２の領域を処理するステップをさらに含み、前記第２の領域は、前記第１の画像における第１の領域以外の領域である。

選択的には、前記画質向上技術は、シングルフレーム又はマルチフレームに基づく深層学習技術を含む。

選択的には、前記第１の撮像ユニットは、前記第２の撮像ユニットとは異なる視野を有する。

選択的には、前記第１の画像における第１の領域を前記第２の画像とレジストレーションし、レジストレーション結果を取得する前記ステップは、前記第１の領域と前記第２の画像を所定倍率で縮小処理し、第１の縮小画像と第２の縮小画像を取得するステップと、予め設定された方法で前記第１の縮小画像と前記第２の縮小画像を処理し、第１の結果図と第２の結果図を取得するステップと、前記第１の結果図と前記第２の結果図を前記所定倍率で拡大処理し、第１の拡大画像と第２の拡大画像を取得するステップと、第１のレジストレーション方法を用いて前記第１の拡大画像と前記第２の拡大画像を処理し、前記レジストレーション結果を取得するステップとを含む。

選択的には、前記予め設定された方法は、Ｄｅｎｓｅ Ｉｎｖｅｒｓｅ Ｓｅａｒｃｈ（ＤＩＳ）オプティカルフロー法である。

選択的には、予め設定された方法で前記第１の縮小画像と前記第２の縮小画像を処理し、第１の結果図と第２の結果図を取得する前記ステップは、前記第１の縮小画像と前記第２の縮小画像をエピポーラ線補正及びマッチング計算し、第１の処理結果を取得するステップと、前記第１の処理結果に２回目の処理を行い、前記第１の結果図と前記第２の結果図を取得するステップとを含む。

選択的には、前記第１の処理結果に対して２回目の処理を行い、前記第１の結果図と前記第２の結果図を取得する前記ステップは、エピポーラ線補正逆変換と第２のレジストレーション方法を用いて前記第１の処理結果を処理し、前記第１の結果図と前記第２の結果図を取得するステップを含む。

選択的には、エピポーラ線補正逆変換と第２のレジストレーション方法を用いて前記第１の処理結果を処理し、前記第１の結果図と前記第２の結果図を取得する前記ステップは、エピポーラ線補正逆変換を用いて前記第１の処理結果を処理し、第２の処理結果を取得するステップと、第２のレジストレーション方法を用いて前記第２の処理結果を処理し、前記第１の結果図と前記第２の結果図を取得するステップとを含む。

選択的には、エピポーラ線補正逆変換と第２のレジストレーション方法を用いて前記第１の処理結果を処理し、前記第１の結果図と前記第２の結果図を取得する前記ステップは、第２のレジストレーション方法を用いて前記第１の処理結果を処理し、第３の処理結果を取得するステップと、前記エピポーラ線補正逆変換を用いて前記第３の処理結果を処理し、前記第１の結果図と前記第２の結果図を取得するステップとを含む。

選択的には、前記第１のレジストレーション方法は、稠密オプティカルフロー計算法と、半稠密オプティカルフロー計算法と、局所レジストレーション方法と、全局レジストレーション方法とを含む。

選択的には、前記レジストレーション結果に基づいて前記第１の領域と前記第２の画像を融合処理し、融合図を取得する前記ステップは、前記レジストレーション結果に基づいて前記第１の領域と前記第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無を決定するステップと、前記第１の領域と前記第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無、のうちの１つ又は複数に基づいて差分値を計算するステップと、前記差分値を予め設定された閾値と比較し、比較結果を取得することと、前記比較結果に基づき、前記第１の領域と前記第２の画像を融合処理し、前記融合図を取得するステップとを含む。

選択的には、前記差分値が前記予め設定された閾値以上である場合、比較結果は、前記第１の領域と前記第２の画像との間の視差が大きいか、又は遮蔽度が大きいか、又は視野内に動く物体が存在することを示し、前記第１の領域と前記第２の画像における対応する画素点を融合せず、前記差分値が前記予め設定された閾値よりも小さい場合、比較結果は、前記第１の領域と前記第２の画像との間の視差が小さく、遮蔽度が小さく、且つ視野内に動く物体が存在しないことを示し、前記第１の領域と前記第２の画像における対応する画素点を融合する。

本発明の実施例の別の態様によれば、第１の画像を取得する第１の撮像ユニットと、第２の画像を取得する第２の撮像ユニットと、前記第１の画像における第１の領域を前記第２の画像とレジストレーションし、レジストレーション結果を取得するレジストレーションユニットであって、前記第１の領域と前記第２の画像は、同じ視野領域に対応するものであるレジストレーションユニットと、前記レジストレーション結果に基づいて前記第１の領域と前記第２の画像を融合処理し、融合図を取得する融合ユニットとを含む、画像処理装置をさらに提供する。

選択的には、前記レジストレーションユニットは、前記第１の領域と前記第２の画像を所定倍率で縮小処理し、第１の縮小画像と第２の縮小画像を取得する縮小ユニットと、予め設定された方法で前記第１の縮小画像と前記第２の縮小画像を処理し、第１の結果図と第２の結果図を取得する第１の処理ユニットと、前記第１の結果図と前記第２の結果図を前記所定倍率で拡大処理し、第１の拡大画像と第２の拡大画像を取得する拡大ユニットと、第１のレジストレーション方法を用いて前記第１の拡大画像と前記第２の拡大画像を処理し、前記レジストレーション結果を取得する第１のレジストレーションサブユニットとを含む。

選択的には、前記融合ユニットは、前記レジストレーション結果に基づいて前記第１の領域と前記第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無を決定する決定ユニットと、前記第１の領域と前記第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無、のうちの１つ又は複数に基づいて差分値を計算する計算ユニットと、前記差分値を予め設定された閾値と比較し、比較結果を取得する比較ユニットと、前記比較結果に基づき、前記第１の領域と前記第２の画像を融合処理し、前記融合図を取得する融合サブユニットとを含む。

本発明の実施例の別の態様によれば、記憶されたプログラムを含む記憶媒体であって、前記プログラムが実行されると、前記記憶媒体の位置する機器を制御して上記のいずれか１項に記載の画像処理方法を実行する記憶媒体をさらに提供する。

本発明の実施例の別の態様によれば、プロセッサと、前記プロセッサの実行可能な命令を記憶するメモリとを含む電子機器であって、前記プロセッサは、前記実行可能な命令を実行することによって上記のいずれか１項に記載の画像処理方法を実行するように構成される電子機器をさらに提供する。

本発明の実施例では、第１の撮像ユニットによって第１の画像を取得するステップ、第２の撮像ユニットによって第２の画像を取得するステップ、前記第１の画像における第１の領域を前記第２の画像とレジストレーションし、レジストレーション結果を取得するステップであって、前記第１の領域と前記第２の画像は、同じ視野領域に対応するものであるステップ、前記レジストレーション結果に基づいて前記第１の領域と前記第２の画像を融合処理し、融合図を取得するステップを実行することによって、少なくとも２つの異なる視野を有する撮像ユニットで取得した画像を融合処理することで、画像品質を最適化し、より鮮明な画質を実現し、複数の撮像ユニットによる画像品質が悪いという課題を解決することができる。

ここに説明する添付図面は、本発明に対する更なる理解を提供するために用いられ、本出願の一部を構成しており、本発明の例示的な実施例及びその説明は、本発明を解釈するために用いられ、本発明に対する不当な限定を構成しない。添付図面において、
本発明の実施例に基づく選択的な画像処理方法のフローチャートである。 本発明の実施例に基づく選択的な画像レジストレーション方法のフローチャートである。 本発明の実施例に基づく選択的な画像融合方法のフローチャートである。 図４（ａ）ないし図４（ｃ）は、本発明の実施例に係わる画像処理方法を採用するテスト効果を示す図である。 図４（ａ）ないし図４（ｃ）は、本発明の実施例に係わる画像処理方法を採用するテスト効果を示す図である。 図４（ａ）ないし図４（ｃ）は、本発明の実施例に係わる画像処理方法を採用するテスト効果を示す図である。 本発明の実施例に基づく選択的な画像処理装置の構造ブロック図である。 図６（ａ）ないし図６（ｃ）は、本発明の実施例に基づく異なるカメラ位置を有する電子機器をそれぞれ示す図である。 図６（ａ）ないし図６（ｃ）は、本発明の実施例に基づく異なるカメラ位置を有する電子機器をそれぞれ示す図である。 図６（ａ）ないし図６（ｃ）は、本発明の実施例に基づく異なるカメラ位置を有する電子機器をそれぞれ示す図である。

以下、当業者に本発明の方案をよりよく理解させるために、本発明の実施例における添付図面を参照しながら、本発明の実施例における技術案を明瞭且つ完全に記述する。明らかに、記述された実施例は、本発明の一部の実施例に過ぎず、全ての実施例ではない。本発明における実施例に基づき、当業者が創造的な労力を必要とせずに得られる全ての他の実施例は、いずれも本発明の保護範囲に属すべきである。

なお、本発明の明細書、特許請求の範囲、及び上記添付図面における用語である「第１」、「第２」などは、類似した対象を区別するためのものであり、必ずしも特定の順序又は前後手順を記述するためのものではない。なお、このように使用される順序は、適当な場合に交換可能であり、それによって、ここに記述される本発明の実施例は、ここに図示又は記述されたそれらのもの以外の順序で実施されることができる。なお、用語である「含む」と「有する」、及び、それらの任意の変形は、非排除性の「含む」を意図的にカバーするものであり、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、必ずしも明瞭に列挙されているそれらのステップ又はユニットに限らず、明瞭に列挙されていない又はそれらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを含んでもよい。

本発明の実施例は、複数の撮像ユニットを有する電子機器に用いられてもよく、電子機器は、スマートファン、タブレットパソコン、電子リーダ、デスクトップコンピュータ、ワーキングステーション、サーバ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯型マルチメディアプレイヤー（ＰＭＰ）、医療機器、カメラ又はウェアラブルデバイス（例えば、腕時計、ブレスレット、メガネ、ヘッドウェアなどの付属品タイプの機器）、電子衣類、体に移植可能な皮膚チップ、車載電子機器などを含んでもよい。

以下では、本発明の実施例の選択的な画像処理方法のフローチャートを説明する。なお、添付図面のフローチャートに示されるステップは、例えばコンピュータにより実行可能なー組の命令のコンピュータシステムにおいて実行されてもよく、また、フローチャートでは、論理順序が示されたが、なんらかの場合に、ここの順序と異なる順序で示されるか、又は記述されるステップを実行してもよい。

図１を参照すると、本発明の実施例に基づく選択的な画像処理方法のフローチャートである。図１に示すように、該画像処理方法は、以下のステップＳ１０、Ｓ１２、Ｓ１４、Ｓ１６を含む。

Ｓ１０：第１の撮像ユニットによって第１の画像を取得する。

Ｓ１２：第２の撮像ユニットによって第２の画像を取得する。

Ｓ１４：第１の画像における第１の領域と第２の画像をレジストレーションし、レジストレーション結果を取得する。ここで、第１の領域と第２の画像は、同じ視野領域に対応する。

Ｓ１６：レジストレーション結果に基づいて第１の領域と第２の画像を融合処理し、融合図を取得する。

選択的には、本発明の実施例では、該画像処理方法は、複数の撮像ユニットを有する電子機器により取得された画像を処理するために用いられてもよく、複数の撮像ユニットは、異なる視野を全て又は部分的に有してもよく、電子機器の異なる位置にそれぞれ独立して取り付けられるか、又は、全て又は一部を１つの撮像モジュール又は複数の撮像モジュールに集積して組込み又は外付けの方式で電子機器に取り付けられてもよい。ステップＳ１０における第１の撮像ユニットは、電子機器の１つのレンズ又はカメラであってもよく、ステップＳ１２における第２の撮像ユニットは、電子機器の別のレンズ又はカメラであってもよい。ここで、第１の撮像ユニットと第２の撮像ユニットは、独立して取り付けられてもよく、１つの撮像モジュールに集積されてもよい。第１の撮像ユニットは、第２の撮像ユニットとは異なる視野を有する。具体的には、第１の撮像ユニットの視野は、第２の撮像ユニットの視野よりも大きく、第１の撮像ユニットは、例えば、広角カメラであってもよく、第２の撮像ユニットは、望遠カメラであってもよく、また、第１の撮像ユニットは、例えば、超広角カメラであってもよく、第２の撮像ユニットは、例えば、広角カメラなどであってもよい。

本発明の実施例では、上記ステップによって、少なくとも２つの異なる視野を有する撮像ユニットで取得した画像を融合処理することで、画像品質を最適化し、より鮮明な画質を実現することができる。電子機器が複数の異なる視野を有する撮像ユニットを含む場合、例えば、超広角カメラと、広角カメラと、望遠カメラとを含むか、又は超広角カメラと、広角カメラと、望遠カメラと、超望遠カメラとを含む場合、ユーザが写真を撮る時、撮像ユニットを合理的に選択及び利用し、画質が最適なピクチャをスマートに合成することができる。

本発明の別の実施例では、該画像処理方法は、画質向上技術を用いて第１の画像における、第１の領域以外の領域である第２の領域を処理するステップＳ１８をさらに含んでもよい。選択的には、画質向上技術は、シングルフレーム又はマルチフレームに基づく深層学習技術を含み、解析力の向上、ぼかし除去、ノイズ除去などの技術的効果を実現することができる。

本発明の別の実施例では、該画像処理方法は、第１の画像又は第２の画像を取得した後、第１の画像と第２の画像を処理するステップＳ１３であって、第１の画像又は第２の画像の自動露光（ＡＥ）情報、自動ホワイトバランス（ＡＷＢ）情報、自動フォーカス（ＡＦ）情報などを調整することで、第１の画像又は第２の画像の色、輝度などを補正することを含むステップＳ１３をさらに含んでもよい。

以下では、ステップＳ１４を具体的に説明する。図２を参照すると、本発明の実施例に基づく選択的な画像レジストレーション方法のフローチャートである。

本発明の実施例では、第１の画像における第１の領域と第２の画像をレジストレーションし、レジストレーション結果を取得するステップＳ１４は、以下のステップＳ１４０、Ｓ１４２、Ｓ１４４、Ｓ１４６を含んでもよい。

Ｓ１４０：第１の領域と第２の画像を所定倍率で縮小処理し、第１の縮小画像と第２の縮小画像を取得する。

Ｓ１４２：予め設定された方法で第１の縮小画像と第２の縮小画像を処理し、第１の結果図と第２の結果図を取得する。

Ｓ１４４：第１の結果図と第２の結果図を所定倍率で拡大処理し、第１の拡大画像と第２の拡大画像を取得する。

Ｓ１４６：第１のレジストレーション方法を用いて第１の拡大画像と第２の拡大画像を処理し、レジストレーション結果を取得する。

選択的には、本発明の一実施例では、所定倍率は、主に性能要求に応じてカスタマイズされ、例えば、２倍、３倍などであり、第１の領域と第２の画像を所定倍率で縮小処理することによって、アルゴリズム処理時間全体を最適化し、アルゴリズム実行性能を速めることができる。

選択的には、本発明の一実施例では、予め設定された方法は、Ｄｅｎｓｅ Ｉｎｖｅｒｓｅ Ｓｅａｒｃｈ（ＤＩＳ）オプティカルフロー法であり、主にブロックマッチングと、スパースオプティカルフロー稠密化と変分最適化とを含み、スパースオプティカルフロー法と稠密オプティカルフロー法を両立させたオプティカルフロー法である。

選択的には、本発明の別の実施例では、予め設定された方法で第１の縮小画像と第２の縮小画像を処理し、第１の結果図と第２の結果図を取得するステップは、第１の縮小画像と第２の縮小画像をエピポーラ線（Ｅｐｉｐｏｌａｒ Ｌｉｎｅ）補正及びマッチング計算し、第１の処理結果を取得するステップと、第１の処理結果に２回目の処理を行い、第１の結果図と第２の結果図を取得するステップとを含む。ここで、エピポーラ線補正は、第１の縮小画像と第２の縮小画像との間の対応する画素点を同一の水平線に補正するために用いられ、エピポーラ線補正後の画像ペアには、水平方向の視差のみが存在し、垂直方向の視差がゼロである（垂直方向の視差のみが存在し、水平方向の視差がゼロである可能性もある）。これにより、マッチング計算を二次元から一次元に下げることが可能になり、これによって、マッチング速度及び精度を向上させることができる。マッチング計算は、エピポーラ線補正後の画像ペアにおける対応する画素点のオフセット量を計算し、オフセット量に基づいて第１の縮小画像又は第２の縮小画像の該当する画素点を調整するために用いられ、これにより、画像ペアのマッチングを実現することができる。

エピポーラ線補正された画像ペアが第１の縮小画像と第２の縮小画像に対して幾何学的に変形するため、第１の縮小画像と第２の縮小画像に対応する視差図を取得するために、第１の処理結果に対して２回目の処理を行う必要がある。本発明の一実施例では、第１の処理結果に対して２回目の処理を行い、第１の結果図と第２の結果図を取得するステップは、エピポーラ線補正逆変換と第２のレジストレーション方法を用いて第１の処理結果を処理し、第１の結果図と第２の結果図を取得するステップを含む。エピポーラ線補正逆変換と第２のレジストレーション方法は、この順に行ってもよく、例えば、一実施例では、まず、エピポーラ線補正逆変換を用いて第１の処理結果を処理し、第２の処理結果を取得してから、第２のレジストレーション方法を用いて第２の処理結果を処理し、第１の結果図と第２の結果図を取得する。さらに、例えば、別の実施例では、まず、第２のレジストレーション方法を用いて第１の処理結果を処理し、第３の処理結果を取得してから、エピポーラ線補正逆変換を用いて第３の処理結果を処理し、第１の結果図と第２の結果図を取得する。これにより、エピポーラ線補正逆変換と第２のレジストレーション方法によって処理して得られた第１の結果図と第２の結果図は、第１の縮小画像と第２の縮小画像の幾何形状と一致し、対応する画素点は、同じ均一座標を有する。

選択的には、本発明の実施例では、第１のレジストレーション方法又は第２のレジストレーション方法は、稠密オプティカルフロー計算法、半稠密オプティカルフロー計算法、局所レジストレーション方法、全局レジストレーション方法などを含んでもよい。

上記ステップによって、同じ視野領域に対応する第１の画像における第１の領域と第２の画像をレジストレーションし、レジストレーション結果を取得することができる。

以下では、ステップＳ１６を具体的に説明する。図３を参照すると、本発明の実施例に基づく選択的な画像融合方法のフローチャートである。

本発明の実施例では、レジストレーション結果に基づいて第１の領域と第２の画像を融合処理するステップＳ１６は、以下のステップＳ１６０、Ｓ１６２、Ｓ１６４、Ｓ１６６を含む。

Ｓ１６０：前記レジストレーション結果に基づいて、前記第１の領域と前記第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無を決定する。

Ｓ１６２：第１の領域と第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無、のうちの１つ又は複数に基づいて差分値を計算する。

Ｓ１６４：差分値を予め設定された閾値と比較し、比較結果を取得する。

Ｓ１６６：比較結果に基づき、第１の領域と第２の画像を融合処理し、融合図を取得する。

選択的には、本発明の実施例では、差分値が予め設定された閾値以上である場合、比較結果は、第１の領域と第２の画像との間の視差が大きいか、又は遮蔽度が大きいか、又は視野内に動く物体が存在することを示し、第１の領域と第２の画像における対応する画素点を融合せず、差分値が予め設定された閾値よりも小さい場合、比較結果は、第１の領域と第２の画像との間の視差が小さく、且つ遮蔽度が小さく、且つ視野内に動く物体が存在しないことを示し、第１の領域と第２の画像における対応する画素点を融合することができる。本発明の一実施例では、予め設定された閾値は、望ましい融合効果に基づいて決定されてもよく、予め設定された閾値が大きければ大きいほど、融合要求が緩やかになり、第１の領域と第２の画像において融合される画素点は多くなる一方、予め設定された閾値が小さければ小さいほど、融合要求が厳しくなり、第１の領域と第２の画像において融合される画素点は少なくなる。

選択的には、本発明の実施例では、視差、遮蔽度は、第１の縮小画像と第２の縮小画像をエピポーラ線補正及びマッチング計算して得られた誤差によって示される。視野内に動く物体の有無は、第１の拡大画像と第２の拡大画像に対応する画素点の誤差によって示される。

図４（ａ）から図４（ｃ）は、本発明の実施例に係わる画像処理方法を利用するテスト効果を示す。図４（ａ）は、第１の撮像ユニットによって取得した第１の画像を示し、図４（ａ）では、ブロックにおける領域は、第１の画像における第１の領域４２Ａであり、目標物がミツバチ缶のラベルのような比較的に小さいものである場合、第１の撮像ユニットがその目標物に対して正確に焦点を合わせることができないため、撮影画像がぼやけてしまい、図４（ａ）の右下隅に示されるラベル拡大図４４Ａに示すように、ラベルのフォントは、非常にぼやけており、認識しにくい。図４（ｂ）は、第２の撮像ユニットによって取得した第２の画像を示し、第２の画像４２Ｂは、第１の画像における第１の領域４２Ａに対応しており、目標物がミツバチ缶のラベルのような比較的に小さいものである場合、第２の撮像ユニットは、その目標物正確に焦点を合わせ、鮮明な撮影画像を取得することができ、図４（ｂ）の右下隅に示されるラベル拡大図４４Ｂに示すように、ラベルのフォントは、はっきり見える。図４（ｃ）は、本発明の実施例に係わる画像処理方法を利用して得られた融合図を示し、得られた画像視野角の大きさが変わらない場合、即ち、融合図４（ｃ）は、第１の画像４（ａ）の画像の視野角と同様に、第１の画像の第１の領域と第２の画像を融合して融合領域４２Ｃを取得する。図４（ｃ）の右下隅に示されるラベル拡大図４４Ｃに示すように、融合された後も、ラベル上のフォントは、依然としてはっきり見える。

図５を参照すると、本発明の実施例に基づく選択的な画像処理装置の構造ブロック図である。図５に示すように、画像処理装置５は、
第１の画像を取得する第１の撮像ユニット５０と、
第２の画像を取得する第２の撮像ユニット５２と、
前記第１の画像における第１の領域と前記第２の画像をレジストレーションし、レジストレーション結果を取得するレジストレーションユニットであって、前記第１の領域と前記第２の画像は、同じ視野領域に対応するものであるレジストレーションユニット５４と、
前記レジストレーション結果に基づいて前記第１の領域と前記第２の画像を融合処理し、融合図を取得する融合ユニット５６と、を含む。

選択的には、本発明の実施例では、画像処理装置は、画質向上技術を用いて第１の画像における第２の領域を処理する画質向上ユニットをさらに含んでもよい。ここで、第２の領域は、第１の画像における第１の領域以外の領域である。選択的には、画質向上技術は、シングルフレーム又はマルチフレームに基づく深層学習技術を含み、解析力の向上、ぼかし除去、ノイズ除去などの技術的効果を実現することができる。

本発明の別の実施例では、画像処理装置は、第１の画像又は第２の画像を取得した後、第１の画像と第２の画像を処理する補正ユニットをさらに含んでもよく、この処理は、第１の画像又は第２の画像の自動露光（ＡＥ）情報、自動ホワイトバランス（ＡＷＢ）情報、自動フォーカス（ＡＦ）情報などを調整することで、第１の画像又は第２の画像の色、輝度などを補正することを含む。

選択的には、本発明の実施例では、レジストレーションユニット５４は、
第１の領域と第２の画像を所定倍率で縮小処理し、第１の縮小画像と第２の縮小画像を取得する縮小ユニット５４０と、
予め設定された方法で第１の縮小画像と第２の縮小画像を処理し、第１の結果図と第２の結果図を取得する第１の処理ユニット５４２と、
第１の結果図と第２の結果図を所定倍率で拡大処理し、第１の拡大画像と第２の拡大画像を取得する拡大ユニット５４４と、
第１のレジストレーション方法で第１の拡大画像と前記第２の拡大画像を処理し、前記レジストレーション結果を取得する第１のレジストレーションサブユニット５４６と、を含んでもよい。

選択的には、本発明の一実施例では、所定倍率は、主に性能要求に応じてカスタマイズされ、例えば、２倍、３倍などであり、第１の領域と第２の画像を所定倍率で縮小処理することによって、アルゴリズム処理時間全体を最適化し、アルゴリズム実行性能を速めることができる。

選択的には、本発明の一実施例では、予め設定された方法は、主にＤｅｎｓｅ Ｉｎｖｅｒｓｅ Ｓｅａｒｃｈ（ＤＩＳ）オプティカルフロー法、ブロックマッチングと、スパースオプティカルフロー稠密化と、変分最適化とを含み、スパースオプティカルフロー法と稠密オプティカルフロー法を両立させたオプティカルフロー法である。

選択的には、本発明の別の実施例では、予め設定された方法で第１の縮小画像と第２の縮小画像を処理し、第１の結果図と第２の結果図を取得するステップは、第１の縮小画像と第２の縮小画像をエピポーラ線（Ｅｐｉｐｏｌａｒ Ｌｉｎｅ）補正及びマッチング計算し、第１の処理結果を取得するステップと、第１の処理結果に対して２回目の処理を行い、第１の結果図と第２の結果図を取得するステップとを含む。ここで、エピポーラ線補正は、第１の縮小画像と第２の縮小画像との間の対応する画素点を同一の水平線に補正するために用いられ、エピポーラ線補正後の画像ペアには、水平方向の視差のみが存在し、垂直方向の視差がゼロである（垂直方向の視差のみが存在し、水平方向の視差がゼロである可能性もある）。これにより、マッチング計算を二次元から一次元に下げることが可能になり、これによって、マッチング速度及び精度を向上させることができる。マッチング計算は、エピポーラ線補正後の画像ペアにおける対応する画素点のオフセット量を計算し、オフセット量に基づいて第１の縮小画像又は第２の縮小画像の該当する画素点を調整するために用いられ、これにより画像ペアのマッチングを実現することができる。

エピポーラ線補正された画像ペアが第１の縮小画像と第２の縮小画像に対して幾何学的に変形するため、第１の縮小画像と第２の縮小画像に対応する視差図を取得するために、第１の処理結果に対して２回目の処理を行う必要がある。本発明の一実施例では、第１の処理結果に対して２回目の処理を行い、第１の結果図と第２の結果図を取得するステップは、エピポーラ線補正逆変換と第２のレジストレーション方法を用いて第１の処理結果を処理し、第１の結果図と第２の結果図を取得するステップを含む。エピポーラ線補正逆変換と第２のレジストレーション方法は、この順に行ってもよく、例えば、一実施例では、まず、エピポーラ線補正逆変換を用いて第１の処理結果を処理し、第２の処理結果を取得してから、第２のレジストレーション方法を用いて第２の処理結果を処理し、第１の結果図と第２の結果図を取得する。さらに、例えば、別の実施例では、まず、第２のレジストレーション方法を用いて第１の処理結果を処理し、第３の処理結果を取得してから、エピポーラ線補正逆変換を用いて第３の処理結果を処理し、第１の結果図と第２の結果図を取得する。これにより、エピポーラ線補正逆変換と第２のレジストレーション方法によって処理して得られた第１の結果図と第２の結果図は、第１の縮小画像と第２の縮小画像の幾何形状と一致し、対応する画素点は、同じ均一座標を有する。

選択的には、本発明の実施例では、第１のレジストレーション方法又は第２のレジストレーション方法は、稠密オプティカルフロー計算法、半稠密オプティカルフロー計算法、局所レジストレーション方法、全局レジストレーション方法などを含んでもよい。

上記ステップによって、同じ視野領域に対応する第１の画像における第１の領域と第２の画像をレジストレーションし、レジストレーション結果を取得することができる。

選択的には、本発明の実施例では、融合ユニット５６は、
レジストレーション結果に基づいて第１の領域と前記第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無を決定する決定ユニット５６０と、
第１の領域と第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無、のうちの１つ又は複数に基づいて、差分値を計算する計算ユニット５６２と、
差分値を予め設定された閾値と比較し、比較結果を取得する比較ユニット５６４と、
比較結果に基づき、第１の領域と第２の画像を融合処理し、融合図を取得する融合サブユニット５６６と、を含んでもよい。

選択的には、本発明の実施例では、差分値が予め設定された閾値以上である場合、比較結果は、第１の領域と第２の画像との間の視差が大きいか、又は遮蔽度が大きいか、又は視野内に動く物体が存在することを示し、第１の領域と第２の画像における対応する画素点を融合せず、差分値が予め設定された閾値よりも小さい場合、比較結果は、第１の領域と第２の画像との間の視差が小さく、遮蔽度が小さく、且つ視野内に動く物体が存在しないことを示し、第１の領域と第２の画像における対応する画素点を融合することができる。本発明の一実施例では、予め設定された閾値は、望ましい融合効果に基づいて決定されてもよく、予め設定された閾値が大きければ大きいほど、融合要求が緩やかになり、第１の領域と第２の画像において融合される画素点は多くなる一方、予め設定された閾値が小さければ小さいほど、融合要求が厳しくなり、第１の領域と第２の画像において融合される画素点は少なくなる。

選択的には、本発明の実施例では、視差、遮蔽度は、第１の縮小画像と第２の縮小画像をエピポーラ線補正及びマッチング計算して得られた誤差によって示される。視野内に動く物体の有無は、第１の拡大画像と第２の拡大画像に対応する画素点の誤差によって示される。

本発明の実施例は、複数の撮像ユニットを有する電子機器に用いられてもよい。図６（ａ）から図６（ｃ）を参照すると、本発明の実施例に基づく異なるカメラ位置を有する電子機器をそれぞれ示した。以上から分かるように、複数の撮像ユニットは、電子機器の異なる位置にそれぞれ独立して取り付けられてもよい。ここで、複数の撮像ユニットは、少なくとも２つの異なる視野を有する撮像ユニットを含む。

もちろん、図６（ａ）から図６（ｃ）は、３つの撮像ユニットを有する電子機器の例に過ぎない。当業者であれば、電子機器における複数の撮像ユニットの数と位置は、必要に応じて調整されてもよく、図６（ａ）から図６（ｃ）に示される例に限らないことがわかる。例えば、複数の撮像ユニットの数は、３つ以上であってもよく、一部又は全ては、異なる視野を有してもよく、電子機器の異なる位置にそれぞれ独立して取り付けられるか、又は、一部又は全てを１つの撮像モジュール又は複数の撮像モジュールに集積して組込み又は外付けの方式で電子機器に取り付けられてもよい。

本発明の実施例の別の態様によれば、プロセッサと、プロセッサの実行可能な命令を記憶するメモリとを含む電子機器であって、プロセッサは、実行可能な命令を実行することによって上記のいずれか１項の画像処理方法を実行するように構成される電子機器をさらに提供する。

本発明の実施例の別の態様によれば、記憶されたプログラムを含む記憶媒体であって、プログラムが実行されると、記憶媒体の位置する機器を制御して上記のいずれか１項の画像処理方法を実行する記憶媒体をさらに提供する。

上記本発明の実施例の番号は、記述のためだけであり、実施例の優劣を表すものではない。

本発明の上記実施例では、各実施例の記述に対してそれぞれ重点が置かれており、ある実施例には、詳細な部分がなく、他の実施例の関連記述を参照してもよい。

本出願によるいくつかの実施例では、理解すべきことは、掲示された技術内容は、他の方式によって実現されてもよい。そのうち、以上に記述された装置の実施例は、例示的なものに過ぎず、例えば前記ユニットの区分は、論理的機能区分であってもよく、実際に実現する時、他の区分方式があってもよい。例えば、複数のユニット又はコンポーネントは、別のシステムに結合されてもよく、又は集積されてもよく、又はいくつかの特徴が無視されてもよく、又は実行されなくてもよい。また、表示又は討論された同士間の結合又は直接結合又は通信接続は、いくつかのインタフェース、ユニット又はモジュールの間接的結合又は通信接続であってもよく、電気的又は他の形式であってもよい。

前記分離された部品として説明されるユニットは、物理的に分離されてもよく、物理的に分離されなくてもよく、ユニットとして表示される部品は、物理的なユニットであってもよく、物理的なユニットでなくてもよく、即ち、１つの場所に位置してもよく、又は複数のユニットに分布してもよい。実際の必要に応じて、そのうちの一部又は全てのユニットを選択して、本実施例の方案の目的を実現することができる。

また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに集積されてもよく、各ユニットが単独に物理的に存在しもよく、２つ又は２つ以上のユニットが１つのユニットに集積されてもよい。上記集積されたユニットは、ハードウェアの形式で実現されてもよく、ソフトウェア機能ユニットの形式で実現されてもよい。

前記集積されたユニットは、ソフトウェア機能ユニットの形式で実現され、且つ独立した製品として販売又は使用される場合、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解を踏まえて、本発明の技術案は、実質には又は従来の技術に寄与した部分又は該技術案の全て又は一部がソフトウェア製品の形式によって表われてもよい。該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、一台のコンピュータ機器（パーソナルコンピュータ、サーバ又はネットワーク機器などであってもよい）に本発明の各実施例に記載の方法の全て又は一部のステップを実行させる若干の命令を含む。しかし、前述した記憶媒体は、Ｕディスク、リードオンリーメモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リムーバブルハードディスク、磁気ディスク又は光ディスクなどの様々なプログラムコードを記憶可能な媒体を含む。

以上は、本発明の好ましい実施の形態に過ぎず、指摘すべきなのは、当業者にとって、本発明の原理から逸脱しない前提で、若干の改良と修正を行ってもよく、これらの改良と修正は、いずれも本発明の保護範囲と見なすべきである。

Claims (16)

1. 少なくとも２つの撮像ユニットを有する電子機器に用いられる画像処理方法であって、
   第１の撮像ユニットによって第１の画像を取得するステップと、
   第２の撮像ユニットによって第２の画像を取得するステップと、
   前記第１の画像における第１の領域と前記第２の画像をレジストレーションし、レジストレーション結果を取得するステップであって、前記第１の領域と前記第２の画像を所定倍率で縮小処理し、第１の縮小画像と第２の縮小画像を取得するステップと、予め設定された方法で前記第１の縮小画像と前記第２の縮小画像を処理し、第１の結果図と第２の結果図を取得するステップと、前記第１の結果図と前記第２の結果図を前記所定倍率で拡大処理し、第１の拡大画像と第２の拡大画像を取得するステップと、第１のレジストレーション方法を用いて前記第１の拡大画像と前記第２の拡大画像を処理し、前記レジストレーション結果を取得するステップと、を含み、前記第１の領域と前記第２の画像は、同じ視野領域に対応するものであるステップと、
   前記レジストレーション結果に基づいて、前記第１の領域と前記第２の画像を融合処理し、融合図を取得するステップと、を含む、画像処理方法。
2. 画質向上技術を用いて前記第１の画像における第２の領域を処理するステップをさらに含み、前記第２の領域は、前記第１の画像における第１の領域以外の領域である、請求項１に記載の画像処理方法。
3. 前記画質向上技術は、シングルフレーム又はマルチフレームに基づく深層学習技術を含む、請求項２に記載の画像処理方法。
4. 前記第１の撮像ユニットは、前記第２の撮像ユニットと異なる視野を有する、請求項１に記載の画像処理方法。
5. 前記予め設定された方法は、Ｄｅｎｓｅ Ｉｎｖｅｒｓｅ Ｓｅａｒｃｈオプティカルフロー法である、請求項１に記載の画像処理方法。
6. 予め設定された方法で前記第１の縮小画像と前記第２の縮小画像を処理し、第１の結果図と第２の結果図を取得する前記ステップは、
   前記第１の縮小画像と前記第２の縮小画像をエピポーラ線補正及びマッチング計算し、第１の処理結果を取得するステップと、
   前記第１の処理結果に２回目の処理を行い、前記第１の結果図と前記第２の結果図を取得するステップと、を含む、請求項１に記載の画像処理方法。
7. 前記第１の処理結果に２回目の処理を行い、前記第１の結果図と前記第２の結果図を取得する前記ステップは、
   エピポーラ線補正逆変換と第２のレジストレーション方法を用いて前記第１の処理結果を処理し、前記第１の結果図と前記第２の結果図を取得するステップを含む、請求項６に記載の画像処理方法。
8. エピポーラ線補正逆変換と第２のレジストレーション方法を用いて前記第１の処理結果を処理し、前記第１の結果図と前記第２の結果図を取得する前記ステップは、
   エピポーラ線補正逆変換を用いて前記第１の処理結果を処理し、第２の処理結果を取得するステップと、
   第２のレジストレーション方法を用いて前記第２の処理結果を処理し、前記第１の結果図と前記第２の結果図を取得するステップと、を含む、請求項７に記載の画像処理方法。
9. エピポーラ線補正逆変換と第２のレジストレーション方法を用いて前記第１の処理結果を処理し、前記第１の結果図と前記第２の結果図を取得する前記ステップは、
   第２のレジストレーション方法を用いて前記第１の処理結果を処理し、第３の処理結果を取得するステップと、
   前記エピポーラ線補正逆変換を用いて前記第３の処理結果を処理し、前記第１の結果図と前記第２の結果図を取得するステップと、を含む、請求項７に記載の画像処理方法。
10. 前記第１のレジストレーション方法は、稠密オプティカルフロー計算法と、半稠密オプティカルフロー計算法と、局所レジストレーション方法と、全局レジストレーション方法とを含む、請求項１に記載の画像処理方法。
11. 前記レジストレーション結果に基づいて、前記第１の領域と前記第２の画像を融合処理し、融合図を取得する前記ステップは、
    前記レジストレーション結果に基づいて、前記第１の領域と前記第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無を決定するステップと、
    前記第１の領域と前記第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無、のうちの１つ又は複数に基づいて、差分値を計算するステップと、
    前記差分値を予め設定された閾値と比較し、比較結果を取得するステップと、
    前記比較結果に基づき、前記第１の領域と前記第２の画像を融合処理し、前記融合図を取得するステップと、を含む、請求項１に記載の画像処理方法。
12. 前記差分値が前記予め設定された閾値以上である場合、
    比較結果は、前記第１の領域と前記第２の画像との間の視差が大きいか、又は遮蔽度が大きいか、又は視野内に動く物体が存在することを示し、前記第１の領域と前記第２の画像における対応する画素点を融合せず、
    前記差分値が前記予め設定された閾値よりも小さい場合、
    比較結果は、前記第１の領域と前記第２の画像との間の視差が小さく、遮蔽度が小さく、且つ視野内に動く物体が存在しないことを示し、前記第１の領域と前記第２の画像における対応する画素点を融合する、請求項１１に記載の画像処理方法。
13. 画像処理装置であって、
    第１の画像を取得する第１の撮像ユニットと、
    第２の画像を取得する第２の撮像ユニットと、
    前記第１の画像における第１の領域と前記第２の画像をレジストレーションし、レジストレーション結果を取得するレジストレーションユニットであって、前記第１の領域と前記第２の画像を所定倍率で縮小処理し、第１の縮小画像と第２の縮小画像を取得する縮小ユニットと、予め設定された方法で前記第１の縮小画像と前記第２の縮小画像を処理し、第１の結果図と第２の結果図を取得する第１の処理ユニットと、前記第１の結果図と前記第２の結果図を前記所定倍率で拡大処理し、第１の拡大画像と第２の拡大画像を取得する拡大ユニットと、第１のレジストレーション方法を用いて、前記第１の拡大画像と前記第２の拡大画像を処理し、前記レジストレーション結果を取得する第１のレジストレーションサブユニットと、を含み、前記第１の領域と前記第２の画像は、同じ視野領域に対応するものであるレジストレーションユニットと、
    前記レジストレーション結果に基づいて、前記第１の領域と前記第２の画像を融合処理し、融合図を取得する融合ユニットと、を含む、画像処理装置。
14. 前記融合ユニットは、
    前記レジストレーション結果に基づいて、前記第１の領域と前記第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無を決定する決定ユニットと、
    前記第１の領域と前記第２の画像との間の視差、遮蔽度、又は視野内に動く物体の有無、のうちの１つ又は複数に基づいて差分値を計算する計算ユニットと、
    前記差分値を予め設定された閾値と比較し、比較結果を取得する比較ユニットと、
    前記比較結果に基づき、前記第１の領域と前記第２の画像を融合処理し、前記融合図を取得する融合サブユニットと、を含む、請求項１３に記載の画像処理装置。
15. 記憶されたプログラムを含む記憶媒体であって、
    前記プログラムが実行されると、前記記憶媒体の位置する機器を制御して請求項１～請求項１２のいずれか１項に記載の画像処理方法を実行する、記憶媒体。
16. プロセッサと、前記プロセッサの実行可能な命令を記憶するメモリと、を含む電子機器であって、
    前記プロセッサは、前記実行可能な命令を実行することによって請求項１～請求項１２のいずれか１項に記載の画像処理方法を実行するように構成される、電子機器。
    

Images