JP7178402B2 - 複数の撮像モジュールに基づいた画像処理方法、装置、機器及び媒体 - Google Patents

Description

（関連出願の相互参照）
本出願は、２０１９年９月１０日付の中国特許出願第２０１９１０８５５１４３．３号に基づく優先権を主張するものであり、該中国特許出願の全内容を参照として本出願に援用する。

本出願は、端末技術分野に関し、特に、複数の撮像モジュールに基づいた画像処理方法、装置、機器及び媒体に関する。

端末技術の急激な進化に伴い、スマートホン、タブレット等のようなインテリジェント端末にはいずれもカメラが配置されている。インテリジェント端末は、モバイル端末に配置されているカメラにより、画像撮影を行うことができる。撮影された画像の品質を向上させるために、一部のインテリジェント端末には、複数のカメラが配置されている。最もよく知られているのは、２つのカメラが配置されているインテリジェント端末である。このようなインテリジェント端末は、撮影シーンに応じて、１つのカメラを選択して画像撮影を行うことができる。例えば、インテリジェント端末に配置されている２つのカメラは、それぞれ広角カメラと長焦点距離カメラである。しかしながら、異なカメラは、異なる撮影シーンに用いられるものであり、撮影範囲の広いカメラにより撮影された画像には、画質が好ましくないことがある。

関連技術における欠点を解消するために、本開示の実施例は、複数の撮像モジュールに基づいた画像処理方法、装置、機器及び媒体を提供する。

本開示の実施例の第１態様によれば、複数の撮像モジュールに基づいた画像処理方法を提供する。前記画像処理方法は、
第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにすることであって、ここで、前記第２撮像モジュールの視野角が、前記第１撮像モジュールの視野角より小さいことと、
セカンダリ画像とプライマリ画像をフュージョン処理することであって、前記セカンダリ画像が、前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が、前記第１撮像モジュールにより撮影された画像であることと、を含む。

任意選択的な実施例において、前記第２撮像モジュールのフレーミング視野を調整することは、
前記第２撮像モジュールの現在のフレーミング視野を決定することと、
光学手振れ補正（ＯｐｔｉｃａｌＩｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ：ＯＩＳ）により前記第２撮影モジュールの現在のフレーミング視野を最大範囲に調整することと、を含み、
ここで、前記対象とする被写体は、前記第２撮像モジュールの調整された最大フレーミング領域と初期フレーミング領域との非重複部における任意の撮影点である。

任意選択的な実施例において、前記対象とする被写体はフレーミング領域における注目される対象であり、前記第２撮像モジュールのフレーミング視野を調整することは、
前記対象とする被写体と前記初期フレーミング領域との位置関係に基づいて、ターゲット方向を決定することと、
ＯＩＳにより前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することと、を含む。

任意選択的な実施例において、前記対象とする被写体は、前記第１撮像モジュールのフレーミング領域における合焦点、前記合焦点により決定された焦点領域、前記第１撮像モジュールのフレーミング領域における指定部分領域、又は前記第１撮像モジュールのフレーミング領域である。

任意選択的な実施例において、前記第２撮像モジュールは１つのカメラを備え、前記第２撮像モジュールのフレーミング領域が前記対象とする被写体をカバーするようにすることは、前記対象とする被写体を第２撮像モジュールの同一のフレーミング領域内又は同一のフレーミング領域の特定位置に位置させることを含み、前記特定位置は事前設定された位置、又は検出した操作信号により決定された位置である。

任意選択的な実施例において、前記第２撮像モジュールは１つのカメラを備え、前記対象とする被写体のサイズは、第２撮像モジュールのフレーミング領域のサイズより大きく、前記ターゲット方向は、少なくとも２つのサブターゲット方向を含み、
ＯＩＳにより前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することは、各サブターゲット方向に対して、ＯＩＳにより前記第２撮像モジュールを、前記サブターゲット方向に沿って運転するように調整することを含み、
前記対象とする被写体は、第１スプライシングフレーミング領域内に位置し、前記第１スプライシングフレーミング領域は、全ての調整により得られた調整済みフレーミング領域をスプライシングしてなるものであり、
前記第２撮像モジュールにより撮影されたセカンダリ画像は、サブターゲット方法に沿って第２撮像モジュールを調整した後に取得されたセカンダリ画像を含む。

任意選択的な実施例において、前記第２撮像モジュールは、少なくとも２つのカメラを備え、前記対象とする被写体のサイズは、第２撮像モジュールのフレーミング領域のサイズより大きく、前記ターゲット方向は、少なくとも２つのサブターゲット方向を含み、
ＯＩＳにより前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することは、ＯＩＳにより、前記第２撮像モジュールにおけるカメラを、対応する前記サブターゲット方向に沿って運転するようにそれぞれ調整することを含み、
前記対象とする被写体は、第２スプライシングフレーミング領域内に位置し、前記第２スプライシングフレーミング領域は、各カメラの調整済みフレーミング領域をスプライシングしてなるものであり、
前記第２撮像モジュールにより撮影されたセカンダリ画像は、全ての調整されたカメラにより撮影された画像を含む。

任意選択的な実施例において、前記画像処理方法は、
第１撮像モジュールが現在、主要撮影状態にあり、かつ前記第１撮像モジュールのフレーミング領域における対象とする被写体が、第２撮像モジュールの初期フレーミング領域内に位置している場合、第２撮像モジュールにより撮影されたセカンダリ画像と第１撮像モジュールにより撮影されたプライマリ画像をフュージョン処理することを更に含む。

任意選択的な実施例において、前記フュージョン処理は、フレーミング中に実行されるか、又は前記フュージョン処理は、撮影操作命令を受信した後に実行される。

任意選択的な実施例において、前記複数の撮像モジュールは、視野角が順次小さくなる広角撮像モジュールと、汎用撮像モジュールと、長焦点距離撮像モジュールとを備える。

本開示の実施例の第２態様によれば、複数の撮像モジュールに基づいた画像処理装置を提供し、前記画像処理装置は、
第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにするように構成される視野調整モジュールであって、前記第２撮像モジュールの視野角が、前記第１撮像モジュールの視野角より小さい、視野調整モジュールと、
セカンダリ画像とプライマリ画像をフュージョン処理するように構成されるフュージョン処理モジュールであって、前記セカンダリ画像が、前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が、前記第１撮像モジュールにより撮影された画像である、フュージョン処理モジュールとを備える。

本開示の実施例の第３態様によれば、複数の撮像モジュールに基づいた電子機器を提供し、該電子機器は、
少なくとも２つの視野角が異なる撮像モジュールと、
プロセッサと、
プロセッサが実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、
第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにすることであって、前記第２撮像モジュールの視野角が、前記第１撮像モジュールの視野角より小さいことと、
セカンダリ画像とプライマリ画像をフュージョン処理することであって、前記セカンダリ画像が、前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が、前記第１撮像モジュールにより撮影された画像であることと、を実行するように構成される。

本開示の実施例の第４態様によれば、コンピュータ可読記憶媒体を提供し、該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、該プログラムがプロセッサにより実行されるときに、上記いずれか一項に記載の画像処理方法のステップを実現する。
本発明は、例えば、以下の項目を提供する。
（項目１）
複数の撮像モジュールに基づいた画像処理方法であって、
第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにすることであって、前記第２撮像モジュールの視野角が、前記第１撮像モジュールの視野角より小さいことと、
セカンダリ画像とプライマリ画像をフュージョン処理することであって、前記セカンダリ画像が前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が前記第１撮像モジュールにより撮影された画像であることと、を含む、前記画像処理方法。
（項目２）
前記第２撮像モジュールのフレーミング視野を調整することは、
前記第２撮像モジュールの現在のフレーミング視野を決定することと、
光学手振れ補正（ＯＩＳ）により前記第２撮影モジュールの現在のフレーミング視野を最大範囲に調整することと、を含み、
前記対象とする被写体は、前記第２撮像モジュールの調整された最大フレーミング領域と初期フレーミング領域との非重複部における任意の撮影点であることを特徴とする
項目１に記載の画像処理方法。
（項目３）
前記対象とする被写体はフレーミング領域における注目される対象であり、前記第２撮像モジュールのフレーミング視野を調整することは、
前記対象とする被写体と前記初期フレーミング領域との位置関係に基づいて、ターゲット方向を決定することと、
ＯＩＳにより前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することと、を含むことを特徴とする
項目１に記載の画像処理方法。
（項目４）
前記対象とする被写体は、前記第１撮像モジュールのフレーミング領域における合焦点、前記合焦点により決定された焦点領域、前記第１撮像モジュールのフレーミング領域における指定部分領域、又は前記第１撮像モジュールのフレーミング領域であることを特徴とする
項目１に記載の画像処理方法。
（項目５）
前記第２撮像モジュールは１つのカメラを備え、前記第２撮像モジュールのフレーミング領域が前記対象とする被写体をカバーするようにすることは、前記対象とする被写体を第２撮像モジュールの同一のフレーミング領域内又は同一のフレーミング領域の特定位置に位置させることを含み、前記特定位置は事前設定された位置、又は検出した操作信号により決定された位置であることを特徴とする
項目１に記載の画像処理方法。
（項目６）
前記第２撮像モジュールは１つのカメラを備え、前記対象とする被写体のサイズは、第２撮像モジュールのフレーミング領域のサイズより大きく、前記ターゲット方向は、少なくとも２つのサブターゲット方向を含み、
ＯＩＳにより前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することは、各サブターゲット方向に対して、ＯＩＳにより前記第２撮像モジュールを、前記サブターゲット方向に沿って運転するように調整することを含み、
前記対象とする被写体は、第１スプライシングフレーミング領域内に位置し、前記第１スプライシングフレーミング領域は、全ての調整により得られた調整済みフレーミング領域をスプライシングしてなるものであり、
前記第２撮像モジュールにより撮影されたセカンダリ画像は、サブターゲット方法に沿って第２撮像モジュールを調整した後に取得されたセカンダリ画像を含むことを特徴とする
項目３に記載の画像処理方法。
（項目７）
前記第２撮像モジュールは、少なくとも２つのカメラを備え、前記対象とする被写体のサイズは、第２撮像モジュールのフレーミング領域のサイズより大きく、前記ターゲット方向は、少なくとも２つのサブターゲット方向を含み、
ＯＩＳにより前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することは、ＯＩＳにより、前記第２撮像モジュールにおけるカメラを、対応する前記サブターゲット方向に沿って運転するようにそれぞれ調整することを含み、
前記対象とする被写体は、第２スプライシングフレーミング領域内に位置し、前記第２スプライシングフレーミング領域は、各カメラの調整済みフレーミング領域をスプライシングしてなるものであり、
前記第２撮像モジュールにより撮影されたセカンダリ画像は、全ての調整されたカメラにより撮影された画像を含むことを特徴とする
項目３に記載の画像処理方法。
（項目８）
前記画像処理方法は、
第１撮像モジュールが現在、主要撮影状態にあり、かつ前記第１撮像モジュールのフレーミング領域における対象とする被写体が、第２撮像モジュールの初期フレーミング領域内に位置している場合、第２撮像モジュールにより撮影されたセカンダリ画像と第１撮像モジュールにより撮影されたプライマリ画像をフュージョン処理することを更に含むことを特徴とする
項目１から７のうちいずれか一項に記載の画像処理方法。
（項目９）
前記フュージョン処理は、フレーミング中に実行されるか、又は前記フュージョン処理は、撮影操作命令を受信した後に実行されることを特徴とする
項目１から７のうちいずれか一項に記載の画像処理方法。
（項目１０）
前記複数の撮像モジュールは、視野角が順次小さくなる広角撮像モジュールと、汎用撮像モジュールと、長焦点距離撮像モジュールとを備えることを特徴とする
項目１から７のうちいずれか一項に記載の画像処理方法。
（項目１１）
複数の撮像モジュールに基づいた画像処理装置であって、
第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにするように構成される視野調整モジュールであって、前記第２撮像モジュールの視野角が前記第１撮像モジュールの視野角より小さい、視野調整モジュールと、
セカンダリ画像とプライマリ画像をフュージョン処理するように構成されるフュージョン処理モジュールであって、前記セカンダリ画像が、前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が、前記第１撮像モジュールにより撮影された画像である、フュージョン処理モジュールと、を備える、前記画像処理装置。
（項目１２）
複数の撮像モジュールに基づいた電子機器であって、
少なくとも２つの視野角が異なる撮像モジュールと、
プロセッサと、
プロセッサが実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、
第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにすることであって、前記第２撮像モジュールの視野角が、前記第１撮像モジュールの視野角より小さいことと、
セカンダリ画像とプライマリ画像をフュージョン処理することであって、前記セカンダリ画像が、前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が、前記第１撮像モジュールにより撮影された画像であることと、を実行するように構成される、前記電子機器。
（項目１３）
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されるときに、項目１から９のうちいずれか一項に記載の画像処理方法のステップを実現する、前記コンピュータ可読記憶媒体。

本開示の実施例が提供する技術的解決手段は、以下の有益な効果を有することができる。

本開示の実施例において、第１撮像モジュールが現在、主要撮影状態にあり、且つ第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、第２撮像モジュールのフレーミング視野を調整し、第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにし、第２撮像モジュールにより撮影されたセカンダリ画像と第１撮像モジュールにより撮影されたプライマリ画像をフュージョン処理し、画像の画質を高め、更に、第２撮像モジュールを調整することで、第２撮像モジュールの撮影範囲を拡大し、調整により得られた調整済みフレーミング領域が初期フレーミング領域に存在しない領域をカバーするようにすることで、画質向上不可能であった画像領域の少なくとも一部について、画質向上を実現させる。

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本開示の実施例を限定するものではないことが理解されるべきである。

ディスプレイスクリーンにおける、各カメラのフレーミング領域の表示を示す図である。 本開示の一例示的な実施例に係る複数の撮像モジュールに基づいた画像処理方法を示すフローチャートである。 本開示の一例示的な実施例に係る最大フレーミング領域を示す概略図である。 本開示の一例示的な実施例に係る合焦点を示す概略図である。 本開示の一例示的な実施例に係るフレーミング領域が調整される前後を比較した概略図である。 本開示の一例示的な実施例に係る第１スプライシングフレーミング領域を示す概略図である。 本開示の一例示的な実施例に係る第２スプライシングフレーミング領域を示す概略図である。 本開示の一例示的な実施例に係る別の複数の撮像モジュールに基づいた画像処理方法を示すフローチャートである。 本開示の一例示的な実施例に係る複数の撮像モジュールに基づいた画像処理装置を示すブロック図である。 本開示の一例示的な実施例に係る複数の撮像モジュールに基づいた画像処理装置の構成を示す概略図である。

ここで添付した図面は、明細書に組み込まれて本明細書の一部分を構成し、本開示に合う実施例を示し、かつ、明細書とともに本開示の実施例の原理を解釈することに用いられる。

ここで、例示的な実施例を詳細に説明し、その例を図面に示す。以下の記述が図面に係る場合、別途にて示さない限り、異なる図面における同じ数字は、同じまたは類似する要素を示す。以下の例示的な実施例において記述する実施形態は、本開示の実施例に合致するすべての実施形態を代表するものではない。一方、それらは、添付された特許請求の範囲に詳細に記載されたような、本開示の実施例の一部の形態に合致する装置及び方法の例に過ぎない。

本開示の実施例において使用される用語は、特定の実施例を説明することだけを目的としており、そして本開示の実施例を限定することは意図されていない。本開示の実施例及び添付の特許請求の範囲で使用されるとき、単数形の「１つの」、「前記」及び「該」は、文脈が明らかに違うように示さない限り、複数形も含む意図である。本明細書中で使用される「及び／又は」という語句は、列挙された１つ以上の関連する対象物の任意の又は全ての可能的な組み合わせを参照かつ包含することも理解されるべきである。

本開示の実施例では、用語である第１、第２、第３などを用いて各種情報を記述する可能性があるが、これらの情報はこれらの用語に限定されないことが理解されるべきである。これらの用語は、同一種類の情報をお互いに区別するためだけに用いられる。例えば、本開示の実施例の範囲を逸脱しない限り、第１情報は第２情報と称されてもよく、同様に、第２情報は第１情報と称されてもよい。文脈によっては、ここで使用される語句「とすれば」は「…場合」、「…時」又は「と決定されるのに応答して」と解釈される。

現在、日常生活では、スマートホン、タブレット等のような端末による画像撮影に慣れているユーザが多くなってくる。また、端末により撮影される画像の品質について、ユーザからの要望も厳しくなっている。カメラのハードウェア技術及び画像処理技術の進化に伴い、ユーザのニーズを更に満たすために、一部の端末に複数のカメラを配置し始めた。ここで、複数のカマラのうちの各カメラは、それ独自の優位点を持つことができる。例えば、１つのカメラは、あるシーンの撮影に好適に用いられるが、別のカメラは、別のシーンの撮影に好適に用いられる。このような、画像撮影を行う時、端末は、異なる撮影シーンに応じて複数のカメラから異なるカメラを選択して撮影を行うことができる。従って、同一の端末を用いて異なるシーンの画像を撮影することができる。異なる撮影シーンに対応するために、カメラの視野角は異なることが多い。つまり、視野範囲が異なり、これに応じて、フレーミング視野も異なる。視野角の異なるカメラにより撮影される画像の画質は異なる可能性がある。

これに基づいて、本開示の実施例は、複数の撮像モジュールに基づいた画像処理方法を提供する。一般的には、撮像モジュールのフレーミング範囲（撮影範囲）は一定なものであるが、本開示の実施例において、撮像モジュールのフレーミング領域を調整することで、撮像モジュールのフレーミング範囲を拡大することができる。第１撮像モジュールが現在、主要撮影状態にあり、且つ第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、第２撮像モジュールのフレーミング視野を調整し、第２撮像モジュールの調整済みフレーミング領域が対象とする被写体をカバーするようにし、第２撮像モジュールにより撮影されたセカンダリ画像と第１撮像モジュールにより撮影されたプライマリ画像をフュージョン処理し、画像の画質を高め、更に、第２撮像モジュールを調整することで、第２撮像モジュールの撮影範囲を拡大し、調整により得られた調整済みフレーミング領域が初期フレーミング領域に存在しない領域をカバーするようにすることで、画質向上不可能であった画像領域の少なくとも一部について、画質向上を実現させる。

本実施例が提供する複数の撮像モジュールに基づいた画像処理方法は、ソフトウェアにより実行されてもよく、ソフトウェアとハードウェアとの組み合わせ又はハードウェアにより実行されてもよい。関連ハードウェアは、２つ又は複数の物理エンティティからなるものであってものよく、１つの物理エンティティからなるものであってもよい。一例として、本実施例の方法は、電子機器における撮影ソフトウェアにより実行されてもよい。ここで、電子機器は、スマートホン、タブレット、ノートパソコン、デスクトップパソコン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：パーソナルデジタルアシスタント）、ウェアラブル機器等であってもよい。

撮像モジュールは、電子機器に配置されて、電子機器と共に、複合機を構成するものであってもよい。撮像モジュールは、独立した装置であって、電子機器に搭載されるものであってもよい。複数の撮像モジュールは、少なくとも２つの撮像モジュールであってもよい。撮像モジュールは、画像を撮影するように構成される。各撮像モジュールは、１つのカメラを備えてもよく、複数のカメラを備えてもよい。例えば、前記複数の撮像モジュールは、広角撮像モジュール、長焦点距離撮像モジュール、汎用撮像モジュール、カラーカメラ、モノクロカメラ等のうちの１つ又は複数である。ここで、汎用撮像モジュールは、主要撮像モジュールと称されてもよく、電子機器において撮影するように構成される主要撮像モジュールである。汎用撮像モジュールは主カメラを備える。本開示の実施例において、複数の撮像モジュールは、視野角が異なる撮像モジュールであってもよい。従って、視野角が小さい撮像モジュールにより撮影された画像で、視野角が大きい撮像モジュールにより撮影された画像を強調し、画像の画質を向上させるという効果を達成する。一例において、複数の撮像モジュールは３つの撮像モジュールであってもよく、視野角が順次小さくなる広角撮像（ＤＷ）モジュール、汎用撮像（Ｗ）モジュール、長焦点距離撮像（Ｔｅｌｅ）モジュールを備える。例えば、広角撮像モジュールにおける広角カメラは、視野角（ＦＯＶ）が１２０°であってもよく、画素が１３Ｍ～４８Ｍであってもよい。汎用撮像モジュールにおける汎用カメラは、視野角が８０°であってもよく、画素が４８Ｍ～６４Ｍであってもよい。長焦点距離撮像モジュールは、視野角が３０°～２０°であってもよく、画素が１３Ｍ～８Ｍであってもよい。ディスプレイスクリーンにおける、各カメラのフレーミング領域の表示は図１に示すようなものであってもよい。即ち、広角カメラの視野角が最も大きく、次いで、汎用カメラ（主カメラ）の視野角となり、長焦点距離カメラの視野角が最も小さい。それに応じて、フレーミング領域のサイズも順次小さくなる。図１は、視野角が異なるカメラを説明するためのものに過ぎず、そのフレーミング領域に差異があるが、実際には、異なるフレーミング領域の比例関係は実際の状況によるものであってもよいことが理解される。

幾つかの適用シーンにおいて、異なる撮像モジュールを用いて撮影を行う場合、そのうちの１つの撮像モジュールを用いて撮影を行う時に注目される対象は、別の撮像モジュールの視野範囲内に位置するか、又は別の撮像モジュールの視野範囲内に位置しないことがある。従って、本開示の実施例は、注目される被写体が別の撮像モジュールの視野範囲内に位置しないことに起因する望ましくないフュージョン効果を得ることを避けるために、撮像モジュールのフレーミング領域を調整することで、撮像モジュールのフレーミング領域が、そもそもカバー不可能な対象とする被写体をカバーするようにする。

図２は、本開示の一例示的な実施例に係る複数の撮像モジュールに基づいた画像処理方法を示すフローチャートである。図２を参照すると、前記画像処理方法は、以下のステップ２０２～ステップ２０４を含む。
ステップ２０２において、第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにし、ここで、前記第２撮像モジュールの視野角が、前記第１撮像モジュールの視野角より小さい。
ステップ２０４において、セカンダリ画像とプライマリ画像をフュージョン処理し、前記セカンダリ画像が、前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が、前記第１撮像モジュールにより撮影された画像である。

該実施例において、１つの撮像モジュールが撮影用として選択されると、それよりも視野角が小さい撮像モジュールを補助撮像モジュールとして用いることで、結像効果を高めることができる。区別のために、撮影用として選択される撮像モジュールは、第１撮像モジュールと称されてもよく、それよりも視野角が小さい別の撮像モジュールは第２撮像モジュールと称されてもよい。第１撮像モジュールは、撮影用として選択され、この場合、第１撮像モジュールが主要撮影状態にあると考えられる。第２撮像モジュールは、補助撮像モジュールであり、この場合、第２撮像モジュールは補助撮影状態であると考えられる。従って、第１撮像モジュールにより撮影される画像は、プライマリ画像と称されてもよく、第２撮像モジュールにより撮影される画像は、セカンダリ画像と称されてもよい。

広角撮像モジュール、汎用撮像モジュール、長焦点距離撮像モジュールを例として、一般的には、視野角の大きい方から小さい方の順に従うランキングは、広角撮像モジュール、汎用撮像モジュール、長焦点距離撮像モジュールとなる。従って、広角撮像モジュールが第１撮像モジュールである時、第２撮像モジュールは、汎用撮像モジュールであってもよく、ひいては、長焦点距離撮像モジュールであってもよい。汎用撮像モジュールが第１撮像モジュールである時、第２撮像モジュールは長焦点距離撮像モジュールであってもよい。

第１撮像モジュールが現在、主要撮影状態にある時、第１撮像モジュールのフレーミング領域における対象とする被写体を決定することができる。対象とする被写体は、撮影点であってもよく、撮影領域等であってもよい。一例として、対象とする被写体は、フレーミング領域における注目される対象である。第１撮像モジュールのフレーミング領域における対象とする被写体は、１つであっても、複数であってもよい。

第２撮像モジュールのフレーミング視野の調整について、第２撮像モジュールの調整済みフレーミング視野が対象とする被写体をカバーするようにすることを目的として調整することができる。

幾つかのシーンにおいて、モバイル機器の画像撮影装置に光学手振れ補正装置を設けることで、手持ち撮影時の手振れによる撮影画像ボケの問題を解決する。光学手振れ補正装置は、モバイル機器における手振れコントローラであってもよく、ＯＩＳ（ＯｐｔｉｃａｌＩｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）コントローラと称されてもよく、光学レンズの浮動を制御することで、「光軸ズレ」を補正する。その原理は、レンズ内のセンサにより微細な移動を検出し、続いて信号をマイクロプロセッサに伝送し、マイクロプロセッサで、補償されるべきシフト量を算出し、続いて補償レンズ群により、レンズの振れ方向及びシフト量に基づいて補償を行うことで、モバイル機器の振れによる映像のボケを克服する。従って、一例として、光学手振れ補正（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ：ＯＩＳ）技術により、第２撮像モジュールのフレーミング視野を調整することができる。

例えば、カメラのＯＩＳを広角に設計することで、カメラのフレーミング可能な範囲を拡張することができる。一例において、第２撮像モジュールにおけるカメラのＯＩＳを広角に設計することで、第２撮像モジュールのフレーミング可能な範囲（複数のフレーミング領域の集合に対応する範囲）が第１撮像モジュールのフレーミング範囲をカバーできることを実現する。長焦点距離撮像モジュールを例として、ＯＩＳにより、Ｔｅｌｅのフレーミング可能な範囲を補償し、Ｔｅｌｅのフレーミング可能な範囲を更に拡大し、例えば、３％～５％拡大することができる。
該実施例において、ＯＩＳ光学手振れ補正技術によって、第２撮像モジュールのフレーミング視野を調整し、第２撮像モジュールのフレーミング可能な範囲を拡大すると共に、コストを低減させることもでき、他のハードウェアを追加する必要がない。

他の手段により第２撮像モジュールのフレーミング視野を調整することもできることが理解されるべきである。例えば、幾つかの端末において、第２撮像モジュールのレンズは、回転可能なものである。従って、端末を静止状態に保持する場合、レンズを回転させることで第２撮像モジュールのフレーミング視野等を調整することができる。他の調整手段について、第２撮像モジュールにより対象とする被写体を撮影できるようにすればよく、ここでは説明を省略する。更に、第２撮影モジュールのフレーミング視野を調整する時、第１撮像モジュールのフレーミング視野をそのまま保持することができる。

一実施例において、前記第２撮像モジュールのフレーミング視野を調整することは、前記第２撮像モジュールの現在のフレーミング視野を決定することと、ＯＩＳにより、前記第２撮像モジュールの現在のフレーミング視野を最大範囲に調整することとを含む。前記対象とする被写体は、前記第２撮像モジュールの調整された最大フレーミング領域と初期フレーミング領域との非重複部における任意の撮影点である。

ここで、最大範囲は、ＯＩＳの調整可能な最大範囲である。例えば、カメラのＯＩＳを広角に設計することで、それよりも視野角が大きい他のカメラのフレーミング領域を可能な限りカバーすることができる。

最大フレーミング領域は、ＯＩＳにより毎回調整された第２撮像モジュールのフレーミング領域の集合である。最大フレーミング領域は、ＯＩＳの調整幅及び第２撮像モジュールのフレーミング範囲によるものであってもよい。例えば、M回調整された第２撮像モジュールの調整済みフレーミング領域の集合からなる。図３は、本開示の一例示的な実施例に係る最大フレーミング領域を示す概略図である。該概略図において、Ｍ＝４を例とし、実線枠は初期フレーミング領域を表す。４回の調整を行い、調整を行うたびに、１つの調整済みフレーミング領域を得て、それを点線枠で表す。４つの調整済みフレーミング領域は、図３における４つの点線枠に示すように、最大フレーミング領域を構成する。Ｍは４に限定されず、他の数値であってもよいことが理解されるべきである。なお、集合における調整済みフレーミング領域同士には、重複領域が存在しなくても、存在してもよく、調整幅によるものであってもよい。図３において、最大フレーミング領域が第１撮像モジュールのフレーミング領域より小さいことを例とし、幾つかのシーンにおいて、最大フレーミング領域が第１撮像モジュールのフレーミング領域以上であることもあるが、ここで説明を省略する。

それに応じて、フュージョン中に係るセカンダリ画像は、各調整された第２撮像モジュールにより撮影されるセカンダリ画像を含むことで、１フレーム分または複数フレーム分の画像でプライマリ画像の画質を向上させることを実現させる。

該実施例において、直接的にＯＩＳにより、第２撮像モジュールの現在のフレーミング視野を最大範囲に調整することで、最大フレーミング領域を取得し、画像の画質を最大限向上させることを実現させる。
別の実施例において、ＯＩＳにより、第２撮像モジュールのフレーミング領域を、対象とする被写体へ移動するように調整することで、第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにすることもできる。

一例として、対象とする被写体は、フレーミング領域における注目される対象であってもよい。前記第２撮像モジュールのフレーミング視野を調整することは、前記対象とする被写体と前記初期フレーミング領域との位置関係に基づいて、ターゲット方向を決定することと、ＯＩＳにより、前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することと、を含んでもよい。

該実施例において、第２撮像モジュールを、前記ターゲット方向に沿って運転するように制御することで、対象とする被写体が第２撮像モジュールにより撮影されることを実現させ、これにより対象とする被写体の画質を向上させることができる。

一例として、前記対象とする被写体は、前記第１撮像モジュールのフレーミング領域における合焦点、又は前記合焦点により決定された焦点領域を含む。合焦点は、撮影ソフトウェアがフレーミング領域に応じて自動合焦を行うことで決定したものであってもよく、検出した焦点制御信号により決定したものであってもよい。合焦点は他の手段で決定されてもよいことが理解されるべきであり、ここで説明を省略する。

図４は、本開示の一例示的な実施例に係る合焦点を示す概略図である。該概略図において、複数の撮像モジュールは、広角カメラを備える広角撮像モジュール、主カメラを備える汎用撮像モジュール、及び長焦点距離カメラを備える長焦点距離撮像モジュールであってもよい。第１撮像モジュールが汎用撮像モジュールであり、第２撮像モジュールが長焦点距離撮像モジュールであることを例として、第１撮像モジュールフレーミング領域における合焦領域は、第２撮像モジュールのフレーミング領域内に位置しないため、第２撮像モジュールのフレーミング領域を調整することで、合焦領域を第２撮像モジュールのフレーミング領域内に位置させることができる。

該実施例において、対象とする被写体は、第１撮像モジュールのフレーミング領域における合焦点、又は合焦点により決定された焦点領域を含むため、第２撮像モジュールにより撮影された画像で、合焦点又は合焦領域の分解能及び画質を向上させることができる。分解能は解像力とも称され、被写体の細部を解像する能力である。分解能は、マイクロ撮影システムが被写体の細部を再現する能力を示すための物理量であり、映像解像力を評価するための重要な指標である。分解能が高いほど、細部に対する把握力が高くなり、撮影画像の鮮明度を反映するために用いることができる。

一例として、前記対象とする被写体は、前記第１撮像モジュールのフレーミング領域における指定部分領域を含んでもよい。指定した部分領域は、ソフトウェア開発者によって事前指定された領域であってもよく、ユーザが設定ページにより指定した領域等であってもよい。例えば、ユーザが画面中の中央領域に注目することが多い。従って、指定した部分領域が中央領域であり、それにより、第２撮像モジュールにより撮影される画像で、中央領域の分解能及び画質を向上させることができる。また、例えば、指定した部分領域は、画面中の上部分、下部分、左部分、右部分、縁部分等であってもよく、ここで説明を省略する。

該実施例において、対象とする被写体は、第１撮像モジュールのフレーミング領域において指定した部分領域を含むため、第２撮像モジュールにより撮影される画像で、指定部分領域の分解能及び画質を向上させることができる。

一例として、前記対象とする被写体は、第１撮像モジュールのフレーミング領域を含んでもよい。例えば、第１撮像モジュールが汎用撮像モジュールであり、第２撮像モジュールが長焦点距離撮像モジュールであり、対象とする被写体が第１撮像モジュールのフレーミング領域全体であることで、第２撮像モジュールにより撮影される画像で、第１撮像モジュールにより撮影される画像全体の画質を向上させることを実現させる。

対象とする被写体は上記対象を含むが、これに限定されず、他の対象であってもよいことが理解されるべきであり、ここで説明を省略する。

第２撮像モジュールのフレーミング視野の調整は、第２撮像モジュールが対象とする被写体を撮影できるようにすることを目的とする。第２撮像モジュールが１つのみのカメラを備える場合、前記対象とする被写体のサイズは、第２撮像モジュールのフレーミング領域のサイズ以下である可能性がある。例えば、前記対象とする被写体は、前記第１撮像モジュールのフレーミング領域における合焦点、前記合焦点により決定された焦点領域、又は前記第１撮像モジュールのフレーミング領域における指定部分領域を含む場合、対象とする被写体のサイズは第２撮像モジュールのフレーミング領域のサイズ以下である可能性がある。換言すれば、対象とする被写体は、完全に第２撮像モジュールの同一のフレーミング領域に現れることができる。

一例において、前記第２撮像モジュールは１つのカメラを備える。前記第２撮像モジュールのフレーミング領域が前記対象とする被写体をカバーするようにすることは、前記対象とする被写体を第２撮像モジュールの同一のフレーミング領域内又は同一のフレーミング領域の特定位置に位置させることを含む。前記特定位置は事前設定された位置、又は検出した操作信号により決定された位置である。

例えば、第２撮像モジュールのフレーミング視野を調整することで、対象とする被写体が第２撮像モジュールのフレーミング領域に現れることができればよいか、又は可能な限り第２撮像モジュールフレーミング領域の事前設定された位置（例えば中央位置）に現れることができればよい。図５は、本開示の一例示的な実施例に係るフレーミング領域が調整される前後を比較した概略図である。該概略図において、丸印は合焦点により決定された対象とする被写体を表し、小さな実線矩形枠は、調整される前の第２撮像モジュールのフレーミング領域（初期フレーミング領域と称する）を表す。対象とする被写体が小さな実線矩形枠内に位置しないため、第２撮像モジュールのフレーミング視野を調整する。小さな点線矩形枠は、調整された第２撮像モジュールのフレーミング領域（調整済みフレーミング領域と称する）を表す。対象とする被写体は小さな点線矩形枠内に位置し、即ち、対象とする被写体は、第２撮像モジュールの同一のフレーミング領域内に位置する。

第２撮像モジュールの調整幅が十分に大きい場合、対象とする被写体を第２撮像モジュールのフレーミング領域の特定位置に位置させるように限定を行うこともできる。前記特定位置は、事前設定された位置であってもよい。例えば、開発者により事前設定された位置、又はユーザにより事前設定された位置であってもよい。例えば、中央位置、中央よりも上側の位置等であってもよい。前記特定位置は、検出した操作信号により決定された位置であってもよい。例えば、フレーミング中に設定リマインダ情報をポップアップし、対象とする被写体が第２撮像モジュールのフレーミング領域内に現れる位置等を設定することを、ユーザに注意喚起する。

該実施例において、第２撮像モジュールの同一のフレーミング領域が対象とする被写体をカバーできるため、第２撮像モジュールのフレーミング視野を調整することで、対象とする被写体を第２撮像モジュールの同一のフレーミング領域内に位置させるか又は同一のフレーミング領域的特定位置に位置させる。これにより、その後に第１撮像モジュールと調整された第２撮像モジュールが同じ時点で撮影する画像をフュージョン処理し、第１撮像モジュールにより撮影されるプライマリ画像を強調する。

第２撮像モジュールが１つのみのカメラを備える場合、幾つかのシーンにおいて、前記対象とする被写体のサイズは、第２撮像モジュールのフレーミング領域のサイズより大きい。例えば、対象とする被写体が第１撮像モジュールのフレーミング領域における指定部分領域、又は第１撮像モジュールのフレーミング領域である場合、対象とする被写体の範囲は、第２撮像モジュールのフレーミング領域の範囲を超えることがある。換言すれば、第２撮像モジュールの同一のフレーミング領域は、対象とする被写体の一部のみをカバーできる。

一例において、前記第２撮像モジュールは１つのカメラを備え、前記対象とする被写体のサイズは、第２撮像モジュールのフレーミング領域のサイズより大きく、前記ターゲット方向は少なくとも２つのサブターゲット方向を含む。

ＯＩＳにより前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することは、各サブターゲット方向に対して、ＯＩＳにより前記第２撮像モジュールを、前記サブターゲット方向に沿って運転するように調整することを含む。

前記対象とする被写体は、第１スプライシングフレーミング領域内に位置し、前記第１スプライシングフレーミング領域は、全ての調整により得られた調整済みフレーミング領域をスプライシングしてなるものである。これに応じて、第２撮像モジュールの調整済みフレーミング領域が対象とする被写体をカバーするようにすることは、全ての調整により得られた第１スプライシングフレーミング領域が対象とする被写体をカバーするようにすることであってもよい。

対象とする被写体が第２撮像モジュールの同一のフレーミング領域内に現れることができないと、複数を調整することで、第２撮像モジュールが対象とする被写体を撮影できるようにすることができる。例えば、毎回調整された第２撮像モジュールが対象とする被写体の一部をカバーできるようにすることを目的として調整することで、全ての、対象とする被写体の一部をスプライシングすることにより完全な対象とする被写体を得ることができる。対象とする被写体全体をカバーするために少なくともＮ個の第２撮像モジュールのフレーミング領域を要するとすれば、Ｎ回調整を行うことで、対象とする被写体を第２撮像モジュールの第１スプライシングフレーミング領域内に位置させる。第１スプライシングフレーミング領域は、全ての調整により得られた調整済みフレーミング領域をスプライシングしてなるものである。それぞれの調整されたフレーミング領域間には重複画面が存在しなくても、存在してもよく、具体的には必要に応じて設定されるものである。

後のフュージョン中において、前記第２撮像モジュールにより撮影されるセカンダリ画像は、サブターゲット方向に沿って第２撮像モジュールを毎回調整した後に撮影されたセカンダリ画像を含んでもよい。例えば、フレーミング視野が毎回調整された第２撮像モジュールにより撮影されたセカンダリ画像とプライマリ画像をフュージョン処理することができる。それぞれの調整された第２撮像モジュールにより撮影されたセカンダリ画像をスプライシングし，スプライシングセカンダリ画像を得て、更にスプライシングセカンダリ画像とプライマリ画像をフュージョン処理し、プライマリ画像の画質を向上させる。

一例として、第２撮像モジュールのフレーミング領域を複数回調整することは、調整ポリシーに応じて実行することができる。調整ポリシーには、各回の調整のための調整命令が含まれる。これにより、前記第２撮像モジュールを、前記子ターゲット方向に沿って運転するように調整する。調整ポリシーは事前指定されたものであってもよく、前記対象とする被写体と前記初期フレーミング領域との位置関係に応じて生成されたものであってもよい。

一例において、前記対象とする被写体は第１撮像モジュールのフレーミング領域であってもよい。該実施例において、第２撮像モジュールのフレーミング範囲が第１撮像モジュールの的フレーミング範囲より小さくても、第２撮像モジュールのフレーミング視野を調整することで、複数回の調整により得られたフレーミング領域の集合が第１撮像モジュールのフレーミング領域をカバーするようにすることもできる。従って、第２撮像モジュールのフレーミング可能な範囲を拡張するという効果を達成する。更に、第２撮像モジュールのフレーミング領域に対する調整回数は、第１撮像モジュールのフレーミング範囲と第２撮像モジュールのフレーミング範囲との比により決定されたものであってもよい。

図６Ａは、本開示の一例示的な実施例に係る第１スプライシングフレーミング領域を示す概略図である。第１撮像モジュールのフレーミング領域を構成するために少なくともＮ個の第２撮像モジュールのフレーミング領域をスプライシングする必要があるとする。該概略図において、Ｎ＝４を例として例示的に説明する。図中の左上の点線枠は１回目の調整を経た後の調整済みフレーミング領域を表し、右上の点線枠は２回目の調整を経た後の調整済みフレーミング領域を表し、左下の点線枠は３回目の調整を経た後の調整済みフレーミング領域を表し、右下の点線枠は４回目の調整を経た後の調整済みフレーミング領域を表す。実線枠は第１撮像モジュールのフレーミング領域を表す。第１、２、３、４回目の調整を経た後の調整済みフレーミング領域をスプライシングし、第１スプライシングフレーミング領域を取得する。第１スプライシングフレーミング領域が第１撮像モジュールのフレーミング領域をカバーすることが明らかである。第１スプライシングフレーミング領域のサイズは、第１撮像モジュールのフレーミング領域のサイズ以上であることが理解される。該図面において同じサイズで例示する。第１撮像モジュールと第２撮像モジュールのフレーミング範囲が一定であるため、一実施例において、調整ポリシーは事前設定されたものであってもよく、該調整ポリシーには、毎回の調整のための調整命令が含まれる。例えば、第１回目の調整のための調整命令、第２回目の調整のための調整命令、第３回目の調整のための調整命令及び第４回目の調整のための調整命令を含むことで、異なる調整命令により対応する位置に調整することができる。調整ポリシーを仮決定する必要がなく、処理速度を向上させることができる。

幾つかの適用シーンにおいて、対象とする被写体のサイズが第２撮像モジュールにおけるカメラのフレーミング領域のサイズより大きいため、対象とする被写体を第２撮像モジュールの同一のフレーミング領域内に位置させることができないことを引き起こすことがある。調整幅の制限により、対象とする被写体の範囲が第２撮像モジュールにおけるカメラのフレーミング範囲以下であっても、対象とする被写体を第２撮像モジュールの同一のフレーミング領域内に位置させることができないことが生じることもある。これに鑑み、別の実施例において、前記第２撮像モジュールは少なくとも２つのカメラを備える。単一のカメラのサブフレーミング領域のサイズは対象とする被写体のフレーミング領域のサイズより小さい可能性があるが、対象とする被写体のフレーミング領域のサイズより大きい可能性がある。少なくとも２つのカメラのサブフレーミング範囲からなるフレーミング領域集合は、対象とする被写体のフレーミング領域以上であってもよい。同一の撮像モジュールにおけるカメラは同一タイプのカメラであってもよい。長焦点距離撮像モジュールを例として、長焦点距離撮像モジュールにおける複数のカメラは長焦点距離カメラであってもよい。

これに応じて、前記ターゲット方向は少なくとも２つのサブターゲット方向を含む。ＯＩＳにより前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することは、ＯＩＳにより、前記第２撮像モジュールにおけるカメラを、対応する前記サブターゲット方向に沿って運転するようにそれぞれ調整することを含む。

前記対象とする被写体は、第２スプライシングフレーミング領域内に位置し、前記第２スプライシングフレーミング領域は、カメラの調整済みフレーミング領域をスプライシングしてなるものである。

前記第２撮像モジュールにより撮影されたセカンダリ画像は、全ての調整されたカメラにより撮影された画像を含む。

該実施例において、複数のカメラを調整することで、第２撮像モジュールのフレーミング領域が対象とする被写体をカバーすることを実現させ、対象とする被写体のサイズが大きいか又は単一のカメラの調整範囲が限られることを避けることができる。

図６Ｂは、本開示の一例示的な実施例に係る第２スプライシングフレーミング領域を示す概略図である。第１撮像モジュールのフレーミング領域は少なくとも第２撮像モジュールにおけるＮ個のカメラのフレーミング領域からなるとする。該概略図において、Ｎ＝４を例として例示的に説明する。図中の左上の点線枠は第１カメラの調整により得られた調整済みフレーミング領域を表し、右上の点線枠は第２カメラの調整により得られた調整済みフレーミング領域を表し、左下の点線枠は第３カメラの調整により得られた調整済みフレーミング領域を表し、右下の点線枠は第４カメラの調整により得られた調整済みフレーミング領域を表す。実線枠は、第１撮像モジュールのフレーミング領域又は対象とする被写体を表す。第１、２、３、４カメラの調整により得られた調整済みフレーミング領域をスプライシングし、第２スプライシングフレーミング領域を得る。対象とする被写体が第２スプライシングフレーミング領域に現れることができることが明らかである。

上記調整方式は例に過ぎず、第２撮像モジュールが対象とする被写体を撮影できるようにする他の従来又は将来の調整方法は本開示の実施例に適用可能であり、いずれも本開示の実施例の保護範囲内に含まれるべきであることが理解されるべきである。

プライマリ画像とセカンダリ画像の撮影時点について、前記第２撮像モジュールが１つのカメラを備え、且つ対象とする被写体のサイズが第２撮像モジュールのフレーミング領域のサイズ以下である場合、又は第２撮像モジュールが複数のカメラを含む場合には、セカンダリ画像とプライマリ画像とは同一の時点で撮影された画像であってもよい。第２撮像モジュールのフレーミング視野を複数回調整する実施例において、セカンダリ画像は、フレーミング視野が毎回調整された後に第２撮像モジュールにより撮影されたセカンダリ画像であってもよい。プライマリ画像の撮影時点は、複数のセカンダリ画像のうちのいずれかのセカンダリ画像の撮影時点と同じであってもよく、又は複数のセカンダリ画像の撮影期間中の任意の時点であってもよい。画像撮影頻度が高いため、短時間で連続的に撮影した画像の差異が小さい。従って、複数フレーム分のセカンダリ画像で、１フレーム分のプライマリ画像に対して画像品質向上処理を行うことができる。

本開示の実施例は、視野角が小さい撮像モジュールにより撮影された画像で、視野角が大きい撮像モジュールにより撮影された画像を強調しようとする。従って、調整された第２撮像モジュールにより撮影されたセカンダリ画像と第１撮像モジュールにより撮影されたプライマリ画像をフュージョンし、フュージョンされた画像を得ることができる。幾つかのシーンにおいて、フュージョン中に係るセカンダリ画像は、調整される前の第２撮像モジュールにより撮影されたセカンダリ画像を含んでもよく、具体的には必要に応じて設定されるものである。フュージョン中において、全ての重複部分をフュージョンしてもよく、一部の重複部分をフュージョンしてもよい。第２撮像モジュールの視野角が第１撮像モジュールの視野角より小さいため、セカンダリ画像とプライマリ画像をフュージョンすることで、画質がより高い画像を得ることができる。例えば、事前設定された画像フュージョンアルゴリズムを用いて全て又は一部の重複部分とプライマリ画像をフュージョンし、フュージョンされた画像を得る。具体的な画像フュージョンアルゴリズムは、関連技術におけるフュージョンアルゴリズムを参照することができ、ここで限定しない。

一例において、前記フュージョン処理は、フレーミング中に実行されるか、又は前記フュージョン処理は、撮影操作命令を受信した後に実行される。該実施例において、フレーミング中であるか、あるいは撮影操作後であるかに関わらず、いずれも、フュージョンされたプライマリ画像を表示することができる。

幾つかの適用シーンにおいて、異なる撮像モジュールを用いて撮影を行う場合、そのうちの１つの撮像モジュールを用いて撮影を行う時に注目される対象は、別の撮像モジュールの視野範囲内に位置することがある。従って、前記画像処理方法は、第１撮像モジュールが現在、主要撮影状態にあり、かつ前記第１撮像モジュールのフレーミング領域における対象とする被写体が、第２撮像モジュールの初期フレーミング領域内に位置している場合、第２撮像モジュールにより撮影されたセカンダリ画像と第１撮像モジュールにより撮影されたプライマリ画像をフュージョン処理することを更に含む。

該実施例において、対象とする被写体が第２撮像モジュールのフレーミング領域内に位置すると、第２撮像モジュールの調整を必要とせず、直接的に第２撮像モジュールにより撮影された画像で、第１撮像モジュールにより撮影された画像の画質を向上させる。

不一致又は矛盾がない限り、上記実施形態における様々な技術的特徴を任意に組み合わせることが可能である。紙数に限りがあるため、ここで逐一説明しない。従って、上記実施形態における様々な技術的特徴の任意な組み合わせも本明細書に開示されている範囲内にも含まれる。

そのうちの２つの技術的特徴の組み合わせを例として説明する。

一例において、撮影時、ユーザが一般的に注目する部分は画像の中央位置又は合焦位置に位置する。ＷはＤＷよりも画質及び分解能が好ましいという優位性を有するため、ＤＷにより撮影を行うと同時に、Ｗにより撮影を行い、続いて、ＤＷにより撮影された画像の中央部分について、Ｗによる画像でフュージョン強調を行うことで、中央領域の画質を向上させる。Ｗにより撮影を行うと同時に、Ｔｅｌｅにより画像を撮影し、Ｗによる写真の合焦点がＴｅｌｅ範囲内にあれば、Ｔｅｌｅで、Ｗの合焦領域の画質を向上させることができる。Ｗによる写真の合焦点がＴｅｌｅ範囲内に存在しなければ、Ｔｅｌｅの範囲を調整することで、Ｗによる写真の合焦点をＴｅｌｅ範囲内に位置させることができる。

一例として、Ｔｅｌｅ（長焦点距離撮像モジュール）のＯＩＳを広角に設計することで、Ｔｅｌｅが汎用撮像モジュールの全てのｆｏｖ（レンズの視角／視野角）をカバーできることを実現させ、汎用撮像モジュールによる撮影時の合焦点位置に基づいて、Ｔｅｌｅのフレーミング領域を対応する位置に調整し、続いて同時に撮影を行い、更にｆｕｓｉｏｎ（フュージョン）処理を行うことで、合焦位置の分解能を向上させ、画質を高める。

別の例において、本開示の一例示的な実施例に係る別の複数の撮像モジュールに基づいた画像処理方法のフローチャートである図７に示すように、前記複数の撮像モジュールは視野角が順次小さくなる広角撮像モジュール（ＤＷ）、汎用撮像モジュール（Ｗ）、長焦点距離撮像モジュール（Ｔｅｌｅ）を備え、前記画像処理方法は、以下のステップ７０２～ステップ７０８を含む。

ステップ７０２において、撮像モジュールの撮影状態を決定する。

ステップ７０４において、広角撮像モジュールが現在、主要撮影状態にある場合、広角撮像モジュールにより撮影されたプライマリ画像、汎用撮像モジュールにより撮影されたセカンダリ画像を取得し、セカンダリ画像とプライマリ画像をフュージョン処理する。

ステップ７０６において、汎用撮像モジュールが現在、主要撮影状態にある場合、長焦点距離撮像モジュールの現在のフレーミング視野を決定し、ＯＩＳにより、長焦点距離撮像モジュールの現在のフレーミング視野を最大範囲に調整する。

ステップ７０８において、調整された長焦点距離撮像モジュールにより撮影されたセカンダリ画像と汎用撮像モジュールにより撮影されたプライマリ画像をフュージョン処理する。

該実施例において、異なるカメラを組み合わせることで、異なるシーンで撮影を行う時に、現在のシーンにおける撮影の分解能及び画質の向上を実現させる。特に、ＯＩＳによりＴｅｌｅのフレーミング可能な範囲を拡張し、汎用撮像モジュールの主要撮影状態（主要撮影モードと略称する）での画質を向上させる。

上述した各方法の実施例について、記述を簡単にするために、それらを一連の動作の組み合わせと表記する。当業者は、本開示の実施例が記述した動作の順番に限定されず、本開示の実施例によれば、幾つかのステップを他の順番で実行するか又は同時に実行することができることを理解すべきである。

そして、当業者は、明細書中に記述した実施例は、すべて、選択可能な実施例に属し、関連する動作及びモジュールは、本開示の実施例にとって必ずしも必須なものではないことを理解すべきである。

上述した複数の撮像モジュールに基づいた画像処理方法の実施例に対応して、本開示の実施例は複数の撮像モジュールに基づいた画像処理装置、装置に使用する機器及び記憶媒体の実施例を更に提供する。

本開示の一例示的な実施例に係る複数の撮像モジュールに基づいた画像処理装置を示すブロック図である図８に示すように、前記画像処理装置は、視野調整モジュール８２０とフュージョン処理モジュール８４０とを備える。

視野調整モジュール８２０は、第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにするように構成され、ここで、前記第２撮像モジュールの視野角が、前記第１撮像モジュールの視野角より小さい。

フュージョン処理モジュール８４０は、セカンダリ画像とプライマリ画像をフュージョン処理するように構成され、前記セカンダリ画像が、前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が、前記第１撮像モジュールにより撮影された画像である。

一任意選択的な実施例において、前記視野調整モジュール８２０が前記第２撮像モジュールのフレーミング視野を調整することは、
前記第２撮像モジュールの現在のフレーミング視野を決定することと、
ＯＩＳにより前記第２撮像モジュールの現在のフレーミング視野を最大範囲に調整することと、を含み、
ここで、前記対象とする被写体は、前記第２撮像モジュールの調整された最大フレーミング領域と初期フレーミング領域との非重複部における任意の撮影点である。

任意選択的な実施例において、前記対象とする被写体はフレーミング領域における注目される対象であり、前記視野調整モジュール８２０が前記第２撮像モジュールのフレーミング視野を調整することは、
前記対象とする被写体と前記初期フレーミング領域との位置関係に基づいて、ターゲット方向を決定することと、
ＯＩＳにより前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することと、を含む。

任意選択的な実施例において、前記対象とする被写体は、前記第１撮像モジュールのフレーミング領域における合焦点、前記合焦点により決定された焦点領域、前記第１撮像モジュールのフレーミング領域における指定部分領域、又は前記第１撮像モジュールのフレーミング領域である。

任意選択的な実施例において、前記第２撮像モジュールは１つのカメラを備え、前記第２撮像モジュールのフレーミング領域が前記対象とする被写体をカバーするようにすることは、前記対象とする被写体を第２撮像モジュールの同一のフレーミング領域内又は同一のフレーミング領域の特定位置に位置させることを含み、前記特定位置は事前設定された位置、又は検出した操作信号により決定された位置である。

任意選択的な実施例において、前記第２撮像モジュールは１つのカメラを備え、前記対象とする被写体のサイズは、第２撮像モジュールのフレーミング領域のサイズより大きく、前記ターゲット方向は、少なくとも２つのサブターゲット方向を含み、
前記視野調整モジュール８２０がＯＩＳにより前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することは、各サブターゲット方向に対して、ＯＩＳにより前記第２撮像モジュールを、前記サブターゲット方向に沿って運転するように調整することを含み、
前記対象とする被写体は、第１スプライシングフレーミング領域内に位置し、前記第１スプライシングフレーミング領域は、全ての調整により得られた調整済みフレーミング領域をスプライシングしてなるものであり、
前記第２撮像モジュールにより撮影されたセカンダリ画像は、サブターゲット方法に沿って第２撮像モジュールを調整した後に取得されたセカンダリ画像を含む。

任意選択的な実施例において、前記第２撮像モジュールは、少なくとも２つのカメラを備え、前記対象とする被写体のサイズは、第２撮像モジュールのフレーミング領域のサイズより大きく、前記ターゲット方向は、少なくとも２つのサブターゲット方向を含み、
前記視野調整モジュール８２０がＯＩＳにより前記第２撮像モジュールを、前記ターゲット方向に沿って運転するように調整することは、ＯＩＳにより、前記第２撮像モジュールにおけるカメラを、対応する前記サブターゲット方向に沿って運転するようにそれぞれ調整することを含み、
前記対象とする被写体は、第２スプライシングフレーミング領域内に位置し、前記第２スプライシングフレーミング領域は、各カメラの調整済みフレーミング領域をスプライシングしてなるものであり、
前記第２撮像モジュールにより撮影されたセカンダリ画像は、全ての調整されたカメラにより撮影された画像を含む。

任意選択的な実施例において、前記前記フュージョン処理モジュール８４０は、
第１撮像モジュールが現在、主要撮影状態にあり、かつ前記第１撮像モジュールのフレーミング領域における対象とする被写体が、第２撮像モジュールの初期フレーミング領域内に位置している場合、第２撮像モジュールにより撮影されたセカンダリ画像と第１撮像モジュールにより撮影されたプライマリ画像をフュージョン処理するように更に構成される。

任意選択的な実施例において、前記フュージョン処理は、フレーミング中に実行されるか、又は前記フュージョン処理は、撮影操作命令を受信した後に実行される。

任意選択的な実施例において、前記複数の撮像モジュールは、視野角が順次小さくなる広角撮像モジュールと、汎用撮像モジュールと、長焦点距離撮像モジュールとを備える。

上述した装置における各モジュールの機能および作用の具体的な実現過程については、上述した方法における対応するステップの実現過程を参照すれば理解できるため、ここでその説明を省略する。

装置の実施例は、基本的に方法の実施例に対応するため、関連するところは方法の実施例の部分的な説明を参考にすることができる。以上に記述した装置の実施例は例示的なものに過ぎず、別体の部品として記述したモジュールは、物理的に分離したものであっても、でなくてもよい。モジュールとして示した部品は、物理的に分離したモジュールであっても、でなくてもよい。即ち、一箇所に位置してもよく、複数のネットワークモジュールに分布してもよい。実際の需要に応じて、一部又は全部のモジュールを選択して本開示の実施例の目的を実現させることができる。当業者は創造的な労力を要することなく、理解して実施することができる。

これに応じて、本開示の実施例において、コンピュータ可読記憶媒体を提供し、該媒体には、コンピュータプログラムが記憶されており、該プログラムがプロセッサにより実行される時、上記いずれか一項に記載の方法のステップを実現する。

本開示の実施例は、プログラムコードを記憶した１つ又は複数の記憶媒体（ディスクストレージ、ＣＤ－ＲＯＭ、光学メモリを含むが、これらに限定されず）上で実行されるコンピュータプログラム製品の形態をとりうる。コンピュータ使用可能記憶媒体は、不揮発性及び揮発性のもの、携帯型及び非携帯型ものを含み、任意の方法又は技術により情報の記憶を実現することができる。情報は、コンピュータ読み取り可能な命令、データ構造、プログラムのモジュール又は他のデータであってもよい。コンピュータの記憶媒体の例として、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又は他のメモリ、コンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）又は他の光学メモリ、テープカートリッジ、カートリッジやディスクメモリ又は他の磁気記憶装置、その他任意の非伝送媒体を含むが、これらに限定されず、コンピュータによりアクセスされた情報を記憶するように構成されてもよい。

それに応じて、本開示の実施例において、複数の撮像モジュールに基づいた電子機器を提供し、前記電子機器は、少なくとも２つの視野角が異なる撮像モジュールと、プロセッサと、プロセッサが実行可能な命令を記憶するように構成されるメモリとを備え、前記プロセッサは、
第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにすることであって、ここで、前記第２撮像モジュールの視野角が、前記第１撮像モジュールの視野角より小さいことと、
セカンダリ画像とプライマリ画像をフュージョン処理することであって、前記セカンダリ画像が、前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が、前記第１撮像モジュールにより撮影された画像であることと、を実行するように構成される。

図９は一例示的な実施例に係る複数の撮像モジュールに基づいた画像処理装置９００の構成を示す概略図である。例えば、装置９００は、ユーザ機器であってもよく、具体的には、撮影機能を有する携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタント、スマートウォッチ、スマートメガネ、スマートブレスレットなどのようなウェアラブル機器であってもよい。

図９に示すように、装置９００は、処理コンポーネント９０２、メモリ９０４、電源コンポーネント９０６、マルチメディアコンポーネント９０８、オーディオコンポーネント９１０、入力／出力（Ｉ／Ｏ）インタフェース９１２、センサコンポーネント９１４及び通信コンポーネント９１６のうちの１つ又は複数を備えてもよい。

処理コンポーネント９０２は一般的には、装置９００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント９０２は、指令を実行するための１つ又は複数のプロセッサ９２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント９０２は、他のコンポーネントとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント９０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント９０８と処理コンポーネント９０２とのインタラクションに寄与する。

メモリ９０４は、各種のデータを記憶することで装置９００における操作をサポートするように構成される。これらのデータの例として、操作９００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ９０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。

電源コンポーネント９０６は装置９００の様々なコンポーネントに電力を提供する。電源コンポーネント９０６は、電源管理システム、１つ又は複数の電源、及び装置９００のための電力生成、管理、分配に関連する他のコンポーネントを備えてもよい。

マルチメディアコンポーネント９０８は、上記装置９００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント９０８は、フロントカメラ及び／又はリアカメラを備える。装置９００が、撮影モード又は映像モードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。

オーディオコンポーネント９１０は、オーディオ信号を出力／入力するように構成される。例えば、オーディオコンポーネント９１０は、マイクロホン（ＭＩＣ）を備える。装置９００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ９０４に記憶するか、又は通信コンポーネント９１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント９１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。

Ｉ／Ｏインタフェース９１２は、処理コンポーネント９０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。

センサコンポーネント９１４は、１つ又は複数のセンサを備え、装置９００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント９１４は、装置９００のオン／オフ状態、コンポーネントの相対的な位置決めを検出することができる。例えば、上記コンポーネントが装置９００のディスプレイ及びキーパッドである。センサコンポーネント９１４は装置９００又は装置９００における１つのコンポーネントの位置の変化、ユーザと装置９００との接触の有無、装置９００の方位又は加速／減速及び装置９００の温度の変動を検出することもできる。センサコンポーネント９１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント９１４は、ＣＭＯＳ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント９１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。

通信コンポーネント９１６は、装置９００と他の機器との有線又は無線方式の通信に寄与するように構成される。装置９００は、ＷｉＦｉ、２Ｇ又は３Ｇ、４Ｇ ＬＴＥ、５Ｇ ＮＲ又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント９１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント９１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現される。

例示的な実施例において、装置９００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。

例示的な実施例において、命令を記憶したメモリ９０４のような非一時的コンピュータ可読記憶媒体を更に適用する。記憶媒体における命令は装置９００のプロセッサ９２０により実行される時、装置９００に複数の撮像モジュールに基づいた画像処理方法を実行させる。該画像処理方法は、
第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにすることであって、ここで、前記第２撮像モジュールの視野角が、前記第１撮像モジュールの視野角より小さいことと、
セカンダリ画像とプライマリ画像をフュージョン処理することであって、前記セカンダリ画像が、前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が、前記第１撮像モジュールにより撮影された画像であることと、を含む。

前記非一時的コンピュータ可読記憶媒体はＲＯＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置等であってもよい。

当業者は明細書を検討し、ここで開示した発明を実践した後、本開示のその他の実施方案を容易に思いつくことができる。本開示の実施例は、本開示の実施例のいかなる変形、用途、又は適応的な変化を含むことを目的としており、いかなる変形、用途、又は適応的な変化は、本開示の一般原理に基づいて、且つ本開示の実施例において公開されていない本技術分野においての公知常識又は慣用技術手段を含む。明細書及び実施例は、例示的なものを開示しており、本開示の保護範囲と主旨は、特許請求の範囲に記述される。

本開示の実施例は、上記で説明した、また図面において示した精確な構造に限定されず、その範囲を逸脱しない前提のもとで種々の変更及び修正を行うことができることを理解すべきである。本開示の実施例の範囲は付された特許請求の範囲によってのみ限定される。

本開示の実施例において、第１撮像モジュールが現在、主要撮影状態にあり、且つ第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、第２撮像モジュールのフレーミング視野を調整し、第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにし、第２撮像モジュールにより撮影されたセカンダリ画像と第１撮像モジュールにより撮影されたプライマリ画像をフュージョン処理し、画像の画質を高め、更に、第２撮像モジュールを調整することで、第２撮像モジュールの撮影範囲を拡大し、調整により得られた調整済みフレーミング領域が初期フレーミング領域に存在しない領域をカバーするようにすることで、画質向上不可能であった画像領域の少なくとも一部について、画質向上を実現させる。

Claims (7)

1. 複数の撮像モジュールに基づいた画像処理方法であって、
   第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、光学手振れ補正（ＯＩＳ）により前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにすることであって、前記第２撮像モジュールの視野角が、前記第１撮像モジュールの視野角より小さい、ことと、
   セカンダリ画像とプライマリ画像をフュージョン処理することであって、前記セカンダリ画像が前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が前記第１撮像モジュールにより撮影された画像であることと
   を含み、
   前記ＯＩＳにより前記第２撮像モジュールのフレーミング視野を調整することは、
   前記第２撮像モジュールの現在のフレーミング視野を決定することと、
   光学手振れ補正（ＯＩＳ）により前記第２撮像モジュールの現在のフレーミング視野を最大範囲に調整することと
   を含み、
   前記対象とする被写体は、前記第２撮像モジュールの調整された最大フレーミング領域と初期フレーミング領域との非重複部における任意の撮影点であることを特徴とする、画像処理方法。
2. 前記画像処理方法は、
   第１撮像モジュールが現在、主要撮影状態にあり、かつ前記第１撮像モジュールのフレーミング領域における対象とする被写体が、第２撮像モジュールの初期フレーミング領域内に位置している場合、第２撮像モジュールにより撮影されたセカンダリ画像と第１撮像モジュールにより撮影されたプライマリ画像をフュージョン処理することを更に含むことを特徴とする
   請求項１に記載の画像処理方法。
3. 前記フュージョン処理は、フレーミング中に実行されるか、又は前記フュージョン処理は、撮影操作命令を受信した後に実行されることを特徴とする
   請求項１に記載の画像処理方法。
4. 前記複数の撮像モジュールは、視野角が順次小さくなる広角撮像モジュールと、汎用撮像モジュールと、長焦点距離撮像モジュールとを備えることを特徴とする
   請求項１に記載の画像処理方法。
5. 複数の撮像モジュールに基づいた画像処理装置であって、
   第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、ＯＩＳにより前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにするように構成される視野調整モジュールであって、前記第２撮像モジュールの視野角が前記第１撮像モジュールの視野角より小さい、視野調整モジュールと、
   セカンダリ画像とプライマリ画像をフュージョン処理するように構成されるフュージョン処理モジュールであって、前記セカンダリ画像が、前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が、前記第１撮像モジュールにより撮影された画像である、フュージョン処理モジュールと
   を備え、
   前記視野調整モジュールが、前記ＯＩＳにより前記第２撮像モジュールのフレーミング視野を調整することは、
   前記第２撮像モジュールの現在のフレーミング視野を決定することと、
   光学手振れ補正（ＯＩＳ）により前記第２撮像モジュールの現在のフレーミング視野を最大範囲に調整することと
   を含み、
   前記対象とする被写体は、前記第２撮像モジュールの調整された最大フレーミング領域と初期フレーミング領域との非重複部における任意の撮影点である、画像処理装置。
6. 複数の撮像モジュールに基づいた電子機器であって、
   少なくとも２つの視野角が異なる撮像モジュールと、
   プロセッサと、
   プロセッサが実行可能な命令を記憶するように構成されるメモリと
   を備え、
   前記プロセッサは、
   第１撮像モジュールが現在、主要撮影状態にあり、且つ前記第１撮像モジュールのフレーミング領域における対象とする被写体が第２撮像モジュールの初期フレーミング領域に位置しない場合、ＯＩＳにより前記第２撮像モジュールのフレーミング視野を調整し、前記第２撮像モジュールの調整済みフレーミング領域が前記対象とする被写体をカバーするようにすることであって、前記第２撮像モジュールの視野角が、前記第１撮像モジュールの視野角より小さい、ことと、
   セカンダリ画像とプライマリ画像をフュージョン処理することであって、前記セカンダリ画像が、前記第２撮像モジュールにより撮影された画像であり、前記プライマリ画像が、前記第１撮像モジュールにより撮影された画像である、ことと
   を実行するように構成され、
   前記プロセッサが、前記ＯＩＳにより前記第２撮像モジュールのフレーミング視野を調整することは、
   前記第２撮像モジュールの現在のフレーミング視野を決定することと、
   光学手振れ補正（ＯＩＳ）により前記第２撮像モジュールの現在のフレーミング視野を最大範囲に調整することと
   を含み、
   前記対象とする被写体は、前記第２撮像モジュールの調整された最大フレーミング領域と初期フレーミング領域との非重複部における任意の撮影点である、電子機器。
7. コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されるときに、請求項１から４のうちいずれか一項に記載の画像処理方法のステップを実現する、コンピュータ可読記憶媒体。

Images