本開示はOPPO広東移動通信有限公司が2018年8月22日に提出した、発明名称「撮影モジュールの夜景撮影処理方法、装置、電子機器および記憶媒体」、中国特許出願番号「201810963331.3」の中国特許出願の優先権を請求する。
以下、本開示の実施例を詳しく説明し、前記実施例の例は図面に示されており、同じまたは類似の番号は終始同じまたは類似の部品、あるいは同じまたは類似の機能を有する部品を表す。図面を参照して説明した以下の実施例は例示に過ぎず、本開示を解釈することに用いられる、本開示を限定するものとして理解すべきではない。
関連技術では、絞りの小さいモバイル端末デバイスに対して、夜景シーンにおいて画像を撮る場合は照明が暗いため、収集対象画像の露出時間を延長することによって輝度を向上させると、ブレによって撮影された画像にスミアが存在する可能性がある。感光度の値を上げて画像を取得する場合、撮影のプロセスにおいてノイズが導入され、画像の画面のピンぼけを引き起こす。以上により、夜景シーンで撮影された画像はダイナミックレンジおよび全体の輝度が低く、ノイズレベルが高いだけではなく、ゴーストおよびピンぼけの状況が発生しやすく、ユーザ体験に影響する。
上記課題に対して、本開示の実施例は夜景撮影方法を提供し、撮影モジュールのブレの度合いを取得することにより、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。画像ノイズを低い水準に制御するために、撮影された複数フレームの画像はいずれも基準感光度を用いる。同時に、基準感光度の値はブレの度合いも考慮して、撮影時間が長すぎず、画像内のスミアを回避する。該方法を用いて得られた複数フレームの画像は、画像品質が高く、これらの画像に対する合成処理はノイズをさらに低減することができ、ダイナミックレンジを向上させる。夜景撮影において、良好な撮影効果を得ることができる。
以下は図面を参照しながら本開示が提供する夜景撮影方法、装置、電子機器および記憶媒体を詳しく説明する。
図1は本開示の実施例が提供する第1の夜景撮影方法のフローチャートである。
本開示の実施例の夜景撮影方法は撮影モジュールに適用され、該撮影モジュールは携帯電話、タブレット、パーソナルデジタルアシスタント、ウェアラブルデバイスなど、様々なオペレーティングシステム、イメージングデバイスを有するハードウェア機器であってもよい。
図1に示すように、該夜景撮影方法は、撮影モジュールに適用され、以下のステップを含む。
ステップ101、撮影モジュールのブレの度合いを取得する。
本開示の実施例において、撮影モジュールのブレの度合いを決定するために、電子機器内に配置される変位センサに基づいて変位情報を収集することができ、さらに、収集された電子機器の変位情報に基づいて、撮影モジュールのブレの度合いを決定する。
当業者であれば、連続して収集されたプレビュー画面内の同じ対象の変位度合いに基づいて、ブレの度合いが分かることができる。変位が大きければ大きいほどブレの度合いが大きくなり、これに反して、変位が小さければ小さいほど、ブレの度合いが小さくなる。
一例として、電子機器現在のジャイロスコープ(Gyro-sensor)情報を取得することによって、電子機器の現在のブレの度合い、即ち撮影モジュールの現在のブレの度合いを得ることができる。
ジャイロスコープは角速度センサとも呼ばれ、物理量偏移、傾斜時の回転角速度を測定することができる。電子機器において、ジャイロスコープは回転、偏移の動作を良好に測定できるため、使用者の実際の動作を正確に分析して判断することができる。電子機器のジャイロスコープ情報(gyro情報)は三次元空間の3つの次元の方向における携帯電話の動作情報を含んでもよく、三次元空間の3つの次元はそれぞれX軸、Y軸、Z軸の3つの方向で表すことができ、X軸、Y軸、Z軸は2つずつ垂直な関係にある。
なお、本開示の実施例の1つの可能な実現形態では、電子機器現在のgyro情報に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。電子機器は3つの方向におけるgyro動作の絶対値が大きければ大きいほど、撮影モジュールのブレの度合いが大きい。具体的に、3つの方向におけるgyro動作の絶対値のしきい値を予め設定し、取得した現在の3つの方向におけるgyro動作の絶対値の和と、予め設定されたしきい値との関係に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。
例えば、予め設定されたしきい値を第1のしきい値のA、第2のしきい値のB、第3のしきい値のC(A<B<C)とし、現在取得された3つの方向におけるgyro動作の絶対値の和をSとすると、S<Aの場合、撮影モジュールの現在のブレの度合いを「ブレなし」に、A<S<Bの場合、撮影モジュールの現在のブレの度合いを「微ブレ」に、B<S<Cの場合、撮影モジュールの現在のブレの度合いを「弱ブレ」に、S>Cの場合、撮影モジュールの現在のブレの度合いを「強ブレ」に決定することができる。
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、実際の必要に応じてしきい値の数および各しきい値の具体的な数値を予め設定することができ、およびgyro情報と各しきい値との関係に基づいて、gyro情報と撮影モジュールのブレの度合いとのマッピング関係を予め設定することができる。
ステップ102、ブレの度合いに基づいて、基準感光度を調整する。
感光度は、ISO値とも呼ばれ、光に対するネガフィルムの感度を判断する指標を意味する。感光度の低いネガフィルムに対して、感光度の高いネガフィルムと同じイメージング効果を達成するために、より長い露出時間が必要とされる。デジタルカメラの感光度はフィルムの感光度に類似する指標であり、デジタルカメラのISOは感光素子の感度を調整するまたは感光点を合併することによって調整することができ、即ち、感光素子の光感度を向上させるまたは隣接するいくつかの感光点を合併することによってISOを向上させるという目的を達成することができる。なお、デジタルにせよネガフィルム撮影にせよ、露出時間を短縮するために、比較的高い感光度を用いると、通常はより多くのノイズが引き起こされるため、画像品質の低下をもたらす。
本開示の実施例において、基準感光度は、現在の撮影において、撮影モジュールの現在のブレの度合いに基づいて調整される、現在のブレの度合いに適合する最低の感光度であってもよい。例えば、ブレの度合いに基づいて、ブレの度合いに適合する基準感光度を調整する際に、現在の基準感光度がちょうどブレの度合いに適合する場合、基準感光度が変化しないという結果になる。この場合は本開示の実施例における「調整」という範囲にも属する。
また、他の可能な適合シーンでは、撮影モジュールは複数のレンズで構成されるため、異なるレンズが同一の撮影環境においても異なる感光度に対応することができる。本ステップにおける基準感光度の調整は、複数のレンズのうちの1つのレンズによって実行される撮影のプロセスに対するものであり、この撮影プロセスにおいて、複数フレームの画像の収集は同一の基準感光度を用いる。
本ステップでは、画像ノイズを低減するために基準感光度が低く、感光度が低い複数フレームの画像を同時に収集して、目標画像を生成するように、収集された複数フレームの画像を合成する方法によって、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させられるだけではなく、感光度の値を制御することによって、画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させる。
なお、収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、各フレームの収集対象画像に対応する基準感光度を調整することができる。
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制し、撮影画像の品質を向上させるように、各フレームの収集対象画像に対応する基準感光度をより低い値に適当に圧縮してもよい。撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、各フレームの収集対象画像に対応する基準感光度を高い値に適宜に向上してもよい。
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、品質のより高い画像をできる限り取得するように、基準感光度をより低い値、例えば100に決定することができる。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、撮影時間を短縮するように、基準感光度を高い値、例えば200に決定することができる。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、撮影時間を短縮するように、基準感光度をさらに高め、例えば220に決定することができる。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定でき、この際に、撮影時間を短縮するように、基準感光度をさらに高め、例えば250に決定することができる。
なお、上記例は単なる例示であり、本開示を限定するものではない。実際の適用では、撮影モジュールのブレの度合いが変化する場合、基準感光度を調整することによって最適な解決案を得ることができる。撮影モジュールのブレの度合いと各フレームの収集対象画像に対応する基準感光度とのマッピング関係は、実際の必要に応じて予め設定することができる。
しかしながら、本開示の実施例では、撮影モジュールのブレの度合いだけに基づいて基準感光度を調整することに限定されず、さらにブレの度合いおよび撮影シーンの輝度情報など、複数のパラメータに基づいて基準感光度を包括的に決定することができ、ここで限定されない。
ステップ103、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定する。
露出時間は、光がレンズを通過する時間を意味する。複数フレームの収集対象画像は2フレーム以上であり、これについて本開示の実施例では限定されない。
本開示の実施例では、撮影シーンの輝度情報は、撮影モジュール内の測光モジュールを用いて測光して得ることができ、プレビュー画像の輝度情報によって得られるものであってもよく、ここで限定されない。該輝度情報は通常、撮影シーンの照度を、輝度を判断する指標とし、当業者であれば、他の指標による輝度の判断がいずれも本実施例の範囲内にあると理解するべきである。
具体的に、自動露出制御(Auto Exposure Control、AECと略称される)アルゴリズムを用いて、現在の輝度情報に対応する露出量を決定し、さらには、撮影シーンの輝度情報および基準感光度との両方面の情報に基づいて、複数フレームの収集対象画像内の各フレームの収集対象画像のために露出時間を決定する。
なお、露出量は絞り、露出時間および感光度と関連付けられている。絞りは即ちアパーチャであり、単位時間内に光が通過する量を決定する。各フレームの収集対象画像に対応する基準感光度が同じ、かつ絞りの大きさが同じである場合、現在の撮影シーンの照度に対応する露出量が大きければ大きいほど、各フレームの収集対象画像に対応する露出時間が長い。
ステップ104、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集する。
本開示の実施例において、複数フレームの収集対象画像の基準感光度および露出時間を決定した後、各フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集するように撮影モジュールを制御し、ここで詳しい説明を省略する。
なお、複数フレームの画像を収集する場合、同一の基準感光度に基づく画像の収集は、複数フレームの画像のノイズを低減することに寄与するだけではなく、感光度の向上により、収集された複数フレームの画像のノイズが増加するという技術的課題を回避する。
ステップ105、目標画像を生成するように、収集された複数フレームの画像を合成する。
本開示の実施例において、複数フレームの収集対象画像に対応する基準感光度および露出時間を決定した後、基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、かつ収集された複数フレームの画像を合成して、目標画像を生成することができる。本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得し、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された各フレームの画像を合成する。以上により、複数フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集し、合成して目標画像を生成することは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
図1に記載の実施例をもとに、1つの可能な場合では、上記ステップ102において、合成後の画像がより高いダイナミックレンジを有し、画像全体の輝度および品質を向上させるように、測光して決定された基準露出量および各フレームの露出補正レベルに基づいて、各フレームの収集対象画像の露出時間を決定して、異なるダイナミックレンジの画像を取得することができる。図2を参照すると、図2は本開示の実施例が提供する第2の夜景撮影方法のフローチャートである。図2に示すように、ステップ102は具体的に以下を含む。
ステップ201、撮影シーンの輝度情報に基づいて、基準露出量を決定する。
本開示の実施例において、基準露出量は、プレビュー画像を測光することによって現在の撮影シーンの輝度情報を取得した後、テーブルを参照するなどの方法によって決定された、現在の撮影シーンの輝度情報に適合する露出量を意味する。基準露出量の値は、基準感光度と基準露出時間との積であってもよい。
ステップ202、基準露出量および基準感光度に基づいて、基準露出時間を決定する。
本開示の実施例において、基準露出量が基準露出時間および基準感光度を含むため、撮影モジュールのブレの度合いに基づいて基準感光度を決定し、および撮影シーンの照度に基づいて基準露出量を決定した後、基準露出量および基準感光度に基づいて、基準露出時間を決定することができる。
ステップ203、ブレの度合いに基づいて、露出補正モードを調整する。
露出補正モードは、収集対象画像のフレーム数と、複数フレームの収集対象画像の設定された露出補正レベルとを示すことに用いられる。
なお、撮影モジュールの現在のブレの度合いが異なる場合、決定された収集対象画像の数は異なってもよく、収集対象画像の数が異なる場合、異なる露出補正モードを用いる必要がある。そのため、本開示の実施例の1つの可能な実現形態では、撮影モジュールのブレの度合いと露出補正モードとのマッピング関係により、撮影モジュールの現在のブレの度合いに基づいて、現在の収集対象画像の数のフレーム数と、複数フレームの収集対象画像の設定された露出補正モードとを決定することができる。
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正モードのEV値の範囲を-6~2に予め設定し、隣接するEV値の間の差を0.5としたり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正モードのEV値の範囲を-5~1に予め設定し、隣接するEV値の間の差を1としたりするなどができる。
1つの可能な実現形態として、撮影モジュールのブレの度合いおよび手ブレ防止性能と組み合わせて露出補正モードを調整するように、撮影モジュールの手ブレ防止性能をまず決定してもよい。
なお、撮影モジュールの手ブレ防止性能は撮影モジュール内の各部品の属性情報と一定の関係を持つため、撮影モジュールのブレの度合いおよび手ブレ防止性能と組み合わせて露出補正モードを調整するように、撮影モジュール内の各部品の属性情報に基づいて撮影モジュールの手ブレ防止性能を決定することができる。
例えば、撮影モジュール内の光学部品が光学式手ブレ防止のように配置される場合、予め設定された時間範囲を適当に拡大することができ、光学式手ブレ防止機能を実現できる撮影モジュールは、撮影時に振れると、その自身が一部のブレを相殺することができるため、光学式手ブレ防止を実現できない撮影モジュールと比べて、同じブレの度合いの下で、光学式手ブレ防止機能を実現できる撮影モジュールが収集した画像内のゴーストおよびピンぼけの度合いは小さい。そのため、光学式手ブレ防止を実現できない撮影モジュールと比べて、より品質の高い画像を得るように、予め設定された時間範囲、特に時間範囲の上限を適当に拡大してもよい。
もう1つの可能な実現形態として、撮影モジュールのブレの度合い、および撮影モジュールが収集した画像に顔が含まれているか否かに基づいて、各フレームの露出補正モードを調整することができる。以下、図3と併せて上記プロセスを詳しく説明する。図3は本開示の実施例が提供する第3の夜景撮影方法のフローチャートであり、図3に示すように、ステップ203は以下のサブステップをさらに含んでも良い。
サブステップ2031、ブレの度合いに基づいて、収集対象画像のフレーム数を調整する。
なお、収集対象画像のフレーム数および収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。即ち、収集対象画像のフレーム数とブレの度合いとは逆関係を持つ。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像のフレーム数を調整することができる。
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制して、撮影画像の品質を向上させるように、より多くのフレームの画像を収集してもよく、撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、より少ないフレームの画像を収集してもよい。
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、現在が三脚撮影モードである可能性があると決定することができ、この時、品質のより高い画像をできる限り取得するように、より多くのフレームの画像を収集してもよく、例えば、収集対象画像の数を17フレームに決定する。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、より少ないフレームを収集してもよく、例えば、収集対象画像の数を7フレームに決定する。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らしてもよく、例えば、収集対象画像の数を5フレームに決定する。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らすか、または複数フレームの画像を収集する方式を用いずに撮影してもよく、例えば、収集対象画像を3フレームに決定する。
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、撮影モジュールのブレの度合いが変化すると、最適な解決案を得るように、収集対象画像のフレーム数を変えることができる。撮影モジュールのブレの度合いと収集対象画像のフレーム数とのマッピング関係は、実際の必要に応じて予め設定することができる。
サブステップ2032、撮影モジュールが収集した画像に顔が含まれているか否かを検出する。
本開示の実施例では、被写体に顔が含まれているか否かは顔認識技術によって決定することができる。顔認識技術は、顔の視覚的特徴情報を分析および比較することによって身分認識を行い、生体認証技術に属しており、生体(一般的に人を指す)自身の生物学的特性に対して生体個体を区別するものである。現在、顔認識技術は、デジタルカメラのフェイスオートフォーカスやスマイルシャッター技術、企業、住宅の安全と管理、入退室管理システム、およびカメラ監視システムなど、数多くの分野に適用されている。よく用いられる顔認識アルゴリズムは、顔特徴点に基づく認識アルゴリズム(Feature-based recognition algorithms)、顔全体画像に基づく認識アルゴリズム(Appearance-based recognition algorithms)、テンプレートに基づく認識アルゴリズム(Template-based recognition algorithms)、ニューラルネットワークを用いる認識アルゴリズム(Recognition algorithms using neural network)などを含む。
なお、撮影モジュールの現在収集している画像に顔が含まれていること検出した場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光を行い、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景モードでは、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高く、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、目標画像の効果が悪くなる。そのため、同じブレの度合いに対して、撮影モジュールが収集した画像に顔が含まれている場合は、顔が含まれていない場合と比べて、対応する露出補正モードがより低い露出補正範囲を有する必要がある。
サブステップ2033、顔が含まれている場合、露出補正モードが調整後のフレーム数にマッチングする第1のモードであると決定する。
サブステップ2034、顔が含まれていない場合、露出補正モードが調整後のフレーム数にマッチングする第2のモードであると決定する。
第2のモードに対応する露出補正レベルの値の範囲は第1のモードに対応する露出補正レベルの値の範囲より大きい。
本開示の実施例の1つの可能な実現形態では、同じブレの度合いに対して、撮影モジュールの現在収集している画像に顔が含まれているか否かに基づいて、異なる露出補正策を用いることができる。そのため、同じブレの度合いに対しては、複数の露出補正モードに対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、対応する予め設定された露出補正モードは第1のモードおよび第2のモードがあり、第1のモードに対応する各EV値が[0、0、0、0、-2、-4、-6]であり、第2のモードに対応する各EV値が[+1、+1、+1、+1、0、-3、-6]である。撮影モジュールの現在のブレの度合い、および撮影モジュールの現在収集している画像に顔が含まれているか否かが決定されると、現在の実際の状況に適合する予め設定された露出補正モードを決定することができる。
例えば、撮影モジュールの現在のブレの度合いが「微ブレ」であるとすると、対応する予め設定された露出補正モードは第1のモードおよび第2のモードがあり、第1のモードに対応する各EV値が[0、0、0、0、-2、-4、-6]であり、第2のモードに対応する各EV値が[+1、+1、+1、+1、0、-3、-6]であり、以上から分かるように、第1のモードの露出補正範囲は第2のモードの露出補正範囲より小さい。撮影モジュールの現在収集している画像に顔が含まれていることを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第1のモードであると決定し、即ち各EV値が[0、0、0、0、-2、-4、-6]であり、撮影モジュールの現在収集している画像に顔が含まれていないことを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第2のモードであると決定し、即ち各EV値が[+1、+1、+1、+1、0、-3、-6]である。
ステップ204、各フレームの収集対象画像の設定された露出補正レベルに基づいて、基準露出時間を補正して各フレームの収集対象画像の露出時間を得る。
本開示の実施例において、収集対象画像を異なる露出量に対応させることによって、異なるダイナミックレンジを有する画像を得るように、露出補正レベルに応じて、各フレームの収集対象画像に対してそれぞれ異なる露出補正策を用いることができる。
なお、露出補正モードは、各フレームの収集対象画像のためにそれぞれ予め設定した露出補正レベル(Exposure Value、EVと略称される)の組み合わせを意味する。露出量の最初の定義では、露出量は1つの正確な数値を指すわけではなく、「同じ露出量を提供できるすべてのカメラの絞りと露出時間との組み合わせ」を意味する。感光度、絞りおよび露出時間はカメラの露出量を決定し、異なるパラメータの組み合わせは同じ露出量を生成することができる。露出補正レベルは露出量を調整するパラメータであり、一部の画像を露出アンダーにしたり、一部の画像を露出オーバーにしたり、一部の画像を適切に露出したりすることができる。
EV値と感光度と、絞りと露出時間との間の関係を説明するために、以下は具体的なデータと併せて説明する。例えば、同じ撮影シーンでは、感光度が同じである場合、1/125秒の露出時間およびf11の絞りの組み合わせを用いて得られた露出量と、1/250秒の露出時間およびf8シャッターの組み合わせを用いて得られた露出量とは同じであり、即ちEV値は同じである。従来のカメラでは、EV値が0である場合は、常に感光度が100、絞り係数がf1、露出時間が1秒である際に得られた露出量を指す。露出量が1段増加すると、露出時間が倍増になる。感光度が倍増になるまたは絞りが1段増加すると、EV値が1増加する。即ち、EV1に対応する露出量はEV0に対応する露出量の2倍である。表1に示すのは、露出時間、絞り、感光度がそれぞれ単独で変化する場合、EV値との対応関係である。
なお、デジタルカメラのEV値が0である場合の露出量は、撮影シーンにおいて環境光を測光して得られるものであってもよい。
撮影技術がデジタル時代に入ると、カメラ内部の測光機能が非常に高くなっており、EVは、露出目盛りにおける1つの段差を示すためによく用いられており、多くのカメラでは露出補正の設定が許容され、通常EVで表される。この場合、EVはカメラの測光データに対応する露出量と実際の露出量との差を指し、例えば、EV+1の露出補正は、カメラの測光データに対応する露出量に対して、露出が1段増加すると、実際の露出量はカメラの測光データに対応する露出量の2倍になること指す。
本開示の実施例では、露出補正モードを決定する場合は、決定された基準露出量に対応するEV値を0に予め設定することができ、EV+1は露出が1段増加することを指し、即ち露出量が基準露出量の2倍になり、EV+2は露出が2段増加することを指し、即ち露出量が基準露出量の4倍になり、EV-1は露出が1段減ることを指し、即ち露出量が基準露出量の0.5倍になるなど。
例えば、収集対象画像の数が7フレーム場合、露出補正モードに対応するEV値の範囲は[+1、+1、+1、+1、0、-3、-6]であってもよい。露出補正モードがEV+1であるフレームは、ノイズ問題が解決可能であり、輝度の高いフレームを介して時間領域のノイズリダクションを行い、暗い部分の細部を改善すると共にノイズを抑制する。露出補正モードがEV-6であるフレームは、明るくて露出オーバーを引き起こすという課題を解決でき、明るい領域の細部を保持する。露出補正モードがEV0およびEV-3であるフレームは、明るい領域から暗い領域への移行に用いられてもよく、良好な明暗移行効果を維持することができる。
なお、露出補正モードに対応する各EV値は実際の必要に応じて具体的に設定するものであってもよく、設定されたEV値の範囲に基づいて、各EV値の間の差が同じであるという原則に従って求められたものであってもよく、本開示の実施例では限定されない。
本開示の実施例の1つの可能な実現形態では、絞りの大きさは一定であってもよく、決定された基準感光度に基づいて各収集対象画像を収集する。そのため、撮影モジュールの現在のブレの度合いに基づいて現在の収集対象画像の数が決定されると、現在の収集対象画像の数に適合する予め設定された露出補正モード、および基準露出時間に基づいて、各フレームの収集対象画像に対応する露出時間を決定することができる。具体的に、収集対象画像に対応する露出補正モードがEV+1である場合、該収集対象画像に対応する露出時間は基準時間の2倍になり、収集対象画像に対応する露出補正モードがEV-1である場合、該収集対象画像に対応する露出時間は基準時間の0.5倍になり、これによって類推する。
例えば、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数が7フレームであると決定する場合、対応する予め設定された露出補正モードに対応するEV範囲は[+1、+1、+1、+1、0、-3、-6]であってもよく、基準露出量および基準感光度に基づいて、基準露出時間が100ミリ秒に決定されると、各フレームの収集対象画像に対応する露出時間は200ミリ秒、200ミリ秒、200ミリ秒、200ミリ秒、100ミリ秒、12.5ミリ秒、6.25ミリ秒である。
本開示の実施例の夜景撮影方法は、撮影シーンの輝度情報に基づいて、基準露出量を決定し、基準露出量および基準感光度に基づいて、基準露出時間を決定し、撮影モジュールのブレの度合いに基づいて、露出補正モードを調整し、各フレームの収集対象画像の設定された露出補正レベルに基づいて、基準露出時間を補正して各フレームの収集対象画像の露出時間を得る。以上により、各フレームの画像を収集する露出時間を決定するように、撮影シーンの輝度情報に基づいて基準露出および各フレームの露出補正レベルを決定し、異なる露出時間に基づいて各フレームの画像を収集する場合、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
図2に記載の実施例をもとに、もう1つの可能な実現形態として、本開示の実施例では、複数の夜景モードが予め設定され、異なる夜景モードに異なる露出補正モードが対応付けられている。図4に示すのは、本開示の実施例が提供する第4の夜景撮影方法のフローチャートであり、具体的に以下のステップを含んでも良い。
ステップ301、プレビュー画面の画面内容に基づいて、現在の撮影シーンが夜景シーンに属すると決定する。
本開示の実施例では、現在の撮影シーンが夜景シーンに属するか否かを決定するために、イメージングデバイスを介して現在の撮影シーンのプレビュー画面を取得することができる。
具体的に、異なるシーンにおける環境輝度値が異なるため、プレビュー画面の内容も異なり、現在の撮影シーンのプレビュー画面の画面内容および各領域の環境輝度値に基づいて、現在の撮影シーンが夜景シーンに属するかどうかを判断する。
例えば、プレビュー画面の画面内容は夜空または夜景の灯による光源などを含むか、またはプレビュー画面の各領域の環境輝度値が夜景環境における画像の輝度分布特性に属する場合、現在の撮影シーンが夜景シーンに属すると決定することができる。
ステップ302、撮影モジュールのブレの度合いおよび/またはプレビュー画面に顔が含まれているか否かに基づいて、現在の撮影シーンに適用する夜景モードを認識する。
本開示の実施例では、イメージングデバイスに配置される変位センサを介して、撮影のプロセスにおけるイメージングデバイスの変位情報を収集して、得られた変位情報に基づいて撮影モジュールの現在のブレの度合いを決定することができる。以上により、撮影モジュールのブレの度合いに基づいて、使用者がイメージングデバイスを三脚に固定して撮影したかまたは手持ちモードで撮影したかを判断することができる。さらには、撮影モジュールの現在のブレの度合いに基づいて、現在の撮影シーンに適用する夜景モードを認識する。夜景モードは、即ち三脚を用いるモードまたは手持ちモードである。
もう1つの可能な実現形態として、イメージングデバイスのプレビュー画面に顔が含まれているか否かを決定することによって、現在の撮影シーンに適用する夜景モードを認識することができる。
なお、プレビュー画面に顔が含まれていることを検出する場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光し、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景シーンにおいて、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、収集された画像のイメージング効果が悪くなる。そのため、同じブレの度合いに対して、プレビュー画面に顔が含まれている場合と顔が含まれていない場合とを比較すると、用いる夜景モードは異なる。
ステップ303、夜景モードに対応する露出補正モードに基づいて、各フレームの収集対象画像の予め設定された露出補正値を決定する。
1つの可能な実現形態として、撮影モジュールのブレの度合いが異なれば、現在の撮影シーンに適用する夜景モードが異なるため、決定された各フレームの収集対象画像の予め設定された露出補正値も異なる。本開示の実施例では、撮影モジュールのブレの度合いに基づいて、現在各フレームの収集対象画像の予め設定された露出補正値を決定するように、撮影モジュールのブレの度合いと露出補正値との間のマッピング関係を予め設定することができる。
例えば、撮影モジュールのブレの度合いが「ブレなし」である場合、各フレームの収集対象画像に対応する露出補正値のEV値の範囲を-6~2に予め設定し、隣接するEV値の間の差を0.5としたり、撮影モジュールのブレの度合いが「微ブレ」である場合、各フレームの収集対象画像に対応する露出補正値のEV値の範囲を-5~1に予め設定し、隣接するEV値の間の差を1としたりするなどができる。
もう1つの可能な実現形態として、撮影モジュールのプレビュー画面に顔が含まれているか否かを検出し、プレビュー画面に顔が含まれている場合と顔が含まれていない場合とは、現在の撮影シーンに適用する夜景モードが異なるため、それによって決定される各フレームの収集対象画像の予め設定された露出補正値もまた異なる。
別の可能な実現形態として、同じブレの度合いに対して、プレビュー画面に顔が含まれているか否かに基づいて、各フレームの収集対象画像が異なる露出補正値を用いると決定することができる。そのため、同じブレの度合いに対しては、複数の露出補正値に対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、各フレームの収集対象画像の予め設定された露出補正値には、顔が含まれているおよび顔が含まれていないという2つの場合がある。
夜景モードでは、収集対象画像に顔が含まれている場合は顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、収集された画像のイメージング効果が悪くなり、対応する露出補正モードは低い露出補正範囲が必要とされる。そのため、同じブレの度合いに対して、プレビュー画面に顔が含まれている場合と、顔が含まれていない場合とを比較して、撮影モジュールの現在のブレの度合い、およびプレビュー画面に顔が含まれているか否かを決定した後、現在の実際の状況に適合する予め設定された露出補正値を決定することができる。
本開示の実施例では、プレビュー画面を取得することによって、プレビュー画面の画面内容に基づいて、現在の撮影シーンが夜景シーンに属することを決定し、イメージングデバイスのブレの度合いおよび/またはプレビュー画面に顔が含まれているか否かに基づいて、現在の撮影シーンに適用する夜景モードを認識し、さらには、夜景モードに基づいて、各フレームの収集対象画像の予め設定された露出補正値を決定する。以上により、イメージングデバイスのブレの度合いおよび/またはプレビュー画面に顔が含まれているか否かに基づいて、該撮影シーンにおける夜景モードを決定して、各フレームの収集対象画像の予め設定された露出補正値を決定し、さらには各フレームの収集対象画像の露出時間を決定するために使用し、最大時間に基づいて少なくとも1フレームの収集対象画像の露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
図1に記載の実施例をもとに、一つの実現可能なシーンでは、撮影モジュールのブレの度合いに基づいて基準感光度を決定する際に、ブレの度合いと予め設定されたブレのしきい値との間の関係を判断することによって、各フレームの収集対象画像の基準感光度の感光値を決定することができ、従って撮影画像の品質を向上させる。以下、図5を参照しながら上記プロセスを詳しく紹介する。図5は本開示の実施例が提供する第5の夜景撮影方法のフローチャートである。図5に示すように、ステップ102は以下のステップをさらに含んでも良い。
ステップ401、撮影モジュールのブレの度合いを決定する。
具体的に、ブレの度合いを決定するために、電子機器内に配置される変位センサに基づいて変位情報を収集することができ、さらには、収集された電子機器の変位情報に基づいて、撮影モジュールのブレの度合いを決定する。各フレームの収集対象画像の予め設定された感光度が同じである場合、撮影モジュールのブレの度合いに基づいて、各フレームの収集対象画像の予め設定された感光度を決定することができる。
ステップ402、撮影モジュールのブレの度合いがブレのしきい値以上であるか否かを判断する。
本開示の実施例において、撮影モジュールのブレの度合いを決定した後、ブレの度合いに基づいて基準感光度の感光値を決定するように、撮影モジュールのブレの度合いを予め設定されたブレのしきい値と比較する。
ステップ403、ブレの度合いがブレのしきい値以上である場合、基準感光度が第1の感光値であると決定する。
1つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値以上である場合、基準感光度が第1の感光値であると決定する。
なお、撮影モジュールのブレの度合いが大きい場合、基準感光度を向上させることによって撮影時間を短縮することができ、例えば基準感光度を800に決定することができることを理解されたい。
ステップ404、ブレの度合いがブレのしきい値より小さい場合、基準感光度が第2の感光値であると決定する。
1つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値より小さい場合、基準感光度が第2の感光値であると決定する。
第1の感光値は第2の感光値より高く、第1の感光値は第2の感光値の予め設定された倍数であり、予め設定された倍数の値が2以上である。一つの可能な実現形態として、より低いノイズを得るために、第2の感光値はイメージングデバイスの最低感光度であってもよく、即ち第2の感光値の値は100ISOであり、これに対応して、第1の感光値の範囲は200、400、800またはそれ以上であってもよい。
なお、撮影モジュールのブレの度合いが小さい場合、基準感光度をより低く設定することによって品質のより高い画像をできる限り得ることができ、例えば、基準感光度を100に決定することができることを理解されたい。
本開示の実施例では、撮影モジュールのブレの度合いを決定することによって、ブレの度合いとブレのしきい値とを比較することによって、ブレの度合いがブレのしきい値以上である場合、基準感光度が第1の感光値であると決定し、ブレの度合いがブレのしきい値より小さい場合、基準感光度が第2の感光値であると決定する。以上により、撮影モジュールのブレの度合いに基づいて基準感光度の感光値を決定し、さらに感光値に基づいて露出時間を決定することによって、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
図1に記載の実施例をもとに、もう1つの可能なシーンでは、ステップ102において基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、露出時間が最大時間より長い収集対象画像の露出時間を短縮するように、決定された露出時間と撮影モジュールのブレの度合いに基づいて決定された最大時間とを比較することができ、露出時間が長すぎることによって露出オーバーが発生して画像の歪みを引き起こしたいり、振れることによって画面ピンぼけが発生したりする状況、および撮影時間が長すぎる状況を回避する。次に、図6と併せて上記プロセスを詳しく説明し、図6は本開示の実施例が提供する第6の夜景撮影方法のフローチャートであり、図6に示すように、ステップ103の後は以下のステップをさらに含む。
ステップ501、撮影モジュールのブレの度合いに基づいて、最大時間を決定する。
1つの可能な場合として、ブレの度合いを決定するために、イメージングデバイス内に配置される変位センサを介して変位情報を収集し、さらに、収集されたイメージングデバイスの変位情報に基づいて、撮影モジュールのブレの度合いを決定することができる。さらに、決定された撮影モジュールのブレの度合いに基づいて予め設定されたブレのしきい値と比較することによって、最大露出時間を決定する。
1つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第1の時間であると決定する。ブレのしきい値は、イメージングデバイスにおいて予め設定された、予め設定された感光度の値を決定するためのブレ値である。
なお、撮影モジュールのブレの度合いが大きい場合、露出時間を長く設定すれば、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなることを引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけという状況が現れる可能性がある。そのため、撮影モジュールのブレの度合いが大きい場合、撮影の画像にゴーストまたはピンぼけという状況の発生を回避するように、より短い露出時間を設定することができることを理解されたい。
もう一つの可能な場合として、イメージングデバイスのブレの度合いがブレのしきい値より小さい場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第2の時間であると決定する。
なお、撮影モジュールのブレの度合いが小さい場合、撮影して品質のより高い画像を得るように、より長い露出時間を設定することができることを理解されたい。
第1の時間は第2の時間より短く、第1の時間の値の範囲は150ms~300msであり、第2の時間の値の範囲は4.5s~5.5sである。
ステップ502、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
本開示の実施例では、各フレームの収集対象画像の露出時間は、撮影モジュールによって決定された基準感光度に基づいて決定され、具体的な実現プロセスは上記実施例のステップ102の実現プロセスを参照されたいので、ここで説明を省略する。
基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすという状況を回避するように、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
ステップ503、収集対象画像に露出時間が最大時間より長い第1の画像が存在する場合、第1の画像の露出時間を最大時間まで短縮する。
具体的に、収集対象画像において、対応する露出時間が最大時間より長いという状況が存在する場合、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなるという状況を引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけが現れる可能性がある。
そのため、各フレームの収集対象画像に対応する露出時間が決定されると、各フレームの収集対象画像に対応する露出時間が最大時間より長いであるか否かを判断するように、各露出時間と予め設定された最大時間とを比較することができる。
1つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、決定された収集対象画像内の露出時間と第1の最大時間とを比較し、収集対象画像内では、露出時間が第1の最大時間より長い第1の画像が存在する場合、第1の画像の露出時間を最大時間まで短縮する。第1の最大時間は300msである。
例えば、特定フレームの収集対象画像の露出時間が350msであるとすると、該フレームの画像の露出時間が第1の最大時間より長いため、該フレームの画像の露出時間を短縮し、該フレームの収集対象画像の露出時間を300msに設定する。
1つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値より小さい場合、決定された収集対象画像の露出時間と第2の最大時間とを比較し、収集対象画像内では、第1の画像に対応する露出時間が第2の時間の最大時間より長い状況が存在する場合、第1の画像に対応する露出時間を第2の時間の最大時間、即ち5.5sに設定する。
例えば、特定フレームの収集対象画像の露出時間が6sであるとすると、該フレームの画像の露出時間が第2の最大時間より長いため、該フレームの画像の露出時間を短縮し、該フレームの収集対象画像の露出時間を5.5sに設定する。
ステップ504、第1の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第1の画像の感光度を向上させる。
具体的に、露出量が感光度と露出時間との積であるため、第1の画像の露出量が決定されると、撮影された画像の輝度を維持するように、第1の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第1の画像の感光度を向上させることができる。
例えば、現在の撮影シーンの輝度情報に基づいて、露出補正レベルがEV0である際の露出時間および基準露出量をそれぞれ2sおよび100ISOに決定する。収集対象画像の露出補正レベルがEV+2である場合、露出時間および感光度はそれぞれ8sおよび100ISOであり、露出時間が8sである際は最大時間の5sより長いため、EV+2の露出時間の値を5sとし、ISO値を8/5*100ISO即ち160ISOに決定する。以上により、該フレームの収集対象画像の露出時間を更新することによって、露出量を確保すると共に、画像の輝度を向上させ、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすことを回避する。
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、最大時間を決定することによって、各フレームの収集対象画像の露出時間と設定された最大時間とを比較し、収集対象画像に露出時間が最大時間より長い第1の画像が存在する場合、第1の画像の露出時間を最大時間まで短縮し、第1の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第1の画像の感光度を向上させる。以上により、収集対象画像の露出時間が最大時間より長い画像の露出時間を最大時間に短縮することによって、露出時間が長すぎて全体の撮影時間が延長され、撮影モジュールのブレの度合いが大きくなって、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけが現れることを回避する。
図1に記載の実施例をもとに、もう1つの可能なシーンでは、基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、決定された露出時間と、撮影モジュールのブレの度合いに基づいて決定された最短時間を比較することによって、最短露出時間に基づいて最短時間より短い露出時間を調整する。以下、図7と併せて上記プロセスを詳しく説明する。図7は本開示の実施例が提供する第7の夜景撮影方法のフローチャートであり、図7に示すように、ステップ103の後は以下のステップをさらに含む。
ステップ601、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。
本開示の実施例において、各フレームの収集対象画像の露出時間は、撮影モジュールによって決定される基準感光度によって決定され、具体的な実現プロセスは上記実施例のステップ102の実現プロセスを参照されたいので、ここで説明を省略する。
基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、最短時間に基づいて、最短時間より短い露出時間を調整するように、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。最短時間は10ms以上である。
なお、最短露出時間も撮影モジュールのブレの度合いによって決定され、具体的な実現プロセスは上記実施例のステップ501の実現プロセスを参照されたいので、ここで説明を省略する。
ステップ602、収集対象画像に露出時間が最短時間より短い第2の画像が存在する場合、第2の画像の露出時間を最短時間まで延長する。
本開示の実施例では、収集対象画像に対応する露出時間が最短時間の画像より短い場合、画像内のノイズが大きすぎて除去が困難になる恐れがある。そのため、特定フレームの収集対象画像に対応する露出時間が最短時間より短い場合、該フレームの収集対象画像に対応する露出時間を最短時間まで延長する。
ステップ603、第2の画像の延長後の露出時間と延長前の露出時間との比を決定する。
例えば、予め設定された最短時間が10msであり、第2の画像の延長前の露出時間が8msである場合、第2の画像の露出時間を予め設定された最短時間の10msまで延長すると、第2の画像の延長後の露出時間と延長前の露出時間との比が10/8であると決定することができる。
ステップ604、残りの各フレームの収集対象画像に露出時間が最大時間より長い第1の画像が存在する場合、最大時間に基づいて、第1の画像の露出時間を短縮する。
本開示の実施例において、収集対象画像に露出時間が最短時間より短い第2の画像が存在すると決定した後、残りの各フレームの収集対象画像に露出時間が最大時間より長い第1の画像が同時に存在する場合、第1の画像の露出時間を最大時間まで短縮することができる。具体的な実現プロセスは、上記実施例のステップ503の実現プロセスを参照されたいので、ここで説明を省略する。
ステップ605、第1の画像の短縮前後の露出時間の比の値に基づいて、第1の画像の感光度を向上させる。
本開示の実施例では、ステップ605の実現プロセスは、上記実施例のステップ504の実現プロセスを参照されたいので、ここで説明を省略する。
ステップ606、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。
具体的に、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、最短時間より短い収集対象画像の更新後の露出時間と、更新前の露出時間との比が決定されると、該比と残りの各フレームの収集対象画像の更新前の感光度または露出時間との積を、残りの各フレームの収集対象画像の更新後の感光度または露出時間とする。
1つの例として、露出時間が最短時間以上である収集対象画像が4フレームであるとすると、撮影モジュールのブレの度合いに基づいて、各フレームの予め設定された感光度値がいずれも100ISOであり、且つ4フレームの収集対象画像の露出時間がそれぞれ100ms、200ms、400msおよび800msであると決定する。最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比が10ms/1.5ms、即ち20/3であることにより、この4フレームの収集対象画像の露出時間が従来の100ms、200ms、400msおよび800msの20/3倍に延長されると決定する。
感光度の更新方法は露出時間の更新方法と類似するものであり、露出時間を感光度に置き換えるだけでよい。しかしながら、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比の値に基づいて、露出時間および感光度のいずれか一方のみ更新することができ、露出時間および感光度を同時に更新する必要がある場合、重みに応じて該比を割り当てた後に更新する必要があることを留意されたい。例えば、露出時間および感光度にそれぞれ半分の重みが付けられている場合に対して、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比がRである場合、露出時間を従来のR/2倍に延長し、感光度を従来のR/2倍に向上させる。
本開示の実施例では、基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、各フレームの収集対象画像の露出時間を設定された最短時間と比較し、収集対象画像に露出時間が最短時間より短い第2の画像が存在する場合、第2の画像の露出時間を最短時間まで延長し、第2の画像の延長後の露出時間と延長前の露出時間との比を決定し、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。以上により、各フレームの収集対象画像の露出時間が決定されたことにより、最短露出時間および最大露出時間に基づいて各フレームの収集対象画像の感光度および露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
本開示の実施例のもう1つの可能な実現形態として、夜景撮影時に、撮影モジュールのブレの度合いに基づいて露出時間を調整することもでき、それによって露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、さらには複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集する。基準感光度に基づいて露出時間を調整するという図1が提供する実現形態と相違して、露出時間に基づいて感光度を調整し、同様に、ブレの度合いと組み合わせて、感光度を低い水準に制御することができる。以下、図8と併せて上記プロセスを詳しく説明し、図8は本出願の実施例が提供する第8の夜景撮影方法のフローチャートである。
図8に示すように、該方法は具体的に以下のステップを含む。
ステップ701、撮影モジュールのブレの度合いを取得する。
本開示の実施例では、ステップ701の実現プロセスは、上記実施例のステップ101の実現プロセスを参照されたいので、ここで説明を省略する。
ステップ702、ブレの度合いに基づいて、露出時間を調整する。
露出時間は、光がレンズを通過する時間を意味する。
本開示の実施例では、電子機器が撮影モジュールのブレの度合いを取得した後、撮影モジュールのブレの度合いに基づいて、露出時間を調整することができる。
1つの可能な場合として、撮影モジュールのブレの度合いが大きい場合、露出時間をより長く設定すれば、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなることを引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけという状況が現れる可能性がある。そのため、撮影モジュールのブレの度合いが大きい場合、撮影の画像にゴーストまたはピンぼけという状況の発生を回避するように、より短い露出時間を設定することができる。
もう1つの可能な場合として、撮影モジュールのブレの度合いが小さい場合、撮影のプロセスにおいてより多くの画像情報を取得することによって、撮影して品質のより高い画像を得るように、露出時間を長く設定することができる。
ステップ703、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定する。
本開示の実施例において、撮影シーンの輝度情報は、撮影モジュール内の測光モジュールを用いて測光して得ることができ、撮影シーンの照度であってもよく、プレビュー画像の輝度情報によって得られるものであってもよく、ここで限定されない。
具体的に、露出量は絞り、露出時間および感光度と関連付けられている。絞りは即ちアパーチャであり、単位時間内に光が通過する量を決定する。複数フレームの収集対象画像の露出時間が決定され、かつ絞りの大きさが同じである場合、撮影シーンの輝度情報に基づいて各フレームの収集対象画像に対応する露出量を決定した後、各フレームの収集対象画像の露出時間に基づいて、各フレームの収集対象画像の感光度を決定することができる。
ステップ704、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集する。
本開示の実施例では、複数フレームの収集対象画像の感光度および露出時間を決定した後、各フレームの収集対象画像の感光度および露出時間に基づいて画像を収集するように撮影モジュールを制御し、ここで具体的な説明を省略する。
なお、露出時間によって複数フレームの収集対象画像の感光度を低い値に限定する際には、複数フレームの画像のノイズを低減することに寄与するだけではなく、感光度の向上により、収集された複数フレームの画像のノイズが増加するという技術的課題を回避する。
ステップ705、目標画像を生成するように、収集された複数フレームの画像を合成する。
本開示の実施例では、ステップ705の実現プロセスは、上記実施例のステップ105の実現プロセスを参照されたいので、ここで説明を省略する。
本開示の実施例の夜景撮影方法は、撮影モジュールのブレの度合いを取得することにより、ブレの度合いに基づいて、露出時間を調整し、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、露出時間が決定された後、撮影シーンの輝度情報および露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
図8に記載の実施例をもとに、1つの可能なシーンでは、上記ステップ702において、各フレームの収集対象画像の露出時間を決定して、異なるダイナミックレンジの画像を得て、合成された画像がより高いダイナミックレンジを有し、画像全体の輝度および品質を向上させるように、ブレの度合いに基づいて各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間を決定することもできる。
以下、図9と併せて上記プロセスを詳しく説明する。図9は本開示の実施例が提供する第9の夜景撮影方法のフローチャートである。図9に示すように、ステップ702は具体的に以下をさらに含んでも良い。
ステップ801、ブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定する。
露出補正は、露出の制御方法の1つであり、電子機器を介して被写体を測光した後、得られたシャッターと絞りとを組み合わせたパラメータであり、さらに露出補正によって今回の測光によって得られたシャッター速度を人為的に変更する。露出補正レベルは高補償レベルと、高補償レベルより低い低補償レベルと、高補償レベルおよび低補償レベルの間の移行レベルとを含む。
本開示の実施例では、撮影モジュールの現在のブレの度合いが異なれば、複数フレームの収集対象画像に対応する露出補正レベルは異なり、異なる露出補正レベルに対応する露出時間も異なる。そのため、各露出補正レベルと露出時間との対応関係を確立するように、ブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定することができる。
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正レベルのEV値の範囲を-6~2に予め設定し、隣接するEV値の間の差を0.5とするとともに、より長い露出時間を設定したり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正レベルのEV値の範囲を-5~1に予め設定し、隣接するEV値の間の差を1とするとともに、より短い露出時間を設定したりすることができる。
ステップ802、ブレの度合いに基づいて、露出補正モードを調整する。
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
なお、撮影モジュールの現在のブレの度合いが異なれば、決定された収集対象画像の数は異なってもよく、収集対象画像の数が異なる場合、異なる露出補正モードを用いる必要がある。そのため、本開示の実施例の1つの可能な実現形態では、撮影モジュールの現在のブレの度合いに基づいて、現在の収集対象画像の数のフレーム数および各フレームの収集対象画像の設定された露出補正モードを決定するように、撮影モジュールのブレの度合いと露出補正モードとのマッピング関係を確立することができる。
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正モードのEV値の範囲を-6~2に予め設定し、隣接するEV値の間の差を0.5としたり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正モードのEV値の範囲を-5~1に予め設定し、隣接するEV値の間の差を1としたりするなどができる。
一つの可能な実現形態として、撮影モジュールのブレの度合いおよび手ブレ防止性能と併せて露出補正モードを調整するように、撮影モジュールの手ブレ防止性能を先に決定してもよい。
なお、撮影モジュールの手ブレ防止性能が撮影モジュール内の各部品の属性情報と一定の関係を持つため、撮影モジュール内の各部品の属性情報に基づいて撮影モジュールの手ブレ防止性能を決定することができ、従って撮影モジュールのブレの度合いおよび手ブレ防止性能を組み合わせて露出補正モードを調整する。
例えば、撮影モジュール内の光学部品が光学式手ブレ防止のように配置される場合、予め設定された時間範囲を適当に拡大することができ、光学式手ブレ防止機能を実現できる撮影モジュールは、撮影時に振れると、その自身が一部のブレを相殺することができるため、光学式手ブレ防止を実現できない撮影モジュールと比べて、同じブレの度合いの下で、光学式手ブレ防止機能を実現できる撮影モジュールが収集した画像内のゴーストおよびピンぼけの度合いは小さい。そのため、光学式手ブレ防止を実現できない撮影モジュールと比べて、より品質の高い画像を得るように、予め設定された時間範囲、特に時間範囲の上限を適当に拡大してもよい。
もう1つの可能な実現形態として、撮影モジュールのブレの度合いに基づいて収集対象画像のフレーム数を調整することができ、さらに、撮影モジュールは各フレームの露出補正モードを調整するように、収集された画像に顔が含まれているか否かを検出する。
なお、収集対象画像のフレーム数および収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。即ち、収集対象画像のフレーム数とブレの度合いとは逆関係を持つ。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像のフレーム数を調整することができる。
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制して、撮影画像の品質を向上させるように、より多くのフレームの画像を収集してもよく、撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、より少ないフレームの画像を収集してもよい。
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、現在が三脚撮影モードである可能性があると決定することができ、この時、品質のより高い画像をできる限り取得するように、より多くのフレームの画像を収集してもよく、例えば、収集対象画像の数を17フレームに決定する。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、より少ないフレームを収集してもよく、例えば、収集対象画像の数を7フレームに決定する。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らしてもよく、例えば、収集対象画像の数を5フレームに決定する。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らすか、または複数フレームの画像を収集する方式を用いずに撮影してもよく、例えば、収集対象画像を3フレームに決定する。
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、撮影モジュールのブレの度合いが変化すると、最適な解決案を得るように、収集対象画像のフレーム数を変えることができる。撮影モジュールのブレの度合いと収集対象画像のフレーム数とのマッピング関係は、実際の必要に応じて予め設定することができる。
本開示の実施例では、被写体に顔が含まれているか否かは顔認識技術によって決定することができる。顔認識技術は、顔の視覚的特徴情報を分析および比較することによって身分認識を行い、生体認証技術に属しており、生体(一般的に人を指す)自身の生物学的特性に対して生体個体を区別するものである。現在、顔認識技術は、デジタルカメラのフェイスオートフォーカスやスマイルシャッター技術、企業、住宅の安全と管理、入退室管理システム、およびカメラ監視システムなど、数多くの分野に適用されている。よく用いられる顔認識アルゴリズムは、顔特徴点に基づく認識アルゴリズム(Feature-based recognition algorithms)、顔全体画像に基づく認識アルゴリズム(Appearance-based recognition algorithms)、テンプレートに基づく認識アルゴリズム(Template-based recognition algorithms)、ニューラルネットワークを用いる認識アルゴリズム(Recognition algorithms using neural network)などを含む。
なお、撮影モジュールの現在収集している画像に顔が含まれていること検出した場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光を行い、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景モードでは、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、目標画像の効果が悪くなる。そのため、同じブレの度合いに対して、撮影モジュールが収集した画像に顔が含まれている場合は、顔が含まれていない場合と比べて、対応する露出補正モードがより低い露出補正範囲を有する必要がある。
1つの可能なシーンでは、収集された画像に顔が含まれていることを検出する場合、露出補正モードが調整後のフレーム数に適合する第1のモードであると決定する。
もう1つの可能なシーンでは、収集された画像に顔が含まれていない場合、露出補正モードが調整後のフレーム数に適合する第2のモードであると決定する。
第2のモードに対応する露出補正レベルの値の範囲が、第1のモードに対応する露出補正レベルの値の範囲より大きい。
本開示の実施例の1つの可能な実現形態では、同じブレの度合いに対して、撮影モジュールの現在収集している画像に顔が含まれているか否かに基づいて、異なる露出補正策を用いることができる。そのため、同じブレの度合いに対しては、複数の露出補正モードに対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、対応する予め設定された露出補正モードは第1のモードおよび第2のモードがあり、第1のモードに対応する各EV値が[0、0、0、0、-2、-4、-6]であり、第2のモードに対応する各EV値が[+1、+1、+1、+1、0、-3、-6]である。撮影モジュールの現在のブレの度合い、および撮影モジュールの現在収集している画像に顔が含まれているか否かが決定されると、現在の実際の状況に適合する予め設定された露出補正モードを決定することができる。
例えば、撮影モジュールの現在のブレの度合いが「微ブレ」であるとすると、対応する予め設定された露出補正モードは第1のモードおよび第2のモードがあり、第1のモードに対応する各EV値が[0、0、0、0、-2、-4、-6]であり、第2のモードに対応する各EV値が[+1、+1、+1、+1、0、-3、-6]であり、以上から分かるように、第1のモードの露出補正範囲は第2のモードの露出補正範囲より小さい。撮影モジュールの現在収集している画像に顔が含まれていることを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第1のモードであると決定し、即ち各EV値が[0、0、0、0、-2、-4、-6]であり、撮影モジュールの現在収集している画像に顔が含まれていないことを検出した場合、予め設定された露出補正モードが調整後のフレーム数に適合する第2のモードであると決定し、即ち各EV値が[+1、+1、+1、+1、0、-3、-6]である。
ステップ803、各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間に基づいて、各フレームの収集対象画像の露出時間を決定する。
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間を決定した後、各フレームの収集対象画像の露出時間を決定することができる。
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定し、および露出補正モードを調整し、従って、各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間に基づいて、各フレームの収集対象画像の露出時間を決定する。以上により、異なる露出時間で複数フレームの画像を収集することにより、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらし、ブレによって画面ピンぼけが発生し、および撮影時間が長すぎるという状況を回避する。
図8に記載の実施例をもとに、一つの実現可能なシーンでは、ステップ703における撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するステップを実行した後、感光度が最大感光度より高い収集対象画像の感光度を低下させるように、決定された各フレームの収集対象画像の感光度を設定された最大感光度と比較する。画像を収集するプロセスにおいて、感光度の値が高いことによって引き起こされる画像ノイズの増加という技術的課題が回避される。以下、図10と併せて上記プロセスを詳しく説明する。図10に示すように、ステップ703の後は以下をさらに含んでも良い。
ステップ901、撮影モジュールのブレの度合いに基づいて、最大感光度を決定する。
具体的に、ブレの度合いを決定するために、電子機器内に配置される変位センサに基づいて変位情報を収集することができ、さらには、収集された電子機器の変位情報に基づいて、撮影モジュールのブレの度合いを決定する。各フレームの収集対象画像の予め設定された感光度が異なる場合、撮影モジュールのブレの度合いに基づいて、各フレームの収集対象画像の最大感光度を決定することができる。
一つの可能な実現形態として、撮影モジュールのブレの度合いを決定した後、ブレの度合いに基づいて最大感光度を決定するように、撮影モジュールのブレの度合いと予め設定されたブレのしきい値とを比較することができる。ブレのしきい値は、ブレの度合いを判断する値である。
1つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値以上である。この場合、最大感光度が第1の感光値であると決定する。
なお、撮影モジュールのブレの度合いが大きい場合、感光値を800に決定するなど、感光度を向上させることによって、撮影時間を短縮することができることを理解されたい。
もう1つの可能な場合として、撮影モジュールのブレの度合いを決定した後、決定された撮影モジュールのブレの度合いがブレのしきい値より小さい。この場合、最大感光度が第2の感光値であると決定する。
第1の感光値は第2の感光値より高く、第1の感光値は第2の感光値の予め設定された倍数であり、予め設定された倍数の値が2以上である。
例えば、より低いノイズを得るために、第2の感光値はイメージングデバイスの最低感光度であってもよく、即ち第2の感光値の値は100ISOである。これに対応して、第1の感光値の範囲は200、400、800またはそれ以上であってもよい。
なお、撮影モジュールのブレの度合いが小さい場合、感光度を100に決定するなど、より小さい感光度を設定することによって、品質のより高い画像をできる限り取得することができる。
ステップ902、各フレームの収集対象画像の感光度を設定された最大感光度と比較する。
本開示の実施例では、撮影シーンの輝度情報および露出時間によって各フレームの収集対象画像の感光度が決定されると、各フレームの収集対象画像の感光度を調整するように、各フレームの収集対象画像の感光度を設定された最大感光度と比較することにより、収集された各フレームの画像のノイズを低減することに役立ち、感光度向上時に引き起こされる画像ノイズの増加という状況を回避する。
ステップ903、収集対象画像に感光度が最大感光度より高い第1の画像が存在する場合、最大感光度に基づいて、第1の画像の感光度を低下させる。
本実施例では、収集対象画像において、対応する感光度が最大感光度より高い状況が存在する場合、画像を撮影するプロセスに多くのノイズが導入されることになる可能性があり、撮影して最終的に得られた画像内のノイズが酷くなる。
そのため、各フレームの収集対象画像の感光度を決定した後、収集対象画像に感光度が最大感光度より高い第1の画像が存在するか否かを判断するように、各フレームの収集対象画像の感光度を最大感光度と比較することができる。
1つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、決定された収集対象画像内の感光度を最大感光度と比較し、収集対象画像に感光度が最大感光度より高い第1の画像が存在する場合、最大感光度に基づいて、第1の画像の感光度を低下させる。この時、最大感光度は第1の感光値である。
もう1つの可能な状況として、撮影モジュールのブレの度合いがブレのしきい値より小さい場合、決定された収集対象画像の感光度を最大感光度と比較し、収集対象画像において第1の画像に対応する感光度が最大感光度より高い状況が存在する場合、最大感光度に基づいて、第1の画像の感光度を低下させる。この時、最大感光度は第2の感光値である。
ステップ904、第1の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第1の画像の露出時間を延長する。
具体的に、露出量が感光度と露出時間との積であるため、第1の画像の露出量が決定されると、撮影画像の輝度を維持するように、第1の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第1の画像の露出時間を延長することができる。
以上により、該フレームの収集対象画像の露出時間を更新することによって、露出量を確保すると共に、画像の輝度を向上させ、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすことを回避する。
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、最大感光度を決定し、各フレームの収集対象画像の感光度を設定された最大感光度と比較し、収集対象画像に感光度が最大感光度より高い第1の画像が存在する場合、最大感光度に基づいて、第1の画像の感光度を低下させ、第1の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第1の画像の露出時間を延長する。以上により、収集対象画像における感光度が最大感光度より高い画像の感光度を最大感光度まで低減することによって、感光度が高いため、撮影された画像に多くのノイズが導入されて、最終的に撮影された画像にピンぼけが発生するという現象を回避する。
図8に記載の実施例をもとに、もう1つの実現可能なシーンでは、ステップ703における撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定するステップを実行した後、最低感光度に基づいて、収集対象画像に存在する、感光度が最低感光度より低い第2の画像の感光度を調整するように、各フレームの収集対象画像の感光度を最低感光度と比較する。以下、図11と併せて上記プロセスを詳しく説明する。図11は本開示の実施例が提供する第11の夜景撮影方法のフローチャートである。図11に示すように、ステップ703の後は以下のステップをさらに含む。
ステップ1001、各フレームの収集対象画像の感光度を設定された最低感光度と比較する。
最低感光度は、撮影モジュール内のセンサの光に対する感度に基づいて決定されるものであり、例えば、80とすることができる。
本開示の実施例では、各フレームの収集対象画像の感光度は、撮影モジュールのブレの度合いによって決定される露出時間によって決定されるものであり、具体的な実現プロセスは上記実施例のステップ703の実現プロセスを参照されたいので、ここで説明を省略する。
撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定した後、最低感光度に基づいて、最低感光度より低い感光度を調整するように、各フレームの収集対象画像の感光度を設定された最低感光度と比較する。
ステップ1002、収集対象画像に感光度が最低感光度より小さい第2の画像が存在する場合、最低感光度に基づいて、第2の画像の感光度を向上させる。
本開示の実施例では、収集対象画像に感光度が最低感光度より低い第2の画像が存在する場合、夜景で撮影される画像にピンぼけという現象が発生する可能性がある。そのため、特定のフレームの収集対象画像に対応する感光度が最低感光度より低い場合、該フレームの収集対象画像に対応する感光度を最低感光度まで向上させる。
夜景シーンにおいて画像を収集する場合、露出量を一定とすると感光度が低く、露出時間を長くする必要があるため、全体の撮影時間が延長され、撮影モジュールのブレの度合いが大きくなり、最終的に撮影された画像においてブレによるゴーストや画像の明らかなピンぼけが現れる可能性がある。そのため、収集対象画像に感光度が最低感光度より低い第2の画像が存在する場合、第2の画像に対応する感光度を最低感光度に向上させる。
ステップ1003、第2の画像の増加後の感光度と増加前の感光度との比を決定する。
例えば、予め設定された最低感光度が80、第2の画像の増加前の感光度が20、第2の画像の増加後の感光度が80である場合、第2の画像の増加後の感光度と増加前の感光度との比が8/2であると決定することができる。
ステップ1004、感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。
具体的に、感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、最低感光度より低い収集対象画像の更新後の感光度と更新前の感光度との間の比を決定した後、該比と残りの各フレームの収集対象画像の更新前の感光度または露出時間との積を、残りの各フレームの収集対象画像の更新後の感光度または露出時間とする。
露出時間に対する更新方法は感光度の更新方法と類似するものであり、感光度を露出時間に置き換えるだけでよい。しかしながら、前記最低感光度より短い収集対象画像の更新後の感光度と更新前の感光度との比の値に基づいて、露出時間および感光度のいずれか一方のみ更新することができ、露出時間および感光度を同時に更新する必要がある場合、重みに応じて該比を割り当てた後に更新する必要があることを留意されたい。例えば、露出時間および感光度にそれぞれ半分の重みが付けられている場合に対して、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比がRである場合、露出時間を従来のR/2倍に延長し、感光度を従来のR/2倍に向上させる。
本開示の実施例では、各フレームの収集対象画像の感光度を設定された最低感光度と比較し、収集対象画像に感光度が最低感光度より小さい第2の画像が存在する場合、最低感光度に基づいて、第2の画像の感光度を向上させ、第2の画像の増加後の感光度と増加前の感光度との比を決定し、感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。以上により、各フレームの収集対象画像の感光度が決定され、最低感光度に基づいて各フレームの収集対象画像の感光度および露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
本開示の実施例の更なる可能な実現形態として、夜景撮影時に、撮影モジュールのブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集することもできる。以下、図12と併せて上記プロセスを詳しく説明する。図12に示すように、該方法は撮影モジュールに適用され、具体的に以下のステップを含む。
ステップ1101、撮影モジュールのブレの度合いを取得する。
本開示の実施例では、ステップ1101の実現プロセスは、前記実施例のステップ101の実現プロセスを参照されたいので、ここで説明を省略する。
ステップ1102、ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整する。
撮影シーンの輝度情報は、撮影モジュール内の測光モジュールを用いて測光して得ることができ、撮影シーンの照度であってもよく、プレビュー画像の輝度情報によって得られるものであってもよく、ここで限定されない。
具体的に、ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および感光度を順次調整することができ、露出時間および感光度を同時に調整してもよい。
第1の可能な実現形態として、露出時間および感光度を同時に調整することができる。まず、前記撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計により検索して、対応する収集対象画像の露出時間および感光度を得る。さらに、前記ブレの度合いに基づいて、対応する収集対象画像の感光度が前記ブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整する。露出計に異なる撮影シーンの輝度情報に対応する露出パラメータが記録されている。露出パラメータは絞りパラメータ、露出補正レベル、露出時間および感光度などを含む。撮影モジュールのブレの度合いを決定した後、ブレの度合いに基づいて感光度しきい値を決定するように、撮影モジュールのブレの度合いを予め設定されたブレのしきい値と比較することができる。ブレのしきい値は、ブレの度合いを判断する値である。
なお、撮影モジュールのブレの度合いに基づいて、露出補正モードを調整するステップの具体的な実現プロセスは、前記実施例を参照されたいので、ここで説明を省略する。
本実施例では、露出計により検索することによって、各フレームの収集対象画像の露出時間および感光度を得た後、ブレの度合いに基づいて、対応する収集対象画像の感光度がブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整する。以上により、画像を収集する際に、感光度が高いため撮影された画像にノイズが多く、さらには最終的に撮影された画像にピンぼけという現象が現れることを回避する。
第2の可能な実現形態として、露出時間を先に決定して、その後に感光度を決定しても良い。まず、撮影モジュールのブレの度合いを取得し、前記ブレの度合いに基づいて、露出時間を調整する。さらに、撮影シーンの輝度情報および前記露出時間に基づいて、複数フレームの収集対象画像の感光度を決定する。具体的な実現形態は図8に対応する実施例を参照されたいので、本実施例では説明を省略する。
第3の可能な実現形態として、感光度を先に決定して、その後に露出時間を決定しても良い。まず、前記撮影モジュールのブレの度合いを取得する。さらに、前記ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定する。具体的な実現形態は図1に対応する実施例を参照されたいので、本実施例では説明を省略する。
ステップ1103、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集する。
ステップ1104、目標画像を生成するように、収集された複数フレームの画像を合成する。
本開示の実施例では、ステップ1103およびステップ1104の実現プロセスは、それぞれ前記実施例のステップ101およびステップ105の実現プロセスを参照されたいので、ここで説明を省略する。
本開示の実施例では、撮影モジュールのブレの度合いを取得することにより、ブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
図12に記載の実施例をもとに、1つの可能なシーンでは、ステップ1102におけるブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップを実行した後、露出時間が最大時間より長い収集対象画像の露出時間を短縮するように、決定された露出時間を、撮影モジュールのブレの度合いに基づいて決定された最大時間と比較することができ、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらし、ブレが画面ピンぼけを引き起こし、および撮影時間が長すぎるという状況を回避する。以下、図13と併せて上記プロセスを詳しく説明する。図13に示すように、ステップ1102の後は以下のステップをさらに含む。
ステップ1201、ブレの度合いに基づいて、最大時間を決定する。
1つの可能な場合として、ブレの度合いを決定するために、イメージングデバイス内に配置される変位センサを介して変位情報を収集し、さらに、収集されたイメージングデバイスの変位情報に基づいて、撮影モジュールのブレの度合いを決定することができる。さらに、決定された撮影モジュールのブレの度合いに基づいて予め設定されたブレのしきい値と比較することによって、最大露出時間を決定する。
1つの可能な場合として、撮影モジュールのブレの度合いがブレのしきい値以上である場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第1の時間であると決定する。ブレのしきい値は、イメージングデバイスにおいて予め設定された、予め設定された感光度の値を決定するためのブレ値である。
なお、撮影モジュールのブレの度合いが大きい場合、露出時間を短く設定することにより、全体の撮影時間が延長され、イメージングデバイスのブレの度合いが大きくなることを引き起こす恐れがあるため、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけという状況が現れる可能性があることを理解されたい。
もう一つの可能な場合として、イメージングデバイスのブレの度合いがブレのしきい値より小さい場合、現在の撮影シーンにおける各フレームの収集対象画像の最大露出時間が第2の時間であると決定する。
なお、撮影モジュールのブレの度合いが小さい場合、撮影して品質のより高い画像を得るように、より長い露出時間を設定することができることを理解されたい。
第1の時間は第2の時間より短く、第1の時間の値の範囲は150ms~300msであり、第2の時間の値の範囲は4.5s~5.5sである。
ステップ1202、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
本開示の実施例では、各フレームの収集対象画像の露出時間は、撮影シーンの輝度情報に基づいて、露出計により検索することによって決定可能であり、具体的な実現プロセスは上記実施例のステップ1102の実現プロセスを参照されたいので、ここで説明を省略する。
撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計により検索して、対応する集対象の画像の露出時間を得た後、露出時間が長すぎることによって引き起こされる露出オーバーが画像の歪みをもたらすという状況を回避するように、各フレームの収集対象画像の露出時間を設定された最大時間と比較する。
ステップ1203、収集対象画像に露出時間が最大時間より長い第1の画像が存在する場合、最大時間に基づいて、第1の画像の露出時間を短縮する。
ステップ1204、第1の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第1の画像の感光度を向上させる。
本開示の実施例では、ステップ1203およびステップ1204の具体的な実現プロセスは、前記実施例のステップ503およびステップ504の実現プロセスを参照されたいので、ここで贅言しない。
本開示の実施例では、撮影モジュールのブレの度合いに基づいて、最大時間を決定することによって、各フレームの収集対象画像の露出時間を設定された最大時間と比較し、収集対象画像に露出時間が最大時間より長い第1の画像が存在する場合、最大時間に基づいて、第1の画像の露出時間を短縮し、第1の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第1の画像の感光度を向上させる。以上により、収集対象画像の露出時間が最大時間より長い画像の露出時間を最大時間に短縮することによって、露出時間が長すぎて全体の撮影時間が延長され、撮影モジュールのブレの度合いが大きくなって、撮影して最終的に得られた画像においてブレによるゴーストや画像の明らかなピンぼけが現れることを回避する。
図12に記載の実施例をもとに、1つの可能なシーンでは、ステップ1102におけるブレの度合いに基づいて、撮影シーンの輝度情報での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整するステップを実行した後、最短露出時間に基づいて最短時間より短い露出時間を調整するように、決定された露出時間を、撮影モジュールのブレの度合いに基づいて決定された最短時間と比較する。以下、図14と併せて上記プロセスを詳しく説明する。図14に示すように、ステップ1102の後は以下のステップをさらに含む。
ステップ1301、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。
本開示の実施例では、各フレームの収集対象画像の露出時間は、撮影シーンの輝度情報に基づいて露出計により検索することによって決定可能であり、具体的な実現プロセスは上記実施例のステップ1102の実現プロセスを参照されたいので、ここで説明を省略する。
基準感光度に基づいて、撮影シーンの照度における各フレームの収集対象画像に必要な露出時間を決定した後、最短時間に基づいて、最短時間より短い露出時間を調整するように、各フレームの収集対象画像の露出時間を設定された最短時間と比較する。最短時間は10ms以上である。
なお、最短露出時間もまた撮影モジュールのブレの度合いに基づいて決定され、具体的な実現プロセスは上記実施例のステップ1201の実現プロセスを参照されたいので、ここで説明を省略する。
ステップ1302、収集対象画像に露出時間が最短時間より短い第2の画像が存在する場合、最短時間に基づいて、第2の画像の露出時間を延長する。
本開示の実施例では、収集対象画像に対応する露出時間が最短時間の画像より短い場合、画像内のノイズが大きすぎて除去が困難になる恐れがある。そのため、特定フレームの収集対象画像に対応する露出時間が最短時間より短い場合、該フレームの収集対象画像に対応する露出時間を最短時間まで延長する。
ステップ1303、第2の画像の延長後の露出時間と延長前の露出時間との比を決定する。
例えば、予め設定された最短時間が10msであり、第2の画像の延長前の露出時間が8msである場合、第2の画像の露出時間を予め設定された最短時間の10msまで延長すると、第2の画像の延長後の露出時間と延長前の露出時間との比が10/8であると決定することができる。
ステップ1304、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。
具体的に、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、最短時間より短い収集対象画像の更新後の露出時間と、更新前の露出時間との比が決定されると、該比と残りの各フレームの収集対象画像の更新前の感光度または露出時間との積を、残りの各フレームの収集対象画像の更新後の感光度または露出時間とする。
なお、感光度の更新方法は露出時間の更新方法と類似するものであり、露出時間を感光度に置き換えるだけでよい。しかしながら、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比の値に基づいて、露出時間および感光度のいずれか一方のみ更新することができ、露出時間および感光度を同時に更新する必要がある場合、重みに応じて該比を割り当てた後に更新する必要があることを留意されたい。例えば、露出時間および感光度にそれぞれ半分の重みが付けられている場合に対して、前記最短時間より短い収集対象画像の更新後の露出時間と更新前の露出時間との比がRである場合、露出時間を従来のR/2倍に延長し、感光度を従来のR/2倍に向上させる。
本開示の実施例では、ブレの度合いに基づいて、対応する収集対象画像の感光度がブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整した後、各フレームの収集対象画像の露出時間を設定された最短時間と比較し、収集対象画像に露出時間が最短時間より短い第2の画像が存在する場合、最短時間に基づいて、第2の画像の露出時間を延長し、第2の画像の延長後の露出時間と延長前の露出時間との比を決定し、露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新する。以上により、各フレームの収集対象画像の露出時間が決定され、最短露出時間に基づいて各フレームの収集対象画像の感光度および露出時間を更新し、最終的に、更新された各フレームの収集対象画像の露出時間および感光度に基づいて、露出制御を行い、さらにはイメージングを行い、夜景撮影モードで撮影された画像のダイナミックレンジおよび全体の輝度を向上させるだけではなく、撮影画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
上記実施例を実現するために、本開示は夜景撮影装置をさらに提供する。
図15は本開示の実施例が提供する夜景撮影装置の構造概略図である。
図15に示すように、該夜景撮影装置100は、撮影モジュールに適用され、取得モジュール110、調整モジュール120、決定モジュール130、収集モジュール140および生成モジュール150を含む。
取得モジュール110は、撮影モジュールのブレの度合いを取得することに用いられ、
調整モジュール120は、ブレの度合いに基づいて、基準感光度を調整することに用いられ、
決定モジュール130は、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定することに用いられ、
収集モジュール140は、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集することに用いられ、
生成モジュール150は、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる。
一つの可能な実現形態として、決定モジュール130は、
撮影シーンの輝度情報に基づいて、基準露出量を決定するための第1の決定ユニットと、
基準露出量および基準感光度に基づいて、基準露出時間を決定するための第2の決定ユニットと、
各フレームの収集対象画像の設定された露出補正レベルに基づいて、基準露出時間を補正して各フレームの収集対象画像の露出時間を得るための露出補正ユニットと、を含む。
もう1つの可能な実現形態として、決定モジュール130は、
ブレの度合いに基づいて、露出補正モードを調整するための第3の決定ユニットをさらに含む。
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
もう1つの可能な実現形態として、第3の決定ユニットは、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整し、前記撮影モジュールが収集した画像に顔が含まれているか否かを検出し、顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第1のモードであると決定し、顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第2のモードであると決定することに用いられる。前記第2のモードの露出補正レベルの値の範囲が前記第1のモードの露出補正レベルの値の範囲より大きい。
もう1つの可能な実現形態として、前記収集対象画像のフレーム数と前記ブレの度合いとは逆関係を持つ。
もう1つの可能な実現形態として、調整モジュール120は、
ブレの度合いがブレのしきい値以上である場合、基準感光度が第1の感光値であると決定するための第1の調整ユニットと、
ブレの度合いがブレのしきい値より小さい場合、基準感光度が第2の感光値であると決定するための第2の調整ユニットと、を含み、第1の感光値が第2の感光値より高い。
もう1つの可能な実現形態として、第1の感光値は第2の感光値の予め設定された倍数であり、予め設定された倍数の値が2以上である。第2の感光値は撮影モジュールの最低感光度である。
もう1つの可能な実現形態として、夜景撮影装置100は、
各フレームの収集対象画像の露出時間を設定された最大時間と比較するための第1の比較モジュールと、
収集対象画像に露出時間が最大時間より長い第1の画像が存在する場合、第1の画像の露出時間を最大時間まで短縮するための露出時間短縮モジュールと、をさらに含む。
もう1つの可能な実現形態として、夜景撮影装置100は、
撮影モジュールのブレの度合いに基づいて、前記最大時間を決定するための最大時間決定モジュールをさらに含む。
もう1つの可能な実現形態として、最大時間決定モジュールは、
ブレの度合いがブレのしきい値以上である場合、最大時間が第1の時間であると決定するための第5の決定ユニットと、
ブレの度合いがブレのしきい値より小さい場合、最大時間が第2の時間であると決定するための第6の決定ユニットと、を含み、第1の時間が第2の時間より短い。
もう1つの可能な実現形態として、第1の時間の値の範囲は150ms~ 300msであり、前記第2の時間の値の範囲は4.5s~5.5sである。
もう1つの可能な実現形態として、夜景撮影装置100は、
第1の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第1の画像の感光度を向上させるための感光度向上モジュールをさらに含む。
もう1つの可能な実現形態として、夜景撮影装置100は、
各フレームの収集対象画像の露出時間を設定された最短時間と比較するための第2の比較モジュールと、
収集対象画像に露出時間が最短時間より短い第2の画像が存在する場合、第2の画像の露出時間を最短時間まで延長するための露出時間延長モジュールと、をさらに含む。
もう1つの可能な実現形態として、夜景撮影装置100は、
第2の画像の延長後の露出時間と延長前の露出時間との比を決定するための比率決定モジュールと、
露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新するための更新モジュールと、をさらに含む。
もう1つの可能な実現形態として、更新モジュールは、
露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比と前記残りの各フレームの収集対象画像の更新前の感光度との積を、前記残りの各フレームの収集対象画像の更新後の感光度とすることに用いられ、
または、露出時間が前記最短時間以上である残りの各フレームの収集対象画像に対して、前記比と前記残りの各フレームの収集対象画像の更新前の露出時間との積を、前記残りの各フレームの収集対象画像の更新後の露出時間とすることに用いられる。
もう1つの可能な実現形態として、更新モジュールはさらに、残りの各フレームの収集対象画像に露出時間が最大時間より長い第1の画像が存在する場合、最大時間に基づいて、第1の画像の露出時間を短縮したり、第1の画像の短縮前後の露出時間の比の値に基づいて、第1の画像の感光度を向上させたりすることに用いられても良い。
もう1つの可能な実現形態として、最短時間は10ms以上である。
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得することによって、ブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、基準感光度および複数フレームの収集対象画像の露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、各フレームの収集対象画像の基準感光度および露出時間に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
上記実施例を実現するために、本開示はもう1つの夜景撮影装置を提供する。
図16は本開示の実施例が提供するもう1つの夜景撮影装置の構造概略図である。
図16に示すように、該夜景撮影装置200は、撮影モジュールに適用され、取得モジュール210、調整モジュール220、決定モジュール230、収集モジュール240および生成モジュール250を含む。
取得モジュール210は、撮影モジュールのブレの度合いを取得することに用いられ、
調整モジュール220は、ブレの度合いに基づいて、露出時間を調整することに用いられ、
決定モジュール230は、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定することに用いられ、
収集モジュール240は、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集することに用いられ、
生成モジュール250は、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる。
一つの可能な実現形態として、調整モジュール220は、
ブレの度合いに基づいて、各露出補正レベルに対応する露出時間を決定するための第1の調整ユニットと、
各フレームの収集対象画像の設定された露出補正レベルおよび各露出補正レベルに対応する露出時間に基づいて、各フレームの収集対象画像の露出時間を決定するための第2の調整ユニットと、を含む。
もう1つの可能な実現形態として、調整モジュール220は、
ブレの度合いに基づいて、露出補正モードを調整するための第3の調整ユニットをさらに含んでもよい。
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
もう1つの可能な実現形態として、第3の調整ユニットは具体的に、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整し、
前記撮影モジュールが収集した画像に顔が含まれているか否かを検出し、
顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第1のモードであると決定し、
顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第2のモードであると決定することに用いられ、
前記第2のモードの露出補正レベルの値の範囲は前記第1のモードの露出補正レベルの値の範囲より大きい。
もう1つの可能な実現形態として、収集対象画像のフレーム数とブレの度合いとは逆関係を持つ。
もう1つの可能な実現形態として、夜景撮影装置200は、
各フレームの収集対象画像の感光度を設定された最大感光度と比較するための比較モジュールと、
収集対象画像に感光度が最大感光度より高い第1の画像が存在する場合、最大感光度に基づいて、第1の画像の感光度を低下させるための感光度低下モジュールと、をさらに含む。
もう1つの可能な実現形態として、夜景撮影装置200は、
撮影モジュールのブレの度合いに基づいて、最大感光度を決定するための最大感光度決定モジュールをさらに含む。
もう1つの可能な実現形態として、最大感光度決定モジュールは具体的に、
ブレの度合いがブレのしきい値以上である場合、最大感光度が第1の感光値であると決定し、
ブレの度合いがブレのしきい値より小さい場合、最大感光度が第2の感光値であると決定することに用いられ、
第1の感光値が第2の感光値より高い。
もう1つの可能な実現形態として、第1の感光値は第2の感光値の予め設定された倍数であり、予め設定された倍数の値が2以上である。第2の感光値は撮影モジュールの最低感光度である。
もう1つの可能な実現形態として、夜景撮影装置200は、
第1の画像の低減前の感光度と低減後の感光度との比の値に基づいて、第1の画像の露出時間を延長するための露出時間延長モジュールをさらに含む。
もう1つの可能な実現形態として、夜景撮影装置200は、
各フレームの収集対象画像の感光度を設定された最低感光度と比較するための比較モジュールと、
収集対象画像に感光度が最低感光度より小さい第2の画像が存在する場合、最低感光度に基づいて、第2の画像の感光度を向上させるための感光度向上モジュールと、をさらに含む。
もう1つの可能な実現形態として、夜景撮影装置200は、
第2の画像の増加後の感光度と増加前の感光度との比を決定するための比率決定モジュールと、
感光度が最低感光度以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新するための更新モジュールと、をさらに含む。
本開示の実施例の夜景撮影装置は、撮影モジュールのブレの度合いを取得することによって、ブレの度合いに基づいて、露出時間を調整し、撮影シーンの輝度情報および露出時間に基づいて、複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の感光度および露出時間に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、露出時間が決定された後、撮影シーンの輝度情報および露出時間に基づいて複数フレームの収集対象画像の感光度を決定し、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
上記実施例を実現するために、本開示は更なる夜景撮影装置をさらに提供する。
図17は本開示の実施例が提供する更なる夜景撮影装置の構造概略図である。
図17に示すように、該夜景撮影装置300は、撮影モジュールに適用され、取得モジュール310、調整モジュール320、収集モジュール330および生成モジュール340を含む。
取得モジュール310は、撮影モジュールのブレの度合いを取得することに用いられ、
調整モジュール320は、ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間と、対応する収集対象画像に必要な感光度とを調整することに用いられ、
収集モジュール330は、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集することに用いられ、
生成モジュール340は、目標画像を生成するように、収集された複数フレームの画像を合成することに用いられる。
一つの可能な実現形態として、調整モジュール320は、
撮影シーンの輝度情報および各フレームの収集対象画像の設定された露出補正レベルに基づいて、露出計により検索して、対応する収集対象画像の露出時間および感光度を得るための検索ユニットと、
ブレの度合いに基づいて、対応する収集対象画像の感光度がブレの度合いに対応する感光度しきい値より低くなるように、各フレームの収集対象画像の、検索により得られた露出時間を調整するための第1の調整ユニットと、を含んでも良い。
もう1つの可能な実現形態として、調整モジュール320は、
ブレの度合いに基づいて、露出補正モードを調整するための第2の調整ユニットをさらに含んでも良く、
露出補正モードは、収集対象画像のフレームの数および各フレームの収集対象画像の設定された露出補正レベルを示すことに用いられる。
もう1つの可能な実現形態として、第2の調整ユニットは具体的に、
前記ブレの度合いに基づいて、収集対象画像のフレーム数を調整し、
前記撮影モジュールが収集した画像に顔が含まれているか否かを検出し、
顔が含まれている場合、前記露出補正モードが調整後のフレーム数にマッチングする第1のモードであると決定し、
顔が含まれていない場合、前記露出補正モードが調整後のフレーム数にマッチングする第2のモードであると決定することに用いられ、
前記第2のモードの露出補正レベルの値の範囲は前記第1のモードの露出補正レベルの値の範囲より大きい。
もう1つの可能な実現形態として、該夜景撮影装置300は、
各フレームの収集対象画像の露出時間を設定された最大時間と比較するための比較モジュールと、
収集対象画像に露出時間が最大時間より長い第1の画像が存在する場合、最大時間に基づいて、第1の画像の露出時間を短縮するための短縮モジュールと、をさらに含む。
もう1つの可能な実現形態として、該夜景撮影装置300は、
ブレの度合いに基づいて、前記最大時間を決定するための最大時間決定モジュールをさらに含む。
もう1つの可能な実現形態として、最大時間決定モジュールは具体的に、
ブレの度合いがブレのしきい値以上である場合、最大時間が第1の時間であると決定し、
ブレの度合いがブレのしきい値より小さい場合、最大時間が第2の時間であると決定することに用いられ、
第1の時間が第2の時間より短い。
もう1つの可能な実現形態として、第1の時間の値の範囲は150ms~300msであり、第2の時間の値の範囲は4.5s~5.5sである。
もう1つの可能な実現形態として、該夜景撮影装置300は、
第1の画像の短縮前の露出時間と短縮後の露出時間との比の値に基づいて、第1の画像の感光度を向上させるための感光度向上モジュールをさらに含む。
もう1つの可能な実現形態として、該夜景撮影装置300は、
各フレームの収集対象画像の露出時間を設定された最短時間と比較するための比較モジュールと、
収集対象画像に露出時間が最短時間より短い第2の画像が存在する場合、最短時間に基づいて、第2の画像の露出時間を延長するための延長モジュールと、をさらに含む。
もう1つの可能な実現形態として、該夜景撮影装置300は、
前記第2の画像の延長後の露出時間と延長前の露出時間との比を決定するための比率決定モジュールと、
露出時間が最短時間以上である残りの各フレームの収集対象画像に対して、比の値に基づいて残りの各フレームの収集対象画像の感光度または露出時間を更新するための更新モジュールと、をさらに含む。
本開示の実施例の夜景撮影装置、撮影モジュールのブレの度合いを取得することによって、ブレの度合いに基づいて、撮影シーンの輝度での複数フレームの収集対象画像の露出時間および対応する収集対象画像に必要な感光度を調整し、各フレームの収集対象画像の露出時間及び感光度に基づいて画像を収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、複数フレームの収集対象画像の露出時間および感光度に基づいて画像を収集し、合成して目標画像を生成するステップは、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させて、画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストを抑制し、夜景撮影画像の品質を高め、ユーザ体験を改善する。
図18は本開示の実施例が提供する撮影モジュールの夜景撮影処理方法のフローチャートである。
図18に示すように、該撮影モジュールの夜景撮影処理方法は、以下のステップを含む。
ステップ1801、夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出する。
本開示の実施例では、電子機器現在のジャイロスコープ(Gyro-sensor)情報を取得することによって、携帯電話現在のブレの度合い、即ち撮影モジュールの現在のブレの度合いを取得することができる。
ジャイロスコープは角速度センサとも呼ばれ、物理量偏移、傾斜時の回転角速度を測定することができる。電子機器において、ジャイロスコープは回転、偏移の動作を良好に測定できることによって、使用者の実際の動作を正確に分析して判断することができる。電子機器のジャイロスコープ情報(gyro情報)は三次元空間の3つの次元の方向における携帯電話の動作情報を含んでもよく、三次元空間の3つの次元はそれぞれX軸、Y軸、Z軸の3つの方向で表すことができ、X軸、Y軸、Z軸は2つずつ垂直な関係にある。
なお、本開示の実施例の1つの可能な実現形態では、電子機器現在のgyro情報に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。電子機器は3つの方向におけるgyro動作の絶対値が大きければ大きいほど、撮影モジュールのブレの度合いが大きい。具体的に、3つの方向におけるgyro動作の絶対値のしきい値を予め設定し、取得した現在の3つの方向におけるgyro動作の絶対値の和と、予め設定されたしきい値との関係に基づいて、撮影モジュールの現在のブレの度合いを決定することができる。
例えば、予め設定されたしきい値を第1のしきい値のA、第2のしきい値のB、第3のしきい値のC(A<B<C)とし、現在取得された3つの方向におけるgyro動作の絶対値の和をSとすると、S<Aの場合、撮影モジュールの現在のブレの度合いを「ブレなし」に、A<S<Bの場合、撮影モジュールの現在のブレの度合いを「微ブレ」に、B<S<Cの場合、撮影モジュールの現在のブレの度合いを「弱ブレ」に、S>Cの場合、撮影モジュールの現在のブレの度合いを「強ブレ」に決定することができる。
なお、上記例は例示に過ぎず、本開示を限定するものではない。実際の適用では、実際の必要に応じてしきい値の数および各しきい値の具体的な数値を予め設定することができ、およびgyro情報と各しきい値との関係に基づいて、gyro情報と撮影モジュールのブレの度合いとのマッピング関係を予め設定することができる。
ステップ1802、前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定する。
感光度は、ISO値とも呼ばれ、光に対するネガフィルムの感度を判断する指標を意味する。感光度の低いネガフィルムに対して、感光度の高いネガフィルムと同じイメージングを達成するために、より長い露出時間が必要とされる。デジタルカメラの感光度はフィルムの感光度に類似する指標であり、デジタルカメラのISOは感光素子の感度を調整するまたは感光点を合併することによって調整することができ、即ち、感光素子の光感度を向上させるまたは隣接するいくつかの感光点を合併することによってISOを向上させるという目的を達成することができる。なお、デジタルにせよネガフィルム撮影にせよ、露出時間を短縮するために、比較的高い感光度を用いると、通常はより多くのノイズが引き起こされるため、画像品質の低下をもたらす。
本開示の実施例において、基準感光度は、撮影モジュールの現在のブレの度合いに基づいて調整される、現在のブレの度合いに適合する最低感光度である。各フレームの収集対象画像に対応する基準感光度は同じであってもよく、異なっても良い。具体的な数値は、該フレームの画像を収集する撮影モジュールの現在のブレの度合いと関連付けられている。
なお、本開示の実施例において、感光度が低い複数フレームの画像を同時に収集して、目標画像を生成するように、収集された複数フレームの画像を合成する方法によって、夜景撮影画像のダイナミックレンジおよび全体の輝度を向上させられるだけではなく、感光度の値を制御することによって、画像内のノイズを効果的に抑制し、夜景撮影画像の品質を向上させる。
なお、収集された画像の数および収集された画像の感光度が全体の撮影時間に影響し、撮影時間が長すぎると、手持ち撮影時の撮影モジュールのブレの度合いが大きくなる可能性があり、さらには画像の品質に影響する。そのため、撮影時間を適切な範囲内に制御するように、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数、および各フレームの収集対象画像に対応する基準感光度を決定することができる。
具体的に、撮影モジュールの現在のブレの度合いが小さい場合、各フレームの画像のノイズを効果的に抑制して、撮影画像の品質を向上させるように、より多くの複数フレームの画像を収集してもよく、かつ各フレームの収集対象画像に対応する基準感光度をより低い値に適当に圧縮してもよい。撮影モジュールの現在のブレの度合いが大きい場合、撮影時間を短縮するように、より少ないフレームの画像を収集してもよく、かつ各フレームの収集対象画像に対応する基準感光度をより高い値に適宜に向上してもよい。
例えば、撮影モジュールの現在のブレの度合いが「ブレなし」であると決定する場合、現在が三脚撮影モードである可能性があると決定することができ、この時、品質のより高い画像をできる限り取得するように、より多くのフレームの画像を取得して、基準感光度をより低い値に決定してもよく、例えば、収集対象画像の数を17フレームに、基準感光度を100に決定する。撮影モジュールの現在のブレの度合いが「微ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時、撮影時間を短縮するように、より少ないフレームの画像を収集した、基準感光度を高い値に決定してもよく、例えば、収集対象画像の数を7フレームに、基準感光度を200に決定する。撮影モジュールの現在のブレの度合いが「弱ブレ」であると決定する場合、現在が手持ち撮影モードである可能性があると決定することができ、この時に、撮影時間を短縮するように、収集対象画像の数をさらに減らして、基準感光度をさらに向上させてもよく、例えば、収集対象画像の数を5フレームに、基準感光度を220に決定する。撮影モジュールの現在のブレの度合いが「強ブレ」であると決定する場合、現在のブレの度合いが大きすぎると決定することができ、この時、撮影時間を短縮するように、収集対象画像の数をさらに減らすか、または複数フレームの画像を収集する方式を用いずに撮影し、かつ基準感光度をさらに向上させてもよく、例えば、収集対象画像を3フレームに、基準感光度を250に決定する。
なお、上記例は単なる例示であり、本開示を制限するものではない。実際の適用では、撮影モジュールのブレの度合いが変化する際に、最適な解決案を得るように、収集対象画像の数および基準感光度を同時に変更してもよく、そのうちのいずれか一方を変更してもよい。撮影モジュールのブレの度合いと収集対象画像の数および各フレームの収集対象画像に対応する基準感光度とのマッピング関係は、実際の必要に応じて予め設定することができる。
ステップ1803、現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定する。
露出時間は、光がレンズを通過する時間を意味する。
本開示の実施例では、撮影モジュール内の測光モジュールを用いて、現在の撮影シーンの照度を取得し、自動露出制御(Auto Exposure Control、AECと略称される)アルゴリズムを用いて、現在の照度に対応する露出量を決定し、さらには、決定された露出量および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定する。
なお、露出量は絞り、露出時間および感光度と関連付けられている。絞りは即ちアパーチャであり、単位時間内に光が通過する量を決定する。各フレームの収集対象画像に対応する基準感光度が同じ、かつ絞りの大きさが同じである場合、現在の撮影シーンの照度に対応する露出量が大きければ大きいほど、各フレームの収集対象画像に対応する露出時間が長い。
さらに、異なるダイナミックレンジの画像を得るように、各フレームの収集対象画像に対応する露出時間が異なるため、合成後の画像はより高いダイナミックレンジを有し、画像全体の輝度および品質が向上する。即ち、本開示の実施例の1つの可能な実現形態では、上記ステップ1803は、
前記現在の撮影シーンの照度に基づいて、基準露出量を決定するステップと、
前記基準露出量および前記各フレームの収集対象画像に対応する基準感光度に基づいて、基準露出時間を決定するステップと、
前記基準露出時間および予め設定された露出補正モードに基づいて、前記各フレームの収集対象画像に対応する露出時間を決定するステップと、を含んでも良い。
基準露出量は、現在の撮影シーンの照度に基づいて決定された現在の撮影シーンの照度に対応する正常な露出量を指す。絞りの大きさが決定された場合、基準感光度および基準露出量に基づいて、基準露出時間を決定することができる。
本開示の実施例では、収集対象画像を異なる露出量に対応させることによって、異なるダイナミックレンジを有する画像を得るように、露出補正モードを予め設定することによって、各フレームの収集対象画像に対してそれぞれ異なる露出補正策を用いることができる。
なお、予め設定された露出補正モードは、各フレームの収集対象画像のためにそれぞれ予め設定した露出補正レベル(Exposure Value、EVと略称される)の組み合わせを意味する。露出量の最初の定義では、露出量は1つの正確な数値を指すわけではなく、「同じ露出量を提供できるすべてのカメラの絞りと露出時間との組み合わせ」を意味する。感光度、絞りおよび露出時間はカメラの露出量を決定し、異なるパラメータの組み合わせは同じ露出量を生成することができる。露出補正レベルは露出量を調整するためのパラメータであり、一部の画像を露出アンダーにしたり、一部の画像を露出オーバーにしたり、一部の画像を適切に露出したりすることができる。
EV値と感光度、絞りおよび露出時間の三者との間の関係を説明するために、以下は具体的なデータと併せて説明する。例えば、同じ撮影シーンでは、感光度が同じである場合、1/125秒の露出時間およびf11の絞りの組み合わせを用いて得られた露出量と、1/250秒の露出時間およびf8シャッターの組み合わせを用いて得られた露出量とは同じであり、即ちEV値は同じである。従来のカメラでは、EV値が0である場合は、常に感光度が100、絞り係数がf1、露出時間が1秒である際に得られた露出量を指す。露出量が1段増加すると、露出時間が倍になる。感光度が倍になるまたは絞りが1段増加すると、EV値が1増加する。即ち、EV1に対応する露出量はEV0に対応する露出量の2倍である。具体的な露出時間、絞り、感光度がそれぞれ単独で変化する際に、EV値との対応関係は表1を参照されたい。
なお、デジタルカメラのEV値が0である場合の露出量は、撮影シーンにおいて環境光を測光して得られるものであってもよい。
撮影技術がデジタル時代に入ると、カメラ内部の測光機能が非常に高くなっており、EVは、露出目盛りにおける1つの段差を示すためによく用いられており、多くのカメラでは露出補正の設定が許容され、通常EVで表される。この場合、EVはカメラの測光データに対応する露出量と実際の露出量との差を指し、例えば、EV+1の露出補正は、カメラの測光データに対応する露出量に対して、露出が1段増加すると、実際の露出量はカメラの測光データに対応する露出量の2倍になること指す。
本開示の実施例では、露出補正モードを予め設定する際に、決定された基準露出量に対応するEV値を予め0に設定することができ、EV+1は露出が1段増加することを指し、即ち露出量が基準露出量の2倍になり、EV+2は露出が2段増加することを指し、即ち露出量が基準露出量の4倍になり、EV-1は露出が1段減ることを指し、即ち露出量が基準露出量の0.5倍になるなど。
例えば、収集対象画像の数が7フレームである場合、予め設定された露出補正モードに対応するEV値の範囲は[+1、+1、+1、+1、0、-3、-6]であってもよい。露出補正モードがEV+1であるフレームは、ノイズ問題が解決可能であり、輝度の高いフレームを介して時間領域のノイズリダクションを行い、暗い部分の細部を改善すると共にノイズを抑制する。露出補正モードがEV-6であるフレームは、明るくて露出オーバーを引き起こすという課題を解決でき、明るい領域の細部を保持する。露出補正モードがEV0およびEV-3であるフレームは、明るい領域から暗い領域への移行に用いられてもよく、良好な明暗移行効果を維持することができる。なお、予め設定された露出補正モードに対応する各EV値は実際の必要に応じて具体的に設定するものであってもよく、設定されたEV値の範囲に基づいて、各EV値の間の差が同じであるという原則に従って求められたものであってもよく、本開示の実施例では限定されない。
本開示の実施例の1つの可能な実現形態では、絞りの大きさは一定であってもよく、決定された基準感光度に基づいて各収集対象画像を収集する。そのため、撮影モジュールの現在のブレの度合いに基づいて現在の収集対象画像の数が決定されると、現在の収集対象画像の数に適合する予め設定された露出補正モード、および基準露出時間に基づいて、各フレームの収集対象画像に対応する露出時間を決定することができる。具体的に、収集対象画像に対応する露出補正モードがEV+1である場合、該収集対象画像に対応する露出時間は基準時間の2倍になり、収集対象画像に対応する露出補正モードがEV-1である場合、該収集対象画像に対応する露出時間は基準時間の0.5倍になり、これによって類推する。
例えば、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数が7フレームであると決定する場合、対応する予め設定された露出補正モードに対応するEV範囲は[+1、+1、+1、+1、0、-3、-6]であってもよく、基準露出量および基準感光度に基づいて、基準露出時間が100ミリ秒に決定されると、各フレームの収集対象画像に対応する露出時間は200ミリ秒、200ミリ秒、200ミリ秒、200ミリ秒、100ミリ秒、12.5ミリ秒、6.25ミリ秒である。
さらに、予め設定された露出補正モードは複数であってもよい。実際の適用では、撮影モジュールの実際の状況に基づいて、現在の状況に適合する露出補正モードを決定することができる。即ち、本開示の実施例の1つの可能な実現形態では、基準露出時間および予め設定された露出補正モードに基づいて、各フレームの収集対象画像に対応する露出時間を決定するステップの前は、
前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードを決定するステップをさらに含む。
なお、撮影モジュールの現在のブレの度合いが異なれば、決定された収集対象画像の数は異なってもよく、収集対象画像の数が異なる場合、異なる露出補正モードを用いる必要がある。そのため、本開示の実施例の1つの可能な実現形態では、撮影モジュールの現在のブレの度合いに基づいて、現在の収集対象画像の数に適合する予め設定された露出補正モードを決定するように、撮影モジュールのブレの度合いと露出補正モードとのマッピング関係を予め設定することができる。
例えば、撮影モジュールのブレの度合いを「ブレなし」とし、対応する露出補正モードのEV値の範囲を-6~2に予め設定し、隣接するEV値の間の差を0.5としたり、撮影モジュールのブレの度合いを「微ブレ」とし、対応する露出補正モードのEV値の範囲を-5~1に予め設定し、隣接するEV値の間の差を1としたりするなどができる。
さらに、撮影された画像の効果をさらに向上させるように、顔の撮影と単なる景物の撮影とは異なる露出補正策を用いることができる。即ち、本開示の実施例の1つの可能な実現形態では、予め設定された露出補正モードを決定するステップは、
前記撮影モジュールが現在収集している画像に顔が含まれているか否かを検出するステップと、
顔が含まれている場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第1のモードであると決定するステップと、
顔が含まれていない場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第2のモードであると決定するステップであって、第2のモードに対応する露出補正範囲が、前記第1のモードに対応する露出補正範囲より大きいステップと、をさらに含んでも良い。
本開示の実施例では、被写体に顔が含まれているか否かは顔認識技術によって決定することができる。顔認識技術は、顔の視覚的特徴情報を分析および比較することによって身分認識を行い、生体認証技術に属しており、生体(一般的に人を指す)自身の生物学的特性に対して生体個体を区別するものである。現在、顔認識技術は、デジタルカメラのフェイスオートフォーカスやスマイルシャッター技術、企業、住宅の安全と管理、入退室管理システム、およびカメラ監視システムなど、数多くの分野に適用されている。よく用いられる顔認識アルゴリズムは、顔特徴点に基づく認識アルゴリズム(Feature-based recognition algorithms)、顔全体画像に基づく認識アルゴリズム(Appearance-based recognition algorithms)、テンプレートに基づく認識アルゴリズム(Template-based recognition algorithms)、ニューラルネットワークを用いる認識アルゴリズム(Recognition algorithms using neural network)などを含む。
なお、撮影モジュールの現在収集している画像に顔が含まれていること検出した場合、撮影モジュールの測光モジュールは自動的に顔の領域を主として測光を行い、顔の領域の測光結果に基づいて基準露出量を決定する。しかしながら、夜景モードでは、顔の領域の照度が通常低いため、決定された基準露出量は、顔が含まれていない場合に決定された基準露出量と比べて高くなり、顔が含まれている場合にも多すぎる露出オーバーフレームを用いると、顔の領域の露出オーバーを引き起こしやすいため、目標画像の効果が悪くなる。そのため、同じブレの度合いに対して、撮影モジュールが現在収集している画像に顔が含まれている場合は、顔が含まれていない場合と比べて、対応する露出補正モードがより低い露出補正の範囲を有する必要がある。
本開示の実施例の1つの可能な実現形態では、同じブレの度合いに対して、撮影モジュールの現在収集している画像に顔が含まれているか否かに基づいて、異なる露出補正策を用いることができる。そのため、同じブレの度合いに対しては、複数の露出補正モードに対応することができる。例えば、撮影モジュールのブレの度合いが「微ブレ」である場合、対応する予め設定された露出補正モードは第1のモードおよび第2のモードがあり、第1のモードに対応する各EV値が[0、0、0、0、-2、-4、-6]であり、第2のモードに対応する各EV値が[+1、+1、+1、+1、0、-3、-6]である。撮影モジュールの現在のブレの度合い、および撮影モジュールの現在収集している画像に顔が含まれているか否かが決定されると、現在の実際の状況に適合する予め設定された露出補正モードを決定することができる。
例えば、撮影モジュールの現在のブレの度合いが「微ブレ」であるとすると、対応する予め設定された露出補正モードは第1のモードおよび第2のモードがあり、第1のモードに対応する各EV値が[0、0、0、0、-2、-4、-6]であり、第2のモードに対応する各EV値が[+1、+1、+1、+1、0、-3、-6]であり、以上から分かるように、第1のモードの露出補正範囲は第2のモードの露出補正範囲より小さい。撮影モジュールの現在収集している画像に顔が含まれていることを検出した場合、予め設定された露出補正モードが第1のモードであると決定し、即ち各EV値が[0、0、0、0、-2、-4、-6]であり、撮影モジュールの現在収集している画像に顔が含まれていないことを検出した場合、予め設定された露出補正モードが第2のモードであると決定し、即ち各EV値が[+1、+1、+1、+1、0、-3、-6]である。
さらに、撮影モジュール内のコンポーネントの性能も、露出補正モードに影響を与える可能性がある。即ち、本開示の実施例の1つの可能な実現形態では、予め設定された露出補正モードを決定するステップの前に、撮影モジュール内の各部品の属性情報を決定することができ、さらには、各部品の属性情報および現在のブレの度合いに基づいて、予め設定された露出補正モードを決定する。例えば、異なるセンサ、絞り、シャッター、レンズ、および異なるAECアルゴリズムなどに対して、露出補正モードに対応する具体的なEV値に差がある可能性がある。
ステップ1804、前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集する。
ステップ1805、目標画像を生成するように、前記収集された複数フレームの画像を合成する。
本開示の実施例では、各フレームの収集対象画像に対応する基準感光度および露出時間を決定した後、基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、かつ目標画像を生成するように、収集された複数フレームの画像を合成することができる。
さらに、収集された複数フレームの画像を合成する場合、効果が最も良好な目標画像を得るように、各フレームの画像のために異なる重みを設定しても良い。即ち、本開示の実施例の1つの可能な実現形態では、上記ステップ1805は、
予め設定された前記複数フレームの画像内の各フレームの収集対象画像に対応する重みに基づいて、前記複数フレームの画像を合成するステップを含んでも良い。
本開示の実施例の撮影モジュールの夜景撮影処理方法は、夜景撮影モードにおいて、撮影モジュールの現在のブレの度合いを検出して、現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定することができ、その後、現在の撮影シーンの照度および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定し、さらに各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および基準感光度を決定し、かつ現在の撮影シーンの照度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することにより、異なる露出時間の複数枚の画像を撮って合成することによって夜景撮影モードにおける撮影画像のダイナミックレンジおよび全体の輝度を向上させて、撮影画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストおよびピンぼけを抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
図19は本開示の実施例が提供する撮影モジュールの夜景撮影処理装置の構造概略図である。
図19に示すように、該撮影モジュールの夜景撮影処理装置400は、第1の検出モジュール410、第1の決定モジュール420、第2の決定モジュール430、第1の収集モジュール440および合成モジュール450を含む。
第1の検出モジュール410は、夜景撮影モードでは、撮影モジュールの現在のブレの度合いを検出することに用いられ、
第1の決定モジュール420は、前記撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定することに用いられ、
第2の決定モジュール430は、現在の撮影シーンの照度および前記各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することに用いられ、
第1の収集モジュール440は、前記各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集することに用いられ、
合成モジュール450は、目標画像を生成するように、前記収集された複数フレームの画像を合成することに用いられる。
実際の適用では、本開示の実施例が提供する撮影モジュールの夜景撮影処理装置は、前記撮影モジュールの夜景撮影処理方法を実行するように、任意の電子機器に配置することができる。
本開示の1つの可能な実現形態では、上記撮影モジュールの夜景撮影処理装置400は、
前記各フレームの収集対象画像に対応する露出時間が予め設定された時間範囲内にあるか否かを検出するための第2の検出モジュールと、
少なくとも1フレームの収集対象画像の露出時間が前記予め設定された時間範囲内にない場合、前記少なくとも1フレームの収集対象画像の露出時間が前記予め設定された時間範囲内にあるように、前記予め設定された時間範囲に基づいて、前記少なくとも1フレームの収集対象画像の露出時間を更新するための第2の更新モジュールと、をさらに含む。
さらに、本開示のもう1つの可能な実現形態では、上記撮影モジュールの夜景撮影処理装置400は、
前記撮影モジュール内の光学部品の配置形態に基づいて、前記予め設定された時間範囲を決定するための第3の決定モジュールをさらに含む。
さらに、本開示の更なる可能な実現形態では、上記撮影モジュールの夜景撮影処理装置400は、
前記少なくとも1フレームの収集対象画像の更新前の露出時間と更新後の露出時間との差に基づいて、前記各フレームの収集対象画像に対応する露出量調整モードを決定するための露出量調整モード決定モジュールと、
前記露出量調整モードに基づいて、前記各フレームの収集対象画像の感光度および露出時間を調整するための調整モジュールと、をさらに含む。
本開示の1つの可能な実現形態では、上記第2の決定モジュール430は、
前記現在の撮影シーンの照度に基づいて、基準露出量を決定し、
前記基準露出量および前記各フレームの収集対象画像に対応する基準感光度に基づいて、基準露出時間を決定し、
前記基準露出時間および予め設定された露出補正モードに基づいて、前記各フレームの収集対象画像に対応する露出時間を決定することに用いられる。
さらに、本開示のもう1つの可能な実現形態では、上記第2の決定モジュール430はさらに、
前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードを決定することに用いられても良い。
さらに、本開示の更なる可能な実現形態では、上記第2の決定モジュール430はさらに、
前記撮影モジュールが現在収集している画像に顔が含まれているか否かを検出し、
顔が含まれている場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第1のモードであると決定し、
顔が含まれていない場合、前記撮影モジュールの現在のブレの度合いに基づいて、前記予め設定された露出補正モードが第2のモードであると決定することに用いられてもよく、第2のモードに対応する露出補正範囲が、前記第1のモードに対応する露出補正範囲より大きい。
さらに、本開示の別の可能な実現形態では、上記第2の決定モジュール430はさらに、
前記撮影モジュール内の各部品の属性情報を決定し、
前記各部品の属性情報および前記現在のブレの度合いに基づいて、前記予め設定された露出補正モードを決定することに用いられても良い。
本開示の1つの可能な実現形態では、上記合成モジュール450は、
予め設定された前記複数フレームの画像内の各フレームの収集対象画像に対応する重みに基づいて、前記複数フレームの画像を合成することに用いられる。
本開示の実施例が提供する撮影モジュールの夜景撮影処理装置は、夜景撮影モードにおいて、撮影モジュールの現在のブレの度合いを検出して、現在のブレの度合いに基づいて、収集対象画像の数および各フレームの収集対象画像に対応する基準感光度を決定することができ、その後、現在の撮影シーンの照度および各フレームの収集対象画像に対応する基準感光度に基づいて、各フレームの収集対象画像に対応する露出時間を決定し、さらに各フレームの収集対象画像に対応する基準感光度および露出時間に基づいて、複数フレームの画像を順次収集し、目標画像を生成するように、収集された複数フレームの画像を合成する。以上により、撮影モジュールの現在のブレの度合いに基づいて、収集対象画像の数および基準感光度を決定し、かつ現在の撮影シーンの照度に基づいて、各フレームの収集対象画像に対応する露出時間を決定することにより、異なる露出時間の複数枚の画像を撮って合成することによって夜景撮影モードにおける撮影画像のダイナミックレンジおよび全体の輝度を向上させて、撮影画像内のノイズを効果的に抑制するだけではなく、手ブレによるゴーストおよびピンぼけを抑制し、夜景撮影画像の品質を向上させ、ユーザ体験を改善する。
上記実施例を実現するために、本開示は電子機器をさらに提供する。図20に示すように、該電子機器500は、撮影モジュール510、プロセッサ520、メモリ530、およびメモリに記憶されかつプロセッサにおいて実行可能なコンピュータプログラムを含み、前記プロセッサ520は前記撮影モジュール510に接続され、前記プロセッサは、前記コンピュータプログラムを実行する際に、上記実施例に記載の撮影モジュールの夜景撮影処理方法を実現する。
一例として、図21を参照されたい。図20に記載の電子機器をもとに、図21は本開示の実施例が提供する電子機器の原理図である。電子機器600のメモリ530は不揮発性メモリ80、メモリ82およびプロセッサ520を含む。メモリ530にコンピュータ読み取り可能な命令が記憶されている。コンピュータ読み取り可能な命令はメモリによって実行される際に、プロセッサ520に上記いずれかの実施形態の撮影モジュールの夜景処理方法を実行させる。
図21に示すように、該電子機器600は、システムバス81によって接続されるプロセッサ520、撮影モジュール510、不揮発性メモリ80、メモリ82、ディスプレイ83および入力装置84を含む。電子機器600の不揮発性メモリ80にオペレーティングシステムおよびコンピュータ読み取り可能な命令が記憶されている。該コンピュータ読み取り可能な命令は、本開示の実施形態の露出制御方法を実現するように、プロセッサ520によって実行可能である。該プロセッサ520は計算および制御能力を提供して、電子機器600全体の実行をサポートすることに用いられる。電子機器600のメモリ82は不揮発性メモリ80内のコンピュータ読み取り可能な命令の実行のために環境を提供する。電子機器600のディスプレイ83は、液晶ディスプレイまたは電子インクディスプレイなどであってもよく、入力装置84は、ディスプレイ83上を覆うタッチ層、電子機器600のハウジングに設けられるボタン、トラックボールやタッチパッド、または外部接続のキーボード、タッチパッドやマウスなどであっても良い。該電子機器600は携帯電話、タブレット、ノートパソコン、パーソナルデジタルアシスタントまたはウェアラブルデバイス(例えば、スマートブレスレット、スマートウォッチ、スマートヘルメット、スマートグラス)などであっても良い。当業者であれば、図21に示す構造は、本開示の解決案に関連する部分の構造の概略図だけであり、本開示の解決案が適用される電子機器600を限定するものではないと理解するべきである。具体的な電子機器600は、図面に示す部品より多いまたは図面に示す部品より少ない部品を含んでもよく、または一部の部品を組み合わせてもよく、あるいは異なる部品配置を有しても良い。
一つの可能な実現形態として、図22を参照されたい。図22は本開示の実施例が提供する画像処理回路の原理図である。図20内の電子機器は画像処理回路90をさらに含んでもよい。画像処理回路90はハードウェアおよび/またはソフトウェアコンポーネントによって実現可能であり、ISP(Image Signal Processing、画像信号処理)パイプラインを定義する様々な処理ユニットを含む。図21は一実施例内の画像処理回路90の概略図である。図21に示すように、説明を容易にするために、本開示の実施例と関連する画像処理技術の各態様だけを示す。
図21に示すように、画像処理回路90はISPプロセッサ91(ISPプロセッサ91はプロセッサ320とされる)およびロジックコントローラ92を含む。カメラ93が捉えた画像データはまずISPプロセッサ91によって処理され、ISPプロセッサ91は、カメラ93の1つまたは複数の制御パラメータを決定することに用いられても良い画像統計情報を捉えるように、画像データを分析する。撮影モジュール310は1つまたは複数のレンズ932と画像センサ934とを含んでもよい。画像センサ934はカラーフィルタアレイ(例えばBayerフィルタ)を含んでもよく、画像センサ934は、各イメージングピクセルが捉えた光強度および波長情報を取得できるとともに、ISPプロセッサ91によって処理可能な1組のオリジナル画像データを提供する。センサ94(例えばジャイロスコープ)は、センサ94インターフェースのタイプに基づいて、収集された画像処理のパラメータ(例えば手ブレ防止パラメータ)をISPプロセッサ91に提供することができる。センサ94インターフェースはSMIA(Standard Mobile Imaging Architecture、標準モバイルイメージングアーキテクチャ)インターフェース、他のシリアルまたはパラレルカメラインターフェース、あるいは上記インターフェースの組み合わせであってもよい。
また、画像センサ934はオリジナル画像データをセンサ94に送信してもよい。センサ94は、センサ94インターフェースのタイプに基づいてオリジナル画像データをISPプロセッサ91に提供するか、またはオリジナル画像データを画像メモリ95に記憶してもよい。
ISPプロセッサ91は複数のフォーマットに応じて、ピクセルずつオリジナル画像データを処理する。例えば、各画像のピクセルは8、10、12または14ビットのビット深度を有することができ、ISPプロセッサ91はオリジナル画像データに対して1つまたは複数の画像処理操作を行って、画像データに関連する統計情報を収集することができる。画像処理操作は同じまたは異なるビット深度精度に基づいて実行することができる。
ISPプロセッサ91はさらに画像メモリ95から画像データを受信することができる。例えば、センサ94インターフェースはオリジナル画像データを画像メモリ95に送信し、画像メモリ95内のオリジナル画像データは、処理のためにさらにISPプロセッサ91に提供される。画像メモリ95はメモリ330、メモリ330の一部、記憶装置、または電子機器内の独立した専用メモリであってもよく、DMA(Direct Memory Access、ダイレクトメモリアクセス)特徴を含んでもよい。
画像センサ934インターフェースまたはセンサ94インターフェースまたは画像メモリ95からのオリジナル画像データを受信した場合、ISPプロセッサ91は1つまたは複数の画像処理操作、例えば時間領域フィルタリングを実行することができる。処理された画像データは、表示される前に追加の処理が行われるように、画像メモリ95に送信することができる。ISPプロセッサ91は画像メモリ95から処理データを受信し、かつ処理データに対して、オリジナルドメイン内、およびRGBやYCbCr色空間内における画像データ処理を行う。ISPプロセッサ91によって処理された後の画像データは、ユーザが閲覧するおよび/またはグラフィックエンジンまたはGPU(Graphics Processing Unit、グラフィックプロセッサ)がさらに処理するように、モニタ97(モニタ97はディスプレイ83を含んでもよい)に出力することができる。また、ISPプロセッサ91の出力はさらに画像メモリ95に送信することができ、モニタ97は画像メモリ95から画像データを読み取ることができる。一実施例では、画像メモリ95は、1つまたは複数のフレームバッファを実現するように構成されてもよい。また、ISPプロセッサ91の出力は、画像データを符号化/復号するように、エンコーダ/デコーダ96に送信することができる。符号化された画像データは記憶されたり、モニタ97デバイスに表示される前に解凍されたりすることができる。エンコーダ/デコーダ96はCPUまたはGPU或いはコプロセッサによって実現可能である。
ISPプロセッサ91によって決定された統計データはロジックコントローラ92ユニットに送信することができる。例えば、統計データは自動露出、オートホワイトバランス、オートフォーカス、フリッカ検出、黒レベル補正、レンズ932シェーディング補正などの画像センサ934統計情報を含んでもよい。ロジックコントローラ92は1つまたは複数のルーチン(例えばファームウェア)を実行する処理コンポーネントおよび/またはマイクロコントローラを含んでもよい。1つまたは複数のルーチンは、受信した統計データに基づいてカメラ93の制御パラメータおよびISPプロセッサ91の制御パラメータを決定することができる。例えば、カメラ93の制御パラメータは、センサ94制御パラメータ(例えばゲイン、露出制御の積分時間、手ブレ防止パラメータなど)、カメラフラッシュ制御パラメータ、レンズ932制御パラメータ(例えば、焦点距離またはズーム用焦点距離)、またはこれらのパラメータの組み合わせを含んでもよい。ISP制御パラメータは、オートホワイトバランスおよびカラー調整(例えば、RGB処理期間において)に用いられるゲインレベルおよび色補正行列、並びにレンズ932シェーディング補正パラメータを含んでもよい。
以下は図22の画像処理技術を応用して撮影モジュールの夜景撮影処理方法を実現するステップである。ISPプロセッサは撮影モジュールのブレの度合いに基づいて、基準感光度を調整し、撮影シーンの輝度情報および前記基準感光度に基づいて、複数フレームの収集対象画像の露出時間を決定し、前記基準感光度および前記複数フレームの収集対象画像の露出時間に基づいて、画像を収集するように前記撮影モジュールを制御し、GPU目標画像を生成するように、収集された複数フレームの画像を合成する。
上記実施例を実現するために、本開示の実施例は記憶媒体をさらに提供し、前記記憶媒体内の命令がプロセッサによって実行される場合、前記プロセッサは前記記憶媒体を実行する際に上記実施例に記載の夜景撮影方法以および撮影モジュールの夜景撮影処理方法を実現する。
当業者であれば、上記実施例を実現する方法のすべてまたは一部のプロセスは、コンピュータプログラムを介して関連するハードウェアを命令することによって完成可能であり、前記プログラムは不揮発性コンピュータ読み取り可能な記憶媒体内に記憶することができ、該プログラムは実行時に、上記各方法の実施例のプロセスを含んでもよいと理解するべきである。前記記憶媒体は磁気ディスク、光ディスク、読み取り専用メモリ(Read-Only Memory、ROM)などであっても良い。
以上に記載の実施例は、本発明の幾つかの実施形態を表すものに過ぎず、その説明は具体的かつ詳しいが、本発明の特許範囲を限定するものとして理解すべきではない。なお、当業者であれば、本発明の概念を逸脱しない限り、複数の変形と改良を行うことができ、これらは本発明の保護範囲に属していることを留意されたい。そのため、本発明の特許請求の範囲は添付の請求項に準ずるべきである。