JP7003238B2 - 画像処理方法、装置、及び、デバイス - Google Patents

Description

本開示は、写真技術の技術分野に関するものであり、特に、画像処理方法、装置、及び、デバイスに関する。

一般に、撮像物体をハイライトするため、画像の前景領域と後景領域が認識され、後景領域がぼかされる。しかしながら、画像を撮像する間、もし前景領域の明るさが適当でないと、ぼかし処理が施された画像の中の物体が、ハイライトがなされないことがある。例えば、もし撮像物体が暗いシーンの中にあるとすると、画像効果は比較的不十分であり、輝度は極めて低く、細部は比較的不鮮明である。後景領域がぼかされた後、撮像物体が未だハイライトできていないと、画像処理を通じた視覚効果は比較的不十分である。

関連技術では、画像処理を通じて達成された視覚効果を向上させるべく、複数の画像フレームを取得するために、撮像に異なる露光パラメータが用いられ、複数の画像フレームが合成されて、高いダイナミックレンジの画像が生成される。しかしながら、合成計算と複数の画像フレームを撮像する処理の両方に多くの時間が必要とされ、その結果、高いダイナミックレンジの画像の低い生成効率がもたらされる。

実施形態の参考のために付随する図の説明は以下に基づき、本開示の上記により、及び／又は付加の局面と発展の局面を明らかにし、理解を容易にする。
本開示の実施形態に基づく画像処理方法のフローチャートである。 本開示の実施形態に基づく画像撮像方法のフローチャートである。 本開示の実施形態に基づく三角測量測距原理の概略図である。 本開示の実施形態に基づくデュアルカメラを用いた領域深度の取得の概略図である。 本開示のもう一つの実施形態に基づく後景領域のぼかし処理方法のフローチャートである。 本開示のもう一つの実施形態に基づく画像処理方法のフローチャートである。 本開示の実施形態に基づく目標画像を生成する処理の図である。 本開示の実施形態に基づく画像処理装置の概略構造図である。 本開示の実施形態に基づく画像処理の概略図である。

本開示は、高いダイナミックレンジ画像の生成効率が比較的低いという関連技術の技術的問題を解決する可能性を提供することが可能な、画像処理方法、装置、及び、デバイスを提供する。

第１の観点によれば、この開示の実施形態は、以下の動作を含む、画像処理方法を提供している。デュアルカメラを用いて、第１画像はプリセット第１露光時間に基づき撮像され、第２画像は第２露光時間に基づき撮像される。ここで第２露光時間は撮像シーン及びプリセット閾値の輝度に基づき決定される。第１画像の第１前景領域と第１後景領域が決定され、第２画像の第２前景領域が決定される。画像フュージョンは第２前景領域と第１前景領域について実行され、第３前景領域を生成する。ぼかし処理は第１後景領域について実行され、第３前景領域とぼかし処理が実行された第１後景領域を合成することにより目標画像を生成する。

第２の観点によれば、本開示の実施形態は、画像処理装置を提供する。画像処理装置は、メモリ及びプロセッサを含んでもよい。メモリは１又は複数のコンピュータプログラムを格納し、コンピュータプログラムは、プロセッサにより実行された時、プロセッサに第１の観点に記述した画像処理方法を実現させる。

第３の観点によれば、本開示の実施形態は、コンピュータプログラムが格納された、非一時的なコンピュータ可読記憶媒体を提供する。コンピュータプログラムは、プロセッサによって実行された時、プロセッサに第１の観点で記載した画像処理方法を実現させてもよい。

発明の詳細な説明

この開示の実施形態の詳細を以下に記述する。実施形態の具体例を付随する図に描く。この明細書の全体を通して、同じ又は類似した符号は、同じ若しくは類似した要素、又は、同じ若しくは類似した機能を持つ要素を示す。以下、参考の図とともに記載された実施形態は例示であり、本開示の説明のためだけに用いられ、本開示の限定として解釈されるべきではない。

本開示の実施形態に基づく、画像処理方法、装置及びデバイスを、以下に付随した図面を参照しつつ記述する。

本開示の実施形態において提供される画像処理方法、装置及びデバイスによれば、デュアルカメラを用いて、第１プリセット露光時間に基づき第１画像が撮像され、第２露光時間に基づき第２画像が撮像される。ここで、第２露光時間は撮像シーン及びプリセット閾値の輝度に基づいて決定される。第１画像の第１前景領域と第１後景領域が決定され、第２画像の第２前景領域が決定される。画像フュージョンは第２前景領域と第１前景領域に対して実行され、第３前景領域を生成する。ぼかし処理が第１後景領域に対して実行され、第３前景領域とぼかし処理が実行された第１後景領域とが合成されて、目標画像が生成される。したがって、高いダイナミックレンジ画像の生成効率と視覚効果が向上される。

本開示の実施形態によれば、画像処理方法は端末装置で実行されてもよい。端末装置は、デュアルカメラを備えるハードウェア端末でよく、例えば、携帯電話、タブレットコンピュータ、パーソナルデジタルアシスタント及びウェアラブル端末である。ウェアラブル端末は、スマートバンド、スマートウォッチ、スマートグラス、又はそれらに類する端末でよい。

図１は、本開示の実施形態による、画像処理方法のフローチャートである。図１に描かれているように、画像処理方法はブロック１０１から１０４の動作を含む。

ブロック１０１では、デュアルカメラを用いて、第１画像はプリセット第１露光時間に基づき撮像され、第２画像は第２露光時間に基づいて撮像される。

本開示の実施形態では、第２露光時間は撮像シーンとプリセット閾値の輝度により決定されてもよい。デュアルカメラは第１カメラと第２カメラを含んでいる。例えば、第１カメラはプライマリカメラであり、第２カメラはセカンダリカメラである。もう一つの代替例としては、第１カメラがセカンダリカメラであり、第２カメラがプライマリカメラである。ここに限定は無い。

本開示の実施形態では、図２で描かれているように、ブロック１０１での動作は、ブロック１０１ａから１０１ｃの動作を含んでいる。

ブロック１０１ａでは、第１カメラを用いて第１露光時間により、第１主画像が撮像され、同時に、第２カメラを用いて第１露光時間により、従画像が撮像される。

ブロック１０１ｂでは、第１主画像と従画像により、領域情報の深度が取得され、第１主画像と従画像が合成され第１画像が取得される。

特に、本開示の実施形態では、第１主画像と従画像により、領域情報の深度が取得され、領域情報の深度は、画像の前景領域と後景領域を決定するために用いられる。ゆえに、領域情報の深度は、特定の数値となりえ、または、数的範囲となりえる。言い換えると、前景領域と後景領域との間の識別に利用可能な領域情報の深度が取得できることを保証するため、プライマリカメラとセカンダリカメラの両方が画像撮像を実行するよう制御される第１露光時間は、比較的短くてもよい。特定の実施態様の設定において、第１露光時間は、端末装置の処理能力とカメラの光感度に基づいて設定されてもよい。端末装置が高い処理能力を有し、且つ、カメラが光感度を有するとき、第１露光時間は短く設定され得る。

撮像物体に焦点を合わせたのち、領域の深度は、物体が位置する焦点範囲の前後の人間の眼で可視である鮮明な画像を生成するための空間的領域深度を参照する。

実際の適用においては、人間の眼は主として領域深度を両眼視を通じて決定することに注意されたい。両眼視を通じて領域深度を決定する原理と、デュアルカメラを通じて領域深度を決定する原理は同じであり、図３に描かれている三角測量測距原理を用いて主に実現される。図３に基づくと、実際の空間における、撮像物体、O_RとO_Tに位置する２つのカメラ、２つのカメラ位置についての焦点平面が描かれ、焦点平面と２つのカメラが位置する平面との間の距離はfである。２つのカメラが焦点平面の位置で画像撮像を実行したとき、２つの撮像画像が取得される。

PとP'は、別々の撮像画像における、同じ物体の位置である。点Pと撮像画像の左側の境界線との間の距離はX_Rであり、また、点P'と撮像画像の左側の境界線との間の距離はX_Tである。O_RとO_Tは２つのカメラを表していている。２つのカメラは同じ平面に位置し、２つのカメラの距離はBである。

三角測量測距原理に基づき、図３における物体と２つのカメラが位置する平面との距離Zについては、以下の関係がある。

この原理から、

が導き出せ、ここで、dは異なる撮像画像における同じ物体の間の距離の差である。Bとfは固定された値であることから、物体の距離Zは、dにより決定することができる。

ここで、上記の公式は２つの同じ平行したカメラに基づき実現されなければならないことを強調しておくべきであるが、実際の使用においては、現実に多くの問題がある。例えば、図２で描かれている２つのカメラを用いた領域の深度の算出の間、互いに交差しないいくつかのシーンが常にある。したがって、現実には、領域の深度を算出するためには、２つのカメラのＦＯＶ設計は異なる。プライマリカメラは、現実の画像の主画像を取得するように構成され、セカンダリカメラによって取得された従画像は、主に、領域の深度の算出のための基準として用いられる。解析に基づき、セカンダリカメラのフィールドオブビュー（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）は、一般的にプライマリカメラのそれより大きい。しかしながら、図４に描かれているように、このケースにおいても、カメラの近傍に位置している物体は、２つのカメラを用いて取得された画像において、同時に撮像され得ない。領域レンジの算出関係の調整深度は、

により表される。したがって、主画像の領域レンジの深度などは、調整公式により算出され得る。

三角測量測距方法に加えて、主画像の領域の深度の算出には、ほかのアプローチもまた用いられる。例えば、プライマリカメラとセカンダリカメラとが、同じシーンの画像撮像を実行しているとき、シーンにおける物体とカメラとの間の距離は、プライマリカメラ及びセカンダリカメラを用いて撮像している間に生成される、変位差、姿勢差などに比例する。したがって、本開示の例では、距離Zは比例関係により取得され得る。

例えば、図５に描かれたように、異なった点の視差の値が、プライマリカメラにより取得された主画像とセカンダリカメラにより取得された従画像を通じて算出される。例では、視差の値のグラフは視差マップによって表されている。視差マップは、２つの画像における同じ点の変位差を表し、しかし、変位差は三角配置では直接的にZに比例することから、視差マップは、直接、領域マップの深度として最も用いられている。

さらに、第１主画像と従画像に基づき、領域情報の深度が取得されたのち、第１主画像と従画像が合成され、第１画像、すなわち、合成画像が取得される。合成画像における情報は、プライマリカメラとセカンダリカメラに関連されていると理解されるべきである。プライマリカメラとセカンダリカメラのビューアングルが同じとき、合成画像は、プリセットシーンで撮像された第１主画像と従画像の画像情報を含んでおり、合成画像は、より多くの画像情報を含んでいる。プライマリカメラとセカンダリカメラが、それぞれ、広角カメラとロングフォーカスカメラであるとき、合成画像は広視野の後景領域の情報のみならず、撮像物体のラージスケールをも含んでいる。

ブロック１０１ｃでは、第２主画像は第１カメラまたは第２カメラを用いて、第２露光時間により撮像される。

本開示の少なくとも１つの実施形態では、プリセット撮像の輝度は、第２露光時間を決定する前に検出される。

プリセット第１露光時間により撮像された画像では、撮像物体の露光は不正確であると理解されるべきである。例えば、暗い光のシーンで画像撮像が行われる場合、第１露光時間が比較的短いと画像効果は不十分であり、撮像物体の画像は十分に鮮明ではない。したがって、撮像物体に対応した鮮明な画像を取得するために、画像撮像は、現在のシーンの輝度に基づいて、露光モードにより再び行われる。

詳細には、撮像シーンの輝度が検出される。例えば、現在の撮像シーンの輝度が、端末装置の輝度センサにより検出される。第２露光時間が、輝度とプリセット閾値により決定され、そして第２主画像が第２露光時間により撮像される。

カメラの光感度の限界により、比較的低い光感度のシーンにおいて、物体の高い解像度の画像がカメラによって撮像することが出来ないというケースをさけるため、プリセット閾値は、現在の撮像シーンの輝度が低いかどうかを決定するために用いられる。プリセット閾値は、カメラの光感度と関連づけられる。端末装置の光感度が高くなると、プリセット閾値も高くなる。

詳細には、本開示の実施形態では、比較により、撮像シーンの輝度がプリセット閾値よりも低いと決定された場合、第２露光時間はプリセットアルゴリズムと輝度により決定される。ここで、第２露光時間は第１露光時間よりも長い。言い換えると、現在の撮像シーンの輝度が低いと習得された場合、プリセットアルゴリズムと輝度を用いて、比較的長い第２露光時間が決定されて、そのため、光の総量が増加することにより画像効果が向上される。

本実施形態では、プリセットアルゴリズムは膨大な量の実験データに基づき、前もって設定されてもよく、シーンの輝度と第２露光時間の間の関係に対応する数学公式をも含んでいてもよい。少なくとも１つの代替例では、プリセットアルゴリズムは、膨大な実験データによる、ディープラーニングモデルセットでもよい。ディープラーニングモデルのインプットは、現在のシーンの輝度であり、そのアウトプットは、第２露光時間である。少なくとも１つの他の例では、プリセットアルゴリズムは、現在のシーンの輝度と第２露光時間との間の対応を含むリストでもよく、これにより、現在のシーンの輝度を取得したのちに、輝度に応じた第２露光時間が、リスト内の対応関係が検索され、取得されてもよい。

本開示の別の実施形態では、比較により、現在のシーンの輝度がプリセット閾値よりも大きい又は同じと決定された場合、現在のシーンの輝度が、カメラの鮮明な画像の撮像が実行される領域の範囲内にあることを示している。この場合、ノーマル撮像モードが開始されてもよく、ノーマル撮像モードに対応したプリセット露光時間が、直接的に第２露光時間として用いられてもよい。

ブロック１０２では、第１画像の第１前景領域と第１後景領域が決定され、第２画像の第２前景領域が決定される。

詳細には、種々のアプリケーションシナリオにより、領域情報の深度に基づいて、第１画像の第１前景領域と第１後景領域を決定する種々の方法がある。いくつかの例を、以下に記述する。

第１例

画像撮像と関連づけられたパラメータを取得して、撮像のためのカメラに関連づけられた領域公式の深度に基づいて、目標領域の焦点領域の外側の画像領域における、領域情報の深度を計算してもよい。

例えば、許容錯乱円径、絞り値、焦点距離、合焦距離、及び、撮像カメラのその他のパラメータが取得されてもよい。第１前景領域の領域の深度は、以下の公式により、算出されてもよい。第１前景領域の領域情報の深度＝（絞り値×許容錯乱円径×焦点距離の二乗）／（焦点距離の二乗＋絞り値×許容錯乱円径×合焦距離）、算出された第１前景領域の領域の深度に基づいて、第１画像から第１前景領域を切り離す。第１画像の第１後景領域の領域情報の深度は、次の公式により、算出されてもよい。第１後景領域の領域情報の深度＝（絞り値×許容錯乱円径×焦点距離の二乗）／（焦点距離の二乗－絞り値×許容錯乱円径×合焦距離）。そして、第１画像の第１後景領域は算出された第１後景領域の領域情報の深度により、決定されてもよい。

第２例

焦点領域の外側の画像領域の領域マップの深度は、第１画像の領域データ情報の深度により決定され、デュアルカメラを用いて取得される。焦点領域の前の第１前景領域と焦点領域の後の第１後景領域は、領域マップの深度により、決定される。

詳細には、例えば、２つのカメラの位置が異なり、このため、撮像される目標物体に対する２つのリアカメラの間における、特定の角度差と距離差とが存在する。したがって、２つのカメラを用いて取得されたプレビュー画像データの間における特定の位相差もまた存在する。少なくとも１つの例において、カメラは端末装置においては２つのリアカメラでもよい。

例えば、撮像目標物体の点Ａについて、カメラ１のプレビュー画像データにおいて、点Ａに対応するピクセル座標が（３０，５０）であり、カメラ２のプレビュー画像データにおいて、点Ａに対応するピクセル座標が（３０，４８）である。プレビュー画像データの２つのピースにおける、点Ａに対応する画素の位相差は、５０－４８＝２である。

この例において、領域情報の深度と位相差の間の対応は、実験データ、又は、カメラパラメータにより、あらかじめ確立されてもよい。したがって、第１画像における画素の領域情報の深度は、２つのカメラを用いて取得された、プレビュー画像データにおける、合成画像における、それぞれの画素の位相差により、探索されてもよい。

例えば、点Ａに対応する２の位相差について、プリセット対応関係に基づいて、対応する領域の深度が５メートルであると決定されると、目標領域における点Ａに対応する領域情報の深度は５メートルである。したがって、第１画像におけるそれぞれの画素の領域情報の深度が取得されてもよく、すなわち、焦点領域の外側の画像領域の領域マップの深度が取得されてもよい。

焦点領域の外側の画像領域の領域マップの深度が取得されたのち、焦点領域の前の画像領域の第１前景領域の領域情報の深度、及び、焦点領域の後の第１後景領域の領域情報の深度が、さらに決定されてもよい。

本開示の実施形態において、第１画像の第１前景領域と第１後景領域が領域情報の深度に基づき決定されたのち、第１前景領域と第１後景領域は、第１前景領域などに対しての処理を促進するためにさらにマークをされてもよいことに注意されたい。例えば、第１前景領域はｆｏｒｅ＿ｇｔとマークされ、第１後景領域はｂａｃｋ＿ｇｔとマークされる。

ブロック１０３において、画像フュージョン処理が第２前景領域と第１前景領域に実行され、第３前景領域が生成される。

ブロック１０４において、ぼかし処理が第１後景領域に実行され、第３前景領域とぼかし処理が施された第１後景領域が合成され、目標画像が生成される。

詳細には、上記の分析に基づき、現在のシーンの輝度による、露光を通じて取得された第２主画像における前景領域の画像は比較的鮮明である。この場合、第２主画像の第２前景領域は、第１前景領域の座標情報により取得され、高いダイナミックレンジ画像の第３前景領域は、第２前景領域と第１前景領域に画像フュージョン処理を実行することによって生成されてもよい。

本開示の少なくとも１つ例において、第２画像ｆｏｒｅ＿ｇｔ２の座標位置が、第１画像においてマークされた第１前景領域ｆｏｒｅ＿ｇｔの座標情報に基づき、マークされたとき、画像フュージョンが、ｆｏｒｅ＿ｇｔとｆｏｒｅ＿ｇｔ２の画像に対して、ハイダイナミックレンジ画像計算の方法によって実行され、そして第３前景領域画像が取得される。この場合、取得された第３前景領域画像が高いダイナミックレンジ画像である。

本開示において、鮮明な前景領域を持つ画像は、第２露光時間により撮像された第２画像のみによって取得される。デュアルカメラのうちただ1つ、たとえばプライマリカメラが第２露光の間に起動され、すなわち、第２画像がプライマリカメラを用いて第２露光時間により撮像される。このようにして、電力の消費が縮小される。加えて、プライマリカメラが光学式手ぶれ補正レンズであるとき、すなわち、第２画像がＯＩＳ光学式手ぶれ補正レンズを用いて第２露光時間により撮像されたとき、画素調整は第１画像と第２画像の画像フュージョンの間さらに正確になり、高いダイナミックレンジ画像の前景領域の画像効果が良好となり、画像は鮮やかな細部を持つようになる。

さらに、ぼかし処理が領域情報の深度に基づき後景領域に実施され、高いダイナミックレンジ画像の第３前景領域とぼかし処理が施された第１後景領域が合成され、目標画像が生成される。目標画像はハイライトされた前景領域と、より良い視覚効果を持つ。

ここで、ぼかし処理は第１後景領域に実行される必要があるため、画像フュージョン処理は２回の露光と第２画像の前景領域が取得されたのちに、単に第１画像に実行されると理解するべきである。この場合、計算量は、全第１画像と全第２画像のフュージョンと比較して、顕著に縮小されている。２回の露光の後に取得された第２画像は、比較的高い品質を有することから、後に第２画像がぼかされた場合、前景領域の撮像物体はハイライトされもよい。加えて、後景領域のフュージョンからの新たなノイズを避けるように、ぼかし処理が、第１露光の後に取得された後景領域の画像に基づいて、直接的に実行される。

さらに、種々のアプリケーションシナリオにより、ぼかし処理は、複数の異なった実施態様において、領域情報の深度に基づいて後景領域に実行され得ることに留意されたい。いくつかの例を、以下に記述する。

第１例

図６で描かれるように、ブロック１０４の動作はブロック２０１とブロック２０２の動作を含んでいる。

ブロック２０１では、第１後景領域における異なった領域のぼかしの程度は、領域情報の深度により決定される。

主画像と従画像の画素により取得された領域情報の深度が正確でないことを避けるために、第１後景領域は、決定したぼかし程度により別々の領域に分割されると理解されるべきである。ここで、主画像と従画像は、比較的短い第１露光時間により決定される。本実施形態において、異なった領域のぼかしの程度を決定するために、それぞれの領域の領域情報の深度は、第１後景領域の異なった領域における多画素の領域情報の深度の分布確率により、決定されてもよい。

２０２において、ガウシアンぼかし処理は、ぼかしの程度により、第１後景領域の異なった領域に実行される。

詳細には、第１後景領域の異なった領域のぼかしの程度は、領域情報の深度に基づき決定され、ガウシアンぼかし処置は、ぼかしの程度に基づき、第１後景領域の異なった領域に実行され、この様に領域情報の深度は大きくなってゆく。領域情報の深度が大きくなるにしたがって、漸近的ぼかしが達成されるように、ぼかしの程度は高くなる。

第２例

領域深度の情報により、第１後景領域が決定された後、第１後景領域のシーン情報が複雑な場合、例えば、特定の値を超える大きな画素数又は色成分がある場合、後景領域の置換が、第１後景領域において撮像物体をハイライトするために、実行されてもよい。複雑なシーン情報を含む第１後景領域は、ブランク後景領域と置き換えるような、プリセットシーン情報を含む後景領域に置き換えられてもよい。図７の左の画像に描かれているように、人Ａが撮像されたとき、もし画像の後景領域が複雑であると、図７の右の画像に描かれているように、ぼかし処理が後景領域に実行され、これにより、目標画像の処理において、人Ａがハイライトされるのみならず、後景領域が過度に複雑にならず、ユーザの視覚経験に影響を及ぼす。

したがって、本開示の実施形態の画像処理方法によれば、ダブル露光モードが採用され、深度画像は第１短縮露光を用いて前景領域と後景領域をセグメントして取得してもよく、第２露光時間は、シーン認識を通じて制御され、第２露光時間においてはシングルレンズが用いられ、ＨＤＲフュージョンは、暗い環境において、物体をハイライトするため、ノイズを縮小するため、及び、画像の鮮明度を高めるために、第２露光におけるセグメンテーションを通じて取得された前景領域と、第１露光におけるセグメンテーションを通じて取得された前景領域に対して実行される。加えて、第１露光を用いて取得された後景領域における処理については、後景領域のぼかしのみが第１フレーム画像に実行され、それによって、計算量が減少し、リアルタイムパフォーマンスが向上する。高いダイナミックレンジ画像は、多露光を取得することなく、２つの露光を通じてのみ取得されてもよく、そして合成が実行される。したがって、高いダイナミックレンジ画像の生成効率が向上される。

結論として、本開示の実施形態における画像処理方法によれば、第１カメラを用いてプリセット第１露光時間により、第１主画像が撮像され、そして同時に、第２カメラを用いて第１露光時間により、従画像が取得される。領域情報の深度は、第１主画像と従画像により、取得され、第１主画像と従画像が合成されて第１画像が取得される。第１画像の第１前景領域と第１後景領域は、領域情報の深度に基づき、決定される。撮像シーンの輝度が検出され、第２露光時間が輝度とプリセット閾値により決定され、第２画像は第２露光時間により撮像される。第２画像の第２前景領域は、第１前景領域の座標情報により取得され、画像フュージョン処理は、高いダイナミックレンジ画像の第３前景領域を生成するために、第２前景領域と第１前景領域に実行される。ぼかし処理は、領域情報の深度により第１後景領域に実行され、第３前景領域とぼかし処理が施された第１後景領域が合成されることにより、目標画像が生成される。したがって、高いダイナミックレンジ画像の生成効率と視覚効果が向上される。

前記の実施形態を実現するため、本開示はさらに端末装置に適応される、画像処理装置を提供する。図８は、本開示の実施形態による、画像処理装置の概略構造図である。図８で描かれているように、画像処理装置は、撮像モジュール１００、決定モジュール２００、生成モジュール３００、及び、処理モジュール４００を含む。

撮像モジュール１００は、デュアルカメラを用いて、プリセット第１露光時間により第１画像を、第２露光時間により第２画像を、撮像するように構成されてもよい。第２露光時間は、撮像シーンの輝度とプリセット閾値により決定される。

決定モジュール２００は、第１画像の第１前景領域と第１後景領域を決定し、第２画像の第２前景領域を決定するように構成されてもよい。

生成モジュール３００は、第３前景領域を生成するために、第２前景領域と第１前景領域に画像フュージョン処理を実行するように構成されてもよい。

例えば、第３前景領域は、高ダイナミックレンジ画像計算の方法によって、第２前景領域と第１前景領域に画像フュージョンを実行することにより生成された、高いダイナミックレンジ画像の前景領域でもよい。

処理モジュール４００は、後景領域にぼかし処理を実行するように構成されてもよく、第３前景領域と、ぼかし処理が施された第１後景領域とを合成し、目標画像を生成するように構成されてもよい。

本開示の少なくとも１つの実施形態において、撮像モジュール１００は、特に、プリセット撮像シーンの輝度を検出するように構成されてもよい。

本開示の少なくとも１つの実施形態において、撮像モジュール１００は、特に、輝度がプリセット閾値よりも小さいという比較の結果に基づき、プリセットアルゴリズムと輝度により、第２露光時間を決定するように構成されてもよい。例えば、第２露光時間は、第１露光時間よりも長い。

本開示の少なくとも１つの実施形態において、撮像モジュール１００は、特に、輝度がプリセット閾値よりも大きい、または、同じという比較の結果に基づき、ノーマル撮像モードを開始させ、ノーマル撮像モードの第２露光時間に対応するプリセット露光を用いるように構成されてもよい。

本開示の少なくとも１つ実施形態において、デュアルカメラは第１カメラと第２カメラとを含んでおり、撮像モジュール１００は、特に、第１カメラを用いて、第１露光時間により第１主画像を撮像し、同時に、第２カメラを用いて、第１露光時間により従画像を撮像するように構成されてもよい。画像処理装置は、さらにモジュールを取得してもよく、第１主画像と従画像に基づき、領域情報の深度を取得し、第１主画像と従画像とを合成することにより、第１画像を取得するように構成されてもよい。

ここで、方法の実施形態の前記の記述は、本開示の実施形態における装置に適応できることに注意されたい。それらの実行態様の原理は類似しており、詳細はここでは繰り返さない。

前記の画像処理装置におけるモジュールの分割は、図解のためだけに用いられている。本開示の他の実施形態において、画像処理装置は、要求に応じて異なったモジュールに分割されてもよく、前記の画像処理装置の全て、または、いくつかの機能を完結する。

結論として、本開示における実施形態の画像処置装置により、第１主画像は、第１カメラを用いてプリセット第１露光時間により撮像され、そして同時に、従画像は、第２カメラを用いて第１露光時間により撮像される。領域情報の深度は、第１主画像と従画像により取得され、第１主画像と従画像が合成されることにより第１画像を取得する。第１画像の第１前景領域と第１後景領域は、領域情報の深度に基づき、決定される。撮像シーンの輝度が検出され、第２露光時間は、輝度とプリセット閾値により決定され、第２画像は、第２露光時間により撮像される。第２画像の第２前景領域は、第１前景領域の座標情報により取得され、画像フュージョン処理は、第３前景領域を生成するために、第２前景領域と第１前景領域に実行される。ぼかし処理は、領域情報の深度により、第１後景領域に実行され、第３前景領域と、ぼかし処理が施された第１後景領域とを合成することにより目標画像が生成される。したがって、高いダイナミックレンジ画像の生成効率と視覚効果が向上される。

上述した実施形態の実現のため、本開示はさらに、本開示の上記実施形態における端末装置などの、コンピュータデバイスを提供する。コンピュータデバイスは、コンピュータプログラムを格納するメモリと、コンピュータプログラムを実行するプロセッサとを含むような、任意のデバイスでよい。例えば、コンピュータデバイスは、スマートフォン、パーソナルコンピュータなどでよい。コンピュータデバイスは、さらに、画像処理回路を含んでいる。画像処理回路は、ハードウェア構成機器、及び／又は、ソフトウェア構成機器によって実現されてもよく、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）パイプラインによって定義された、種々の処理ユニットを含んでもよい。図９は、本開示の実施形態による、画像処理回路の概略図である。図９で描かれているように、記述を容易のため、本開示の実施形態に関連する画像処理の観点のみが、描かれている。

図９で描かれているように、画像処理回路は、ＩＳＰプロセッサ１０４０と、制御論理デバイス１０５０を含んでいる。第１に、画像デバイス１０１０によって撮像された画像データが、ＩＳＰプロセッサ１０４０によって処理され、ＩＳＰプロセッサ１０４０は、画像デバイス１０１０の１又は複数の制御パラメータを決定するために用いられる画像統計情報を取り込むために、画像データを解析する。画像デバイス１０１０（カメラ）は、１又は複数のレンズ１０２０と、画像センサ１０１４を含んでいてもよい。本開示における後景領域のぼかし処理の実行のために、画像デバイス１０１０は２つのカメラを含んでいる。これまで参照している図８では、画像デバイス１０１０は、プライマリカメラとセカンダリカメラを通じて、同時にシーン画像を撮像し、画像センサ１０１４は、カラーフィルターアレイ（例えば、ベイヤーフィルター）を含んでもよい。画像センサ１０１４は、画像センサ１０１４のそれぞれの画像の画素により取り込んだ、光の強度と波長情報を取得してもよく、ＩＳＰプロセッサ１０４０により処理された、オリジナル画像データのセットを供給してもよい。センサ１０２０は、センサ１０２０のインタフェースタイプに基づき、ＩＳＰプロセッサ１０４０にオリジナル画像データを供給してもよい。ＩＳＰプロセッサ１０４０は、プライマリカメラにおける画像センサ１０１４によって取得されるオリジナル画像データと、セカンダリカメラにおける画像センサ１０１４によって取得されるオリジナル画像データに基づき、領域情報の深度を算出してもよく、オリジナル画像データは、いずれもセンサ１０２０により供給される。センサ１０２０のインタフェースは、ＳＭＩＡ（Ｓｔａｎｄａｒｄ Ｍｏｂｉｌｅ Ｉｍａｇｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅ）インタフェース、別のシリアル、若しくはパラレルカメラインタフェース、または、前記のインタフェースの組み合わせでもよい。

ＩＳＰプロセッサ１０４０は、複数のフォーマットにおいて、オリジナル画像データにおける、ピクセル毎に処理を実行してもよい。例えば、それぞれの画像ピクセルは、８、１０、１２、または、１４ビットのビット深度を有してもよく、ＩＳＰプロセッサ１０４０は、１または複数の画像処理動作をオリジナル画像データに実行してもよく、画像データに関する統計情報を収集してもよい。画像処理動作は、同じ、または、異なったビット深度精度により実行されてもよい。

ＩＳＰプロセッサ１０４０は、さらに、画像メモリ１０３０から画素データを受信してもよい。例えば、オリジナル画像データは、センサ１０２０のインタフェースから、画像メモリ１０３０に送られてもよく、そして画像メモリ１０３０におけるオリジナル画像データは、ＩＳＰプロセッサ１０４０に、処理のために提供される。画像メモリ１０３０は、メモリデバイス、ストレージデバイス、または、電子デバイスにおける切り離した専用のメモリの一部であってよく、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ、ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）の機構を含んでもよい。

センサ１０２０のインタフェース、または、画像メモリ１０３０から、オリジナル画像データを受信したとき、ＩＳＰプロセッサ１０４０は、たとえばタイムドメインフィルタリングなどの１または複数の画像処理操作を実行してもよい。処理された画像データは、画像メモリ１０３０に、表示される前の、追加の処理のため送信される。ＩＳＰプロセッサ１０４０は、画像メモリ１０３０から処理されたデータを受信し、オリジナルドメイン及びＲＧＢとＹＣｂＣｒの色空間における処理をされたデータに、画像データ処理を実行する。処理された画像データは、ユーザによる視聴のため、ディスプレイ１０７０にアウトプットされてもよく、及び／又は、グラフィックエンジン若しくはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）による、さらなる処理が実行されてもよい。加えて、ＩＳＰプロセッサ１０４０のアウトプットは、画像メモリ１０３０にもまた送信されてもよく、ディスプレイ１０７０は、画像メモリ１０３０から画像データを読み込んでもよい。実施形態において、画像メモリ１０３０は、１または複数のフレームバッファを実行するように構成されてもよい。加えて、ＩＳＰプロセッサ１０４０のアウトプットは、符号器／復号器１０６０に、画像データの符号化／復号化のため、送信されてもよい。符号化された画像データは、ディスプレイ１０７０上に表示される前に、格納及び圧縮解除されてもよい。符号器／復号器１０６０は、ＣＰＵ、ＧＰＵ、または、コプロセッサにより、実現されてもよい。

ＩＳＰプロセッサ１０４０により決定された統計データは、制御論理デバイス１０５０に送信されてもよい。例えば、統計データは画像センサ１０１４の統計情報を含んでいてもよく、自動露光の統計情報、自動ホワイトバランス、自動フォーカシング、明滅検出、ブラックレベル補正、及び、レンズ１０１２の遮光補正などである。制御論理デバイス１０５０は、１または複数のルーチン（例えば、ファームウェア）を実行するプロセッサ、及び／又は、マイクロコントローラを含んでいてもよい。１または複数のルーチンは、画像デバイス１０１０の制御パラメータと、受信した統計データによる他のエレメントの制御パラメータを決定するために用いてもよい。例えば、制御パラメータは、センサ１０２０の制御パラメータ（例えば、露光制御のゲイン及び積分時間）、カメラのフラッシュ制御パラメータ、レンズ１０１２の制御パラメータ（例えば、合焦またはズーミングのための焦点距離）、または、それらのパラメータの組み合わせを含んでいてもよい。ＩＳＰ制御パラメータは、ゲインレベル、及び自動ホワイトバランスと色調整（例えば、ＲＧＢ処理の間）に用いられる色補正マトリックス、及び、レンズ１０１２の遮光補正パラメータを、含んでもよい。

以下で、図９において画像処理回路を用いた、画像処理方法が実行された動作について提供する。

デュアルカメラを用いて、第１画像は、プリセット第１露光時間に基づき撮像され、第２画像は、第２露光時間により撮像され、ここで第２露光時間は、撮像シーンの輝度と、プリセット閾値により、決定される。

第１画像の、第１前景領域と第１後景領域が決定されてもよく、第２画像の第２前景領域が決定されてもよい。

画像フュージョン処理は、第３前景領域を生成するため、第２前景領域と第１前景領域に実行されてもよい。

ぼかし処理は、第１後景領域に実行されてもよく、第３前景領域とぼかし処理が施された第１後景領域とを合成することにより目標画像を生成してもよい。

上述した実施形態の実現のため、本開示はさらに、非一時的なコンピュータ可読記憶媒体を提供する。記憶媒体における指令は、プロセッサにより実行されたとき、プロセッサに、本開示の上述した実施形態における画像処理方法を実現させてもよい。

明細書の記述において、「１つの実施形態」、「いくつかの実施形態」、「１つの例」、「特定の例」、「いくつかの例」、などの用語は、実施形態または例の参考と記述された、特定の性質、構造、原料、または、特徴を意味し、本開示の実施形態または例を、少なくとも１つ包含する。明細書において、前記の用語は、同じ実施形態または例について概略的に表現されるものではない。記述された、特定の性質、構造、原料、または、特徴は、任意の１つまたは複数の実施形態または例は、適切な方法にて組み合わされることができる。加えて、本開示の明細書において記述された、異なる実施形態または例を、異なる実施形態または例の特徴と結合されてもよく、当業者ならば矛盾なく結合しえよう。

加えて、「第１」及び「第２」という用語は、記述の目的ためだけに用いられているにすぎず、相対的な重要性を指す若しくは暗示する、又は技術的特徴の数を暗示するものと理解してはならない。したがって、「第１」及び「第２」により定義された特徴は、少なくとも１つの特徴を、明示的または暗示的に包含し得る。本明細書における「複数」という用語は、明確にかつ具体的に限定されない限り、少なくとも２つを意味し、例えば、２つ、３つなどである。

フローチャートの記述または別の方法で明細書に記載された任意のプロセス若しくは方法は、１または複数の、カスタム論理機能または処理動作の実行のために、実行可能な指令、及び、本開示が包含する他の実施形態の好ましい実施形態を包含する、モジュール、フラグメント、コードの一部の説明と、理解することができる。機能は、示されたまたは議論した順番で実行されないことがありえ、実質的に同時の方法、または機能に基づき、逆順の方法も包含している。これは、本開示の実施形態の当業者によれば、理解され得るべきである。

フローチャート、または別の方法で明細書に記載された論理、及び／または、動作は、論理機能の実行のための実行可能指令のシーケンステーブルとして考慮されてもよく、指令実行システム、装置、または、デバイス（例えば、コンピュータベースのシステム、プロセッサを含むシステム、または、指令実行システムや装置若しくはデバイスから指令を取得し、その指令を実行し得るその他のシステム）が使用されるための指令実行システム、装置、またはデバイスとの組み合わせで使用するために、特に、任意のコンピュータ可読媒体において実行されてもよい。この明細書において、「コンピュータ可読媒体」は、指令実行システム、装置若しくはデバイスにより使用するための、または、指令実行システム、装置若しくはデバイスの組み合わせにより使用するためのプログラムを、包含し、格納し、通信し、伝搬し、伝達することができる、任意の装置でよい。コンピュータ可読媒体のさらなる具体的な例（非網羅的リスト）には、１つまたは複数の配線を備える電子接続部分（電子機器）、ポータブルコンピュータディスクボックス（磁気デバイス）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ装置、及び、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤＲＯＭ）が含まれる。加えて、コンピュータ可読媒体は、紙やプログラムがプリントされ得る別の媒体でもよく、なぜならば、例えば、紙やその他の媒体は、光学的にスキャンされ、そして、編集及び解釈され、または、必要に応じて、コンピュータメモリに格納するための電子的なプログラムを取得するために、任意の適切な方法で処理が実行され得るからである。

本開示の各部分は、ハードウェア、ソフトウェア、ファームウェア、または、それらの組み合わせであると理解されるべきである。前記の実施形態では、複数の動作または方法は、ソフトウェアまたはファームウェアによって実行されてもよく、それらはメモリに格納され、それらは適切な指令実行システムによって実行される。例えば、もしハードウェアが、同じ実施形態を別の実施形態として実行するために用いられるとすると、以下のこの技術分野の周知技術の１つまたは組み合わせが用いられる。データ信号における論理機能の実行のための論理ゲート回路を包含するディスクリート論理回路、適切な結合論理ゲート回路を包含する専用集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などである。

当業者は、本実施形態の方法の動作の全てまたは一部が、プログラムにより、指令された関連ハードウェアにより、完了され得ることを理解し得るだろう。プログラムは、コンピュータ可読媒体に格納されてもよい。プログラムが実行されるとき、プログラムは、動作の１つ、又は、本実施形態の動作の組み合わせを実現するために用いられる。

加えて、本開示の各実施形態における各機能ユニットは、処理モジュールに統合されてもよく、各モジュールは物理的に独立して存在してもよく、２または２以上のモジュールが１つのモジュールに統合されてもよい。統合モジュールは、ハードウェア形態で実現されてもよく、ソフトウェア機能ユニット形態でも実現されてもよい。ソフトウェア機能モジュールの形態で実現され、販売または独立した製品として使用されるとき、統合モジュールは、コンピュータ可読メモリに格納されてもよい。

記憶媒体は、上記では読取り専用メモリ、磁気ディスク、光学ディスクなどでよい。上記に、本開示の実施形態は図示または記述されているが、前記の実施形態は例示であり、本開示の制限と理解するべきではない。当業者であれば、本開示の範囲内において、上記の実施形態の、様々な変形、改変、置換、または、変換を行うことができる。

Claims (13)

1. 端末装置に適応される画像処理方法であって、
   デュアルカメラを用いて、プリセットされた第１露光時間に基づく第１画像と第２露光時間に基づく第２画像を撮像し、ここで第２露光時間は撮像シーンとプリセットされた閾値の明るさに基づいて決定され（１０１）、
   前記第１画像の第１前景領域と第１後景領域を決定し、前記第２画像の第２前景領域を決定し（１０２）、
   前記第２前景領域と前記第１前景領域について画像フュージョン処理を実行（１０３）することにより、第３前景領域を生成し、
   前記第１後景領域についてぼかし処理を実行し、前記第３前景領域と前記ぼかし処理がなされた前記第１後景領域とも合成して、目標画像を生成する（１０４）、
   ことを備える画像処理方法。
2. 前記第１画像の前記第１前景領域と第２前景領域を決定することは（１０２）、
   撮像パラメータと領域深度公式に基づき、前記第１前景領域の領域情報の深度と前記第１後景領域の領域情報の深度を計算し、
   前記第１前景領域の領域情報の深度に基づき、前記第１画像から前記第１前景領域を切り離し、
   前記第１後景領域の領域情報の深度に基づき、合成画像の第１後景領域を決定する、
   ことを備える請求項１記載の方法。
3. 前記第１画像の前記第１前景領域と前記第１後景領域を決定することは（１０２）、
   前記カメラによって得られたプレビュー画像データを用いることによって、前記第１画像におけるそれぞれの画素の位相差を算出し、
   領域情報の深度と位相差との間の所定の対応関係と、算出されたそれぞれの画素の位相差とに基づき、それぞれの画素の領域情報の深度を取得して、前記第１画像の領域マップの深度を生成し、
   前記領域マップの深度に基づき、第１前景領域の領域情報の深度と、第１後景領域の領域情報の深度を決定し、
   前記第１前景領域の領域情報の深度に基づき、前記第１画像から前記第１前景領域を切り離し、
   前記第１後景領域の領域情報の深度に基づき、前記第１画像から前記第１後景領域を決定する、
   ことを備える請求項１記載の方法。
4. 輝度がプリセット閾値より低いという比較の結果に応じて、プリセット・アルゴリズムと輝度に基づき、第２露光時間が決定され、ここで第２露光時間は第１露光時間より長い、
   請求項１乃至３のいずれかに記載の方法。
5. 輝度がプリセット閾値より大きく又は同じという比較の結果に応じて、ノーマル撮像モードが開始され、第２露光時間がノーマル撮像モードに対応するプリセット露光時間として決定される、
   請求項１乃至３のいずれかに記載の方法。
6. 前記第２画像の第２前景領域を決定することは（１０２）、
   第１前景領域の座標情報に基づき、第２前景領域を取得する、
   ことを備える請求項１乃至５のいずれかに記載の方法。
7. 前記デュアルカメラは第１カメラと第２カメラを備えており、前記デュアルカメラを用いて第１露光時間に基づき、前記第１画像の撮像する動作は（１０１）、
   前記第１カメラを用いて第１露光時間に基づき、第１主画像を撮像し、同時に前記第２カメラを用いて第１露光時間に基づき、従画像を撮像し、
   前記第１主画像と前記従画像を合成することにより前記第１画像を取得する、
   ことを備える請求項１乃至５のいずれかに記載の方法。
8. 第２露光時間により前記第２画像を撮像することは（１０１）、
   前記デュアルカメラの１つを用いて、前記第２露光時間に基づき第２主画像を撮像する、
   ことを備える請求項１乃至５のいずれかに記載の方法。
9. 前記第１後景領域のぼかし処理を実行することは（１０４）、
   前記第１画像の領域情報の深度を取得し、
   前記領域情報の深度に基づき、前記第１後景領域の異なる領域のぼかしの度合いを決定し、
   前記ぼかしの度合いに基づき、前記第１後景領域の前記異なる領域にガウシアンぼかしを実行する、
   ことを備える請求項１記載の方法。
10. 前記第１後景領域の前記ぼかし処理を実行することは（１０４）、
    前記第１後景領域のシーン情報がプリセット条件を満たすかどうかを決定し、
    前記第１後景領域のシーン情報が前記プリセット条件を満たすという決定に応じて、前記第１前景領域を後景領域で置き換えるプリセットシーン情報を含む、
    ことを備える請求項１記載の方法。
11. 前記プリセット条件は、
    前記第１後景領域の画素数が第１閾値を超える、または、
    前記第１後景領域の色成分が第２閾値を超える、
    ことの少なくとも１つ
    を備える請求項１０記載の方法。
12. 端末装置に適応される画像処理装置であって、
    １又は複数のコンピュータプログラムを格納するメモリと、
    前記メモリに格納された前記１又は複数のコンピュータプログラムを実行するプロセッサであって、請求項１乃至１１のいずれかに記載の画像処理方法を実行可能なプロセッサと、
    を備える画像処理装置。
13. コンピュータ可読記憶媒体であって、プロセッサにより実行されたときに、前記プロセッサに請求項１乃至１１のいずれかに記載の画像処理方法を実現させるコンピュータプログラムが格納された、コンピュータ可読記憶媒体。

Images