JP7152598B2 - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１９年０９月１６日に提出された出願番号２０１９１０８７２３２５．１、の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本開示に組み込まれる。

本開示は、コンピュータビジョン技術分野に関し、画像処理方法及び装置、電子機器並びに記憶媒体に関する。

コンピュータビジョン技術は、装置により人間の視覚機能を模擬する技術であり、人工知能、画像処理などの多くの用途に適用可能である。例えば、顔認識シーンにおいて、撮られた画像に対して顔認識を行うことで、顔に対応する身分を決定することができる。

顔認識において、顔のイメージング品質は、主な要因である。高いイメージング品質は、顔認識の正確度の向上に寄与する。しかしながら、逆光シーンにおいて、顔のイメージング品質が低く、顔画像の認識及び生体判定に不利である。

本開示は、画像処理方法及び装置、電子機器並びに記憶媒体を提供する。

本開示の一態様によれば、画像処理方法を提供する。前記方法は、
現在のシーンでリアルタイムに収集されたターゲット画像に対して人形検出を行い、人形検出結果を得ることと、
前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定することと、
前記関心領域の輝度分布に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定することと、を含む。

1つの可能な実施形態において、前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定することは、
前記人形検出結果が前記ターゲット画像に顔領域が存在することを表す場合、前記ターゲット画像における顔領域に基づいて、前記ターゲット画像の前記関心領域を決定することを含む。

1つの可能な実施形態において、前記ターゲット画像における顔領域に基づいて、前記ターゲット画像の前記関心領域を決定することは、
前記ターゲット画像に複数の顔領域が存在する場合、前記複数の顔領域のうちの最大顔領域を決定することと、
前記最大顔領域を前記ターゲット画像の前記関心領域として決定することと、を含む。

1つの可能な実施形態において、前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の前記関心領域を決定することは、
前記人形検出結果が前記ターゲット画像に顔領域が存在しないことを表す場合、前記ターゲット画像の中心画像領域を決定することと、
前記中心画像領域を前記ターゲット画像の前記関心領域として決定することと、を含む。

1つの可能な実施形態において、前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定した後、且つ、前記関心領域の輝度分布に基づいて、前記現在のシーンで画像収集に用いられるターゲットパラメータ値を決定する前に、
前記ターゲット画像の関心領域における各画素点の輝度に基づいて、前記関心領域の輝度分布を決定することを更に含む。

1つの可能な実施形態において、前記関心領域の輝度分布に基づいて、前記現在のシーンで画像収集に用いられるターゲットパラメータ値を決定することは、
前記関心領域の平均輝度を決定することと、
前記関心領域の輝度分布に基づいて、前記関心領域の境界輝度を決定することと、
前記関心領域の平均輝度及び前記境界輝度に基づいて、前記関心領域のターゲット輝度を決定することと、
輝度と画像収集パラメータとのマッピング関係に基づいて、前記ターゲット輝度に対応するターゲットパラメータ値を決定することと、を含む。

1つの可能な実施形態において、前記関心領域の平均輝度を決定することは、
前記関心領域における各画素点に対応する重みを決定することと、
前記関心領域における各画素点に対応する重み及び各画素点の輝度に基づいて、前記関心領域の平均輝度を決定することと、を含む。

1つの可能な実施形態において、前記関心領域における各画素点に対応する重みを決定することは、
前記関心領域における画素点と前記関心領域の領域中心との距離に基づいて、前記関心領域における各画素点に対応する重みを決定することであって、画素点と前記関心領域の領域中心との距離は、前記画素点に対応する重みと正に相関する、ことを含む。

1つの可能な実施形態において、前記関心領域の輝度分布に基づいて、前記関心領域の境界輝度を決定することは、
前記関心領域の輝度分布において、輝度参照値範囲内に対応する画素点の数を決定することであって、前記輝度参照値範囲は、前記輝度分布における最小輝度値から輝度参照値までの輝度範囲であり、前記輝度参照値は、前記輝度分布におけるいずれか１つの輝度値である、ことと、
前記関心領域の画素点総数のうち、前記輝度参照値範囲内に対応する画素点の数により占められる割合を決定することと、
前記画素点割合が所定の割合以上である場合、前記輝度参照値を前記関心領域の境界輝度として決定することと、を含む。

1つの可能な実施形態において、前記関心領域の平均輝度及び前記境界輝度に基づいて、前記関心領域のターゲット輝度を決定することは、
事前設定された所望の境界輝度を取得することと、
前記所望の境界輝度と前記境界輝度との比を決定することと、
前記所望の境界輝度と前記境界輝度との比及び前記関心領域の平均輝度に基づいて、前記関心領域のターゲット輝度を決定することと、を含む。

1つの可能な実施形態において、前記方法は、
前記ターゲットパラメータ値を用いて、前記現在のシーンに対して画像収集を行うことを更に含む。

1つの可能な実施形態において、前記ターゲットパラメータ値は、
露光値、露光時間及びゲインのうちの少なくとも１つを含む。

本開示のもう１つの態様によれば、画像処理装置を提供する。前記装置は、
現在のシーンでリアルタイムに収集されたターゲット画像に対して人形検出を行い、人形検出結果を得るように構成される検出モジュールと、
前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定するように構成される第１決定モジュールと、
前記関心領域の輝度分布に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定するように構成される第２決定モジュールと、を備える。

1つの可能な実施形態において、前記第１決定モジュールは更に、
前記人形検出結果が前記ターゲット画像に顔領域が存在することを表す場合、前記ターゲット画像における顔領域に基づいて、前記ターゲット画像の前記関心領域を決定するように構成される。

1つの可能な実施形態において、前記第１決定モジュールは更に、
前記ターゲット画像に複数の顔領域が存在する場合、前記複数の顔領域のうちの最大顔領域を決定し、
前記最大顔領域を前記ターゲット画像の前記関心領域として決定するように構成される。

1つの可能な実施形態において、前記第１決定モジュールは更に、
前記人形検出結果が前記ターゲット画像に顔領域が存在しないことを表す場合、前記ターゲット画像の中心画像領域を決定し、
前記中心画像領域を前記ターゲット画像の前記関心領域として決定するように構成される。

1つの可能な実施形態において、前記第１決定モジュールは更に、
前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定した後、且つ、前記関心領域の輝度分布に基づいて、前記現在のシーンで画像収集に用いられるターゲットパラメータ値を決定する前に、前記ターゲット画像の関心領域における各画素点の輝度に基づいて、前記関心領域の輝度分布を決定するように構成される。

1つの可能な実施形態において、前記第２決定モジュールは更に、
前記関心領域の平均輝度を決定し、
前記関心領域の輝度分布に基づいて、前記関心領域の境界輝度を決定し、
前記関心領域の平均輝度及び前記境界輝度に基づいて、前記関心領域のターゲット輝度を決定し、
輝度と画像収集パラメータとのマッピング関係に基づいて、前記ターゲット輝度に対応するターゲットパラメータ値を決定するように構成される。

1つの可能な実施形態において、前記第２決定モジュールは更に、
前記関心領域における各画素点に対応する重みを決定し、
前記関心領域における各画素点に対応する重み及び各画素点の輝度に基づいて、前記関心領域の平均輝度を決定するように構成される。

1つの可能な実施形態において、前記第２決定モジュールは更に、
前記関心領域における画素点と前記関心領域の領域中心との距離に基づいて、前記関心領域における各画素点に対応する重みを決定するように構成され、画素点と前記関心領域の領域中心との距離は、前記画素点に対応する重みと正に相関する。

1つの可能な実施形態において、前記第２決定モジュールは更に、
前記関心領域の輝度分布において、輝度参照値範囲内に対応する画素点の数を決定するように構成され、前記輝度参照値範囲は、前記輝度分布における最小輝度値から輝度参照値までの輝度範囲であり、前記輝度参照値は、前記輝度分布におけるいずれか１つの輝度値であり、
前記第２決定モジュールは更に、前記関心領域の画素点総数のうち、前記輝度参照値範囲内に対応する画素点の数により占められる割合を決定し、
前記画素点割合が所定の割合以上である場合、前記輝度参照値を前記関心領域の境界輝度として決定するように構成される。

1つの可能な実施形態において、前記第２決定モジュールは更に、
事前設定された所望の境界輝度を取得し、
前記所望の境界輝度と前記境界輝度との比を決定し、
前記所望の境界輝度と前記境界輝度との比及び前記関心領域の平均輝度に基づいて、前記関心領域のターゲット輝度を決定するように構成される。

1つの可能な実施形態において、前記装置は、
前記ターゲットパラメータ値を用いて、前記現在のシーンに対して画像収集を行うように構成される収集モジュールを更に備える。

1つの可能な実施形態において、前記ターゲットパラメータ値は、
露光値、露光時間及びゲインのうちの少なくとも１つを含む。

本開示のもう１つの態様によれば、電子機器を提供する。前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、上記画像処理方法を実行するように構成される。

本開示の一態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータに上記画像処理方法を実行させるためのコンピュータプログラムを記憶している。
例えば、本願は以下の項目を提供する。
（項目１）
現在のシーンでリアルタイムに収集されたターゲット画像に対して人形検出を行い、人形検出結果を得ることと、
前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定することと、
前記関心領域の輝度分布に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定することと、を含む、画像処理方法。
（項目２）
前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定することは、
前記人形検出結果が前記ターゲット画像に顔領域が存在することを表す場合、前記ターゲット画像における顔領域に基づいて、前記ターゲット画像の前記関心領域を決定することを含むことを特徴とする
項目１に記載の方法。
（項目３）
前記ターゲット画像における顔領域に基づいて、前記ターゲット画像の前記関心領域を決定することは、
前記ターゲット画像に複数の顔領域が存在する場合、前記複数の顔領域のうちの最大顔領域を決定することと、
前記最大顔領域を前記ターゲット画像の前記関心領域として決定することと、を含むことを特徴とする
項目２に記載の方法。
（項目４）
前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の前記関心領域を決定することは、
前記人形検出結果が前記ターゲット画像に顔領域が存在しないことを表す場合、前記ターゲット画像の中心画像領域を決定することと、
前記中心画像領域を前記ターゲット画像の前記関心領域として決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目５）
前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定した後、且つ、前記関心領域の輝度分布に基づいて、前記現在のシーンで画像収集に用いられるターゲットパラメータ値を決定する前に、
前記ターゲット画像の関心領域における各画素点の輝度に基づいて、前記関心領域の輝度分布を決定することを更に含むことを特徴とする
項目１に記載の方法。
（項目６）
前記関心領域の輝度分布に基づいて、前記現在のシーンで画像収集に用いられるターゲットパラメータ値を決定することは、
前記関心領域の平均輝度を決定することと、
前記関心領域の輝度分布に基づいて、前記関心領域の境界輝度を決定することと、
前記関心領域の平均輝度及び前記境界輝度に基づいて、前記関心領域のターゲット輝度を決定することと、
輝度と画像収集パラメータとのマッピング関係に基づいて、前記ターゲット輝度に対応するターゲットパラメータ値を決定することと、を含むことを特徴とする
項目１から５のうちいずれか一項に記載の方法。
（項目７）
前記関心領域の平均輝度を決定することは、
前記関心領域における各画素点に対応する重みを決定することと、
前記関心領域における各画素点に対応する重み及び各画素点の輝度に基づいて、前記関心領域の平均輝度を決定することと、を含むことを特徴とする
項目６に記載の方法。
（項目８）
前記関心領域における各画素点に対応する重みを決定することは、
前記関心領域における画素点と前記関心領域の領域中心との距離に基づいて、前記関心領域における各画素点に対応する重みを決定することであって、画素点と前記関心領域の領域中心との距離は、前記画素点に対応する重みと正に相関する、ことを含むことを特徴とする
項目７に記載の方法。
（項目９）
前記関心領域の輝度分布に基づいて、前記関心領域の境界輝度を決定することは、
前記関心領域の輝度分布において、輝度参照値範囲内に対応する画素点の数を決定することであって、前記輝度参照値範囲は、前記輝度分布における最小輝度値から輝度参照値までの輝度範囲であり、前記輝度参照値は、前記輝度分布におけるいずれか１つの輝度値である、ことと、
前記関心領域の画素点総数のうち、前記輝度参照値範囲内に対応する画素点の数により占められる割合を決定することと、
前記画素点割合が所定の割合以上である場合、前記輝度参照値を前記関心領域の境界輝度として決定することと、を含むことを特徴とする
項目６に記載の方法。
（項目１０）
前記関心領域の平均輝度及び前記境界輝度に基づいて、前記関心領域のターゲット輝度を決定することは、
事前設定された所望の境界輝度を取得することと、
前記所望の境界輝度と前記境界輝度との比を決定することと、
前記所望の境界輝度と前記境界輝度との比及び前記関心領域の平均輝度に基づいて、前記関心領域のターゲット輝度を決定することと、を含むことを特徴とする
項目６に記載の方法。
（項目１１）
前記ターゲットパラメータ値を用いて、前記現在のシーンに対して画像収集を行うことを更に含むことを特徴とする
項目１から５又は７から１０のうちいずれか一項に記載の方法。
（項目１２）
前記ターゲットパラメータ値は、
露光値、露光時間及びゲインのうちの少なくとも１つを含むことを特徴とする
項目１１に記載の方法。
（項目１３）
現在のシーンでリアルタイムに収集されたターゲット画像に対して人形検出を行い、人形検出結果を得るように構成される検出モジュールと、
前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定するように構成される第１決定モジュールと、
前記関心領域の輝度分布に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定するように構成される第２決定モジュールと、を備える、画像処理装置。
（項目１４）
前記第１決定モジュールは更に、
前記人形検出結果が前記ターゲット画像に顔領域が存在することを表す場合、前記ターゲット画像における顔領域に基づいて、前記ターゲット画像の前記関心領域を決定するように構成されることを特徴とする
項目１３に記載の装置。
（項目１５）
前記第１決定モジュールは更に、
前記ターゲット画像に複数の顔領域が存在する場合、前記複数の顔領域のうちの最大顔領域を決定し、
前記最大顔領域を前記ターゲット画像の前記関心領域として決定するように構成されることを特徴とする
項目１４に記載の装置。
（項目１６）
前記第１決定モジュールは更に、
前記人形検出結果が前記ターゲット画像に顔領域が存在しないことを表す場合、前記ターゲット画像の中心画像領域を決定し、
前記中心画像領域を前記ターゲット画像の前記関心領域として決定するように構成されることを特徴とする
項目１３に記載の装置。
（項目１７）
前記第１決定モジュールは更に、前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定した後、且つ、前記関心領域の輝度分布に基づいて、前記現在のシーンで画像収集に用いられるターゲットパラメータ値を決定する前に、前記ターゲット画像の関心領域における各画素点の輝度に基づいて、前記関心領域の輝度分布を決定するように構成されることを特徴とする
項目１３に記載の装置。
（項目１８）
前記第２決定モジュールは更に、
前記関心領域の平均輝度を決定し、
前記関心領域の輝度分布に基づいて、前記関心領域の境界輝度を決定し、
前記関心領域の平均輝度及び前記境界輝度に基づいて、前記関心領域のターゲット輝度を決定し、
輝度と画像収集パラメータとのマッピング関係に基づいて、前記ターゲット輝度に対応するターゲットパラメータ値を決定するように構成されることを特徴とする
項目１３から１７のうちいずれか一項に記載の装置。
（項目１９）
前記第２決定モジュールは更に、
前記関心領域における各画素点に対応する重みを決定し、
前記関心領域における各画素点に対応する重み及び各画素点の輝度に基づいて、前記関心領域の平均輝度を決定するように構成されることを特徴とする
項目１８に記載の装置。
（項目２０）
前記第２決定モジュールは更に、
前記関心領域における画素点と前記関心領域の領域中心との距離に基づいて、前記関心領域における各画素点に対応する重みを決定するように構成され、画素点と前記関心領域の領域中心との距離は、前記画素点に対応する重みと正に相関することを特徴とする
項目１９に記載の装置。
（項目２１）
前記第２決定モジュールは更に、
前記関心領域の輝度分布において、輝度参照値範囲内に対応する画素点の数を決定するように構成され、前記輝度参照値範囲は、前記輝度分布における最小輝度値から輝度参照値までの輝度範囲であり、前記輝度参照値は、前記輝度分布におけるいずれか１つの輝度値であり、
前記第２決定モジュールは更に、前記関心領域の画素点総数のうち、前記輝度参照値範囲内に対応する画素点の数により占められる割合を決定し、
前記画素点割合が所定の割合以上である場合、前記輝度参照値を前記関心領域の境界輝度として決定するように構成されることを特徴とする
項目１８に記載の装置。
（項目２２）
前記第２決定モジュールは更に、
事前設定された所望の境界輝度を取得し、
前記所望の境界輝度と前記境界輝度との比を決定し、
前記所望の境界輝度と前記境界輝度との比及び前記関心領域の平均輝度に基づいて、前記関心領域のターゲット輝度を決定するように構成されることを特徴とする
項目１８に記載の装置。
（項目２３）
前記ターゲットパラメータ値を用いて、前記現在のシーンに対して画像収集を行うように構成される収集モジュールを更に備えることを特徴とする
項目１３から１６又は１９から２２のうちいずれか一項に記載の装置。
（項目２４）
前記ターゲットパラメータ値は、
露光値、露光時間及びゲインのうちの少なくとも１つを含むことを特徴とする
項目２３に記載の装置。
（項目２５）
プロセッサによる実行可能な命令を記憶するためのメモリと、
前記メモリに記憶された命令を呼び出して、項目１から１２のうちいずれか一項に記載の方法を実行するように構成されるプロセッサと、を備える電子機器。
（項目２６）
コンピュータに項目１から１２のうちいずれか一項に記載の方法を実行させるためのコンピュータプログラム命令を記憶したコンピュータ可読記憶媒体。

本開示の実施例において、現在のシーンでリアルタイムに収集されたターゲット画像を取得し、続いて、ターゲット画像に対して人形検出を行い、人形検出結果を得る。更に、ターゲット画像の人形検出結果に基づいて、ターゲット画像の関心領域を決定する。最後に、決定された関心領域の輝度分布に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定する。従って、逆光又は強光等のシーンであっても、ターゲット画像に対して人形検出を行うことで得られた人形検出結果に基づいて、現在のシーンにおける好適な収集パラメータ値を決定することもできる。これにより、画像収集装置は、決定した収集パラメータ値に基づいて、現在のシーンに対して画像収集を行い、収集した画像フレームに、高い顔品質を持たせ、後続の顔認識の正確率を向上させることができる。

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本開示を限定するものではないことが理解されるべきである。

本開示の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。

本開示の実施例による画像処理方法の一例を示すフローチャートである。 本開示の実施例による画像処理方法の一例の適用シーンを示す図である。 本開示の実施例による画像収集に用いられるターゲットパラメータ値の決定の一例を示すフローチャートである。 本開示の実施例による画像処理方法の一例を示すフローチャートである。 本開示の実施例による画像処理装置の一例を示すブロック図である。 本開示の実施例による電子機器の一例を示すブロック図である。

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本開示に適合する実施例を示し、かつ、明細書とともに本開示の技術的解決手段を解釈することに用いられる。

以下、図面を参照しながら本開示の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。

ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

なお、本開示をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。

本開示の実施例で提供される画像処理方法は、現在のシーンでリアルタイムに収集されたターゲット画像に対して人形検出を行い、人形検出結果を得て、該ターゲット画像の人形検出結果に基づいて、ターゲット画像に含まれる関心領域を決定し、ターゲット画像の関心領域における各画素点の輝度に基づいて、関心領域の輝度分布を決定し、関心領域の輝度分布に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定することができる。これにより、ターゲット画像に対して人形検出を行うことで得られた人形検出結果に基づいて、現在のシーンに適する収集パラメータ値を決定することができる。従って、決定された収集パラメータに基づいて、現在のシーンに対して画像収集を行うことができる。現在のシーンが逆光又は強光シーンであっても、決定した収集パラメータ値に基づいて収集パラメータを調整し、撮られた画像に、高い顔品質を持たせ、後続の顔認識の正確率を向上させることができる。

関連技術において、逆光シーンで収集された画像フレームにおいて、画像フレームの背景輝度が大きく、画像フレームにおける顔領域が暗く、顔品質が低く、顔認識の効果に影響を与えてしまう。本開示の実施例で提供される画像処理方法は、強光、暗光及び逆光などのような撮影に不利である環境に適用し、様々な環境における顔のイメージング品質を向上させることができる。

図１は、本開示の実施例による画像処理方法を示すフローチャートである。該画像処理方法は、端末装置又は他のタイプの電子機器により実行されてもよい。ここで、端末装置は、ゲートデバイス、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。

幾つかの可能な実施形態において、該画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。以下、画像処理端末を実行主体として本開示の実施例の画像処理方法を説明する。画像処理端末は、上記端末装置又は他のタイプの電子機器であってもよい。

図１に示すように、前記画像処理方法は下記ステップを含んでもよい。

Ｓ１１において、現在のシーンでリアルタイムに収集されたターゲット画像に対して人形検出を行い、人形検出結果を得る。

本開示の実施例において、画像処理端末１は、現在のシーンでリアルタイムに画像収集を行い、リアルタイムに収集されたターゲット画像を得ることができる。又は、図２は、本開示の実施例による画像処理方法の一例の適用シーンを示す図である。図２に示すように、画像処理端末１は、他の装置２からネットワーク３を経由して伝送されたリアルタイムに収集又は撮像したターゲット画像を受信することで、リアルタイムに収集されたターゲット画像を得ることができる。例えば、画像収集装置（例えば、カメラ、画像センサ）、撮像装置（例えば、カメラ、モニタ）等の他の装置２によりリアルタイムに収集又は撮像されたターゲット画像を受信することで、リアルタイムに収集されたターゲット画像を得ることができる。ターゲット画像は、単独の画像であってもよく、又は、ターゲット画像は、ビデオストリームにおける１つの画像フレームであってもよい。画像処理端末は、ターゲット画像を得て、ターゲット画像に対して人形検出を行い、人形検出結果を得る。該人形検出結果は、ターゲット画像のある領域に対して検出を行うことで得られた検出結果であってもよい。例えば、顔領域の検出結果、上半身領域の検出結果であってもよい。

1つの可能な実施形態において、画像処理端末は、構築した人形検出ネットワークを利用してターゲット画像に対して人形検出を行うことができる。人形検出ネットワークは、構築したニューラルネットワークを訓練することで得られたものであってもよい。例えば、従来のニューラルネットワーク構造を利用してニューラルネットワークを構築することができる。実際の適用シーンに応じて、ニューラルネットワーク構造を設計し、ニューラルネットワークを構築することもできる。ニューラルネットワークを構築し、訓練画像を構築したニューラルネットワークに入力し、構築したニューラルネットワークを利用して訓練画像に対して人形検出を行い、人形検出結果を得る。続いて、該人形検出結果を訓練画像のアノテーション結果と比較し、比較結果を得る。比較結果を利用して、構築したニューラルネットワークのモデルパラメータを調整し、構築したニューラルネットワークモデルの人形検出結果をアノテーション結果と一致させる。従って、構築したニューラルネットワークモデルにより、人形検出ネットワークを得ることができる。ここで、強光及び暗光等のような劣悪な撮像環境で収集された画像を訓練画像とすることができる。人形検出ネットワークは、ターゲット画像の人形輪郭に対して検出を行うことができる。顔認識シーンにおいて、得られた人形検出結果は、顔領域の検出結果であってもよい。

Ｓ１２において、ターゲット画像の人形検出結果に基づいて、ターゲット画像の関心領域を決定する。

本開示の実施例において、画像処理端末は、ターゲット画像の人形検出結果に基づいて、ターゲット画像に顔領域が存在するかどうかを決定することができる。ターゲット画像に顔領域が存在するかどうかに基づいて、異なる方式でターゲット画像の関心領域を決定することができる。例えば、ターゲット画像に顔領域が存在すれば、顔領域をターゲット画像の関心領域としてもよい。ターゲット画像に顔領域が存在しなければ、ターゲット画像の一部の画像領域をターゲット画像の関心領域としてもよい。例えば、上半部分の画像領域、下半部分の画像領域等の画像領域をターゲット画像の関心領域とする。ここの関心領域は、画像処理プロセスで注目される画像領域と理解されてもよい。ターゲット画像の関心領域を決定することで、該画像に対する画像処理を容易にすることができる。

1つの可能な実施形態において、前記人形検出結果が前記ターゲット画像に顔領域が存在することを表す場合、前記ターゲット画像における顔領域に基づいて、前記ターゲット画像の前記関心領域を決定する。

該実施形態において、ターゲット画像に、１つ以上の顔領域が存在してもよい。人形検出結果が、ターゲット画像に１つの顔領域が存在することを表すと、該顔領域をターゲット画像の関心領域とすることができる。人形検出結果が、ターゲット画像に複数の顔領域が存在することを表すと、複数の顔領域から少なくとも１つの顔領域を選択し、選択された少なくとも１つの顔領域をターゲット画像の関心領域とする。例えば、複数の顔領域から、ターゲット画像の中間部分に位置する少なくとも１つの顔領域を選択する。従って、ターゲット画像における顔領域により、関心領域を決定し、更に、決定された関心領域に対して更に画像処理を行うことができ、画像処理の効率及び正確率を向上させる。

該実施形態の一例において、前記ターゲット画像に複数の顔領域が存在する場合、前記複数の顔領域のうちの最大顔領域を決定し、続いて、前記最大顔領域を前記ターゲット画像の前記関心領域として決定する。

該例において、ターゲット画像に複数の顔領域が存在すると、複数の顔領域の大きさを比較し、続いて、比較結果に基づいて、複数の顔領域のうちの最大顔領域を決定し、最大顔領域をターゲット画像の関心領域とする。従って、複数の顔領域から１つの最も関心のある顔領域を関心領域として選択する。これにより、画像処理プロセスにおいて、関心領域以外の他の画像領域を考慮する必要がなく、画像処理の効率及び正確率を向上させることができる。

1つの可能な実施形態において、前記人形検出結果が前記ターゲット画像に顔領域が存在しないことを表す場合、前記ターゲット画像の中心画像領域を決定し、続いて前記中心画像領域を前記ターゲット画像の前記関心領域として決定する。

該実施形態において、画像収集プロセスで、顔領域は一般的に、ターゲット画像の中心画像領域に位置するために、人形検出により、顔領域が検出されなかった場合、ターゲット画像の中心画像領域をターゲット画像の関心領域とすることができる。例えば、ターゲット画像を複数の画像領域に分ける。例えば、ターゲット画像を９個又は２５個などのような複数の領域に平均に分ける。続いて、複数の領域のうちの中心画像領域をターゲット画像の関心領域として決定する。例えば、９個の画像領域のうち、ターゲット画像の中心に位置する１つの画像領域を関心領域として決定する。これにより、ターゲット画像から顔領域が検出されなかった場合にも、ターゲット画像の関心領域を決定することもできる。更に、決定した関心領域に対して更に画像処理を行い、画像処理の効率及び正確率を向上させることができる。

本開示の実施例において、ターゲット画像の関心領域を決定し、ターゲット画像の関心領域における各画素点の輝度に基づいて、関心領域の輝度分布を得る。該輝度分布は、輝度ヒストグラム等で表されてもよい。

Ｓ１３において、関心領域の輝度分布に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定する。

関心領域の輝度分布に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を得ることができる。該ターゲットパラメータ値は、現在の撮像環境に適するパラメータ値である。該ターゲットパラメータ値による作用下で、十分に露光された顔品質が高い画像を得ることができる。これにより、例えば、強光及び暗光など、様々な劣悪な撮像環境に適応する。

ここで、画像収集を行う時、画像収集パラメータを用いる必要がある。該画像収集パラメータは、画像収集過程で設定された撮像パラメータであってもよい。ターゲットパラメータ値は、現在のシーンでの画像収集パラメータである。画像収集パラメータ又はターゲットパラメータ値は、露光値、露光時間及びゲインのうちの１つ又は複数であってもよい。ここで、露光値は、レンズの通光能力を表すパラメータであり、可以是シャッタースピード値と絞り値との組み合わせであってもよい。露光時間は、シャッターの開放から閉鎖までの時間間隔であってもよい。ゲインは、収集されたビデオ信号を増幅する場合の倍数であってもよい。画像収集パラメータは、設定されてもよい。画像収集パラメータが異なる場合、同一のシーンで撮像を行うことで得られた画像も異なる。従って、画像収集パラメータを調整することで、画像品質が高い画像を得ることができる。

1つの可能な実施形態において、現在のシーンでのターゲットパラメータ値を決定し、前記画像収集パラメータを前記ターゲットパラメータ値に調整し、前記ターゲットパラメータ値を利用して、前記現在のシーンに対して画像収集を行う。

該実施形態において、画像処理端末は、画像収集機能を有する。現在のシーンに対して撮像を行うことができる。画像処理端末は、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定し、画像収集パラメータをターゲットパラメータ値と設定し、ターゲットパラメータ値による作用下で、現在のシーンに対して引き続き撮像を行い、収集した画像を得る。該画像は、画像収集パラメータがターゲットパラメータ値である場合に得られた画像である。ターゲットパラメータ値が最適化されたパラメータ値であるため、該画像は、高い画像品質を有する。顔認識シーンにおいて、該画像は、高い顔品質を有し、後続の顔認識の速度及び正確率を向上させることができる。

ここで、画像処理端末は、画像収集機能を有しない場合、画像処理端末は、決定されたターゲットパラメータ値を画像収集装置に送信する。従って、画像収集装置は、ターゲットパラメータ値を利用して、現在のシーンに対して撮像を行うことができる。

本開示の実施例で提供される画像処理方法は、関心領域の輝度分布に基づいて、画像収集に用いられるターゲットパラメータ値を決定することができる。これにより、逆光、強光及び弱光などのシーンで撮られた顔画像の品質が低いという問題を解決することができる。本開示の実施例は、画像収集に用いられるターゲットパラメータ値の決定の実施形態を更に提供する。

図３は、本開示の実施例による画像収集に用いられるターゲットパラメータ値の決定の一例を示すフローチャートである。図３に示すように、上記ステップＳ１３は、下記ステップを含んでもよい。

Ｓ１３１において、関心領域の平均輝度を決定する。

ここで、関心領域における各画素点の輝度に基づいて、関心領域の平均輝度を決定することができる。例えば、関心領域に含まれる画素点の数を統計し、続いて、関心領域における全ての画素点の輝度を加算し、関心領域の総輝度を得る。続いて、総輝度を関心領域に含まれる画素点の数で除算し、関心領域の平均輝度を得る。

1つの可能な実施形態において、前記関心領域における各画素点に対応する重みを決定し、続いて、前記関心領域における各画素点に対応する重み及び各画素点の輝度に基づいて、前記関心領域の平均輝度を決定することができる。

該実施形態において、関心領域における各画素点に対して、対応する重みを設定する。例えば、関心領域における特に注目した画像部分に含まれる画素点に対して、大きな重みを設定する。これにより、関心領域の平均輝度を決定する時、特に注目した画像部分が大きな貢献を与えるようにする。又は、関心領域における画素点に対して同一の重みを設定してもよい。例えば、関心領域が顔領域である場合、関心領域における画素点に対して、同一の重み値を設定してもよい。関心領域における各画素点に対応する重みを決定し、各画素点の輝度に対して加重加算を行い、加重加算で得られた総輝度を関心領域における画素点の重みの和で除算し、関心領域の平均輝度を得る。

該実施形態の一例において、前記人形検出結果が、前記ターゲット画像に顔が存在することを表す場合、前記関心領域における画素点と前記関心領域の領域中心との距離に基づいて、前記関心領域における各画素点に対応する重みを決定することができる。ここで、画素点と前記関心領域の領域中心との距離は、前記画素点に対応する重みと正に相関する。画素点と前記関心領域の領域中心との距離が近いほど、前記画素点に対応する重みが大きくなる。

該例において、人形検出結果が、前記ターゲット画像に顔領域が存在しないことを表すと、関心領域は、ターゲット画像の中心画像領域であってもよい。関心領域における画素点と関心領域の領域中心との距離に基づいて、関心領域における画素点に対して、対応する重みを設定する。画素点と前記関心領域の領域中心との距離は、前記画素点に対応する重みと正に相関する。例えば、領域中心に近い画素点に対して、大みな重みを設定し、領域中心に遠い画素点に対して小さな重みを設定する。つまり、中間部分に位置する画素点であるほど、重みが大きくなる。例えば、中間部分の画素点の重みは、８であり、領域中心に遠い外層部分の画素点の重みは４であり、関心領域内の最外層部分の画素点の重みは、１である。ここで、関心領域を複数の画像部分に分ける。各画像部分における画素点は、同じ重みを有してもよい。これにより、顔領域がターゲット画像の中心に位置する確率が大きいため、中間部分の画素点の重みを大きく設定し、顔領域の画素点が平均輝度に与える貢献を最大限保留する。

Ｓ１３２において、関心領域の輝度分布に基づいて、関心領域の境界輝度を決定する。

ここで、関心領域の輝度分布は、輝度ヒストグラムで表されてもよい。輝度ヒストグラムの横座標は、輝度値であってもよい。輝度ヒストグラムの縦座標は、輝度値に対応する画素点の数であってもよい。関心領域の輝度分布に基づいて、関心領域の境界輝度を決定することができる。該境界輝度は、１つの輝度値であってもよい。該輝度値以内に対応する画素点は、関心領域の大部分の画素点を含んでもよい。又は、該境界輝度は、１つの輝度区間であってもよい。該輝度区間内に対応する画素点は、関心領域の大部分の画素点を含んでもよい。

1つの可能な実施形態において、前記関心領域の輝度分布において、輝度参照値範囲内に対応する画素点の数を決定し、続いて前記関心領域の画素点総数のうち、前記輝度参照値範囲内に対応する画素点の数により占められる割合を決定する。前記画素点の割合が所定の割合以上である場合、前記画素点の割合が所定の割合以上である輝度参照値を前記関心領域の境界輝度として決定する。

該実施形態において、境界輝度は、１つの輝度値であってもよい。関心領域の輝度ヒストグラムについて、いずれか１つの輝度値を輝度参照値として、続いて、該輝度参照値範囲内に対応する画素点の数を統計する。該輝度参照値の範囲は、輝度ヒストグラムにおける最小輝度値から該輝度参照値までの輝度範囲であってもよい。関心領域における画素点の総数のうち、該輝度参照値範囲内に対応する画素点の数により占められる割合が所定の割合以上である場合、例えば、画素点の総数のうち、輝度参照値範囲内に対応する画素点の数により占められる割合が９９％に達した場合、該輝度参照値を境界輝度として決定することができる。

Ｓ１３３において、関心領域の平均輝度及び境界輝度に基づいて、関心領域のターゲット輝度を決定する。

ここで、関心領域の平均輝度及び境界輝度を決定し、関心領域の平均輝度及び境界輝度に基づいて、関心領域に適するターゲット輝度を決定する。該ターゲット輝度で、関心領域における画素点が合理的な輝度値を有すると認められ、過度な露光又は露光不足による画像品質の低下が発生することがない。従って、決定されたターゲット輝度に基づいて、画像収集パラメータのターゲットパラメータ値を決定することができる。

1つの可能な実施形態において、事前設定された所望の境界輝度を取得し、続いて、前記所望の境界輝度と前記境界輝度との比を決定し、前記所望の境界輝度と前記境界輝度との比及び前記関心領域の平均輝度に基づいて、前記関心領域のターゲット輝度を決定する。

該実施形態において、所望の境界輝度は、十分な画像露光で決定された境界輝度であってもよい。実際の適用シーンに応じて設定されてもよい。事前設定された所望の境界輝度を取得し、所望の境界輝度と境界輝度との比を算出し、続いて、該比に関心領域の平均輝度を乗算することで、関心領域のターゲット輝度を得る。例えば、所望の境界輝度が２００であり、関心領域の境界輝度が１００であるとすれば、関心領域の平均輝度が低く、関心領域内の画像品質が低く、該関心領域に対する顔認識が困難であることを表す。これにより、所望の境界輝度２００と関心領域の境界輝度１００との比２に関心領域の平均輝度を乗算して、ターゲット輝度を得る。該ターゲット輝度は、平均輝度の２倍である。従って、関心領域の平均輝度がターゲット輝度に達した場合、関心領域が高い画像品質を有することを表す。更に、決定されたターゲット輝度に基づいて、画像収集パラメータのターゲットパラメータ値を決定する。これにより、ターゲットパラメータ値による作用下で、顔品質が高い画像を撮る。

Ｓ１３４において、輝度と画像収集パラメータとのマッピング関係に基づいて、前記ターゲット輝度に対応するターゲットパラメータ値を決定する。

ここで、画像の輝度と画像収集パラメータとの間に一定のマッピング関係が存在する。例えば、画像の露光時間が長いほど、画像の輝度が大きくなる。従って、画像の輝度と画像収集パラメータとのマッピング関係に基づいて、ターゲット輝度に対応するターゲットパラメータ値を決定することができる。例えば、露光値、露光時間及びゲインのうちの１つ又は複数を決定する。これにより、画像処理端末は、画像収集パラメータを最適な露光値に調整することができる。

本開示の実施例で提供される画像処理方法は、ターゲット画像に対して人形検出を行うことで得られた人形検出結果に基づいて、現在のシーンの画像収集に適するパラメータ値を決定する。現在のシーンが逆光又は強光シーンであっても、撮られた画像に高い顔品質を持たせ、後続の顔認識の正確率を向上させることもできる。

図４は、本開示の実施例による画像処理方法の一例を示すフローチャートである。図４に示すように、一例において、画像処理方法は、下記ステップを含んでもよい。

Ｓ３０１において、リアルタイムに収集されたターゲット画像を取得する。

ここで、画像処理端末は、画像収集機能を有し、現在のシーンでリアルタイムに撮像することができる。例えば、ゲートシーンにおいて、画像処理端末は、ゲートの前に位置するユーザに対してリアルタイムな画像収集を行い、ターゲット画像を得る。

Ｓ３０２において、人形検出ネットワークを利用してターゲット画像に対して人形検出を行い、人形検出結果を得る。

ここで、人形検出ネットワームは、構築したニューラルネットワークを訓練することで得られたものであってもよい。得られた人形検出結果は、ターゲット画像における顔領域の検出結果であってもよい。

Ｓ３０３において、人形検出結果に基づいて、ターゲット画像に顔領域が存在するかどうかを判定する。

Ｓ３０４において、ターゲット画像に顔領域が存在する場合、１つ又は複数の顔領域のうちの最大顔領域を関心領域とし、Ｓ３０６を実行する。

Ｓ３０５において、ターゲット画像に顔領域が存在しない場合、ターゲット画像の中心画像領域を関心領域とし、Ｓ３０６を実行する。

ここで、中心画像領域は、ターゲット画像の領域中心の所在する領域であってもよい。例えば、ターゲット画像を９個の領域に平均に分ける。ここで、中心画像領域は、９個の領域のうち、中心に位置する領域であってもよい。

Ｓ３０６において、関心領域に対して輝度ヒストグラム統計を行い、関心領域の輝度ヒストグラムを得る。

Ｓ３０７において、輝度ヒストグラムにおける画素点の輝度及び画素点に対して設定した重みに基づいて、関心領域の平均輝度を算出する。

Ｓ３０８において、輝度ヒストグラムに基づいて、輝度参照値範囲内の輝度分布を算出し、輝度参照値範囲内の輝度分布が関心領域の総輝度の９９％に達した時、該輝度参照値を境界輝度として決定する。

Ｓ３０９において、境界輝度、事前設定された所望の境界輝度及び平均輝度に基づいて、ターゲット輝度を算出する。

Ｓ３１０において、ターゲット輝度に基づいて、設定されるべき最適な露光値及び／又はゲイン値を算出する。

ここで、比例－積分－微分（Ｐｒｏｐｏｒｔｉｏｎ－Ｉｎｔｅｇｒａｌ－Ｄｉｆｆｅｒｅｎｔｉａｌ：ＰＩＤ）コントローラを利用して、ターゲット輝度により最適な露光値及び／又はゲイン値を得ることができる。

Ｓ３１１において、得られた最適な露光値及び／又はゲイン値を感光チップに設定し、Ｓ３０１を実行する。

ここで、画像信号処理（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：ＩＳＰ）ユニットにより、得られた最適な露光値及び／又はゲイン値をカメラの感光チップに設定し、続いて、最適な露光値及び／又はゲイン値を利用して、引き続き次のターゲット画像を収集する。

本開示の実施例で提供される画像処理方法は、人形検出ネットワークを利用してターゲット画像における顔領域に対して検出を行い、関心領域を決定し、続いて、ターゲット画像の関心領域における各画素点の輝度に基づいて、関心領域の輝度分布を決定し、関心領域の輝度分布に基づいて最適な露光値を得る。これにより、逆光、暗光及び強光シーンでの顔画像収集及び顔検出に好適に対処することができる。たま、付加的なコストを追加する必要がなく、ユーザ体験を向上させることができる。

本開示に言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本開示において逐一説明しないことが理解されるべきである。

なお、本開示は、画像処理装置、電子機器、コンピュータ可読記憶媒体及びプログラムを更に提供する。上記はいずれも、本開示で提供されるいずれか１つのビデオ処理方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。

具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。

図５は、本開示の実施例による画像処理装置を示すブロック図である。図５に示すように、前記画像処理装置は、
現在のシーンでリアルタイムに収集されたターゲット画像に対して人形検出を行い、人形検出結果を得るように構成される検出モジュール４１と、
前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定するように構成される第１決定モジュール４２と、
前記関心領域の輝度分布に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定するように構成される第２決定モジュール４３と、を備える。

1つの可能な実施形態において、前記第１決定モジュール４２は更に、
前記人形検出結果が前記ターゲット画像に顔領域が存在することを表す場合、前記ターゲット画像における顔領域に基づいて、前記ターゲット画像の前記関心領域を決定するように構成される。

1つの可能な実施形態において、前記第１決定モジュール４２は更に、
前記ターゲット画像に複数の顔領域が存在する場合、前記複数の顔領域のうちの最大顔領域を決定し、
前記最大顔領域を前記ターゲット画像の前記関心領域として決定するように構成される。

1つの可能な実施形態において、前記第１決定モジュール４２は更に、
前記人形検出結果が前記ターゲット画像に顔領域が存在しないことを表す場合、前記ターゲット画像の中心画像領域を決定し、
前記中心画像領域を前記ターゲット画像の前記関心領域として決定するように構成される。

1つの可能な実施形態において、前記第１決定モジュール４２は更に、前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定した後、且つ、前記関心領域の輝度分布に基づいて、前記現在のシーンで画像収集に用いられるターゲットパラメータ値を決定する前に、前記ターゲット画像の関心領域における各画素点の輝度に基づいて、前記関心領域の輝度分布を決定するように構成される。

1つの可能な実施形態において、前記第２決定モジュール４３は更に、
前記関心領域の平均輝度を決定し、
前記関心領域の輝度分布に基づいて、前記関心領域の境界輝度を決定し、
前記関心領域の平均輝度及び前記境界輝度に基づいて、前記関心領域のターゲット輝度を決定し、
輝度と画像収集パラメータとのマッピング関係に基づいて、前記ターゲット輝度に対応するターゲットパラメータ値を決定するように構成される。

1つの可能な実施形態において、前記第２決定モジュール４３は更に、
前記関心領域における各画素点に対応する重みを決定し、
前記関心領域における各画素点に対応する重み及び各画素点の輝度に基づいて、前記関心領域の平均輝度を決定するように構成される。

1つの可能な実施形態において、前記第２決定モジュール４３は更に、
前記関心領域における画素点と前記関心領域の領域中心との距離に基づいて、前記関心領域における各画素点に対応する重みを決定するように構成され、画素点と前記関心領域の領域中心との距離は、前記画素点に対応する重みと正に相関する。

1つの可能な実施形態において、前記第２決定モジュール４３は更に、
前記関心領域の輝度分布において、輝度参照値範囲内に対応する画素点の数を決定するように構成され、前記輝度参照値範囲は、前記輝度分布における最小輝度値から輝度参照値までの輝度範囲であり、前記輝度参照値は、前記輝度分布におけるいずれか１つの輝度値であり、
前記第２決定モジュール４３は更に、前記関心領域の画素点総数のうち、前記輝度参照値範囲内に対応する画素点の数により占められる割合を決定し、
前記画素点割合が所定の割合以上である場合、前記輝度参照値を前記関心領域の境界輝度として決定するように構成される。

1つの可能な実施形態において、前記第２決定モジュール４３は更に、
事前設定された所望の境界輝度を取得し、
前記所望の境界輝度と前記境界輝度との比を決定し、
前記所望の境界輝度と前記境界輝度との比及び前記関心領域の平均輝度に基づいて、前記関心領域のターゲット輝度を決定するように構成される。

1つの可能な実施形態において、前記装置は、
前記ターゲットパラメータ値を用いて、前記現在のシーンに対して画像収集を行うように構成される収集モジュールを更に備える。

1つの可能な実施形態において、前記ターゲットパラメータ値は、
露光値、露光時間及びゲインのうちの少なくとも１つを含む。

幾つかの実施例において、本開示の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実施形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。

本開示の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。

本開示の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、プロセッサは、上記方法を実行するように構成される。

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

図６は一例示的な実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。

図６を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉｎｐｕｔ Ｏｕｔｐｕｔ：Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えてもよい。

処理コンポーネント８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント８０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント８０８と処理コンポーネント８０２とのインタラクションに寄与する。

メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。

電源コンポーネント８０６は電子機器８００の様々なユニットに電力を提供する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。

マルチメディアコンポーネント８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。

オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信コンポーネント８１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。

Ｉ／Ｏインタフェース８１２は、処理コンポーネント８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。

センサコンポーネント８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサコンポーネント８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサコンポーネント８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント８１４は、ＣＭＯＳ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。

通信コンポーネント８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント８１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現される。

例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。

例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。

本開示は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本開示の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。

本開示の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよく、ユーザコンピュータ上で部分的に実行してもよく、独立したソフトウェアパッケージとして実行してもよく、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよく、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、任意の種類のネットワーク（ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む）を通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本開示の各態様を実現させることができる。

ここで、本開示の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本開示の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現させる。

図面におけるフローチャート及びブック図は、本開示の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。

以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

本開示の実施例において、現在のシーンでリアルタイムに収集されたターゲット画像を取得し、続いて、ターゲット画像に対して人形検出を行い、人形検出結果を得る。更に、ターゲット画像の人形検出結果に基づいて、ターゲット画像の関心領域を決定する。最後に、決定された関心領域の輝度分布に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定する。従って、逆光又は強光等のシーンであっても、ターゲット画像に対して人形検出を行うことで得られた人形検出結果に基づいて、現在のシーンにおける好適な収集パラメータ値を決定することもできる。これにより、画像収集装置は、決定した収集パラメータ値に基づいて、現在のシーンに対して画像収集を行い、収集した画像フレームに、高い顔品質を持たせ、後続の顔認識の正確率を向上させることができる。

Claims (13)

1. 画像処理方法であって、
   現在のシーンでリアルタイムに収集されたターゲット画像に対して人形検出を行い、人形検出結果を得ることと、
   前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定することと、
   前記関心領域の輝度分布に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定することと
   を含み、
   前記関心領域の輝度分布に基づいて、前記現在のシーンで画像収集に用いられるターゲットパラメータ値を決定することは、
   前記関心領域の平均輝度を決定することと、
   前記関心領域の輝度分布に基づいて、前記関心領域の境界輝度を決定することと、
   前記関心領域の平均輝度及び前記境界輝度に基づいて、前記関心領域のターゲット輝度を決定することと、
   輝度と画像収集パラメータとのマッピング関係に基づいて、前記ターゲット輝度に対応するターゲットパラメータ値を決定することと
   を含む、画像処理方法。
2. 前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定することは、
   前記人形検出結果が前記ターゲット画像に顔領域が存在することを表す場合、前記ターゲット画像における顔領域に基づいて、前記ターゲット画像の前記関心領域を決定することを含む、請求項１に記載の画像処理方法。
3. 前記ターゲット画像における顔領域に基づいて、前記ターゲット画像の前記関心領域を決定することは、
   前記ターゲット画像に複数の顔領域が存在する場合、前記複数の顔領域のうちの最大顔領域を決定することと、
   前記最大顔領域を前記ターゲット画像の前記関心領域として決定することと
   を含む、請求項２に記載の画像処理方法。
4. 前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の前記関心領域を決定することは、
   前記人形検出結果が前記ターゲット画像に顔領域が存在しないことを表す場合、前記ターゲット画像の中心画像領域を決定することと、
   前記中心画像領域を前記ターゲット画像の前記関心領域として決定することと
   を含む、請求項１に記載の画像処理方法。
5. 前記画像処理方法は、
   前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定した後、且つ、前記関心領域の輝度分布に基づいて、前記現在のシーンで画像収集に用いられるターゲットパラメータ値を決定する前に、
   前記ターゲット画像の関心領域における各画素点の輝度に基づいて、前記関心領域の輝度分布を決定することを更に含む、請求項１に記載の画像処理方法。
6. 前記関心領域の平均輝度を決定することは、
   前記関心領域における各画素点に対応する重みを決定することと、
   前記関心領域における各画素点に対応する重み及び各画素点の輝度に基づいて、前記関心領域の平均輝度を決定することと
   を含む、請求項５に記載の画像処理方法。
7. 前記関心領域における各画素点に対応する重みを決定することは、
   前記関心領域における画素点と前記関心領域の領域中心との距離に基づいて、前記関心領域における各画素点に対応する重みを決定することであって、画素点と前記関心領域の領域中心との距離は、前記画素点に対応する重みと正に相関する、ことを含む、請求項６に記載の画像処理方法。
8. 前記関心領域の輝度分布に基づいて、前記関心領域の境界輝度を決定することは、
   前記関心領域の輝度分布において、輝度参照値範囲内に対応する画素点の数を決定することであって、前記輝度参照値範囲は、前記輝度分布における最小輝度値から輝度参照値までの輝度範囲であり、前記輝度参照値は、前記輝度分布におけるいずれか１つの輝度値である、ことと、
   前記関心領域の画素点総数のうち、前記輝度参照値範囲内に対応する画素点の数により占められる割合を決定することと、
   前記画素点割合が所定の割合以上である場合、前記輝度参照値を前記関心領域の境界輝度として決定することと
   を含む、請求項１に記載の画像処理方法。
9. 前記関心領域の平均輝度及び前記境界輝度に基づいて、前記関心領域のターゲット輝度を決定することは、
   事前設定された所望の境界輝度を取得することと、
   前記所望の境界輝度と前記境界輝度との比を決定することと、
   前記所望の境界輝度と前記境界輝度との比及び前記関心領域の平均輝度に基づいて、前記関心領域のターゲット輝度を決定することと
   を含む、請求項１に記載の画像処理方法。
10. 前記画像処理方法は、前記ターゲットパラメータ値を用いて、前記現在のシーンに対して画像収集を行うことを更に含み、
    前記ターゲットパラメータ値は、露光値、露光時間及びゲインのうちの少なくとも１つを含む、請求項１～９のうちいずれか一項に記載の画像処理方法。
11. 画像処理装置であって、
    現在のシーンでリアルタイムに収集されたターゲット画像に対して人形検出を行い、人形検出結果を得るように構成されている検出モジュールと、
    前記ターゲット画像の人形検出結果に基づいて、前記ターゲット画像の関心領域を決定するように構成されている第１決定モジュールと、
    前記関心領域の平均輝度を決定し、前記関心領域の輝度分布に基づいて、前記関心領域の境界輝度を決定し、前記関心領域の平均輝度及び前記境界輝度に基づいて、前記関心領域のターゲット輝度を決定し、輝度と画像収集パラメータとのマッピング関係に基づいて、現在のシーンで画像収集に用いられるターゲットパラメータ値を決定するように構成されている第２決定モジュールと
    を備える、画像処理装置。
12. 電子機器であって、
    プロセッサによる実行可能な命令を記憶するためのメモリと、
    前記メモリに記憶された命令を呼び出して、請求項１～１０のうちいずれか一項に記載の画像処理方法を実行するように構成されているプロセッサと
    を備える、電子機器。
13. 請求項１～１０のうちいずれか一項に記載の画像処理方法を実行することをコンピュータに行わせるためのコンピュータプログラム命令を記憶したコンピュータ読み取り可能な記憶媒体。

Images