JP7324329B1 - 画像処理方法、装置、電子機器及び読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】本開示は、画像処理方法、装置、電子機器及び読み取り可能な記憶媒体を提供する。【解決手段】本開示において、この方法は、第１種類のカメラにより採集された第１種類の画像を受信し、第２種類のカメラにより採集された第２種類の画像を受信することを含み、前記第１種類のカメラと第２種類のカメラが表示スクリーンの透過領域の下に設置され、且つ第１種類のカメラと第２種類のカメラの動作波長範囲が異なり、前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得する。本開示は、アンダースクリーン撮像装置の感度低下、解像度劣化、フレア発生などの問題を減少するか、もしくはなくすことができるため、アンダースクリーン撮像装置の画質を向上させる。【選択図】図２

Description

本開示は、画像処理技術分野に関する。具体的に、画像処理方法、装置、電子機器及び読み取り可能な記憶媒体に関する。

従来では、多く電子機器（スマートフォンやタブレットパソコンなど）にフロントカメラが設置される。フロントカメラは、主に自撮り用にディスプレイと同じ側に設置される。フロントカメラはディスプレイと同じ側に設置されるため、フロントカメラの設置場所はディスプレイを避ける必要があり、そのためスマートフォンの裏側全面をディスプレイとする所謂フルスクリーンデザインを実現することが難しい。通常は、ディスプレイの外側のベゼル部分にフロントカメラを設置するベゼル型や、ディスプレイの一部に穴を開けてフロントカメラを設置するノッチ型やドットドロップ型、パンチホール型などがある。

また、スマートフォンの側壁にフロントカメラを格納しておき撮影時に飛び出させるポップアップ（ＰＯＰＵＰ）型を採用して、スマートフォンのディスプレイをフルスクリーンデザイン化することに成功した例はあるが、コスト、厚さ、信頼性などの課題や、撮影時のカメラの出し入れに時間がかかるなどの課題がある。更に裏面にも第2のディスプレイを設置してリアカメラを自撮りにも使用するというアイディアもあるが、コスト面やデザイン面で課題がある。

そこで近年、ディスプレイの下にフロントカメラを設置して、ディスプレイを通して自撮り撮影を行う、アンダースクリーン撮像装置の開発が行われている。フロントカメラ直上のディスプレイの透過率を高くして撮影に必要な光量を確保すると同時に、ディスプレイ使用時のディスプレイの表示コントラストも十分に取れるようにすることができれば、コストや厚さ、信頼性などの問題もなく、フルスクリーンデザインのスマートフォンが実現可能となる。

本開示の少なくとも一つの実施例により、アンダースクリーン撮像装置の画質を向上させるための画像処理方法、装置、電子機器及び読み取り可能な記憶媒体を提供する。

上記の技術問題を解決するために、本開示は、以下のように実現される。
第一態様では、本開示実施例による画像処理方法であって、
第１種類のカメラにより採集された第１種類の画像を受信し、第２種類のカメラにより採集された第２種類の画像を受信することと、
前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得することを含み、
ここで、前記第１種類のカメラと第２種類のカメラが表示スクリーンの透過領域の下に設置され、且つ第１種類のカメラと第２種類のカメラの動作波長範囲が異なる。
第二態様では、本開示実施例による画像処理装置であって、
第１種類のカメラにより採集された第１種類の画像を受信し、第２種類のカメラにより採集された第２種類の画像を受信するための受信モジュールと、
前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得するための統合モジュールを含み、
前記第１種類のカメラと第２種類のカメラが表示スクリーンの透過領域の下に設置され、且つ第１種類のカメラと第２種類のカメラの動作波長範囲が異なる。
第三態様では、本開示実施例による電子機器であって、プロセッサーとメモリを含み，前記メモリが、前記プロセッサー上に実行可能なプログラムまたは指令を記憶し、前記プログラムまたは指令が前記プロセッサーに実行されると前記第一態様に記載の画像処理方法のステップを実現する。
第四態様では、本開示実施例による読み取り可能な記憶媒体であって、前記読み取り可能な記憶媒体にプログラムまたは指令を記憶し、前記プログラムまたは指令がプロセッサーに実行されると前記方法のステップを実現する。

本開示実施例従来技術に比べて、本開示実施例による画像処理方法、装置、電子機器及び読み取り可能な記憶媒体は、アンダースクリーン撮像装置の感度低下、解像度劣化、フレア発生などの問題を減少するか、もしくはなくすことができるため、アンダースクリーン撮像装置の画質を向上させる。

本開示実施例における画像処理方法のフローチャートである。 本開示実施例におけるアンダースクリーン撮像装置の一つ構成概要図である。 本開示実施例の第１の応用シーンでの画像統合のフローチャートである。 本開示実施例の第１の応用シーンでの画像統合の別のフローチャートである。 本開示実施例の第１の応用シーンでの画像統合の別のフローチャートである。 本開示実施例におけるアンダースクリーン撮像装置の別の構成概要図である。 本開示実施例の第２の応用シーンでの画像統合のフローチャートである。 本開示実施例の第２の応用シーンでの画像統合の別のフローチャートである。 本開示実施例の第２の応用シーンでの画像統合の別のフローチャートである。 本開示実施例における画像処理装置の構成概要図である。 本開示実施例における画像処理装置の別の構成概要図である。 本開示実施例における統合モジュールの構成概要図である。 本開示実施例における統合モジュールの構成概要図である。 本開示実施例における統合モジュールの構成概要図である。 本開示実施例における統合モジュールの構成概要図である。 本開示実施例における統合モジュールの構成概要図である。 本開示実施例における統合モジュールの構成概要図である。 本開示実施例における電子機器の構成概要図である。

以下、本開示の実施例の図面とともに、本開示の実施例の技術手段を明確且つ完全的に記載する。明らかに、記載する実施例は、本開示の実施例の一部であり、全てではない。本開示の実施例に基づき、当業者が創造性のある作業をしなくても為しえる全ての他の実施例は、いずれも本開示の保護範囲に属するものである。

本開示の明細書及び特許請求の範囲における用語「第１」、「第２」などは、類似した対象を区別するためのものであり、必ずしも特定の順序又は優先順位を説明するためのものではない。ここで説明した本開示の実施例が、例えばここでの図示又は説明以外の順序でも実施できるように、このように使用されたデータは、適宜入れ替えてもよいと理解すべきである。尚且つ、用語「第１」、「第２」などにより区別される対象は、通常同種なものであり、対象な数を限定しない。例えば、第一対象は、一つでもよく、複数でもよい。なお、明細書及び特許請求の範囲における「及び／又は」は、接続対象の少なくとも１つを表す。文字「／」は、一般に、前後関連な対象が「或いは」の関係となることを示す。

従来技術のアンダースクリーン撮像装置において、ディスプレイを通して撮像するために、カメラを設置する箇所のディスプレイの透過率を上げる必要があるが、ディスプレイの透過率を上げる場合に、表示のコントラストの低下があるため、表示品質が低下し、他の部分との均一性に影響を与える問題があるため、ディスプレイの透過率を上げるには限界がある。

そのため、アンダースクリーン撮像装置のデメリットとしては、以下のような画質劣化の問題を挙げる。（１）ディスプレイの透過光量の低下による感度の低下である。（２）ディスプレイの画素の回折効果による解像度の低下である。（３）ディスプレイを構成するレイヤーからの光の散乱によるフレアである。（４）ディスプレイの透過率の波長依存性と構成層の位相変化によるカラーシフト、アーティファクト、偽色などが発生する。（５）ディスプレイ構成層の不均一性による画像の歪みである。

これらの課題に対して、画像処理やカメラの改善による様々な解決策が検討されているが、まだ商品化できるだけの解決には至っていないのが現状である。特に感度低下、解像度劣化、フレア発生については大きな問題が残っている。カメラをディスプレイの下に配置するため、カメラを大きくして感度を上げるとスマートフォンが厚くなってしまうという問題もある。

一方で、最近のスマートフォンでは、前面のディスプレイ側に個人認証用のカメラを設置する場合も多くなってきている。この場合、赤外線のＤＯＴ ＰＲＯＪＥＣＴＯＲと赤外線カメラを用いたＳＴＲＵＣＴＵＲＥＤ ＬＩＧＨＴ方式や、赤外線レーザーと赤外線カメラを用いたＴＩＭＥ ＯＦ ＦＬＩＧＨＴ方式などが用いられている。これらの方式では、レーザー光を照射して対象物からの反射光を高精度に受光する必要があることからディスプレイの下に設置することは困難であり、ディスプレイの外側にこれらの個人認証システムを設置する場所が必要になるため、フルスクリーンデザインを採用できない。従って、上記のアンダースクリーン撮像装置を用いる場合には指紋認証方式の個人認証システムを用いる場合が多いが、指紋認証方式はまだ認証精度が十分ではなく、高い信頼性が必要な用途には使用できないという問題がある。

本開示実施例によれば、上記の課題を解決するための一つとしては、表示スクリーンの下に設置されるアンダースクリーン撮像装置に適用される画像処理方法を提供する。具体的に、本開示実施例では、スクリーンの下に異なる動作波長の複数のカメラが設置され、表示スクリーンのカメラの設置部分の上に光の透過率を向上させる光透過領域（高透過領域と称する）を設置できる。

図１に示すように、当該画像処理方法において、
第１種類のカメラにより採集された第１種類の画像を受信し、第２種類のカメラにより採集された第２種類の画像を受信するステップ１１を含む。ここで、前記第１種類のカメラと第２種類のカメラが表示スクリーンの透過領域の下に設置され、且つ第１種類のカメラと第２種類のカメラの動作波長範囲が異なる。
ここで、表示スクリーンの光透過領域の下に設置される第１種類のカメラと第２種類のカメラにより目標対象の画像が採集されて、第１種類の画像と第２種類の画像を取得する。前記光透過領域の透過率が所定の第１閾値より大きい。光透過領域と表示スクリーンの他の部分の均一性に損なわれる問題を軽減させるために、前記光透過領域の透過率が、所定の第１閾値より大きい第２閾値より小さい。

本開示実施例において、第１種類のカメラと第２種類のカメラがそれぞれことなる波長範囲の光により結像する。前記第１種類のカメラが一個か複数であてもよく、前記第２種類のカメラも一個か複数であってもよい。具体的に、前記第１種類のカメラは、可視領域の光により結像するＲＧＢカメラであり、前記第２種類のカメラは、赤外線の光により結像するＮＩＲカメラである。

ステップ１２では、前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得する。
ここで、ステップ１２において、異なる波長による結像する画像を統合処理により、本開示実施例が異なる波長のそれぞれの結像特性で、アンダースクリーン撮像装置の感度低下、解像度劣化、フレア発生などの問題を減少するか、もしくはなくすことができるため、アンダースクリーン撮像装置の画質を向上させる。

アンダースクリーン撮像装置の位置が異なるため、同一の目標対象を採集された画像は、一般に、視野角、光軸、視差などに違いがある。そのため、ステップ１２の前に、本開示実施例は、前記第１種類の画像と第２種類の画像を歪や視差を補正してもよい。そして、ステップ１２で、補正後の第１種類の画像と第２種類の画像を画像統合処理する。

前記第１種類のカメラは、ＲＧＢカメラであり、前記第２種類のカメラは、ＮＩＲカメラであり、且つ、前記第１種類のカメラは、第１のカメラを含み、前記第２種類のカメラは、第２のカメラを含む第１の応用シーンで、第１のカメラは、第１画像（ＲＧＢ画像）を取得し、第２のカメラは、第２画像（ＹＵＶ画像）を取得する。本開示実施例は、上記ステップ１２においても複数の実現方式がある。

第１の方式では、前記（１）の感度低下の問題と（２）の解像度低下の問題を解決できる。具体的に、前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得し、前記第２画像から第２のＹ信号を抽出する。前記第１のＹ信号と第２のＹ信号を統合して、第３のＹ信号を取得する。前記第３のＹ信号を用いて、前記第１のＵＶ信号と合成して目標画像を取得する。

第２の方式では、前記（１）の感度低下の問題と。（２）の解像度低下の問題と、（３）のフレアの発生する問題を解決できる。具体的に、前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得すし、前記第２画像から第２のＹ信号を抽出する。前記第１のＹ信号と第２のＹ信号の第１の差分を算出する。前記第１の差分に基づいて、フレア位置を検出し、前記第１画像と第２画像におけるフレアを除去して、更新後の第１のＹ信号と、第１のＵＶ信号と、第２のＹ信号を取得する。更新後の第１のＹ信号と第２のＹ信号を統合して、第４のＹ信号を取得する。前記第４のＹ信号を用いて、更新後の前記第１のＵＶ信号と合成して目標画像を取得する。

第３の方式では、前記（１）の感度低下の問題と、（２）の解像度の低下と、（３）のフレアの発生と、（４）の顔認証の問題を解決できる。具体的に、前記第２の実現方式を基に、前記第１画像と第２画像との視差情報に基づいて、第１の深度画像を生成し、前記目標画像と前記目標画像に対応する前記第１の深度画像を出力することで、前記第１の深度画像の深度情報に基づいて、顔認識を行う。

前記第１種類のカメラは、ＲＧＢカメラであり、前記第２種類のカメラは、ＮＩＲカメラであり、且つ、前記第１種類のカメラは、第１のカメラを含み、前記第２種類のカメラは、第２のカメラと第３のカメラを含む第２の応用シーンで、第１のカメラは、第１画像（ＲＧＢ画像）を採集し、第２のカメラは、第２画像（白黒画像）を採集し、第３のカメラは、第３画像（白黒画像）を採集する。本開示実施例は、上記ステップ１２においても複数の実現方式がある。

第１の方式では、前記（１）の感度低下の問題と（２）の解像度低下の問題を解決できる。具体的に、前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得し、前記第２画像から第２のＹ信号を抽出し、前記第３画像から第５のＹ信号を抽出する。前記第１のＹ信号と、第２のＹ信号と、第５のＹ信号を統合して、第６のＹ信号を取得する。前記第６のＹ信号を用いて、前記第１のＵＶ信号と合成して目標画像を取得する。

第２の方式では、前記（１）の感度低下の問題と、（２）の解像度の低下と、（３）のフレアの発生する問題を解決できる。具体的に、前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得し、前記第２画像から第２のＹ信号を抽出し、前記第３画像から第５のＹ信号を抽出する。前記第１のＹ信号と第２のＹ信号の第１の差分を算出し、前記第１のＹ信号と、第２のＹ信号との第２の差分を算出する。前記第１の差分と第２の差分に基づいて、フレア位置を検出し、前記第１画像と、第２画像と第３画像におけるフレアを除去して、更新後の第１のＹ信号と、第１のＵＶ信号と、第２のＹ信号と、第５のＹ信号を取得し、更新後の第１のＹ信号と、第２のＹ信号と、第５のＹ信号を統合して、第７のＹ信号を取得し、前記第７のＹ信号を用いて、更新後の前記第１のＵＶ信号と合成して目標画像を取得する。

第３の方式では、前記（１）の感度低下、（２）の解像度の低下、（３）のフレアの発生と（４）の顔認証の問題を解決できる。具体的に、前記第２の実現方式を基に、前記第１画像、第２画像と第３画像との視差情報に基づいて、第２の深度画像を生成し、前記目標画像と前記目標画像に対応する前記第２の深度画像を出力する。

以下では、前記第１種類のカメラは、ＲＧＢカメラとし、前記第２種類のカメラは、ＮＩＲカメラとして例を挙げる。幾つかの図面をとともに、以上の第１の応用シーンと第２の応用シーンのフローをさらに詳細に説明する。

図２～図５を参照する。上記の第１の応用シーンに対応して、図２に示すように、表示スクリーンの下に二つのカメラを配置するアンダースクリーン撮像装置である。表示スクリーンに、一つの高透過領域を含む。ここで、前記高透過領域の光透過率が表示スクリーンの他の部分より高い。高透過領域の下に、第１種類のカメラと第２種類のカメラが設置される。これらのカメラは、表示表面の高透過領域を透過した光を受光して撮像する。ここで、第１種類のカメラは、カメラ１を含み、第２種類のカメラは、カメラ２を含む。具体的に、前記カメラ１は、通常に用いられる可視領域の光を受光できるＲＧＢカメラであり、カメラ２は、赤外線ＮＩＲ光のみを検出するＮＩＲカメラである。カメラ１とカメラ２は、それぞれ、目標対象の画像を採集して、カメラ１により採集される第１画像とカメラ２により採集される第２画像を取得する。

図２に示されるアンダースクリーン撮像装置により、図３～図５に示される多種な画像統合方法を更に提供する。

図３は、（１）の感度低下の問題と、（２）の解像度の低下の問題を解決するための、二つのアンダースクリーンカメラからの出力画像を用いる画像統合の処理フローを示す。まず、カメラ１（ＲＧＢカメラ）からの第１画像とカメラ２（ＮＩＲカメラ）からの第２画像が、視野角、光軸、視差などに違いがある。そのため、それらを検出してから、視差補正して、補正後の第１種類の画像と第２種類の画像を取得する。その後、カメラ１（ＲＧＢカメラ）により採集された前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号に分離される。ＲＧＢカメラからの第１のＹ信号とＮＩＲカメラからの第２のＹ信号を用いて画像統合処理して、第３のＹ信号を取得する。暗い場所の感度の向上とノイズの低減とともに、輝度の解像度の向上もできる。その後、画像統合後の第３のＹ信号とＲＧＢカメラからの第１のＵＶ信号を用いて、カラーの目標画像を合成して出力する。

図４は、（３）のフレアの発生する問題を解決するための、二つのアンダースクリーンカメラからの出力画像を用いるフレア除去と画像統合の処理フローを示す。まず、カメラ１（ＲＧＢカメラ）からの第１画像とカメラ２（ＮＩＲカメラ）からの第２画像が、視野角、光軸、視差などに違いがあるため、それらを検出してから、視差補正して、補正後の第１画像と第２画像を取得する。その後、カメラ１（ＲＧＢカメラ）により採集された前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して第１のＹ信号と第１のＵＶ信号に分離される。ＲＧＢカメラからの第１のＹ信号と第１のＵＶ信号、及びＮＩＲカメラからの第２のＹ信号を比較して差分を形成してＲＧＢカメラにおけるフレアの発生状態とＮＩＲカメラにおけるフレアの発生状態の差分を検出することで、フレアとその以外の画像を分離でき、この情報を用いて、フレアを効率的にに除去できる。特に、ＮＩＲカメラでは、夜景に大きな問題となるＬＥＤライトのフレアは、検出されないため、効率的に上記フレアを除去できる。フレア除去後、ＲＧＢカメラからの第１のＹ信号とＮＩＲカメラからの第２のＹ信号を画像統合処理して、第４のＹ信号を取得することで、暗い場所の感度の向上とノイズの低減とともに、輝度の解像度の向上もできる。その後、画像統合後の第４のＹ信号とＲＧＢカメラからの第１のＵＶ信号を用いて、カラーの目標画像を合成して出力する。

図５は、（４）の顔認識機能ための、二つのアンダースクリーンカメラからの出力画像を用いるフレア除去及び画像統合の処理と顔認証のフローを示す。まず、カメラ１（ＲＧＢカメラ）からの第１画像とカメラ２（ＮＩＲカメラ）からの第２画像が、視野角、光軸、視差などに違いがあるため、それらを検出してから、視差補正して、補正後の第１画像と第２画像を取得する。その後、カメラ１（ＲＧＢカメラ）により採集された前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して第１のＹ信号と第１のＵＶ信号に分離される。ＲＧＢカメラからの第１のＹ信号と第１のＵＶ信号、及びＮＩＲカメラからの第２のＹ信号を比較して差分を形成してＲＧＢカメラにおけるフレアの発生状態とＮＩＲカメラにおけるフレアの発生状態の差分を検出することで、フレアとその以外の画像を分離でき、この情報を用いて、フレアを効率的に除去できる。特に、ＮＩＲカメラでは、夜景に大きな問題となるＬＥＤライトのフレアは、検出されないため、効率的に上記フレアを除去できる。フレア除去後、ＲＧＢカメラからの第１のＹ信号とＮＩＲカメラからの第２のＹ信号を画像統合処理して、第４のＹ信号を取得することで、暗い場所の感度の向上とノイズの低減とともに、輝度の解像度の向上もできる。その後、画像統合後の第４のＹ信号とＲＧＢカメラからの第１のＵＶ信号を用いて、カラーの目標画像を合成して出力する。また、カメラ１とカメラ２の視差情報に基づいて、深度画像（ＤＥＰＴＨ ＭＡＰ）を生成し、その三次元情報と出力される前記目標画像を用いて、顔認識を行う。

図６～図９を参照して、上記の第２の応用シーンに対応して、図６に示すように、表示スクリーンの下に三つのカメラを配置するアンダースクリーン撮像装置である。カメラ１は、通常に用いられる可視領域の光を受光できるＲＧＢカメラであり、カメラ２とカメラ３は、いずれも赤外線ＮＩＲ光のみを検出するＮＩＲカメラである。カメラ１と、カメラ２と、カメラ３は、ディスプレイの高透過領域に配置され、ディスプレイの高透過領域を透過した光を受光して撮像する。上記の実施例において、ＲＧＢカメラとＮＩＲカメラの解像度、光学特性に違いがあるため、視差の検出精度に問題がある。この実施例において、上記の実施例に比べて、特に、暗い場所に対して検出精度が高い二つのＮＩＲカメラが設置されるため、ＮＩＲカメラ間に正しい視差情報を取得できるため、深度画像の精度を向上できて、顔識別精度を向上できる。

図７は、（１）の感度低下の問題と、（２）の解像度の低下の問題を解決するための、三つのアンダースクリーンカメラからの出力画像を用いる画像統合の処理フローを示す。まず、カメラ１（ＲＧＢカメラ）からの第１画像と、カメラ２（ＮＩＲカメラ）からの第２画像と、カメラ３（ＮＩＲカメラ）からの第３画像が、視野角、光軸、視差などに違いがあるため、それらを検出してから、視差補正して、補正後の第１画像と、第２画像と第３画像を取得する。その後、カメラ１（ＲＧＢカメラ）により採集された前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して第１のＹ信号と第１のＵＶ信号に分離されることで、ＲＧＢカメラからのＹ信号とＮＩＲカメラからの二とのＹ信号をもちいて画像統合処理して、暗い場所の感度の向上とノイズの低減とともに、輝度の解像度の向上もできる。その後、画像統合後のＹ信号とＲＧＢカメラからのＵＶ信号を用いて、カラーの目標画像を合成して出力する。

図８は、（３）のフレアの発生する問題を解決するために、三つのアンダースクリーンカメラからの出力画像を用いるフレア除去と画像統合の処理フローを示す。まず、カメラ１（ＲＧＢカメラ）からの第１画像と、カメラ２（ＮＩＲカメラ）からの第２画像と、カメラ３（ＮＩＲカメラ）からの第３画像が、視野角、光軸、視差などに違いがあるため、それらを検出してから、視差補正して、補正後の第１画像と、第２画像と第３画像を取得する。その後、カメラ１（ＲＧＢカメラ）により採集された前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して第１のＹ信号と第１のＵＶ信号に分離する。ＲＧＢカメラからのＹ信号とＵＶ信号、及びＮＩＲカメラからの二つのＹ信号を比較して差分を形成してＲＧＢカメラにおけるフレアの発生状態と二つのＮＩＲカメラにおけるフレアの発生状態の差分を検出することで、フレアとその以外の画像を分離でき、この情報を用いて、フレアを効率的に除去できる。特に、ＮＩＲカメラでは、夜景に大きな問題となるＬＥＤライトのフレアは、検出されないため、効率的に上記フレアを除去できる。フレア除去後、ＲＧＢカメラからのＹ信号とＮＩＲカメラからの二つのＹ信号を画像統合処理して、暗い場所の感度の向上とノイズの低減とともに、輝度の解像度の向上もできる。その後、画像統合後のＹ信号とＲＧＢカメラからのＵＶ信号を用いて、カラーの目標画像を合成して出力する。

図９は、（４）の顔認識機能ための、三つのアンダースクリーンカメラからの出力画像を用いるフレア除去及び画像統合の処理と顔認証のフローを示す。まず、カメラ１（ＲＧＢカメラ）からの第１画像と、カメラ２（ＮＩＲカメラ）からの第２画像と、カメラ３（ＮＩＲカメラ）からの第３画像が、視野角、光軸、視差などに違いがあるため、それらを検出してから、視差補正して、補正後の第１画像と、第２画像と第３画像を取得する。その後、カメラ１（ＲＧＢカメラ）により採集された前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して第１のＹ信号と第１のＵＶ信号に分離される。ＲＧＢカメラからのＹ信号とＵＶ信号、及びＮＩＲカメラからの二つのＹ信号を比較して差分を形成してＲＧＢカメラにおけるフレアの発生状態と二つのＮＩＲカメラにおけるフレアの発生状態の差分を検出することで、フレアとその以外の画像を分離でき、この情報を用いて、フレアを効率的に除去できる。特に、ＮＩＲカメラでは、夜景に大きな問題となるＬＥＤライトのフレアは、検出されないため、効率的に上記フレアを除去できる。フレア除去後、ＲＧＢカメラからのＹ信号とＮＩＲカメラからの二つのＹ信号を画像統合処理して、暗い場所の感度の向上とノイズの低減とともに、輝度の解像度の向上もできる。その後、画像統合後のＹ信号とＲＧＢカメラからのＵＶ信号を用いて、カラーの目標画像を合成して出力する。また、カメラ１、カメラ２とカメラ３の視差情報に基づいて、深度画像を生成し、その三次元情報と出力される前記目標画像を用いて、顔認識を行う。

以上、本開示実施例における各種方法を紹介した。以下、さらに、上記方法を実施するための装置を提供する。

図１０を参考する。本開示実施例は、さらに画像処理装置９０を提供する。画像処理装置９０には、
第１種類のカメラにより採集された第１種類の画像を受信する、第２種類のカメラにより採集された第２種類の画像を受信するための受信モジュール９１であって、前記第１種類のカメラと第２種類のカメラが表示スクリーンの透過領域の下に設置され、且つ第１種類のカメラと第２種類のカメラの動作波長範囲が異なる受信モジュール９１と、
前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得するための統合モジュール９２が含まれる。

オプションとして、前記第１種類のカメラは、可視領域の光により結像するＲＧＢカメラであり、第２種類のカメラは、赤外線の光により結像するＮＩＲカメラである。

図１１を参考する。本開示実施例は、さらに別の画像処理装置９０を提供する。この装置は、図９を基に、さらに、前記統合モジュールが前記第１種類の画像と第2種類の画像を画像統合処理する前に、前記第１種類の画像と第２種類の画像を歪みや視差を補正する補正モジュール９３を含む。このように、前記統合モジュール９２が統合処理する時、前記第１種類の画像と第2種類の画像を画像統合することになる。

第１種類のカメラは、第１のカメラを含み、第２種類のカメラは、第２のカメラを含む応用シーンに対して、前記第１種類の画像は、第１のカメラにより採集された第１画像を含み、前記第２種類の画像は、第２のカメラにより採集された第２画像を含む。この時、図１２を参照する。ひとつの実現方式として、図１０または、図１１における統合モジュール９２は、具体的に、
前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得し、前記第２画像から第１のＹ信号を抽出するための第１の抽出サブモジュール９２０１と、
前記第１のＹ信号と第２のＹ信号を統合して、第３のＹ信号を取得するための第１の統合サブモジュール９２０２と、
前記第３のＹ信号を用いて、前記第１のＵＶ信号と合成して目標画像を取得するための第１の合成サブモジュール９２０３とを含む。

図１３を参照する。別の実現方式として、図１０または、図１１における統合モジュール９２は、具体的に、
前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得し、前記第２画像から第１のＹ信号を抽出するための第１の抽出モジュール９２０１と、
前記第１のＹ信号と第２のＹ信号の第１の差分を算出するための第１の算出サブモジュール９２０４と、
前記第１の差分に基づいて、フレア位置を検出し、前記第１画像と第２画像におけるフレアを除去して、更新後の第１のＹ信号と、第１のＵＶ信号と、第２のＹ信号を取得するための第１のフレア除去サブモジュール９２０５と、
更新後の第１のＹ信号と第２のＹ信号を統合して、第４のＹ信号を取得するための第２の統合サブモジュール９２０６と、
前記第４のＹ信号を用いて、更新後の前記第１のＵＶ信号と合成して目標画像を取得するための第２の合成サブモジュール９２０７を含む。

図１４を参照する。また別の実現方式として、図１３を基に、前記統合モジュール９２は、さらに、
前記第１画像と第２画像との視差情報に基づいて、第１の深度画像を生成するための第１の生成サブモジュール９２０８と、
前記目標画像と前記目標画像に対応する前記第１の深度画像を出力するための前記第２の合成サブモジュール９２０７を含む。

第１種類のカメラは、第１のカメラを含み、第２種類のカメラは、第２のカメラと第３のカメラを含む応用シーンに対して、前記第１種類の画像は、第１のカメラにより採集された第１画像を含み、前記第２種類の画像は、第２のカメラにより採集された第２画像と第３のカメラにより採集された第３画像を含む。この時、図１５を参照して、ひとつの実現方式として、図１０または、図１１における統合モジュール９２は、具体的に、
前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得する、前記第２画像から第１のＹ信号を抽出し、前記第３画像から第５のＹ信号を抽出するための第２の抽出サブモジュール９２１１と、
前記第１のＹ信号と、第２のＹ信号と、第５のＹ信号を統合して、第６のＹ信号を取得するための第２の統合サブモジュール９２１２と、
前記第６のＹ信号を用いて、前記第１のＵＶ信号と合成して目標画像を取得するための第３の合成サブモジュール９２１３を含む。

図１６を参照する。別の実現方式として、図１０または図１１にける前記統合モジュール９２は、具体的に、
前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得し、前記第２画像から第１のＹ信号を抽出し、前記第３画像から第５のＹ信号を抽出するための第２の抽出サブモジュール９２１１と、
前記第１のＹ信号と第２のＹ信号の第１の差分を算出し、前記第１のＹ信号と、第２のＹ信号との第２の差分を算出するための第１の算出サブモジュール９２１４と、
前記第１の差分と第２の差分に基づいて、フレア位置を検出し、前記第１画像、第２画像と第３画像におけるフレアを除去して、更新後の第１のＹ信号と、第１のＵＶ信号と、第２のＹ信号と、第５のＹ信号を取得するための第２のフレア除去サブモジュール９２１５と、
更新後の第１のＹ信号と、第２のＹ信号と、第５のＹ信号を統合して、第７のＹ信号を取得するための第４の統合サブモジュール９２１６と、
前記第７のＹ信号を用いて、更新後の前記第１のＵＶ信号と合成して目標画像を取得するための第４の合成サブモジュール９２１７を含む。

図１７を参照する。また別の実現方式として、図１６を基に、前記統合モジュール９２は、さらに、
前記第１画像、第２画像と第３画像との視差情報に基づいて、第２の深度画像を生成するための第２の生成サブモジュール９２１８と、
前記目標画像と前記目標画像に対応する前記第２の深度画像を出力するための前記第４の合成サブモジュール９２１７を含む。

なお、この実施例における機器は、上記の画像処理方法に適用される機器に対応する機器である。上記各実施例における実現方式は、いずれも、この機器の実施例に適用でき、同じ技術効果も達成できる。本開示実施例に提供される上記機器は、上記方法実施例に実現されたすべての方法ステップを実現でき、且つ同じ技術効果を達成できる。ここで、当該実施例において方法実施例と同様な部分及び有益な効果の説明を省略する。

図１８を参考する。本開示実施例は、プロセッサー１８０１と、メモリ１８０２を含む電子機器１８００をさらに、提供する。メモリ１８０２に記憶され、且つプロセッサー１８０１上実行できるコンピュータープログラムは、プロセッサー１８０１に実行されると、上記画像処理方法実施例における各プロセスを実現し、且つ、同じ技術効果も達成できる。重複を避けるため、ここで省略する。

本開示実施例は、コンピューター読み取り可能な記憶媒体も提供する。前記コンピューター読み取り可能な記憶媒体にコンピュータープログラムを記憶し、前記プログラムがプロセッサーに実行されると上記画像処理方法の各プロセスを実現し、且つ同じ効果を達成できる。重複を避けるため、ここで省略する。ここで、前記コンピューター読み取り可能な記憶媒体は、例えば、ＲＯＭ（ＲＥＡＤ-ＯＮＬＹ ＭＥＭＯＲＹ）、ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）、磁気ディスクまたは光ディスクなどである。

なお、本明細書において、用語「含む」、「備える」又はそれらの任意の他の変形は、非排他的包含を含むことを意図し、それにより一連の要素を含むプロセス、方法、物品又はユーザ装置は、それらの要素だけでなく、明確に列挙されていない他の要素、又はこのようなプロセス、方法、物品又はユーザ装置に固有の要素も含む。更なる限定がない場合、語句「１つの……含む」で限定された要素について、前記要素を含むプロセス、方法、物品又はユーザ装置にさらに別の同じ要素が存在することは排除されない。
上記の実施形態の記載によれば、当業者は、上記実施例の方法がソフトバンクに必要なハードウェアプラットフォームを加える方式で実現できることが自明である。当然のことで、ハードウェアで実現できる。しかし、多くな場合に、前者のほうが好ましい方式である。このような理解を基に、本開示の技術手段は、本質に、もしくは、従来技術に対して貢献する部分は、ソフトバンクプロダクトの方式で具体化される。このコンピュータプロダクトは、一つの記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスクまたは光ディスクなど）に記憶され、一つの端末（携帯電話、コンピュータ、サーバー、空気調節機またはネットワーク機器など）に本開示の各実施例に記載の方法を実行させるよう、いくつかの指令を含む。

図面とともに、本開示の実施例を説明したが、当業者は、一旦基本的な創造性概念を知ると、これらの実施例に対して別の変更及び補正を行うことができる。したがって、添付の特許請求の範囲は、好ましい実施例と本開示の実施例の範囲内に含まれる全ての変更及び補正を含むものと解釈されることを意図する。

Claims (13)

1. 画像処理方法であって、
   第１種類のカメラにより採集された第１種類の画像を受信し、第２種類のカメラにより採集された第２種類の画像を受信することを含み、
   前記第１種類のカメラと第２種類のカメラが表示スクリーンの透過領域の下に設置され、且つ第１種類のカメラと第２種類のカメラの動作波長範囲が異なり、
   前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得し、
   前記第１種類のカメラは、可視領域の光により結像するＲＧＢカメラであり、第２種類のカメラは、赤外線の光により結像するＮＩＲカメラであり、
   前記第１種類のカメラは、第１のカメラを含み、前記第２種類のカメラは、第２のカメラを含み、前記第１種類の画像は、第１のカメラにより採集された第１画像を含み、前記第２種類の画像は、第２のカメラにより採集された第２画像を含み、
   前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得することは、
   前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得し、前記第２画像から第１のＹ信号を抽出することと、
   第１のＹ信号と、第１のＵＶ信号と、第２のＹ信号を更新処理して、更新後の第１のＹ信号と、第１のＵＶ信号と、第２のＹ信号を取得することと、
   更新後の第１のＹ信号と第２のＹ信号を統合して、第４のＹ信号を取得することと、
   前記第４のＹ信号を用いて、更新後の前記第１のＵＶ信号と合成して目標画像を取得することを含み、
   前記更新処理は、前記第１のＹ信号と第２のＹ信号の第１の差分を算出することと、
   前記第１の差分に基づいて、フレア位置を検出し、前記第１画像と第２画像におけるフレアを除去することと、を含むことを特徴とする画像処理方法。
2. 前記第１種類の画像と第２種類の画像を画像統合処理する前に、前記第１種類の画像と第２種類の画像の歪みと視差を補正することを含むこと特徴とする請求項１に記載の方法。
3. 前記前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得することは、
   前記第１画像と第２画像との視差情報に基づいて、第１の深度画像を生成することと、
   前記目標画像と前記目標画像に対応する前記第１の深度画像を出力することをさらに含むことを特徴とする請求項１に記載の方法。
4. 前記第２種類のカメラは、さらに、第３のカメラを含み、前記第２種類の画像は、さらに、第３のカメラにより採集された第３画像を含むことを特徴とする請求項１に記載の方法。
5. 前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得することは、さらに、
   前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得することと、前記第２画像から第１のＹ信号を抽出することと、前記第３画像から第５のＹ信号を抽出することと、
   前記第１のＹ信号と、第２のＹ信号と、第５のＹ信号を統合して、第６のＹ信号を取得することと、
   前記第６のＹ信号を用いて、前記第１のＵＶ信号と合成して目標画像を取得することを含むことを特徴とする請求項４に記載の方法。
6. 前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得することは、さらに、
   前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得することと、前記第２画像から第１のＹ信号を抽出することと、前記第３画像から第５のＹ信号を抽出することと、
   前記第１のＹ信号と第２のＹ信号の第１の差分を算出することと、前記第１のＹ信号と、第５のＹ信号との第２の差分を算出することと、
   前記第１の差分と第２の差分に基づいて、フレア位置を検出し、前記第１画像、第２画像と第３画像におけるフレアを除去して、更新後の第１のＹ信号と、第１のＵＶ信号と、第２のＹ信号と、第５のＹ信号を取得することと、
   更新後の第１のＹ信号と、第２のＹ信号と、第５のＹ信号を統合して、第７のＹ信号を取得することと、
   前記第７のＹ信号を用いて、更新後の前記第１のＵＶ信号と合成して目標画像を取得することをことを含むことを特徴とする請求項４に記載の方法。
7. 前記前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得することは、
   前記第１画像、第２画像と第３画像との視差情報に基づいて、第２の深度画像を生成することと、
   前記目標画像と前記目標画像に対応する前記第２の深度画像を出力することを更に含むことを特徴とする請求項６に記載の方法。
8. 画像処理装置であって、
   第１種類のカメラにより採集された第１種類の画像を受信し、第２種類のカメラにより採集された第２種類の画像を受信するための受信モジュールと、
   前記第１種類の画像と第２種類の画像を画像統合処理して目標画像を取得するための統合モジュールを含み、
   前記第１種類のカメラと第２種類のカメラが表示スクリーンの透過領域の下に設置され、且つ第１種類のカメラと第２種類のカメラの動作波長範囲が異なり、
   前記第１種類のカメラは、可視領域の光により結像するＲＧＢカメラであり、第２種類のカメラは、赤外線の光により結像するＮＩＲカメラであり、
   前記第１種類のカメラは、第１のカメラを含み、前記第２種類のカメラは、第２のカメラを含み、前記第１種類の画像は、第１のカメラにより採集された第１画像を含み、前記第２種類の画像は、第２のカメラにより採集された第２画像を含み、
   前記統合モジュールは、
   前記第１画像をＲＧＢフォーマットからＹＵＶフォーマットに変換して前記第１画像の第１のＹ信号と第１のＵＶ信号を取得し、前記第２画像から第１のＹ信号を抽出し、
   第１のＹ信号と、第１のＵＶ信号と、第２のＹ信号を更新処理して、更新後の第１のＹ信号と、第１のＵＶ信号と、第２のＹ信号を取得し、
   更新後の第１のＹ信号と第２のＹ信号を統合して、第４のＹ信号を取得し、
   前記第４のＹ信号を用いて、更新後の前記第１のＵＶ信号と合成して目標画像を取得するように構成され、
   前記更新処理は、前記第１のＹ信号と第２のＹ信号の第１の差分を算出することと、
   前記第１の差分に基づいて、フレア位置を検出し、前記第１画像と第２画像におけるフレアを除去することと、を含むことを特徴とする画像処理装置。
9. 前記統合モジュールにより前記第１種類の画像と第２種類の画像を画像統合処理する前に、前記第１種類の画像と第２種類の画像の歪みと視差を補正する補正モジュールを更に含むことを特徴とする請求項８に記載の画像処理装置。
10. 前記第２種類のカメラは、さらに、第３のカメラを含み、前記第２種類の画像は、さらに、第３のカメラにより採集された第３画像を含むことを特徴とする請求項８に記載の画像処理装置。
11. 電子機器であって、プロセッサーとメモリを含み、
    前記メモリが、前記プロセッサー上に実行可能なプログラムまたは指令を記憶し、前記プログラムまたは指令が前記プロセッサーに実行されると請求項１－７のいずれかの一つに記載の画像処理方法のステップを実現することを特徴とする。
12. 請求項１１に記載の電子機器であって、
    透過領域を有する表示スクリーンと、
    前記透過領域下に設置される少なくとも第１種類のカメラと第２種類のカメラを更に含むことを特徴とする電子機器。
13. 読み取り可能な記憶媒体であって、
    前記読み取り可能な記憶媒体にプログラムまたは指令を記憶し、前記プログラムまたは指令がプロセッサーに実行されると請求項１－７のいずれかの一つに記載の画像処理方法のステップを実現する読み取り可能な記憶媒体。

Images