JP7303930B1 - 画像処理方法、装置、電子機器および読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】本発明は、画像処理方法、装置、電子機器および読み取り可能な記憶媒体を提供する。【解決手段】本発明に係る方法は、散点間接飛行時間（ｉＴＯＦ）センサーにより収集された第１のＲＡＷデータに基づいて、赤外線画像と希少深度画像とを取得すること、ＲＧＢカメラにより収集され、第１のＲＡＷデータとフレーム同期する第２のＲＡＷデータに基づいて、第１のＹＵＶ画像または第１深度画像である第１の画像を取得すること、赤外線画像と、希少深度画像と、、第１の画像と、第１の画像における各フレームのＲＡＷ画像に対応するフレームアウト時間を含む時間情報と、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係である第１マッピング関係とをデータ集約し、フレーム系列を取得すること、フレーム系列に基づいて、目標深度画像を取得することを含む。本発明は、画像処理方法、装置、電子機器および読み取り可能記憶媒体を提供する。【選択図】図１

Description

本発明は、画像処理技術分野に関し、特に画像処理方法、装置、電子機器および読み取り可能な記憶媒体に関する。

インテリジェントデバイスの発展に伴い、スマートフォンの映像はだんだん従来の平面イメージングから三次元空間映像に広がっていて、深度計算も三次元空間感知の最も核心的な部分として広く注目されている。飛行時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ，ＴＯＦ）技術は、光子飛行時間を計算することで物理空間における絶対深度を取得し、三次元空間映像に信頼的な深度情報を提供するものである。近年、様々なＴＯＦ方案が次々と現れ、例えば、連続パルス変調間接飛行時間（ｉｎｄｉｒｅｃｔ Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ，ｉＴＯＦ）、短パルスｉＴＯＦ、長パルスｉＴＯＦなどが挙げられるが、レーザデバイスと深度処理アルゴリズムの高消費電力に加えて、従来の伝統な映像アルゴリズムにより空間映像機能を実現する際、システム全体の電力消費は大きな課題に直面している。いかにｉＴＯＦの深度計算効率を向上して消費電力を低減するかは、緊急の解決を要する問題となっている。

現在のｉＴＯＦ技術はいずれも、レーザビームが赤外線パルス信号を発光し、受信側が受信した赤外線エネルギーを計算することで深度情報を計算するものである。ｉＴＯＦ方案の全体な消費電力は、レーザデイバス自体によるものと、深度後処理アルゴリズムによるものとの２部分に分けられ、ｉＴＯＦ深度計算方案が完了した時に、全体な消費電力は１ｗ近くになり、伝統な映像と組み合わせて三次元空間映像機能を実現する際、エンド側システム全体の電力消費は大きな課題に直面している。ＴＯＦ深度性能に対して高い要求がある幾つかのシーン（例えば、室外ポートレート、３Ｄ再構築など）において、レーザ発光パワーの向上や、高計算力のニューラルネットワークアルゴリズムの反復最適化のエンド側への加えにより高品質の深度画像を得る必要があり、高消費電力もより深刻となる。

本発明の少なくとも一つの実施例は、ｉＴＯＦの深度計算効率の向上および消費電力の低減が可能な画像処理方法、装置、電子機器および読み取り可能な記憶媒体を提供する。

上述した技術的課題を解決するために、本発明は、以下のようになされたものである。

第一の面では、本発明の実施例は、
散点間接飛行時間（ｉＴＯＦ）センサーにより収集された第１のＲＡＷデータに基づいて、赤外線画像と希少深度画像とを取得すること、
ＲＧＢカメラにより収集され、前記第１のＲＡＷデータとフレーム同期する第２のＲＡＷデータに基づいて、第１のＹＵＶ画像または第１深度画像である第１の画像を取得すること、
前記赤外線画像と、前記希少深度画像と、前記第１の画像と、前記第１の画像における各フレームのＲＡＷ画像に対応するフレームアウト時間を含む時間情報と、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係である第１マッピング関係とをデータ集約し、フレーム系列を取得すること、
前記フレーム系列に基づいて、目標深度画像を取得すること、を含む画像処理方法を提供する。

第二の面では、本発明の実施例は、
散点間接飛行時間（ｉＴＯＦ）センサーにより収集された第１のＲＡＷデータに基づいて、赤外線画像と希少深度画像とを取得するための第１処理モジュール、
ＲＧＢカメラにより収集され、前記第１のＲＡＷデータとフレーム同期する第２のＲＡＷデータに基づいて、第１のＹＵＶ画像または第１深度画像である第１の画像を取得するための第２処理モジュール、
前記赤外線画像と、前記希少深度画像と、前記第１の画像と、前記第１の画像における各フレームのＲＡＷ画像に対応するフレームアウト時間を含む時間情報と、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係である第１マッピング関係とをデータ集約し、フレーム系列を取得するための第３処理モジュール、
前記フレーム系列に基づいて、目標深度画像を取得するための第４処理モジュール、を含む画像処理装置を提供する。

第三の面では、本発明の実施例は、
プロセッサと、メモリと、前記メモリに記憶されて前記プロセッサで動作可能なプログラムまたはコマンドとを含み、
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、上述した第一の面に記載の画像処理方法のステップが実現される、電子機器を提供する。

第四の面では、本発明の実施例は、
プログラムまたはコマンドが記憶されており、
前記プログラムまたはコマンドがプロセッサにより実行されたときに、上述した第一の面に記載の画像処理方法のステップが実現される、読み取り可能記憶媒体を提供する。

従来技術と比べて、本発明の実施例が提供するが画像処理方法、装置、電子機器及び読み取り可能な記憶媒体では、まず、ハードウェア単体の消費電力が低い散点ｉＴＯＦセンサーにより収集された第１のＲＡＷデータを用いて、赤外線画像と希少深度画像とを取得し、ＲＧＢカメラにより収集された、第１のＲＡＷデータとフレーム同期する第２のＲＡＷデータを用いて、第１のＹＵＶ画像または第１深度画像である第１の画像を取得する。その後、赤外線画像と、希少深度画像と、第１の画像と、第１の画像における各フレームのＲＡＷ画像に対応するフレームアウト時間を含む時間情報と、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係である第１マッピング関係とをデータ集約し、フレーム系列を取得する。このように、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係を用いてデータ集約を実現し、ｉＴＯＦの深度計算効率を向上することができる。最後に、フレーム系列に基づいて、目標深度画像を取得する。こうすることで、消費電力を節約できるだけでなく、ｉＴＯＦの深度計算効率を向上することもできる。

本発明の実施例に係る画像処理方法の第１の流れ概要図である。 本発明の実施例に係る画像処理方法の第２の流れ概要図である。 本発明の実施例に係る画像処理装置のブロック概要図である。 本発明の実施例に係る電子機器のハードウェア構成の概要図である。

以下は、本出願の実施例に係る図面に合せて、本出願の実施例に係る技術案を明確且つ完全に記述し、記述されている実施例が本出願の実施例の一部であり、全てではないことは明らかである。本出願に係る実施例に基づいて、当業者が創造的な労働を払わない前提で得られた他の実施例の全てはいずれも、本出願の保護する範囲に属する。

本出願の明細書および特許請求の範囲における「第１」、「第２」などの用語は、類似のオブジェクトを区別するために用いられるものであり、特定の順序または前後順序を記述するためのものではない。このように用いられるデータは、本出願の実施例がここで図示または記述されているこれらの順序以外の順序で実施され得るように、適切な場合において互いに置き換え可能であり、そして、「第１」、「第２」などで区別されるオブジェクトは、通常同類のものであり、オブジェクトの数を限定するものではなく、例えば、第１のオブジェクトは、一つでもよく、複数でもよいと理解されるべきだ。また、明細書および請求項における「及び/又は」は、接続されるオブジェクトのうちの少なくとも一つを表しており、「／」という記号は、一般的に、前後の関連オブジェクトが「または」の関係にあることを表している。

図１に示すように、本発明の実施例は画像処理方法を提供し、当該方法は、具体的に以下のステップを含むことができる。

ステップ１０１：散点間接飛行時間（ｉＴＯＦ）センサーにより収集された第１のＲＡＷデータに基づいて、赤外線画像と希少深度画像とを取得する。

なお、ＲＡＷデータは、ＣＭＯＳまたはＣＣＤ画像センサーが、捕捉された光源信号をデジタル信号に変換するオリジナルデータである。ＲＡＷデータは、デジタルカメラセンサーのオリジナル情報を記録するとともに、カメラの撮影により発生した幾つかのメタデータ(Ｍｅｔａｄａｔａ、例えばＩＳＯの設定、シャッター速度、絞り値、ホワイトバランス等)を記録するファイルである。

散点ｉＴＯＦセンサーの消費電力が低く、散点ｉＴＯＦセンサーを用いて第１のＲＡＷデータを収集する目的は、スマートフォンの電力消費を低減させるためである。ここで、散点ｉＴＯＦセンサーは、ドットｉＴＯＦセンサーとも呼ばれる。

選択的には、ステップ１０１は、具体的に以下のステップを含むことができる。

ステップ１０１１：ｒａｗ２ｄｅｐｔｈアルゴリズムにより、第１のＲＡＷデータに対して計算を行い、赤外線画像と希少深度画像とを取得し、赤外線画像の解像度と希少深度画像の解像度がいずれも散点ｉＴＯＦセンサーの解像度と同じである。

ステップ１０２：ＲＧＢカメラにより収集され、第１のＲＡＷデータとフレーム同期する第２のＲＡＷデータに基づいて、第１のＹＵＶ画像または第１深度画像である第１の画像を取得する。

散点ｉＴＯＦセンサーとＲＧＢカメラがそれぞれ独立したカメラＩＤに属し、ＲＧＢカメラがメインデバイスとされ、散点ｉＴＯＦセンサーのフレーム長を動的に調整するという方式により、メインデバイスのフレームアウトに追い付かせることで、第１のＲＡＷデータと第２のＲＡＷデータのフレームヘッダタイムの揃えを確保する、すなわちフレーム同期を保つ。

選択的には、フレーム同期ノードを構築し、第１のＲＡＷデータと第２のＲＡＷデータの対応のフレームを揃わせ、ｔ＿１とｔ＿２との時間差を計算し、ｔ＿１が第２のＲＡＷデータにおける各フレームのＲＡＷ画像のフレームアウト時間を表し、ｔ＿２が第１のＲＡＷデータにおける各フレームのＲＡＷ画像のフレームアウト時間を表す。ｔ＿２がｔ＿１よりも小さく、かつ、ｔ＿１とｔ＿２との差が第１所定閾値よりも大きい（すなわち、ｔ＿２が明らかにｔ＿１より遅い）と検出したと、ＲＧＢカメラのフレームアウト時間に追い付くように、散点ｉＴＯＦセンサーの露光時間を短く調整し、フレーム長を短く調整する。ｔ＿２がｔ＿１よりも大きく、かつ、ｔ＿２とｔ＿１との差が第２所定閾値よりも大きい（すなわち、ｔ＿２が明らかにｔ＿１より早い）と検出したと、ＲＧＢカメラのフレームアウトを待つように、散点ｉＴＯＦセンサーの露光時間を長く調整し、フレーム長を長く調整する。最後に、フレーム同期が保たれた第１のＲＡＷデータと第２のＲＡＷデータとを保存する。具体的には、同期済みのＴＯＦフレームとＲＧＢフレームをそれぞれＲａｗ＿ＴＯＦとＲａｗ＿ＲＧＢとして保存する。また、第１のＲＡＷデータにおける各フレームのＲＡＷ画像に対応するフレームアウト時間を時間情報として保存する。各フレームのＲＡＷ画像に対応するフレームアウト時間は具体的にフレームヘッダタイムスタンプであることができる。

選択的には、ＲＧＢカメラの数が一つである場合、第１の画像は第１のＹＵＶ画像であり、ＲＧＢカメラの数が二つである場合、第１の画像は第１深度画像である。

相応に、一つの選択的な実施形態として、ステップ１０２は、具体的に以下のステップを含むことができる。

ステップ１０２１ａ：ＲＧＢカメラの数が一つである場合、第２のＲＡＷデータに対して画像信号処理（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ，ＩＳＰ）変換を行い、第１のＹＵＶ画像を取得する。

別の選択的な実施形態として、ステップ１０２は、具体的に以下のステップを含むことができる。

ステップ１０２１ｂ：ＲＧＢカメラの数が二つである場合、二つのＲＧＢカメラにより収集された第２のＲＡＷデータの各々に対してＩＳＰ変換を行い、第２のＹＵＶ画像と第３のＹＵＶ画像とを取得し、第２のＹＵＶ画像と第３のＹＵＶ画像とに基づいて、第１深度画像を取得する。

ステップ１０３：赤外線画像と、希少深度画像と、第１の画像と、第１の画像における各フレームのＲＡＷ画像に対応するフレームアウト時間を含む時間情報と、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係である第１マッピング関係とをデータ集約し、フレーム系列を取得する。

なお、第１のＲＡＷデータが第２のＲＡＷデータとフレーム同期するため、時間情報が第１のＲＡＷデータにおける各フレームのＲＡＷ画像に対応するフレームアウト時間を含むか、時間情報が第２のＲＡＷデータにおける各フレームのＲＡＷ画像に対応するフレームアウト時間を含む。

なお、第１マッピング関係は、散点ｉＴＯＦセンサに対応するメモリチップ内に予め記憶され、例えば、散点ｉＴＯＦセンサに対応する電気的消去可能プログラマブルメモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy，ＥＥＰＲＯＭ）内に予め記憶される。あるいは、第１マッピング関係は、ＲＧＢカメラに対応するメモリチップ内に予め記憶され、例えば、ＲＧＢカメラに対応するＥＥＰＲＯＭ内に予め記憶される。

このステップでは、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係を用いて、赤外線画像と、希少深度画像と、第１の画像と、時間情報とを再集約し、最後にフレーム系列を形成し、計算の複雑度を効果的に低減し、ｉＴＯＦの深度計算効率を向上することができる。詳細な実施プロセスについては、実施例１を詳しく参照する。

ステップ１０４：フレーム系列に基づいて、目標深度画像を取得する。

選択的には、深度補完アルゴリズムによりフレーム系列を計算し、高品質の深度画像を得る。詳細な実施プロセスについては、実施例２を詳しく参照する。

実施例１
一つの選択的な実施形態として、ステップ１０３は、具体的に以下のステップを含むことができる。

ステップ１０３１：第１マッピング関係に基づいて、希少深度画像を圧縮処理し、圧縮後の希少深度画像を取得する。

ステップ１０３１は、具体的に以下のステップを含むことができる。

ステップ１０３１１：第１マッピング関係に基づき、希少深度画像における第１のデータを除去して、圧縮後の希少深度画像を取得し、第１のデータが散点に対応しない位置におけるデータであり、圧縮後の希少深度画像が第２のデータと、第２のデータのＹＵＶ画像における対応の画素位置とを含み、第２のデータが散点に対応する位置におけるデータである。

希少深度画像は、散点に対応する位置のみが有効深度値であり、残りがすべて無効データである。このため、第１マッピング関係を用いて、希少深度画像における第１のデータ（すなわち、散点に対応しない位置におけるデータ、つまり無効データ）を除去し、第２のデータ（散点に対応する位置におけるデータ、つまり、有効深度値）および第２のデータのＹＵＶ画像における対応の画素位置（具体的には、第２のデータのＹＵＶ画像における対応の領域の番号であってよい）のみを保留する。

ステップ１０３２：時間情報に基づき、第１の画像と圧縮後の希少深度画像との時間差が所定閾値よりも小さい第１条件を満たす第１の画像と、圧縮後の希少深度画像と、赤外線画像とを選択し、圧縮後の希少深度画像と圧縮前の希少深度画像と赤外線画像との時間が一致している。

ステップ１０３３：各フレームのデータのいずれに対しても、第１条件を満たす第１の画像と圧縮後の希少深度画像と赤外線画像とを、第１の画像、赤外線画像、圧縮後の希少深度画像の順でデータパッキングし、フレーム系列を取得する。

ここで、時間的に最も近い第１の画像と圧縮後の希少深度画像と赤外線画像とを選択して上述した配列順序でデータパッキングすることにより、フレーム系列を形成する。

実施例２
一つの選択的な実施形態として、ステップ１０４は、具体的に以下のステップを含むことができる。

ステップ１０４１：フレーム系列をデータ分割して、第１の画像と圧縮後の希少深度画像と赤外線画像とを取得する。

ステップ１０４２：第１の画像と圧縮後の希少深度画像とに基づいて、初期稠密深度画像を取得する。

ステップ１０４２は、具体的に以下のステップを含むことができる。

Ｓ１１：第１の画像に対して特徴抽出を行い、第１特徴情報を取得する。

Ｓ１２：圧縮後の希少深度画像に対して特徴抽出を行い、第２特徴情報を取得する。

Ｓ１３：第１特徴情報と第２特徴情報とを特徴融合し、融合後の特徴情報を取得する。

Ｓ１４：融合後の特徴情報をデコードし、初期稠密深度画像を取得する。

なお、上述したステップＳ１１～Ｓ１４は、あらかじめトレーニングされた第１のニューラルネットワークにおいて完成され得る。

選択的には、第１のニューラルネットワークは、融合ネットワーク（Ｆｕｓｉｏｎ Ｎｅｔ）であり、当該Ｆｕｓｉｏｎ Ｎｅｔにおける２つのエンコーダはそれぞれ第１の画像の特徴情報と圧縮後の希少深度画像の特徴情報を抽出し、その後、抽出された特徴情報に対して融合を行い、最後に、Ｆｕｓｉｏｎ Ｎｅｔにおけるデコーダは、融合後の特徴情報をデコードし、初期稠密深度画像を取得する。

ステップ１０４３：初期稠密深度画像と赤外線画像とに基づいて、最適化深度画像を取得する。

ステップ１０４３は、具体的に以下のステップを含むことができる。

Ｓ２１：赤外線画像の領域特徴を取得する。

Ｓ２２：赤外線画像の領域特徴に基づいて、初期稠密深度画像に対して予測調整を行い、最適化深度画像を取得する。

ここで、赤外線画像と希少深度画像にはより明確な対応関係があるため、赤外線画像の領域特徴に基づき、初期稠密深度画像に対してさらに予測調整を行って、最適化深度画像を取得することができる。

なお、上述したステップＳ２１～Ｓ２２は、あらかじめトレーニングされた第２のニューラルネットワークにおいて完成され得る。

選択的には、第２のニューラルネットワークは予測ネットワーク（Ｐｒｏｊｅｃｔｉｏｎ Ｎｅｔ）であり、当該Ｐｒｏｊｅｃｔｉｏｎ Ｎｅｔに赤外線画像と初期稠密深度画像とを入力して、最適化深度画像を出力する。

ステップ１０４４：最適化深度画像と第１の画像に基づいて、目標深度画像を取得する。

ステップ１０４４は、具体的に以下のステップを含むことができる。

Ｓ３１：第１の画像に対して特徴抽出を行い、第１特徴情報を取得する。

Ｓ３２：第１特徴情報に基づき、最適化深度画像に対して較正最適化処理を行い、目標深度画像を取得する。

第１の画像と赤外線画像とに基づいて希少深度点に対し融合・補完を行うときに、画像および物体の縁部には依然として不連続な誤推定深度値が現れやすいため、最適化深度画像を出力した後に、第１特徴情報に基づき、最適化深度画像に対して較正最適化処理を行う。その目的は、高品質の深度画像、すなわち目標深度画像を取得するためである。

なお、上述したステップＳ３１～Ｓ３２は、あらかじめトレーニングされた第３のニューラルネットワークにおいて完成され得る。

選択的には、第３のニューラルネットワークは最適化ネットワーク（Ｒｅｆｉｎｅ Ｎｅｔ）であり、当該Ｒｅｆｉｎｅ Ｎｅｔに最適化深度画像と第１の画像とを入力して、高品質の深度画像を出力する。

上述した実施例２における３つのニューラルネットワークによる処理を経て、ｉＴＯＦの深度計算効率をさらに向上することができる。

以下は、図２の示例を参照して、本発明の実施例に係る画像処理方法の実施プロセスを詳しく説明する。

まず、次のことを説明する。画像処理方法は電子機器により実行され、電子機器内には、散点ｉＴＯＦセンサー、１つのＲＧＢカメラ、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ，ＳＯＣ）、および、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）は実装される。具体的には、ＳＯＣは、ＤＤＲメモリ、グラフィックプロセッサ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＧＰＵ）およびデジタル信号処理（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ＤＳＰ）モジュールを含む。

当該画像処理方法は、具体的に以下のステップを含むことができる。

ステップ２０１：３Ｄ映像アプリが高品質のｉＴＯＦ深度画像を取得する必要があるときに、散点ｉＴＯＦセンサーとＲＧＢカメラを同時に起動し、散点ｉＴＯＦセンサーにより、ｉＴＯＦ ＲＡＷデータ、ｉＴＯＦ ＲＡＷデータのフレームヘッダタイムスタンプ情報、および、ｉＴＯＦ ＥＥＰＲＯＭに予め記憶された希少深度画像とＹＵＶ画像との間の画素位置マッピング関係を取得し、ＲＧＢカメラにより、ＲＧＢ ＲＡＷデータとＲＧＢ ＲＡＷデータのフレームヘッダタイムスタンプ情報を取得する。

ここで、３Ｄ映像アプリは、電子機器にインストールされる。

散点ｉＴＯＦセンサーとＲＧＢカメラがそれぞれ独立したカメラＩＤに属するため、ＲＧＢカメラがメインデバイスとされ、散点ｉＴＯＦセンサーのフレーム長を動的に調整するという方式により、メインデバイスのフレームアウトに追い付き、ｉＴＯＦ ＲＡＷデータのフレームヘッダタイムとＲＧＢ ＲＡＷデータのフレームヘッダタイムとの揃えを確保する必要がある。具体的な動的調整プロセスについては、ステップ１０２の部分における説明を詳しく参照する。ここで再度述べない。

ステップ２０２：散点ｉＴＯＦセンサーとＲＧＢカメラはそれぞれ、取得した情報をＳＯＣに伝送する。

ステップ２０３：ＳＯＣは、ｒａｗ２ｄｅｐｔｈアルゴリズムを用いてｉＴＯＦ ＲＡＷデータを計算し、散点ｉＴＯＦセンサーと同じ解像度の希少深度画像および対応の赤外線画像を取得し、ＩＳＰによりＲＧＢ ＲＡＷデータをＹＵＶ画像に変換する。

ステップ２０４：ＳＯＣは、赤外線画像と、希少深度画像と、ＹＵＶ画像と、ＲＡＷデータのフレームヘッダタイムスタンプと、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係とをデータ集約し、ロング・フレーム系列を取得し、ロング・フレーム系列をＤＤＲメモリに記憶する。

なお、具体的なデータ集約処理プロセスについて、上述したステップ１０３の部分における説明を参考することができる。ここで、再度述べない。

このステップでは、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係を用いて、希少深度画像を再集約し、無効データを除去し、後続で、取得されたロング・フレーム系列をＡＳＩＣに伝送するときに必要な帯域幅を効果的に低減し、効率を向上することができる。

ステップ２０５：ＳＯＣは、３Ｄ映像アプリから渡された深度計算タグを受信したと、記憶されたロング・フレーム系列をＡＳＩＣに伝送する。

具体的には、ロング・フレーム系列をＡＳＩＣにおけるメモリー・プール（Ｍｅｍｏｒｙ ｐｏｏｌ）に伝送する。ＡＳＩＣは、Ｆｕｓｉｏｎ Ｎｅｔ、Ｐｒｏｊｅｃｔｉｏｎ Ｎｅｔ、および、Ｒｅｆｉｎｅ Ｎｅｔをさらに含む。

ステップ２０６：Ｆｕｓｉｏｎ Ｎｅｔは、ロング・フレームにおけるＹＵＶ画像と希少深度画像（圧縮後）を読み出し、その後、当該Ｆｕｓｉｏｎ Ｎｅｔにおける２つのエンコーダはそれぞれＹＵＶ画像の特徴情報と圧縮後の希少深度画像の特徴情報を抽出し、その後、抽出された特徴情報に対して融合を行い、最後に、Ｆｕｓｉｏｎ Ｎｅｔにおけるデコーダは、融合後の特徴情報をデコードし、初期稠密深度画像を取得する。

ステップ２０７：Ｐｒｏｊｅｃｔｉｏｎ Ｎｅｔは、初期稠密深度画像とロング・フレームにおける赤外線画像とを取得し、赤外線画像の領域特徴に基づき、初期稠密深度画像に対してさらに予測調整を行い、最適化深度画像を取得する。

ステップ２０８：Ｒｅｆｉｎｅ Ｎｅｔは、Ｍｅｍｏｒｙ ｐｏｏｌからＹＵＶ画像を読み出し、ＹＵＶ画像の特徴情報を抽出し、ＹＵＶ画像の特徴情報を用いて、最適化深度画像に対し誤較正最適化を行い、高品質の深度画像を取得する。

ステップ２０９：高品質の深度画像とタイムスタンプ情報をＭｅｍｏｒｙ ｐｏｏｌに記憶すると共に、ＳＯＣに計算済みのタグを送信する。

ステップ２１０：ＳＯＣは、深度計算済みのタグを受信した後に、後続の３Ｄ映像アプリによる使用のためにＡＳＩＣのＭｅｍｏｒｙ ｐｏｏｌから高品質の深度画像を読み出す。

本示例では、低消費電力の散点ｉＴＯＦセンサーから出力された希少深度画像に対して、ＹＵＶ画像を用いて補完最適化を行う。高性能の深度画像に必要な稠密化アルゴリズムは、複数層のニューラルネットワークの複数回の反復処理を要するものであり、計算力に対する要求が高い。本示例は、特化されたＤｅｐｔｈ ＡＳＩＣを用いて、深度補完アルゴリズムに対し加速処理を行い、高品質の深度画像の出力を確保したうえで、低消費電力のｉＴＯＦ深度計算を実現した。

図３に示すように、本発明の実施例は、画像処理装置を提供する。当該装置は、
散点間接飛行時間（ｉＴＯＦ）センサーにより収集された第１のＲＡＷデータに基づいて、赤外線画像と希少深度画像とを取得するための第１処理モジュール３１０、
ＲＧＢカメラにより収集され、第１のＲＡＷデータとフレーム同期する第２のＲＡＷデータに基づいて、第１のＹＵＶ画像または第１深度画像である第１の画像を取得するための第２処理モジュール３２０、
赤外線画像と、希少深度画像と、第１の画像と、前記第１の画像における各フレームのＲＡＷ画像に対応するフレームアウト時間を含む時間情報と、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係である第１マッピング関係とをデータ集約し、フレーム系列を取得するための第３処理モジュール３３０、
フレーム系列に基づいて、目標深度画像を取得するための第４処理モジュール３４０、を含む。

選択的には、第３処理モジュール３３０は、
第１マッピング関係に基づいて、希少深度画像を圧縮処理し、圧縮後の希少深度画像を取得するための第１処理手段、
時間情報に基づき、第１の画像と圧縮後の希少深度画像との時間差が所定閾値よりも小さい第１条件を満たす第１の画像と、圧縮後の希少深度画像と、赤外線画像とを選択するための第２処理手段であって、圧縮後の希少深度画像と圧縮前の希少深度画像と赤外線画像との時間が一致している第２処理手段、
各フレームのデータのいずれに対しても、第１条件を満たす第１の画像と圧縮後の希少深度画像と赤外線画像とを、第１の画像、赤外線画像、圧縮後の希少深度画像の順でデータパッキングし、フレーム系列を取得するための第３処理手段、を含む。

選択的には、第１処理手段は、具体的に、第１マッピング関係に基づき、希少深度画像における第１のデータを除去して、圧縮後の希少深度画像を取得するためのものであり、第１のデータが散点に対応しない位置におけるデータであり、圧縮後の希少深度画像が第２のデータと、第２のデータのＹＵＶ画像における対応の画素位置とを含み、第２のデータが散点に対応する位置におけるデータである。

選択的には、第４処理モジュール３４０は、
フレーム系列をデータ分割して、第１の画像と圧縮後の希少深度画像と赤外線画像とを取得するための第４処理手段、
第１の画像と圧縮後の希少深度画像とに基づいて、初期稠密深度画像を取得するための第５処理手段、
初期稠密深度画像と赤外線画像とに基づいて、最適化深度画像を取得する第６処理手段、
最適化深度画像と第１の画像に基づいて、目標深度画像を取得する第７処理手段、を含む。

選択的には、第５処理手段は、
第１の画像に対して特徴抽出を行い、第１特徴情報を取得し、
圧縮後の希少深度画像に対して特徴抽出を行い、第２特徴情報を取得し、
第１特徴情報と第２特徴情報とを特徴融合し、融合後の特徴情報を取得し、
融合後の特徴情報をデコードし、初期稠密深度画像を取得するためのものである。

選択的には、第６処理手段は、具体的に、
赤外線画像の領域特徴を取得し、
赤外線画像の領域特徴に基づいて、初期稠密深度画像に対して予測調整を行い、最適化深度画像を取得するためのものである。

選択的には、第７処理手段は、具体的に、
第１の画像に対して特徴抽出を行い、第１特徴情報を取得し、
第１特徴情報に基づき、最適化深度画像に対して較正最適化処理を行い、目標深度画像を取得するためのものでる。

選択的には、ＲＧＢカメラの数が一つである場合、第１の画像は第１のＹＵＶ画像であり、
ＲＧＢカメラの数が二つである場合、第１の画像は第１深度画像である。

本発明の実施例が提供する画像処理装置では、第１処理モジュールは、ハードウェア単体の消費電力が低い散点ｉＴＯＦセンサーにより収集された第１のＲＡＷデータを用いて、赤外線画像と希少深度画像とを取得する。第２処理モジュールは、ＲＧＢカメラにより収集された、第１のＲＡＷデータとフレーム同期する第２のＲＡＷデータを用いて、第１のＹＵＶ画像または第１深度画像である第１の画像を取得する。その後、第３処理モジュールは、赤外線画像と、希少深度画像と、第１の画像と、第１の画像における各フレームのＲＡＷ画像に対応するフレームアウト時間を含む時間情報と、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係である第１マッピング関係とをデータ集約し、フレーム系列を取得する。このように、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係を用いてデータ集約を実現し、ｉＴＯＦの深度計算効率を向上することができる。最後に、第４処理モジュールは、フレーム系列に基づいて、目標深度画像を取得する。こうすることで、消費電力を節約できるだけでなく、ｉＴＯＦの深度計算効率を向上することもできる。

図４に示すように、本発明の実施例は、電子機器４００をさらに提供する。電子機器４００は、プロセッサ４０１と、メモリ４０２と、メモリ４０２に記憶されてプロセッサ４０１で動作可能なプログラムまたはコマンドとを含み、前記プログラムまたはコマンドがプロセッサ４０１により実行されたときに、上述した画像処理方法の実施例における各プロセスが実現され、かつ、同様な技術的効果が達成され得る。重複を避けるために、ここで再度述べない。

なお、本発明の実施例における電子機器は、モバイル電子機器およびモバイル電子機器以外の電子機器を含む。

さらに、本発明の実施例は、読み取り可能記憶媒体をさらに提供する。前記読み取り可能記憶媒体には、プログラムまたはコマンドが記憶されており、前記プログラムまたはコマンドがプロセッサにより実行されたときに、上述した画像処理方法の実施例における各プロセスが実現され、かつ、同様な技術的効果が達成され得る。重複を避けるために、ここで再度述べない。

以上、図面に合せて、本発明に係る実施例について記述したが、本発明は上述した具体的な実施形態に限られず、上述した具体的な実施形態は例示的なものだけであり、限定的なものではない。当業者は、本発明による啓示のもとで、本発明の主旨および請求項で保護する範囲を逸脱しない場合、さまざまな形態をさらになさることができ、それらはいずれも本発明の保護に属する。

Claims (11)

1. 散点間接飛行時間（ｉＴＯＦ）センサーにより収集された第１のＲＡＷデータに基づいて、赤外線画像と希少深度画像とを取得すること、
   ＲＧＢカメラにより収集され、前記第１のＲＡＷデータとフレーム同期する第２のＲＡＷデータに基づいて、第１のＹＵＶ画像または第１深度画像である第１の画像を取得すること、
   前記赤外線画像と、前記希少深度画像と、前記第１の画像と、前記第１の画像における各フレームのＲＡＷ画像に対応するフレームアウト時間を含む時間情報と、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係である第１マッピング関係とをデータ集約し、フレーム系列を取得すること、
   前記フレーム系列に基づいて、目標深度画像を取得すること、を含む
   ことを特徴とする画像処理方法。
2. 前記赤外線画像と、前記希少深度画像と、前記第１の画像と、時間情報と、第１マッピング関係とをデータ集約し、フレーム系列を取得することは、
   前記第１マッピング関係に基づいて、前記希少深度画像を圧縮処理し、圧縮後の希少深度画像を取得すること、
   前記時間情報に基づき、前記第１の画像と前記圧縮後の希少深度画像との時間差が所定閾値よりも小さい第１条件を満たす第１の画像と、圧縮後の希少深度画像と、赤外線画像とを選択し、前記圧縮後の希少深度画像と圧縮前の希少深度画像と前記赤外線画像との時間が一致していること
   各フレームのデータのいずれに対しても、第１条件を満たす第１の画像と圧縮後の希少深度画像と赤外線画像とを、前記第１の画像、前記赤外線画像、前記圧縮後の希少深度画像の順でデータパッキングし、フレーム系列を取得すること、を含む
   ことを特徴とする請求項１に記載の方法。
3. 前記第１マッピング関係に基づいて、前記希少深度画像を圧縮処理し、圧縮後の希少深度画像を取得することは、
   前記第１マッピング関係に基づき、前記希少深度画像における第１のデータを除去して、圧縮後の希少深度画像を取得することを含み、
   前記第１のデータが散点に対応しない位置におけるデータであり、圧縮後の希少深度画像が第２のデータと、前記第２のデータのＹＵＶ画像における対応の画素位置とを含み、前記第２のデータが散点に対応する位置におけるデータである
   ことを特徴とする請求項２に記載の方法。
4. 前記フレーム系列に基づいて、目標深度画像を取得することは、
   前記フレーム系列をデータ分割して、第１の画像と圧縮後の希少深度画像と赤外線画像とを取得すること、
   前記第１の画像と前記圧縮後の希少深度画像とに基づいて、初期稠密深度画像を取得すること、
   前記初期稠密深度画像と前記赤外線画像とに基づいて、最適化深度画像を取得すること、
   前記最適化深度画像と前記第１の画像に基づいて、目標深度画像を取得すること、を含む
   ことを特徴とする請求項２に記載の方法。
5. 前記第１の画像と前記圧縮後の希少深度画像とに基づいて、初期稠密深度画像を取得することは、
   前記第１の画像に対して特徴抽出を行い、第１特徴情報を取得すること、
   前記圧縮後の希少深度画像に対して特徴抽出を行い、第２特徴情報を取得すること、
   前記第１特徴情報と前記第２特徴情報とを特徴融合し、融合後の特徴情報を取得すること、
   前記融合後の特徴情報をデコードし、初期稠密深度画像を取得すること、を含む
   ことを特徴とする請求項４に記載の方法。
6. 前記初期稠密深度画像と前記赤外線画像とに基づいて、最適化深度画像を取得することは、
   前記赤外線画像の領域特徴を取得こと、
   前記赤外線画像の領域特徴に基づいて、前記初期稠密深度画像に対して予測調整を行い、最適化深度画像を取得すること、を含む
   ことを特徴とする請求項４に記載の方法。
7. 前記最適化深度画像と前記第１の画像に基づいて、目標深度画像を取得することは、
   前記第１の画像に対して特徴抽出を行い、第１特徴情報を取得すること、
   前記第１特徴情報に基づき、前記最適化深度画像に対して較正最適化処理を行い、目標深度画像を取得すること、を含む
   を特徴とする請求項４に記載の方法。
8. 前記ＲＧＢカメラの数が一つである場合、前記第１の画像は第１のＹＵＶ画像であり、
   前記ＲＧＢカメラの数が二つである場合、前記第１の画像は第１深度画像である
   ことを特徴とする請求項１に記載の方法。
9. 散点間接飛行時間（ｉＴＯＦ）センサーにより収集された第１のＲＡＷデータに基づいて、赤外線画像と希少深度画像とを取得するための第１処理モジュール、
   ＲＧＢカメラにより収集され、前記第１のＲＡＷデータとフレーム同期する第２のＲＡＷデータに基づいて、第１のＹＵＶ画像または第１深度画像である第１の画像を取得するための第２処理モジュール、
   前記赤外線画像と、前記希少深度画像と、前記第１の画像と、前記第１の画像における各フレームのＲＡＷ画像に対応するフレームアウト時間を含む時間情報と、希少深度画像とＹＵＶ画像との間の画素位置マッピング関係である第１マッピング関係とをデータ集約し、フレーム系列を取得するための第３処理モジュール、
   前記フレーム系列に基づいて、目標深度画像を取得するための第４処理モジュール、を含む
   ことを特徴とする、画像処理装置。
10. プロセッサと、メモリと、前記メモリに記憶されて前記プロセッサで動作可能なプログラムまたはコマンドとを含み、
    前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、請求項１～８のいずれか１項に記載の画像処理方法のステップが実現される、
    ことを特徴とする電子機器。
11. プログラムまたはコマンドが記憶されており、
    前記プログラムまたはコマンドがプロセッサにより実行されたときに、請求項１～８のいずれか１項に記載の画像処理方法のステップが実現される、
    ことを特徴とする読み取り可能記憶媒体。

Images