JP7432005B2 - 二次元画像の三次元化方法、装置、機器及びコンピュータプログラム - Google Patents

Description

（関連出願への相互参照）
本願は、２０２０年８月２４日に中国特許局に提出された、出願番号が第２０２０１０８５６１６１．６号である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に援用される。

本願は、画像処理技術に関し、特に、二次元画像の三次元化方法、装置、電子機器及びコンピュータ可読記憶媒体に関する。

人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、デジタルコンピュータ、又はデジタルコンピュータによって制御される機械を使用して、人の知能をシミュレート、支援及び拡張し、環境を認識し、知識を取得し、知識を使用して最良の結果を得る理論、方法、技術及びアプリケーションシステムである。

画像処理は、人工知能の典型的な応用例であり、インターネット技術の発展に伴い、ますます多くのアプリケーション製品は、多様な画像表示機能を提供している。関連するアプリケーション製品は、二次元画像を表示するだけでなく、二次元画像に対して三次元化処理を実行することにより、二次元画像の内容に関連する三次元ビデオを表示することもできる。本願実施例の実施中に、出願人は、三次元ビデオの生成が主に、多角度のカメラに基づく三次元モデリングに依存するが、これには、大量の計算リソースコストと時間コストがかかることを発見した。

本願実施例は、１つの二次元画像に基づいて三次元ビデオを迅速かつ正確に生成することができる、二次元画像の三次元化方法、装置、電子機器及びコンピュータ可読記憶媒体を提供する。

本願実施例の技術的解決策は、次のように実現される。

本願実施例は、二次元画像の三次元化方法を提供し、前記二次元画像の三次元化方法は電子機器によって実行され、前記二次元画像の三次元化方法は、
二次元画像に対して深度認識処理を実行して、前記二次元画像の各画素点の深度値を取得するステップと、
前記二次元画像に対して複数の視角の移行処理を実行して、前記二次元画像の各視角に対応する移行結果を取得するステップと、
前記二次元画像の各画素点の深度値及び前記二次元画像の各視角に対応する移行結果に基づいて、前記各視角に対応する移行画像の各画素点の色彩値を決定するステップと、
前記各視角の移行画像の各画素点の色彩値に基づいて、対応する前記視角の移行画像を生成するステップと、
前記複数の視角の移行画像を順次にカプセル化して、三次元ビデオを取得するステップと、を含む。

本願実施例は二次元画像の三次元化装置を提供し、前記二次元画像の三次元化装置は、
二次元画像に対して深度認識処理を実行して、前記二次元画像の各画素点の深度値を取得するように構成される深度モジュールと、
前記二次元画像に対して複数の視角の移行処理を実行して、前記二次元画像の各視角に対応する移行結果を取得するように構成される移行モジュールと、
前記二次元画像の各画素点の深度値及び前記二次元画像の各視角に対応する移行結果に基づいて、前記各視角に対応する移行画像の各画素点の色彩値を決定するように構成される色彩決定モジュールと、
前記各視角の移行画像の各画素点の色彩値に基づいて、対応する前記視角の移行画像を生成するように構成される生成モジュールと、
複数の前記視角の移行画像を順次にカプセル化して、三次元ビデオを取得するように構成されるカプセル化モジュールと、を備える。

本願実施例は、二次元画像の三次元化方法を提供し、前記二次元画像の三次元化方法は電子機器によって実行され、前記二次元画像の三次元化方法は、
ヒューマン・コンピュータ・インタラクション・インターフェイスに二次元画像を表示するステップと、
前記二次元画像の三次元化操作に応答して、前記二次元画像に基づいて生成された三次元ビデオを再生するステップと、を含み、
ここで、前記ビデオは、本願実施例に係る二次元画像の三次元化方法によって取得されたものである。

本願実施例は二次元画像の三次元化装置を提供し、前記二次元画像の三次元化装置は、
ヒューマン・コンピュータ・インタラクション・インターフェイスに二次元画像を表示するように構成される表示モジュールと、
前記二次元画像の三次元化操作に応答して、前記二次元画像に基づいて生成された三次元ビデオを再生するように構成される再生モジュールと、を備え、
ここで、前記ビデオは、本願実施例に係る二次元画像の三次元化方法によって取得されたものである。

本願実施例は電子機器を提供し、前記電子機器は、
実行可能命令を記憶するように構成されるメモリと、
前記メモリに記憶されている実行可能命令を実行することにより、本願実施例に係る二次元画像の三次元化方法を実現するように構成されるプロセッサと、を備える。

本願実施例は、実行可能命令が記憶されたコンピュータ可読記憶媒体を提供し、前記実行可能命令がプロセッサに、本願実施例に係る二次元画像の三次元化方法を実行させる。

本願実施例は、以下の有益な効果を有する。

二次元画像に対して複数の視角の移行処理を実行し、対応する視角の移行画像を生成することにより、二次元画像レベルの視角変換プロセスを実現し、これにより、三次元シーンモデリングプロセスの代わりに、二次元画像処理レベルで画像三次元化プロセスを実現し、二次元画像を正確に三次元化して三次元ビデオを生成するとともに、バックエンド又は端末の計算リソースコスト及び時間コストを削減する。

本願実施例に係る二次元画像の三次元化システムの概略構造図である。 本願実施例に係る二次元画像の三次元化方法を適用した電子機器の概略構造図である。 本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートである。 本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートである。 本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートである。 本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートである。 本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートである。 本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートである。 本願実施例に係る二次元画像の三次元化方法の深度マップである。 本願実施例に係る二次元画像の三次元化方法のエッジ標記マップである。 本願実施例に係る二次元画像の三次元化方法における移動パラメータを取得する概略図である。 本願実施例に係る二次元画像の三次元化方法における寄与の概略図である。 本願実施例に係る二次元画像の三次元化方法における検索の概略図である。 本願実施例に係る二次元画像の三次元化方法の効果の概略図である。 本願実施例に係る二次元画像の三次元化方法におけるカプセル化の概略図である。 本願実施例に係る二次元画像の三次元化方法の寄与原理を示す概略図である。

本願の目的、技術的解決策及び利点をより明確にするために、以下、図面を参照して本願を更に詳細に説明する。説明された実施例は、本願を限定するためのものとして見なされるべきではなく、創造的な努力なしに当業者によって取得される他のすべての実施例は、本願の保護範囲に含まれるものとする。

以下の説明において、「いくつかの実施例」という用語は、全ての可能な実施例のサブセットを意味するが、理解できることとして、「いくつかの実施例」は、全ての可能な実施例の同じサブセット又は異なるサブセットであってもよく、競合することなく互いに組み合わせることができる。

以下の説明において、「第１／第２／第３」という用語は、オブジェクトの特定の順序を表すものではなく、類似したオブジェクトを区別するためのものに過ぎない。「第１／第２／第３」関しては、場合によっては、特定の順序や前後順序が交換可能であるため、ここで説明される本願実施例は、ここで図示又は説明された順序以外の順序で実施されることができる。

特に定義しない限り、本明細書で使用される技術用語及び科学用語は、本願の技術分野の当業者によって一般的に理解されるものと同じ意味を有する。本明細書で使用される用語は、本願実施例を説明することのみを目的としており、本願を限定することを意図するものではない。

本願実施例を更に詳細に説明する前に、本願実施例に関する術語や用語を説明し、本願実施例に関する術語や用語は、以下のように解釈される。
１）深度マップ：三次元コンピュータ図形及びコンピュータビジョンでは、深度マップは、シーン対象の表面から視点までの距離に関連する情報を含む、画像又は画像チャネルであり、深度マップは、三次元形状のシミュレーション又は三次元形状の再構築に使用され、深度マップは、三次元スキャナによって生成することができる。
２）画素：デジタル画像は、画像の行方向及び列方向上のグレースケール又は色彩を記録した二次元信号であり、画素は、コンピュータ画像の最小論理単位である。
３）深度推定：画像に基づいて当該画像の深度情報を推定し、深度推定は、画像内容の理解、焦点、焦点外れ及び明暗の変化に基づいて行われることができ、画像内容の理解に基づく深度推定方法は主に、画像内の各対象をブロックに分類し、その後、各カテゴリの対象について、それぞれの適切な方法を使用して深度情報を推定する。

関連技術では、二次元画像に基づいて三次元視覚効果を有するビデオを生成するという問題の主な解决方式では、深層学習によりシーンの深度情報を予測し、シーンに対して三次元モデリングを実行し、遮られた部分に対して補填予測を実行し、カメラの動きをシミュレートしてカメラの視角を変更し、新しい視角の画像を再レンダリングして新しい視角の画像を取得し、三次元効果を有するビデオを表示する。関連技術における三次元ビデオ生成方法では主に、深層学習によりシーンの深度情報を予測し、三次元モデリングにより当該シーンを構築し、深層学習により隠れた部分を充填し、カメラの動きをシミュレートすることにより、新しい視角の画像を再レンダリングして、三次元効果を有するビデオを取得するが、三次元モデリングのプロセスは複雑で時間がかかり、計算プロセス全体が複雑で時間がかかりすぎるため、低遅延のオンライン機能をサポートするには適しない。

本願実施例は、異なる視角の画像シーンを迅速かつ正確に再構築して画像の三次元化表示を実現することができる、二次元画像の三次元化方法、装置、電子機器及びコンピュータ可読記憶媒体を提供する。以下、本願実施例に係る電子機器の例示的な応用例について説明し、本願実施例に係る電子機器は、ノートコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、セットトップボックス、スマートホーム（例えば、スマートＴＶ）、モバイル機器（例えば、携帯電話、携帯型音楽プレーヤ、携帯情報端末、専用メッセージング機器、ポータブルゲーム機器）などの様々なユーザ端末であってもよいし、サーバであってもよい。以下、機器がサーバとして実施されるときの例示的な応用例について説明する。

図１を参照すると、図１は、本願実施例に係る二次元画像の三次元化システムの概略構造図であり、画像編集応用例をサポートするために、端末４００はネットワーク３００を介してサーバ２００に接続し、ネットワーク３００は、ワイドエリアネットワーク、ローカルエリアネットワーク又はこれらの組み合わせであってもよく、端末４００は、処理対象画像をサーバ２００にアップロードし、サーバ２００は処理対象画像に対して二次元画像の三次元化処理を実行して、処理対象画像に対応する三次元ビデオを取得し、サーバ２００は三次元ビデオを端末４００に返信し、端末４００で三次元ビデオを再生する。

いくつかの実施形態では、端末４００は、処理対象画像をサーバ２００にアップロードすると同時に、画像三次元化操作によって指定されたレンダリングモードをサーバ２００に送信し、サーバ２００は、レンダリングモードに従って、対応する複数の視角、及び移行画像のカプセル化順序を決定し、サーバ２００は、対応する視角に従って、複数の視角に対応する移行画像を取得し、カプセル化順序に従って移行画像をカプセル化して、三次元ビデオを生成し、三次元ビデオを端末４００に返信して再生する。

図１では、端末４００とサーバ２００が協力して二次元画像の三次元化処理を遂行することを例として説明しており、理解できることとして、代替方案として、端末４００は、自身の能力に依存して二次元画像の三次元化処理を遂行することができる。

いくつかの実施例では、端末４００は、コンピュータプログラムを実行することにより、本願実施例に係る二次元画像の三次元化方法を実現し、例えば、コンピュータプログラムは、オペレーティングシステム内のネイティブプログラム又はソフトウェアモジュールであってもよく、ネイティブ（Ｎａｔｉｖｅ）アプリケーション（ＡＰＰ：Ａｐｐｌｉｃａｔｉｏｎ）（即ち、実行するためにオペレーティングシステムにインストールする必要があるプログラム（例えば、ビデオＡＰＰ又はストリーミングＡＰＰ））であってもよく、ミニプログラム（即ち、ブラウザ環境にダウンロードするだけで実行できるプログラム）であってもよく、任意のＡＰＰに埋め込むことができるビデオミニプログラム又はストリーミングミニプログラムであってもよい。要するに、上記のコンピュータプログラムは、任意の形のアプリケーション、モジュール又はプラグインであってもよい。

いくつかの実施例では、サーバ２００は、独立した物理的サーバであってもよく、或いは、複数の物理サーバで構成されるサーバクラスタ又は分散型システムであってもよく、或いは、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、ＣＤＮ（Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ）、及びビッグデータ及び人工知能プラットフォームなどの基本的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。端末４００は、スマートフォン、タブレットコンピュータ、ノートコンピュータ、デスクトップコンピュータ、スマートスピーカ、スマートウォッチ等であり得るが、これらに限定されない。端末とサーバは、有線通信又は無線通信により直接又は間接的に接続することができ、本願実施例はこれに対して特に限定しない。

図２を参照すると、図２は、本願実施例に係る二次元画像の三次元化方法を適用した電子機器の概略構造図であり、電子機器が自身の能力に応じて二次元画像の三次元化処理を独自に遂行する端末４００であることを例に取ると、図２に示される端末４００は、少なくとも１つのプロセッサ４１０、メモリ４５０、少なくとも１つのネットワークインターフェース４２０及びユーザインターフェース４３０を備える。端末４００の各コンポーネントは、バスシステム４４０を介して結合される。理解できることとして、バスシステム４４０は、これらのコンポーネント間の接続通信を実現するために使用される。データバスに加えて、バスシステム４４０は、電力バス、制御バス及び状態信号バスを更に備える。しかしながら、説明を明確にするために、図２では様々なバスをすべてバスシステム４４０として表記する。

プロセッサ４１０は、信号処理能力を備えた集積回路チップ（例えば、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネント等）であってもよく、ここで、汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサ等であってもよい。

ユーザインターフェース４３０は、メディアコンテンツを表示可能な１つ又は複数の出力装置４３１を含み、当該出力機器４３１は、１つ又は複数のスピーカ及び／又は１つ又は複数の視覚的ディスプレイを含む。ユーザインターフェース４３０は更に、１つ又は複数の入力装置４３２を含み、当該入力装置４３２は、ユーザ入力を容易にするユーザインターフェース構成要素（例えば、キーボード、マウス、マイク、タッチスクリーンディスプレイ、カメラ、及び他の入力ボタン及びコントロールなど）を含む。

メモリ４５０は、取り外し可能なもの、取り外し不可能なもの、又はそれらの組み合わせであってもよい。例示的なハードウェア機器は、ソリッドステートメモリ、ハードドライブ、光学ドライブ等を含む。例示的に、メモリ４５０は、プロセッサ４１０から物理的に離れた１つ又は複数の記憶機器を含む。

メモリ４５０は、揮発性メモリ又は不揮発性メモリを含んでもよいし、揮発性メモリ及び不揮発性メモリの両方を含んでもよい。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよく、揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。本願実施例に記載のメモリ４５０は、任意の適切なタイプのメモリを含むことを意図している。

いくつかの実施例では、メモリ４５０は、様々な操作をサポートするためにデータを記憶することができ、これらのデータの例は、プログラム、モジュール及びデータ構造又はそのサブセット又はスーパーセットを含み、以下、これらについて例示的に説明する。

オペレーティングシステム４５１は、様々な基本的なシステムサービスを処理し、ハードウェアに関連するタスクを実行するためのシステムプログラムを含み、例えば、様々な基本サービスを実現し、ハードウェアに基づくタスクを処理するためのフレームワーク層、コアライブラリ層、ドライバ層等を含む。

ネットワーク通信モジュール４５２は、１つ又は複数の（有線又は無線）ネットワークインターフェース４２０を通して他の電子機器に到達するために使用され、例示的なネットワークインターフェース４２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等を含む。

表示モジュール４５３は、ユーザインターフェース４３０に関連付けられた１つ又は複数の出力装置４３１（例えば、ディスプレイスクリーン、スピーカ等）を介して情報を表示するように構成される（例えば、周辺機器を操作し、コンテンツや情報を表示するように構成されるユーザインターフェース）。

入力処理モジュール４５４は、１つ又は複数の入力装置４３２のうちの１つからの１つ又は複数のユーザ入力又は相互作用を検出し、検出された入力又は相互作用を翻訳する。

いくつかの実施例では、本願実施例に係る二次元画像の三次元化装置は、ソフトウェアの形で実現でき、図２は、メモリ４５０に記憶されている二次元画像の三次元化装置４５５を示し、二次元画像の三次元化装置４５５は、プログラム及びプラグインなどの形のソフトウェアであってもよく、二次元画像の三次元化装置４５５は、深度モジュール４５５１、移行モジュール４５５２、色彩決定モジュール４５５３、生成モジュール４５５４、カプセル化モジュール４５５５、表示モジュール４５５６及び再生モジュール４５５７を備え、これらのモジュールは論理モジュールであり、したがって、実現する機能に応じて任意に組み合わせしたり、更に分割したりすることができ、以下では、各モジュールの機能について説明する。

本願実施例に係る電子機器の例示的な適用及び実施を参照して、本願実施例に係る二次元画像の三次元化方法を説明し、本願実施例に係る二次元画像の三次元化方法は、上記の端末４００によって独立して遂行されるか、又は上記の端末４００とサーバ２００によって協働して遂行されてもよい。

本願実施例に係る端末の例示的な適用及び実施を参照して、本願実施例に係る二次元画像の三次元化方法を説明する。

図３Ａを参照すると、図３Ａは、本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートであり、図３Ａに示されるステップ１０１～ステップ１０５を参照して説明する。

ステップ１０１において、二次元画像に対して深度認識処理を実行して、二次元画像の各画素点の深度値を取得する。

一例として、二次元画像の画素点の深度値は、深度認識アルゴリズムによって認識された画素点の深度値（即ち、以下の元の深度値）であり、深度推定の問題は、コンピュータビジョン分野における三次元再構築に属し、空間幾何学、時間領域変換及び焦点距離変化の関係から深度距離を導出することであり、深度推定は、三次元モデリング、シーンの理解、深度認識における画像合成などの分野に適用することができ、深層学習に基づく画像深度推定は、画素深度値関係で深度関係を反映し、１つの関数をフィッティングすることによって、画像を深度マップにマッピングすることに基づいており、単眼深度推定では、通常、単一の視角の画像データを入力として使用し、画像における各画素に対応する深度値を直接予測する。

ステップ１０２において、二次元画像に対して複数の視角の移行処理を実行して、二次元画像の各視角に対応する移行結果を取得する。

一例として、移行とは、二次元画像の各画素点を、二次元画像と同じサイズの画布に移行することを意味し、各視角に対応する移行結果は、各視角の画布における各画素点の位置を含み、二次元画像の三次元化処理は、異なるスタイルに基づく三次元化処理（例えば、カメラがズームインされた三次元ビデオの作成、カメラ揺れの三次元ビデオの作成、カメラがズームアウトされた三次元ビデオの作成など）であってもよく、異なるスタイルの三次元化処理について、対応する視角及び移行画像のカプセル化順序を決定する必要があり、端末は、二次元画像の三次元化操作を受信すると、三次元化操作によって指定されたレンダリングスタイルを決定し、レンダリングスタイルに対応する複数の視角及び対応する視角の移行画像のカプセル化順序を決定する。あるレンダリングスタイルに対して２つの視角の移行画像を決定する必要があり、つまり、二次元画像の各画素点に対して２つの視角の移行処理を実行して、２つの視角の移行結果をそれぞれ取得する必要がある。

ステップ１０３において、二次元画像の各画素点の深度値及び二次元画像の各視角に対応する移行結果に基づいて、各視角に対応する移行画像の各画素点の色彩値を決定する。

いくつかの実施例では、ステップ１０３において、二次元画像の各画素点の深度値及び二次元画像の各視角に対応する移行結果に基づいて、各視角に対応する移行画像の各画素点の色彩値を決定する前に、以下の技術方案を実行することができる。深度認識処理によって取得された、二次元画像の各画素点の深度値を元の深度値として使用し、二次元画像の各画素点の深度値に対して深度修復処理を実行して、二次元画像の各画素点の修復深度値を取得し、各画素点の修復深度値に基づいて、対応する元の深度値を置き換える。

一例として、上記の深度修復処理の技術方案は、主に、深度認識により得られた深度値に対して深度エッジ修復を実行するために使用され、深度値に対して深度修復を実行する上記のプロセスは、ステップ１０２が実行される前に実行されてもよいし、ステップ１０２が実行された後且つステップ１０３が実行される前に実行されてもよい。

一例として、図５を参照すると、図５は、本願実施例に係る二次元画像の三次元化方法の深度マップであり、ステップ１０１において、深度認識プロセスで得られた深度推定結果は、エッジで不均一な連続したジッタを生成し、図５の各格子は１つの画素点を表し、背景対象は黒い格子５０１であり、前景対象は白い格子５０２であり、理論的には、それらの間に灰色の格子がない場合にのみ、同一物体が同一深度を持つという原則に準拠するようになるが、図５には、不連続なジッタ現象、即ち、黒い格子５０１が灰色の格子５０３に隣接し、灰色の格子５０３が白い格子５０２に隣接するステップジッタが存在し、これにより、同一対象に対して異なる深度推定結果が得られる。したがって、エッジに対して深度修復を実行する必要があり、高速中央値置き換えによりエッジ深度を改善することができる。

一例として、白い格子５０２は二次元画像の前景画像を表し、黒い格子５０１は二次元画像の背景画像を表し、前景画像の深度は背景画像の深度よりも小さく、２つの異なる色の格子のエッジの深度値の変動が比較的大きい。

いくつかの実施例では、上記の二次元画像の各画素点の元の深度値に対して深度修復処理を実行して、二次元画像の各画素点の修復深度値を取得することは、以下の技術方案で実現できる。二次元画像の各画素点の元の深度値に基づいて、二次元画像のエッジ画素点及び前記二次元画像の非エッジ画素点を決定し、エッジ画素点に基づいて、二次元画像における、中央値置き換えが必要な置き換え対象画素点と、中央値置き換えを必要としない保留画素点とを決定し、置き換え対象画素点の連通領域内の全ての非エッジ画素点の元の深度値に対して降順整列処理を実行し、降順整列結果の中央値を置き換え対象画素点の修復深度値として使用し、保留画素点の元の深度値を保留画素点の修復深度値として保留する。

いくつかの実施例では、上記の二次元画像の各画素点の元の深度値に基づいて、二次元画像のエッジ画素点及び前記二次元画像の非エッジ画素点を決定することは、以下の技術方案で実現できる。二次元画像の任意の画素点に対して以下の処理を実行する。画素点の元の深度値の正則化処理結果と、少なくとも１つの隣接画素点の元の深度値の正則化処理結果との間の絶対差値が差値閾値以上である場合、画素点を非エッジ画素点として決定し、ここで、隣接画素点とは、任意の画素点の隣接位置にある画素点であり、画素点の元の深度値の正則化処理結果と、各隣接画素点の元の深度値の正則化処理結果との間の絶対差値が差値閾値よりも小さい場合、画素点をエッジ画素点として決定する。

一例として、深度認識プロセスによって取得された深度マップに対して正則化処理を実行することで、深度マップの値の範囲を０～１に縮小させ、式（１）を参照すると、
Ｎｏｒｍ（Ｄ）＝（Ｄ－Ｄ．ｍｉｎ）／（Ｄ．ｍａｘ－Ｄ．ｍｉｎ） （１）
ここで、Ｄ．ｍａｘは、深度マップの全ての画素点の最大深度値を指し、Ｄｍｉｎは、深度マップの全ての画素点の最小深度値を指し、Ｎｏｒｍ（Ｄ）は正則化処理結果である。

深度マップの各画素について、深度マップの各画素点と、該画素点に隣接する上下左右の４つの画素点の正則化処理結果との間の絶対差値を計算し、絶対差値を使用して、当該画素点がエッジ領域内にあるか否かを判断し、図６を参照すると、図６は、本願実施例に係る二次元画像の三次元化方法のエッジ標記マップであり、全ての絶対差値（上記の４つの絶対値）が差値閾値よりも小さい（例えば、差値閾値が０．０４に設定される）場合、当該画素点を１に標記し、エッジ画素点であると判別し、そうでない場合、当該画素点を０に標記し、非エッジ画素点であると判別する。例えば、正則化した後の当該点の深度がＤ（ｉ，ｊ）であると仮定すると、ｉは当該点の水平位置を表し、ｊは当該点の垂直位置を表し、式（２）を参照して判断する。
ｍａｘ（ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ＋１，ｊ）），ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ－１，ｊ）），ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ，ｊ＋１）），ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ，ｊ－１）））＜差値閾値 （２）
ここで、ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ＋１，ｊ）は、画素点（ｉ，ｊ）の深度値の正則化処理結果と画素点（ｉ＋１，ｊ）の深度値の正則化処理結果との間の絶対差値であり、ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ－１，ｊ））は、画素点（ｉ，ｊ）の深度値の正則化処理結果と画素点（ｉ－１，ｊ）の深度値の正則化処理結果との間の絶対差値であり、ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ，ｊ＋１））は、画素点（ｉ，ｊ）の深度値の正則化処理結果と画素点（ｉ，ｊ＋１）の深度値の正則化処理結果との間の絶対差値であり、ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ，ｊ－１））は、画素点（ｉ，ｊ）の深度値の正則化処理結果と画素点（ｉ，ｊ－１）の深度値の正則化処理結果との間の絶対差値である。

上記の４つの絶対差値のうちの最大値が差値閾値よりも小さい場合、当該画素点を１に標記し、エッジ画素点であると判別し、そうでない場合、当該画素点を０に標記し、非エッジ画素点であると判別する。

いくつかの実施例では、上記のエッジ画素点に基づいて、二次元画像における、中央値置き換えが必要な置き換え対象画素点と、中央値置き換えを必要としない保留画素点とを決定することは、以下の技術方案で実現できる。二次元画像の任意の画素点に対して以下の処理を実行する。画素点の連通領域内に少なくとも１つのエッジ画素点が存在する場合、画素点が置き換え対象画素点であると決定し、画素点の連通領域内にエッジ画素点がない場合、画素点が保留画素点であると決定する。

一例として、図６に示されるエッジ標記マップでは、各画素を中心（中心画素）として連通領域が描かれており、連通領域とは、当該画素点と直接的及び間接的に連通関係にある複数の画素点集合を指し、具体的には、当該連通領域は、当該画素を中心とするｋ＊ｋサイズの正方形であってもよく、図６に示されるテクスチャ付きの画素点を中心画素６０２として使用することを例として説明すると、その連通領域は、図６に示される３＊３サイズの点線枠６０１であり、連通領域内にエッジ画素点（１として標記された点）がある場合、当該中心画素に対して中央値置き換え処理を実行し、そうでない場合、中央値置き換え処理を実行する必要がない。

一例として、中央値置き換え処理の具体的な方法は、次のとおりである。先ず、中央値置き換え処理が必要な画素点（中心画素）、画素点（中心画素）の連通領域内に少なくとも１つのエッジ画素点が存在する場合、当該画素点を置き換え対象画素点（即ち、中央値置き換え処理が必要な画素点）として決定し、連通領域から全ての非エッジ画素点の深度値を取得し、これらの深度値を昇順に配列し、配列後の中央値を使用して当該中心画素の深度値を置き換え、二次元画像の各画素を中心画素として上記の処理を実行し、これにより、全ての画素のトラバースを完了し、つまり、二次元画像の深度値の深度修復処理を完了する。取得された修復後の深度マップにおいて、深度が大きいほど、当該画素の視距離が遠くなり、視距離は、視点と画像内の対象との間の距離を表し、遠景の対象の視距離は、近景の対象の視距離よりも大きい。

図３Ａに基づき、図３Ｂを参照すると、図３Ｂは、本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートであり、ステップ１０２において、二次元画像に対して複数の視角の移行処理を実行して、二次元画像の各視角に対応する移行結果を取得するステップは、図３Ｂに示されるステップ１０２１～ステップ１０２３で説明することができる。

ステップ１０２１において、二次元画像の各画素点の深度値を更新して、二次元画像の各画素点の更新深度値を取得する。

一例として、更新深度値は、対応する画素点の修復深度値又は元の深度値と負の相関があり、更新に使用される深度値は、元の深度値であってもよいし、深度修復処理後の深度値であってもよく、ステップ１０２の前に深度修復方案が実行される場合、更新に使用される深度値は、深度修復処理後の修復深度値であり、深度修復方案がステップ１０２の後且つステップ１０３の前に実行される場合、更新される深度値は元の深度値である。

一例として、更新処理は、逆数計算であってもよく、更新処理の後に、新しい深度マップが取得され、式（３）を参照すると、
Ｄ＝（１／Ｎｏｒｍ（Ｄ））－０．５ （３）
ここで、Ｎｏｒｍ（Ｄ）は、画素点の正則化処理結果であり、Ｄは更新深度値であり、減算に使用されるパラメータは０．５に限定されず、上記の式（３）による更新処理後に取得される深度値は、－０．５～０．５である。更新深度値が大きいほど、視距離が小さくなり、つまり、画素の距離が近いことを意味し、視距離は、視点と画像内の対象との間の距離を表し、遠景の対象の視距離は近景の対象の視距離よりも大きい。

ステップ１０２２において、複数の視角とそれぞれ１対１で対応する複数の移動パラメータを決定する。

一例として、移動パラメータは、水平移動パラメータ及び垂直移動パラメータを含む。

いくつかの実施例では、移動パラメータを決定するプロセスは、円周上で間隔を置いて移動パラメータを無差別に取得することであり得、図７を参照すると、図７は、本願実施例に係る二次元画像の三次元化方法における移動パラメータを取得する概略図であり、（ｖ，ｕ）は、移動パラメータを表し、ｖは垂直移動パラメータであり、ｕは水平移動パラメータであり、半径が１である円周において固定角度ごとに点を収集し、当該点の縦座標と横座標は（ｖ，ｕ）の値であり、円全体で取得された複数の（ｖ，ｕ）は、複数の異なる視角の移行画像をレンダリングするために使用され得、これにより、同じ画像に対して異なるレンダリングスタイルの三次元化処理を実行する場合、対応するスタイルの移行画像を直接取得し、対応するレンダリングスタイルの順序でカプセル化することができる。

いくつかの実施例では、移動パラメータを決定するプロセスは、レンダリングスタイルに対応する視角に従って、円周上で移動パラメータを差別化して取得することであり得、移動パラメータを無差別に取得する実施形態と比較して、これは、いくつかの視角の移動パラメータを取得するだけでよく、したがって、いくつかの視角の画像移行及びレンダリングを実行するだけでよい。

ステップ１０２３において、各視覚について以下の処理を実行する。設定された移動感度パラメータ、更新深度値、水平移動パラメータ、及び二次元画像の幅と正相関する水平移動ベクトルを決定し、設定された移動感度パラメータ、更新深度値、垂直移動パラメータ、及び二次元画像の高さと正相関する垂直移動ベクトルを決定し、視角の移行画像画布における二次元画像の各画素点の対応する原位置を取得し、原位置を起点として水平移動ベクトル及び垂直移動ベクトルに従って変位処理を実行して、移行画像画布における二次元画像の各画素点の移行位置を取得する。

一例として、水平移動ベクトルの具体的な計算方式は、以下のとおりである。水平移動パラメータｕ、移動感度パラメータｓｃａｌｅ、画素の更新深度値、及び二次元画像の幅ｗを乗算して水平移動ベクトルを得、乗算結果が負数である場合、画素を水平方向の負の方向に移動させ、乗算結果が正数である場合、画素を水平方向の正の方向に移動させる。垂直移動ベクトルの具体的な計算方式は、以下のとおりである。垂直移動パラメータｖ、移動感度パラメータｓｃａｌｅ、画素の更新深度値、及び二次元画像の高さｈを乗算して垂直移動ベクトルを得、乗算結果が負数である場合、画素を垂直方向の負の方向に移動させ、乗算結果が正数である場合、画素を垂直方向の正の方向に移動させ、例えば、二次元画像上の画素（ｉ，ｊ）について、水平方向の移行位置Ａは、式（４）を参照し、垂直方向の移行位置Ｂは、式（５）を参照する。

ここで、移動感度パラメータｓｃａｌｅは所定定数であり、移動感度パラメータｓｃａｌｅが大きく設定されるほど、移動幅が大きくなり、Ｄ（ｉ，ｊ）は、更新深度マップの更新深度値であり、値の範囲は－０．５～０．５であり、ｕは水平移動パラメータであり、ｓｃａｌｅは移動感度パラメータであり、ｗは二次元画像の幅であり、ｖは垂直移動パラメータであり、ｈは二次元画像の高さである。

上記の移行プロセスにより、手前の対象と奥の対象が異なる方向に移動し、視点により近い又は遠い対象の移動距離が大きくなるという効果をもたらし、このような移動モードは、三次元表示規則を満たし、水平方向の移行位置と垂直方向の移行位置が整数ではないことを考慮して、ステップ１０３の実施方式により色彩成分を周辺位置に寄与することができる。

図３Ａに基づき、図３Ｃを参照すると、図３Ｃは、本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートであり、ステップ１０３において、二次元画像の各画素点の深度値及び二次元画像の各視角に対応する移行結果に基づいて、各視角に対応する移行画像の各画素点の色彩値を決定するステップは、図３Ｃに示されるステップ１０３１～ステップ１０３３で説明することができる。

各視角の移行画像の各画素点を染色対象画素点として使用し、各視角の移行画像画布の各染色対象画素点に対して以下の処理を実行する。

ステップ１０３１において、染色対象画素点の寄与画素点を決定する。

一例として、寄与画素点は、二次元画像において、移行位置が前記染色対象画素点の連通領域内にある画素点であり、連通領域とは、染色対象画素点と直接的及び間接的に連通関係にある複数の画素点集合を指し、具体的には、当該連通領域は、染色対象画素点を中心とする３＊３サイズの正方形であり得、移行画像画布で最終的に取得された移行画像は、染色対象画素点で構成され、ステップ１０２で取得された各視角の移行結果は、視角の移行画像画布における、二次元画像の各画素点が移行される移行位置を含み、ここで、移行画像画布のサイズと二次元画像のサイズは同じである。

一例として、図１２を参照すると、図１２は、本願実施例に係る二次元画像の三次元化方法の寄与原理を示す概略図であり、例えば、移行画像画布は４９個の染色対象画素点を含み、図１２にはまた、画像移行後の移行画像画布における二次元画像の３つの画素点Ａ、Ｂ及びＣの移行位置が示されており、染色対象画素点３４の場合、ドットパターンの領域は、染色対象画素点３４を中心として決定された連通領域であり、二次元画像の３つの画素点Ａ、Ｂ及びＣは連通領域内にあるため、二次元画像の３つの画素点Ａ、Ｂ及びＣは全て、染色対象画素点３４の寄与画素点である。

ステップ１０３２において、視角の移行画像画布における二次元画像の各画素点の移行位置、及び二次元画像の各画素点の深度値に基づいて、染色対象画素点に対応する寄与画素点の寄与重みを決定する。

いくつかの実施例では、ステップ１０３２において、視角の移行画像画布における二次元画像の各画素点の移行位置、及び二次元画像の各画素点の深度値に基づいて、染色対象画素点に対応する寄与画素点の寄与重みを決定するステップは、以下の技術方案で実現できる。寄与画素点が染色対象画素点の連通領域の右下領域又は直下領域にある場合、寄与画素点の移行結果に対して切り上げ処理を実行して、寄与重みを取得し、当該寄与重みは、移行結果とそれに対応する切り上げ結果との間の絶対差値、及び寄与画素点の更新深度値と正相関する。寄与画素点が染色対象画素点の連通領域の左上領域又は直上領域にある場合、寄与画素点の移行結果に対して切り捨て処理実行して、寄与重みを取得し、当該寄与重みは、移行結果とそれに対応する切り捨て結果との間の絶対差値、及び寄与画素点の更新深度値と正相関する。寄与画素点が染色対象画素点の連通領域の右上領域又は直右領域にある場合、寄与画素点の水平移行結果に対して切り上げ処理を実行し、寄与画素点の垂直移行結果に対して切り捨て処理を実行して、寄与重みを取得し、当該寄与重みは、移行結果とそれに対応する丸め結果との間の絶対差値、及び寄与画素点の更新深度値と正相関する。寄与画素点が染色対象画素点の連通領域の左下領域又は直左領域にある場合、寄与画素点の移行結果に対して切り捨て処理を実行し、寄与画素点の垂直移行結果に対して切り上げ処理を実行して、寄与重みを取得し、当該寄与重みは、移行結果とそれに対応する丸め結果との間の絶対差値、及び寄与画素点の更新深度値と正相関する。

一例として、図１２を参照すると、寄与画素点Ａと染色対象画素点との相対距離と、寄与画素点Ｂと染色対象画素点との相対距離が異なり、寄与画素点Ａと寄与画素点Ｂの更新深度値が異なるため、染色対象画素点の色彩成分に寄与する寄与画素点Ａと寄与画素点Ｂの寄与重みは異なる。寄与画素点Ｂを例に取ると、染色対象画素点３４に対する当該寄与画素点Ｂの寄与重みは、寄与画素点Ｂと染色対象画素点３４との横縦座標差値の絶対値の積であってもよく、例えば、染色対象画素点３４に対する寄与画素点Ｂの寄与重みは、ａｂｓ（ｉ’－ｆｌｏｏｒ（ｉ’））＊ａｂｓ（ｊ’－ｆｌｏｏｒ（ｊ’））であってもよく、ここで、ｆｌｏｏｒ（ｉ’）操作及びｆｌｏｏｒ（ｊ’）操作は切り上げ操作であり、右下の染色対象画素点に対する寄与画素点の計算過程における丸め操作は、切り捨て操作であり、上記の寄与重みを計算した上で、寄与重みをｅｘｐ（ｔ＊Ｄ（ｉ，ｊ））と乗算して寄与重みを更新してもよく（ｔの値は１０にすることができる）、ここで、Ｄ（ｉ，ｊ）は、寄与画素点の更新深度値であり、このように、二次元画像における寄与画素点の更新深度値が染色対象画素点に与える影響が考慮され、深度値が更新された後、画素点の視距離が近いほど、画素点（近景）のＤ（ｉ，ｊ）は大きくなり、その寄与重みも指数関数的に増大し、これは、三次元視覚効果の運動法則に準拠している。

一例として、寄与画素点が染色対象画素点の連通領域の右下領域又は直下領域にある場合、例えば、寄与画素点Ｂが染色対象画素点の連通領域の右下領域にあり、寄与画素点Ｃが染色対象画素点の連通領域の直下領域にある場合、寄与画素点の移行結果（水平方向の移行位置及び垂直方向の移行位置）に対して切り上げ処理を実行して、移行結果とそれに対応する切り上げ結果との間の絶対差値、及び前記寄与画素点の更新深度値と正相関する寄与重みを取得し、直下領域とは、連通領域において寄与画素点の移行位置が染色対象画素点の直下にあることを指し、右下領域とは、連通領域において寄与画素点の移行位置が染色対象画素点に対して第４象限にあることを指す。

一例として、寄与画素点が染色対象画素点の連通領域の左上領域又は直上領域にある場合、例えば、寄与画素点Ａが染色対象画素点の連通領域の右下領域にある場合、寄与画素点の移行結果（水平方向の移行位置及び垂直方向の移行位置）に対して切り捨て処理を実行して、移行結果とそれに対応する切り捨て結果との間の絶対差値、及び前記寄与画素点の更新深度値と正相関する寄与重みを取得する。直上領域とは、連通領域において寄与画素点の移行位置が染色対象画素点の直上にあることを指し、左上領域とは、連通領域において寄与画素点の移行位置が染色対象画素点に対して第２象限にあることを指す。

一例として、寄与画素点が染色対象画素点の連通領域の右上領域又は直右領域にある場合、寄与画素点の水平方向の移行位置に対して切り上げ処理を実行し、寄与画素点の垂直方向の移行位置に対して切り捨て処理を実行して、移行結果とそれに対応する丸め結果との間の絶対差値、及び前記寄与画素点の更新深度値と正相関する寄与重みを取得する。直右領域とは、連通領域において寄与画素点の移行位置が染色対象画素点の直右にあることを指し、右上領域とは、連通領域において寄与画素点の移行位置が染色対象画素点に対して第１象限にあることを指す。

一例として、寄与画素点が染色対象画素点の連通領域の左下領域又は直左領域にある場合、寄与画素点の移行結果に対して切り捨て処理を実行し、寄与画素点の垂直方向の移行結果に対して切り上げ処理を実行して、移行結果とそれに対応する丸め結果との間の絶対差値、及び前記寄与画素点の更新深度値と正相関する寄与重みを取得する。直左領域とは、連通領域において寄与画素点の移行位置が染色対象画素点の直左にあることを指し、左下領域とは、連通領域において寄与画素点の移行位置が染色対象画素点に対して第３象限にあることを指す。

一例として、染色対象画素点の中心を原点として、図１２に示すように縦横の座標軸を構築し、これにより、上記の第１象限から第４象限を得る。

ステップ１０３３において、各寄与画素点の寄与重みに基づいて、各寄与画素点の色彩値に対して加重処理を実行して、染色対象画素点の色彩値を取得する。

一例として、染色対象画素点に対する寄与画素点Ａ、寄与画素点Ｂ及び寄与画素点Ｃの寄与重みはそれぞれ、ｗｅｉｇｈｔＡ、ｗｅｉｇｈｔＢ及びｗｅｉｇｈｔＣであり、二次元画像の寄与画素点ＡのＲＧＢ色彩値にｗｅｉｇｈｔＡを乗算し、二次元画像の寄与画素点ＢのＲＧＢ色彩値にｗｅｉｇｈｔＢを乗算し、二次元画像の寄与画素点ＣのＲＧＢ色彩値にｗｅｉｇｈｔＣを乗算し、乗算結果を加算してからｗｅｉｇｈｔＡ、ｗｅｉｇｈｔＢ及び及ｗｅｉｇｈｔＣの合計で割って、染色対象画素点の色彩値を得る。

ステップ１０４において、各視角の移行画像の各画素点の色彩値に基づいて、対応する視角の移行画像を生成する。

ステップ１０５において、複数の視角の移行画像を順次にカプセル化して、三次元ビデオを取得する。

図３Ａに基づき、図３Ｄを参照すると、図３Ｄは、本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートであり、ステップ１０５において、複数の視角の移行画像を順次にカプセル化して、三次元ビデオを取得するステップは、図３Ｄに示されるステップ１０５１～ステップ１０５３で説明することができる。

ステップ１０５１において、二次元画像の各画素点の深度値に基づいて、各視角の移行画像に対して空白画素補填処理を実行する。

いくつかの実施例では、ステップ１０５１において、二次元画像の各画素点の深度値に基づいて、各視角の移行画像に対して空白画素補填処理を実行することは、以下の技術方案で実現できる。各視角の移行画像における各染色対象画素点に対して以下の処理を実行する。染色対象画素点の連通領域内に染色対象画素点に対応する寄与画素点がない場合、染色対象画素点の位置を空白位置として決定し、移行画像の各空白位置について、空白位置を中心として、二次元画像の一部の画素点の深度値に基づいて、空白位置の連通領域内で染色対象画素点の参照画素点を検索し、参照画素点の色彩値に基づいて、染色対象画素点に対して色値補填処理を実行する。

一例として、図１２を参照すると、図１２の染色対象画素点００の連通領域内に寄与画素点がないため、取得された移行画像における染色対象画素点００は実際には空白であり、したがって、染色対象画素点の位置を空白位置として決定し、染色対象画素点００に対して補填処理を実行する必要があり、これに対応して、染色対象画素点００に対応する参照画素点を決定する必要があり、これにより、移行画像における参照画素点の色彩値を染色対象画素点００の空白位置に補填する。

いくつかの実施例では、空白位置を中心として、二次元画像の一部の画素点の深度値に基づいて、空白位置の連通領域内で染色対象画素点の参照画素点を検索する上記のステップは、以下の技術方案で実現できる。空白位置を起点とした複数の検索方向グループを決定し、ここで、各検索方向グループに含まれる第１方向は、第２方向と反対である。各検索方向グループについて、空白位置の連通領域内の第１方向において、空白位置に最も近い非空白位置の画素点を決定し、空白位置の連通領域内の第２方向において、前記空白位置に最も近い非空白位置の画素点を決定し、第１方向で決定された画素点と第２方向で決定された画素点との間の画素距離を決定する。複数の検索方向グループにおける最小画素距離に対応する２つの画素点を決定し、二次元画像の一部の画素点の深度値に基づいて、２つの画素点のレンダリング深度値を決定し、２つの画素点のうちレンダリング深度値の大きい方の画素点を染色対象画素点の参照画素点として決定する。

一例として、図９を参照すると、図９の真ん中のドットパターンの画素点が、補填処理が必要な染色対象画素点であり、その位置は空白位置であると仮定すると、空白位置を起点とした複数の検索方向グループについて、固定角度に従って異なる検索方向グループを取得することができる。２つの検索方向グループがあると仮定すると、第１検索方向グループに含まれる第１方向と第２方向は互いに反対であり、第２検索方向グループに含まれる第１方向と第２方向は互いに反対であり、第１検索方向グループが所在する直線と第２検索方向グループが所在する直線との間には夾角があり、図９に示す第１方向及び第２方向を例に取ると、空白位置を起点とし、空白位置の連通領域内の第１方向において、空白位置に最も近い非空白位置の画素点（縞状のパターンを有する画素点）を決定し、空白位置の連通領域内の第２方向において、空白位置に最も近い非空白位置の画素点（縞状のパターンを有する画素点）を決定し、ここで決定された画素点は、移行画像を構成する画素点である。ここでの連通領域は、最大、画像範囲にしてもよく、つまり、移行画像全体を連通領域として使用してもよく、又は１つの有限範囲の領域を連通領域として指定してもよく、第１方向及び第２方向で決定された非空白位置の画素点間の画素距離を決定し、これにより第１検索方向グループの第１画素距離、及び第２検索方向グループの第２画素距離を取得し、第１画素距離及び第２画素距離のうち、最小画素距離に対応する２つの画素点（非空白位置の画素点、即ち、縞状のパターンを有する画素点）を取得し、二次元画像の一部の画素点の深度値に基づいて、２つの画素点のレンダリング深度値を決定し、２つの画素点のうちレンダリング深度値の大きい方の画素点を、染色対象画素点の参照画素点として決定し、これにより、空白位置に近い背景画素点（深度値が大きい画素点）を用いて空白位置を補填することができる。

いくつかの実施例では、各視角の移行結果は、視角の移行画像画布における、二次元画像の各画素点が移行される移行位置を含み、ここで、移行画像画布のサイズと二次元画像のサイズは同じであり、一部の画素点は、目標画素点の寄与画素点であり、二次元画像の一部の画素点の深度値に基づいて、２つの画素点のレンダリング深度値を決定する上記のステップは、以下の技術方案で実現できる。２つの画素点のうちのいずれか１つを目標画素点として、以下の処理を実行する。目標画素点の寄与画素点を決定し、寄与画素点は、二次元画像において、移行位置が目標画素点の連通領域内にある画素点であり、視角の移行画像画布における寄与画素点の移行位置に基づいて、目標画素点に対する寄与画素点の寄与重みを決定し、寄与画素点の寄与重みに基づいて、寄与画素点の深度値に対して加重処理を実行して、２つの画素点のレンダリング深度値を取得する。

一例として、最小画素距離に対応する移行画像における２つの画素点のレンダリング深度値の取得方式は、ステップ１０３における染色対象画素点の色彩値の取得方式と同様であり、その違いは、加重加算された成分がＲＧＢ色彩値ではなく寄与画素点の深度値であることだけである。２つの画素点をそれぞれ目標画素点として使用してレンダリング深度値を算出し、これにより、２つの画素点のレンダリング深度値を取得し、つまり、加重加算処理が２回行われる。色値補填処理プロセスは、深層学習によって得られたモデルを用いて実現できる。

ステップ１０５２において、各視角の移行画像の空白画素補填結果に対してガウスぼかし処理を実行して、ガウスぼかし画像を取得する。

一例として、ガウスぼかし処理は、周辺画素の平均値を、ガウスぼかしされた目標画素の色彩値に設定する処理として理解することができ、ガウスぼかしされた目標画素を中心点として、周囲点（中心点の近い点）の色彩値の平均値を中心点の色彩値として使用し、これは、数値的には平滑化処理であり、グラフィック上でぼかし効果を生成することに相当し、目標画素としての中間点は詳細が失われ、ガウスぼかしされた目標画素は、色値補填処理後の画素点である。

ステップ１０５３において、各視角のガウスぼかし画像を順次にカプセル化して、三次元ビデオを取得する。

一例として、図１１を参照すると、図１１は、本願実施例に係る二次元画像の三次元化方法におけるカプセル化の概略図であり、三次元化操作で指定されたレンダリングスタイルに応じて、各視角のガウスぼかし画像のカプセル化順序を決定し、ガウスぼかし処理が実行されない場合、各視角の色値補填処理後の移行画像のカプセル化順序を決定し、画像品質の要件が比較的低いシナリオでは、各視角の移行画像を直接にカプセル化してもよく、つまり、各視角の移行画像のカプセル化順序を決定し、カプセル化順序は視角に実質的に対応し、三次元化操作で指定されたレンダリングスタイルに対応する視角が第１視角、第２視角、第３視角及び第４視角である場合、レンダリングスタイルで指定された視角に対応するカプセル化順序に従って、第１視角、第２視角、第３視角及び第４視角の新しい画像をカプセル化して、対応するレンダリングスタイルの三次元ビデオを取得する。

図３Ｅを参照すると、図３Ｅは、本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートであり、図３Ｅに示されるステップ２０１～ステップ２０９を参照して説明する。ステップ２０１において、ヒューマン・コンピュータ・インタラクション・インターフェイスに二次元画像を表示する。ステップ２０２において、二次元画像の三次元化操作に応答して、二次元画像をサーバに送信する。ステップ２０３において、サーバは、二次元画像に対して深度認識処理を実行して、二次元画像の各画素点の深度値を取得する。ステップ２０４において、サーバは、二次元画像の各画素点に対して複数の視角の移行処理をそれぞれ実行して、各視角に対応する移行結果を取得する。ステップ２０５において、サーバは、二次元画像の各画素点の深度値及び各視角の移行結果に基づいて、各視角に対応する移行画像の各画素点の色彩値を決定する。ステップ２０６において、サーバは、各視角の移行画像の各画素点の色彩値に基づいて、対応する視角の移行画像を生成する。ステップ２０７において、サーバは、複数の視角の移行画像を順次にカプセル化して、三次元ビデオを取得する。ステップ２０８において、サーバは、三次元ビデオを端末に送信する。ステップ２０９において、端末は、二次元画像に基づいて生成された三次元ビデオを再生する。

以下、１つの実際の適用シナリオにおける、本願実施例に係る二次元画像の三次元化方法の例示的な応用例について説明する。

電子アルバムクライアントは、写真に対するユーザの選択操作を受信し、選択操作対象となる写真を処理対象画像として表示し、電子アルバムクライアントは、処理対象画像の三次元化操作に応答して、本願実施例に係る二次元画像の三次元化方法を呼び出して、処理対象画像の三次元ビデオのプレビューを生成し、電子アルバムクライアントは、三次元ビデオに対するユーザの調整操作に応答して、調整操作で指定された調整方式に従って、複数の視角の画像のカプセル化順序を調整し、例えば、近景から遠景に変化するという視覚効果、又は遠景から近景に変化するという視覚効果を得るように、カプセル化順序を調整する。

本願実施例に係る二次元画像の三次元化方法は、深層学習モデルを用いてシーン深度情報を予測した後、統一された電子機器アーキテクチャアルゴリズムによって、画像プロセッサを用いて二次元画像レベルで変換処理を実行し、変換処理を行った後に、補填処理及びぼかし処理を行うことにより、新しい視角の画像を迅速に取得し、深度に基づく複数の三次元視角の合成を実現できる。二次元画像に対して三次元変換を実行する処理過程は、深度マップの予測処理、三次元シーンの再レンダリング、及び空白補填及びぼかし処理を含み、全ての過程は、グラフィックスカードの画像プロセッサ上で並行して処理でき、速度が速く、関連技術における三次元シーンモデリングを回避することを前提として、優れた効果を持つ三次元ビデオを取得することができ、二次元画像を用いて三次元ビデオを取得する端末の要件を満たすことができ、再レンダリング方式及び補填方式は両方とも最初の深度予測結果に基づいているため、レンダリング処理と補填処理が三次元シーン法則に準拠するようになる。

端末は、処理対象画像をバックエンドにアップロードし、バックエンドは、本願実施例に係る二次元画像の三次元化方法を呼び出して、処理対象画像に対して三次元化処理を実行して三次元ビデオを取得し、当該三次元ビデオを端末に返信して再生する。本願実施例に係る二次元画像の三次元化方法では、画像に対して深度推定処理、深度エッジ修復処理は、深度に基づく複数の視角の画像の決定、空白補填及びぼかし処理等を実行することにより、入力された二次元画像に基づいて、同一シーンの複数の視角の二次元画像を生成し、これらを組み合わせて三次元構造のビデオを形成する。

図４を参照すると、図４は、本願実施例に係る二次元画像の三次元化方法の例示的なフローチャートであり、処理手順は、深度認識プロセス、深度エッジ修復プロセス、複数の視角の再レンダリングプロセス、空白補填及びぼかしプロセス、及び三次元ビデオ結果生成プロセスを含む。深度認識プロセスでは、入力画像に対して深度認識を実行して、予測された深度マップを取得し、取得された深度推定結果に対して深度エッジ修復処理を実行し、深度推定修復結果に基づいて三次元シーン再レンダリングを実行し、複数の視角の再レンダリング結果に基づいて空白補填及びぼかし処理を実行し、空白補填及びぼかし処理の結果に基づいて三次元ビデオ結果を生成する。上記の全てのプロセスは、画像プロセッサ及びグラフィックスカード上で並行して処理でき、処理速度が速く、上記のプロセスにより、三次元モデリング処理を実行することなく、優れた効果を持つ三次元ビデオを生成することができ、これにより、二次元画像に基づいて三次元ビデオを取得する端末の要件を満たすことができ、再レンダリング方式及び補填方式は両方とも最初の深度予測結果に基づいているため、レンダリング処理及び補填処理がシーンの法則に準拠するようになる。

深度認識プロセスでは、深層学習モデルＦを用いて入力画像Ｉに対して深度推定処理を実行して、入力画像Ｉと同じ解像度の深度推定結果Ｄを取得し、つまり、Ｄ＝Ｆ（Ｉ）である。深度推定結果（深度マップＤ）の各画素値は、入力画像における画素の深度を表し、取得された深度マップにおいて、深度が大きいほど、対応する画素の距離が遠くなる。図５を参照すると、図５は、本願実施例に係る二次元画像の三次元化方法の深度マップであり、深度認識プロセスで得られた深度推定結果は、エッジで不均一な連続したジッタを生成し、図５の各格子は１つの画素点を表し、背景対象は黒い格子であり、前景対象は白い格子であり、理論的には、それらの間に灰色の格子がない場合にのみ、同一物体が同一深度を持つという原則に準拠するようになるが、図５には、不連続なジッタ現象、即ち、黒い格子が灰色の格子に隣接し、灰色の格子が白い格子に隣接するステップジッタが存在し、これにより、同一対象に対して異なる深度推定結果が得られる。

したがって、深度エッジ修復プロセスで、高速中央値置き換えによりエッジ深度を改善し、先ず、深度認識プロセスで得られた深度マップに対して正則化処理を実行することにより、深度マップの値の範囲を０～１に縮小させ、つまり、Ｎｏｒｍ（Ｄ）＝（Ｄ－Ｄ．ｍｉｎ）／（Ｄ．ｍａｘ－Ｄ．ｍｉｎ）である。Ｄ．ｍａｘは、深度マップの全ての画素点の最大深度値を指し、Ｄｍｉｎは、深度マップの全ての画素点の最小深度値を指し、深度マップの画素ごとに、深度マップにおける各画素点と、該画素点に隣接する上下左右の４つの画素点の深度値との間の差の絶対値を計算し、差の絶対値を使用して、当該画素点がエッジ領域内にあるか否かを判断する。図６を参照すると、図６は、本願実施例に係る二次元画像の三次元化方法のエッジ標記マップであり、差の絶対値の全て（上記の４つの絶対値）が差値閾値よりも小さい（例えば、差値閾値が０．０４に設定される）場合、当該画素点を１に標記し、エッジ画素点であると判別し、例えば、正則化後の当該点の深度がＤ（ｉ，ｊ）であると仮定すると、ｉは、当該点の水平位置を表し、ｊは当該点の垂直位置を表し、ｍａｘ（ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ＋１，ｊ）），ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ－１，ｊ）），ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ，ｊ＋１）），ａｂｓ（Ｄ（ｉ，ｊ）－Ｄ（ｉ，ｊ－１）））＜差値閾値である場合、当該画素点を１に標記し、エッジ画素点であると判別し、そうでない場合、当該画素点を０に標記し、非エッジ画素点であると判別する。

エッジ標記マップでは、各画素を中心としたｋ＊ｋサイズの正方形を用いて、当該中心画素の深度値に対して中央値置き換えを実行し、正方形内に値が１である点がある場合、当該中心点に対して中央値置き換え処理を実行する必要があり、そうでない場合、中央値置き換え処理を実行する必要がない。具体的な処理方式は、値が１である点がある深度マップ（ｋ＊ｋの深度マップ）から、全ての非エッジ画素点（即ち、エッジ標記マップにおいて値が０である点）の深度値を取得し、これらの深度値を昇順に配列し、配列後の中央値を用いて当該中心画素の深度値を置き換え、深度マップにおける全ての画素が処理されると、深度マップの中央値置き換え処理が完了し、取得された深度マップにおいて、深度が大きいほど、当該画素の距離が遠くなることを表す。

複数の視角のレンダリングプロセスでは、深度エッジ修復後の深度マップに基づいて、元の色彩画像に対して複数の視角の再レンダリングを実行する。先ず、深度エッジ修復処理が実行された深度マップに対して更新処理を実行して、新しい深度マップＤ＝（１／Ｎｏｒｍ（Ｄ））－０．５を取得し、ここで、Ｎｏｒｍ（Ｄ）は上記の正則化処理であり、Ｎｏｒｍ（Ｄ）＝（Ｄ－Ｄｍｉｎ）／（Ｄ．ｍａｘ－Ｄ．ｍｉｎ）であり、当該操作により、全ての深度値が－０．５～０．５になり、新しい深度値が大きいほど、視距離が小さくなり、つまり、画素の距離が近いことを表す。

元の色彩マップＡのサイズがｈ＊ｗであり、垂直方向及び水平方向に移動パラメータｖとパラメータｕがそれぞれ設定されていると仮定すると、図７を参照すると、図７は、本願実施例に係る二次元画像の三次元化方法における移動パラメータを取得する概略図であり、（ｖ，ｕ）について、半径が１である円において、固定角度ごとに１つの点を取得し、その縦座標及び横座標は（ｖ，ｕ）の値であり、円全体から取得された複数の（ｖ，ｕ）は、複数の異なる視角の新しい画像をレンダリングするために使用され、エッジ修復処理が実行された深度マップＤに基づいて、元の色彩マップＡの各画素Ａ（ｉ，ｊ）は、目標位置Ａ（ｉ＋ｕ＊ｓｃａｌｅ＊Ｄ（ｉ，ｊ）＊ｗ，ｊ＋ｖ＊ｓｃａｌｅ＊Ｄ（ｉ，ｊ）＊ｈ）に移動し、ここで、ｓｃａｌｅは定数であり、ｓｃａｌｅが大きく設定されるほど、移動幅が大きくなり、深度マップの深度値は－０．５～０．５であり、これは、手前の物体と奥の物体が異なる方向に移動し、視点に近い又は遠い物体の移動距離移距離が大きくなるという効果をもたらす。このような移動モードは、三次元表示規則を満たし、目標位置ｉ’＝ｉ＋ｕ＊ｓｃａｌｅ＊Ｄ（ｉ，ｊ）＊ｗ；ｊ’＝ｊ＋ｖ＊ｓｃａｌｅ＊Ｄ（ｉ，ｊ）＊ｈが整数ではないことを考慮して、スプラッティング（Ｓｐｌａｔｔｉｎｇ）に基づく方式を用いて、周辺の点に色彩成分を寄与する。図８を参照すると、図８は、本願実施例に係る二次元画像の三次元化方法における寄与の概略図であり、例えば、エッジ上の投影点とは、（０，０）及び（０，１）からなるエッジ上の投影点を指し、当該投影点は、（０，０）位置及び（０，１）位置の色彩値に影響を与え、図８の投影点（ｉ’，ｊ’）は４つの画素位置の間にあり、４つの画素に対する当該投影点の寄与重みは、当該投影点と４つの画素点との横縦座標差の絶対値の積であり、ここで、左上（ＬｅｆｔＵｐ）と右下（ＲｉｇｈｔＤｏｗｎ）が対応しており、右上（ＲｉｇｈｔＵｐ）と左下（ＬｅｆｔＤｏｗｎ）が対応している。例えば、左上への投影点の寄与重みはｗ＝ａｂｓ（ｉ’－ｆｌｏｏｒ（ｉ’））＊ａｂｓ（ｊ’－ｆｌｏｏｒ（ｊ’））であり、ここで、ｆｌｏｏｒ操作は切り上げ操作であり、右下への寄与重みの計算における丸め操作は、切り捨て操作である。元の色彩マップＡの複数の画素点が移動された後、新しい視角画布における同一位置の点に色彩成分を寄与する可能性があるため、深度の影響に基づき、新しい視角画布における特定の位置の染色対象画素点の場合、当該染色対象画素点への背景に近い画素点の寄与は、当該染色対象画素点への他の画素点の寄与よりもはるかに少なく、再レンダリング画像Ａ’における対応する位置（ｉ’，ｊ’）の近くの４つの画素点に対する元の色彩マップＡにおける画素点（ｉ，ｊ）の寄与重みｗにｅｘｐ（ｔ＊Ｄ（ｉ，ｊ）を乗算し、ｔの値は１０にしてもよい。更新後、より近い画素点（近景）ほど、Ｄ（ｉ，ｊ）が大きくなるため、その寄与重みも指数関数的に増大する。色彩レンダリングプロセスでは、元の色彩マップＡにおける全ての画素に対して、（ｖ，ｕ）に基づいて移動処理が行われ、新しいレンダリング画像Ａ’における対応する点について、重みに従って、染色対象画素点に、対応するＧＲＢ色彩成分を寄与し、色彩成分と重みをそれぞれ乗算して累積し、最后に、累積された色彩成分を累積された重み分量で除算して、染色対象画素点の色彩値を得、これによって、過度の色彩成分の寄与を回避し、色彩レンダリングと同時に深度レンダリングを行い、エッジ修復処理後の深度マップに対して、上記プロセスと同様の深度レンダリングを実行して、複数の視角のレンダリングが実行された新しい深度マップを取得し、複数の視角のレンダリングが実行された新しい深度マップは依然として、距離が遠い（遠景）ほど、深度値が大きくなるという規則を満たす。

空白補填及びぼかし処理プロセスでは、遮蔽により、色彩レンダリングによって取得された複数の視角の画像の一部の位置において、これらの位置の周辺には、それらに色彩成分を寄与する元の画像画素点が存在しなく、したがって、これらの位置を補填が必要な空白位置として見なし、これらの空白位置を補填するために、以下の処理が実行される。図９を参照すると、図９は、本願実施例に係る二次元画像の三次元化方法における検索の概略図であり、当該空白位置を起点として、複数の異なる順方向（第１方向）を取得し、これらの順方向と、当該点を基準とする反対方向（第２方向）とで、複数の検索対象グループを形成し、検索対象グループごとに、２つの方向で空白ではない、最も近い画素を探し出し、画像範囲内で該当する画素が見当たらない場合、当該検索対象グループは破棄され、２つの方向で目標画素が探し出された検索対象グループの場合、２つの方向の２つの画素間の画素距離が最も短い検索対象グループを選択し、深度レンダリング過程で取得された新しい視角のレンダリング後の深度値に基づいて、対応する位置（第１方向の画素点又は第２方向の画素点）の深度値が大きい画素（互いに反対である２つの方向において深度値が大きい画素）を選択する。当該画素のＲＧＢ色彩値を使用して当該空白位置を補填し、補填処理の原理は、目標画素（空白位置）に近い背景画素点で当該目標画素を補填することであり、補填後の全ての画素点（空白位置の画素点が補填処理後に空白でなくなる）について、当該点に対してその周辺の画素点を使用してガウスぼかし処理を行い、これによって、空白補填後の画素点と周辺の画素点の重複度が高すぎることに起因する視覚効果の低下を回避することができる。図１０を参照すると、図１０は、本願実施例に係る二次元画像の三次元化方法の効果の概略図であり、左図では境界がはっきりし過ぎているのに対し、ガウスぼかし後の右図では、空白補填後の画素点とその周辺の画素点の視覚効果はそれほど鮮明ではない。以上の全てのステップは、画像プロセッサ上で操作でき、低遅延で速度が速く、レンダリングされた全ての新しい視角の画像を組み合わせてビデオを形成することにより、三次元化されたビデオ結果を得ることができる。

本願実施例に係る二次元画像の三次元化方法によれば、深度推定結果に基づいて二次元画像レベルで異なる視角のシーンを合理的に再構築することができ、三次元モデリングに関する他の方法と比較して、処理時間が短縮され、それによってモバイル端末が生成されたビデオ結果を迅速に取得して表示することを容易にする。

以下、本願実施例に係る二次元画像の三次元化装置４５５がソフトウェアモジュールとして実施される例示的な構造について説明する。いくつかの実施例では、図２に示すように、メモリ４５０に記憶されている二次元画像の三次元化装置４５５のソフトウェアモジュールは、二次元画像に対して深度認識処理を実行して、二次元画像の各画素点の深度値を取得するように構成される深度モジュール４５５１と、二次元画像に対して複数の視角の移行処理を実行して、二次元画像の各視角に対応する移行結果を取得するように構成される移行モジュール４５５２と、二次元画像の各画素点の深度値及び二次元画像の各視角に対応する移行結果に基づいて、各視角に対応する移行画像の各画素点の色彩値を決定するように構成される色彩決定モジュール４５５３と、各視角の移行画像の各画素点の色彩値に基づいて、対応する視角の移行画像を生成するように構成される生成モジュール４５５４と、複数の視角の移行画像を順次にカプセル化して、三次元ビデオを取得するように構成されるカプセル化モジュール４５５５と、を備える。

いくつかの実施例では、移行モジュール４５５２は、二次元画像の各画素点の深度値及び各視角に対応する移行結果に基づいて、各視角に対応する移行画像の各画素点の色彩値を決定する前に、深度認識処理によって取得された、二次元画像の各画素点の深度値を元の深度値として使用し、二次元画像の各画素点の深度値に対して深度修復処理を実行して、二次元画像の各画素点の修復深度値を取得し、各画素点の修復深度値に基づいて、対応する元の深度値を置き換えるように構成される。

いくつかの実施例では、移行モジュール４５５２は、二次元画像の各画素点の元の深度値に基づいて、二次元画像のエッジ画素点及び前記二次元画像の非エッジ画素点を決定し、エッジ画素点に基づいて、二次元画像における、中央値置き換えが必要な置き換え対象画素点と、中央値置き換えを必要としない保留画素点とを決定し、置き換え対象画素点の連通領域内の全ての非エッジ画素点の元の深度値に対して降順整列処理を実行し、降順整列結果の中央値を置き換え対象画素点の修復深度値として使用し、保留画素点の元の深度値を保留画素点の修復深度値として保留するように構成される。

いくつかの実施例では、移行モジュール４５５２は、二次元画像の任意の画素点について、画素点の元の深度値の正則化処理結果と少なくとも１つの隣接画素点の元の深度値の正則化処理結果との間の絶対差値が差値閾値以上である場合、画素点を非エッジ画素点として決定し、ここで、隣接画素点は、任意の画素点の隣接位置にある画素点であり、画素点の元の深度値の正則化処理結果と各隣接画素点の元の深度値の正則化処理結果との間の絶対差値が差値閾値よりも小さい場合、画素点をエッジ画素点として決定するように構成される。

いくつかの実施例では、移行モジュール４５５２は、二次元画像の任意の画素点について、画素点の連通領域内に少なくとも１つのエッジ画素点が存在する場合、画素点が置き換え対象画素点であると決定し、画素点の連通領域内にエッジ画素点がない場合、画素点が保留画素点であると決定するように構成される。

いくつかの実施例では、移行モジュール４５５２は、二次元画像の各画素点の深度値を更新して、二次元画像の各画素点の更新深度値を取得し、ここで、更新深度値は、画素点に対応する修復深度値と負の相関があり、複数の視角とそれぞれ１対１で対応する複数の移動パラメータを決定し、ここで、移動パラメータは、水平移動パラメータ及び垂直移動パラメータを含み、各視覚について、設定された移動感度パラメータ、更新深度値、水平移動パラメータ、及び二次元画像の幅と正相関する水平移動ベクトルを決定し、設定された移動感度パラメータ、更新深度値、垂直移動パラメータ、及び二次元画像の高さと正相関する垂直移動ベクトルを決定し、視角の移行画像画布における、二次元画像の各画素点に対応する元の位置から、水平移動ベクトル及び垂直移動ベクトルに従って変位を開始し、移行画像画布における各画素点の移行位置を決定するように構成される。

いくつかの実施例では、各視角の移行結果は、視角の移行画像画布における、二次元画像の各画素点が移行される移行位置を含み、ここで、移行画像画布のサイズと二次元画像のサイズは同じであり、色彩決定モジュール４５５３は、各視角の移行画像の各画素点を染色対象画素点として使用し、各視角の移行画像画布における各染色対象画素点に対して、染色対象画素点の寄与画素点を決定し、ここで、寄与画素点は、二次元画像において、移行位置が前記染色対象画素点の連通領域内にある画素点であり、視角の移行画像画布における二次元画像の各画素点の移行位置、及び二次元画像の各画素点の深度値に基づいて、染色対象画素点に対応する寄与画素点の寄与重みを決定し、各寄与画素点の寄与重みに基づいて、各寄与画素点の色彩値に対して加重処理を実行して、染色対象画素点の色彩値を取得するように構成される。

いくつかの実施例では、カプセル化モジュール４５５５は、二次元画像の各画素点の深度値に基づいて、各視角の移行画像に対して空白画素補填処理を実行し、各視角の移行画像の空白画素補填結果に対してガウスぼかし処理を実行して、ガウスぼかし画像を取得し、各視角のガウスぼかし画像を順次にカプセル化して、三次元ビデオを取得するように構成される。

いくつかの実施例では、カプセル化モジュール４５５５は、各視角の移行画像における各染色対象画素点について、染色対象画素点の連通領域内に染色対象画素点に対応する寄与画素点がない場合、染色対象画素点の位置を空白位置として決定し、移行画像の各空白位置について、空白位置を中心として、二次元画像の一部の画素点の深度値に基づいて、空白位置の連通領域内で染色対象画素点の参照画素点を検索し、参照画素点の色彩値に基づいて、染色対象画素点に対して色値補填処理を実行するように構成される。

いくつかの実施例では、カプセル化モジュール４５５５は、空白位置を起点とした複数の検索方向グループを決定し、ここで、各検索方向グループに含まれる第１方向は、第２方向の反対であり、各検索方向グループについて、空白位置の連通領域内の第１方向において、空白位置に最も近い非空白位置の画素点を決定し、空白位置の連通領域内の第２方向において、前記空白位置に最も近い非空白位置の画素点を決定し、第１方向で決定された画素点と第２方向で決定された画素点との間の画素距離を決定し、複数の検索方向グループにおける最小画素距離に対応する２つの画素点を決定し、二次元画像の一部の画素点の深度値に基づいて、２つの画素点のレンダリング深度値を決定し、２つの画素点のうちレンダリング深度値の大きい方の画素点を染色対象画素点の参照画素点として決定するように構成される。

いくつかの実施例では、各視角の移行結果は、視角の移行画像画布における、二次元画像の各画素点が移行される移行位置を含み、ここで、移行画像画布のサイズと二次元画像のサイズは同じであり、一部の画素点は、目標画素点の寄与画素点であり、カプセル化モジュール４５５５は、２つの画素点のうちのいずれか１つを目標画素点として使用し、目標画素点の寄与画素点を決定し、寄与画素点は、二次元画像において、移行位置が目標画素点の連通領域内にある画素点であり、視角の移行画像画布における寄与画素点の移行位置に基づいて、目標画素点に対する寄与画素点の寄与重みを決定し、寄与画素点の寄与重みに基づいて、寄与画素点の深度値に対して加重処理を実行して、２つの画素点のレンダリング深度値を取得するように構成される。

本願実施例は、コンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムを提供し、当該コンピュータ命令はコンピュータ可読記憶媒体に記憶される。電子機器のプロセッサは、コンピュータ可読記憶媒体から当該コンピュータ命令を読み取って実行することにより、当該電子機器に、本願実施例に記載の二次元画像の三次元化方法を実行させる。

本願実施例は、実行可能命令が記憶されているコンピュータ可読記憶媒体を提供し、実行可能命令がプロセッサによって実行されるときに、プロセッサに、本願実施例に係る方法、例えば、図３Ａ～３Ｅに示される二次元画像の三次元化方法を実行させる。

いくつかの実施例では、コンピュータ可読記憶媒体は、ＦＲＡＭ（登録商標）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気表面メモリ、光ディスク、又はＣＤ－ＲＯＭなどのメモリであってもよいし、上記のメモリのうちの１つ又は任意の組み合わせを含む様々な機器であってもよい。

いくつかの実施例では、実行可能命令は、プログラム、ソフトウェア、ソフトウェアモジュール、スクリプト又はコードの形であり得、任意の形式のプログラミング言語（コンパイラ言語又は翻訳言語、又は宣言型言語又は手続き型言語を含む）で書かれ、独立したプログラムで展開するか、又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境での使用に適したその他のユニットで展開するなど、任意の形で展開することができる。

例として、実行可能命令は、ファイルシステム内のファイルに対応してもよいが、これに限定されず、他のプログラム又はデータを保持するファイルの一部として記憶されることができ、例えば、ハイパーテキストマークアップ言語（ＨＴＭＬ：Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ドキュメントの１つ又は複数のスクリプトに記憶されるか、又は議論中のプログラム専用の単一のファイルに記憶されるか、又は、複数の共同ファイル（例えば、１つ又は複数のモジュール、サブプログラム又はコード部分のファイルに記憶される）に記憶される。

例として、実行可能命令は、１つの電子機器で実行されるように展開されるか、又は１つの場所にある複数の電子機器で実行されるように展開されるか、又は、複数の場所に分散され且つ通信ネットワークを介して相互接続されている複数の電子機器で実行されるように展開される。

要すると、本願実施例では、二次元画像に対して複数の視角の移行処理を実行し、対応する視角の移行画像生成することにより、二次元画像レベルの視角変換プロセスを実現し、これにより、三次元シーンモデリングプロセスの代わりに、二次元画像処理レベルで画像三次元化プロセスを実現し、画像を正確に三次元化して三次元ビデオを生成するとともに、バックエンドの計算リソースコスト及び時間コストを削減する。

上記は、本願の実施例に過ぎず、本願の保護範囲を限定することを意図するものではない。本願の精神及び範囲内でなされたあらゆる変形、同等置換及び改善などはすべて、本願の保護範囲に含まれるものとする。

２００ サーバ
３００ ネットワーク
４００ 端末
４１０ プロセッサ
４２０ ネットワークインターフェース
４３０ ユーザインターフェース
４３１ 出力装置
４３２ 入力装置
４４０ バスシステム
４５０ メモリ
４５１ オペレーティングシステム
４５２ ネットワーク通信モジュール
４５３ 表示モジュール
４５４ 入力処理モジュール
４５５ 二次元画像の三次元化装置
４５５１ 深度モジュール
４５５２ 移行モジュール
４５５３ 色彩決定モジュール
４５５４ 生成モジュール
４５５５ カプセル化モジュール
４５５６ 表示モジュール
４５５７ 再生モジュール

Claims (15)

1. 電子機器によって実行される、二次元画像の三次元化方法であって、
   二次元画像に対して深度認識処理を実行して、前記二次元画像の各画素点の深度値を取得するステップと、
   前記二次元画像に対して複数の視角の移行処理を実行して、前記二次元画像の各視角に対応する移行結果を取得するステップと、
   前記二次元画像の各画素点の深度値及び前記二次元画像の各視角に対応する移行結果に基づいて、前記各視角に対応する移行画像の各画素点の色彩値を決定するステップと、
   前記各視角の移行画像の各画素点の色彩値に基づいて、対応する前記視角の移行画像を生成するステップと、
   前記複数の視角の移行画像を順次にカプセル化して、三次元ビデオを取得するステップと、を含み、
   前記二次元画像の各画素点の深度値及び前記二次元画像の各視角に対応する移行結果に基づいて、前記各視角に対応する移行画像の各画素点の色彩値を決定する前に、前記二次元画像の三次元化方法は、
   前記深度認識処理により取得された前記二次元画像の各画素点の深度値を、元の深度値として使用するステップと、
   前記二次元画像の各画素点の元の深度値に対して深度修復処理を実行して、前記二次元画像の各画素点の修復深度値を取得するステップと、
   各画素点の修復深度値に基づいて、対応する元の深度値を置き換えるステップと、を更に含み、
   前記二次元画像の各画素点の元の深度値に対して深度修復処理を実行して、前記二次元画像の各画素点の修復深度値を取得する前記ステップは、
   前記二次元画像の各画素点の元の深度値に基づいて、前記二次元画像のエッジ画素点及び前記二次元画像の非エッジ画素点を決定するステップと、
   前記エッジ画素点に基づいて、前記二次元画像における、中央値置き換えが必要な置き換え対象画素点と、中央値置き換えを必要としない保留画素点とを決定するステップと、
   前記置き換え対象画素点の連通領域内の全ての非エッジ画素点の元の深度値に対して降順整列処理を実行し、降順整列結果の中央値を前記置き換え対象画素点の修復深度値として使用するステップと、
   前記保留画素点の元の深度値を前記保留画素点の修復深度値として保留するステップと、を含む、二次元画像の三次元化方法。
2. 前記二次元画像の各画素点の元の深度値に基づいて、前記二次元画像のエッジ画素点及び前記二次元画像の非エッジ画素点を決定する前記ステップは、
   前記二次元画像の任意の画素点について、
   前記画素点の元の深度値の正則化処理結果と、少なくとも１つの隣接画素点の元の深度値の正則化処理結果との間の絶対差値が、差値閾値以上である場合、前記画素点を前記非エッジ画素点として決定し、
   前記画素点の元の深度値の正則化処理結果と、各隣接画素点の元の深度値の正則化処理結果との間の絶対差値が、前記差値閾値よりも小さい場合、前記画素点を前記エッジ画素点として決定する、ステップを含み、
   前記隣接画素点は、前記任意の画素点の隣接位置にある画素点である、
   請求項１に記載の二次元画像の三次元化方法。
3. 前記エッジ画素点に基づいて、前記二次元画像における、中央値置き換えが必要な置き換え対象画素点と、中央値置き換えを必要としない保留画素点とを決定する前記ステップは、
   前記二次元画像の任意の画素点について、
   前記画素点の連通領域内に少なくとも１つのエッジ画素点が存在する場合、前記画素点が前記置き換え対象画素点であると決定し、
   前記画素点の連通領域内にエッジ画素点が存在しない場合、前記画素点が前記保留画素点であると決定する、ステップを含む、
   請求項１に記載の二次元画像の三次元化方法。
4. 前記二次元画像に対して複数の視角の移行処理を実行して、前記二次元画像の各視角に対応する移行結果を取得する前記ステップは、
   前記二次元画像の各画素点の深度値を更新して、前記二次元画像の各画素点の更新深度値を取得するステップであって、前記更新深度値は、画素点に対応する修復深度値と負の相関がある、ステップと、
   前記複数の視角とそれぞれ１対１で対応する複数の移動パラメータを決定するステップであって、前記移動パラメータは、水平移動パラメータ及び垂直移動パラメータを含む、ステップと、
   前記各視角について、
   設定された移動感度パラメータ、前記更新深度値、前記水平移動パラメータ、及び前記二次元画像の幅と正相関する水平移動ベクトルを決定し、
   前記設定された移動感度パラメータ、前記更新深度値、前記垂直移動パラメータ、及び前記二次元画像の高さと正相関する垂直移動ベクトルを決定し、
   前記視角の移行画像画布における前記二次元画像の各画素点の対応する原位置を取得し、前記原位置を起点として前記水平移動ベクトル及び前記垂直移動ベクトルに従って変位処理を実行して、前記移行画像画布における前記二次元画像の各画素点の移行位置を取得する、ステップと、を含む、
   請求項１に記載の二次元画像の三次元化方法。
5. 前記各視角の移行結果は、前記視角の移行画像画布における、前記二次元画像の各画素点が移行される移行位置を含み、前記移行画像画布のサイズと前記二次元画像のサイズは同じであり、
   前記二次元画像の各画素点の深度値及び前記二次元画像の各視角に対応する移行結果に基づいて、前記各視角に対応する移行画像の各画素点の色彩値を決定する前記ステップは、
   前記各視角の移行画像の各画素点を染色対象画素点として使用し、前記各視角の移行画像画布における各染色対象画素点に対して以下の処理、すなわち、
   前記染色対象画素点の寄与画素点を決定することであって、前記寄与画素点は、前記二次元画像において、移行位置が前記染色対象画素点の連通領域内にある画素点である、ことと、
   前記視角の移行画像画布における前記二次元画像の各画素点の移行位置、及び前記二次元画像の各画素点の深度値に基づいて、前記染色対象画素点に対応する前記寄与画素点の寄与重みを決定することと、
   各前記寄与画素点の寄与重みに基づいて、各前記寄与画素点の色彩値に対して加重処理を実行して、前記染色対象画素点の色彩値を取得することと、を実行するステップを含む、
   請求項１に記載の二次元画像の三次元化方法。
6. 前記複数の視角の移行画像を順次にカプセル化して、三次元ビデオを取得する前記ステップは、
   前記二次元画像の各画素点の深度値に基づいて、前記各視角の移行画像に対して空白画素補填処理を実行するステップと、
   前記各視角の移行画像の空白画素補填結果に対してガウスぼかし処理を実行して、ガウスぼかし画像を取得するステップと、
   前記各視角のガウスぼかし画像を順次にカプセル化して、三次元ビデオを取得するステップと、を含む、
   請求項１に記載の二次元画像の三次元化方法。
7. 前記二次元画像の各画素点の深度値に基づいて、前記各視角の移行画像に対して空白画素補填処理を実行する前記ステップは、
   前記各視角の移行画像における各染色対象画素点について、
   前記染色対象画素点の連通領域内に前記染色対象画素点に対応する寄与画素点がない場合、前記染色対象画素点の位置を空白位置として決定するステップと、
   前記移行画像の各空白位置について、
   前記空白位置を中心として、前記二次元画像の一部の画素点の深度値に基づいて、前記空白位置の連通領域内で前記染色対象画素点の参照画素点を検索し、
   前記参照画素点の色彩値に基づいて、前記染色対象画素点に対して色値補填処理を実行する、ステップと、を含む、
   請求項６に記載の二次元画像の三次元化方法。
8. 前記空白位置を中心として、前記二次元画像の一部の画素点の深度値に基づいて、前記空白位置の連通領域内で前記染色対象画素点の参照画素点を検索する前記ステップは、
   前記空白位置を起点とした複数の検索方向グループを決定するステップであって、各検索方向グループに含まれる第１方向は、第２方向の反対である、ステップと、
   各検索方向グループについて、前記空白位置の連通領域内の第１方向において、前記空白位置に最も近い非空白位置の画素点を決定し、前記空白位置の連通領域内の第２方向において、前記空白位置に最も近い非空白位置の画素点を決定し、前記第１方向で決定された画素点と前記第２方向で決定された画素点との間の画素距離を決定するステップと、
   複数の検索方向グループにおける最小画素距離に対応する２つの画素点を決定するステップと、
   前記二次元画像の一部の画素点の深度値に基づいて、前記２つの画素点のレンダリング深度値を決定し、レンダリング深度値の大きい方の画素点を前記染色対象画素点の参照画素点として決定するステップと、を含む、
   請求項７に記載の二次元画像の三次元化方法。
9. 前記各視角の移行結果は、前記視角の移行画像画布における、前記二次元画像の各画素点が移行される移行位置を含み、前記移行画像画布のサイズと前記二次元画像のサイズは同じであり、
   前記一部の画素点は、目標画素点の寄与画素点であり、
   前記二次元画像の一部の画素点の深度値に基づいて、前記２つの画素点のレンダリング深度値を決定する前記ステップは、
   前記２つの画素点のうちのいずれか１つを目標画素点として使用し、以下の処理、すなわち、
   前記目標画素点の寄与画素点を決定することであって、前記寄与画素点は、前記二次元画像において、前記移行位置が前記目標画素点の連通領域内にある画素点である、ことと、
   前記視角の移行画像画布における前記寄与画素点の移行位置に基づいて、前記目標画素点に対する前記寄与画素点の寄与重みを決定することと、
   前記寄与画素点の寄与重みに基づいて、前記寄与画素点の深度値に対して加重処理を実行して、前記２つの画素点のレンダリング深度値を取得することと、を実行するステップを含む、
   請求項８に記載の二次元画像の三次元化方法。
10. 電子機器によって実行される、二次元画像の三次元化方法であって、
    ヒューマン・コンピュータ・インタラクション・インターフェイスに二次元画像を表示するステップと、
    前記二次元画像の三次元化操作に応答して、前記二次元画像に基づいて生成された三次元ビデオを再生するステップと、を含み、
    前記三次元ビデオは、請求項１ないし９のいずれか一項に記載の二次元画像の三次元化方法によって取得されたものである、二次元画像の三次元化方法。
11. 二次元画像の三次元化装置であって、
    二次元画像に対して深度認識処理を実行して、前記二次元画像の各画素点の深度値を取得するように構成される深度モジュールと、
    前記二次元画像に対して複数の視角の移行処理を実行して、前記二次元画像の各視角に対応する移行結果を取得するように構成される移行モジュールと、
    前記二次元画像の各画素点の深度値及び前記二次元画像の各視角に対応する移行結果に基づいて、前記各視角に対応する移行画像の各画素点の色彩値を決定するように構成される色彩決定モジュールと、
    前記各視角の移行画像の各画素点の色彩値に基づいて、対応する前記視角の移行画像を生成するように構成される生成モジュールと、
    複数の前記視角の移行画像を順次にカプセル化して、三次元ビデオを取得するように構成されるカプセル化モジュールと、を備え、
    前記深度モジュールは、前記色彩決定モジュールが前記二次元画像の各画素点の深度値及び前記二次元画像の各視角に対応する移行結果に基づいて、前記各視角に対応する移行画像の各画素点の色彩値を決定する前に、
    前記深度認識処理により取得された前記二次元画像の各画素点の深度値を、元の深度値として使用することと、
    前記二次元画像の各画素点の元の深度値に対して深度修復処理を実行して、前記二次元画像の各画素点の修復深度値を取得することと、
    各画素点の修復深度値に基づいて、対応する元の深度値を置き換えることと、を行うようにさらに構成され、
    前記二次元画像の各画素点の元の深度値に対して深度修復処理を実行して、前記二次元画像の各画素点の修復深度値を取得することは、
    前記二次元画像の各画素点の元の深度値に基づいて、前記二次元画像のエッジ画素点及び前記二次元画像の非エッジ画素点を決定することと、
    前記エッジ画素点に基づいて、前記二次元画像における、中央値置き換えが必要な置き換え対象画素点と、中央値置き換えを必要としない保留画素点とを決定することと、
    前記置き換え対象画素点の連通領域内の全ての非エッジ画素点の元の深度値に対して降順整列処理を実行し、降順整列結果の中央値を前記置き換え対象画素点の修復深度値として使用することと、
    前記保留画素点の元の深度値を前記保留画素点の修復深度値として保留することと、を含む、二次元画像の三次元化装置。
12. 電子機器であって、
    実行可能命令を記憶するように構成されるメモリと、
    前記メモリに記憶されている実行可能命令を実行することにより、請求項１ないし９のいずれか一項に記載の二次元画像の三次元化方法又は請求項１０に記載の二次元画像の三次元化方法を実行するように構成されるプロセッサと、を備える、電子機器。
13. コンピュータに、請求項１ないし９のいずれか一項に記載の二次元画像の三次元化方法又は請求項１０に記載の二次元画像の三次元化方法を実行させる、コンピュータプログラム。
14. 電子機器によって実行される、二次元画像の三次元化方法であって、
    二次元画像に対して深度認識処理を実行して、前記二次元画像の各画素点の深度値を取得するステップと、
    前記二次元画像に対して複数の視角の移行処理を実行して、前記二次元画像の各視角に対応する移行結果を取得するステップと、
    前記二次元画像の各画素点の深度値及び前記二次元画像の各視角に対応する移行結果に基づいて、前記各視角に対応する移行画像の各画素点の色彩値を決定するステップと、
    前記各視角の移行画像の各画素点の色彩値に基づいて、対応する前記視角の移行画像を生成するステップと、
    前記複数の視角の移行画像を順次にカプセル化して、三次元ビデオを取得するステップと、を含み、
    前記二次元画像に対して複数の視角の移行処理を実行して、前記二次元画像の各視角に対応する移行結果を取得する前記ステップは、
    前記二次元画像の各画素点の深度値を更新して、前記二次元画像の各画素点の更新深度値を取得するステップであって、前記更新深度値は、画素点に対応する修復深度値と負の相関がある、ステップと、
    前記複数の視角とそれぞれ１対１で対応する複数の移動パラメータを決定するステップであって、前記移動パラメータは、水平移動パラメータ及び垂直移動パラメータを含む、ステップと、
    前記各視角について、
    設定された移動感度パラメータ、前記更新深度値、前記水平移動パラメータ、及び前記二次元画像の幅と正相関する水平移動ベクトルを決定し、
    前記設定された移動感度パラメータ、前記更新深度値、前記垂直移動パラメータ、及び前記二次元画像の高さと正相関する垂直移動ベクトルを決定し、
    前記視角の移行画像画布における前記二次元画像の各画素点の対応する原位置を取得し、前記原位置を起点として前記水平移動ベクトル及び前記垂直移動ベクトルに従って変位処理を実行して、前記移行画像画布における前記二次元画像の各画素点の移行位置を取得する、ステップと、を含む、二次元画像の三次元化方法。
15. 二次元画像の三次元化装置であって、
    二次元画像に対して深度認識処理を実行して、前記二次元画像の各画素点の深度値を取得するように構成される深度モジュールと、
    前記二次元画像に対して複数の視角の移行処理を実行して、前記二次元画像の各視角に対応する移行結果を取得するように構成される移行モジュールと、
    前記二次元画像の各画素点の深度値及び前記二次元画像の各視角に対応する移行結果に基づいて、前記各視角に対応する移行画像の各画素点の色彩値を決定するように構成される色彩決定モジュールと、
    前記各視角の移行画像の各画素点の色彩値に基づいて、対応する前記視角の移行画像を生成するように構成される生成モジュールと、
    複数の前記視角の移行画像を順次にカプセル化して、三次元ビデオを取得するように構成されるカプセル化モジュールと、を備え、
    前記移行モジュールは、
    前記二次元画像の各画素点の深度値を更新して、前記二次元画像の各画素点の更新深度値を取得することであって、前記更新深度値は、画素点に対応する修復深度値と負の相関がある、ことと、
    前記複数の視角とそれぞれ１対１で対応する複数の移動パラメータを決定することであって、前記移動パラメータは、水平移動パラメータ及び垂直移動パラメータを含む、ことと、
    前記各視角について、
    設定された移動感度パラメータ、前記更新深度値、前記水平移動パラメータ、及び前記二次元画像の幅と正相関する水平移動ベクトルを決定し、
    前記設定された移動感度パラメータ、前記更新深度値、前記垂直移動パラメータ、及び前記二次元画像の高さと正相関する垂直移動ベクトルを決定し、
    前記視角の移行画像画布における前記二次元画像の各画素点の対応する原位置を取得し、前記原位置を起点として前記水平移動ベクトル及び前記垂直移動ベクトルに従って変位処理を実行して、前記移行画像画布における前記二次元画像の各画素点の移行位置を取得する、ことと、を行うようにさらに構成される、二次元画像の三次元化装置。

Images