JP7178514B2 - 場面深度とカメラ運動を予測する方法及び装置、機器、媒体並びにプログラム - Google Patents

場面深度とカメラ運動を予測する方法及び装置、機器、媒体並びにプログラム Download PDF

Info

Publication number
JP7178514B2
JP7178514B2 JP2021565990A JP2021565990A JP7178514B2 JP 7178514 B2 JP7178514 B2 JP 7178514B2 JP 2021565990 A JP2021565990 A JP 2021565990A JP 2021565990 A JP2021565990 A JP 2021565990A JP 7178514 B2 JP7178514 B2 JP 7178514B2
Authority
JP
Japan
Prior art keywords
image frame
time
camera motion
sample
hidden state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021565990A
Other languages
English (en)
Other versions
JP2022528012A (ja
Inventor
タオ ハン
ジャンポン ジャン
フイ チョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2022528012A publication Critical patent/JP2022528012A/ja
Application granted granted Critical
Publication of JP7178514B2 publication Critical patent/JP7178514B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Auxiliary Devices For Music (AREA)

Description

（関連出願の相互参照）
本願は、出願番号が２０２０１０３４８８７２．２であり、出願日が２０２０年４月２８日である中国特許出願に基づいて提出するものであり、この中国特許出願の優先権を主張し、この中国特許出願の全てが参照によって本願に組み込まれる。
本開示は、コンピュータの技術分野に関し、場面深度とカメラ運動を予測する方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラムに関するが、それらに限定されない。
単眼画像収集装置（例えば、単眼カメラ）が収集した画像を入力として場面深度及びカメラ運動を予測することは、この２０年以来コンピュータビジョン分野で活発且つ重要な研究方向であり、拡張現実、無人運転及び移動ロボットの位置決定と走行誘導等の多くの分野に広く利用されている。
本開示の実施例は、場面深度とカメラ運動を予測する方法及び装置、電子機器、媒体並びにプログラムの技術的解決手段を提供する。
本開示の実施例は、時刻ｔの目標画像フレームを取得するステップと、場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて前記目標画像フレームに対して場面深度予測を行って、前記目標画像フレームに対応する予測深度マップを決定するステップであって、前記第１隠れ状態情報は場面深度に関連する特徴情報を含み、前記場面深度予測ネットワークは、カメラ運動予測ネットワークの補助でトレーニングして得られるステップとを含む場面深度予測方法を提供する。
本開示のいくつかの実施例で、場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて前記目標画像フレームに対して場面深度予測を行って、前記目標画像フレームに対応する予測深度マップを決定するステップは、前記目標画像フレームに対して特徴抽出を行って、前記目標画像フレームに対応する第１特徴マップを決定するステップであって、前記第１特徴マップは場面深度に関連する特徴マップであるステップと、前記第１特徴マップと時刻ｔ－１の前記第１隠れ状態情報に基づいて、時刻ｔの前記第１隠れ状態情報を決定するステップと、時刻ｔの前記第１隠れ状態情報に基づいて、前記予測深度マップを決定するステップとを含む。
本開示のいくつかの実施例で、時刻ｔ－１の前記第１隠れ状態情報は時刻ｔ－１の異なるスケールにおける前記第１隠れ状態情報を含み、前記目標画像フレームに対して特徴抽出を行って、前記目標画像フレームに対応する第１特徴マップを決定するステップは、前記目標画像フレームに対してマルチスケールダウンサンプリングを行って、前記目標画像フレームに対応する、異なるスケールにおける前記第１特徴マップを決定するステップを含み、前記第１特徴マップと時刻ｔ－１の前記第１隠れ状態情報に基づいて、時刻ｔの前記第１隠れ状態情報を決定するステップは、いずれか１つのスケールに対して、当該スケールにおける前記第１特徴マップと時刻ｔ－１の当該スケールにおける前記第１隠れ状態情報に基づいて、時刻ｔの当該スケールにおける前記第１隠れ状態情報を決定するステップを含み、時刻ｔの前記第１隠れ状態情報に基づいて、前記予測深度マップを決定するステップは、時刻ｔの異なるスケールにおける前記第１隠れ状態情報に対して特徴融合を行って、前記予測深度マップを決定するステップを含む。
本開示のいくつかの実施例で、前記方法は、時刻ｔに対応するサンプル画像フレーム系列を取得するステップであって、前記サンプル画像フレーム系列は、時刻ｔの第１サンプル画像フレームと前記第１サンプル画像フレームの隣接サンプル画像フレームを含むステップと、カメラ運動予測ネットワークによって時刻ｔ－１の第２隠れ状態情報を用いて前記サンプル画像フレーム系列に対してカメラ位置姿勢予測を行って、前記サンプル画像フレーム系列に対応するサンプル予測カメラ運動を決定するステップであって、前記第２隠れ状態情報はカメラ運動に関連する特徴情報を含むステップと、トレーニング対象である場面深度予測ネットワークによって、時刻ｔ－１の第１隠れ状態情報を用いて、前記第１サンプル画像フレームに対して場面深度予測を行って、前記第１サンプル画像フレームに対応するサンプル予測深度マップを決定するステップであって、前記第１隠れ状態情報は場面深度に関連する特徴情報を含むステップと、前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップと、前記損失関数により、前記トレーニング対象である場面深度予測ネットワークをトレーニングして、前記場面深度予測ネットワークを得るステップと、を更に含む。
本開示のいくつかの実施例で、前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップは、前記サンプル予測カメラ運動に基づいて前記サンプル画像フレーム系列のうちの前記第１サンプル画像フレームの隣接サンプル画像フレームの前記第１サンプル画像フレームに対する再投影誤差項を決定するステップと、前記サンプル予測深度マップの分布連続性に基づいて、ペナルティ関数項を決定するステップと、前記再投影誤差項と前記ペナルティ関数項により、前記損失関数を構築するステップとを含む。
本開示の実施例は、時刻ｔに対応する画像フレーム系列を取得するステップであって、前記画像フレーム系列は、時刻ｔの目標画像フレームと前記目標画像フレームの隣接画像フレームを含むステップと、カメラ運動予測ネットワークによって、時刻ｔ－１の第２隠れ状態情報を用いて前記画像フレーム系列に対してカメラ位置姿勢予測を行って、前記画像フレーム系列に対応する予測カメラ運動を決定するステップであって、前記第２隠れ状態情報はカメラ運動に関連する特徴情報を含み、前記カメラ運動予測ネットワークは、場面深度予測ネットワークの補助でトレーニングして得られるステップとを含むカメラ運動予測方法を更に提供する。
本開示のいくつかの実施例で、カメラ運動予測ネットワークによって、時刻ｔ－１の第２隠れ状態情報を用いて前記画像フレーム系列に対してカメラ位置姿勢予測を行って、前記画像フレーム系列に対応する予測カメラ運動を決定するステップは、前記画像フレーム系列に対して特徴抽出を行って、前記画像フレーム系列に対応する第２特徴マップを決定するステップであって、前記第２特徴マップはカメラ運動に関連する特徴マップであるステップと、前記第２特徴マップと時刻ｔ－１の前記第２隠れ状態情報に基づいて、時刻ｔの前記第２隠れ状態情報を決定するステップと、時刻ｔの前記第２隠れ状態情報に基づいて、前記予測カメラ運動を決定するステップとを含む。
本開示のいくつかの実施例で、前記予測カメラ運動は、前記画像フレーム系列のうちの隣接画像フレーム間の相対的位置姿勢を含む。
本開示のいくつかの実施例で、前記方法は、時刻ｔに対応するサンプル画像フレーム系列を取得するステップであって、前記サンプル画像フレーム系列は、時刻ｔの第１サンプル画像フレームと前記第１サンプル画像フレームの隣接サンプル画像フレームを含むステップと、場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて前記第１サンプル画像フレームに対して場面深度予測を行って、前記第１サンプル画像フレームに対応するサンプル予測深度マップを決定するステップであって、前記第１隠れ状態情報は場面深度に関連する特徴情報を含むステップと、トレーニング対象であるカメラ運動予測ネットワークによって時刻ｔ－１の第２隠れ状態情報を用いて前記サンプル画像フレーム系列に対してカメラ位置姿勢予測を行って、前記サンプル画像フレーム系列に対応するサンプル予測カメラ運動を決定するステップであって、前記第２隠れ状態情報はカメラ運動に関連する特徴情報を含むステップと、前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップと、前記損失関数により、前記トレーニング対象であるカメラ運動予測ネットワークをトレーニングして、前記カメラ運動予測ネットワークを得るステップと、を更に含む。
本開示のいくつかの実施例で、前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップは、前記サンプル予測カメラ運動に基づいて前記サンプル画像フレーム系列のうちの前記第１サンプル画像フレームの隣接サンプル画像フレームの前記第１サンプル画像フレームに対する再投影誤差項を決定するステップと、前記サンプル予測深度マップの分布連続性に基づいて、ペナルティ関数項を決定するステップと、前記再投影誤差項と前記ペナルティ関数項により、前記損失関数を構築するステップと、を含む。
本開示の実施例は、時刻ｔの目標画像フレームを取得するように構成される第１取得モジュールと、場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて前記目標画像フレームに対して場面深度予測を行って、前記目標画像フレームに対応する予測深度マップを決定するように構成される第１場面深度予測モジュールであって、前記第１隠れ状態情報は場面深度に関連する特徴情報を含み、前記場面深度予測ネットワークは、カメラ運動予測ネットワークの補助でトレーニングして得られる第１場面深度予測モジュールとを備える場面深度予測装置を更に提供する。
本開示のいくつかの実施例で、前記第１場面深度予測モジュールは、前記目標画像フレームに対して特徴抽出を行って、前記目標画像フレームに対応する第１特徴マップを決定するように構成される第１決定サブモジュールであって、前記第１特徴マップは場面深度に関連する特徴マップである第１決定サブモジュールと、前記第１特徴マップと時刻ｔ－１の前記第１隠れ状態情報に基づいて、時刻ｔの前記第１隠れ状態情報を決定するように構成される第２決定サブモジュールと、時刻ｔの前記第１隠れ状態情報に基づいて、前記予測深度マップを決定するように構成される第３決定サブモジュールと、を備える。
本開示のいくつかの実施例で、時刻ｔ－１の前記第１隠れ状態情報は時刻ｔ－１の異なるスケールにおける前記第１隠れ状態情報を含み、前記第１決定サブモジュールは、具体的に、前記目標画像フレームに対してマルチスケールダウンサンプリングを行って、前記目標画像フレームに対応する、異なるスケールにおける前記第１特徴マップを決定するように構成され、前記第２決定サブモジュールは、具体的に、いずれか１つのスケールに対して、当該スケールにおける前記第１特徴マップと時刻ｔ－１の当該スケールにおける前記第１隠れ状態情報に基づいて、時刻ｔの当該スケールにおける前記第１隠れ状態情報を決定するように構成され、前記第３決定サブモジュールは、具体的に、時刻ｔの異なるスケールにおける前記第１隠れ状態情報に対して特徴融合を行って、前記予測深度マップを決定するように構成される。
本開示のいくつかの実施例で、前記装置は、
時刻ｔに対応するサンプル画像フレーム系列を取得するステップであって、前記サンプル画像フレーム系列は、時刻ｔの第１サンプル画像フレームと前記第１サンプル画像フレームの隣接サンプル画像フレームを含むステップと、
カメラ運動予測ネットワークによって時刻ｔ－１の第２隠れ状態情報を用いて前記サンプル画像フレーム系列に対してカメラ位置姿勢予測を行って、前記サンプル画像フレーム系列に対応するサンプル予測カメラ運動を決定するステップであって、前記第２隠れ状態情報はカメラ運動に関連する特徴情報を含むステップと、
トレーニング対象である場面深度予測ネットワークによって、時刻ｔ－１の第１隠れ状態情報を用いて、前記第１サンプル画像フレームに対して場面深度予測を行って、前記第１サンプル画像フレームに対応するサンプル予測深度マップを決定するステップであって、前記第１隠れ状態情報は場面深度に関連する特徴情報を含むステップと、
前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップと、
前記損失関数により、前記トレーニング対象である場面深度予測ネットワークをトレーニングして、前記場面深度予測ネットワークを得るステップと、を実行するように構成される第１トレーニングモジュールを更に備える。
本開示のいくつかの実施例で、前記第１トレーニングモジュールは、具体的に、前記サンプル予測カメラ運動に基づいて前記サンプル画像フレーム系列のうちの前記第１サンプル画像フレームの隣接サンプル画像フレームの前記第１サンプル画像フレームに対する再投影誤差項を決定するステップと、前記サンプル予測深度マップの分布連続性に基づいて、ペナルティ関数項を決定するステップと、前記再投影誤差項と前記ペナルティ関数項により、前記損失関数を構築するステップと、を実行するように構成される。
本開示の実施例は、時刻ｔに対応する画像フレーム系列を取得するように構成される第２取得モジュールであって、前記画像フレーム系列は、時刻ｔの目標画像フレームと前記目標画像フレームの隣接画像フレームを含む第２取得モジュールと、カメラ運動予測ネットワークによって、時刻ｔ－１の第２隠れ状態情報を用いて前記画像フレーム系列に対してカメラ位置姿勢予測を行って、前記画像フレーム系列に対応する予測カメラ運動を決定するように構成される第１カメラ運動予測モジュールであって、前記第２隠れ状態情報はカメラ運動に関連する特徴情報を含み、前記カメラ運動予測ネットワークは、場面深度予測ネットワークの補助でトレーニングして得られる第１カメラ運動予測モジュールと、を備えるカメラ運動予測装置を更に提供する。
本開示のいくつかの実施例で、前記第１カメラ運動予測モジュールは、前記画像フレーム系列に対して特徴抽出を行って、前記画像フレーム系列に対応する第２特徴マップを決定するように構成される第６決定サブモジュールであって、前記第２特徴マップはカメラ運動に関連する特徴マップである第６決定サブモジュールと、前記第２特徴マップと時刻ｔ－１の前記第２隠れ状態情報に基づいて、時刻ｔの前記第２隠れ状態情報を決定するように構成される第７決定サブモジュールと、時刻ｔの前記第２隠れ状態情報に基づいて、前記予測カメラ運動を決定するように構成される第８決定サブモジュールと、を備える。
本開示のいくつかの実施例で、前記予測カメラ運動は、前記画像フレーム系列のうちの隣接画像フレーム間の相対的位置姿勢を含む。
本開示のいくつかの実施例で、前記装置は、
時刻ｔに対応するサンプル画像フレーム系列を取得するステップであって、前記サンプル画像フレーム系列は、時刻ｔの第１サンプル画像フレームと前記第１サンプル画像フレームの隣接サンプル画像フレームを含むステップと、
場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて前記第１サンプル画像フレームに対して場面深度予測を行って、前記第１サンプル画像フレームに対応するサンプル予測深度マップを決定するステップであって、前記第１隠れ状態情報は場面深度に関連する特徴情報を含むステップと、
トレーニング対象であるカメラ運動予測ネットワークによって時刻ｔ－１の第２隠れ状態情報を用いて前記サンプル画像フレーム系列に対してカメラ位置姿勢予測を行って、前記サンプル画像フレーム系列に対応するサンプル予測カメラ運動を決定するステップであって、前記第２隠れ状態情報はカメラ運動に関連する特徴情報を含むステップと、
前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップと、
前記損失関数により、前記トレーニング対象であるカメラ運動予測ネットワークをトレーニングして、前記カメラ運動予測ネットワークを得るステップと、を実行するように構成される第２トレーニングモジュールを更に備える。
本開示のいくつかの実施例で、前記第２トレーニングモジュールは、具体的に、前記サンプル予測カメラ運動に基づいて前記サンプル画像フレーム系列のうちの前記第１サンプル画像フレームの隣接サンプル画像フレームの前記第１サンプル画像フレームに対する再投影誤差項を決定するステップと、前記サンプル予測深度マップの分布連続性に基づいて、ペナルティ関数項を決定するステップと、前記再投影誤差項と前記ペナルティ関数項により、前記損失関数を構築するステップと、を実行するように構成される。
本開示の実施例は、プロセッサと、プロセッサ実行可能指令を記憶するように構成されるメモリと、を備え、前記プロセッサは前記メモリに記憶された指令を呼び出して上記のいずれか１種の方法を実行するように構成される電子機器を更に提供する。
本開示の実施例は、コンピュータプログラム指令が記憶されており、前記コンピュータプログラム指令がプロセッサに実行される時に、上記のいずれか１種の方法を実現するコンピュータ可読記憶媒体を更に提供する。
本開示の実施例は、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時に、前記電子機器内のプロセッサが上記のいずれか１種の方法を実現するための指令を実行するコンピュータプログラムを更に提供する。
本開示の実施例で、時刻ｔに対応する目標画像フレームを取得し、隣接時刻の間で、場面深度は時系列的な関連関係があるので、時刻ｔ－１の場面深度に関連する第１隠れ状態情報を用いて、場面深度予測ネットワークによって目標画像フレームに対して場面深度予測を行うことで、目標画像フレームに対応する予測精度の高い予測深度マップを得ることができる。
本開示の実施例で、時刻ｔに対応する、時刻ｔの目標画像フレームと目標画像フレームの隣接画像フレームを含む画像フレーム系列を取得し、隣接時刻の間で、カメラ位置姿勢は時系列的な関連関係があるので、時刻ｔ－１のカメラ運動に関連する第２隠れ状態情報を用いて、カメラ運動予測ネットワークによって画像フレーム系列に対してカメラ位置姿勢予測を行うことで、予測精度の高い予測カメラ運動を得ることができる。
以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本開示を制限しないこと、を理解すべきである。以下の図面を参照した例示的な実施例に対する詳細な説明によれば、本開示の他の特徴及び態様は明確になる。
本開示の実施例の場面深度予測方法のフローチャートである。 本開示の実施例の場面深度予測ネットワークのブロック図である。 本開示の実施例の教師なしのネットワークトレーニングのブロック図である。 本開示の実施例のカメラ運動予測方法のフローチャートである。 本開示の実施例の場面深度予測装置の構成の模式図である。 本開示の実施例のカメラ運動予測装置の構成の模式図である。 本開示の実施例の電子機器の構成の模式図である。 本開示の実施例の電子機器の構成の模式図である。
ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的解決手段を説明するために用いられる。
以下に図面を参照しながら本開示の様々な例示的実施例、特徴及び態様を詳細に説明する。図面における同じ符号は同じ又は類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。
ここの用語「例示的」とは、「例、実施例として用いられること又は説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例も必ずしも他の実施例より好ましい又は有利であると解釈されるべきではない。
本明細書の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＤは、Ａが単独して存在し、ＡとＤが同時に存在し、Ｄが単独して存在するという３種の場合を示してもよい。また、本明細書の用語の「少なくとも１種」は多種のうちのいずれか１種又は多種のうちの少なくとも２種の任意の組み合わせを示し、例えば、Ａ、Ｃ、Ｄのうちの少なくとも１種を含むということは、Ａ、Ｃ及びＤから構成される集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するよう、当業者に既知の方法、手段、要素及び回路に対する詳細な説明を省略する。
図１は本開示の実施例に係る場面深度予測方法のフローチャートを示す。図１に示す場面深度予測方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥと略称）、携帯機器、ユーザ端末、端末、セルラー電話、コードレス電話機、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡと略称）、携帯型デバイス、計算装置、車載装置、ウェアラブル装置等の端末装置又は他の処理装置により実行してもよい。他の処理装置はサーバ又はクラウドサーバ等であってもよい。いくつかの実施例では、この場面深度予測方法はプロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。図１に示すように、当該方法は、以下のステップを含んでもよい。
ステップＳ１１で、時刻ｔの目標画像フレームを取得する。
ステップＳ１２で、場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて目標画像フレームに対して場面深度予測を行って、目標画像フレームに対応する予測深度マップを決定し、第１隠れ状態情報は場面深度に関連する特徴情報を含み、場面深度予測ネットワークは、カメラ運動予測ネットワークの補助でトレーニングして得られる。
本開示の実施例で、時刻ｔの目標画像フレームを取得し、隣接時刻の間で、場面深度は時系列的な関連関係があるので、時刻ｔ－１の場面深度に関連する第１隠れ状態情報を用いて、場面深度予測ネットワークによって目標画像フレームに対して場面深度予測を行うことで、目標画像フレームに対応する予測精度の高い予測深度マップを得ることができる。
いくつかの実施例では、場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて目標画像フレームに対して場面深度予測を行って、目標画像フレームに対応する予測深度マップを決定するステップは、目標画像フレームに対して特徴抽出を行って、目標画像フレームに対応する第１特徴マップを決定するステップであって、第１特徴マップは場面深度に関連する特徴マップであるステップと、第１特徴マップと時刻ｔ－１の第１隠れ状態情報に基づいて、時刻ｔの第１隠れ状態情報を決定するステップと、時刻ｔの第１隠れ状態情報に基づいて、予測深度マップを決定するステップと、を含んでもよい。
隣接時刻の間で、場面深度は時系列的な関連関係があるので、場面深度予測ネットワークは現在時刻（例えば、時刻ｔ）の目標画像フレームに対応する、場面深度に関連する第１特徴マップ、及び直前時刻（例えば、時刻ｔ－１）の場面深度に関連する第１隠れ状態情報を用いて、現在時刻の場面深度に関連する第１隠れ状態情報を決定でき、更に現在時刻の場面深度に関連する第１隠れ状態情報に基づいて目標画像フレームに対して場面深度予測を行って、現在時刻の目標画像フレームに対応する予測精度の高い予測深度マップを得ることができる。
例えば、場面深度予測ネットワークを用いて画像フレーム系列（第１時刻～第ｔ時刻の画像フレームを含む）のうちの各画像フレームに対応する予測深度マップを予測する時に、場面深度予測ネットワークの初期化段階で、場面深度に関連する第１隠れ状態情報の事前設定初期値を設定する。第１隠れ状態情報の事前設定初期値及び第１時刻の画像フレームに対応する、場面深度に関連する第１特徴マップに基づいて、第１時刻の第１隠れ状態を決定し、更に第１時刻の第１隠れ状態に基づいて第１時刻の画像フレームに対して場面深度予測を行って、第１時刻の画像フレームに対応する予測深度マップを得、また、第１時刻の第１隠れ状態及び第２時刻の画像フレームに対応する、場面深度に関連する第１特徴マップに基づいて、第２時刻の第１隠れ状態を決定し、更に第２時刻の第１隠れ状態に基づいて第２時刻の画像フレームに対して場面深度予測を行って、第２時刻の画像フレームに対応する予測深度マップを得、また、第２時刻の第１隠れ状態及び第３時刻の画像フレームに対応する、場面深度に関連する第１特徴マップに基づいて、第３時刻の第１隠れ状態を決定し、更に第３時刻の第１隠れ状態に基づいて第３時刻の画像フレームに対して場面深度予測を行って、第３時刻の画像フレームに対応する予測深度マップを得、これによって類推して、最終的に画像フレーム系列（第１時刻～第ｔ時刻の画像フレームを含む）のうちの各画像フレームに対応する予測深度マップを得る。
いくつかの実施例では、時刻ｔ－１の第１隠れ状態情報は時刻ｔ－１の異なるスケールにおける第１隠れ状態情報を含み、目標画像フレームに対して特徴抽出を行って、目標画像フレームに対応する第１特徴マップを決定するステップは、目標画像フレームに対してマルチスケールダウンサンプリングを行って、目標画像フレームに対応する、異なるスケールにおける第１特徴マップを決定するステップを含んでもよく、第１特徴マップと時刻ｔ－１の第１隠れ状態情報に基づいて、時刻ｔの第１隠れ状態情報を決定するステップは、いずれか１つのスケールに対して、当該スケールにおける第１特徴マップと時刻ｔ－１の当該スケールにおける第１隠れ状態情報に基づいて、時刻ｔの当該スケールにおける第１隠れ状態情報を決定するステップを含んでもよく、時刻ｔの第１隠れ状態情報に基づいて、予測深度マップを決定するステップは、時刻ｔの異なるスケールにおける第１隠れ状態情報に対して特徴融合を行って、予測深度マップを決定するステップを含んでもよい。
時刻ｔの目標画像フレームに対応する予測深度マップをより好適に決定するために、場面深度予測ネットワークはマルチスケール特徴融合メカニズムを採用してもよい。図２は本開示の実施例に係る場面深度予測ネットワークのブロック図を示し、図２に示すように、場面深度予測ネットワークは、深度エンコーダ２０２、マルチスケール畳み込みゲート付き回帰型ユニット（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ：ＣｏｎｖＧＲＵ）及び深度デコーダ２０５を含む。時刻ｔの目標画像フレーム２０１を深度エンコーダ２０２に入力してマルチスケールダウンサンプリングを行って、目標画像フレームに対応する、異なるスケールにおける第１特徴マップ２０３、即ち、第１スケールにおける第１特徴マップ
Figure 0007178514000001
、第２スケールにおける第１特徴マップ
Figure 0007178514000002
及び第３スケールにおける第１特徴マップ
Figure 0007178514000003
を得る。ここで、マルチスケールＣｏｎｖＧＲＵはマルチスケールの第１特徴マップのスケールに対応し、即ち、マルチスケールＣｏｎｖＧＲＵは第１スケールでのＣｏｎｖＧＲＵ０、第２スケールでのＣｏｎｖＧＲＵ１及び第３スケールでのＣｏｎｖＧＲＵ２を含む。
依然として上記図２を例とし、第１特徴マップ
Figure 0007178514000004
をＣｏｎｖＧＲＵ０に入力し、第１特徴マップ
Figure 0007178514000005
をＣｏｎｖＧＲＵ１に入力し、第１特徴マップ
Figure 0007178514000006
をＣｏｎｖＧＲＵ２に入力する。ＣｏｎｖＧＲＵ０は第１特徴マップ
Figure 0007178514000007
とＣｏｎｖＧＲＵ０に記憶された時刻ｔ－１の第１スケールにおける第１隠れ状態情報
Figure 0007178514000008
に対して特徴融合を行って、時刻ｔの第１スケールでの第１隠れ状態
Figure 0007178514000009
を得、ＣｏｎｖＧＲＵ０は時刻ｔの第１スケールでの第１隠れ状態
Figure 0007178514000010
を記憶し、時刻ｔの第１スケールでの第１隠れ状態
Figure 0007178514000011
を深度デコーダに出力し、また、ＣｏｎｖＧＲＵ１は第１特徴マップ
Figure 0007178514000012
とＣｏｎｖＧＲＵ１に記憶された時刻ｔ－１の第２スケールにおける第１隠れ状態情報
Figure 0007178514000013
に対して特徴融合を行って、時刻ｔの第２スケールでの第１隠れ状態
Figure 0007178514000014
を得、ＣｏｎｖＧＲＵ１は時刻ｔの第２スケールでの第１隠れ状態
Figure 0007178514000015
を記憶し、時刻ｔの第２スケールでの第１隠れ状態
Figure 0007178514000016
を深度デコーダに出力し、また、ＣｏｎｖＧＲＵ２は第１特徴マップ
Figure 0007178514000017
とＣｏｎｖＧＲＵ２に記憶された時刻ｔ－１の第３スケールにおける第１隠れ状態情報
Figure 0007178514000018
に対して特徴融合を行って、時刻ｔの第３スケールでの第１隠れ状態
Figure 0007178514000019
を得、ＣｏｎｖＧＲＵ２は時刻ｔの第３スケールでの第１隠れ状態
Figure 0007178514000020
を記憶し、時刻ｔの第３スケールでの第１隠れ状態
Figure 0007178514000021
を深度デコーダに出力する。図２において、マルチスケール隠れ状態２０４は時刻ｔの第１スケールでの第１隠れ状態
Figure 0007178514000022
、第２スケールでの第１隠れ状態
Figure 0007178514000023
及び第３スケールでの第１隠れ状態
Figure 0007178514000024
を含む。
深度デコーダ２０５は時刻ｔの第１スケールでの第１隠れ状態
Figure 0007178514000025
、第２スケールでの第１隠れ状態
Figure 0007178514000026
及び第３スケールでの第１隠れ状態
Figure 0007178514000027
のスケールを目標画像フレーム２０１のスケール（以下、目標画像フレームのスケールを目標スケールと略称）と同じになるようにそれぞれ回復し、時刻ｔの目標スケールでの３つの第１隠れ状態を得る。第１隠れ状態情報は場面深度に関連する特徴情報を含み、場面深度予測ネットワークにおいても特徴マップとして存在するので、時刻ｔの目標スケールでの３つの第１隠れ状態に対して特徴マップ融合を行って、時刻ｔの目標画像フレームに対応する予測深度マップ
Figure 0007178514000028
を得る。
いくつかの実施例では、当該場面深度予測方法は、時刻ｔに対応するサンプル画像フレーム系列を取得するステップであって、サンプル画像フレーム系列は時刻ｔの第１サンプル画像フレームと第１サンプル画像フレームの隣接サンプル画像フレームを含むステップと、カメラ運動予測ネットワークによって時刻ｔ－１の第２隠れ状態情報を用いてサンプル画像フレーム系列に対してカメラ位置姿勢予測を行って、サンプル画像フレーム系列に対応するサンプル予測カメラ運動を決定するステップであって、第２隠れ状態情報はカメラ運動に関連する特徴情報を含むステップと、トレーニング対象である場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて第１サンプル画像フレームに対して場面深度予測を行って、第１サンプル画像フレームに対応するサンプル予測深度マップを決定するステップであって、第１隠れ状態情報は場面深度に関連する特徴情報を含むステップと、サンプル予測深度マップとサンプル予測カメラ運動に基づいて損失関数を構築するステップと、損失関数により、トレーニング対象である場面深度予測ネットワークをトレーニングして、場面深度予測ネットワークを得るステップと、を更に含んでもよい。
本開示の実施例で、場面深度予測ネットワークは、カメラ運動予測ネットワークの補助でトレーニングして得られたものであり、又は、場面深度予測ネットワークとカメラ運動予測ネットワークは共同訓練して得られたものである。場面深度とカメラ位置姿勢の隣接時刻の間における時系列的な関連関係によって、スライドウィンドウデータ融合メカニズムを導入し、スライドウィンドウの系列における目標時刻（時刻ｔ）の場面深度とカメラ運動に関連する隠れ状態情報を抽出、記憶し、更に場面深度予測ネットワーク及び／又はカメラ運動予測ネットワークに対して教師なしのネットワークトレーニングを行う。
本開示の実施例で、時系列的に連続して収集したサンプル画像フレーム系列を含むトレーニングセットを予め作成し、更に当該トレーニングセットに基づいてトレーニング対象である場面深度予測ネットワークをトレーニングしてもよい。図３は本開示の実施例の教師なしのネットワークトレーニングのブロック図を示す。図３に示すように、目標時刻が時刻ｔであり、目標時刻に対応するサンプル画像フレーム系列３０１（即ち、目標時刻に対応するスライドウィンドウに含まれるサンプル画像フレーム系列）が時刻ｔの第１サンプル画像フレームＩｔ、時刻ｔ－１の隣接サンプル画像フレームＩｔ－１及び時刻ｔ＋１の隣接サンプル画像フレームＩｔ＋１を含む。サンプル画像フレーム系列における第１サンプル画像フレームの隣接サンプル画像フレームの数量は実際状況に応じて決定可能であり、本開示はこれを具体的に限定するものでない。
図３に示すトレーニング対象である場面深度予測ネットワークに採用されたのは単一スケール特徴融合メカニズムである。ネットワークトのレーニング過程で、トレーニング対象である場面深度予測ネットワークは図３に示す単一スケール特徴融合メカニズムを採用してもよいし、図２に示すマルチスケール特徴融合メカニズムを採用してもよく、本開示はこれを具体的に限定するものでない。図３に示すように、トレーニング対象である場面深度予測ネットワークは、深度エンコーダ２０２、ＣｏｎｖＧＲＵ及び深度デコーダ２０５を含む。時刻ｔの第１サンプル画像フレームＩｔを深度エンコーダ２０２に入力して特徴抽出を行って、第１サンプル画像フレームＩｔに対応する第１特徴マップ
Figure 0007178514000029
を得、更に第１特徴マップ
Figure 0007178514000030
をＣｏｎｖＧＲＵに入力して、第１特徴マップ
Figure 0007178514000031
とＣｏｎｖＧＲＵに記憶された時刻ｔ－１の第１隠れ状態情報
Figure 0007178514000032
に対して特徴融合を行って、時刻ｔの第１隠れ状態
Figure 0007178514000033
を得、ＣｏｎｖＧＲＵは時刻ｔの第１隠れ状態
Figure 0007178514000034
を記憶し、時刻ｔの第１隠れ状態
Figure 0007178514000035
を深度デコーダ２０５に出力して、時刻ｔの第１サンプル画像フレームに対応するサンプル予測深度マップ
Figure 0007178514000036
を得る。
依然として上記図３を例とし、図３に示すように、カメラ運動予測ネットワークは、位置姿勢エンコーダ３０２、ＣｏｎｖＧＲＵ及び位置姿勢デコーダ３０３を含む。時刻ｔに対応するサンプル画像フレーム系列［Ｉｔ,Ｉｔ－１,Ｉｔ＋１］を位置姿勢エンコーダ３０２に入力して特徴抽出を行って、サンプル画像フレーム系列に対応する第２特徴マップ
Figure 0007178514000037
を得、更に第２特徴マップ
Figure 0007178514000038
をＣｏｎｖＧＲＵに入力して、第２特徴マップ
Figure 0007178514000039
とＣｏｎｖＧＲＵに記憶された時刻ｔ－１の第２隠れ状態情報
Figure 0007178514000040
に対して特徴融合を行って、時刻ｔの第２隠れ状態
Figure 0007178514000041
を得、ＣｏｎｖＧＲＵは時刻ｔの第２隠れ状態
Figure 0007178514000042
を記憶し、時刻ｔの第２隠れ状態
Figure 0007178514000043
を位置姿勢デコーダに出力して、時刻ｔのサンプル画像フレーム系列に対応するサンプル予測カメラ運動［
Figure 0007178514000044
,
Figure 0007178514000045
］を得る。
依然として上記図３を例とし、サンプル予測深度マップ
Figure 0007178514000046
とサンプル予測カメラ運動［
Figure 0007178514000047
,
Figure 0007178514000048
］により、損失関数
Figure 0007178514000049
を構築できる。具体的には、サンプル予測カメラ運動［
Figure 0007178514000050
,
Figure 0007178514000051
］により、サンプル画像フレーム系列のうちの隣接サンプル画像フレームＩｔ－１とＩｔ＋１の第１サンプル画像フレームＩｔに対する再投影誤差項
Figure 0007178514000052
を決定し、また、サンプル予測深度マップ
Figure 0007178514000053
の分布連続性に基づいて、ペナルティ関数項
Figure 0007178514000054
を決定する。更に、下式（１）によって損失関数
Figure 0007178514000055
を構築し、

Figure 0007178514000056
（１）
ここで、
Figure 0007178514000057
は重み係数であり、実際状況に応じて
Figure 0007178514000058
の値の大きさを決定でき、本開示はこれを具体的に限定するものでない。
いくつかの実施例では、サンプル予測深度マップ
Figure 0007178514000059
の分布連続性に基づいてペナルティ関数項
Figure 0007178514000060
を決定する具体的な過程は以下のとおりである。第１サンプル画像フレームＩｔにおける各画素点の勾配値を決定し、各画素点の勾配値が第１サンプル画像フレームＩｔの分布連続性（平滑性と呼んでもよい）を表すことができるので、各画素点の勾配値により第１サンプル画像フレームＩｔにおける縁領域（勾配値が閾値以上の画素点が構成した領域）と非縁領域（勾配値が閾値より小さい画素点が構成した領域）を決定でき、更に第１サンプル画像フレームＩｔに対応するサンプル予測深度マップ
Figure 0007178514000061
における縁領域と非縁領域を決定できる。サンプル予測深度マップ
Figure 0007178514000062
における各画素点の勾配値を決定し、サンプル予測深度マップ
Figure 0007178514000063
における非縁領域の分布連続性及び縁領域の分布非連続性を確保するために、サンプル予測深度マップ
Figure 0007178514000064
における非縁領域中の各画素点に対して、勾配値に正比例するペナルティ要素を設定する。サンプル予測深度マップ
Figure 0007178514000065
における縁領域中の各画素点に対して、勾配値に反比例するペナルティ要素を設定する。更にサンプル予測深度マップ
Figure 0007178514000066
における各画素点のペナルティ要素に基づいて、ペナルティ関数項
Figure 0007178514000067
を構築する。
サンプル予測深度マップとサンプル予測カメラ運動は、場面深度とカメラ運動の隣接時刻の間における時系列的な関連関係によって得られたものであるので、カメラ運動予測ネットワークで得られた予測カメラ運動により決定された再投影誤差項、及び場面深度予測ネットワークで得られた予測深度マップにより決定されたペナルティ関数項によって構築された損失関数を総合的に利用して、トレーニング対象である場面深度予測ネットワークをトレーニングすることで、トレーニングされた場面深度予測ネットワークは場面深度予測の予測精度を高くすることができる。
いくつかの実施例では、図３におけるカメラ運動予測ネットワークはトレーニング対象であるカメラ運動予測ネットワークであってもよく、上記損失関数によりトレーニング待ちカメラ運動ネットワークをトレーニングして、トレーニング対象である場面深度予測ネットワークとトレーニング待ちカメラ運動ネットワークの共同訓練を実現して、トレーニング済みの場面深度予測ネットワークとカメラ運動予測ネットワークを得ることができる。
予測深度マップと予測カメラ運動が場面深度とカメラ運動の隣接時刻の間における時系列的な関連関係で得られたものであるので、カメラ運動予測ネットワークで得られた予測カメラ運動により決定された再投影誤差項、及び場面深度予測ネットワークで得られた予測深度マップにより決定されたペナルティ関数項によって構築された損失関数を総合的に利用して、場面深度予測ネットワークとカメラ運動予測ネットワークを共同訓練することで、トレーニングされた場面深度予測ネットワークとカメラ運動予測ネットワークは場面深度予測とカメラ運動予測の予測精度を高くすることができる。
いくつかの実施例では、深度エンコーダと位置姿勢エンコーダはＲｅｓＮｅｔ１８構造を共用してもよく、ＲｅｓＮｅｔ５４構造を共用してもよく、他の構造を共用してもよく、本開示はこれを具体的に限定するものでない。深度デコーダと位置姿勢デコーダはＵｎｅｔネットワーク構造を採用してもよく、他のデコーダネットワーク構造を採用してもよく、本開示はこれを具体的に限定するものでない。
いくつかの実施例では、ＣｏｎｖＧＲＵは畳み込み操作を含み、また、ＣｏｎｖＧＲＵ中の活性化関数がＥＬＵ活性化関数である。
例えば、１次元データに対してしかデータ処理できない畳み込みゲート付き回帰型ユニットＣｏｎｖＧＲＵを改良し、ＣｏｎｖＧＲＵ中の線形操作を畳み込み操作に換え、ＣｏｎｖＧＲＵ中のｔａｎｈ活性化関数をＥＬＵ活性化関数に換えることで、２次元画像データに対してデータ処理できるＣｏｎｖＧＲＵを得ることができる。
場面深度及び／又はカメラ運動が時系列的な関連関係を利用して、ＣｏｎｖＧＲＵによって、異なる時刻の対応する画像フレーム系列に対して時系列で畳み込み処理を繰り返すことができ、これによって、異なる時刻の対応する第１隠れ状態及び／又は第２隠れ状態を得ることができる。
スライドウィンドウデータ融合メカニズムを実現するために、上記ＣｏｎｖＧＲＵを採用することに加えて、畳み込み長期短期記憶ユニット（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ：ＣｏｎｖＬＳＴＭ）を採用してもよく、スライドウィンドウデータ融合を実現可能な他の構造を採用してもよく、本開示はこれを具体的に限定するものでない。
図４は本開示の実施例に係るカメラ運動予測方法のフローチャートを示す。図４に示すカメラ運動予測方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラー電話、コードレス電話機、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、携帯型デバイス、計算装置、車載装置、ウェアラブル装置等の端末機器又は他の処理装置により実行してもよい。他の処理装置はサーバ又はクラウドサーバ等であってもよい。いくつかの可能な実現形態において、このカメラ運動予測方法はプロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。図４に示すように、当該方法は、以下のステップを含んでもよい。
ステップＳ４１で、時刻ｔに対応する画像フレーム系列を取得し、画像フレーム系列は時刻ｔの目標画像フレームと目標画像フレームの隣接画像フレームを含む。
ステップＳ４２で、カメラ運動予測ネットワークによって時刻ｔ－１の第２隠れ状態情報を用いて画像フレーム系列に対してカメラ位置姿勢予測を行って、画像フレーム系列に対応する予測カメラ運動を決定し、第２隠れ状態情報はカメラ運動に関連する特徴情報を含み、カメラ運動予測ネットワークは、場面深度予測ネットワークの補助でトレーニングして得られる。
本開示の実施例で、時刻ｔの目標画像フレームと目標画像フレームの隣接画像フレームを含む画像フレーム系列を取得し、隣接時刻の間でカメラ運動は時系列的な関連関係があるので、時刻ｔ－１のカメラ運動に関連する第２隠れ状態情報を用いて、カメラ運動予測ネットワークによって画像フレーム系列に対してカメラ位置姿勢予測を行うことで、画像フレーム系列に対応する予測精度の高い予測カメラ運動を得ることができる。
いくつかの実施例では、カメラ運動予測ネットワークによって時刻ｔ－１の第２隠れ状態情報を用いて画像フレーム系列に対してカメラ位置姿勢予測を行って、画像フレーム系列に対応する予測カメラ運動を決定するステップは、画像フレーム系列に対して特徴抽出を行って、画像フレーム系列に対応する第２特徴マップを決定するステップであって、第２特徴マップはカメラ運動に関連する特徴マップであるステップと、第２特徴マップと時刻ｔ－１の第２隠れ状態情報に基づいて、時刻ｔの第２隠れ状態情報を決定するステップと、時刻ｔの第２隠れ状態情報に基づいて、予測カメラ運動を決定するステップと、を含んでもよい。
隣接時刻の間でカメラ運動は時系列的な関連関係があるので、カメラ運動予測ネットワークは、時刻ｔの画像フレーム系列に対応する場面深度に関連する第２特徴マップ、及び時刻ｔ－１のカメラ運動に関連する第２隠れ状態情報を用いて、時刻ｔのカメラ運動に関連する第２隠れ状態情報を決定でき、更に時刻ｔのカメラ運動に関連する第２隠れ状態情報に基づいて時刻ｔの画像フレーム系列に対してカメラ運動予測を行って、時刻ｔの画像フレーム系列に対応する予測精度の高い予測深度マップを得ることができる。
いくつかの実施例では、予測カメラ運動は画像フレーム系列のうちの隣接画像フレーム間の相対的位置姿勢を含んでもよい。ここで、相対的位置姿勢は６次元パラメータであり、３次元回転情報と３次元平行移動情報を含む。
例えば、予測カメラ運動［
Figure 0007178514000068
,
Figure 0007178514000069
］は、隣接画像フレームＩｔ－１～目標画像フレームＩｔの間の相対的位置姿勢
Figure 0007178514000070
、及び目標画像フレームＩｔ～隣接画像フレームＩｔ＋１の間の相対的位置姿勢
Figure 0007178514000071
を含む。
上記図３を例とし、図３に示すように、カメラ運動予測ネットワークは、位置姿勢エンコーダ、ＣｏｎｖＧＲＵ及び位置姿勢デコーダを含む。時刻ｔに対応する画像フレーム系列［Ｉｔ,Ｉｔ－１,Ｉｔ＋１］を位置姿勢エンコーダ３０２に入力して特徴抽出を行って、画像フレーム系列に対応する第２特徴マップ
Figure 0007178514000072
を得、更に第２特徴マップ
Figure 0007178514000073
をＣｏｎｖＧＲＵに入力して、第２特徴マップ
Figure 0007178514000074
とＣｏｎｖＧＲＵに記憶された時刻ｔ－１の第２隠れ状態情報
Figure 0007178514000075
に対して特徴融合を行い、時刻ｔの第２隠れ状態
Figure 0007178514000076
を得、ＣｏｎｖＧＲＵは時刻ｔの第２隠れ状態
Figure 0007178514000077
を記憶し、時刻ｔの第２隠れ状態
Figure 0007178514000078
を位置姿勢デコーダに出力して、時刻ｔの画像フレーム系列に対応する予測カメラ運動［
Figure 0007178514000079
,
Figure 0007178514000080
］を得る。
例えば、カメラ運動予測ネットワークを用いて画像フレーム系列に対応する予測カメラ運動を予測する時に、カメラ運動予測ネットワークの初期化段階で、カメラ運動に関連する第２隠れ状態情報の事前設定初期値を設定する。第２隠れ状態情報の事前設定初期値及び第１時刻の画像フレーム系列に対応する、カメラ運動に関連する第２特徴マップに基づいて、第１時刻の第２隠れ状態を決定し、更に第１時刻の第２隠れ状態に基づいて第１時刻の画像フレーム系列に対してカメラ運動予測を行って、第１時刻の画像フレーム系列に対応する予測カメラ運動を得、また、第１時刻の第２隠れ状態及び第２時刻の画像フレーム系列に対応する、カメラ運動に関連する第２特徴マップに基づいて、第２時刻の第２隠れ状態を決定し、更に第２時刻の第２隠れ状態に基づいて第２時刻の画像フレーム系列に対してカメラ運動予測を行って、第２時刻の画像フレーム系列に対応する予測カメラ運動を得、また、第２時刻の第２隠れ状態及び第３時刻の画像フレーム系列に対応する、カメラ運動に関連する第２特徴マップに基づいて、第３時刻の第２隠れ状態を決定し、更に第３時刻の第２隠れ状態に基づいて第３時刻の画像フレーム系列に対してカメラ運動予測を行って、第３時刻の画像フレーム系列に対応する予測カメラ運動を得、これによって類推して、最終的に異なる時刻の画像フレーム系列に対応する予測カメラ運動を得る。
いくつかの実施例では、当該カメラ運動予測方法は、時刻ｔに対応するサンプル画像フレーム系列を取得するステップであって、サンプル画像フレーム系列は時刻ｔの第１サンプル画像フレームと第１サンプル画像フレームの隣接サンプル画像フレームを含むステップと、場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて目標画像フレームに対して場面深度予測を行って、第１サンプル画像フレームに対応する予測深度マップを決定するステップであって、第１隠れ状態情報は場面深度に関連する特徴情報を含むステップと、トレーニング対象であるカメラ運動予測ネットワークによって時刻ｔ－１の第２隠れ状態情報を用いてサンプル画像フレーム系列に対してカメラ位置姿勢予測を行って、サンプル画像フレーム系列に対応するサンプル予測カメラ運動を決定するステップであって、第２隠れ状態情報はカメラ運動に関連する特徴情報を含むステップと、サンプル予測深度マップとサンプル予測カメラ運動に基づいて損失関数を構築するステップと、損失関数により、トレーニング対象であるカメラ運動予測ネットワークをトレーニングして、カメラ運動予測ネットワークを得るステップと、を更に含んでもよい。
いくつかの実施例では、サンプル予測深度マップとサンプル予測カメラ運動に基づいて損失関数を構築するステップは、サンプル予測カメラ運動に基づいてサンプル画像フレーム系列のうちの第１サンプル画像フレームの隣接サンプル画像フレームの第１サンプル画像フレームに対する再投影誤差項を決定するステップと、サンプル予測深度マップの分布連続性に基づいて、ペナルティ関数項を決定するステップと、再投影誤差項とペナルティ関数項により、損失関数を構築するステップと、を含んでもよい。
本開示の実施例で、カメラ運動予測ネットワークは、場面深度予測ネットワークの補助でトレーニングして得られたものであり、又は、場面深度予測ネットワークとカメラ運動予測ネットワークは共同訓練して得られたものである。いくつかの実施例では、上記図３に基づいてトレーニング対象であるカメラ運動予測ネットワークをトレーニングしてもよく、このトレーニング過程で、図３におけるカメラ運動予測ネットワークはトレーニング対象であるカメラ運動予測ネットワークであり、図３における場面深度予測ネットワークはトレーニング対象である場面深度予測ネットワークであってもよく（トレーニング対象である場面深度予測ネットワークとトレーニング対象であるカメラ運動予測ネットワークを共同訓練）、トレーニング済みの場面深度予測ネットワークであってもよく（トレーニング対象であるカメラ運動予測ネットワークを単独トレーニング）、具体的なトレーニング過程は上記図３と同じであり、本開示の実施例はここで詳細に説明しない。
予測深度マップと予測カメラ運動は、場面深度とカメラ運動の隣接時刻の間における時系列的な関連関係によって得られたものであるので、カメラ運動予測ネットワークで得られた予測カメラ運動により決定された再投影誤差項、及び場面深度予測ネットワークで得られた予測深度マップにより決定されたペナルティ関数項に基づいて構築された損失関数を総合的に利用して、場面深度予測ネットワークとカメラ運動予測ネットワークを共同訓練することで、トレーニングされた場面深度予測ネットワークとカメラ運動予測ネットワークは場面深度予測とカメラ運動予測の予測精度を高くすることができる。
本開示の実施例で、上記図３に示すネットワークトレーニング方法によってトレーニングされた場面深度予測ネットワークとカメラ運動予測ネットワークは環境の深度予測と３次元シーンの構築に利用可能である。例えば、場面深度予測ネットワークを清掃ロボット、草刈り機等の室内外の移動ロボットの走行誘導シーンに適用し、赤緑青（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ：ＲＧＢ）カメラによってＲＧＢ画像を得、更に場面深度予測ネットワークを用いてＲＧＢ画像に対応する予測深度マップを決定し、カメラ予測ネットワークを用いてＲＧＢカメラのカメラ運動を決定することで、障害物の距離測定と３次元シーンの構築を可能にして、障害物回避と走行誘導タスクを遂行する。
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組み合わせ後の実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。具体的な実施形態の上記方法において、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。
また、本開示は場面深度／カメラ運動予測装置、電子機器、コンピュータ可読記憶媒体並びにプログラムを更に提供し、それらはいずれも本開示で提供されるいずれか一種の場面深度／カメラ運動予測方法を実現するために利用可能であり、それらに対応する技術手段及び説明については方法部分に対応する記載を参照してもよく、ここで省略する。
図５は本開示の実施例に係る場面深度予測装置のブロック図を示す。図５に示すように、場面深度予測装置５０は、
時刻ｔの目標画像フレームを取得するように構成される第１取得モジュール５１と、
場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて目標画像フレームに対して場面深度予測を行って、目標画像フレームに対応する予測深度マップを決定するように構成される第１場面深度予測モジュール５２であって、第１隠れ状態情報は場面深度に関連する特徴情報を含み、場面深度予測ネットワークは、カメラ運動予測ネットワークの補助でトレーニングして得られる第１場面深度予測モジュール５２と、を備える。
いくつかの実施例では、第１場面深度予測モジュール５２は、
目標画像フレームに対して特徴抽出を行って、目標画像フレームに対応する第１特徴マップを決定するように構成される第１決定サブモジュールであって、第１特徴マップは場面深度に関連する特徴マップである第１決定サブモジュールと、
第１特徴マップと時刻ｔ－１の第１隠れ状態情報に基づいて、時刻ｔの第１隠れ状態情報を決定するように構成される第２決定サブモジュールと、
時刻ｔの第１隠れ状態情報に基づいて、予測深度マップを決定するように構成される第３決定サブモジュールと、を備える。
いくつかの実施例では、時刻ｔ－１の第１隠れ状態情報は時刻ｔ－１の異なるスケールにおける第１隠れ状態情報を含み、
第１決定サブモジュールは、具体的に、目標画像フレームに対してマルチスケールダウンサンプリングを行って、目標画像フレームに対応する、異なるスケールにおける第１特徴マップを決定するように構成され、
第２決定サブモジュールは、具体的に、いずれか１つのスケールに対して、当該スケールにおける第１特徴マップと時刻ｔ－１の当該スケールにおける第１隠れ状態情報に基づいて、時刻ｔの当該スケールにおける第１隠れ状態情報を決定するように構成され、
第３決定サブモジュールは、具体的に、時刻ｔの異なるスケールにおける第１隠れ状態情報に対して特徴融合を行って、予測深度マップを決定するように構成される。
いくつかの実施例では、場面深度予測装置５０は、
時刻ｔに対応するサンプル画像フレーム系列を取得するステップであって、前記サンプル画像フレーム系列は、時刻ｔの第１サンプル画像フレームと前記第１サンプル画像フレームの隣接サンプル画像フレームを含むステップと、
カメラ運動予測ネットワークによって時刻ｔ－１の第２隠れ状態情報を用いて前記サンプル画像フレーム系列に対してカメラ位置姿勢予測を行って、前記サンプル画像フレーム系列に対応するサンプル予測カメラ運動を決定するステップであって、前記第２隠れ状態情報はカメラ運動に関連する特徴情報を含むステップと、
トレーニング対象である場面深度予測ネットワークによって、時刻ｔ－１の第１隠れ状態情報を用いて、前記第１サンプル画像フレームに対して場面深度予測を行って、前記第１サンプル画像フレームに対応するサンプル予測深度マップを決定するステップであって、前記第１隠れ状態情報は場面深度に関連する特徴情報を含むステップと、
前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップと、
前記損失関数により、前記トレーニング対象である場面深度予測ネットワークをトレーニングして、前記場面深度予測ネットワークを得るステップと、を実行するように構成される第１トレーニングモジュールを更に備える。
いくつかの実施例では、第１トレーニングモジュールは、具体的に、前記サンプル予測カメラ運動に基づいて前記サンプル画像フレーム系列のうちの前記第１サンプル画像フレームの隣接サンプル画像フレームの前記第１サンプル画像フレームに対する再投影誤差項を決定するステップと、前記サンプル予測深度マップの分布連続性に基づいて、ペナルティ関数項を決定するステップと、前記再投影誤差項と前記ペナルティ関数項により、前記損失関数を構築するステップと、を実行するように構成される。
図６は本開示の実施例に係るカメラ運動予測装置のブロック図を示す。図６に示すように、カメラ運動予測装置６０は、
時刻ｔに対応する画像フレーム系列を取得するように構成される第２取得モジュール６１であって、画像フレーム系列は時刻ｔの目標画像フレームと目標画像フレームの隣接画像フレームを含む第２取得モジュール６１と、
カメラ運動予測ネットワークによって時刻ｔ－１の第２隠れ状態情報を用いて画像フレーム系列に対してカメラ位置姿勢予測を行って、画像フレーム系列に対応する予測カメラ運動を決定するように構成される第１カメラ運動予測モジュール６２であって、第２隠れ状態情報はカメラ運動に関連する特徴情報を含み、カメラ運動予測ネットワークは、場面深度予測ネットワークの補助でトレーニングして得られる第１カメラ運動予測モジュール６２と、を備える。
いくつかの実施例では、第１カメラ運動予測モジュール６２は、
画像フレーム系列に対して特徴抽出を行って、画像フレーム系列に対応する第２特徴マップを決定するように構成される第６決定サブモジュールであって、第２特徴マップはカメラ運動に関連する特徴マップである第６決定サブモジュールと、
第２特徴マップと時刻ｔ－１の第２隠れ状態情報に基づいて、時刻ｔの第２隠れ状態情報を決定するように構成される第７決定サブモジュールと、
時刻ｔの第２隠れ状態情報に基づいて、予測カメラ運動を決定するように構成される第８決定サブモジュールと、を備える。
いくつかの実施例では、予測カメラ運動は画像フレーム系列のうちの隣接画像フレーム間の相対的位置姿勢を含む。
いくつかの実施例では、カメラ運動予測装置６０は、
時刻ｔに対応するサンプル画像フレーム系列を取得するステップであって、前記サンプル画像フレーム系列は、時刻ｔの第１サンプル画像フレームと前記第１サンプル画像フレームの隣接サンプル画像フレームを含むステップと、
場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて前記第１サンプル画像フレームに対して場面深度予測を行って、前記第１サンプル画像フレームに対応するサンプル予測深度マップを決定するステップであって、前記第１隠れ状態情報は場面深度に関連する特徴情報を含むステップと、
トレーニング対象であるカメラ運動予測ネットワークによって時刻ｔ－１の第２隠れ状態情報を用いて前記サンプル画像フレーム系列に対してカメラ位置姿勢予測を行って、前記サンプル画像フレーム系列に対応するサンプル予測カメラ運動を決定するステップであって、前記第２隠れ状態情報はカメラ運動に関連する特徴情報を含むステップと、
前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップと、
前記損失関数により、前記トレーニング対象であるカメラ運動予測ネットワークをトレーニングして、前記カメラ運動予測ネットワークを得るステップと、を実行するように構成される第２トレーニングモジュールを更に備える。
いくつかの実施例では、第２トレーニングモジュールは、具体的に、前記サンプル予測カメラ運動に基づいて前記サンプル画像フレーム系列のうちの前記第１サンプル画像フレームの隣接サンプル画像フレームの前記第１サンプル画像フレームに対する再投影誤差項を決定するステップと、前記サンプル予測深度マップの分布連続性に基づいて、ペナルティ関数項を決定するステップと、前記再投影誤差項と前記ペナルティ関数項により、前記損失関数を構築するステップと、を実行するように構成される。
いくつかの実施例では、本開示の実施例で提供された装置に備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照してよく、簡単化するために、ここで重複説明は割愛する。
本開示の実施例は、コンピュータプログラム指令が記憶されており、前記コンピュータプログラム指令がプロセッサに実行される時に、上記方法を実現するコンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体は揮発性又は非揮発性コンピュータ可読記憶媒体であってもよい。
本開示の実施例は、プロセッサと、プロセッサ実行可能指令を記憶するように構成されるメモリと、を備え、前記プロセッサは前記メモリに記憶された指令を呼び出して上記のいずれか１種の場面深度予測方法又は上記のいずれか１種のカメラ運動予測方法を実行するように構成される電子機器を更に提供する。
本開示の実施例は、コンピュータ可読コードを含み、コンピュータ可読コードが機器で実行される時に、機器中のプロセッサが上記のいずれか１つの実施例で提供された場面深度及び／又はカメラ運動予測方法を実現するための指令を実行するコンピュータプログラム製品を更に提供する。
本開示の実施例は、コンピュータ可読指令を記憶するように構成され、指令が実行される時にコンピュータが上記のいずれか１つの実施例で提供された場面深度及び／又はカメラ運動予測方法の操作を実行する別のコンピュータプログラム製品を更に提供する。
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
図７は本開示の実施例に係る電子機器８００のブロック図を示す。図７に示すように、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末等の端末であってもよい。
図７を参照すると、電子機器８００は第１処理コンポーネント８０２、第１メモリ８０４、第１電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、第１入力／出力（Ｉｎｐｕｔ Ｏｕｔｐｕｔ：Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６の一つ又は複数を含むことができる。
第１処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作及び記録動作に関連する動作を制御する。第１処理コンポーネント８０２は、上記方法の全て又は一部のステップを完了するために、一つ又は複数のプロセッサ８２０を含んで命令を実行することができる。また、第１処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つ又は複数のモジュールを含むことができる。例えば、第１処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。
第１メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において運用するためのあらゆるアプリケーションプログラム又は方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオ等を含む。第１メモリ８０４は、例えば静的ランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＰＲＯＭ）、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスク等の様々なタイプの揮発性又は非揮発性記憶機器又はそれらの組み合わせによって実現できる。
第１電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。第１電源コンポーネント８０６は電源管理システム、一つ又は複数の電源、及び電子機器８００のための電力生成、管理及び配分に関連する他のコンポーネントを含むことができる。
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）及びタッチパネル（Ｔｏｕｃｈ Ｐａｄ：ＴＰ）を含むことができる。画面は、タッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャを検知するために、一つ又は複数のタッチセンサを含む。前記タッチセンサはタッチ又はスライド動きの境界を検知するのみならず、前記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラ及び／又は後面カメラを含む。電子機器８００が動作モード、例えば撮影モード又は撮像モードになる場合、前面カメラ及び／又は後面カメラは外部のマルチメディアデータを受信することができる。各前面カメラ及び後面カメラは固定された光学レンズ系又は焦点距離及び光学ズーム能力を有するものであってもよい。
オーディオコンポーネント８１０はオーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モード及び音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらに第１メモリ８０４に記憶されるか、又は通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
第１入力／出力インタフェース８１２は第１処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタン等であってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタン及びロックボタンを含むことができるが、これらに限定されない。
センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための一つ又は複数のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、及び、例えば電子機器８００の表示装置やキーパッドであるコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００又は電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加減速及び電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含む。センサコンポーネント８１４はさらに、相補型金属酸化物半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）又は電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ又は温度センサを含むことができる。
通信コンポーネント８１６は電子機器８００と他の機器との間の有線又は無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号又は放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ：ＲＦＩＤ）技術、赤外線データ協会（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）技術、超広帯域（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ：ＵＷＢ）技術、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ：ＢＴ）技術及び他の技術によって実現できる。
例示的な実施例では、電子機器８００は一つ又は複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、デジタル信号処理装置（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子要素によって実現し、上記のいずれか１種の場面深度予測方法又は上記のいずれか１種のカメラ運動予測方法を実行するために用いることができる。
例示的な実施例では、さらに、非揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含む第１メモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行して上記のいずれか１種の場面深度予測方法又は上記のいずれか１種のカメラ運動予測方法を完了することができる。
図８は本開示の実施例に係る電子機器のブロック図を示す。図８に示すように、電子機器９００はサーバとして提供できる。図８を参照すると、電子機器９００は、さらに一つ又は複数のプロセッサを含む第２処理コンポーネント９２２、及び、第２処理コンポーネント９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、第２メモリ９３２を代表とするメモリ資源を含む。第２メモリ９３２に記憶されたアプリケーションプログラムはそれぞれが１グループの命令に対応する一つ又は複数のモジュールを含むことができる。また、第２処理コンポーネント９２２は命令を実行し、それによって上記のいずれか１種の場面深度予測方法又は上記のいずれか１種のカメラ運動予測方法を実行するように構成される。
電子機器９００はさらに、電子機器９００の電源管理を実行するように構成された第２電源コンポーネント９２６、電子機器９００をネットワークにアクセスするように構成された有線又は無線ネットワークインタフェース９５０、及び第２入出力（Ｉ／Ｏ）インタフェース９５８を含むことができる。電子機器９００は第２メモリ９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似するものに基づいて動作できる。
例示的な実施例では、さらに、非揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含む第２メモリ９３２が提供され、上記コンピュータプログラム命令は電子機器９００の第２処理コンポーネント９２２によって実行して上記のいずれか１種の場面深度予測方法又は上記のいずれか１種のカメラ運動予測方法を完了することができる。
本開示はシステム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各態様を実現させるためのコンピュータ可読プログラム命令がロードされているコンピュータ可読記憶媒体を含むことができる。
コンピュータ可読記憶媒体は命令実行機器により使用される命令を保存及び記憶可能な有形機器であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、及び機械的符号化装置、例えば命令が記憶されているせん孔カード又はスロット内突起構造、並びに上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は瞬時信号自体、例えば無線電波又は他の自由に伝播される電磁波、導波路又は他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、又は電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ可読プログラム命令はコンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、又はネットワーク、例えばインタネット、ローカルエリアネットワーク、広域ネットワーク及び／又は無線ネットワークによって外部のコンピュータ又は外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカード又はネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶する。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ａｒｃｈｉｔｅｃｔｕｒｅ：ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、及び「Ｃ」言語又は類似するプログラミング言語等の一般的な手続き型プログラミング言語を含む一つ又は複数のプログラミング言語の任意の組み合わせで書かれたソースコード又は目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいて且つ部分的にリモートコンピュータにおいて実行されてもよく、又は完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）又は広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、又は、外部コンピュータに接続されてもよい（例えばインタネットサービスプロバイダを用いてインタネット経由で接続する）。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ：ＰＬＡ）等の電子回路をパーソナライズすることで、該電子回路はコンピュータ可読プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。
なお、ここで本開示の実施例に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら本開示の各態様を説明しが、フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。
これらのコンピュータ可読プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャート及び／又はブロック図の一つ又は複数のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置及び／又は他の機器を特定の方式で動作させるようにしてもよく、それにより、中に保存された命令を有するコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図の一つ又は複数のブロックにおいて指定された機能／動作の各態様を実現する命令を含む製品を備える。
コンピュータ可読プログラムはコンピュータ、他のプログラマブルデータ処理装置、又は他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置又は他の機器において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、又は他の機器において実行される命令はフローチャート及び／又はブロック図の一つ又は複数のブロックにおいて指定された機能／動作を実現する。
図面のうちフローチャート及びブロック図は本開示の複数の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び動作を示す。この点では、フローチャート又はブロック図における各ブロックは一つのモジュール、プログラムセグメント又は命令の一部分を代表することができ、前記モジュール、プログラムセグメント又は命令の一部分は指定された論理機能を実現するための一つ又は複数の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、指定される機能又は動作を実行するハードウェアに基づく専用システムによって実現してもよいし、又は専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
該コンピュータプログラム製品は具体的にはハードウェア、ソフトウェア又はそれらの組み合わせにより実現可能である。選択可能な一実施例において、前記コンピュータプログラム製品は具体的にはコンピュータ記憶媒体として実現され、別の選択可能な一実施例において、コンピュータプログラム製品は具体的には、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）等のソフトウェア製品として実現される。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、且つ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲及び精神から逸脱することなく、様々な修正及び変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用又は市場における技術への技術的改善を好適に解釈するか、又は他の当業者に本文に披露された各実施例を理解させるためのものである。
本開示の実施例は、時刻ｔの目標画像フレームを取得するステップと、場面深度予測ネットワークによって時刻ｔ－１の第１隠れ状態情報を用いて前記目標画像フレームに対して場面深度予測を行って、前記目標画像フレームに対応する予測深度マップを決定するステップであって、前記第１隠れ状態情報は場面深度に関連する特徴情報を含み、前記場面深度予測ネットワークは、カメラ運動予測ネットワークの補助でトレーニングして得られるステップと、を含む場面深度とカメラ運動を予測する方法及び装置、電子機器、媒体並びにプログラムを提供する。本開示の実施例は目標画像フレームに対応する予測精度の高い予測深度マップを得ることができる。

Claims (12)

  1. 時刻ｔの目標画像フレームを取得するステップと、
    場面深度予測ネットワークによって、時刻ｔ－１の場面深度に関連する第１隠れ状態情報を用いて前記目標画像フレームに対して場面深度予測を行って、前記目標画像フレームに対応する予測深度マップを決定するステップであって、前記場面深度予測ネットワークは、サンプル画像フレーム系列に基づいて、カメラ運動予測ネットワークにより得られた前記サンプル画像フレーム系列に対応するサンプル予測カメラ運動を利用して損失関数を構築し、前記損失関数によりトレーニングして得られるステップと、を含み、
    場面深度予測ネットワークによって、時刻ｔ－１の場面深度に関連する第１隠れ状態情報を用いて前記目標画像フレームに対して場面深度予測を行って、前記目標画像フレームに対応する予測深度マップを決定するステップは、
    前記目標画像フレームに対して特徴抽出を行って、前記目標画像フレームに対応する第１特徴マップを決定するステップであって、前記第１特徴マップは場面深度に関連する特徴マップであるステップと、
    前記第１特徴マップと時刻ｔ－１の前記第１隠れ状態情報に基づいて、時刻ｔの前記第１隠れ状態情報を決定するステップと、
    時刻ｔの前記第１隠れ状態情報に基づいて、前記予測深度マップを決定するステップと、を含む
    場面深度予測方法。
  2. 前記時刻ｔ－１の前記第１隠れ状態情報は時刻ｔ－１の異なるスケールにおける前記第１隠れ状態情報を含み、
    前記目標画像フレームに対して特徴抽出を行って、前記目標画像フレームに対応する第１特徴マップを決定するステップは、
    前記目標画像フレームに対してマルチスケールダウンサンプリングを行って、前記目標画像フレームに対応する、異なるスケールにおける前記第１特徴マップを決定するステップを含み、
    前記第１特徴マップと時刻ｔ－１の前記第１隠れ状態情報に基づいて、時刻ｔの前記第１隠れ状態情報を決定するステップは、
    いずれか１つのスケールに対して、当該スケールにおける前記第１特徴マップと時刻ｔ－１の当該スケールにおける前記第１隠れ状態情報に基づいて、時刻ｔの当該スケールにおける前記第１隠れ状態情報を決定するステップを含み、
    時刻ｔの前記第１隠れ状態情報に基づいて、前記予測深度マップを決定するステップは、
    時刻ｔの異なるスケールにおける前記第１隠れ状態情報に対して特徴融合を行って、前記予測深度マップを決定するステップを含む
    請求項１に記載の方法。
  3. 時刻ｔに対応する前記サンプル画像フレーム系列を取得するステップであって、前記サンプル画像フレーム系列は、時刻ｔの第１サンプル画像フレームと前記第１サンプル画像フレームの隣接サンプル画像フレームを含むステップと、
    カメラ運動予測ネットワークによって、時刻ｔ－１のカメラ運動に関連する第２隠れ状態情報を用いて前記サンプル画像フレーム系列に対してカメラ位置姿勢予測を行って、前記サンプル画像フレーム系列に対応するサンプル予測カメラ運動を決定するステップと、
    トレーニング対象である場面深度予測ネットワークによって、時刻ｔ－１の前記第１隠れ状態情報を用いて、前記第１サンプル画像フレームに対して場面深度予測を行って、前記第１サンプル画像フレームに対応するサンプル予測深度マップを決定するステップと、
    前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップと、
    前記損失関数により、前記トレーニング対象である場面深度予測ネットワークをトレーニングして、前記場面深度予測ネットワークを得るステップと、を更に含む
    請求項１又は２に記載の方法。
  4. 前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップは、
    前記サンプル予測カメラ運動に基づいて前記サンプル画像フレーム系列のうちの前記第１サンプル画像フレームの隣接サンプル画像フレームの前記第１サンプル画像フレームに対する再投影誤差項を決定するステップと、
    前記サンプル予測深度マップの分布連続性に基づいて、ペナルティ関数項を決定するステップと、
    前記再投影誤差項と前記ペナルティ関数項により、前記損失関数を構築するステップと、を含む
    請求項３に記載の方法。
  5. 時刻ｔに対応する画像フレーム系列を取得するステップであって、前記画像フレーム系列は、時刻ｔの目標画像フレームと前記目標画像フレームの隣接画像フレームを含むステップと、
    カメラ運動予測ネットワークによって、時刻ｔ－１のカメラ運動に関連する第２隠れ状態情報を用いて、前記画像フレーム系列に対してカメラ位置姿勢予測を行って、前記画像フレーム系列に対応する予測カメラ運動を決定するステップであって、前記カメラ運動予測ネットワークは、サンプル画像フレーム系列に基づいて、場面深度予測ネットワークにより得られたサンプル予測深度マップを利用して損失関数を構築し、前記損失関数によりトレーニングして得られるステップと、を含み、
    カメラ運動予測ネットワークによって、時刻ｔ－１のカメラ運動に関連する第２隠れ状態情報を用いて前記画像フレーム系列に対してカメラ位置姿勢予測を行って、前記画像フレーム系列に対応する予測カメラ運動を決定するステップは、
    前記画像フレーム系列に対して特徴抽出を行って、前記画像フレーム系列に対応する第２特徴マップを決定するステップであって、前記第２特徴マップはカメラ運動に関連する特徴マップであるステップと、
    前記第２特徴マップと時刻ｔ－１の前記第２隠れ状態情報に基づいて、時刻ｔの前記第２隠れ状態情報を決定するステップと、
    時刻ｔの前記第２隠れ状態情報に基づいて、前記予測カメラ運動を決定するステップと、を含む
    カメラ運動予測方法。
  6. 前記予測カメラ運動は、前記画像フレーム系列のうちの隣接画像フレーム間の相対的位置姿勢を含む
    請求項５に記載の方法。
  7. 時刻ｔに対応する前記サンプル画像フレーム系列を取得するステップであって、前記サンプル画像フレーム系列は、時刻ｔの第１サンプル画像フレームと前記第１サンプル画像フレームの隣接サンプル画像フレームを含むステップと、
    場面深度予測ネットワークによって、時刻ｔ－１の場面深度に関連する第１隠れ状態情報を用いて、前記第１サンプル画像フレームに対して場面深度予測を行って、前記第１サンプル画像フレームに対応するサンプル予測深度マップを決定するステップと、
    トレーニング対象であるカメラ運動予測ネットワークによって、時刻ｔ－１の前記第２隠れ状態情報を用いて、前記サンプル画像フレーム系列に対してカメラ位置姿勢予測を行って、前記サンプル画像フレーム系列に対応するサンプル予測カメラ運動を決定するステップと、
    前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップと、
    前記損失関数により、前記トレーニング対象であるカメラ運動予測ネットワークをトレーニングして、前記カメラ運動予測ネットワークを得るステップと、を更に含み、
    場面深度予測ネットワークによって、時刻ｔ－１の場面深度に関連する第１隠れ状態情報を用いて、前記第１サンプル画像フレームに対して場面深度予測を行って、前記第１サンプル画像フレームに対応するサンプル予測深度マップを決定するステップは、
    前記第１サンプル画像フレームに対して特徴抽出を行い、前記第１サンプル画像フレームに対応する第１特徴マップを決定するステップであって、前記第１特徴マップは、場面深度に関連する特徴マップである、ステップと、
    前記第１特徴マップと時刻ｔ－１の前記第１隠れ状態情報に基づいて、時刻ｔの前記第１隠れ状態情報を決定するステップと、
    時刻ｔの前記第１隠れ状態情報に基づいて、前記サンプル予測深度マップを決定するステップと、を含む、
    請求項５又は６に記載の方法。
  8. 前記サンプル予測深度マップと前記サンプル予測カメラ運動に基づいて損失関数を構築するステップは、
    前記サンプル予測カメラ運動に基づいて前記サンプル画像フレーム系列のうちの前記第１サンプル画像フレームの隣接サンプル画像フレームの前記第１サンプル画像フレームに対する再投影誤差項を決定するステップと、
    前記サンプル予測深度マップの分布連続性に基づいて、ペナルティ関数項を決定するステップと、
    前記再投影誤差項と前記ペナルティ関数項により、前記損失関数を構築するステップと、を含む
    請求項７に記載の方法。
  9. 時刻ｔの目標画像フレームを取得するように構成される第１取得モジュールと、
    場面深度予測ネットワークによって、時刻ｔ－１の場面深度に関連する第１隠れ状態情報を用いて、前記目標画像フレームに対して場面深度予測を行って、前記目標画像フレームに対応する予測深度マップを決定するように構成される第１場面深度予測モジュールであって、前記場面深度予測ネットワークは、サンプル画像フレーム系列に基づいて、カメラ運動予測ネットワークにより得られた前記サンプル画像フレーム系列に対応するサンプル予測カメラ運動を利用して損失関数を構築し、前記損失関数によりトレーニングして得られる第１場面深度予測モジュールと、を備え、
    前記第１場面深度予測モジュールは、
    前記目標画像フレームに対して特徴抽出を行って、前記目標画像フレームに対応する第１特徴マップを決定するように構成される第１決定サブモジュールであって、前記第１特徴マップは場面深度に関連する特徴マップである第１決定サブモジュールと、
    前記第１特徴マップと時刻ｔ－１の前記第１隠れ状態情報に基づいて、時刻ｔの前記第１隠れ状態情報を決定するように構成される第２決定サブモジュールと、
    時刻ｔの前記第１隠れ状態情報に基づいて、前記予測深度マップを決定するように構成される第３決定サブモジュールと、を備える
    場面深度予測装置。
  10. 時刻ｔに対応する画像フレーム系列を取得するように構成される第２取得モジュールであって、前記画像フレーム系列は、時刻ｔの目標画像フレームと前記目標画像フレームの隣接画像フレームを含む第１取得モジュールと、
    カメラ運動予測ネットワークによって、時刻ｔ－１のカメラ運動に関連する第２隠れ状態情報を用いて、前記画像フレーム系列に対してカメラ位置姿勢予測を行って、前記画像フレーム系列に対応する予測カメラ運動を決定するように構成される第１カメラ運動予測モジュールであって、前記カメラ運動予測ネットワークは、サンプル画像フレーム系列に基づいて、場面深度予測ネットワークにより得られたサンプル予測深度マップを利用して損失関数を構築し、前記損失関数によりトレーニングして得られる第１カメラ運動予測モジュールと、を備え、
    前記第１カメラ運動予測モジュールは、
    前記画像フレーム系列に対して特徴抽出を行って、前記画像フレーム系列に対応する第２特徴マップを決定するように構成される第１決定サブモジュールであって、前記第２特徴マップはカメラ運動に関連する特徴マップである第１決定サブモジュールと、
    前記第２特徴マップと時刻ｔ－１の前記第２隠れ状態情報に基づいて、時刻ｔの前記第２隠れ状態情報を決定するように構成される第２決定サブモジュールと、
    時刻ｔの前記第２隠れ状態情報に基づいて、前記予測カメラ運動を決定するように構成される第３決定サブモジュールと、を備える
    カメラ運動予測装置。
  11. プロセッサと、
    プロセッサ実行可能指令を記憶するように構成されるメモリと、を備え、
    前記プロセッサは前記メモリに記憶された指令を呼び出して請求項１～８のいずれか一項に記載の方法を実行するように構成される電子機器。
  12. コンピュータプログラム指令が記憶されており、前記コンピュータプログラム指令がプロセッサに、請求項１～８のいずれか一項に記載の方法を実行させるコンピュータ可読記憶媒体。
JP2021565990A 2020-04-28 2021-02-08 場面深度とカメラ運動を予測する方法及び装置、機器、媒体並びにプログラム Active JP7178514B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010348872.2A CN111540000B (zh) 2020-04-28 2020-04-28 场景深度和相机运动预测方法及装置、电子设备和介质
CN202010348872.2 2020-04-28
PCT/CN2021/076038 WO2021218282A1 (zh) 2020-04-28 2021-02-08 场景深度和相机运动预测方法及装置、设备、介质和程序

Publications (2)

Publication Number Publication Date
JP2022528012A JP2022528012A (ja) 2022-06-07
JP7178514B2 true JP7178514B2 (ja) 2022-11-25

Family

ID=71977213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021565990A Active JP7178514B2 (ja) 2020-04-28 2021-02-08 場面深度とカメラ運動を予測する方法及び装置、機器、媒体並びにプログラム

Country Status (5)

Country Link
JP (1) JP7178514B2 (ja)
KR (1) KR102397268B1 (ja)
CN (2) CN113822918B (ja)
TW (1) TWI767596B (ja)
WO (1) WO2021218282A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822918B (zh) * 2020-04-28 2024-07-12 深圳市商汤科技有限公司 场景深度和相机运动预测方法及装置、电子设备和介质
CN112492230B (zh) * 2020-11-26 2023-03-24 北京字跳网络技术有限公司 视频处理方法、装置、可读介质及电子设备
CN112232322B (zh) * 2020-12-14 2024-08-02 支付宝(杭州)信息技术有限公司 一种基于对象状态预测的图像生成方法及装置
CN112767481B (zh) * 2021-01-21 2022-08-16 山东大学 一种基于视觉边缘特征的高精度定位及建图方法
CN114339402B (zh) * 2021-12-31 2024-10-11 北京字节跳动网络技术有限公司 视频播放完成率预测方法、装置、介质及电子设备
KR102559936B1 (ko) * 2022-01-28 2023-07-27 포티투닷 주식회사 단안 카메라를 이용하여 깊이 정보를 추정하는 방법 및 장치
WO2023155043A1 (zh) * 2022-02-15 2023-08-24 中国科学院深圳先进技术研究院 一种基于历史信息的场景深度推理方法、装置及电子设备
CN114612510B (zh) * 2022-03-01 2024-03-29 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机程序产品
CN114998403A (zh) * 2022-06-13 2022-09-02 北京百度网讯科技有限公司 深度预测方法、装置、电子设备、介质
TWI823491B (zh) * 2022-07-22 2023-11-21 鴻海精密工業股份有限公司 深度估計模型的優化方法、裝置、電子設備及存儲介質

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019099684A1 (en) 2017-11-15 2019-05-23 Google Llc Unsupervised learning of image depth and ego-motion prediction neural networks

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109964237B (zh) * 2016-09-15 2020-07-17 谷歌有限责任公司 图像深度预测神经网络
CN106780543B (zh) * 2017-01-13 2019-06-28 深圳市唯特视科技有限公司 一种基于卷积神经网络的双框架估计深度和运动方法
US10803546B2 (en) * 2017-11-03 2020-10-13 Baidu Usa Llc Systems and methods for unsupervised learning of geometry from images using depth-normal consistency
CN109087349B (zh) * 2018-07-18 2021-01-26 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
US11783500B2 (en) * 2018-09-05 2023-10-10 Google Llc Unsupervised depth prediction neural networks
US10860873B2 (en) * 2018-09-17 2020-12-08 Honda Motor Co., Ltd. Driver behavior recognition and prediction
CN109978851B (zh) * 2019-03-22 2021-01-15 北京航空航天大学 一种红外视频空中弱小运动目标检测跟踪方法
CN110060286B (zh) * 2019-04-25 2023-05-23 东北大学 一种单目深度估计方法
CN110136185B (zh) * 2019-05-23 2022-09-06 中国科学技术大学 一种单目深度估计方法及系统
CN110264526B (zh) * 2019-06-19 2023-04-07 华东师范大学 一种基于深度学习的场景深度和摄像机位置姿势求解方法
CN110310317A (zh) * 2019-06-28 2019-10-08 西北工业大学 一种基于深度学习的单目视觉场景深度估计的方法
CN110378250B (zh) * 2019-06-28 2021-04-09 深圳先进技术研究院 用于场景认知的神经网络的训练方法、装置及终端设备
CN110473254A (zh) * 2019-08-20 2019-11-19 北京邮电大学 一种基于深度神经网络的位姿估计方法及装置
CN110503680B (zh) * 2019-08-29 2023-08-18 大连海事大学 一种基于非监督的卷积神经网络单目场景深度估计方法
CN110942484B (zh) * 2019-11-26 2022-07-12 福州大学 基于遮挡感知和特征金字塔匹配的相机自运动估计方法
CN111028282A (zh) * 2019-11-29 2020-04-17 浙江省北大信息技术高等研究院 一种无监督位姿与深度计算方法及系统
CN113822918B (zh) * 2020-04-28 2024-07-12 深圳市商汤科技有限公司 场景深度和相机运动预测方法及装置、电子设备和介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019099684A1 (en) 2017-11-15 2019-05-23 Google Llc Unsupervised learning of image depth and ego-motion prediction neural networks

Also Published As

Publication number Publication date
WO2021218282A1 (zh) 2021-11-04
KR102397268B1 (ko) 2022-05-12
CN111540000B (zh) 2021-11-05
CN113822918B (zh) 2024-07-12
CN111540000A (zh) 2020-08-14
CN113822918A (zh) 2021-12-21
TW202141428A (zh) 2021-11-01
TWI767596B (zh) 2022-06-11
JP2022528012A (ja) 2022-06-07
KR20210138788A (ko) 2021-11-19

Similar Documents

Publication Publication Date Title
JP7178514B2 (ja) 場面深度とカメラ運動を予測する方法及び装置、機器、媒体並びにプログラム
CN109978886B (zh) 图像处理方法及装置、电子设备和存储介质
JP7262659B2 (ja) 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
CN110798630B (zh) 图像处理方法及装置、电子设备和存储介质
CN111401230B (zh) 姿态估计方法及装置、电子设备和存储介质
JP7316456B2 (ja) 点群マップ構築方法及びその装置、電子機器、記憶媒体並びにプログラム
CN113052874B (zh) 目标跟踪方法及装置、电子设备和存储介质
WO2022151686A1 (zh) 场景图像展示方法、装置、设备、存储介质、程序及产品
JP2022546201A (ja) ターゲット検出方法および装置、電子機器並びに記憶媒体
CN111325786B (zh) 图像处理方法及装置、电子设备和存储介质
KR20220123218A (ko) 타깃 포지셔닝 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN114581525A (zh) 姿态确定方法及装置、电子设备和存储介质
CN112767541B (zh) 三维重建方法及装置、电子设备和存储介质
CN109543544B (zh) 跨光谱图像匹配方法及装置、电子设备和存储介质
JP7261889B2 (ja) 共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体
CN112330721A (zh) 三维坐标的恢复方法及装置、电子设备和存储介质
CN112837361B (zh) 一种深度估计方法及装置、电子设备和存储介质
CN112308878A (zh) 一种信息处理方法、装置、电子设备和存储介质
CN112967311B (zh) 三维线图构建方法及装置、电子设备和存储介质
CN113297983A (zh) 人群定位方法及装置、电子设备和存储介质
CN114924828A (zh) Ar影像显示方法及装置、电子设备和存储介质
CN113807369A (zh) 目标重识别方法及装置、电子设备和存储介质
CN114782656A (zh) 虚拟对象的显示方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211105

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7178514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150