JP7464154B2 - ３次元チャネルの構築方法、装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents

３次元チャネルの構築方法、装置及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP7464154B2
JP7464154B2 JP2023003569A JP2023003569A JP7464154B2 JP 7464154 B2 JP7464154 B2 JP 7464154B2 JP 2023003569 A JP2023003569 A JP 2023003569A JP 2023003569 A JP2023003569 A JP 2023003569A JP 7464154 B2 JP7464154 B2 JP 7464154B2
Authority
JP
Japan
Prior art keywords
channel
panoramic image
dimensional
image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023003569A
Other languages
English (en)
Other versions
JP2023104902A (ja
Inventor
ホォン イ
ハイジン ジィア
ホンジ ジャン
リイェヌ リィウ
ウェイ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2023104902A publication Critical patent/JP2023104902A/ja
Application granted granted Critical
Publication of JP7464154B2 publication Critical patent/JP7464154B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は画像処理及び３次元再構築の技術分野に関し、具体的には、３次元チャネルの構築方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。
３次元再構築の分野においては、３次元チャネル再構築が非常に重要な分岐分野となる。チャネルは、通常、ドアや窓など、人が通れるか、見通せる物体を指す。３次元チャネル再構築技術の適用は非常に広範である。例えば、レーザスキャナや可視光カメラを用いて点群（point cloud）を生成する場合、チャネル領域のレーザ光や可視光が透過するため、チャネル領域のノイズが大きくなりやすいため、３次元チャネル情報を用いて点群の処理を行うことができる。また、現在普及しているロボットや、スマート車椅子等の技術においても、チャネル情報を用いたルート計画がなされている。
従来技術においては、主に3種類の技術から３次元チャネルの再構築を行い、３次元チャネル点群、即ちチャネルの３次元点群を生成する。３次元点群(3D point cloud)は、規則的なグリッドに従って配列された３次元座標点のデータ集である。
例えば、第１の技術においては、３次元点群上で直接３次元チャネル再構築を行うことである。現在の点群品質は比較的悪いため、中には多くの空洞やノイズ、特にチャネル領域が含まれる。このような３次元点群を用いて高品質な３次元チャネル点群を生成することは困難である。
別の例として、３次元チャネル再構築は、点群を生成するデータソースを用いて行われる。一般的なデータソースは2次元透視図であり、第2の技術は、2次元透視図に基づく３次元チャネル再構築である。ここで、さらに2種類の思考モードがあり、1つは順方向思考であり、1つは逆方向思考である。順方向思考とは、既存の２次元透視図であり、２次元透視図から２次元チャネル対象を検出してから、３次元チャネル点群を生成する。逆方向思考とは、３次元点群のみの場合は、最初に３次元点群から２次元透視図を生成し、次に２次元チャネル対象を検出してから、３次元チャネル点群を生成することである。該技術の主な問題は、パノラマ画像には一般的にパノラマ歪みが存在しているため、２次元対象検出に用いられる矩形フレームはパノラマ画像に適用できないことである。
さらに別の例として、点群を生成する別のデータソースはパノラマ画像であり、第３の技術は、パノラマ画像から２次元チャネル対象を検出してから、３次元チャネル点群を生成することである。一方、パノラマ画像の歪みの問題を考慮して、球面畳み込みや変形畳み込みを用いて検出対象の湾曲した多角形フレームを検出することが一般的である。しかしながら、問題は、パノラマ歪みを考慮することに加えて、対象自体が物理的世界で視点変化を示すことがある。したがって、球面畳み込みまたは変形畳み込みでは、視点変化の問題を解決することができない。
本発明の実施形態が解決しようとする技術的課題は、生成された３次元チャネル点群の品質を向上させる３次元チャネルの構築方法、装置及びコンピュータ読み取り可能な記憶媒体を提供することである。
本発明の一態様によれば、少なくとも１つの実施形態においては、第１のパノラマ画像に対応する深度画像を生成するステップと、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得するステップであって、各チャネル対象フレームは順次環状に接続された４つの弧状辺であり、各弧状辺は大円の円弧である、ステップと、前記第１のパノラマ画像、前記チャネル対象フレーム及び前記深度画像に基づき、前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成するステップと、を含む３次元チャネルの構築方法を提供する。
また、本発明の少なくとも１つの実施形態によれば、前記第１のパノラマ画像に対応する深度画像を生成するステップにおいて、前記第１のパノラマ画像に対して単眼深度推定を行い、前記第１のパノラマ画像の解像度と同一の解像度の深度画像を取得する。
また、本発明の少なくとも１つの実施形態によれば、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得するステップにおいて、予め訓練された深度学習ネットワークモデルを用いて、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得し、前記深度学習ネットワークモデルは、訓練サンプルセットを用いて訓練されたものであり、前記訓練サンプルセットは、複数のサンプルパノラマ画像、及び各サンプルパノラマ画像にラベル付けされたチャネル対象フレームの幾何学的特徴を含み、前記幾何学的特徴は、各チャネル対象フレームの４つのコーナー点の位置座標、及び隣接する２つのコーナー点の単位球面における夾角を含む。
また、本発明の少なくとも１つの実施形態によれば、前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成する前に、さらに、前記第1のパノラマ画像及び前記チャネル対象フレームを用いて、前記深度画像の深度情報を修復するステップを含む。
さらに、本発明の少なくとも１つの実施形態によれば、前記第１のパノラマ画像及びチャネル対象フレームを用いて、前記深度画像の深度情報を修復するステップにおいて、チャネル対象フレームの４つのコーナー点の位置座標及び隣接する２つのコーナー点の単位球面における夾角に基づき、前記チャネル対象フレームの第１のパノラマ画像における２次元点集合を算出し、前記チャネル対象フレームの２次元点集合における各２次元点の前記深度画像における３次元空間座標に基づき、前記２次元点集合に対応する３次元点集合を取得し、前記３次元点集合に基づき、近似により一つの目標平面を取得し、前記目標平面内の各第１の画素点及び前記深度画像における対応する第２の画素点を決定し、前記第１の画素点の３次元空間座標を用いて、前記第２の画素点の深度を修復する。
また、本発明の少なくとも１つの実施形態によれば、前記第１のパノラマ画像は、目標空間に対して撮影されたパノラマ画像群における任意のパノラマ画像であり、前記３次元チャネルの構築方法は、さらに、前記目標空間の各パノラマ画像におけるチャネル対象の３次元点群に基づいて、前記目標空間におけるチャネル対象の３次元点群を生成するステップを含む。
本発明の別の態様によれば、少なくとも１つの実施形態は、第１のパノラマ画像に対応する深度画像を生成する深度画像生成モジュールと、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得するチャネル対象検出モジュールであって、各チャネル対象フレームは順次環状に接続された４つの弧状辺であり、各弧状辺は大円の円弧である、チャネル対象検出モジュールと、前記第１のパノラマ画像、前記チャネル対象フレーム及び前記深度画像に基づき、前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成するチャネル点群生成モジュールと、を含む３次元チャネルの構築装置を提供する。
また、本発明の少なくとも１つの実施形態によれば、前記深度画像生成モジュールは、前記第１のパノラマ画像に対して単眼深度推定を行い、前記第１のパノラマ画像と同一の解像度の深度画像を取得する単眼深度推定モジュールを含む。
また、本発明の少なくとも１つの実施形態によれば、前記チャネル対象検出モジュールは、予め訓練された深度学習ネットワークモデルを用いて、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得するモデル呼出モジュールを含み、前記深度学習ネットワークモデルは、訓練サンプルセットを用いて訓練されたものであり、前記訓練サンプルセットは、複数のサンプルパノラマ画像、及び各サンプルパノラマ画像にラベル付けされたチャネル対象フレームの幾何学的特徴を含み、前記幾何学的特徴は、各チャネル対象フレームの４つのコーナー点の位置座標、及び隣接する２つのコーナー点の単位球面における夾角を含む。
さらに、本発明の少なくとも1つの実施形態によれば、前記チャネル点群生成モジュールが前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成する前に、前記第１のパノラマ画像及びチャネル対象フレームを用いて、前記深度画像の深度情報を修復する深度情報修復モジュールをさらに含む。
また、本発明の少なくとも1実施形態によれば、前記深度情報修復モジュールは、チャネル対象フレームの４つのコーナー点の位置座標及び隣接する２つのコーナー点の単位球面における夾角に基づき、前記チャネル対象フレームの第１のパノラマ画像における２次元点集合を算出する第１の算出モジュールと、前記チャネル対象フレームの２次元点集合における各２次元点の前記深度画像における３次元空間座標に基づき、前記２次元点集合に対応する３次元点集合を取得する第１の取得モジュールと、前記３次元点集合に基づき、近似により１つの目標平面を取得する第１の近似モジュールと、前記目標平面内の各第１の画素点及び前記深度画像における対応する第２の画素点を決定し、前記第１の画素点の３次元空間座標を用いて、前記第２の画素点の深度を修復する第１の決定モジュールと、を含む。
また、本発明の少なくとも1実施形態によれば、前記第１のパノラマ画像は、目標空間に対して撮影されたパノラマ画像群における任意のパノラマ画像であり、前記３次元チャネルの構築装置は、さらに、前記目標空間の各パノラマ画像におけるチャネル対象の３次元点群に基づき、前記目標空間におけるチャネル対象の３次元点群を生成する目標空間チャネル生成モジュールを含む。
本発明の実施形態は、さらにコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行される際に、前述の３次元チャネルの構築方法のステップを実行する、コンピュータ読み取り可能な記憶媒体を提供する。
従来技術に比べて、本発明の実施形態による３次元チャネルの構築方法、装置及びコンピュータ読み取り可能な記憶媒体は、パノラマ画像に基づいて３次元チャネルの点群を生成する場合、パノラマ画像のパノラマ歪みを考慮すると同時に、チャネル対象自体の視点変化も考慮し、高品質の３次元チャネル点群を生成することができる。また、本発明の実施形態は、さらに３次元チャネル対象フレームにおける深度情報を修復することにより、３次元チャネル点群の品質をより一層向上させることができる。
本発明の実施形態の技術的解決手段をより明確に説明するために、以下では本発明の実施形態の説明に必要な図面を簡単に紹介する。以下の説明における図面は本発明のいくつかの実施形態に過ぎず、当業者であれば、創造的な労力なしに、これらの図面に基づいて他の図面を取得可能なことは言うまでもない。
本発明の実施形態における３次元チャネルの構築方法のフローチャートである。 パノラマ画像におけるチャネルの一例を示す図である。 本発明の実施形態における３次元チャネルの構築方法の別のフローチャートである。 本発明の実施形態の深度画像に対して深度修復を行うフローチャートである。 本発明の実施形態におけるチャネル対象フレームの球座標系におけるマッピング概略図である。 本発明の実施形態の３次元チャネルの構築装置の構造概略図である。 本発明の実施形態の３次元チャネルの構築装置の別の構造概略図である。 本発明の実施形態の３次元チャネルの構築装置の別の構造概略図である。 本発明の実施形態の３次元チャネルの構築装置の別の構造概略図である。 本発明の実施形態の３次元チャネルの構築装置の別の構造概略図である。 本発明の実施形態の３次元チャネルの構築装置の別の構造概略図である。 本発明の実施形態の３次元チャネルの構築装置の別の構造概略図である。
本発明が解決しようとする技術的課題、技術的解決手段及び利点をより明確にするために、以下、図面及び具体的な実施形態を参照して詳細に説明する。以下の説明では、本発明の実施形態の完全な理解を助けるために、具体的な構成や構成要素などの特定の詳細が提供される。したがって、当業者には、本発明の範囲及び趣旨から逸脱することなく、本明細書に記載の実施形態に様々な変更や修正を加えられることが明らかであろう。また、公知の機能や構成に対する説明は、明瞭かつ簡潔にするために省略する。
本明細書全体を通して、「１実施形態」または「１つの実施形態」への言及は、実施形態に関連する特定の特徴、構造、または特性が、本発明の少なくとも1つの実施形態に含まれることを意味することを理解されたい。したがって、本明細書全体を通して様々な箇所に現れる「１実施形態においては」、または「１つの実施形態においては」は、必ずしも同じ実施形態を指すものではない。さらに、これらの特定の特徴、構造、または特性は、1つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。
本発明の各実施形態において、理解すべきなのは、下記各プロセスの番号の大きさは実行順序の前後を意味するものではなく、各プロセスの実行順序はその機能や内在的論理によって決定されるべきであり、本発明の実施形態の実施プロセスへのいかなる限定を構成するものではない。
本発明の実施形態は、パノラマ画像に基づいて３次元チャネル点群を生成することができる３次元チャネルの構築方法を提供する。本発明の実施形態は、３次元チャネル点群を生成する工程において、パノラマ歪みを考慮するだけでなく、チャネル対象自体の視点変化も考慮することにより、生成された３次元チャネル点群の品質を向上させることができる。
図1を参照すると、本発明の実施形態による３次元チャネルの構築方法は、以下のステップを含む。
ステップ11において、第１のパノラマ画像に対応する深度画像を生成する。
ここで、本発明の実施形態は、前記第１のパノラマ画像に対して単眼深度推定を行うことにより、深度画像を得ることができ、前記深度画像の解像度は前記第１のパノラマ画像の解像度と同じである。 具体的には、該ステップにおいて、単眼第１のパノラマ画像の深度予測分野で既知の深度学習方法、例えばBiFuse方法等を用いて、単眼深度推定を行うことができる。深度画像における各画素は、該画素の３次元空間における座標情報を含み、本発明の実施形態は、既知の方法を利用して３次元点群の可視化を行うことができる。
ステップ12において、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得し、各チャネル対象フレームは、順次環状に接続された4つの弧線であり、各弧線は大円上の1つの円弧線分である。
現実世界におけるチャネル対象のフレームは、通常、4本の順次環状に接続された直線であるが、第１のパノラマ画像においては、パノラマ歪みと視点変化の影響が存在するため、チャネル対象は、通常、順次環状に接続された4つの弧線であり、図2に示すパノラマ画像においては、ドアのフレームが直線ではなく、1つの曲線である可能性がある。各弧線は、単位球上では一つの大円上の１つの円弧線分である。ここで、前記大円は、球座標系の球面と球心を通る平面との交線である。
本発明の実施形態は、深層学習ネットワークモデルを設計し、第１のパノラマ画像を該ネットワークモデルに入力し、該ネットワークモデルを用いて第１のパノラマ画像における各チャネル対象のチャネル対象フレームを予測する。チャネル対象フレームは、順次環状に接続された4つの弧線であり、各弧線は大円上の1つの円弧線分である。
具体的には、本発明の実施形態は、予め訓練された深層学習ネットワークモデルを用いて、前記第１のパノラマ画像に対してチャネル対象検出を行うことにより、前記第１のパノラマ画像におけるチャネル対象フレームを取得し、具体的にはチャネル対象フレームの幾何学的特徴を出力することができ、例えば、チャネルの4つのコーナー点の位置情報(例えば、コーナー点の第１のパノラマ画像における２次元座標値(x、y))、及び、隣接する2つのコーナー点の単位球面における夾角θ(該夾角は、球心を頂点とし、球心から2つのコーナー点までの射線を辺とする角であり、該夾角は、隣接する2つのコーナー点の単位球面におけるラジアン情報を反映することができる)等である。ここで、任意の2つのコーナー点間の単位球面における夾角θを出力してもよい。
これらの幾何学的特徴を用いて、チャネル対象の湾曲した多角形フレームを生成することができる。 このようなチャネル対象の幾何学的特徴を予測するネットワークモデルは、第１のパノラマ画像における歪み問題を解決するだけでなく、対象自体に存在する視点変化問題も解決する。さらに、該ネットワークモデルは、幾何学的特徴に加えて、各チャネル対象の種別、例えば、ドア、窓、クローゼットなどを出力してもよい。
本発明の実施形態は、予め訓練サンプルセットを利用し、訓練により前記深層学習ネットワークモデルを得ることができる。 前記訓練サンプルセットは、複数のサンプルパノラマ画像及び各サンプルパノラマ画像にラベル付けされたチャネル対象フレームの幾何学的特徴を含み、前記幾何学的特徴は、各チャネル対象フレームの4つのコーナー点の位置座標及び隣接する2つのコーナー点の単位球面における夾角を含む。所望のネットワークモデルを得るために、モデルは、訓練サンプルセットを用いて教師あり訓練される。
なお、上記ステップ11とステップ12との間は、実行における順序要件はない。すなわち、ステップ11を先に実行してからステップ12を実行してもよいし、ステップ12を先に実行してからステップ11を実行してもよいし、あるいは、ステップ11とステップ12とを同時に実行してもよい。
ステップ13において、前記第１のパノラマ画像、前記チャネル対象フレーム及び前記深度画像に基づき、前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成する。
ここで、チャネル対象フレームの幾何学的特徴(4つのコーナー点及び隣接するコーナー点間の夾角)に基づき、チャネル対象フレームの第１のパノラマ画像における２次元点集合、即ちチャネル対象フレームの外輪郭の各画素点の第１のパノラマ画像における２次元座標を算出することができる。次に、チャネル対象フレームの2次元点集合から、対応する深度画像におけるチャネル対象フレームの位置を特定することができる。その後、深度画像における深度情報に基づき、チャネル対象フレーム内の各画素点の深度情報(３次元空間座標)を取得し、さらに前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成することができる。
以上のステップにより、本発明の実施形態は、第１のパノラマ画像におけるチャネル対象フレームを検出する時に、矩形検出フレームを採用せず、複数の弧線を含むチャネル対象フレームを導入し、該チャネル対象フレームは、パノラマ歪み及び視点変化の影響を同時に考慮するため、生成されたチャネル対象フレームを第１のパノラマ画像におけるチャネルの外輪郭と一致させることができ、シームレスなフィット効果を達成することにより、後続の該チャネル対象フレームに基づいて生成されるチャネル対象の３次元点群の品質を向上させることができる。
レーザ又は可視光はチャネル対象を透過することができるため、あるシーンにおいては、チャネル対象領域の深度情報ノイズが非常に深刻である可能性があり、最終的に生成された３次元チャネル点群の凹凸をもたらす恐れがある。３次元チャネル点群の品質をさらに向上させるために、本発明の実施形態は、３次元チャネル点群を生成する前に、さらにチャネル対象領域の深度情報を修復することができる。具体的には、図3に示すように、本発明の実施形態による別の３次元チャネルの構築方法は、以下のステップを含む。
ステップ31において、第１のパノラマ画像に対応する深度画像を生成する。
ステップ32において、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得し、ここで、各チャネル対象フレームは、順次環状に接続された4つの弧線であり、各弧線は大円上の1つの円弧線分である。
上記ステップ31及び32は、前のステップ11及びステップ12を参照することができ、ここでは説明を省略する。
ステップ33において、前記第１のパノラマ画像及びチャネル対象フレームを用いて、前記深度画像の深度情報を修復する。
ここで、本発明の１実施形態は、チャネル対象領域の深度情報ノイズを低減するために、深度画像の深度情報を修復することができる。
ステップ34において、前記第１のパノラマ画像、前記チャネル対象フレーム及び前記深度画像に基づき、前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成する。
ここで、上記ステップ33で深度画像を修復したことから、ステップ34においては、修復後の深度画像に基づき、第１のパノラマ画像におけるチャネル対象の３次元点群を生成する場合、チャネル対象の３次元点群の品質をさらに向上させることができる。
以下では、ステップ33における深度修復を詳細に説明する。図4に示すように、ステップ33は、以下のステップを含む。
ステップ331において、チャネル対象フレームの4つのコーナー点の位置座標及び隣接する2つのコーナー点の単位球面における夾角に基づき、前記チャネル対象フレームのパノラマ画像における１セットの２次元点集合を算出する。
ここで、チャネル対象フレームの幾何学的特徴(4つのコーナー点及び隣接するコーナー点間の夾角)に基づき、チャネル対象フレームの第１のパノラマ画像における２次元点集合(２次元画素点の集合)、即ちチャネル対象フレームの外輪郭の各画素点の第１のパノラマ画像における２次元座標を算出することができる。
例えば、第１のパノラマ画像において、あるチャネル対象フレームの4つのコーナー点の位置座標(x1、y1)、(x2、y2)、(x3、y3)、(x4、y4)、及び隣接する2つのコーナー点間の夾角(θ1、θ2、θ3、θ4)が既知であると仮定すると、該チャネル対象フレームの外輪郭の１セットの２次元点集合p(xn、yn)を算出することができる。 例えば、図5に示すように、隣接するコーナー点p1及びp2に対して、それらの第１のパノラマ画像における２次元座標がそれぞれ(x1、y1)及び(x2、y2)であり、該二つのコーナー点間の夾角がθ1であると仮定すると、以下の式に基づいて、該二つのコーナー点間の円弧線上の各画素点piの球座標系での３次元座標を算出することができる。
l1 = （x1/2w- 0.5）*2π
l2 = （x2/2w- 0.5）*2π
b1 = （0.5 - y1/w）*π
b2 = （0.5 - y2/w）*π
X1 = cos(l1)cos(b1)
X2 = cos(l2)cos(b2)
Y1 = sin(l1)cos(b1)
Y2 = sin(l2)cos(b2)
Z1 = sin(b1)
Z2 = sin(b2)
φi = arccos(X1* Xi + Y1 * Yi + Z1* Zi)
Xi = (X1 sin(φi -θ1) + X2 sin(φi ))/ sin(φi)
Yi = (Y1 sin(φi -θ1) + Y2 sin(φi ))/ sin(φi)
Zi = (Z1 sin(φi -θ1) + Z2 sin(φi ))/ sin(φi)
以上の式において、(l1、b1)、(l2、b2)は、それぞれコーナー点p1及びp2の球面での経緯度座標を示し、(X1、Y1、Z1)、(X2、Y2、Z2)は、それぞれコーナー点(x1、y1)及び(x2、y2)の球座標系での３次元座標を示し、φiは、画素点iとコーナー点(x1、y1)との間の夾角を示し、画素点piは、コーナー点(x1、y1)と(x2、y2)との間の円弧線上の1つの画素点であり、(Xi、Yi、Zi)は、画素点piの球座標系での３次元座標を示す。wは、第1のパノラマ画像の幅を示し、2wは、第1のパノラマ画像の長さを示す。通常、パノラマ画像は、アスペクト比が2:1の矩形画像である。
画素点piの球座標系での３次元座標を算出した後は、球座標系の３次元座標を第１のパノラマ画像における２次元座標に変換し、それにより隣接するコーナー点p1とp2との間の円弧線上の各画素点の第１のパノラマ画像における２次元座標を取得することができる。他の隣接コーナー点に対して同様の算出を行い、最終的に全ての円弧線上の画素点の第１のパノラマ画像における２次元座標、即ち前記チャネル対象フレームの第１のパノラマ画像における１セットの２次元点集合を取得することができる。
ステップ332において、前記チャネル対象フレームの２次元点集合の各２次元点の前記深度画像における３次元空間座標に基づき、前記２次元点集合に対応する３次元点集合を取得する。
ここで、前記チャネル対象フレームの２次元点集合に基づき、チャネル対象フレームの前記第１のパノラマ画像に対応する深度画像における位置を決定することができ、さらにチャネル対象フレームにおける各２次元点の前記深度画像における３次元空間座標(即ち、深度情報)を取得し、それにより１セットの３次元点の集合を取得し、この集合における各３次元点の座標は、該チャネル対象フレームの外輪郭の３次元空間における位置情報を示す。
ステップ333において、前記３次元点集合に基づき、一つの目標平面を近似する。
ここで、現実世界では、チャネル対象は、通常、1つの平面であり、上述した３次元点集合は理論的には同一平面上にあるはずである。本発明の実施形態は、チャネル対象フレームの外輪郭の３次元空間座標に基づき、1つの目標平面を近似することにより、該チャネル対象の現実世界における平面情報を反映することができる。具体的に近似する時は、３次元点集合における各点から目標平面までの距離の和値を、最適化目標とし、該和値を最小にする最適平面を探し、前記目標平面とする。前記目標平面内の各点の３次元空間座標は、即ち前記チャネル対象フレーム内部の深度情報である。例えば、Random Sample Consensus(RANSAC)などのアルゴリズムを用いて、AX'+BY'+CZ'=Dとなるように、３次元点集合の近似を行うことにより、目標平面を得ることができる。ここで、(X'、Y'、Z')は３次元空間座標であり、A、B、C、Dは、平面空間特性の定数である。図5において、P1'(X1'、Y1'、Z1')、P2'(X2'、Y2'、Z2')及びPi'(Xi'、Yi'、Zi')は、それぞれp1、p2及びpiの目標平面における３次元空間座標を示し、D1、D2及びDiは、それぞれp1、p2及びpiの深度情報、すなわち深度修復後の深度情報を示す。
ステップ334において、前記目標平面内の各第１の画素点、前記深度画像における対応する第２の画素点を決定し、且つ前記第１の画素点の３次元空間座標を用いて、前記第２の画素点の深度を修復する。
目標平面を取得した後、該目標平面における各画素点(説明しやすくするため、第１の画素点と称する)の、深度画像にマッピングした時の対応画素点(説明しやすくするため、第２の画素点と称する) を算出し、ここで、三角関数及び経緯マッピングを用いて第１の画素点に対応する第２の画素点を算出することができる。その後、第1の画素点の３次元空間座標(即ち、深度情報)を、対応する第２の画素点の深度情報とし、それにより深度画像における深度情報を修復する。
以上のステップにより、本発明の実施形態は、チャネル対象フレーム内の深度情報を修復し、それにより以後に生成されるチャネル対象の３次元点群の品質をさらに向上させることができる。
以上、1枚のパノラマ画像に関して、対応するチャネル対象の３次元点群を生成する方法を紹介したが、実際の応用においては、さらに目標空間の１セットのパノラマ画像(該１セットのパノラマ画像は撮影された目標空間のパノラマビデオから抽出された複数のパノラマ画像であってもよい)を撮影し、次に、その中の各パノラマ画像に対して、本発明の実施形態の以上の方法のステップを実行し、各パノラマ画像におけるチャネル対象の３次元点群を取得してもよい。この時、前記第１のパノラマ画像は、上記１セットのパノラマ画像におけるいずれかのパノラマ画像である。このように、前記目標空間の各パノラマ画像におけるチャネル対象の３次元点群に基づき、前記目標空間内のチャネル対象の３次元点群を生成することができ、例えば、従来技術の３次元点群の登録方法、例えば、ICP又はMultiway Registration方法等を用いて、３次元チャネル点群を生成することができる。
また、実際にパノラマ画像(又はパノラマビデオ)を撮影する時、パノラマ画像には、一般的に撮影者又は撮影装置(例えば、カメラ三脚等)の画像が存在し、パノラマ画像に対応する深度画像を生成する際には、撮影者又は撮影装置の画像はノイズとなり得る。上記対象の深度画像へのノイズの影響を低減するために、本発明の実施形態の以上の方法においては、例えば、上記ステップ11において、又は、上記ステップ31において、パノラマ画像に対応する深度画像を生成する工程において、さらに以下のステップにより、前記深度画像に対してノイズ除去処理を行うことができる。すなわち、パノラマ画像に対して予め設定された目標対象の検出を行い、前記予め設定された目標対象の位置座標を取得し、前記予め設定された目標対象は、具体的には、人及び/又は三脚等を含む。次に、前記予め設定された目標対象の位置座標に基づき、前記深度画像における対応する画素点の深度情報を削除し、即ち、対応する画素点の深度情報を0にする。以上の処理により、本発明の実施形態は、深度画像の品質を改善することができ、さらに以後に生成されるチャネル対象の３次元点群の品質を向上させることができる。
本発明の実施形態は、以上の方法に基づき、さらに上記方法を実施する装置を提供する。図6に示すように、本発明の実施形態による３次元チャネルの構築装置は、以下のモジュールを備える。
深度画像生成モジュール602は、第１のパノラマ画像に対応する深度画像を生成する。
チャネル対象検出モジュール604は、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像における、順次環状に接続された大円上の4つの円弧線分である、チャネル対象フレームを取得する。
チャネル点群生成モジュール606は、前記第１のパノラマ画像、前記チャネル対象フレーム及び前記深度画像に基づき、前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成する。
以上のモジュールにより、本発明の実施形態の３次元チャネルの構築装置は、複数の弧線を含むチャネル対象フレームを導入し、該チャネル対象フレームは、パノラマ歪み及び視点変化の影響を同時に考慮するため、生成されたチャネル対象フレームを第１のパノラマ画像におけるチャネルの外側輪郭と一致させることができ、それにより以後の該チャネル対象フレームに基づいて生成されたチャネル対象の３次元点群の品質を向上させることができる。
図7に示すように、１つの実現形態として、本発明の実施形態の前記深度画像生成モジュール602は、以下のモジュールを有する。
単眼深度推定モジュール6021は、前記第１のパノラマ画像に対して単眼深度推定を行い、前記第１のパノラマ画像と同一の解像度の深度画像を得る。
図8に示すように、本発明の実施形態の前記チャネル対象検出モジュール604は、以下のモジュールを有する。
モデル呼出モジュール6041は、予め訓練された深度学習ネットワークモデルを用いて、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得する。前記深度学習ネットワークモデルは訓練サンプルセットを用いて訓練されたものであり、前記訓練サンプルセットは複数のサンプルパノラマ画像及び各サンプルパノラマ画像にラベル付けされたチャネル対象フレームの幾何学的特徴を含み、前記幾何学的特徴は各チャネル対象フレームの4つのコーナー点の位置座標及び隣接する2つのコーナー点の単位球面での夾角を含む。
図9に示すように、本発明の実施形態の３次元チャネルの構築装置は、さらに、以下のモジュールを有する。
深度情報修復モジュール605は、前記チャネル点群生成モジュールが前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成する前に、前記第１のパノラマ画像及びチャネル対象フレームを用いて、前記深度画像の深度情報を修復する。
好ましくは、図10に示すように、本発明の１実施形態による深度情報修復モジュール605は、具体的には、以下のモジュールを含む。
第１の算出モジュール6051は、チャネル対象フレームの4つのコーナー点の位置座標及び隣接する2つのコーナー点の単位球面での夾角に基づき、前記チャネル対象フレームの第１のパノラマ画像における１セットの２次元点集合を算出する。
第１の取得モジュール6052は、前記チャネル対象フレームの２次元点集合における各２次元点の前記深度画像における３次元空間座標に基づき、前記２次元点集合に対応する３次元点集合を取得する。
第１の近似モジュール6053は、前記３次元点集合に基づき、1つの目標平面を近似する。
第１の決定モジュール6054は、前記目標平面内の各第１の画素点、前記深度画像内の対応する第２の画素点を決定し、且つ前記第１の画素点の３次元空間座標を用いて、前記第２の画素点の深度を修復する。
好ましくは、前記第１のパノラマ画像は、目標空間に対して撮影された１セットのパノラマ画像における任意のパノラマ画像である。図11に示すように、本発明の実施形態による別の３次元チャネルの構築装置は、以下のモジュールを含む。
目標空間チャネル生成モジュール607は、前記目標空間の各パノラマ画像におけるチャネル対象の３次元点群に基づき、前記目標空間におけるチャネル対象の３次元点群を生成する。
図12を参照すると、本発明の実施形態は、さらに３次元チャネルの構築装置のハードウェア構造ブロック図を提供し、図12に示すように、該３次元チャネルの構築装置1200は、プロセッサ1202と、コンピュータプログラム命令が格納されたメモリ1204と、を有する。
前記コンピュータプログラム命令が前記プロセッサによって実行されると、前記プロセッサ1202に以下のステップを実行させる。
ステップA：第１のパノラマ画像に対応する深度画像を生成する。
ステップB：前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像における、順次環状に接続された大円上の4つの円弧線分である、チャネル対象フレームを取得する。
ステップC：前記第１のパノラマ画像、前記チャネル対象フレーム及び前記深度画像に基づき、前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成する。
また、図12に示すように、３次元チャネルの構築装置1200は、ネットワークインタフェース1201と、入力装置1203と、ハードディスク1205と、表示装置1206とをさらに備える。
上述の各インターフェースとデバイス間は、バスアーキテクチャを介して相互接続され得る。 バスアーキテクチャは、任意の数の相互接続されたバス及びブリッジであってもよい。 プロセッサ1202によって具体的に表される1つまたは複数の中央処理装置(CPU)と、メモリ1204によって表される1つまたは複数のメモリの各種回路とが互いに接続される。バスアーキテクチャはまた、周辺機器、電圧調整器、及び電力管理回路など、様々な他の回路を互いに接続し得る。バスアーキテクチャは、これらの構成要素間の接続通信を可能にするために用いられることが理解できる。バスアーキテクチャは、データバスに加えて、電力バス、制御バス、及びステータス信号バスを含み、これらは当技術分野で公知されているため、本明細書では詳細に説明しない。
ネットワークインタフェース1201は、インターネットやローカルエリアネットワーク等のネットワークに接続可能であり、ネットワークからパノラマ画像等の情報を受信し、受信した情報をハードディスク1205に保存することができる。
入力装置1203は、オペレータによって入力された様々な命令を受信し、実行のためにプロセッサ1202に送信することができる。入力装置1203は、キーボードまたはクリックデバイス(例えば、マウス、トラックボール、タッチパッドまたはタッチスクリーンなど)を含むことができる。
前記表示装置1206は、プロセッサ1202が命令を実行して取得した結果を表示することができ、例えば、構築された３次元チャネルの可視化画像等を表示する。
前記メモリ1204は、オペレーティングシステムの実行に必要なプログラムとデータ、及びプロセッサ1202の算出工程における中間結果等のデータを格納する。
本発明の実施形態におけるメモリ1204は、揮発性メモリまたは不揮発性メモリであってもよく、あるいは揮発性メモリ及び不揮発性メモリの両方を含んでもよいことを理解されたい。不揮発性メモリは、読み出し専用メモリ(ROM)、プログラマブル読み出し専用メモリ(PROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、またはフラッシュメモリであってもよい。揮発性メモリは、外部キャッシュとして機能するランダムアクセスメモリ(RAM)であってもよい。本明細書における装置及び方法のメモリ1204は、限定はしないが、これら及び任意の他の適切なタイプのメモリを含むものとする。
いくつかの実施形態においては、メモリ1204は、オペレーティングシステム12041及びアプリケーションプログラム12042の要素、実行可能モジュールもしくはデータ構造、またはそれらのサブセットもしくは拡張セットを格納する。
ここで、オペレーティングシステム12041は、例えば、フレーム層、コアライブラリ層、駆動層等の各種システムプログラムを含み、各種基礎サービスの実現及びハードウェアに基づくタスク処理に用いられる。アプリケーションプログラム12042は、例えば、ブラウザ(Browser)等の各種アプリケーションプログラムを含み、様々なアプリケーションサービスの実現に用いられる。 本発明の実施形態の方法を実現するプログラムは、アプリケーションプログラム12042に含まれてもよい。
本発明の上述の実施形態によって開示される方法は、プロセッサ1202に適用されてもよく、またはプロセッサ1202によって実装されてもよい。 プロセッサ1202は、信号の処理能力を有する集積回路チップであってもよい。実装工程において、上記方法の各ステップは、プロセッサ1202におけるハードウェアの集積論理回路又はソフトウェア形式のコマンドによってなされてもよい。上記プロセッサ1202は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、プログラマブルゲートアレイ(FPGA)又は他のプログラマブルロジックデバイス、個別ゲート又はトランジスタロジックデバイス、個別ハードウェアコンポーネントであってもよく、本発明の実施形態に開示された各方法、ステップ及び論理ブロック図を実現又は実行することができる。汎用プロセッサは、マイクロプロセッサであってもよく、または、該プロセッサは、任意の従来のプロセッサなどであってもよい。本発明の実施形態に関連して開示された方法のステップは、ハードウェア復号プロセッサによって直接実行されてもよく、または復号プロセッサ内のハードウェア及びソフトウェアモジュールの組み合わせによって実行されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリ又は電気的消去可能プログラマブルメモリ、レジスタ等の当該分野で実証された記憶媒体に位置することができる。該メモリ記憶媒体は、メモリ1204に位置し、プロセッサ1202は、メモリ1204内の情報を読み取り、ハードウェアと組み合わせて上記方法のステップを完了する。
本明細書で説明する実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの組合せで実装されてもよい。ハードウェア実装の場合は、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本明細書に記載の機能を実行するように設計された他の電子ユニット、またはそれらの組合せで実装することができる。
ソフトウェア実装の場合は、本明細書に記載の技法は、本明細書に記載の機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実装されてもよい。ソフトウェアコードは、メモリに記憶され、プロセッサによって実行されてもよい。メモリは、プロセッサ内またはプロセッサの外部に実装されてもよい。
具体的には、前記コンピュータプログラムがプロセッサ1202により実行される時にさらに、前記第１のパノラマ画像に対して単眼深度推定を行い、前記第１のパノラマ画像の解像度と同じ解像度の深度画像を取得するステップを実現することができる。
具体的には、前記コンピュータプログラムがプロセッサ1202により実行される時にさらに、予め訓練された深度学習ネットワークモデルを用いて、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得し、前記深度学習ネットワークモデルは、訓練サンプルセットを用いて訓練されたものであり、前記訓練サンプルセットは、複数のサンプルパノラマ画像及び各サンプルパノラマ画像にラベル付けされたチャネル対象フレームの幾何学的特徴を含み、前記幾何学的特徴は、各チャネル対象フレームの4つのコーナー点の位置座標及び隣接する2つのコーナー点の単位球面における夾角を含むステップを実現することができる。
具体的には、前記コンピュータプログラムがプロセッサ1202により実行される時にさらに、前記第1のパノラマ画像及び前記チャネル対象フレームを用いて、前記深度画像の深度情報を修復するステップを実現することができる。
具体的には、前記コンピュータプログラムがプロセッサ1202により実行される時にさらに、チャネル対象フレームの4つのコーナー点の位置座標及び隣接する2つのコーナー点の単位球面での夾角に基づき、前記チャネル対象フレームの第１のパノラマ画像における１セットの２次元点集合を算出し、前記チャネル対象フレームの２次元点集合における各２次元点の前記深度画像における３次元空間座標に基づき、前記２次元点集合に対応する３次元点集合を取得し、前記３次元点集合に基づき、一つの目標平面を近似し、前記目標平面内の各第１の画素点、前記深度画像における対応する第２の画素点を決定し、且つ前記第１の画素点の３次元空間座標を用いて、前記第２の画素点の深度を修復するステップを実現することができる。
具体的には、前記第１のパノラマ画像が、目標空間に対して撮影された１セットのパノラマ画像における任意のパノラマ画像であり、具体的には、前記コンピュータプログラムがプロセッサ1202により実行される時にさらに、前記目標空間の各パノラマ画像におけるチャネル対象の３次元点群に基づいて、前記目標空間におけるチャネル対象の３次元点群を生成するステップを実現することができる。
当業者は、本明細書で開示された実施形態に関連して記載された各例のユニット及びアルゴリズムステップが、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアとの組合せで実装可能であることを認識できる。これらの機能がハードウェア又はソフトウェア形式で実行されるか否かは、技術的解決手段の特定の応用及び設計制約条件に依存する。当業者は、記載された機能を実装するために特定の適用例ごとに様々な方法を用いられるが、そのような実装形態は、本発明の範囲からの逸脱と見なされるべきではない。
容易かつ簡潔な記載のために、上述したシステム、装置及びユニットの具体的な動作プロセスについては、前述の方法の実施形態における対応するプロセスを参照可能なことは、当業者であれば、明確に理解することができるため、ここでは繰り返し説明しない。
本明細書で提供される実施形態において、開示される装置及び方法は、他の方法で実現してもよいことは理解できる。例えば、上記装置の実施形態は例示的なものに過ぎず、例えば、前記ユニットの分割は、一種の論理機能分割に過ぎず、実際の実装時には他の分割方式があってもよく、例えば、複数のユニット又はアセンブリを組み合わせるか、又は他のシステムに統合してもよく、あるいは、いくつかの特徴は無視してもよく、又は実行しなくてもよい。別の点では、図示または記載された相互間の結合または直接結合または通信接続は、何らかのインターフェース、デバイスまたはユニットを介した間接結合または通信接続であってもよく、電気的、機械的、または他の形式であってもよい。
前記分離部材として説明されたユニットは、物理的に分離されても分離されなくてもよく、ユニットとして表示された部材は、物理的ユニットであってもなくてもよく、即ち、一つの場所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際の必要に応じて、そのうちの一部又は全てのユニットを選択し、本発明の実施形態の解決手段の目的を実現してもよい。
また、本発明の各実施形態における各機能ユニットは、1つの処理ユニットに統合されてもよく、各ユニットが単独で物理的に存在してもよく、2つ又は2つ以上のユニットが1つのユニットに統合されてもよい。
前述の機能は、ソフトウェア機能ユニットの形態で実装され、別個の製品として販売または使用される場合は、コンピュータ読み取り可能な記憶媒体に格納されてもよい。このような理解から、本発明の技術的解決手段は、本質的に又は従来技術に寄与する部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で体現することができ、該コンピュータソフトウェア製品は、一つの記憶媒体に格納され、一台のコンピュータ装置(パーソナルコンピュータ、サーバ、又はネットワーク装置等であってもよい)に本発明の各実施形態に記載の方法の全部又は一部のステップを実行させるための複数のコマンドを含む。なお、前記記憶媒体は、Uディスク、リムーバブルハードディスク、ROM、RAM、磁気ディスク又は光ディスク等の各種のプログラムコードを格納可能な媒体を含む。
以上は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲はこれに限定されるものではなく、当業者であれば本発明に開示された技術的範囲内で容易に想到し得る変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は、請求項の保護範囲を基準とすべきである。

Claims (13)

  1. ３次元チャネルの構築装置が実行する３次元チャネルの構築方法であって、
    第１のパノラマ画像に対応する深度画像を生成するステップと、
    前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得するステップであって、各チャネル対象フレームは順次環状に接続された４つの弧状辺であり、各弧状辺は大円の円弧である、ステップと、
    前記第１のパノラマ画像、前記チャネル対象フレーム及び前記深度画像に基づき、前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成するステップと、を含むことを特徴とする、３次元チャネルの構築方法。
  2. 前記第１のパノラマ画像に対応する深度画像を生成するステップにおいて、
    前記第１のパノラマ画像に対して単眼深度推定を行い、前記第１のパノラマ画像の解像度と同一の解像度の深度画像を取得することを特徴とする、請求項１に記載の３次元チャネルの構築方法。
  3. 前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得するステップにおいて、
    予め訓練された深度学習ネットワークモデルを用いて、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得し、
    前記深度学習ネットワークモデルは、訓練サンプルセットを用いて訓練されたものであり、
    前記訓練サンプルセットは、複数のサンプルパノラマ画像、及び各サンプルパノラマ画像にラベル付けされたチャネル対象フレームの幾何学的特徴を含み、
    前記幾何学的特徴は、各チャネル対象フレームの４つのコーナー点の位置座標、及び隣接する２つのコーナー点の単位球面における夾角を含むことを特徴とする、請求項１に記載の３次元チャネルの構築方法。
  4. 前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成する前に、さらに
    前記第１のパノラマ画像及び前記チャネル対象フレームを用いて、前記深度画像の深度情報を修復するステップを含むことを特徴とする、請求項１に記載の３次元チャネルの構築方法。
  5. 前記第１のパノラマ画像及びチャネル対象フレームを用いて、前記深度画像の深度情報を修復するステップにおいて、
    チャネル対象フレームの４つのコーナー点の位置座標及び隣接する２つのコーナー点の単位球面における夾角に基づき、前記チャネル対象フレームの第１のパノラマ画像における２次元点集合を算出し、
    前記チャネル対象フレームの２次元点集合における各２次元点の前記深度画像における３次元空間座標に基づき、前記２次元点集合に対応する３次元点集合を取得し、
    前記３次元点集合に基づき、近似により一つの目標平面を取得し、
    前記目標平面内の各第１の画素点及び前記深度画像における対応する第２の画素点を決定し、前記第１の画素点の３次元空間座標を用いて、前記第２の画素点の深度を修復することを特徴とする、請求項４に記載の３次元チャネルの構築方法。
  6. 前記第１のパノラマ画像は、目標空間に対して撮影されたパノラマ画像群における任意のパノラマ画像であり、
    前記３次元チャネルの構築方法は、さらに
    前記目標空間の各パノラマ画像におけるチャネル対象の３次元点群に基づいて、前記目標空間におけるチャネル対象の３次元点群を生成するステップを含むことを特徴とする、請求項１乃至５のいずれか一項に記載の３次元チャネルの構築方法。
  7. 第１のパノラマ画像に対応する深度画像を生成する深度画像生成モジュールと、
    前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得するチャネル対象検出モジュールであって、各チャネル対象フレームは順次環状に接続された４つの弧状辺であり、各弧状辺は大円の円弧である、チャネル対象検出モジュールと、
    前記第１のパノラマ画像、前記チャネル対象フレーム及び前記深度画像に基づき、前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成するチャネル点群生成モジュールと、を含むことを特徴とする、３次元チャネルの構築装置。
  8. 前記深度画像生成モジュールは、
    前記第１のパノラマ画像に対して単眼深度推定を行い、前記第１のパノラマ画像と同一の解像度の深度画像を取得する単眼深度推定モジュールを含むことを特徴とする、請求項７に記載の３次元チャネルの構築装置。
  9. 前記チャネル対象検出モジュールは、
    予め訓練された深度学習ネットワークモデルを用いて、前記第１のパノラマ画像に対してチャネル対象検出を行い、前記第１のパノラマ画像におけるチャネル対象フレームを取得するモデル呼出モジュールを含み、
    前記深度学習ネットワークモデルは、訓練サンプルセットを用いて訓練されたものであり、
    前記訓練サンプルセットは、複数のサンプルパノラマ画像、及び各サンプルパノラマ画像にラベル付けされたチャネル対象フレームの幾何学的特徴を含み、
    前記幾何学的特徴は、各チャネル対象フレームの４つのコーナー点の位置座標、及び隣接する２つのコーナー点の単位球面における夾角を含むことを特徴とする、請求項７に記載の３次元チャネルの構築装置。
  10. 前記チャネル点群生成モジュールが前記第１のパノラマ画像におけるチャネル対象の３次元点群を生成する前に、前記第１のパノラマ画像及びチャネル対象フレームを用いて、前記深度画像の深度情報を修復する深度情報修復モジュール、をさらに含むことを特徴とする、請求項７に記載の３次元チャネルの構築装置。
  11. 前記深度情報修復モジュールは、
    チャネル対象フレームの４つのコーナー点の位置座標及び隣接する２つのコーナー点の単位球面における夾角に基づき、前記チャネル対象フレームの第１のパノラマ画像における２次元点集合を算出する第１の算出モジュールと、
    前記チャネル対象フレームの２次元点集合における各２次元点の前記深度画像における３次元空間座標に基づき、前記２次元点集合に対応する３次元点集合を取得する第１の取得モジュールと、
    前記３次元点集合に基づき、近似により１つの目標平面を取得する第１の近似モジュールと、
    前記目標平面内の各第１の画素点及び前記深度画像における対応する第２の画素点を決定し、前記第１の画素点の３次元空間座標を用いて、前記第２の画素点の深度を修復する第１の決定モジュールと、を含むことを特徴とする、請求項１０に記載の３次元チャネルの構築装置。
  12. 前記第１のパノラマ画像は、目標空間に対して撮影されたパノラマ画像群における任意のパノラマ画像であり、
    前記３次元チャネルの構築装置は、さらに
    前記目標空間の各パノラマ画像におけるチャネル対象の３次元点群に基づき、前記目標空間におけるチャネル対象の３次元点群を生成する目標空間チャネル生成モジュールを含むことを特徴とする、請求項７乃至１１のいずれか一項に記載の３次元チャネルの構築装置。
  13. コンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサにより実行される際に、請求項１乃至５のいずれか一項に記載の３次元チャネルの構築方法のステップを実行することを特徴とする、コンピュータ読み取り可能な記憶媒体。
JP2023003569A 2022-01-17 2023-01-13 ３次元チャネルの構築方法、装置及びコンピュータ読み取り可能な記憶媒体 Active JP7464154B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210048805.8 2022-01-17
CN202210048805.8A CN116485985A (zh) 2022-01-17 2022-01-17 三维通道的构造方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2023104902A JP2023104902A (ja) 2023-07-28
JP7464154B2 true JP7464154B2 (ja) 2024-04-09

Family

ID=87162198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023003569A Active JP7464154B2 (ja) 2022-01-17 2023-01-13 ３次元チャネルの構築方法、装置及びコンピュータ読み取り可能な記憶媒体

Country Status (3)

Country Link
US (1) US20230230316A1 (ja)
JP (1) JP7464154B2 (ja)
CN (1) CN116485985A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196282A1 (en) 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
JP2021149972A (ja) 2020-03-17 2021-09-27 株式会社リコー パノラマ画像においてランドマークを識別する方法、装置および記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196282A1 (en) 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
JP2021149972A (ja) 2020-03-17 2021-09-27 株式会社リコー パノラマ画像においてランドマークを識別する方法、装置および記憶媒体

Also Published As

Publication number Publication date
JP2023104902A (ja) 2023-07-28
CN116485985A (zh) 2023-07-25
US20230230316A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
Chen et al. Point-based multi-view stereo network
CN109671115B (zh) 使用深度值估计的图像处理方法和装置
KR102051889B1 (ko) 스마트 글래스에서 ２ｄ 데이터를 기반으로 ３ｄ 증강현실을 구현하는 방법 및 시스템
RU2642167C2 (ru) Устройство, способ и система для реконструкции 3d-модели объекта
Marzat et al. Real-time dense and accurate parallel optical flow using CUDA
KR20180026400A (ko) 3-차원 공간 모델링
US20190122414A1 (en) Method and apparatus for generating virtual object
Ma et al. An image matching optimization algorithm based on pixel shift clustering RANSAC
JP2009536499A (ja) ２次元画像から３次元オブジェクトを再構成するシステム及び方法
Park et al. Real-time 3D registration using GPU
CN111868738B (zh) 跨设备监控计算机视觉系统
CN113362446B (zh) 基于点云数据重建对象的方法及装置
Coleca et al. Self-organizing maps for hand and full body tracking
Fan et al. Real-time implementation of stereo vision based on optimised normalised cross-correlation and propagated search range on a gpu
Manni et al. Snap2cad: 3D indoor environment reconstruction for AR/VR applications using a smartphone device
Collins et al. Locally affine and planar deformable surface reconstruction from video
JP7464154B2 (ja) ３次元チャネルの構築方法、装置及びコンピュータ読み取り可能な記憶媒体
Vemulapati et al. Fslam: an efficient and accurate slam accelerator on soc fpgas
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
Guan et al. Multistage pixel-visibility learning with cost regularization for multiview stereo
US20230169755A1 (en) Apparatus and method with image processing
Gomes et al. Exploring RGB-D cameras for 3D reconstruction of cultural heritage: A new approach applied to Brazilian baroque sculptures
US11430150B2 (en) Method and apparatus for processing sparse points
JP2022082455A (ja) 三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体
Kim et al. Real-time stereo matching using extended binary weighted aggregation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R150 Certificate of patent or registration of utility model

Ref document number: 7464154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150