JP6854195B2 - 画像処理装置、画像処理方法および画像処理用プログラム - Google Patents

画像処理装置、画像処理方法および画像処理用プログラム Download PDF

Info

Publication number
JP6854195B2
JP6854195B2 JP2017114098A JP2017114098A JP6854195B2 JP 6854195 B2 JP6854195 B2 JP 6854195B2 JP 2017114098 A JP2017114098 A JP 2017114098A JP 2017114098 A JP2017114098 A JP 2017114098A JP 6854195 B2 JP6854195 B2 JP 6854195B2
Authority
JP
Japan
Prior art keywords
image
specific position
unit
shooting
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017114098A
Other languages
English (en)
Other versions
JP2018205264A (ja
Inventor
隆浩 古明地
隆浩 古明地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2017114098A priority Critical patent/JP6854195B2/ja
Priority to EP18173774.3A priority patent/EP3413266B1/en
Priority to US16/002,126 priority patent/US10650583B2/en
Publication of JP2018205264A publication Critical patent/JP2018205264A/ja
Application granted granted Critical
Publication of JP6854195B2 publication Critical patent/JP6854195B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、写真測量に用いる画像を処理する技術に関する。
航空写真測量では、飛行体から撮影した空撮写真に基づきオルソ画像(正投影画像)を作成する作業が行われる(例えば、非特許文献1を参照)。オルソ画像については、例えば特許文献1,2,3等に記載されている。
国土地理院ホームページ〈URL:http://www.gsi.go.jp/gazochosa/gazochosa40002.html〉
日本国特許第4138145号 日本国特許第4237868号 日本国特許第4313462号
空撮写真に基づくオルソ画像の作成では、飛行しながら連続撮影された複数枚の空撮画像を利用する。ここで、連続撮影される空撮画像は、時間軸上で隣接および近接する画像間において重複部分があるように撮影のタイミングが設定されている。そして、オルソ画像を構成する画素の情報は、極力複数の画像から取得し、それを混合(通常はアルファブレンド)している。これは、複数の空撮画像を用いることで画素情報を平均化し、画像情報の欠落や不正確さを補うためである。
空撮写真の撮影対象には、崖、法面、建物、橋梁等の立体的な構造を有するものがあるが、これらの対象は、視点位置(撮影位置)の違いによって影となり撮影できない部分が発生する。この視点の違いによって撮影できない部分が生じることをオクル―ジョンという。例えば、建物の側面等は、視点によっては撮影できず、オクル―ジョンの部分と成り易い。
航空写真測量に用いる画像の撮影は、飛行しながら行われるので、撮影対象が一部重複している複数の画像において、ある部分がオクル―ジョンとなっている画像とそうでない画像とが混在する可能性がある。この場合、オルソ画像の作成過程において、オクル―ジョンとなっている部分とそうでない部分の画像情報が混合されるので、その部分の画像情報が不明瞭になったり、実際の状態とは異なる状態となったりする不都合が生じる。この問題は、崖、法面、高層ビル、橋梁等といった立体的な対象が写ったオルソ画像を作成する際に問題となる。
このような背景において、本発明は、オルソ画像において、オクル―ジョンに起因して適切でない画像部分が生じるのを抑制する技術の提供を目的とする。
請求項1に記載の発明は、撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付部と、撮影対象の特定の位置の指定を受け付ける位置指定部と、前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択部とを備える画像処理装置である。
請求項2に記載の発明は、請求項1に記載の発明において、前記特定の位置に垂直な方向と、撮影時における前記特定の位置とカメラ位置とを結ぶ線とのなす角度が閾値以下である画像が前記画像選択部で選択されることを特徴とする。請求項3に記載の発明は、請求項1に記載の発明において、前記特定の位置に垂直な方向と鉛直な方向との間の方向と、撮影時における前記特定の位置とカメラ位置とを結ぶ線とのなす角度が閾値以下である画像が前記画像選択部で選択されることを特徴とする。
請求項4に記載の発明は、請求項1〜3のいずれか一項に記載の発明において、前記複数の画像に基づき前記撮影対象の点群データを作成する点群データ作成部を備え、前記特定の位置と撮影時のカメラ位置とを結ぶ線上に前記点群データが閾値以下の距離で存在しない画像が前記画像選択部で選択されることを特徴とする。
請求項5に記載の発明は、撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付ステップと、撮影対象の特定の位置の指定を受け付ける位置指定ステップと、前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択ステップとを備える画像処理方法である。
請求項6に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付部と、撮影対象の特定の位置の指定を受け付ける位置指定部と、前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択部として機能させる画像処理用プログラムである。
本発明は、主に航空写真測量を対象とするが、写真測量用の写真を移動体から撮影する技術に広く利用することができる。例えば、地上を移動する車両から撮影を行い、その際に得られた写真を用いて写真測量を用いる場合に利用することができる。
本発明によれば、オルソ画像において、オクル―ジョンに起因して適切でない画像部分が生じるのを抑制することができる。
実施形態の画像データ処理装置のブロック図である。 実施形態の原理を示す原理図である。 実施形態の原理を示す原理図である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 発明を利用しないで作成したオルソ画像を示す図面代用写真(A)と発明を利用して作成したオルソ画像を示す図面代用写真(B)である。
(構成)
図1に発明を利用した画像データ処理装置100のブロック図を示す。画像データ処理装置100は、コンピュータとしての機能を有し、CPU、メモリ、その他演算回路、インターフェース回路およびインターフェース機能を有している、
画像データ処理装置100は、専用のハードウェア、市販のPC(パーソナルコンピュータ)、ワークステーション、あるいはデータ処理サーバ等を利用して構成されている。その他の構成として、図1の機能の少なくとも一部を実現するための専用の拡張ボードを装着したPCやワークステーションにより画像データ処理装置100を構成することもできる。また、操作端末としてスマートフォンやタブレット等を用い、それを図1の機能を有するデータ処理サーバ等のコンピュータに回線接続したシステムとして、図1の構成を実現することもできる。
PCやワークステーション等の汎用の装置を用いる場合、図示する機能を実現するアプリケーションソフトウェアを当該コンピュータにインストールし、当該アプリケーションソフトウェアを起動することで画像データ処理装置100が実現される。
図1に示す各機能部の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部が混在していてもよい。
例えば、図示する各機能部は、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)に代表されるPLD(Programmable Logic Device)などの電子回路により構成される。
各機能部を専用のハードウェアで構成するのか、CPUにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。機能部を専用のハードウェアで構成することとソフトウェア的に構成することは、上述した違いはあるが、特定の機能を実現するという観点からは、等価である。
画像データ処理装置100は、画像データ受付部101、点群データ作成部102、TIN作成部103、DEM作成部104、撮影画像読み込み部105、座標指定部106、座標が指定された位置が写っている可能性のある画像の抽出部107、画像座標への変換部108、指定した座標が読み込んだ撮影画像の適切な範囲内にあるかの判定部109、指定位置の画像座標取得部110、最適条件を満たす画像の選択部111、画素情報取得部112、色情報付与部113、オルソ画像作成部114を有する。
画像データ受付部101は、航空機から撮影した空撮画像の画像データを受け付ける。航空機は、有人航空機でも無人航空機(UAV(ドローンとも称される))でもよい。空撮は、航空機に配置された地上の方向(通常は鉛直真下の方向)に向けたカメラによって行われる。撮影は、1秒毎や2秒毎といった特定に時間間隔で行われる。他の例として、動画を撮影し、この動画を構成するフレーム画像を切り出して空撮画像を得ることもできる。
航空機としてUAVを用いる場合、当該UAVは、空撮を行うカメラ、IMU(慣性航法装置)、GNSS位置特定装置、飛行計画や飛行ログを記憶する記憶部、無線通信装置および飛行制御装置、飛行ログ等のデータを外部機器との間でやり取りするインターフェースを備える。このUAVは、予め定めた飛行経路に沿って飛行し、飛行しながら航空測量の対象となる地域(オルソ画像の作成対象となる地域)の撮影を行う。撮影のタイミングは、時間軸上で隣接する画像が大部分で重複し、少しずつずれるように設定される。
記憶部に格納される飛行ログには、撮影時刻、撮影位置(三次元位置座標)、その際のUAVの姿勢(カメラの向き)が記憶される。飛行ログのデータは、飛行終了後に回収される。この回収された飛行ログのデータが画像データ処理装置100に送られる。
画像データ受付部101は、画像データに加えて、当該画像の撮影時刻、撮影位置、撮影時におけるUAVの姿勢(カメラの姿勢)に関するデータも受け付ける。
点群データ作成部102は、画像データ受付部101が受け付けた画像データに基づき、撮影対象の点群データを作成する。この例では、オルソ画像の対象となる上空から見た地表(建物等も含む)の点群データを作成する。
点群データは、対象物を点の集合として捉え、各点の三次元座標を求めたデータである。画像データに基づく点群データの算出に関しては、例えば特開2013−186816号公報に記載された技術を利用できる。点群データは、地図上の座標を記述するための座標系(地図座標系)で記述される。例えば、点群データの各点の座標値は、緯度,経度,標高で記述される。
以下、点群データを求める方法について簡単に説明する。まず、撮影対象が重複する異なる位置から撮影した画像を2枚選択する。なお、3枚以上の画像を対象として点群データを作成することも可能であるが、ここでは説明を簡素にするために、ステレオ画像として2枚を選択する場合を説明する。
重複する対象が写った視点(撮影位置)の異なる2枚の画像(ステレオ画像)を得たら、各画像に写った対象からの特徴点の抽出を行い、更に2枚の画像間における特徴点の対応関係の特定を行う。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
2枚の画像間における特徴点の対応関係の特定は、テンプレートマッチング等の公知のマッチング技術が利用可能であるが、例えば特開2013−178656号公報に記載された方法等を利用してもよい。
また、この2枚の画像の撮影時それぞれにおけるカメラの外部標定要素(位置と姿勢)を算出する。カメラの外部標定要素を算出する方法は複数あるが、ここでは位置決めマーカを利用する。
この場合、撮影対象となる地上には、TS(トータルステーション)等の測量装置によって位置を特定した位置決めマーカが多数配置される。位置決めマーカは、一枚の画像中に複数(3つ以上)が写るように配置される。そして、1枚の画像中に写った3つ以上のマーカの位置の情報に基づき、後方交会法によりカメラの当該画像の撮影時における外部標定要素(位置と姿勢)を求める。
こうして、上述したステレオ画像を構成する第1の画像と第2の画像の撮影時における外部標定要素を算出する。外部標定要素を算出したら、前方交会法を用いて第1の画像と第2の画像の間で対応関係が特定された特徴点それぞれの三次元座標を算出する。
この作業を時間軸上で隣接または近接する2枚1組の空撮画像において行うことで、撮影対象の点群データを得る。以上の点群データを得る処理が点群データ作成部102において行われる。
TIN作成部103は、点群データ作成部102が作成した点群データに基づき、TINを作成する。TIN(triangulated irregular network)は、モデル化の対象となる対象物を三角形の集合で立体的に表現したものである。TINは、不整三角形網、不整三角網、不規則三角網とも呼ばれる。点群データからTINを作成する手法やソフトウェアは各種のものがあり、それを用いて点群データからTINを作成する。点群データからTINを作成する技術については、例えば特開2014−35702号公報に記載されている。
DEM作成部104は、上記のTINに基づき、DEM(Digital Elevation Model)(数値標高モデル)を作成する。DEMは、地表面を格子状に区切り、格子を構成する正方形の中心点の標高値を規定したデータである。TINからDEMを作成する手法やソフトウェアは各種のものがあり、それを用いてTINからDEMを作成する。この場合、DEMは、建物を含んだ地表面の位置と標高のデータを関連付けたものとして得られる。
撮影画像読み込み部105は、オルソ画像を作成するための候補となる空撮画像を読み込む(取得する)。なお、読み込む空撮画像は、一般には数十〜数百枚以上となる。
座標指定部106は、オルソ画像の対象となる領域中における位置の地上座標を指定する位置指定部として機能する。この座標の指定は、オルソ画像を構成する画素の全てに対して順次行われる。指定される座標の単位は、例えば緯度,経度,標高が利用される。ここで指定する座標は、DEM作成部104が作成したDEMに基づき地表面(建物であれば、その上面(屋上面))の位置の座標を指定する。指定される位置の範囲は、必要とする分解能に応じて選択される。指定される位置の範囲(面積)が小さい程、最終的なデータの分解能は高くなるが、演算の負担は増大する。他方で、指定される位置の範囲(面積)が大きいと演算の負担は減少するが、得られるデータの分解能は低下する。
座標が指定された位置が写っている可能性のある画像の抽出部107では、指定された位置に対応するDEM上の点が写っている画像を、撮影画像読み込み部105が読み込んだ画像の中から「座標が指定された位置が写っている可能性のある画像」として抽出する。
抽出部107で抽出された画像に、指定された座標の位置が必ず写っているとは限らない。これは、抽出部107で行われる画像の抽出が、密度が均一でない点群データのしかも場合によっては近似する点を手掛かりとして行われるので、実は抽出部107で抽出された画像において、指定された座標の位置がオクル―ジョンとなっており、写っていない場合もあるからである。この意味で、抽出部107を「座標が指定された位置が写っている可能性のある画像の抽出部」と称している。
画像座標への変換部108は、座標指定部106で指定された座標(指定位置の座標)を空撮画像中における画面上の座標(画面中における位置)に変換する。以下、変換部108における処理について説明する。この処理では、当該画像を撮影時におけるカメラの外部標定要素に基づき、上記指定された位置の当該画像の画面上での位置(座標)を算出する。
以下、算出方法について説明する。まず、抽出部107で抽出された画像の一つを考える。ここで、当該画像の撮影時におけるカメラの外部標定要素は、点群データ作成部102における点群データの作成時に算出済であり、既知である。また、当該画像の画面中における点群データの各点とマーカの位置(X−Y座標)も既知である。よって、上記の外部標定要素を用い、当該画像の視点(カメラ位置)と指定位置とを結ぶ方向線を設定し、この方向線と当該画像の画面との交点を求めることで、上記指定された位置の当該画像の画面上での位置(X−Y座標))が算出される。
指定した座標が、読み込んだ撮影画像の適切な範囲内にあるかの判定部109は、座標指定部106で指定した座標の点が、抽出部107で抽出した画像中において適切な範囲内にあるか否かを判定する。
この判定には、以下の意味がある。一般に空撮画像の画面範囲の全てが画素情報として利用可能な訳ではない。例えば、画面の周辺近くは、カメラのレンズ系の歪等の影響で歪みがあり、オルソ画像の作成用には適していない。そこで、指定された点がオルソ画像作成用として適切な情報が取得できる画面内の範囲にあるか否かの判定が、符号109の判定部で行われる。判定条件は、利用するカメラのレンズ系の特性や求められる精度等に鑑みて設定される。
指定位置の画像座標取得部110は、符号109の判定部で適切な範囲内と判定された位置(座標指定部106で指定された位置)の画像中での位置を選択する。このデータは、画像座標への変換部108で算出されている。
最適条件を満たす画像の選択部111は、オルソ画像の作成用として最適条件を満たす画像の選択を行う。この処理の詳細については後述する。
画素情報取得部112は、最適条件を満たす画像から、座標指定部106で指定され、変換部107で変換された特定の位置に対応する画素の情報を取得する。ここで画素の情報は、当該画素の色情報である。色情報としてはRGB強度が利用される。画素は、カラー画像を構成する最小単位の範囲が基本であるが、ある程度の範囲を最小単位の画素領域として把握し、この画素情報を取得してもよい。この場合、当該画素領域を構成する複数の画素に係る情報の平均値が取得される。
色情報付与部113は、画素情報取得部112で取得された画素の色情報をDEM作成部104が作成したDEMに付与する。ここで、対象となる画像が複数ある場合、各画像の画素情報をアルファブレンドする。アルファブレンドは、複数の画像を重ねる際に、透明な色の重なりを考慮して最終的な色を決定する処理である(例えば、Computer Graphics Volume 18, Number 3 July 1984 p253-259参照)。
アルファブレンドでは、複数の画像パーツを係数(α値)に基づいて合成する。アルファブレンドは、特に電子ゲームの画像描画において、別々に描かれた背景画像パーツとキャラクタ画像パーツとを合成する場合等で使われる。また、文字画像パーツ等のアンチエイリアスにも使われている。合成処理では、アルファチャンネルと呼ばれる透過したい画素情報を定義した補助データを用意し、それに基づいて重ね合わせた画像において透過したい領域の透過状態の設定を行う。アルファブレンドを行うための手法やアルゴリズムには、各種のものが知られている。
オルソ画像作成部114は、画素の色情報が付与されたDEMに基づき、オルソ画像を作成する。オルソ画像の作成は、公知の方法で行われる。オルソ画像の作成については、例えば特許第4138145号、特許第4237868号、特許第4313462号等に記載されている。オルソ画像作成用のアプリケーションソフトは入手可能であり、それを用いてもよい。
(処理の一例)
以下、画像データ処理装置100の動作の一例を説明する。図4は、処理の手順の一例を示すフローチャートである。図4の処理を実行するプログラムは、適当な記憶領域に記憶され、画像データ処理装置100において実行される。このプログラムをサーバ等に記憶させ、そこから提供を受ける形態も可能である。また。このプログラムを適当な記憶媒体に記憶させ、そこから提供を受ける形態も可能である。これらは、図5の処理の場合も同じである。
処理が開始されると、まず飛行するUAVから撮影した空撮画像のデータが画像データ受付部101で受け付けられる(ステップS101)。ここでは、飛行しながら空中から対象となる領域の地表を特定の時間間隔で連続撮影した際の画像データを取得する。
次に、ステップS101で受け付けた空撮画像のデータに基づき、対象となる地表の点群データを作成する(ステップS102)。この処理は、点群データ作成部102において行われる。点群データを得たら、当該点群データに基づき、対象物のTINを作成する(ステップS103)。この処理は、TIN作成部103で行われる。TINを作成したら、DEM作成部104において当該TINに基づくDEMの作成を行う(ステップS104)。
DEMを作成したら、以降のステップで処理を行う対象となる画像データ(ステップS101で取得した画像データ)の読み込みを撮影画像読み込み部105で行う(ステップS105)。
そして、ステップS104で作成したDEM上の座標(地上座標)の指定が行われる(ステップS106)。そして、ステップS106で指定された座標を含む可能性のある画像がステップS105で読み込まれた画像の中から抽出される(ステップS107)。この処理は、座標が指定された位置が写っている可能性のある画像の抽出部107において行われる。
次に、ステップS106で指定された座標をステップS107で抽出された画像における座標(撮影画面上のX−Y位置)に変換する(ステップS108)。この処理は、画像座標への変換部108で行われる。ここで、ステップS107で抽出された画像が複数の場合は、そのそれぞれにおいて、上記の座標変換を行う。なお、この時点で抽出されている画像中に指定位置が必ず写っている保障はないが、ここでは写っているものとして処理を進める。これは、ステップS109,ステップS110,ステップS111においても同じである。
例えば、この段階で指定されているDEM上の座標(ステップS106で指定された座標)に対応する点(仮に点Pjとする)が写った空撮画像が7枚あるとする。この場合、この7枚の空撮画像それぞれにおける点Pjの画像上(画面上)における座標を求める処理がステップS108で行われる。
次に、ステップS106で指定された座標の位置(指定位置)がステップS105で読み込んだ画像(空撮画像)における適切な範囲にあるか否かが判定される(ステップS109)。この処理は、指定した座標が撮影画像中の適切な範囲にあるかの判定部109で行われる。例えば、上記の具体例でいうと、7枚の空撮画像それぞれにおける点Pjの対応位置を調べ、その画面中での位置がオルソ画像の利用に適した範囲であるか否かの判定が行われる。
ここで、判定の対象となる指定位置(ステップS106で指定された位置)の全てが画像中の適切な範囲にない場合、ステップS106に戻り、新たな座標の指定が行われる。一部の指定位置についてステップS109の判定がNOとなった場合、該当する画像はこの段階で除外され、ステップS110以降における処理の対象としない。この場合、判定がYESとなった指定位置を含む画像がステップS110以降における処理の対象となる。
次に、ステップS109の判定がYESとなった指定位置の画像座標を取得する(ステップS110)。この処理は、指定位置の画像座標取得部110で行われる。この処理では、ステップS109の判定がYESとなった指定位置の情報、すなわち当該指定位置の画像中での座標(X−Y座標)が取得される。
例えば、ステップS106でDEM上の座標として指定位置Pjが選択され、ステップS107で指定位置Pjが写っている可能性のある画像が7枚抽出され、更にこの7枚の画像において、ステップS109の処理において指定位置Pjが適切な範囲にあると推定される画像が6枚あったとする。この場合、ステップS110において、この6枚の画像における位置Pjの画像座標値(X−Y座標値)が選択される。
次に、ステップS110で指定位置の画面座標を取得した対象となる画像の中から、最適条件を満たす画像の選択を行う(ステップS111)。この処理は、最適条件を満たす画像の選択部111で行われる。
この段階で選択されている画像は、ステップS106で指定された指定位置が画像中にあると推定される画像であり、必ずしも指定位置の画素情報が画像中にあるとは限らない。これは、図2のP4,5の位置からPiの画素情報が得られない状況の様な場合があるからである。そこで、ステップS111の処理を行うことで、確実に目的とする位置の画素情報が得られる可能性の高い画像をこの段階で処理の対象となっている画像の中から抽出する。
以下、ステップS111で行われる処理の詳細を説明する。この処理では、指定位置が水平面である場合に鉛直上方から撮影した画像を優先的に選択し、また指定位置が傾斜面である場合に当該傾斜面に垂直な方向から撮影した画像を優先的に選択する。図5には、ステップS111の処理の一例が示されている。
この処理では、まず指定位置(座標指定部106が指定した座標位置)の法線を算出する(ステップS201)。この処理では、まず選択された位置を中心とした5×5画素や9×9画素程度の大きさに対応する領域の点群が選択される。そして、ステップS102で作成した点群データの中から、この選択された領域に存在する点群を抽出し、更にこの抽出された点群にフィッティングする面の方程式を求め、更にその面の法線を求める。
次に、ステップS202の判定を行う。この判定では、まずステップS201で算出した指定位置の法線の延在方向と鉛直方向とがなす角度を算出する。そしてこのなす角度が予め定めた閾値(例えば10°)以下であるか否かが判定される。この判定がYESの場合は、当該法線が鉛直または鉛直と見なせると判定してステップS203に進み、そうでない場合はステップS204に進む。この際の閾値は、小さく設定すると正面から見た画像が優先的に選択されるので、正射影変換を行う際の精度の点で有利であるが、他方で利用できる画像が少なくなるので、画素情報の精度の点ではマイナスとなる。これに対して、上記の閾値を大きく設定すると、上記と反対の傾向となる。通常は、上記の閾値は5°〜20°の範囲から選択される。
例えば、UAVの飛行速度が遅く、また撮影間隔が短い場合、重複する画像が多くなるので、上記の閾値を小さく設定しても弊害は小さく、質の高いオルソ画像が得られる。逆に、諸条件により重複する空撮画像の数が少ない場合、上記の閾値を小さく設定すると、利用できる画像が少なくなり、その弊害が顕在化する。よって、UAVの飛行速度、撮影間隔、要求されるオルソ画像の質のバランスを考慮し、上記の閾値が設定される。
ステップS203では、この段階で対象となっている画像の撮影時のカメラ位置(視点の位置:撮影位置)と指定位置とを結ぶ直線と、鉛直線とがなす角度が予め定めた閾値以下(例えば、10°以下)の画像を選択する。ここで、閾値の値は一例であり、諸条件を勘案して他の値を採用することも可能である。
ステップS204では、この段階で着目されている指定位置の法線(ステップS201で算出した法線)の方向から撮影された画像を選択する。
具体的には、この段階で対象となっている画像の撮影時のカメラ位置(視点の位置)と指定位置とを結ぶ直線と、上記指定位置の法線とがなす角度が予め定めた閾値以下の画像を選択する。ここで、角度の閾値としては例えば10°が選択される。勿論、この値は一例であり、諸条件を勘案して他の値を採用することも可能である。
ステップS203およびS204の後、ステップS203またはS204で選択された画像中から、画像を撮影したカメラ位置と指定位置との間に遮蔽物がない画像の選択が行われる(ステップS205)。
ステップS205の処理では、まず対象となる画像において、カメラ位置と指定位置との間を結ぶ直線を設定する。そして、この直線との最短距離が予め定めた閾値以下の点がステップS102で作成した点群データの中にあるのか否か、が調べられる。閾値は例えば5cm〜2m程度が設定される。
ここで、該当する点がある場合、処理対象の画像は選択されず、該当する点がない場合、処理対象の画像が「カメラ位置と指定位置との間に遮蔽物がない画像」として選択される。ステップS205の処理を行うことで、指定位置がオクルージョンとなる画像が排除される。以上の図5の処理が図4のステップS111において行われる。
例えば、図2のPiが指定位置である場合、ステップS202はYESとなり、ステップS203でP3が選択される。この際、閾値の条件によっては、P2やP4が撮影位置の画像が選択される可能性もある。ただし、ステップS205でP4が撮影位置の画像が排除される。
また、図3のPiが指定位置である場合、ステップS202はNOとなり、ステップS204に進み、ステップS204でP1が選択される。この際、閾値の条件が緩ければ、P2が選択される可能性もある。
ステップS205の処理において、以下の処理を行ってもよい。この処理ではステップS102で作成した点群データを用いて指定位置を遮蔽する物体の存在(例えば、図2の建物11)を判定している。ところで、画像から点群データを得る場合、実際には存在しないノイズとなる誤点群が得られる場合がある。この誤点群により本来は指定位置が写っているのに採用されない画像が発生する可能性がある。以下、この問題を抑制する技術について説明する。
まず、ステップS205の処理において遮蔽物と判定された点が検出されたとする。この際、当該点が周囲から「孤立している」、「時間軸上で撮影時刻が隣接する画像では抽出されていない」、「点の数が閾値以下」の少なくとも一つの条件を満たす場合、その点が演算上のノイズであり、障害とならない(遮蔽物を構成しない)誤点群と判定する。
図4に戻り、ステップS111の後、ステップS111で選択された画像における指定位置の画素情報(色情報)を取得する(ステップS112)。この処理は、画素情報取得部112で行われる。なお、ステップS111において、該当する画像が選択できない場合、この該当する座標部分は黒色で塗りつぶされ、画素情報の抜け部分として処理される。なおこの際、ステップS106の前段階に戻り、閾値の設定を緩くしてステップS111で選択される画像を得るための処理を再度行ってもよい。
次に、ステップS104で作成したDEMにステップS112で取得した画素情報(画素の色情報)を付与する(ステップS113)。この処理は、色情情報付与部113で行われる。
次に、画素情報が取得されていない画素があるか否か、が判定される(ステップS114)。画素情報が取得されていない画素があれば、ステップS106の前段階に戻り、別の位置における新たな画素情報の取得のための処理が行なわれる。画素情報が取得されていない画素がなければ、画素情報(色情報)が付与されたDEMに基づくオルソ画像の作成を行い(ステップS115)、処理を終了する。オルソ画像の作成は、オルソ画像作成部114で行われる。
(優位性)
ステップS202またはステップS203の処理を行うことで、対象となる位置に対して極力垂直な方向から撮影した画像が選択され、そこから当該位置の画素情報が取得される。そのため、より精度の高い画素情報が得られる。特に対象が地表の持ち上がった部分12の斜面13(図3参照)である場合に、ステップS201→ステップS203→ステップS204の処理を行うことで、斜面に垂直な方向から撮影した画像が選択される。このため、斜面13の画素情報をより精度よく得ることができる。例えば土木工事における法面の施工に係る測量では、法面の画像情報を正確に得ることが重要となるが、この場合、上記の法面となる斜面をなるべく垂直な方向(正面の方向)から見た画像を取得することが重要となる。
空撮画像からオルソ画像を作成する場合、色情報の精度や分解能を確保する関係で複数枚の画像から画素の色情報を取得する。この際、オクル―ジョンとなり目的とする画素情報が得られない画像がそこに含まれる場合がある。例えば、図2の撮影位置P4とP5は、建物11がある関係で位置Piがオクル―ジョンとなりPiの画素情報を有さない。
画像データ処理装置100を用いた処理では、候補となる画像から上記のP4やP5の位置から撮影した画像が選択されず、確実に目的とする位置が取得されえている画像を選択するステップS205の処理を行う。この処理により、複数の画像から得られる画素情報をアルファブレンドした場合に生じるノイズ(必要でない色情報)が減り、最終的に得られるオルソ画像の精度と分解能を高くできる。
図6(A)は、図4の処理において、ステップS111の処理を行わなかった場合に得られたオルソ画像を示す図面代用写真である。図6(B)は、図5の処理において、ステップS111の処理を行った場合に得られたオルソ画像を示す図面代用写真である。
図6(A)のオルソ画像では、右上に写っているショベルカーは、アームが正確に写っておらず2重にブレて見えている。これは、ステップS113の処理において、斜め方向からの画素情報がアルファブレンドされ、オルソ画像には不要なアーム側面の画素情報が紛れ込んだためである。
これに対して、図6(B)のオルソ画像では、当該ショベルカーのアームの画像は明瞭に写っている。これは、当該アーム付近の画素情報を取得するための画像の選択(ステップS202)において、アームを鉛直方向またはそれに近い方向から見た画像の選択が行われ、アーム側面の情報(これは斜め方向から見える画像でありオルソ画像には不要)の取得が抑えられたからである。
また、図6(A)および(B)の右下には、建物が写っているが、図6(A)では、当該建物の縁が不明瞭であり、ノイズ成分が視認できる。これに対して、図6(B)は、当該建物の縁が明瞭に視認できる。これも、本来オルソ画像には不要な当該建物の壁側面および屋上面の情報が図6(A)では取り込まれていることに起因する。
また、上記の建物に隣接して駐車場があるが、図6(A)では、当該駐車場の建物に隣接する部分の画像に建物の屋上および壁の画像情報が混ざり込み、不明瞭な画像となっている。これに対して、図6(B)の該当部分は、駐車場として明確に視認できる画像となっている。これは、本来オルソ画像には不要な当該建物の屋上の情報が図6(A)では取り込まれているからである。これは図2の状態で撮影位置P4から位置Pi方向の画像情報として建物11の屋上の画素情報が取得され、それが撮影位置P2,P3からの撮影画像から得た位置Piの画素情報にアルファブレンドされた場合と同様な現象が生じていると解釈できる。
これに対して、図6(B)では鉛直上方またはそれに近い方向から見た画像を選択すること、さらに図2のP4やP5に対応する撮影位置からの画像が選択されないようにすることで、建物の屋上および壁側面の情報の混入が排除され、図6(A)で生じた駐車場の不明瞭な画像は生じていない。
また、図6(A)および(B)には、複数の人影が写っている。この人影に着目すると、その画像は図6(A)では不明瞭であり、図6(B)では明瞭である。すなわち、図6(B)では、直立している人間の頭部と肩の部分を鉛直上方から見た様子が正確に画像として表示されているが、対応する図6(A)の部分の見ると、人として認識できる画像とは言い難い。なお、図6(A)と(B)とでは、人影の人数と位置に差異があるが、それは基となる空撮画像の撮影タイミングの違いに起因する。
また、車の画像も図6(A)に比較すると、図6(B)の方が鮮明であり、余計なノイズ成分が少ないことが判る。これも図5のステップS202およびステップS203の処理によって、対象面をなるべく正面から見た画像を選択することによる歪みのない画像の取得、更にステップS205の処理による対象となる位置がオクルージョンとなっている画像をアルファブレンドに用いないことによるノイズ成分を排除した効果である。
(その他)
画像の撮影時におけるカメラの光軸と、鉛直線とがなす角度が予め定めた閾値以下(例えば、10°以下)の画像を選択する態様も可能である。UAVの飛行時における姿勢が安定しない場合や旋回時にカメラの姿勢は初期設定状態である鉛直下方向からぶれる場合がある。この場合、上記処理を行うことで指定位置を鉛直上方から見た画像が優先的に選択される。
各画像には、撮影時におけるUAVの姿勢のデータが関連付けされているので、UAVの姿勢に基づき、上記の処理が可能である。
ステップ201〜S204の処理の代わりに下記の処理を行い、次いでステップS205の処理を行ってもよい。この処理では、指定位置の法線と鉛直方向との中間の角度方向を基準として画像を選択する。
この処理では、指定位置をPi、Piに垂直な方向の仰角(水平面からの角度)をθ1、鉛直方向の仰角θ2=90°として、Piから見て(θ1+θ2)/2の方向に延在する方向線1を求める。他方において、Piとカメラ位置とを結ぶ方向線2を求める。そして、方向線1と方向線2のなす角度を計算し、その値が閾値(例えば、10°)以下の画像を選択する。この処理によれば、Piの位置が斜面であっても当該斜面をなるべく鉛直上方に近い角度から撮影した画像が優先的に選択される。また、Piの法線が鉛直に近い場合でも鉛直上方に近い角度から撮影した画像が選択される。
例えば、図3の斜面13の傾斜がきつく、その法線と鉛直方向とのなす角度が45°以上の場合、ステップS203の処理では、指定位置Piから見て低い角度(仰角45°以下)から撮影した画像が選択候補となり、適切な画像が選択されない場合が有り得る。
上記の方法によれば、斜面13の傾斜がきつくてもなるべく鉛直に近い方向から撮影した画像が選択される。例えば、図3のPiから見たPiの法線の仰角θ1が40°であるとする。この場合、Piから見た鉛直方向の仰角θ2は90°だから、Piから見て仰角が(θ1+θ2)/2=65°の方向から撮影した画像が選択される。このため、斜面13を鉛直上方に近い角度から撮影した画像が選択される。
θ1とθ2の中間の角度方向は、その中央に限定されない。すなわち、上記の例では、指定位置(例えば、図2,3のPi)から見たカメラ位置の方向を決める式((θ1+θ2)/n)としてn=2の場合が示されているが、n=1.5〜4程度の範囲からnの値を選択可能である。例えば、指定位置の法線の仰角が小さい場合(鉛直方向とのなす角度が大きい場合)にnの値を小さくすることで、斜面正面からの撮影と鉛直上方からの撮影の相反する要件のバランスを調整することができる。なお、nは90°>(θ1+θ2)/nとなるように選択される。
10…地表面、11…建物、12…地表面の盛り上がった部分、13…斜面。

Claims (6)

  1. 撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付部と、
    撮影対象の特定の位置の指定を受け付ける位置指定部と、
    前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択部と
    を備える画像処理装置。
  2. 前記特定の位置に垂直な方向と、撮影時における前記特定の位置とカメラ位置とを結ぶ線とのなす角度が閾値以下である画像が前記画像選択部で選択される請求項1に記載の画像処理装置。
  3. 前記特定の位置に垂直な方向と鉛直な方向との間の方向と、撮影時における前記特定の位置とカメラ位置とを結ぶ線とのなす角度が閾値以下である画像が前記画像選択部で選択される請求項1に記載の画像処理装置。
  4. 前記複数の画像に基づき前記撮影対象の点群データを作成する点群データ作成部を備え、
    前記特定の位置と撮影時のカメラ位置とを結ぶ線上に前記点群データが閾値以下の距離で存在しない画像が前記画像選択部で選択される請求項1または2〜3に記載の画像処理装置。
  5. 撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付ステップと、
    撮影対象の特定の位置の指定を受け付ける位置指定ステップと、
    前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択ステップと
    を備える画像処理方法。
  6. コンピュータに読み取らせて実行させるプログラムであって、
    コンピュータを
    撮影対象を異なる位置から撮影した複数の画像の画像データを受け付ける画像データ受付部と、
    撮影対象の特定の位置の指定を受け付ける位置指定部と、
    前記特定の位置に垂直な方向に基づき、前記複数の画像の中から前記特定の位置の画素情報を取得するための画像を選択する画像選択部と
    して機能させる画像処理用プログラム。
JP2017114098A 2017-06-09 2017-06-09 画像処理装置、画像処理方法および画像処理用プログラム Active JP6854195B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017114098A JP6854195B2 (ja) 2017-06-09 2017-06-09 画像処理装置、画像処理方法および画像処理用プログラム
EP18173774.3A EP3413266B1 (en) 2017-06-09 2018-05-23 Image processing device, image processing method, and image processing program
US16/002,126 US10650583B2 (en) 2017-06-09 2018-06-07 Image processing device, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017114098A JP6854195B2 (ja) 2017-06-09 2017-06-09 画像処理装置、画像処理方法および画像処理用プログラム

Publications (2)

Publication Number Publication Date
JP2018205264A JP2018205264A (ja) 2018-12-27
JP6854195B2 true JP6854195B2 (ja) 2021-04-07

Family

ID=62235872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017114098A Active JP6854195B2 (ja) 2017-06-09 2017-06-09 画像処理装置、画像処理方法および画像処理用プログラム

Country Status (3)

Country Link
US (1) US10650583B2 (ja)
EP (1) EP3413266B1 (ja)
JP (1) JP6854195B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018073878A1 (ja) * 2016-10-17 2018-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 3次元形状推定方法、3次元形状推定システム、飛行体、プログラム、及び記録媒体
JP6936828B2 (ja) * 2019-03-25 2021-09-22 東邦瓦斯株式会社 工事図面作成支援システム
JP7331605B2 (ja) * 2019-10-07 2023-08-23 富士通株式会社 撮影画像処理装置、撮影画像処理方法及び撮影画像処理プログラム
CN111080536A (zh) * 2019-11-13 2020-04-28 武汉华中天经通视科技有限公司 一种机载激光雷达点云的自适应滤波方法
JP7463158B2 (ja) * 2020-03-26 2024-04-08 住友重機械工業株式会社 作業管理システム
CN115690773B (zh) * 2022-12-26 2023-04-07 武汉天际航信息科技股份有限公司 Dem分区及重建方法、计算设备和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249600B1 (en) * 1997-11-07 2001-06-19 The Trustees Of Columbia University In The City Of New York System and method for generation of a three-dimensional solid model
JP4138145B2 (ja) 1999-04-07 2008-08-20 株式会社トプコン 画像形成装置
JP4313462B2 (ja) 1999-04-26 2009-08-12 株式会社トプコン 画像形成装置
JP4237868B2 (ja) 1999-05-10 2009-03-11 株式会社トプコン 画像形成システム
JP4944462B2 (ja) * 2006-03-14 2012-05-30 株式会社トプコン 地理データ収集装置
JP5955028B2 (ja) 2012-02-28 2016-07-20 株式会社トプコン 画像処理装置、画像処理方法および画像処理用のプログラム
JP5832341B2 (ja) 2012-03-09 2015-12-16 株式会社トプコン 動画処理装置、動画処理方法および動画処理用のプログラム
JP5963353B2 (ja) 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
ES2693785T3 (es) * 2013-01-21 2018-12-13 Vricon Systems Aktiebolag Procedimiento y disposición para desarrollar un modelo tridimensional de un entorno
US9171402B1 (en) * 2013-06-19 2015-10-27 Google Inc. View-dependent textures for interactive geographic information system
JP6296444B2 (ja) * 2014-01-30 2018-03-20 国際航業株式会社 点群画像による図化方法、及び点群画像による図化装置
JP5775632B2 (ja) * 2014-09-16 2015-09-09 株式会社トプコン 飛行体の飛行制御システム
US10134177B2 (en) * 2015-01-15 2018-11-20 Samsung Electronics Co., Ltd. Method and apparatus for adjusting face pose
DK3223191T3 (da) * 2016-03-23 2021-08-16 Leica Geosystems Ag Skabelse af en 3d-bymodel ud fra skrå billeddannelses- og lidardata

Also Published As

Publication number Publication date
US10650583B2 (en) 2020-05-12
JP2018205264A (ja) 2018-12-27
US20180357778A1 (en) 2018-12-13
EP3413266A1 (en) 2018-12-12
EP3413266B1 (en) 2024-02-21

Similar Documents

Publication Publication Date Title
JP6854195B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
US8116530B2 (en) Map change detection device, map change detection method, and program
US9460554B2 (en) Aerial video annotation
CN113329182A (zh) 一种图像处理方法、无人机及系统
JP6510247B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
US11689808B2 (en) Image synthesis system
JP5363752B2 (ja) 路面標示地図生成方法
CN109255808B (zh) 基于倾斜影像的建筑物纹理提取方法和装置
CN112634370A (zh) 一种无人机打点方法、装置、设备及存储介质
JP5535025B2 (ja) 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
JP2012137933A (ja) 被写地物の位置特定方法とそのプログラム、及び表示地図、並びに撮影位置取得方法とそのプログラム、及び撮影位置取得装置
KR102262120B1 (ko) 드론 경로 제공 방법
WO2020199153A1 (zh) 基于全景影像的正射影像生成方法
CN112469967A (zh) 一种测绘系统、测绘方法、装置、设备及介质
JP2006284224A (ja) 地形の三次元データ生成方法、地形変化評価方法及び地形変化評価システム
CN114299236A (zh) 倾斜摄影测量空地融合实景建模方法、装置、产品及介质
JP3808833B2 (ja) 空中写真測量方法
EP2015277A2 (en) Systems and methods for side angle radar training and simulation
CN109712249B (zh) 地理要素增强现实方法及装置
CN104539926B (zh) 距离确定方法和设备
JP6296444B2 (ja) 点群画像による図化方法、及び点群画像による図化装置
JP2014126537A (ja) 座標補正装置、座標補正プログラム、及び座標補正方法
CN112106112A (zh) 一种点云融合方法、设备、系统及存储介质
JP4035018B2 (ja) 形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210315

R150 Certificate of patent or registration of utility model

Ref document number: 6854195

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250