JP7033859B2 - ジオアーク(geoarc)を使用したビークルの二次元位置の特定 - Google Patents
ジオアーク(geoarc)を使用したビークルの二次元位置の特定 Download PDFInfo
- Publication number
- JP7033859B2 JP7033859B2 JP2017131819A JP2017131819A JP7033859B2 JP 7033859 B2 JP7033859 B2 JP 7033859B2 JP 2017131819 A JP2017131819 A JP 2017131819A JP 2017131819 A JP2017131819 A JP 2017131819A JP 7033859 B2 JP7033859 B2 JP 7033859B2
- Authority
- JP
- Japan
- Prior art keywords
- geoarc
- features
- reference representation
- vehicle
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Automation & Control Theory (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
全ての目的において、以下の関連特許:「Image Registration of Multimodal Data Using 3D-Geoarcs」に対し2014年10月7日にYuri Owechko氏に発行された米国特許第8855442号明細書全体が本書に組み込まれる。
物理的表面構成のセンサ画像と、物理的表面構成の基準表現とを関連付けするジオアークを使用して、画像センサを有するビークルの位置を探す、または位置を特定するためのシステム及び方法の様々な実施形態を以下に説明し、関連の図面に示す。特別の定めのない限り、ビークル位置特定システム、及び/又はその様々な構成要素は、本書で説明され、例示され、かつ/又は本書に組み込まれた、構造体、構成要素、機能、及び/又は変形例のうちの少なくとも1つを包含しうるが、それらを包含することが必要な訳ではない。さらに、本教示に関連して本書に記載され、例示され、及び/または組み込まれた、構造体、構成要素、機能、及び/または変形例は、他のビークル位置探索システムに含まれ得るが、それらに含まれることが必要というわけではない。様々な実施形態の下記の説明は、本質的に単なる例示であり、本開示、その応用または用途を限定することを意図するものではない。加えて、実施形態によって提供される利点は、後述のように、本質的に例示的であり、すべての実施形態が同じ利点または同程度の利点を提供するわけではない。
本書で使用するジオアークは、物理的表面構成が地理的な性質のものであるか否かに関わらず、決定された画角と、物理的表面構成の基準表現内の選択された地物のペアを関連付けする数学モデルを指すものである。本書で使用される例示のジオアークは、空間内の2つの点を共通の画角または画角範囲で見た点の軌跡を表す、表面又は体積を有する自己交差またはスピンドルトーラスである。
下記の節では、例示的な空間的位置特定システム及び/又は方法の選択された態様が記載される。これらの節の実施例は、例示を目的としており、本開示の範囲全体を限定するものと解釈すべきではない。各節は、1つ以上の個々の発明、及び/または、状況から得られるあるいは関連する情報、機能、及び/または構造体を含み得る。
ジオアーク位置特定システム(GALS)において具現化されうる空間的な位置特定を行う方法のこの実施例1では、画像を使用して、画像内の検出された地物間に見られる角度を使用して、たとえばカメラ等の画像センサを有するビークルの位置を見つけることができる。この角度は、たとえば画像内の地物の位置に対する視野等のカメラのパラメータで決定する。画像内の2つの地物間の距離は、2つの地物間に見られる角度と直接の関係がある。マッピングされた地物のペアに測定された角度を割り当てることで、ワールド座標系内の可能性のあるカメラの(x、y、z)座標位置が、図1に示すように、自己交差、またはスピンドルトーラス100の表面に限定される。トーラス100は、物理的表面構成106の少なくとも一部の基準表現内の識別された2つの識別された地物102、104の位置から生成される。基準表現は、物理的表面構成の記憶された基準マップまたはモデル、あるいは物理的表面構成の一部に記憶されうる、又は基準表現は、物理的表面構成、又は物理的表面構成の一部の記憶された基準画像でありうる。この実施例では、基準表現に含まれる物理的表面構成106の一部、及び物理的表面構成106の一部のセンサ画像は、第1の地物102を形成する角を有する建築物108を含む。建築物108は、第2の地物104を有する例えば別の建築物又は広い土地等の構造体110に支持される。上記物理的構造体は、共通の物理的構造体の構成要素であってもなくてもよい。
図2に、スピンドルトーラスの形態のジオアーク200の第2の実施例を示す。ジオアーク200は、センサ画像、及び基面208に配置された、たとえば地球の表面等の物理的表面構成206の少なくとも一部の基準表現内の識別された2つの地物202、204の位置から生成される。この状況は、空中プラットフォーム、または基面208から周知の高さHだけ上にある他のビークル211に配置されたカメラ210に対応する。ジオアーク200は、地物202、204の間の線の中心点に基点212を有する座標系によって画定される。このトーラスベースの座標系では、x´軸は地物202、204の間の線上にあり、y´軸は基面208において水平にx´軸に対して垂直に延び、z´軸は基面から垂直に離間して延びる。
例えばセンサ114又はカメラ112、210、306又は412等の画像センサを有するビークル116等のビークルの空間的位置を決定する方法600の一例を図6に示す。図6は、例示的な方法における空間的位置特定システムの一実施形態によって実施される工程を示すフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法600の様々なステップを後述し、図6に示すが、ステップは必ずしもすべて実行する必要はなく、場合によっては、図示した順序とは異なる順序で実行されることもある。本方法600は、特に、ビークルの位置を特定する他の技術が利用可能でないときに有用である。
Sloc=Nc=mv(mv-1)/2の値を有し、
Ncは、基準表現のピクセルにおいて重複するジオアークの数であり、mvは、カメラ画像300内の検出された有効な地物302、304の数であり、例えば基準マップ402にあり、正確に割り当てられた測定された地物のペアの角度θを有する地物のペアの1つである地物404、406である。ランダムな位置424においてNcジオアークが偶然重複する確率は、ジオアークの面積の分数の積である。
上記式において、L2はL×Lマップの面積であり、Anはジオアークnの面積である。Pcは、Ncとともに急速に減少し、位置特定信号SlocはNcとともに直線的に、また有効な地物の数とともに二次的に増加する。
幾つかの実施例では、マップ地物データベースを区分にセグメント化することにより、計算負荷が削減され、マルチコアプロセッサを使用することにより効率的な平行化が可能になる。図7に、例えばカメラ306、412等の画像センサを有する、例えばビークル116、411等のビークルの空間的な位置特定を行う、全体的に600で示す空間的な位置特定を行う方法600の一例として、GALS方法700の一例を示す。図7は、例示的な方法の空間的位置特定システムの一実施形態によって実施される工程を説明するフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法700の様々なステップが後述され、図7に示されているが、ステップは必ずしもすべて実行される必要がある訳ではなく、場合によっては、図示した順序とは異なる順序で実行されることもある。方法600と同様に、ビークルの位置を特定する他の技術が利用可能でないときに、方法700が有用である。
この実施例は、体積要素(ボクセル)の三次元空間において定義される基準表現を使用する例示的な空間的位置特定システム及び方法である(図1及び10参照)。図10は、例示的な方法の空間的位置特定システムの一実施形態によって実施される工程を説明するフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法1000の様々なステップが後述され、図10に示されているが、ステップは必ずしもすべて実施される必要がある訳ではなく、場合によっては、図示された順序とは異なる順序で実施されることもある。GPS又は他の位置特定システムが利用可能でないときに、この方法及び対応する空間的位置特定システムを使用することができる。
この実施例は、体積要素(ボクセル)の三次元空間で定義される基準表現と、プロセスにおける不確実性を表す厚さを有するジオアークとを使用する、例示的な空間的位置特定システム及び方法である(図1、10、11及び12参照)。
Sloc=Nc=mv(mv-1)/2
の値を有することになり、
上記式において、mvは、カメラ画像内の有効な検出された地物の数、例えば、三次元マップ内にあり、正確に割り当てられた測定された地物のペアの角度を有する地物のペアの1つである地物の数である。ランダムな位置においてNc三次元ジオアークが偶然重複する確率は、三次元ジオアークの体積の分数の積である。
上記式において、L3はL×L×L基準マップの体積であり、Vnは三次元ジオアークnの体積である。Pcは、Ncとともに急速に減少し、位置特定信号SlocはNcとともに直線的に、また有効な地物の数とともに二次的に増加する。三次元ジオアークシステム及び方法はしたがって、地物の検出、マッチング、及び角度の割り当てにおいて大幅な誤差があるときに、信頼性の高い結果を生む。したがって、ほんのわずかの三次元ジオアークが有効である場合、上記誤差に起因して、位置特定信号Slocがノイズ信号Snoiseを上回るため、許容範囲である。
回転行列は、以下の通りである。
次に、結果として得られた(x´、y´、z´)座標系の点に適用される内外試験を適用することができる。
この実施例は、物理的表面構成の基準表現の一例である地物基準マップを生成する工程の一例である(図13参照)。図13は、例示的な方法の空間的位置特定システムの一実施形態によって実施される工程を説明するフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法1300の様々なステップが後述され、図13に示されているが、ステップは必ずしもすべて実行される必要がある訳ではなく、場合によっては、図示した順序とは異なる順序で実施されることもある。
この実施例は、三次元座標空間に位置する物理的表面構成に対して、ビークルの空間的な位置特定を行うための例示の方法である(図14参照)。図14は、例示的な方法の空間的位置特定システムの一実施形態によって実施される工程を説明するフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法1400の様々なステップが後述され、図14に示されているが、ステップは必ずしも全て実行する必要がある訳ではなく、場合によっては、図示された順序とは異なる順序で実施することもある。
図15に示すように、この実施例は、本開示の態様に係るデータ処理システム1500である。この実施例では、データ処理システム1500は、空間的位置特定システム1501及び関連方法の態様を実装するのに適切な例示的なデータ処理システムである。より具体的には、幾つかの実施例では、データ処理システム(例えば、スマートフォン、タブレット、パーソナルコンピュータ)の実施形態であるデバイスは、上述の方法の幾つか、あるいは全てを実施しうる。例えば、ビークルは、常駐カメラ112によって取得された画像を使用して、ビークルの位置を決定するための常駐データ処理システムを有しうる。
図16に示したように、この実施例はネットワーク、コンピュータネットワーク、ネットワークシステム、分散ネットワークとも称される、一般的なネットワークデータ処理システム1600であり、この実施例の態様は、空間的位置特定システムの一または複数の例示的な実施形態に含まれうる。例えば、上述したように、サーバデータ処理システム内のコンピュータ可読記憶媒体に記憶されているプログラムコードは、ネットワークを介してサーバからデータ処理システム1600にダウンロードされうる。あるいは、データ処理システム1600´は、画像センサを有するビークルに常駐しうる。図16は1つの実行態様の例示として提供されるものであり、異なる実施形態が実行される環境について、いかなる限定をも示唆することを意図していないことを理解されたい。図示されている環境に多数の修正を行うことが可能である。
図17は、位置を取得しているビークル1704に対する、一又は複数の位置を探しているビークル1702の位置を特定するためのビークル群位置特定システム1700の一実施形態を示すブロック図である。位置を取得しているビークル1704は、空間的位置特定システム1706を含む。空間的位置特定システム1706は、上述した方法論を使用する空間的位置特定システム1501、1601の一例であってよく、この場合、空間的位置特定システム1706は、画像センサ1710から物理的表面構成1708の画像を受信するように構成されている。物理的表面構成は例えば、これも上述した物理的表面1712であってよい。任意選択的に、ビークル1704の位置を特定する他の技術、例えばGPSを使用することも可能である。
この実施例は、物理的表面構成に対するビークルの空間的位置を特定する例示的な方法である(図18参照)。図18は、例示的な方法の空間的位置特定システムの一実施形態で実施される工程を示すフロー図であり、本方法の完全なプロセス又はすべてのステップを列挙しているわけではない。方法1800の様々なステップが後述され、図18に示されているが、ステップは必ずしもすべて実施される必要がある訳ではなく、場合によっては、図示した順序とは異なる順序で実施されることもある。
この節では、方法、システム、及び装置のさらなる態様及び特徴を説明するが、これらは、限定されずに一連の段落として提示され、一連の段落の一部または全部は、明確性及び効率性のために英数字で指定され得る。これらの段落の各々は、一又は複数の他の段落と、及び/又は任意の適した方法における、関連出願参照により組み込まれる資料を含む本出願の他の部分からの開示と、組み合わせることができる。以下の段落の幾つかは、明確に他の段落に言及し、更に他の段落を限定することにより、非限定的に、好適な組み合わせの幾つかの例を提供するものである。
物理的表面構成から既知の距離だけ離隔した位置からの物理的表面構成の一部の画像を、ビークルによって支持されたセンサから取得することと、
取得された画像内の地物を識別することと、
取得された画像内の識別された地物を、物理的表面構成の一部の基準表現内の識別された地物と関連づけることと、
基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択することと、
取得された画像内の各選択された地物のペアに対して、
センサからの地物のペア間の画角を決定することと、
決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成することと、
物理的表面構成の一部から既知の距離だけ離間して配置されたジオアークの選択部分を決定することと、
選択された地物のペアに対するジオアークの選択部分が重複する位置を識別することと
を含む方法。
物理的表面構成から既知の距離だけ離隔した位置から、物理的表面構成の一部の画像を生成するように構成されたセンサと、
センサに通信可能に接続されたデータ処理システムと
を備え、前記データ処理システムは、
物理的表面構成の一部の基準表現と、基準表現内の識別された地物とを記憶し、
取得された画像内の地物を識別し、
取得された画像内の識別された地物を、基準表現内の識別された地物に関連づけし、
基準表現内の対応する識別された地物のペアを有する、取得した画像内の複数の地物のペアを選択し、
取得した画像内の各選択された地物のペアに対し、
センサからの地物のペア間の画角を決定し、
決定された画角と、基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
物理的表面構成の一部から既知の距離だけ離間して配置されたジオアークの選択部分を決定し、
選択された地物のペアに対するジオアークの選択部分が重複する位置を識別するように構成されている、ビークル。
コンピュータプログラム製品で具現化されるコンピュータ可読プログラム命令を有する少なくとも1つのコンピュータ可読記憶媒体を備え、コンピュータ可読プログラム命令は、プロセッサによって実行されたときに、プロセッサを、
物理的表面構成の一部の基準表現と、基準表現内の識別された地物とを記憶し、
物理的表面構成から既知の距離だけ離隔した位置から、ビークルによって支持されたセンサによって生成された、物理的表面構成の一部の画像を受信して記憶し、
受信した画像内の地物を識別し、
取得された画像内の識別された地物を、基準表現内の識別された地物に関連付けし、
基準表現内の対応する識別された地物のペアを有する受信した画像内の複数の地物のペアを選択し、
受信した画像内の各選択された地物のペアに対して、
センサからの地物のペア間の画角を決定し、
決定された画角と、基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
物理的表面構成の一部から既知の距離だけ離間して配置されたジオアークの選択部分を決定し、
選択された地物のペアに対するジオアークの選択部分が重複する位置を識別するように構成する、コンピュータプログラム製品。
物理的表面構成から離隔した位置からの物理的表面構成の一部の画像を、ビークルによって支持されたセンサから取得することと、
取得された画像内の地物を識別することと、
取得した画像内の識別された地物を、物理的表面構成の一部の、体積要素(ボクセル)の三次元空間において定義される三次元基準表現内の識別された地物と関連づけることと、
基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択することと、
取得された画像内の各選択された地物のペアに対して、
センサからの地物のペア間の画角を決定することと、
決定された画角と、基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成することと、
生成されたジオアークに含まれるボクセルを識別することと、
各識別されたボクセルに対し、ボクセルが含まれる生成されたジオアークの数を集計することと、
識別された一又は複数のどのボクセルが、最も数多いジオアーク内に含まれているかを決定することとを含む方法。
物理的表面構成から離隔した位置から物理的表面構成の一部の画像を生成するように構成されたセンサと、
センサに通信可能に接続されたデータ処理システムと
を備え、前記データ処理システムは、
既知の距離だけ物理的表面構成から離隔した位置からの物理的表面構成の一部の画像をセンサから取得し、
取得した画像内の地物を識別し、
取得した画像内の識別された地物を、物理的表面構成の一部の、体積要素(ボクセル)の三次元空間内に定義された三次元基準表現内の識別された地物と関連づけし、
基準表現内の対応する識別された地物のペアを有する、取得した画像内の複数の地物のペアを選択するように構成され、
取得した画像内の各選択された地物のペアに対し、
センサからの地物のペア間の画角を決定し、
決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
生成されたジオアーク内に含まれるボクセルを識別し、
各識別されたボクセルに対し、ボクセルが含まれる生成されたジオアークの数を集計し、
識別された一又は複数のどのボクセルが、最も数多いジオアーク内に含まれているかを決定するように構成されている、ビークル。
コンピュータプログラム製品で具現化されるコンピュータ可読プログラム命令を有する少なくとも1つのコンピュータ可読記憶媒体を備え、コンピュータ可読プログラム命令は、プロセッサによって実行されたときに、プロセッサを、
物理的表面構成から離隔した位置からの物理的表面構成の一部の画像を、ビークルによって支持されたセンサから取得し、
取得された画像内の地物を識別し、
取得した画像内の識別された地物を、物理的表面構成の一部の、体積要素(ボクセル)の三次元空間において定義される三次元基準表現内の識別された地物と関連づけし、
基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択し、
取得された画像内の各選択された地物のペアに対して、
センサからの地物のペア間の画角を決定し、
決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
生成されたジオアークに含まれるボクセルを識別し、
各識別されたボクセルに対し、ボクセルが含まれる生成されたジオアークの数を集計し、
識別された一又は複数のどのボクセルが、最も数多いジオアーク内に含まれているかを決定するように構成する、コンピュータプログラム製品。
物理的表面構成から既知の距離だけ離隔した位置からの物理的表面構成の一部の画像を、ビークルによって支持されたセンサから取得することと、
取得された画像内の地物を識別することと、
取得された画像内の識別された地物を、物理的表面構成の一部の基準表現内の識別された地物と関連づけすることと、
基準表現内の対応する識別された地物のペアを有する、取得された画像内の複数の地物のペアを選択することと、
取得された画像内の各選択された地物のペアに対して、
センサからの地物のペア間の画角を決定することと、
決定された画角と、基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成することと、
物理的表面構成の一部から既知の距離だけ離間して配置されたジオアークの選択部分を決定することと、
選択された地物のペアに対するジオアークの選択部分が重複する位置を識別することとを含む方法。
物理的表面構成の一部から既知の距離だけ離隔した位置から、物理的表面構成の一部の画像を生成するように構成されたセンサと、
センサに通信可能に接続されたデータ処理システムと
を備え、データ処理システムは、
物理的表面構成の一部の基準表現と、基準表現内の識別された地物とを記憶し、
取得された画像内の地物を識別し、
取得された画像内の識別された地物を、基準表現内の識別された地物に関連づけし、
基準表現内の対応する識別された地物のペアを有する、取得した画像内の複数の地物のペアを選択し、
取得した画像内の各選択された地物のペアに対し、
センサからの地物のペア間の画角を決定し、
決定された画角と、基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
物理的表面構成の一部から既知の距離だけ離間して配置されたジオアークの選択部分を決定し、
選択された地物のペアに対するジオアークの選択部分が重複する位置を識別するように構成されている、ビークル。
コンピュータプログラム製品で具現化されるコンピュータ可読プログラム命令を有する少なくとも1つのコンピュータ可読記憶媒体を備え、コンピュータ可読プログラム命令は、プロセッサによって実行されたときに、プロセッサを、
物理的表面構成の一部の基準表現と、基準表現内の識別された地物とを記憶し、
物理的表面構成から既知の距離だけ離隔した位置から、ビークルによって支持されたセンサによって生成された、物理的表面構成の一部の画像を受信して記憶し、
受信した画像内の地物を識別し、
取得された画像内の識別された地物を、基準表現内の識別された地物に関連付けし、
基準表現内の対応する識別された地物のペアを有する、受信した画像内の複数の地物のペアを選択し、
受信した画像内の各選択された地物のペアに対して、
センサからの地物のペア間の画角を決定し、
決定された画角と基準表現内の選択された地物のペアとを関連付けする三次元ジオアークを生成し、
物理的表面構成の一部から既知の距離だけ離間して配置されたジオアークの選択部分を決定し、
選択された地物のペアに対するジオアークの選択部分が重複する位置を識別するように構成する、コンピュータプログラム製品。
本書に記載された空間的位置特定システム、方法、及び装置の種々の実施形態は、画像センサと支持しているビークルの位置を特定するための周知の解決法よりも優れた幾つかの利点を提供するものである。本書に記載された空間的位置特定システム、方法、及び装置の実施形態は、受動的なカメラベースの方法を使用しているが、既存の受動的なカメラの方法とは異なり、三次元モデルの推定、一連の地物に対する高い精度の一致の検索、画像のゆがみ、又はシーン内のオブジェクトの認識を必要としない。代わりに、例えば画像内のエッジ、角、ピーク等の単純な地物間の相対角度のみが測定され、検出された地物のうちの小さい部分集合を、例えば二次元又は三次元オブジェクト又はシーン等の物理的表面構成に対して、正確な二次元又は三次元空間的及び地球の位置特定のためのマッピングされた地物のデータベースとマッチさせる必要があるだけである。空間的位置特定システム、方法、及び装置の特性により、画像又は一連の地物をマップとマッチさせようと試みる既存の画像ベースの方法よりもさらに正確で強固、及び効率的なものとなる。したがって、本書に記載される例示的な実施形態は、GPSに対応していないデバイス、あるいはGPSが利用可能でない位置にあるデバイスに特に有用である。しかしながら、本書で説明されているすべての実施形態が、同じ利点または同一程度の利点を提供する訳ではない。
上述の開示は、個別の有用性を備えた複数の個々の発明を包括しうる。これらの発明の各々は、その好適な形態(複数可)で開示されているが、本書で開示され例示されているそれらの具体的な実施形態は、数多くの変形例が可能であることから、限定的な意味で捉えるべきものではない。本書で使用されている限り、セクション見出しは構成上の目的のものに過ぎず、なんら本発明の請求の範囲を特徴付けるものではない。本発明の主題は、本書で開示されている様々な要素、特徴、機能、及び/または特性の、新規かつ非自明な組み合わせ及び部分的組み合わせのすべてを含む。下記の特許請求の範囲は、新規かつ非自明と見なされる、ある組み合わせ及び部分的組み合わせを特に指し示すものである。特徴、機能、要素、及び/または特性のその他の組み合わせ及び部分的組み合わせにおいて具現化される発明は、この出願または関連出願からの優先権を主張する出願において特許請求され得る。こうした特許請求の範囲はまた、異なる発明を対象とするか、または同一の発明を対象とするかに関わらず、且つ、出願当初の特許請求の範囲よりも広いか、狭いか、等しいか、またはそれと異なるかに関わらず、本開示の発明の主題の中に含まれると見なされる。
Claims (15)
- 空間的位置を特定する方法であって、
物理的表面構成から既知の距離だけ離隔した位置からの前記物理的表面構成の一部の画像を、ビークルによって支持されたセンサから取得することと、
前記取得された画像内の地物を識別することと、
前記取得された画像内の識別された地物を、前記物理的表面構成の一部の基準表現内の識別された地物と関連づけすることと、
前記基準表現内の対応する識別された地物のペアを有する前記取得された画像内の複数の地物のペアを選択することと、
前記取得された画像内の各選択された地物のペアに対して、
前記センサからの前記地物のペア間の画角を決定することと、
前記決定された画角と、前記基準表現内の前記選択された地物のペアとを関連付けする三次元ジオアークを生成することと、
前記物理的表面構成の一部から前記既知の距離だけ離間して配置された前記ジオアークの選択部分を決定することと、
前記選択された地物のペアに対する前記ジオアークの選択部分が重複する位置を識別することとを含む方法。 - 前記基準表現は、基面に沿って広がる前記物理的表面構成の一部の二次元表現であり、前記ジオアークの選択部分を決定することは、前記基面から前記既知の距離だけ上のセンサ平面を決定することと、前記センサ平面と前記ジオアークとの交わる部分を識別することとを含む、請求項1に記載の方法。
- 各選択された地物のペアに対して、前記センサ平面と前記ジオアークとの前記交わる部分を前記基面上に平行移動させることと、前記ジオアークの選択部分が重複する前記識別された位置を前記基準表現における対応する位置に関連付けすることとをさらに含む、請求項2に記載の方法。
- 前記ジオアークの選択部分が最も重複するところに対応する前記基準表現における位置を、前記センサ平面における前記ジオアーク内の前記ビークルの位置に対応する前記基準表現における位置として選択することをさらに含む、請求項3に記載の方法。
- 各選択された地物のペアに対して、前記ジオアークの選択部分を前記基準表現上に平行移動させることと、前記ジオアークの選択部分が重複する前記識別された位置を、前記基準表現における対応する位置に関連付けすることとを更に含む、請求項1から4のいずれか一項に記載の方法。
- 前記選択された地物のペアに対する前記ジオアークの選択部分が重複する位置を識別することは、前記物理的表面構成の一部の前記基準表現の面積を複数の区分に分割することと、前記選択された地物のペアに対する前記ジオアークの選択部分が重複するところを、前記それぞれの区分内の各区分位置に対して個別に識別することとを含む、請求項1から5のいずれか一項に記載の方法。
- 前記選択された地物のペアに対する前記ジオアークの選択部分が重複するところを、前記それぞれの区分内の各区分位置に対して個別に識別することは、前記選択された地物のペアに対する前記ジオアークの選択部分が重複する前記それぞれの区分内の位置を、前記複数の区分の複数に対して同時に識別することを含む、請求項6に記載の方法。
- 前記センサは既知の視野を有し、前記物理的表面構成の一部の前記基準表現の面積を複数の区分に分割することは、前記物理的表面構成の一部の前記基準表現の面積を、各々が前記既知の視野よりも小さい面積を有する前記複数の区分に分割することを含む、請求項7に記載の方法。
- ビークルであって、
物理的表面構成の一部から既知の距離だけ離隔した位置から、前記物理的表面構成の一部の画像を生成するように構成されたセンサと、
前記センサに通信可能に接続されたデータ処理システムと
を備え、前記データ処理システムは、
前記物理的表面構成の一部の基準表現と、前記基準表現内の識別された地物とを記憶し、
前記生成された画像内の地物を識別し、
前記生成された画像内の識別された地物を、前記基準表現内の識別された地物に関連づけし、
前記基準表現内の対応する識別された地物のペアを有する、前記生成された画像内の複数の地物のペアを選択し、
前記生成された画像内の各選択された地物のペアに対し、
前記センサからの前記地物のペア間の画角を決定し、
前記決定された画角と、前記基準表現内の前記選択された地物のペアとを関連付けする三次元ジオアークを生成し、
前記物理的表面構成の一部から前記既知の距離だけ離間して配置された前記ジオアークの選択部分を決定し、
前記選択された地物のペアに対する前記ジオアークの選択部分が重複する位置を識別するように構成されている、ビークル。 - 前記基準表現は、基面に沿って広がる二次元表現であり、前記データ処理システムは更に、前記基面から前記既知の距離だけ上のセンサ平面を決定し、前記センサ平面と前記ジオアークとの交わる部分を識別するように構成されている、請求項9に記載のビークル。
- 前記データ処理システムは更に、各選択された地物のペアに対して、前記センサ平面の交わる部分を前記基面上に平行移動させ、前記ジオアークの選択部分が重複する前記識別された位置を前記基準表現における対応する位置に関連付けするように構成されている、請求項10に記載のビークル。
- 前記データ処理システムは更に、前記ジオアークの選択部分が最も重複するところに対応する前記基準表現における位置を、前記センサ平面における前記ジオアーク内の前記ビークルの位置に対応する前記基準表現における位置として選択するように構成されている、請求項11に記載のビークル。
- 前記データ処理システムは更に、各選択された地物のペアに対して、前記ジオアークの選択部分を前記基準表現上に平行移動させ、前記ジオアークの選択部分が重複する前記識別された位置を、前記基準表現の対応する位置に関連付けするように構成されている、請求項9から12のいずれか一項に記載のビークル。
- 前記データ処理システムは更に、前記物理的表面構成の一部の前記基準表現の面積を複数の区分に分割し、前記選択された地物のペアに対する前記ジオアークの選択部分が重複するところを、前記それぞれの区分内の各区分位置に対して個別に識別するように構成されている、請求項9から13のいずれか一項に記載のビークル。
- 前記データ処理システムは更に、前記選択された地物のペアに対する前記ジオアークの選択部分が重複する前記それぞれの区分内の位置を、前記複数の区分の複数に対して同時に識別するように構成され、任意選択的に、前記センサは既知の視野を有し、前記データ処理システムは更に、前記物理的表面構成の一部の前記基準表現の面積を、各々が前記既知の視野よりも小さい面積を有する前記複数の区分に分割するように構成されている、請求項14に記載のビークル。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/252,120 | 2016-08-30 | ||
| US15/252,120 US10402675B2 (en) | 2016-08-30 | 2016-08-30 | 2D vehicle localizing using geoarcs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018096969A JP2018096969A (ja) | 2018-06-21 |
| JP7033859B2 true JP7033859B2 (ja) | 2022-03-11 |
Family
ID=59337419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017131819A Active JP7033859B2 (ja) | 2016-08-30 | 2017-07-05 | ジオアーク(geoarc)を使用したビークルの二次元位置の特定 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10402675B2 (ja) |
| EP (2) | EP3291176B1 (ja) |
| JP (1) | JP7033859B2 (ja) |
| KR (2) | KR102396929B1 (ja) |
| CN (1) | CN107796384B (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108139758A (zh) * | 2015-10-09 | 2018-06-08 | 深圳市大疆创新科技有限公司 | 基于显著性特征的载运工具定位 |
| US20190004524A1 (en) * | 2016-08-31 | 2019-01-03 | Faraday&Future Inc. | System and method for planning a vehicle path |
| US10579067B2 (en) * | 2017-07-20 | 2020-03-03 | Huawei Technologies Co., Ltd. | Method and system for vehicle localization |
| US11039084B2 (en) * | 2017-11-14 | 2021-06-15 | VergeSense, Inc. | Method for commissioning a network of optical sensors across a floor space |
| CN109102537B (zh) * | 2018-06-25 | 2020-03-20 | 中德人工智能研究院有限公司 | 一种二维激光雷达和球幕相机结合的三维建模方法和系统 |
| JP7017998B2 (ja) * | 2018-09-13 | 2022-02-09 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体 |
| EP3719696A1 (en) | 2019-04-04 | 2020-10-07 | Aptiv Technologies Limited | Method and device for localizing a sensor in a vehicle |
| US11427232B2 (en) * | 2019-10-16 | 2022-08-30 | Bnsf Railway Company | Systems and methods for auditing assets |
| EP4006877B1 (en) | 2020-11-25 | 2025-11-05 | The Boeing Company | Aircraft arrival management systems and methods |
| CA3142750A1 (en) | 2021-01-04 | 2022-07-04 | The Boeing Company | System for refining a six degrees of freedom pose estimate of a target object |
| IL290466B2 (en) | 2022-02-02 | 2024-12-01 | Elbit Systems C4I & Cyber Ltd | Geolocation system and method |
| CN118397417B (zh) * | 2024-05-24 | 2025-12-19 | 广州大学 | 融合特征向量的角度和距离的车辆识别方法、装置及软件 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002109539A (ja) | 2000-07-26 | 2002-04-12 | Fujitsu Ltd | 画像撮影手段の位置姿勢検出装置、3次元物体認識装置および地図特徴データ作成方法 |
| JP2013232195A (ja) | 2012-04-30 | 2013-11-14 | Boeing Co:The | 3DGeoArcを用いた多モードデータの画像登録 |
| US20140362386A1 (en) | 2013-06-07 | 2014-12-11 | Thales | Optical system for measurement of orientation and position comprising a point source, central mask, photosensitive matrix sensor and corner cube |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL120136A0 (en) | 1997-02-03 | 1997-06-10 | Yissum Res Dev Co | Synthesizing virtual two dimensional images of three dimensional space from a collection of real two dimensional images |
| JP2001501348A (ja) | 1997-07-29 | 2001-01-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 3次元シーンの再構成方法と、対応する再構成装置および復号化システム |
| JPH11205648A (ja) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | 画像合成装置 |
| WO2001043070A2 (en) | 1999-12-10 | 2001-06-14 | Miller Michael I | Method and apparatus for cross modality image registration |
| US6819779B1 (en) * | 2000-11-22 | 2004-11-16 | Cognex Corporation | Lane detection system and apparatus |
| JP4492036B2 (ja) * | 2003-04-28 | 2010-06-30 | ソニー株式会社 | 画像認識装置及び方法、並びにロボット装置 |
| US7580591B2 (en) | 2005-07-01 | 2009-08-25 | The Boeing Company | Method for generating a synthetic perspective image |
| EP1862969A1 (en) | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
| JP4196302B2 (ja) * | 2006-06-19 | 2008-12-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| CN101109646A (zh) * | 2007-08-22 | 2008-01-23 | 广东瑞图万方科技有限公司 | 导航系统 |
| US9123159B2 (en) | 2007-11-30 | 2015-09-01 | Microsoft Technology Licensing, Llc | Interactive geo-positioning of imagery |
| US8191828B2 (en) | 2008-05-13 | 2012-06-05 | The Boeing Company | Methods and apparatus for aerial recovery of flying apparatus |
| US20090295791A1 (en) | 2008-05-29 | 2009-12-03 | Microsoft Corporation | Three-dimensional environment created from video |
| US8619779B2 (en) * | 2009-09-30 | 2013-12-31 | Alcatel Lucent | Scalable architecture for enterprise extension in a cloud topology |
| WO2011163454A1 (en) * | 2010-06-25 | 2011-12-29 | Trimble Navigation Ltd. | Method and apparatus for image-based positioning |
| WO2012018497A2 (en) | 2010-07-25 | 2012-02-09 | Raytheon Company | ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM |
| JPWO2012086821A1 (ja) * | 2010-12-20 | 2014-06-05 | 日本電気株式会社 | 測位装置、測位方法 |
| CN103206953B (zh) * | 2012-01-12 | 2016-12-28 | 香港商曦恩体感科技股份有限公司 | 在定位时用来产生一地理方位的方法、及使用该方法的定位系统 |
| US9501700B2 (en) * | 2012-02-15 | 2016-11-22 | Xactware Solutions, Inc. | System and method for construction estimation using aerial images |
| US9756280B2 (en) * | 2013-02-22 | 2017-09-05 | Ohio University | Reduction of sensor captured data streamed to an operator |
| EP3541071A1 (en) * | 2013-08-02 | 2019-09-18 | Xactware Solutions Inc. | System and method for detecting features in aerial images using disparity mapping and segmentation techniques |
| US9025141B1 (en) * | 2013-11-08 | 2015-05-05 | The Boeing Company | Position determination using synthetic wave laser ranging |
| JP6248647B2 (ja) * | 2014-01-22 | 2017-12-20 | 富士通株式会社 | 画像照合方法、画像処理システム、及びプログラム |
| CN106461400B (zh) * | 2014-06-27 | 2019-08-16 | 克朗设备公司 | 使用关联特征对的车辆位置确定或导航 |
| US9327406B1 (en) * | 2014-08-19 | 2016-05-03 | Google Inc. | Object segmentation based on detected object-specific visual cues |
-
2016
- 2016-08-30 US US15/252,120 patent/US10402675B2/en active Active
-
2017
- 2017-06-23 EP EP17177600.8A patent/EP3291176B1/en active Active
- 2017-06-23 EP EP18195372.0A patent/EP3447729B1/en active Active
- 2017-07-05 JP JP2017131819A patent/JP7033859B2/ja active Active
- 2017-08-08 KR KR1020170100109A patent/KR102396929B1/ko active Active
- 2017-08-30 CN CN201710760384.0A patent/CN107796384B/zh active Active
-
2022
- 2022-05-06 KR KR1020220055874A patent/KR102526542B1/ko active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002109539A (ja) | 2000-07-26 | 2002-04-12 | Fujitsu Ltd | 画像撮影手段の位置姿勢検出装置、3次元物体認識装置および地図特徴データ作成方法 |
| JP2013232195A (ja) | 2012-04-30 | 2013-11-14 | Boeing Co:The | 3DGeoArcを用いた多モードデータの画像登録 |
| US20140362386A1 (en) | 2013-06-07 | 2014-12-11 | Thales | Optical system for measurement of orientation and position comprising a point source, central mask, photosensitive matrix sensor and corner cube |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102396929B1 (ko) | 2022-05-12 |
| CN107796384A (zh) | 2018-03-13 |
| US20180061055A1 (en) | 2018-03-01 |
| EP3291176A1 (en) | 2018-03-07 |
| EP3447729A1 (en) | 2019-02-27 |
| JP2018096969A (ja) | 2018-06-21 |
| CN107796384B (zh) | 2023-06-09 |
| KR20180025185A (ko) | 2018-03-08 |
| US10402675B2 (en) | 2019-09-03 |
| KR20220066862A (ko) | 2022-05-24 |
| EP3291176B1 (en) | 2019-08-07 |
| KR102526542B1 (ko) | 2023-04-26 |
| EP3447729B1 (en) | 2023-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7033859B2 (ja) | ジオアーク(geoarc)を使用したビークルの二次元位置の特定 | |
| JP7057632B2 (ja) | ジオアーク(geoarc)を使用したビークルの二次元位置の特定 | |
| US11645757B2 (en) | Method of and apparatus for analyzing images | |
| JP6255085B2 (ja) | 位置特定システムおよび位置特定方法 | |
| KR102130687B1 (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 | |
| JP6321202B2 (ja) | モバイルプラットフォームの運動を決定する方法、装置、及びシステム | |
| Hosseini et al. | Determining the location of UAVs automatically using aerial or remotely sensed high-resolution images for intelligent navigation of UAVs at the time of disconnection with GPS | |
| Shetty | GPS-LiDAR sensor fusion aided by 3D city models for UAVs | |
| CN114943809A (zh) | 一种地图模型的生成方法、装置及存储介质 | |
| CN113470342A (zh) | 一种自运动估计的方法及装置 | |
| CN109003295B (zh) | 一种无人机航空影像快速匹配方法 | |
| Sulaj et al. | Examples of real-time UAV data processing with cloud computing | |
| HK1251339B (en) | 3d vehicle localizing using geoarcs | |
| Liu et al. | Absolute orientation and localization estimation from an omnidirectional image | |
| Sharma et al. | A framework to Georeference Point Cloud in GPS Shadowed Urban Environment by Integrating Computer Vision Algorithms and Photogrammetric Techniques | |
| Sloan et al. | System for Drone-Based Indoor Mapping for Augmented Reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200703 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210727 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211007 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220301 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7033859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |




