JP5837092B2 - 水平角を使用する位置決定 - Google Patents

水平角を使用する位置決定 Download PDF

Info

Publication number
JP5837092B2
JP5837092B2 JP2013549524A JP2013549524A JP5837092B2 JP 5837092 B2 JP5837092 B2 JP 5837092B2 JP 2013549524 A JP2013549524 A JP 2013549524A JP 2013549524 A JP2013549524 A JP 2013549524A JP 5837092 B2 JP5837092 B2 JP 5837092B2
Authority
JP
Japan
Prior art keywords
location
access terminal
keypoints
image
keypoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013549524A
Other languages
English (en)
Other versions
JP2014509384A (ja
Inventor
スラヴォミール・ケー・グラツェクニク
Original Assignee
クアルコム,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム,インコーポレイテッド filed Critical クアルコム,インコーポレイテッド
Publication of JP2014509384A publication Critical patent/JP2014509384A/ja
Application granted granted Critical
Publication of JP5837092B2 publication Critical patent/JP5837092B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/14Determining absolute distances from a plurality of spaced points of known location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

関連出願の相互参照
本出願は、その全体が参照により本明細書に組み込まれる、2011年1月11日に出願された「Position Determination Using Horizontal Angles」という名称の米国特許仮出願第61/431,732号の利益を主張する。
ワイヤレス通信システムは、モバイルユーザに対する様々な通信サービスおよびロケーションサービスを提供するために、広く配備されている。システムのユーザは、ナビゲーション、ロケーションベースサービス、およびPOI(point-of-interest)アプリケーションを含むロケーションサービスを提供するために、位置決定機能に依存する。
ワイヤレス通信システム中でアクセス端末の位置を決定するために、全地球測位システム(GPS)技法、アシスト型GPS (A-GPS)、ならびにCell of Origin (COO)、Time of Arrival (TOA)、およびAngle of Arrival (AOA)などのセルベース測位方法を含むいくつかの技法が存在する。これらの技法は、異なる精度を有し、その精度は、多くの今日のロケーションベースサービスが必要とする精度をもたらし得ない。たとえば、GPS測位は、高い、密集する建造物が衛星の視界を制限し、建造物の反射面がマルチパス効果を生じることがある都市環境において特に不正確になる可能性がある。
都市環境においてGPSの精度を改善する1つの技法は、カメラが装備されたアクセス端末の位置を決定するためにコンピュータビジョン方法を使用する。これらの方法は、対象点の投影とカメラ画像上で識別される対応する点との間の再投影誤差を、たとえば非線形最小自乗最小化法を使用して最小化することによって、カメラの外在性パラメータ(すなわち、位置および向き)を発見する3次元問題を解くことを目的とする。最小自乗法は、アクセス端末内に実装するには計算コストが高く、法外な費用がかかる逐次数値法を用いて最適化され得る。
本開示によるワイヤレス通信システムの例示的なアクセス端末は、複数の基準キーポイントと、各々がアクセス端末の推定位置付近のロケーションである、それぞれの基準キーポイントの地理的ロケーションとを、ワイヤレスで受信するように構成されたトランシーバと、トランシーバに通信可能に結合され、画像をキャプチャするように構成された少なくとも1つのカメラと、少なくとも1つのカメラに通信可能に結合され、それぞれが、少なくとも1つのカメラによってキャプチャされた画像内で識別されるそれぞれの画像キーポイントに対応するように決定される、基準キーポイントの第1および第2のペアそれぞれの地理的ロケーションの間の第1および第2の水平角を使用して、推定位置より正確な、アクセス端末の精密位置を計算するように構成されたプロセッサとを含む。
そのようなアクセス端末の実施形態は、以下の特徴のうちの1つまたは複数を含み得る。トランシーバが、複数の基準キーポイントと地理的ロケーションとの要求として、アクセス端末の推定位置をワイヤレスで送信するようにさらに構成される。プロセッサは、それぞれの第1および第2の水平角によってそれぞれが定義される第1および第2の位置圏(position circle)の交点として、精密位置を計算するようにさらに構成される。プロセッサは、第1および第2の位置圏それぞれの中心を計算し、第1および第2の位置圏それぞれの半径の2乗を計算し、計算された中心および半径の2乗のそれぞれを使用して第1および第2の位置圏それぞれに対する式を定義し、かつ第1および第2の位置圏に対する式を解くことによって第1および第2の位置圏の交点を計算するようにさらに構成される。プロセッサは、第1および第2の水平角のそれぞれが30度と120度との間になるように、第1および第2のペアのそれぞれに対して決定されたキーポイントを選択するようにさらに構成される。トランシーバは、追加の基準キーポイントと、各々がアクセス端末の推定未来位置付近のロケーションである、それぞれの追加の基準キーポイントの追加の地理的ロケーションとを、ワイヤレスで受信するようにさらに構成される。プロセッサは、アクセス端末の未来位置を推定するために、アクセス端末のモーションを追跡するようにさらに構成される。少なくとも1つのカメラが、複数の画像をキャプチャするように構成され、プロセッサが、複数の画像を合成画像に組み合わせるようにさらに構成される。少なくとも1つのカメラは、アクセス端末上に扇形パターンに配列され、少なくとも80度の組み合わされた有効水平画角を有する複数のカメラである。
ワイヤレス通信システムのアクセス端末の位置を決定するように構成された装置の一例は、複数の基準キーポイントと、各々がアクセス端末の推定位置付近のロケーションである、それぞれの基準キーポイントの地理的ロケーションとを、アクセス端末においてワイヤレスで受信するための手段と、アクセス端末によってキャプチャされた画像内のそれぞれの画像キーポイントにそれぞれが対応するように、基準キーポイントのうちの少なくとも3つを決定するための手段と、決定されたキーポイントの第1および第2のペアそれぞれの地理的ロケーションの間の第1および第2の水平角を使用して、推定位置より正確な、アクセス端末の精密位置を計算するための手段とを含む。
そのような装置の実施形態は、以下の特徴を含み得る。装置は、アクセス端末の推定位置をアクセス端末から、複数の基準キーポイントおよび地理的ロケーションの要求としてワイヤレスで送信するための手段をさらに含む。装置は、アクセス端末によってキャプチャされた画像内で複数の画像キーポイントを識別するための手段と、識別された画像キーポイントに対する複数の基準キーポイントを探索するための手段とをさらに含む。計算するための手段は、それぞれの第1および第2の水平角によってそれぞれが定義される第1および第2の位置圏のそれぞれの中心を計算するための手段と、第1および第2の位置圏のそれぞれの半径の2乗を計算するための手段と、計算された中心および半径の2乗のそれぞれを使用して第1および第2の位置圏のそれぞれに対する式を定義するための手段と、第1および第2の位置圏に対する式を解くことによって第1および第2の位置圏の交点を計算するための手段とを含み、アクセス端末の精密位置が、交点として計算される。計算するための手段は、第1および第2の水平角のそれぞれが30度と120度との間になるように、第1および第2のペアのそれぞれに対して決定されたキーポイントを選択するための手段を含む。装置は、追加の基準キーポイントと、各々がアクセス端末の推定未来位置付近のロケーションである、それぞれの追加の基準キーポイントの追加の地理的ロケーションとを、アクセス端末においてワイヤレスで受信するための手段をさらに含む。
コンピュータプログラム製品の一例は、プロセッサに、複数の基準キーポイントと、各々がアクセス端末の推定位置付近のロケーションである、それぞれの基準キーポイントの地理的ロケーションとを、ワイヤレス通信システムのアクセス端末においてワイヤレスで受信させ、アクセス端末によってキャプチャされた画像内のそれぞれの画像キーポイントにそれぞれが対応するように、基準キーポイントのうちの少なくとも3つを決定させ、決定されたキーポイントの第1および第2のペアそれぞれの地理的ロケーションの間の第1および第2の水平角を使用して、推定位置より正確な、アクセス端末の精密位置を計算させるように構成された、プロセッサ可読命令を記憶するプロセッサ可読媒体を含む。
そのようなコンピュータプログラム製品の実施形態は、以下の特徴のうちの1つまたは複数を含み得る。コンピュータプログラム製品は、プロセッサに、アクセス端末の推定位置をアクセス端末から、複数の基準キーポイントおよび地理的ロケーションの要求としてワイヤレスで送信させるように構成された命令をさらに含む。コンピュータプログラム製品は、プロセッサに、アクセス端末によってキャプチャされた画像内で複数の画像キーポイントを識別させ、かつ識別された画像キーポイントに対する複数の基準キーポイントを探索させるように構成された命令をさらに含む。プロセッサにアクセス端末の精密位置を計算させるように構成された命令は、プロセッサに、それぞれの第1および第2の水平角によってそれぞれが定義される第1および第2の位置圏のそれぞれの中心を計算させ、第1および第2の位置圏のそれぞれの半径の2乗を計算させ、計算された中心および半径の2乗のそれぞれを使用して第1および第2の位置圏のそれぞれに対する式を定義させ、かつ第1および第2の位置圏に対する式を解くことによって第1および第2の位置圏の交点を計算させるように構成され、アクセス端末の精密位置が、交点として計算される。プロセッサに精密位置を計算させるように構成された命令は、プロセッサに、第1および第2の水平角のそれぞれが30度と120度との間になるように、第1および第2のペアのそれぞれに対して決定されたキーポイントを選択させるように構成される。
ワイヤレス通信システムのアクセス端末の位置を決定する方法の一例は、複数の基準キーポイントと、各々がアクセス端末の推定位置付近のロケーションである、それぞれの基準キーポイントの地理的ロケーションとを、アクセス端末においてワイヤレスで受信するステップと、アクセス端末によってキャプチャされた画像内のそれぞれの画像キーポイントにそれぞれが対応するように、基準キーポイントのうちの少なくとも3つを決定するステップと、決定されたキーポイントの第1および第2のペアそれぞれの地理的ロケーションの間の第1および第2の水平角を使用して、推定位置より正確な、アクセス端末の精密位置を計算するステップとを含む。
そのような方法の実施形態は、以下の特徴のうちの1つまたは複数を含み得る。方法は、アクセス端末によってキャプチャされた画像内で複数の画像キーポイントを識別するステップと、識別された画像キーポイントに対する複数の基準キーポイントを探索するステップとをさらに含む。精密位置を計算するステップは、それぞれの第1および第2の水平角によってそれぞれが定義される第1および第2の位置圏の交点として、精密位置を計算するステップをさらに含む。精密位置を計算するステップは、第1および第2の位置圏のそれぞれの中心を計算するステップと、第1および第2の位置圏のそれぞれの半径の2乗を計算するステップと、計算された中心および半径の2乗のそれぞれを使用して第1および第2の位置圏のそれぞれに対する式を定義するステップと、第1および第2の位置圏に対する式を解くことによって第1および第2の位置圏の交点を計算するステップとを含む。精密位置を計算するステップは、第1および第2の水平角のそれぞれが30度と120度との間になるように、第1および第2のペアそれぞれに対して決定されたキーポイントを選択するステップを含む。方法は、追加の基準キーポイントと、各々がアクセス端末の推定未来位置付近のロケーションである、それぞれの追加の基準キーポイントの追加の地理的ロケーションとを、アクセス端末においてワイヤレスで受信するステップをさらに含む。基準キーポイントのうちの少なくとも3つを決定するステップは、各キーポイント対応が記述子の類似によって適合される基準キーポイントと画像キーポイントとのペアである、基準キーポイントの記述子と画像キーポイントの記述子との間の複数のキーポイント対応を決定するステップと、所定の数のキーポイント対応が幾何学的制約条件によって適合されるまで、複数のキーポイント対応に対して幾何学的検証を実行するステップとを含む。アクセス端末の精密位置を計算するステップは、各位置が、決定されたキーポイントの第1および第2のペアそれぞれの地理的ロケーションの間のそれぞれの第1および第2の水平角を使用して計算される、アクセス端末の複数の位置を計算するステップと、精密位置を複数の位置の平均として計算するステップとを含む。精密位置を複数の位置の平均として計算するステップは、複数の位置のうちの少なくとも1つを異常値として識別するステップと、少なくとも1つの識別された異常値が計算から排除される状態で、複数の位置の平均として精密位置を計算するステップとを含む
本明細書で説明する項目および/または技法は、以下の機能のうちの1つまたは複数を提供することができる。水平角を使用する位置決定は、特に都市環境において、GPSより高い正確度をもたらし得る。位置は、磁気測定に頼ることなく、したがってコンパス方位を使用する古典的なナビゲーション方法によって使用される磁気的補正なしに、知られている地理的ロケーションを用いて識別された点の間の水平角を使用して決定され得る。非線形3次元最小化問題を解くために逐次数値法を使用する、計算コストが高いコンピュータビジョン法とは異なり、水平角を使用する位置決定は、2次元解析の閉形式解であり、計算コストが低い。一般的には、水平角を使用する位置決定は、それぞれが30度と60度との間の2つの隣接角を同時に測定するステップを含み、それにより少なくとも60度と120度との間の画角を有するカメラを必要とする。そのような広角カメラは、存在はするが非常に高価であり、かなりのひずみを画像にもたらす。しかしながら、適度の画角をそれぞれが有する複数の市販のカメラを使用することで、光学系の全体的な画角が有効に増加すると同時に、高価な広角カメラを使用するのとは反対に、補正が容易な小さいひずみをもたらす。これらのカメラは、安価でありながら高い画像品質をもたらす。ユーザエクスペリエンスの観点から、アクセス端末に複数のカメラを搭載することで、カメラからの画像をアクセス端末ディスプレイ上で単一のパノラマにマージすることが可能になる。項目/技法的効果のペアについて説明しているが、述べられるもの以外の手段によって述べられる効果を達成することが可能であってよく、言及した項目/技法が必ずしも述べられる効果をもたらすとは限らないことがある。
基地局とアクセス端末とを含むワイヤレス通信システムの簡略化された図である。 建造物の壁から反射する衛星信号がかなりの誤差をGPS測位にもたらす都市環境において衛星からの測位情報を受信する、図1に示すアクセス端末の簡略化された図である。 図1に示すアクセス端末の構成要素のブロック図である。 図1に示すアクセス端末の機能構成要素のブロック図である。 隣接する2つの水平角を使用する位置決定の図である。 カメラによる画像の中でキャプチャされた2点の斜視図である。 水平角で定義される位置圏の中心と半径との計算を示す図である。 2つの搭載カメラを有する、図1に示すアクセス端末の簡略化された平面図である。 図8に示すカメラの画角を示す図である。 3つの搭載カメラを有する、図1に示すアクセス端末の簡略化された平面図である。 図10に示すカメラの画角を示す図である。 図1に示すワイヤレス通信システムのアクセス端末の位置を決定するプロセスのブロックフロー図である。 識別された画像キーポイント間の水平角を決定するプロセスのブロックフロー図である。 位置圏の中心と半径の2乗とを計算するプロセスのブロックフロー図である。 2つの位置圏の交点を解くことによって、図1に示すアクセス端末の位置を決定するプロセスのブロックフロー図である。 地理的緯度および経度を局所水平座標系の座標に変換するプロセスのブロックフロー図である。 隣接していない2つの水平角を使用する位置決定の図である。
図中で、類似の関連する特性および/または特徴を有する構成要素は、同じ参照ラベルを有する。
本明細書で説明する技法は、知られている地理的ロケーションを有する対象物の間の水平角を使用してアクセス端末の位置を決定するためのメカニズムを提供する。たとえば、自然または人工の対象物がアクセス端末のカメラシステムによってとられた画像の中で識別される場合、対象物間の水平角が、カメラ画像だけを使用して決定され得る。3つのそのような対象物が、この技法に対して必要である。これらの対象物の地理的ロケーションが同様に知られている場合、アクセス端末の地理的位置が決定され得る。カメラシステムは、アクセス端末に搭載された1つまたは複数のカメラを含み、それらの組み合わされた画角を用いて十分な水平のスパンをカバーするものと理解される。
本明細書で説明する技法は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC-FDMA)および他のシステムなどの様々なワイヤレス通信システムに使用され得る。「システム」および「ネットワーク」という用語は、しばしば互換的に使用される。CDMAシステムは、CDMA2000、Universal Terrestrial Radio Access (UTRA)などの無線技術を実装することができる。CDMA2000は、IS-2000、IS-95、およびIS-856規格をカバーする。IS-2000のリリース0およびAは、一般にはCDMA2000 1X、1Xなどと呼ばれる。IS-856(TIA-856)は、一般には、CDMA2000 1xEV-DO、High Rate Packet Data (HRPD)などと呼ばれる。UTRAは、Wideband CDMA (WCDMA(登録商標))およびCDMAの他の変形形態を含む。TDMAシステムは、Global System for Mobile Communications(GSM(登録商標))などの無線技術を実装し得る。OFDMAシステムは、Ultra Mobile Broadband(UMB)、Evolved UTRA(E-UTRA)、IEEE802.11(Wi-Fi)、IEEE802.16(WiMAX)、IEEE802.20、Flash-OFDM(登録商標)などの無線技術を実装し得る。UTRAおよびE-UTRAは、Universal Mobile Telecommunication System(UMTS)の一部である。3GPP Long Term Evolution(LTE)およびLTE-Advanced(LTE-A)は、E-UTRAを用いるUMTSの新しいリリースである。UTRA、E-UTRA、UMTS、LTE、LTE-AおよびGSM(登録商標)は、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書に記載されている。CDMA2000およびUMBは、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書で説明されている。本明細書で説明する技法は、上記のシステムおよび無線技術、ならびに他のシステムおよび無線技術に使用され得る。
図1を参照すると、ワイヤレス通信システム100は、トランシーバ基地局(BTS)14とモバイルアクセス端末16(AT)とを含む。システム100は、複数のキャリア上の動作(様々な周波数の波形信号)をサポートすることができる。マルチキャリア送信機は、複数のキャリアで変調信号を同時に送信することができる。各々の変調信号は、CDMA信号、TDMA信号、OFDMA信号、SC-FDMA信号などであってよい。各々の変調信号は、異なるキャリアで送信され得る。
BTS 14は、AT 16とワイヤレスで通信することができる。BTS 14はまた、アクセスポイント、アクセスノード(AN)、Node B、evolved Node B (eNB)などとも呼ばれ得る。BTS 14は、複数のキャリアを介してAT 16と通信するように構成され得る。BTS 14は、それぞれの地理的領域、たとえばセル(図示せず)に通信カバレッジを提供することができる。
AT 16は、移動局、モバイルデバイス、ユーザ機器(UE)、または加入者ユニットと呼ばれ得る。ここでのAT 16は、セルラー電話およびワイヤレス通信デバイスを含むが、携帯情報端末(PDA)、他の手持ち式のデバイス、ネットブック、ノートブックコンピュータなども含み得る。
図2を参照すると、衛星22は、都市環境200においてAT 16とワイヤレスで通信し得る。衛星22は、地球規模の航法衛星システム、たとえば、全地球測位システム(GPS)、全地球的航法衛星システム(GLONASS)、またはGalileoシステムの一部であってよい。ここで、衛星22は、AT 16の位置についての情報を送信できる送信機を有する、GPS衛星である。AT 16は、衛星22から位置情報をワイヤレスで受信できる、GPS受信機を含む。送信される位置情報は、AT 16の推定された地理的位置を含み得る。たとえば、AT 16の位置は、地理的緯度および経度、ならびに場合によっては測地高度によって指定され得る。
図2のAT 16は、都市環境200の中で位置特定される。GPS測位は、都市環境内の現代の街路の峡谷のような景観において特に信頼できない可能性がある.たとえば、密集した建造物群24が、衛星22への視界を制限することがあり、現代の建造物24は表面の反射性が大きいため、間違った位置判定につながる複数の送信経路26が発生することがある。大きく乱されたGPS位置情報によって、都市環境200においてAT 16が利用可能なロケーションサービス(たとえば、ナビゲーション、ロケーションベースサービス、point-of-interestアプリケーション)の使用可能性が制限され得る。
図3を参照すると、AT 16のうちの例示的な1つは、プロセッサ30、メモリ32、トランシーバ34、アンテナ36、およびカメラ38を含むコンピュータシステムを備える。トランシーバ34は、アンテナ36を介して、BTS 14と双方向通信するように構成される。トランシーバ34は、たとえば、基準キーポイント、およびAT 16の推定位置付近のそれらの地理的ロケーションの要求をBTS 14に送信し、かつその要求に応答して複数の基準キーポイントおよび地理的ロケーションを受信するように構成される。いくつかの実装形態では、複数の基準キーポイントに対する記述子もまた、その要求に応答して受信される。記述子について、以下でより詳細に説明する。いくつかの実装形態ではトランシーバ34は、情報(たとえば、AT 16の推定位置)を図2の衛星22からワイヤレスで受信するようにさらに構成される。代替として、コンピュータシステムは、情報を衛星22から別のアンテナ(図示せず)を介してワイヤレスで受信するように構成された別の受信機(図示せず)をさらに含み得る。プロセッサ30は、好ましくは、インテリジェントなハードウェアデバイス、たとえば、ARM、Intel(登録商標)社またはAMD(登録商標)のプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)などの中央処理装置(CPU)である。メモリ32は、ランダムアクセスメモリ(RAM)および読み取り専用メモリ(ROM)を含む。メモリ32は、実行されると、プロセッサ30に、本明細書で説明する様々な機能を実行させるように構成された命令を含むコンピュータ可読コンピュータ実行可能ソフトウェアコード33を記憶する。代替として、ソフトウェア33は、プロセッサ30によって直接実行することはできないこともあるが、たとえばコンパイルされ実行されるときに、説明する機能をコンピュータに実施させるように構成され得る。カメラ37、38および39は、画像をキャプチャするように構成される。いくつかの実装形態では、コンピュータシステムは、画像をキャプチャするための単一のカメラ37、または2つのカメラ37および38を含む。
2つの水平角を使用する位置決定のプロセス
図12を参照して図1、図2および図4をさらに参照すると、ワイヤレス通信システム100のAT 16の位置を決定するプロセス1200は、図示の段階を含む。しかしながら、プロセス1200は、例にすぎず、制限ではない。プロセス1200は、たとえば、段階を追加する、削除する、または、並べ替えることによって変更され得る。
段階1202で、AT 16のプロセッサは、AT 16の推定位置を決定する。代替として、AT 16の推定位置は、BTS 14、衛星22、またはワイヤレス通信システム100のいくつかの他のエンティティによって決定される。次いで、AT 16の推定位置が、AT 16のトランシーバに送信される。
段階1204で、AT 16のトランシーバは、複数の基準キーポイントと、各々がAT 16の推定位置付近のロケーションである、それぞれの基準キーポイントの地理的ロケーションとをワイヤレスで受信する。AT 16のトランシーバは、複数の基準キーポイントおよび地理的ロケーションの要求として、AT 16の推定位置をワイヤレスで送信する。いくつかの実装形態では、AT 16はまた、複数の基準キーポイントに対する記述子をワイヤレスで受信する。他の実装形態では、AT 16は、受信された複数の基準キーポイントに対する記述子を計算する。
コンピュータビジョンでは、キーポイントは、所与の対象物に対して異なる距離および視点から取られた画像内で認識され得る、画像内の特徴点(たとえば、対象物の角または中心、画像内のブロブ、他)である。画像内のキーポイントを取り巻く小さなパッチは、特徴と呼ばれる。特徴を処理することによって、記述子(たとえば、デジタル署名またはプロファイル)が、キーポイントに対して取得され得る。画像内のキーポイントの記述子を計算するために、コンピュータビジョン内に、スケール不変特徴変換(SIFT)および高速化ロバスト特徴(SURF)を含む多くのアルゴリズムが存在する。
図4を参照すると、AT 16は、画像キャプチャモジュール42、キーポイント識別および探索モジュール44、幾何学的検証モジュール46、および位置計算モジュール48を含む。画像キャプチャモジュール42は、たとえば図3のカメラ37、38および39を使用して画像をキャプチャするように構成される。AT 16のカメラは、1つまたは複数の画像をキャプチャし得る。好ましくは、図8〜図11を参照すると、複数の画像が、AT 16上に扇形パターンに配列された複数のカメラ(たとえば、カメラ37、38および39)によってキャプチャされる。画像キャプチャモジュール42は、複数の画像を合成画像に組み合わせるようにさらに構成される。たとえば、画像キャプチャモジュール42は、AT 16のカメラからの個別の画像のそれぞれの水平画角より大きい、少なくとも80°の有効水平画角を有する合成画像を作成し得る。図3のプロセッサ30は、画像を合成画像に組み合わせる機能を実行し得る。
図12の段階1206で、AT 16のプロセッサは、AT 16によってキャプチャされた画像内で複数の画像キーポイントを識別する。複数の画像キーポイントは、複数の画像内で、または合成画像内で識別され得る。図4のキーポイント識別および探索モジュール44は、複数の画像キーポイントをキャプチャされた画像から識別し、複数の受信された基準キーポイントから、たとえば複数の基準キーポイントのリストからこれらの識別された画像キーポイントを探索するように構成される。画像キーポイントは、自然の地理的対象物(たとえば、山、岩、木、丘)、および人工の対象物(たとえば、建造物、像、橋、通信タワー)の一部として識別され得る。同様に、基準キーポイントは、本明細書で基準対象物と呼ぶ、自然の地理的対象物または人工の対象物の一部として、基準画像内で以前に識別されていることがある。基準キーポイントは、AT 16において、それらの(たとえば、緯度および経度、または測地座標として)知られている地理的位置とともに受信される。たとえば、基準キーポイントは、基準キーポイントの物理的記述として受信され得る。キーポイント識別および探索モジュール44は、当技術分野で知られている技法を使用して、画像キーポイント識別または認識機能を実行し得る。識別されたカメラ画像キーポイントに対する記述子は、たとえばSIFTまたはSURFを使用して計算され得る。
キーポイント識別および探索モジュール44の探索機能は、1つまたは複数の可能性のあるキーポイント対応を発見するために、キャプチャされた画像内で識別された画像キーポイントの計算された記述子を、受信された基準キーポイントの記述子と比較するステップを含み得る。キーポイント対応は、1つの基準キーポイントと1つの画像キーポイントとを含むキーポイントペアであり、キーポイントは、(たとえば、類似の閾値を使用して)記述子の類似によって適合される。いくつかの実装形態では、キーポイント識別および探索モジュール44は、代替または追加として、受信された基準キーポイントに対して識別された画像キーポイントを探索するように構成される。さらに代替として、ワイヤレス通信システム100のBTS 14またはいくつかの他のエンティティが、基準キーポイントと画像キーポイントとの間の対応を判断し、対応についての情報が、AT 16のトランシーバに送信される。
AT 16によってキャプチャされた画像内の特徴は、2つ以上の基準画像内の多くの特徴に類似する可能性があるので、探索機能の中で発見されたキーポイント対応だけでは、対象物が検出されたことを保証できない。対象物が検出されたことを判断するために、記述子の類似ばかりでなく幾何学的制約条件をも満足する基準対象物の、閾値の数の画像キーポイントと基準キーポイントとの間のキーポイント対応(たとえば、少なくとも10または12)が存在する必要がある。基準対象物が、AT 16によってキャプチャされた画像内に存在するものと仮定すると、AT 16によってキャプチャされた画像およびそれぞれの基準画像は、同じ対象物に対する2つの視点をもたらすことが推定され得る。これら2つの視点の間の、ホモグラフィと呼ばれるマッピングが試行され得、マッピングは、基準キーポイントを、AT 16によってキャプチャされた画像に変換する。AT 16によってキャプチャされた画像内の、基準キーポイントがマッピングされたロケーションが、ホモグラフィによって取得される。キーポイント対応からマッピングされた基準キーポイントのロケーションが、同じキーポイント対応からの画像キーポイントのロケーションに近い場合、キーポイント対応が幾何学的検証に合格したとの決定がなされてよい。幾何学的検証に合格するキーポイント対応の数が何らかの閾値(たとえば、10または12)より大きい場合、高信頼度で、基準対象物がカメラ画像内で検出されたものと見なし得る。高度な最適化法を使用してホモグラフィを推定する多くのアルゴリズムが存在する。検出プロセスの結果として、2つ以上の基準対象物が、カメラ画像内で検出されたものと判断されてよい。
検出された対象物を幾何学的に検証した後、図12の段階1208で、AT 16のプロセッサが、幾何学的検証に合格した少なくとも3つの基準キーポイントを選択する。記述子の類似と幾何学的制約条件の両方を満足するように決定されたキーポイント対応から基準キーポイントを選択することは、基準キーポイントが、AT 16によってキャプチャされた画像内のそれぞれの画像キーポイントに対応することを判断するための1つの技法である。選択された基準キーポイントは、単一または複数の検出された基準対象物に属することができる。いずれの場合も、選択された基準キーポイントの地理的ロケーションが知られている必要がある。さらに、選択された基準キーポイントは、AT 16の視点から十分な角度に広がる必要がある。
図12の段階1210で、AT 16のプロセッサは、推定位置(たとえば、図2のGPS衛星22から受信された推定位置)より正確なAT 16の精密位置を計算する。AT 16のプロセッサは、決定されたキーポイントの第1および第2のペアそれぞれの地理的ロケーションの間の第1および第2の水平角を使用して、精密位置を計算する。第1および第2の水平角が隣接する図5で示すように、第1および第2のペアは、共通の決定されたキーポイントを有し得る。図17に示し、以下でより詳細に説明するように、精密位置はまた、隣接していない第1および第2の水平角を使用して計算されてもよい。図4の位置計算モジュール48は、幾何学的検証モジュール46によって決定される識別された画像キーポイントに対応する基準キーポイントに基づいて、AT 16の精密位置を計算するように構成される。
段階1210で、AT 16の精密位置が、いくつかの段階において計算され得、段階のそれぞれは、図4の位置計算モジュール48によって実行され得る。第1に、決定されたキーポイントのペアに対応する、識別された画像キーポイントの間の水平角が決定される。図6に関して以下で説明する図13がこのプロセスを示しており、プロセスは、決定されたキーポイントの第1および第2のペアのそれぞれに対応する識別された画像キーポイントに対して実行され得る。第2に、位置圏の中心および半径の2乗が、決定されたキーポイントの知られている地理的ロケーションと、対応する識別された画像キーポイントの間の決定された水平角とを使用して計算される。図7に関して以下で説明する図14がこのプロセスを示しており、プロセスは、第1および第2の水平角によってそれぞれ定義された2つの位置圏のそれぞれに対して実行され得る。第3に、計算された中心および半径を使用して2つの位置圏のそれぞれに対する式を定義するステップを含め、2つの位置圏の交点を解くことによって、AT 16の精密位置が決定される。図5に関して以下で説明する図15が、このプロセスを示す。図3のプロセッサ30は、位置計算モジュール48の1つまたは複数の機能を実行し得る。
好ましくは、AT 16のプロセッサは、最大の組み合わされた水平角をもたらして第1および第2の水平角のそれぞれが30°と120°との間になるように、第1および第2のペアのそれぞれに対して決定されたキーポイントを選択する。代替として、AT 16のプロセッサは、最高の精度で決定された水平角を生じる、決定されたキーポイントを選択することによって、第1および第2のペアのそれぞれに対して決定されたキーポイントを選択する。
AT 16のトランシーバはまた、追加の基準キーポイントと、それぞれの追加の基準キーポイントの追加の地理的ロケーションとを、ワイヤレスで受信する。各追加の地理的ロケーションは、AT 16の推定未来位置付近のロケーションである。AT 16のプロセッサはまた、AT 16の未来位置を推定するために、AT 16のモーションを追跡する。代替として、BTS 14、衛星22、またはワイヤレス通信システム100のいくつかの他のエンティティが、AT 16の未来位置を推定するためにAT 16のモーションを追跡する。モーション追跡は、当技術分野で知られている技法を使用して実行され得る。
AT 16のユーザは、たとえば、AT 16のディスプレイのグラフィカルユーザインターフェース内のメニューオプションを使用してこの機能をアクティブ化することによって、水平角を使用する位置決定を採用することを選択することができる。ユーザが、位置決定のこの方法を採用することを選択しない場合、位置決定の他の方法が、AT 16に対して実行される。いくつかの実装形態では、水平角を使用する位置決定がAT 16上でアクティブ化される場合、AT 16のプロセッサは、AT 16によってキャプチャされる各画像内で複数の画像キーポイントを識別することを試みる。いくつかの実装形態では、AT 16のプロセッサは、連続する画像内で識別された画像キーポイントのロケーションにおける小さな変化を認識し、それらの変化に基づいてAT 16の移動を推定する。
いくつかの実装形態では、BTS 14またはワイヤレス通信システム100のいくつかの他のエンティティが、基準キーポイントと画像キーポイントとの間の対応を決定し、AT 16の精密位置を決定するための計算を実行して、精密位置についての情報をAT 16のトランシーバに送信する。たとえば、AT 16によってキャプチャされた画像が、AT 16のトランシーバによってBTS 14に送信され得る。次いで、BTS 14は、識別された画像キーポイントと知られている基準キーポイントとの間の対応を決定するために、画像内で複数の画像キーポイントを識別することができる。代替として、AT 16のプロセッサは、画像内で画像キーポイントを識別し得、AT 16のトランシーバが、識別された画像キーポイントを(たとえば、画像キーポイントの物理的な記述として)BTS 14に送信して、識別された画像キーポイントと知られている基準キーポイントとの間の対応を決定し得る。
2つの水平角を使用する位置決定
ナビゲーションにおいて、位置線(position line)または位置の線(line of position)が、所与のパラメータが一定値を有する点のセットとして定義される。位置線を構築するために使用されるパラメータは、方位、対象物への距離、対象物間の角度、天体の高度などを含む。位置を決定するために、少なくとも2本の位置線の交点が必要であり、交点は、観測者の位置であるものと仮定される。
図5を参照すると、観測者(たとえば、図1のAT 16)の位置Pは、対応する位置圏50を有する対象物AとBとの間の水平角α1と、対応する位置圏52を有する対象物BとCとの間の水平角α2との2つの水平角を使用して決定され得る。図5の例では、2つの水平角α1とα2とが隣接するが、このことは、図17を参照して以下で説明するように、位置決定に対して必須というわけではない。位置圏は、2つの対象物をつなぐ線分が一定の角度(すなわち、水平角)で見える点のセットである。図5では、位置圏50は、対象物AとBとの間の水平角α1に基づく位置線である。平坦な形状から、対象物AとBとの間の弦に対する円50に内接するすべての角度が、(角度α1で)等しいことが知られている。位置圏52は、対象物BとCとの間の水平角α2に基づく位置線であり、弦BCに対するすべての円周角が、(角度α2で)等しいという同じ特性を有する。2つの位置圏50および52は、観測者の位置Pと、対象物B、すなわち水平角α1とα2の両方に共通の対象物の位置との2点において交差する。図5は、位置圏50と52の両方のより大きな弧の上に頂点を有する、弦に対する円周角を示す。そのような角度は、90°以下である。より小さい弧の上に頂点を有する、同じ弦に対する角度は、90°以上であり、本明細で説明する方法において十分に同等に使用され得る。
図1のワイヤレス通信システム100におけるAT 16の位置Pの決定に対して、図5の対象物A、BおよびCは、カメラ37、38および39によってキャプチャされた画像内で検出される1つまたは複数の基準対象物に属する基準キーポイントの地理的ロケーションを表す。
識別された画像キーポイント(すなわち、図5の対象物AおよびB)の第1のペアの間の水平角α1および識別された画像キーポイント(すなわち、図5の対象物BおよびC)の第2のペアの間の水平角α2は、カメラ37、38および39によってキャプチャされた1つまたは複数の画像から直接測定/決定され得る。第1のペアおよび第2のペアは、1つでかつ唯一の識別された画像キーポイントを、ここでは対象物Bとして共有し、対象物Bに対して、決定されたキーポイントのうちの一方が対応する。
識別された画像キーポイントの間の水平角の決定
図6を参照して図5および図13をさらに参照すると、カメラ37によってキャプチャされた画像内で検出された対象物のキーポイントを表す、2点AおよびBの斜視図が示されている。参照しやすいように、図6および図13の説明は図3のカメラ37に言及するが、説明は図3のカメラ37、38および39のいずれにも適用される。点Oは、カメラ37の目に対応する観測者の位置を表す。カメラ37の射影平面60は、カメラの目Oからの焦点距離fに位置する。画像62が、射影平面60の上に作成される。点AおよびBの画像A'およびB'は、光線OAおよびOBが射影平面60を貫通する所における画像点である。水平角θ(すなわち、角AOB)は、点AおよびBが、カメラの目が位置する観測者の位置Oから見られる角度である。角AOBは、角A'OB'に等しく、それにより、カメラ画像62上の点A'およびB'のロケーションの知識は、角度θを決定するのに十分である。
図13を参照して図6をさらに参照すると、決定されたキーポイントのペアに対応する識別された画像キーポイントの間の水平角を決定するプロセス1300は、図示の段階を含む。しかしながら、プロセス1300は、例にすぎず、制限ではない。プロセス1300は、たとえば、段階を追加する、削除する、または、並べ替えることによって変更され得る。
段階1302で、AT 16のプロセッサは、点AおよびBの射影平面60への射影である画像点A'およびB'を含むカメラ画像62に対する局所3次元座標系を定義する。図6では、局所3次元直交系が、カメラ画像62に添付される。座標系の原点は点O'であり、射影平面60に垂直な線に沿った、カメラの目Oの射影平面60への射影である。この点は射影の主点と呼ばれ、この座標系において座標(0,0,0)を有する。x軸はカメラ画像62の右方に方向づけられ、y軸は上方に方向づけられ、z軸は、射影平面60に垂直でかつカメラの目Oの方を指す。
段階1304で、AT 16のプロセッサは、局所3次元座標系において、画像点A'およびB'、ならびにカメラの目Oの座標を決定する。デジタルカメラに対して便利な長さの単位は画素であり、画像62上のすべての点の座標が、画素で測定されかつ表現され得る。たとえば、AT 16のプロセッサ30は、画像62上の2点A'およびB'のロケーションを決定し得、点A'およびB'の画素における画像座標を計算するために、画像62の画素における知られている解像度を使用し得る。カメラ37の焦点距離fもまた画素で測定され、その値がカメラ37の較正の間に決定される。
点A'が(xA,yA)の画像座標を有する場合、点A'は射影平面60内にあり、点A'はゼロのz座標を有するので、局所3次元座標系におけるA'の座標は(xA,yA,0)である。同様に、点B'の画像座標(xB,yB)は、局所3次元座標系において(xB,yB,0)の座標を有する。z軸上にある点Oは、座標(0,0,f)を有する。
段階1306で、AT 16のプロセッサは、カメラの目Oと画像点A'およびB'によって形成される三角形A'OB'の辺の長さを決定する。A'、B'およびOの座標を用いて、三角形A'OB'の辺の長さが決定され得る。a=長さ(OB')、b=長さ(OA')、およびc=長さ(A'B')に対して、長さに対する式は、点の座標を代入した後、
となる。
段階1308で、AT 16のプロセッサは、識別された画像キーポイントを表す、点AおよびBの射影である画像点A'とB'との間の水平角θを決定するために、三角形A'OB'の辺の長さを使用する。水平角θは、決定されたキーポイントのペアに対応する、識別された画像キーポイントの間の水平角に等しい。平面三角法により、余弦の法則が角度θに対する式を与える。
したがって、識別された画像キーポイントの第1のペア(すなわち、対象物AおよびBに対応する)の間の、図5の水平角α1を決定するために、式(1)〜(4)に対する解が、画像点A'およびB'ならびにカメラの目Oの決定された3次元座標を使用して計算され得る。同様に、識別された画像キーポイントの第2のペア(すなわち、対象物BおよびCに対応する)の間の、図5の水平角α2を決定するために、画像点B'およびC'ならびにカメラの目Oの3次元座標が決定され得、式(1)〜(4)における座標として使用され得る。
図5の対象物AおよびCに対応する画像キーポイントがAT 16によってキャプチャされた異なる画像内で識別される場合、水平角α2の決定に使用される画像点B'とカメラの目Oとの3次元座標は、水平角α1の決定に使用される3次元座標と異なってよい。たとえば、カメラ37が、対象物AおよびBに対応する識別された画像キーポイントを有する第1の画像をキャプチャし、カメラ38が、対象物BおよびCに対応する識別された画像キーポイントを有する第2の画像をキャプチャする場合、各画像は、それぞれのカメラの目が位置する、観測者の位置Oから見られるときに、対象物Bの異なる斜視図を有する。カメラ37および38の焦点距離fにおける差が、各カメラに対する点Oに対して異なる3次元座標をもたらす。
再び図5を参照すると、位置圏50の中心O1は、線分ABに対して角度90°-α1で引かれた2本の線の交差点である。同様に、位置圏52の中心O2は、線分BCに対して角度90°-α2で引かれた2本の線の交差点である。位置圏50に対して半径はr1、線分O1Aであり、位置圏52に対して半径はr2、線分O2Bである。
位置圏の中心の計算は、図7および図14に関して以下で説明され、図は、決定されたキーポイントの知られている地理的ロケーションと、図13のプロセス1300を使用して決定された、対応する識別された画像キーポイントの間の水平角とを使用する、中心の計算を示す。決定されたキーポイントの地理的ロケーションは、地理的緯度および経度を使用して表現され得、対応する識別された画像キーポイントの地理的ロケーション(すなわち、図5の対象物A、BおよびCの地理的ロケーション)として使用される。緯度および経度を使用する地理的座標系は、球面であって直交ではない。地球の表面上の小さい領域に対して、直交である局所水平座標系が導入され得、計算を簡素化し得る。以下で説明する図16は、局所水平座標系を構築するためのプロセス1600を示す。
図15を参照して図5をさらに参照すると、2つの位置圏の交点を解くことによってAT 16の位置を決定するプロセス1500は、図示の段階を含む。しかしながら、プロセス1500は、例にすぎず、制限ではない。プロセス1500は、たとえば、段階を追加する、削除する、または、並べ替えることによって変更され得る。
段階1502で、AT 16のプロセッサは、2つの位置圏のそれぞれに対する半径の2乗を計算する。計算は、決定されたキーポイントの知られている地理的ロケーションを、対応する識別された画像キーポイントの地理的ロケーションとして使用する。図5の位置圏50および52に対して、中心O1およびO2の地理的ロケーション
および
ならびに3つの対象物A、BおよびC(すなわち、識別された画像キーポイントに対応する)の地理的ロケーション(xA,yA)、(xB,yB)および(xC,yC)を使用して、半径の2乗r1 2およびr2 2が、位置圏50および52のそれぞれに対して、
として計算され得る。これらの計算に使用される地理的ロケーションは、たとえば、図16のプロセス1600を使用して地理的緯度および経度から変換される、局所水平直交系におけるx座標およびy座標である。
段階1504で、AT 16のプロセッサは、それぞれの半径の2乗と中心の地理的ロケーションとを使用して、各位置圏に対する式を定義する。式は、図5の位置圏50および52のそれぞれに対して、
となる。
段階1506で、AT 16のプロセッサは、交点を計算するために2つの位置圏に対する式を一緒に解くことによって、AT 16の位置(たとえば、精密位置)を決定する。xおよびyの値に対して式(7)および(8)を一緒に解くことによって、対象物Bの地理的ロケーション(xB,yB)と、点PにおけるAT 16の位置との2つの交点が生じる。点Pは、その点から、線分ABが水平角α1において見られ、線分BCが水平角α2において見られる位置である。位置決定のこの技法に対して、対象物A、BおよびC、ならびに位置Pは、すべてが同じ円上にあるとは限らない。
地理的ロケーションの、局所水平座標系の座標への変換
上記で説明したように、図1のAT 16は、複数の基準キーポイント(たとえば、複数の基準キーポイントの物理的記述として)と、それぞれの基準キーポイントの地理的ロケーションとを受信する。好ましくは、各地理的ロケーションは、AT 16の推定位置付近のロケーションである。AT 16の位置は、たとえば、GPS、A-GPS、またはセルベース測位方法を使用して推定され得る。
図1のワイヤレス通信システム100は、リレーショナルデータベースまたは他の情報リポジトリ内に、カバレージエリアに対する基準キーポイントと地理的ロケーションとを記憶する。基準キーポイントおよびそれらの地理的ロケーション、ならびに場合によっては基準キーポイントの記述子が、データベースまたはリポジトリ内で蓄積され、記憶され、インデックスを付けられ、またそこから検索され得る。たとえば、AT 16の推定位置付近に地理的ロケーションを有する基準キーポイントに対するAT 16による要求に応答して、複数の基準キーポイントおよびそれらのそれぞれの地理的ロケーションが、検索され、AT 16に送信され得る。AT 16からの要求は、好ましくは推定位置を含む。BTS 14、またはワイヤレス通信システム100の異なるエンティティ(図示せず)のサーバまたは別の構成要素は、要求された基準キーポイントおよび地理的ロケーション、ならびに場合によっては基準キーポイントに対する記述子を、検索して送信することによって、AT 16からの要求に応答し得る。いくつかの実装形態では、基準キーポイントの要求を受信することなく、BTS 14は、そのカバレージエリア内のAT 16に、規則的または不規則なスケジュールで、基準キーポイントおよびそれらの地理的ロケーションを送信し、ここで、特定のAT 16に送信された基準キーポイントは、そのAT 16の推定位置付近の地理的ロケーションを有する。
AT 16によって受信された基準キーポイントの地理的ロケーションは、地理的緯度および経度として与えられ得る。識別された画像キーポイントに対応するように決定された基準キーポイントの地理的ロケーションは、対応する識別された画像キーポイントの地理的ロケーションとして使用され得る。地理的緯度および経度は、局所水平直交系の座標に変換される。
図16を参照して図5をさらに参照すると、地理的緯度および経度を局所水平座標系の座標に変換するプロセス1600は、図示の段階を含む。しかしながら、プロセス1600は、例にすぎず、制限ではない。プロセス1600は、たとえば、段階を追加する、削除する、または、並べ替えることによって変更され得る。
段階1602で、AT 16のプロセッサは、地理的ロケーションが変換される対象物(たとえば、キーポイントまたは特徴)に対する局所水平座標系を定義する。局所水平座標系を定義するステップは、系の原点を選択するステップを含む。平面直交系は、その原点ならびに直交軸xおよびyによって定義される。ナビゲーション目的に対して、関心領域内の地表面上の任意の点P0が、原点として選択され得、局所水平座標系の水平面を定義するために使用され得る。P0はたとえば、AT 16の推定位置として、または受信された基準キーポイントの地理的ロケーションとして選択され得る。局所水平座標系において、x軸が東を指すように、そしてy軸が北を指すように定義すると便利である。
対象物A、BおよびC(たとえば、2つの水平角を定義する決定されたキーポイントに対応する識別された画像キーポイントに対応する)に対して、地理的ロケーションの座標は、(latA,longA)、(latB,longB)および(latC,longC)である。選択された原点は、
の地理的ロケーション座標を有する。図5におけるように、対象物AとBとの間の水平角はα1であり、対象物BとCとの間の水平角はα2である。
段階1604で、AT 16のプロセッサは、選択された原点に関する各対象物の緯度および経度の増分を計算する。定義された局所水平座標系を用いて、水平面内の対象物A、BおよびCの座標が、それらの軸に関して表現され得る。対象物Aの緯度および経度の増分は、原点P0に関して計算される、
である。ΔlatB、ΔlongB、ΔlatCおよびΔlongCを計算するために、等価式が点BおよびCに対して書かれてよい。
段階1606で、AT 16のプロセッサは、各対象物の緯度および経度の増分を局所水平座標系内の座標に変換する。緯度および経度の増分は、所望の長さの単位に変換される。たとえば、緯度および経度の、度における増分は、メートルに変換され得る。1度の中に60分の弧が存在する。1海里は、子午線の緯度の1分の弧として定義される。1海里は、1852メートルに等しい。度における緯度の増分に対して、度における差は、海里における差を与えるために、1度あたりに60分の弧を乗じられる。次いで、緯度の海里における差は、1海里あたりに1852メートルを乗じられる。度における緯度の増分ΔlatAをメートルにおけるy座標に変換するための式は、
yA=ΔlatA×60×1852 (10)
であり、点BおよびCに対する等価な式が、yBおよびyCをそれぞれ計算するために存在する。
度における経度の増分に対して、度における差はまた、1度あたりに60分の弧を乗じられ、かつ1海里あたりに1852メートルを乗じられる。しかしながら、経度の増分は、ロケーションの平均緯度の余弦をさらに乗じられる。経度の平行線の円が地球の球体の大円ではなく、かつそれらの半径がロケーションの緯度の余弦に比例するために、この追加の倍率が使用される。度における経度の増分ΔlongAをメートルにおけるx座標に変換するための式は、
xA=ΔlongA×60×1852×cos(latmean) (11)
であり、点BおよびCに対する等価な式が、xBおよびxCをそれぞれ計算するために存在する。実際には、点AとP0との間の平均緯度は、一般に計算されず、点P0の緯度の余弦は、式(11)で使用される。というのは、関心のある点のすべては、ほんの数百メートルの範囲内にあるからである。この範囲における緯度の余弦における差は、無視できる。したがって、平均緯度は、その領域内の任意の点、たとえば原点P0の緯度として概算され得る。
式(10)および(11)を点Aに適用し、等価な式を点BおよびCに適用することによって、対象物A、BおよびCに対する局所水平座標系において、メートルにおけるx,y座標:(xA,yA)、(xB,yB)および(xC,yC)が生成される。これらの座標は、図5および図15に関して式(5)および(6)の計算に使用され、図7および図14に関して式(13)、(16)、(19)および(21)〜(24)の計算に使用される。
位置圏の中心の計算
図7を参照すると、対象物AとBとの間の水平角αによって定義される単一の位置圏70に対する式は、中心点Oと半径rとによって定義され得る。以下の計算は、2つの位置圏50および52のそれぞれに対する式(7)および(8)を定義するために、図5の2つの位置圏50および52のそれぞれに対して実行され得る。次いで、図5の点PにおけるAT 16の位置は、交点に対して式(7)および(8)を一緒に解くことによって計算され得る。
その点から線分ABが一定角(すなわち、水平角α)に見られる点のセットが、位置圏70であり、線分ABはその円の弦である。図1のワイヤレス通信システム100においてAT 16の位置Pを決定するために、対象物AおよびBが、AT 16(たとえば、図3のカメラ37、38および39)によってキャプチャされた1つまたは複数の画像内で識別された2つの画像キーポイントに対応する、検出された対象物である。2つの識別された画像キーポイントのそれぞれに対して、受信された基準キーポイントは、上記で説明したように、識別された画像キーポイントに対応するように決定される。決定されたキーポイントの地理的ロケーションは、対応する識別された画像キーポイントの地理的ロケーション(すなわち、それぞれの対象物AまたはBの地理的ロケーション)として使用される。上記で説明したように、局所水平座標系が定義され、地理的ロケーションが、位置圏の中心に対する以下の計算に使用するために、緯度および経度における度から、メートルにおけるx座標、y座標に変換され得る。
識別された画像キーポイント(すなわち、対象物AおよびBに対応する)の間の水平角αは、図6および図13に関して上記で説明したように、カメラ37、38および39によってキャプチャされた画像から直接測定され得る。水平角αを測定することによって、その大きさだけがもたらされる。水平角αは、正であるものと仮定され得、以下で説明するように加算または減算され得る。
中心Oの視点から見ると、対象物Aは、位置圏70に対して対象物Bの左方にある。対象物Aに対応する識別された画像キーポイントが、AT 16の視点から対象物Bに対応する識別された画像キーポイントの左方にあれば、このことは、定義するための正しい位置圏である。この位置決定のために使用されるべきでない第2の位置圏(図示せず)もまた、線分ABが同様に一定の水平角αに見られるところに定義され得る。この第2の位置圏は、線分ABに関して位置圏70と対称となる。すなわち、第2の位置圏は、線分ABの反対側にある。しかしながら、この第2の対称な位置圏の中心から見ると、対象物Bは、対象物Aの左方にある。その中心から線分ABが一定の水平角αに見られる、位置圏70の正しい中心および半径を決定することは、円の中心およびそれぞれの位置圏についてのあいまいさを解決するために、符号の法則の注意深い適用を伴う。
解析幾何学において、線の傾斜が、線がx軸を横切る角度の正接として定義される。右手系の直交系において、線の傾斜角が、x軸の正の方向から反時計回りの方向に測定されて、0°〜180°の値を取る。そのような角度を、正と見なす。図7において、角度γ、
、およびΨは、線AB、OAおよびOBそれぞれの傾斜角であり、弧は、それらの正方向を示す。
位置圏70に対する式を定義するために、中心Oおよび半径rが計算される。位置圏70の中心Oは、線OAおよび線OBの交差点である。半径rは、位置圏70に対する線分OAである。線OAおよびOBは、知られている座標を有する対象物AおよびBを通過するので、線に対する式は、それらの傾斜を計算した後で定義され得る。
図7の三角形OABは、その辺OAおよびOBが円の半径rであって等しいので、二等辺三角形である。したがって、角度OABおよびOBAもまた等しい。平面幾何学から、弦ABに対する円周角(すなわち、水平角α)の値は、同じ弦ABに対する中心角(すなわち、図7において中心角AOB=β)の半分に等しい。すなわち、α=β/2。各三角形において、すべての内角を足すと180°になる。三角形OABのこれらの特性に基づいて、半径rと線分ABとの間の角度OABおよびOBAに対する式は、図7に示すように、
∠OAB=∠OBA=(180°-β)/2=90°-α (12)
と書かれ得る。線OAおよび線OBは、線分ABに対して角度90°-αで傾斜している。
図14を参照して図7をさらに参照すると、位置圏の中心および半径の2乗を計算するプロセス1400は、図示の段階を含む。計算は、識別された画像キーポイントと、識別された画像キーポイントに対応するように決定されたキーポイントの知られている地理的ロケーションとの間の水平角を使用する。プロセス1400は、図5において、水平角α1およびα2それぞれによって定義される位置圏50および52のそれぞれに対して実行され得る。しかしながら、プロセス1400は、例にすぎず、制限ではない。プロセス1400は、たとえば、段階を追加する、削除する、または、並べ替えることによって変更され得る。
段階1402で、AT 16のプロセッサは、識別された画像キーポイントに対応する対象物AとBとの間の線ABが、局所水平座標系におけるx軸と形成する傾斜角を計算する。局所水平座標系は、識別された画像キーポイントの地理的ロケーションの変換において使用される、選択された原点P0によって定義されるシステムである。線ABの傾斜mABに対する式は、
mAB=(yB-yA)/(xB-xA) (13)
であり、角度γに対する式は、
γ=arctan(mAB) (14)
であり、γは、線ABがx軸と形成する傾斜角である。右手系の直交系において、線の傾斜角は、0°〜180°の値を取る。計算された傾斜角γ、
、またはΨのいずれかが負である場合、角度は、180°を加えることによって0°と180°との間の正の値に変換され得る。計算された傾斜角γ、
、またはΨのいずれかが180°より大である場合、角度は、180°を引くことによって0°と180°との間の正の値に変換され得る。
段階1404で、AT 16のプロセッサは、線OAが局所水平座標系におけるx軸と形成する傾斜角を計算するステップを含む、中心Oと対象物Aとの間の線OAに対する式を決定する。x軸に関する線OAの角度
は、角度γと、線分ABと線OAとの間の角度90°-αとの代数和である。図7の基準系において、線OAは、線ABを対象物A周りに角度90°-αだけ回転させたものとして扱われてよい。対象物Bは、対象物Aの右方にあるので、回転は時計回りであり、右手系の直交系において負である。したがって、角度
に対する式は、
であり、その角度は、線OAがx軸と形成する傾斜角である。計算された傾斜角
は、傾斜角が0°と180°との間の正の値であることを保証するために修正(すなわち、±180°)されてよい。
対象物Aに対するx座標、y座標と、計算された傾斜角
とを用いて、線OAに対する式が、
y=mOA*(x-xA)+yA (16)
として決定され得、ここで傾斜mOAは、線OAの傾斜角
の正接
であり、(xA,yA)は、対象物Aの座標、たとえば度における緯度および経度の座標から変換されたメートルにおける座標である。
段階1406で、AT 16のプロセッサは、線OBが局所水平座標系におけるx軸と形成する傾斜角を計算するステップを含む、中心Oと対象物Bとの間の線OBに対する式を決定する。x軸に対する線OBの角度Ψは、角度γと、線分ABと線OBとの間の角度90°-αとの代数和である。図7の基準系において、線OBは、線ABを対象物B周りに角度90°-αだけ回転させたものとして扱われてよい。対象物Aは、対象物Bの左方にあるので、回転は反時計回りであり、右手系の直交系において正である。したがって、角度Ψに対する式は、
Ψ=γ+(90°-α) (18)
であり、その角度は、線OBがx軸と形成する傾斜角である。計算された傾斜角Ψは、角度が0°と180°との間の正の値であることを保証するために修正(すなわち、±180°)されてよい。
対象物Bのx座標、y座標と計算された傾斜角Ψとを用いて、線OBに対する式が、
y=mOB*(x-xB)+yB (19)
として決定され得、ここで傾斜mOBは、線OBの傾斜角Ψの正接
mOB=tan(Ψ) (20)
であり、(xB、yB)は、対象物Bの座標、たとえば度における緯度および経度の座標から変換されたメートルにおける座標である。
段階1408で、AT 16のプロセッサは、交点を計算するために線OAおよび線OBに対する式を一緒に解くことによって、位置圏の中心Oを計算する。xおよびyの値に対して式(16)と(19)とを一緒に解くことによって、交点、中心Oが生成される。式(16)および(19)は、2つの未知数(すなわち、xおよびy)を有する式のペア
mOA*x-y=mOA*xA-yA (21)
mOB*x-y=mOB*xB-yB (22)
として書き換えられてよく、式の解は、線OAとOBとの交点、中心Oに対する座標(xO,yO)をもたらす。式(21)および(22)は、マトリックス形式、A*x=bで書かれてもよく、ここで
であり、解は、クラメルの公式を使用して発見され得る。座標(xO,yO)は、局所水平座標系の選択された原点P0に関してメートルで表される。
段階1410で、AT 16のプロセッサは、位置圏の半径の2乗r2を計算する。中心Oに対して計算された座標(xO,yO)および対象物Aに対する座標は、位置圏70の半径の2乗r2
r2=(xA-xO)2+(yA-yO)2 (24)
を計算するために使用され得、ここで式(24)は、図5の位置圏50および52それぞれに関する式(5)および(6)と同じ形式を取る。次いで、位置圏70に対する式が、
(xO-x)2+(yO-y)2=r2 (25)
として定義され得、ここで式(25)は、図5の位置圏50および52それぞれに関する式(7)および(8)と同じ形式を取る。
図7の位置圏70に対する、中心点Oの座標と、式(25)を定義するための半径の2乗r2とを決定するための、式(12)〜(24)の計算は、図5の2つの位置圏50および52のそれぞれに対してなされてよい。次いで、2つの位置圏50および52に対する式(すなわち、式(7)および(8))は、図5および図15に関して上記で説明したように、所望の交点、点PにおけるAT 16の位置を決定するために解くことができる。
雑音が多く存在する測定におけるこの位置決定技法の精度は、位置圏50および52が交差する角度に影響を与える、測定された水平角α1およびα2の大きさに依存する。この交差角が90°に近いほど、位置はより正確になる。一般に、30°〜120°の範囲の角度で交差する位置線が、適度に正確な位置をもたらす。30°と120°との間の交差角を要望することは、水平角α1およびα2が30°〜120°の範囲に入ることを要望することにつながる。この範囲の外の角度に対して、位置の不確かさが、雑音および測定誤差の存在の下で急速に増す。
水平角を使用して観測者の位置を決定するには、3点だけで十分であるが、単一のカメラ画像が数百のキーポイントをもたらすという事実を利用することができる。関連する対象物の地理的ロケーションが知られており、張られた角度が十分に広い限り、キーポイントの各トリプレットが使用され得る。位置決定について説明された技法は、計算コストが非常に安価である。1つだけのトリプレットではなく、複数のトリプレットが選択され得、位置決定は、選択されたトリプレットのすべてを使用し得る。たとえば、i=1、...、nに対して点{Ai}、{Bi}、{Ci}の3つのシリーズが選択され得、ここでnはトリプレットの数である。対応する位置Piのシリーズが、各トリプレットに対して決定され得る。最後の精密位置として、すべての位置Piの平均が、シリーズの平均緯度および平均経度
を計算することによって決定され得、ここで(latf,longf)は最後の精密位置Pの地理座標であり、(lati,longi)は位置Piの地理座標である。一般に、数nが大きいほど、決定された位置は正確になる。ロバストネスを向上させるために、シリーズの長さが十分に大きい場合は、異常値が、位置Piのシリーズから廃棄されてよい。これを行うために多くの方法が存在する。たとえば、簡単なケースでは、nが5より大きい場合、最小および最大の緯度ならびに最小および最大の経度は、たとえばそれらを、最後の精密位置Pを得るための算術平均の計算から除くことによって、シリーズから廃棄されてよい。
複数のカメラを有するアクセス端末の有効水平画角
図3のAT 16のカメラ37は、ライブビデオストリームをディスプレイに与えることに加えて、AT 16上でナビゲーション技法のアプリケーションを可能にする、位置決定のためのツールとして働くことができる。いくつかのナビゲーション技法の精度は、ナビゲーションデバイス、ここではカメラ38によって測定され得る角度の大きさに依存する。
モバイルデバイス上で使用される典型的なカメラは、約45°の水平画角を有する。2つの隣接する水平角を同時に測定する水平角を使用する位置決定の精度は、測定された水平角の大きさに依存し、各角度は30°より大きいことが一般に望ましい。特別な場合を除いて、45°の水平画角を有するカメラは、それぞれが少なくとも30°の2つの隣接する角度を測定し得ないので、この技法を使用して信頼できる位置を取得するには不十分である。カメラの水平画角はナビゲーションに対する重要なパラメータであり、より大きく、カメラメーカの仕様において一般的に使用される対角画角と混同されるべきではない。
ナビゲーションに使用するための標準カメラの角度の限界を克服することができるソリューションは、広角カメラまたは魚眼カメラを使用することであろう。典型的な広角カメラは、約60°の水平画角を有し得るが、その水平画角は、水平角を用いる位置決定を使用する場合、多くのシナリオにおいて正確な位置をもたらすには依然として狭すぎる。広角カメラは、標準カメラより高価であり、同時に、広角レンズはかなりのひずみをもたらすので、綿密な較正と補正とを必要とする。典型的な魚眼カメラは、110°以上の水平画角を有し得るが、非常に高価である。その上、魚眼レンズによってもたらされるひずみは、たとえ非常に高価な較正および補正の技法を使用しても、完全には除去し得ない。
個別のカメラの水平画角の間がわずかに重なる(たとえば、5°〜10°)状態で、2つ以上の標準カメラを扇形構成でAT 16に搭載することによって、高価な構成要素を必要とすることなく、または大きなひずみをもたらすことなく、結合画角が効率的に増加する。隣接するカメラの水平画角の間の小さな重なりを維持することによって、レンズがもたらす最も大きい半径方向ひずみの領域である、両カメラの主軸から最も遠い点における情報を重複させることと、複数のカメラによる複数の画像をデバイスのディスプレイ上で単一のパノラマに組み合わせることを可能にすることとの2つの機能を提供し、そのことがまた、ユーザエクスペリエンスを改善し得る。
図8および図9を参照すると、2つの標準カメラ37および38がAT 16に搭載されている。カメラ37および38は、それぞれが45°の水平画角80を有する標準カメラである。この構成に対する有効水平画角は、約80°〜85°であり得る。この構成は、単一の標準カメラまたは単一の広角カメラを使用する場合よりも、水平角を使用する信頼できる位置決定をもたらすことが多い。比較的安価なカメラを使用しながら、光学系の有効画角が増加する。その上、適度な水平画角を有する標準カメラのレンズひずみは小さく、補正方法にかかるコストは低い。
図10および図11を参照すると、3つの標準カメラ37、38および39が、AT 16に搭載されている。カメラ37、38および39は、それぞれが45°の水平画角80を有する標準カメラである。この構成に対する有効水平画角は、約115°〜125°であり得る。この構成は、単一の魚眼カメラを使用する場合よりも、水平角を使用する信頼できる位置決定をもたらすことが多く、2つの標準カメラを使用する場合よりも水平角を使用する信頼できる位置決定をもたらすことがはるかに多い。水平角を使用する位置決定に加えて、他のナビゲーション法も同様に、この幅の有効水平画角を用いることが可能である。
ここでは、カメラ37および38がグレースケールカメラであり、カメラ39がカラーカメラであり、それぞれが45°の水平画角80を有する。カメラ37、38および39は、個別の水平画角の間がわずかに重なる状態で、扇形構成でAT 16に搭載されている。単一のカラーカメラ39は、中央カメラとしてナビゲーションとディスプレイの両方に使用され得、一方、2つのグレースケールカメラ37および38は、周辺カメラとしてナビゲーションだけに使用され得る。この構成は、3つの標準カラーカメラを使用する構成よりも安価であり、電力をあまり消費しない。そうでない場合、3つの標準カラーカメラを使用する構成は、複数のカメラからの複数のカラー画像をデバイスディスプレイ上で単一のカラーパノラマに組み合わせることを可能にし、そのことがユーザエクスペリエンスを改善し得る。
複数の安価な標準カメラをAT 16に搭載するための図8および図10の構成は、光学系の有効水平画角を著しく増大させ、効率的で強力な位置決定技法をAT 16に実装することを可能にする。これらの技法は、プロットによって、または直接、式を解くことによって図式的に容易に解くことができる、既存の閉形式解析解を用いる2次元の幾何学問題として定式化される。結果として、これらの方法の計算コストは、非線形3次元問題を解くために逐次数値法を使用するコンピュータビジョン技法を使用する位置決定の計算コストに比べて最小である。水平角を使用するAT 16の位置決定について、コンピュータビジョン技法の使用と比較して著しく低減された計算コストは、著しい実行時間の向上と電力消費の節約とにつながる。
上記で開示した技法は、簡単のために、図5に示すように、位置を決定するために選択される水平角は、隣接することが仮定される。そのような場合、3つの対象物A、BおよびCだけが必要であり、位置圏50および52の交点は、中間の点Bと観測者の位置Pとである。
しかしながら、本技法は、水平角が隣接していない場合でも、両水平角が少なくとも30度あれば、同じようにうまく動作する。このことを図17に示しており、4つの対象物A、B、CおよびDを示す。第1の水平角α1は線分ABに対しており、第2の水平角α2は線分CDに対している。水平角α1およびα2は、観測者の位置において共通の頂点を有するが、水平角α1とα2とは隣接していない。本技法のこの異形は、水平角が隣接するときに使用される技法に類似する。点O1およびO2それぞれを中心とする位置圏170および172は、式(1)〜(8)を使用して構築される。位置圏170および172が構築されると、それらの交点P1およびP2が見出され得る。これらの交点P1とP2の両方から、線分ABが角度α1で見られかつ線分CDが角度α2で見られるので、これらの交点P1とP2の両方は、精密位置Pの候補である。あいまいさは、図6および図13ならびに式(1)〜(4)に関して上記で説明した、識別された画像キーポイントの間の水平角を決定する技法を使用して、観測者が線分ADを見ている角度APDを測定することによって解決され得る。次いで、角度AP1DおよびAP2Dが計算され、測定された角度APDと比較される。精密位置Pは、ADがほぼ測定された角度APDで見える点として選択される。
明細書に関する考察
本明細書の開示に関して説明する様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理的デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の組合せで実装または実行することができる。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
本明細書の開示に関して説明する方法またはアルゴリズムのブロックは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当技術分野で知られている任意の他の形態の記憶媒体中に存在し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体はプロセッサと一体であり得る。プロセッサおよび記憶媒体はASIC中に存在し得る。ASICは、ユーザ端末中に存在し得る。代替として、プロセッサおよび記憶媒体は、ユーザ端末中に個別構成要素として存在し得る。
1つまたは複数の例示的な設計では、説明した機能はハードウェア、プロセッサにより実行されるソフトウェア、ファームウェア、またはこれらの任意の組合せで実装され得る。プロセッサで実行されるソフトウェアで実装した場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して1つまたは複数の命令またはコードとして送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、汎用または専用コンピュータによってアクセスできる任意の利用可能な媒体とすることができる。限定ではなく例として、コンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコード手段を搬送または記憶するために使用され得、汎用もしくは専用コンピュータまたは汎用もしくは専用プロセッサによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、またはワイヤレス技術、たとえば赤外線、無線、およびマイクロ波を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または、赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義内に含まれる。本明細書で使用される場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フレキシブルディスク、およびブルーレイディスクを含み、ディスク(disk)は、通常、磁気的にデータを再生し、ディスク(disc)は、レーザで光学的にデータを再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれる。
上記の説明は、開示した装置、システムおよび方法を当業者が作成および/または使用できるようにするために提供される。本開示への様々な修正は当業者には容易に明らかであり、本明細書で定義した一般原理は、本開示の趣旨または範囲から逸脱することなく他の変形形態に適用できる。したがって、本開示は、本明細書で説明した例および設計に限定するものではなく、本明細書で開示する原理および新規の特徴に一致する最も広い範囲を与えられるべきである。
14 トランシーバ基地局(BTS)
16 モバイルアクセス端末(AT)
22 衛星
24 建造物
26 送信経路
30 プロセッサ
32 メモリ
33 ソフトウェアコード
34 トランシーバ
36 アンテナ
37 カメラ
38 カメラ
39 カメラ
42 画像キャプチャモジュール
44 キーポイント識別および探索モジュール
46 幾何学的検証モジュール
48 位置計算モジュール
50 位置圏
52 位置圏
60 射影平面
62 画像
70 位置圏
80 水平画角
100 ワイヤレス通信システム
170 位置圏
172 位置圏
200 都市環境

Claims (27)

  1. ワイヤレス通信システムのアクセス端末であって、
    1つまたは複数の基準対象物に関する複数の基準キーポイントと、各々が前記アクセス端末の推定位置付近のロケーションである、それぞれの基準キーポイントの地理的ロケーションとをワイヤレスで受信するように構成されたトランシーバと、
    前記トランシーバに通信可能に結合され、画像をキャプチャするように構成された、少なくとも1つのカメラと、
    前記少なくとも1つのカメラに通信可能に結合され、前記少なくとも1つのカメラによってキャプチャされた前記画像内で識別された1つまたは複数の対象物に関するそれぞれの画像キーポイントにそれぞれが対応するように決定された、基準キーポイントの第1および第2のペアそれぞれの前記地理的ロケーションの間の第1および第2の水平角を使用して、前記推定位置より正確な前記アクセス端末の精密位置を計算するように構成されたプロセッサとを備え、
    前記1つまたは複数の対象物が、前記それぞれの基準キーポイントに対してキーポイントに関する記述子の類似と幾何学的制約条件の両方を満足している、1つまたは複数の画像キーポイントを有し、前記1つまたは複数の画像キーポイントの数が、しきい値以上であり、
    前記プロセッサが、それぞれの前記第1および第2の水平角によってそれぞれが定義される第1および第2の位置圏の交点として、前記精密位置を計算するようにさらに構成される、アクセス端末。
  2. 前記トランシーバが、前記複数の基準キーポイントおよび地理的ロケーションの要求として、前記アクセス端末の前記推定位置をワイヤレス送信するようにさらに構成される、請求項1に記載のアクセス端末。
  3. 前記プロセッサが、
    前記第1および第2の位置圏のそれぞれの中心を計算し、
    前記第1および第2の位置圏のそれぞれの半径の2乗を計算し、
    前記それぞれの計算された中心と半径の2乗とを使用して、前記第1および第2の位置圏のそれぞれに対する式を定義し、
    前記第1および第2の位置圏に対する前記式を解くことによって、前記第1および第2の位置圏の前記交点を計算するようにさらに構成される、請求項1に記載のアクセス端末。
  4. 前記プロセッサが、前記第1および第2の水平角のそれぞれが30度と120度との間になるように、前記第1および第2のペアのそれぞれに対して前記決定されたキーポイントを選択するようにさらに構成される、請求項1に記載のアクセス端末。
  5. 前記トランシーバが、追加の基準キーポイントと、各々が前記アクセス端末の推定未来位置付近のロケーションである、それぞれの追加の基準キーポイントの追加の地理的ロケーションとをワイヤレスで受信するようにさらに構成される、請求項1に記載のアクセス端末。
  6. 前記プロセッサが、前記アクセス端末の前記未来位置を推定するために、前記アクセス端末のモーションを追跡するようにさらに構成される、請求項5に記載のアクセス端末。
  7. 前記少なくとも1つのカメラが、複数の画像をキャプチャするように構成され、
    前記プロセッサが、前記複数の画像を合成画像に組み合わせるようにさらに構成される、請求項1に記載のアクセス端末。
  8. 前記少なくとも1つのカメラが、前記アクセス端末上に扇形パターンで配列され、少なくとも80度の組み合わされた有効水平画角を有する複数のカメラである、請求項7に記載のアクセス端末。
  9. ワイヤレス通信システムのアクセス端末の位置を決定するように構成された装置であって、
    1つまたは複数の基準対象物に関する複数の基準キーポイントと、各々が前記アクセス端末の推定位置付近のロケーションである、それぞれの基準キーポイントの地理的ロケーションとを、前記アクセス端末においてワイヤレスで受信するための手段と、
    前記基準キーポイントのうちの少なくとも3つを、前記アクセス端末によってキャプチャされた画像内の1つまたは複数の対象物に関するそれぞれの画像キーポイントにそれぞれが対応するように決定するための手段と、
    前記決定されたキーポイントの第1および第2のペアそれぞれの前記地理的ロケーションの間の第1および第2の水平角を使用して、前記推定位置より正確な、前記アクセス端末の精密位置を計算するための手段とを含み、
    前記1つまたは複数の対象物が、前記それぞれの基準キーポイントに対してキーポイントに関する記述子の類似と幾何学的制約条件の両方を満足している、1つまたは複数の画像キーポイントを有し、前記1つまたは複数の画像キーポイントの数が、しきい値以上であり、
    前記精密位置が、それぞれの前記第1および第2の水平角によってそれぞれが定義される第1および第2の位置圏の交点として計算される、装置。
  10. 前記アクセス端末の前記推定位置を、前記複数の基準キーポイントおよび地理的ロケーションの要求として前記アクセス端末からワイヤレス送信するための手段をさらに含む、請求項9に記載の装置。
  11. 前記アクセス端末によってキャプチャされた前記画像内で複数の画像キーポイントを識別するための手段と、
    前記識別された画像キーポイントに対する前記複数の基準キーポイントを探索するための手段とをさらに含む、請求項9に記載の装置。
  12. 前記計算するための手段が、
    前記それぞれの第1および第2の水平角によってそれぞれが定義される、第1および第2の位置圏のそれぞれの中心を計算するための手段と、
    前記第1および第2の位置圏のそれぞれの半径の2乗を計算するための手段と、
    前記それぞれの計算された中心と半径の2乗とを使用して、前記第1および第2の位置圏のそれぞれに対する式を定義するための手段と、
    前記第1および第2の位置圏に対する前記式を解くことによって前記第1および第2の位置圏の交点を計算するための手段とを含み、前記アクセス端末の前記精密位置が前記交点として計算される、請求項9に記載の装置。
  13. 計算するための前記手段が、前記第1および第2の水平角のそれぞれが30度と120度との間になるように、前記第1および第2のペアのそれぞれに対して前記決定されたキーポイントを選択するための手段を含む、請求項9に記載の装置。
  14. 追加の基準キーポイントと、各々が前記アクセス端末の推定未来位置付近のロケーションである、それぞれの追加の基準キーポイントの追加の地理的ロケーションとを、前記アクセス端末においてワイヤレスで受信するための手段をさらに含む、請求項9に記載の装置。
  15. プロセッサに、
    1つまたは複数の基準対象物に関する複数の基準キーポイントと、各々がアクセス端末の推定位置付近のロケーションである、それぞれの基準キーポイントの地理的ロケーションとを、ワイヤレス通信システムの前記アクセス端末においてワイヤレスで受信させ、
    前記基準キーポイントのうちの少なくとも3つを、前記アクセス端末によってキャプチャされた画像内の1つまたは複数の対象物に関するそれぞれの画像キーポイントにそれぞれが対応するように決定させ、
    前記決定されたキーポイントの第1および第2のペアそれぞれの前記地理的ロケーションの間の第1および第2の水平角を使用して、前記推定位置より正確な、前記アクセス端末の精密位置を計算させるように構成された、プロセッサ可読命令を備え、
    前記1つまたは複数の対象物が、前記それぞれの基準キーポイントに対してキーポイントに関する記述子の類似と幾何学的制約条件の両方を満足している、1つまたは複数の画像キーポイントを有し、前記1つまたは複数の画像キーポイントの数が、しきい値以上であり、
    前記精密位置が、それぞれの前記第1および第2の水平角によってそれぞれが定義される第1および第2の位置圏の交点として計算される、コンピュータプログラム。
  16. 前記プロセッサに、前記アクセス端末の前記推定位置を、前記複数の基準キーポイントおよび地理的ロケーションの要求として、前記アクセス端末からワイヤレスで送信させるように構成された命令をさらに含む、請求項15に記載のコンピュータプログラム。
  17. 前記プロセッサに、
    前記アクセス端末によってキャプチャされた前記画像内で複数の画像キーポイントを識別させ、
    前記識別された画像キーポイントに対する前記複数の基準キーポイントを探索させるように構成された命令をさらに含む、請求項15に記載のコンピュータプログラム。
  18. 前記プロセッサに、前記アクセス端末の前記精密位置を計算させるように構成された前記命令が、前記プロセッサに、
    前記それぞれの第1および第2の水平角によってそれぞれが定義される、第1および第2の位置圏のそれぞれの中心を計算させ、
    前記第1および第2の位置圏のそれぞれの半径の2乗を計算させ、
    前記それぞれの計算された中心と半径の2乗とを使用して、前記第1および第2の位置圏のそれぞれに対する式を定義させ、
    前記第1および第2の位置圏に対する前記式を解くことによって前記第1および第2の位置圏の交点を計算させるように構成され、前記アクセス端末の前記精密位置が前記交点として計算される、請求項15に記載のコンピュータプログラム。
  19. 前記プロセッサに、前記精密位置を計算させるように構成された前記命令が、前記プロセッサに、前記第1および第2の水平角のそれぞれが30度と120度との間になるように、前記第1および第2のペアのそれぞれに対して前記決定されたキーポイントを選択させるように構成される、請求項15に記載のコンピュータプログラム。
  20. ワイヤレス通信システムのアクセス端末の位置を決定する方法であって、
    1つまたは複数の基準対象物に関する複数の基準キーポイントと、各々が前記アクセス端末の推定位置付近のロケーションである、それぞれの基準キーポイントの地理的ロケーションとを、前記アクセス端末においてワイヤレスで受信するステップと、
    前記基準キーポイントのうちの少なくとも3つを、前記アクセス端末によってキャプチャされた画像内の1つまたは複数の対象物に関するそれぞれの画像キーポイントにそれぞれが対応するように決定するステップと、
    前記決定されたキーポイントの第1および第2のペアそれぞれの前記地理的ロケーションの間の第1および第2の水平角を使用して、前記推定位置より正確な、前記アクセス端末の精密位置を計算するステップとを含み、
    前記1つまたは複数の対象物が、前記それぞれの基準キーポイントに対してキーポイントに関する記述子の類似と幾何学的制約条件の両方を満足している、1つまたは複数の画像キーポイントを有し、前記1つまたは複数の画像キーポイントの数が、しきい値以上であり、
    前記精密位置を計算するステップが、前記それぞれの第1および第2の水平角によってそれぞれが定義される第1および第2の位置圏の交点として、前記精密位置を計算するステップを含む、方法。
  21. 前記アクセス端末によってキャプチャされた前記画像内で複数の画像キーポイントを識別するステップと、
    前記識別された画像キーポイントに対する前記複数の基準キーポイントを探索するステップとをさらに含む、請求項20に記載の方法。
  22. 前記精密位置を計算するステップが、
    前記第1および第2の位置圏のそれぞれの中心を計算するステップと、
    前記第1および第2の位置圏のそれぞれの半径の2乗を計算するステップと、
    前記それぞれの計算された中心と半径の2乗とを使用して、前記第1および第2の位置圏のそれぞれに対する式を定義するステップと、
    前記第1および第2の位置圏に対する前記式を解くことによって、前記第1および第2の位置圏の前記交点を計算するステップとを含む、請求項20に記載の方法。
  23. 前記精密位置を計算するステップが、前記第1および第2の水平角のそれぞれが30度と120度との間になるように、前記第1および第2のペアのそれぞれに対して前記決定されたキーポイントを選択するステップを含む、請求項20に記載の方法。
  24. 追加の基準キーポイントと、各々が前記アクセス端末の推定未来位置付近のロケーションである、それぞれの追加の基準キーポイントの追加の地理的ロケーションとを、前記アクセス端末においてワイヤレスで受信するステップをさらに含む、請求項20に記載の方法。
  25. 前記基準キーポイントのうちの少なくとも3つを決定するステップが、
    前記基準キーポイントの記述子と前記画像キーポイントの記述子とを比較し、前記記述子の類似に基づいて、前記基準キーポイントと前記画像キーポイントとのペアである複数のキーポイント対応を決定するステップと、
    所定の数のキーポイント対応が幾何学的制約条件によって適合されるまで、前記複数のキーポイント対応に対して幾何学的検証を実行するステップとを含む、請求項20に記載の方法。
  26. 前記アクセス端末の精密位置を計算するステップが、
    前記決定されたキーポイントの第1および第2のペアそれぞれの前記地理的ロケーションの間のそれぞれの第1および第2の水平角を使用して各位置が計算される、前記アクセス端末の複数の位置を計算するステップと、
    前記複数の位置の平均として前記精密位置を計算するステップとを含む、請求項20に記載の方法。
  27. 前記複数の位置の前記平均として前記精密位置を計算するステップが、
    前記複数の位置のうちの少なくとも1つを異常値として識別するステップと、
    前記少なくとも1つの識別された異常値が前記計算から排除される状態で、前記複数の位置の前記平均として前記精密位置を計算するステップとを含む、請求項26に記載の方法。
JP2013549524A 2011-01-11 2012-01-11 水平角を使用する位置決定 Expired - Fee Related JP5837092B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161431732P 2011-01-11 2011-01-11
US61/431,732 2011-01-11
US13/082,301 US8494553B2 (en) 2011-01-11 2011-04-07 Position determination using horizontal angles
US13/082,301 2011-04-07
PCT/US2012/020986 WO2012097095A1 (en) 2011-01-11 2012-01-11 Position determination using horizontal angles

Publications (2)

Publication Number Publication Date
JP2014509384A JP2014509384A (ja) 2014-04-17
JP5837092B2 true JP5837092B2 (ja) 2015-12-24

Family

ID=46455665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013549524A Expired - Fee Related JP5837092B2 (ja) 2011-01-11 2012-01-11 水平角を使用する位置決定

Country Status (7)

Country Link
US (2) US8494553B2 (ja)
EP (1) EP2663837A1 (ja)
JP (1) JP5837092B2 (ja)
KR (1) KR101594288B1 (ja)
CN (1) CN103282741B (ja)
TW (1) TW201237453A (ja)
WO (1) WO2012097095A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700956B1 (ko) * 2010-01-29 2017-01-31 삼성전자주식회사 통신 시스템에서 단말의 위치를 식별하는 방법 및 장치
US8929658B2 (en) 2010-12-17 2015-01-06 Qualcomm Incorporated Providing magnetic deviation to mobile devices
US8565528B2 (en) 2010-12-17 2013-10-22 Qualcomm Incorporated Magnetic deviation determination using mobile devices
KR102055231B1 (ko) * 2011-03-17 2019-12-12 뉴욕 유니버시티 물리적 객체의 인증 및 확인을 위한 시스템, 방법 및 컴퓨터-접근가능 매체
TW201248423A (en) * 2011-05-17 2012-12-01 Ind Tech Res Inst Localization device and localization method with the assistance of augmented reality
JP5810296B2 (ja) * 2011-06-07 2015-11-11 パナソニックIpマネジメント株式会社 画像表示装置及び画像表示方法
US9558584B1 (en) 2013-07-29 2017-01-31 Google Inc. 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface
CN103983189B (zh) * 2014-05-16 2017-02-08 哈尔滨工业大学 一种基于二次平台线阵ccd的水平位置测量方法
CN104539927B (zh) * 2014-12-19 2017-05-24 北京智谷睿拓技术服务有限公司 距离确定方法和设备
CN104539926B (zh) * 2014-12-19 2016-10-26 北京智谷睿拓技术服务有限公司 距离确定方法和设备
CN106033604B (zh) * 2015-03-12 2019-09-17 北京智谷睿拓技术服务有限公司 信息确定方法和设备
CN105021125A (zh) * 2015-06-11 2015-11-04 北京控制工程研究所 一种基于线阵ccd的移动平台位置测量系统及测量方法
CN105758411A (zh) * 2015-12-29 2016-07-13 深圳市未来媒体技术研究院 一种基于车载摄像头提升车载gps定位精度的系统和方法
CN107193820B (zh) * 2016-03-14 2020-11-06 腾讯科技(深圳)有限公司 位置信息获取方法、装置及设备
US20170323149A1 (en) * 2016-05-05 2017-11-09 International Business Machines Corporation Rotation invariant object detection
KR102542515B1 (ko) * 2016-07-28 2023-06-12 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
CN108332737A (zh) * 2018-02-07 2018-07-27 西安蜂语信息科技有限公司 户外辅助器械导向方法、装置及户外辅助器械
JP6857147B2 (ja) * 2018-03-15 2021-04-14 株式会社日立製作所 三次元画像処理装置、及び三次元画像処理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5418945B2 (ja) 1972-05-09 1979-07-11
GB8925196D0 (en) 1989-11-08 1990-05-30 Smiths Industries Plc Navigation systems
CA2094506A1 (en) 1991-08-28 1993-03-01 Sanjar Ghaem Guidance device
WO1995032483A1 (en) * 1994-05-19 1995-11-30 Geospan Corporation Method for collecting and processing visual and spatial position information
US5699444A (en) * 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
SE513291C2 (sv) 1998-12-18 2000-08-21 Ericsson Telefon Ab L M Elektronisk kompass med kompensering för missvisning, förfarande för att kompensera missvisningen och radiokommunikationssystem för genomförande av förfarandet
US6408251B1 (en) 1999-07-29 2002-06-18 Hrl Laboratories, Llc Calibrating a magnetic compass with an angular rate gyroscope and a global positioning system receiver
JP3238697B1 (ja) * 2001-03-09 2001-12-17 株式会社ホクスイ設計コンサル 道路除雪ナビゲーションシステムおよび道路網データ処理方法ならびに道路網データ処理プログラム
ATE407344T1 (de) * 2001-10-09 2008-09-15 Sirf Tech Inc Verfahren und system zum versenden von positionskodierten bildern über ein drahtloses netz
AU2003227900A1 (en) 2002-05-02 2003-11-17 Trunor Design Limited Improvements relating to navigational instrumentation
JP4059832B2 (ja) * 2003-09-29 2008-03-12 計測ネットサービス株式会社 道路断面計測装置、及び、道路断面計測方法
US7440610B1 (en) 2004-01-28 2008-10-21 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for image based coordinate determination
US7069145B2 (en) 2004-05-03 2006-06-27 Sony Ericsson Mobile Communications Ab Mobile terminals, methods, and program products for generating a magnetic heading based on position
EP1876411A4 (en) * 2005-04-25 2011-06-29 Geo Technical Lab Co Ltd METHOD FOR ANALYZING THE PICTURE POSITION
US7848765B2 (en) * 2005-05-27 2010-12-07 Where, Inc. Location-based services
EP1734336A1 (de) * 2005-06-13 2006-12-20 Leica Geosystems AG Geodätisches Zielobjekt und Vermessungssystem
JP4171488B2 (ja) * 2005-12-16 2008-10-22 ファナック株式会社 オフラインプログラミング装置
US8121785B2 (en) * 2007-08-28 2012-02-21 Garmin Switzerland Gmbh Bicycle computer having position-determining functionality
EP2242994A1 (en) 2008-02-04 2010-10-27 Tele Atlas North America Inc. Method for map matching with sensor detected objects
JP2010033447A (ja) * 2008-07-30 2010-02-12 Toshiba Corp 画像処理装置および画像処理方法
KR101573289B1 (ko) 2008-11-27 2015-12-01 삼성전자주식회사 위치 측정 방법 및 이를 이용한 휴대 단말기
JP2010216968A (ja) * 2009-03-16 2010-09-30 Fuji Xerox Co Ltd 位置計測システムおよびプログラム
US20100310174A1 (en) * 2009-06-05 2010-12-09 Qualcomm Incorporated Efficient incremental coding of probability distributions for image feature descriptors
US8209140B2 (en) 2009-12-17 2012-06-26 Raytheon Company Cooperative calibration of heading sensors
US8565528B2 (en) 2010-12-17 2013-10-22 Qualcomm Incorporated Magnetic deviation determination using mobile devices
US8929658B2 (en) 2010-12-17 2015-01-06 Qualcomm Incorporated Providing magnetic deviation to mobile devices

Also Published As

Publication number Publication date
CN103282741B (zh) 2017-04-12
EP2663837A1 (en) 2013-11-20
CN103282741A (zh) 2013-09-04
TW201237453A (en) 2012-09-16
JP2014509384A (ja) 2014-04-17
US20120178469A1 (en) 2012-07-12
US8494553B2 (en) 2013-07-23
US20130310071A1 (en) 2013-11-21
KR101594288B1 (ko) 2016-02-16
KR20130124538A (ko) 2013-11-14
WO2012097095A1 (en) 2012-07-19

Similar Documents

Publication Publication Date Title
JP5837092B2 (ja) 水平角を使用する位置決定
US20220207824A1 (en) System and method for determining geo-location(s) in images
Huang et al. WiFi and vision-integrated fingerprint for smartphone-based self-localization in public indoor scenes
US9134127B2 (en) Determining tilt angle and tilt direction using image processing
JP6676082B2 (ja) 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス
CN110927708B (zh) 智能路侧单元的标定方法、装置及设备
US8565528B2 (en) Magnetic deviation determination using mobile devices
CN103139700A (zh) 一种终端定位的方法和系统
US8155387B2 (en) Method and system for position determination using image deformation
US11682103B2 (en) Selecting exterior images of a structure based on capture positions of indoor images associated with the structure
Liu et al. Gnome: A practical approach to NLOS mitigation for GPS positioning in smartphones
US8929658B2 (en) Providing magnetic deviation to mobile devices
Shangguan et al. Towards accurate object localization with smartphones
Guo et al. Urban Geospatial Information Acquisition Mobile Mapping System based on close-range photogrammetry and IGS site calibration
US11002842B2 (en) Method and apparatus for determining the location of a static object
TW201621273A (zh) 行動定位裝置及其定位方法
EP3096154A1 (en) Method, system and computer-readable medium to determine the position of an apparatus
EP2569958A1 (en) Method, computer program and apparatus for determining an object in sight
CN116007637B (zh) 定位装置、方法、车载设备、车辆、及计算机程序产品
Mai et al. Development of an indoor positioning and navigation system using monocular SLAM and IMU
Magasweran et al. Indoor Localization Through the Integration of RGB and Depth Data from Microsoft Kinect Sensor

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140519

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140819

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151104

R150 Certificate of patent or registration of utility model

Ref document number: 5837092

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees