JP7413421B2 - 位置および向き認識システム、携帯端末、及び位置および向き認識方法 - Google Patents
位置および向き認識システム、携帯端末、及び位置および向き認識方法 Download PDFInfo
- Publication number
- JP7413421B2 JP7413421B2 JP2022037091A JP2022037091A JP7413421B2 JP 7413421 B2 JP7413421 B2 JP 7413421B2 JP 2022037091 A JP2022037091 A JP 2022037091A JP 2022037091 A JP2022037091 A JP 2022037091A JP 7413421 B2 JP7413421 B2 JP 7413421B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- sign
- mobile terminal
- marker
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 80
- 239000003550 marker Substances 0.000 claims description 205
- 238000012545 processing Methods 0.000 claims description 49
- 238000010191 image analysis Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 description 70
- 238000012986 modification Methods 0.000 description 39
- 230000004048 modification Effects 0.000 description 39
- 239000013598 vector Substances 0.000 description 35
- 238000010586 diagram Methods 0.000 description 33
- 230000006854 communication Effects 0.000 description 32
- 238000004891 communication Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 31
- 238000005259 measurement Methods 0.000 description 25
- 230000001133 acceleration Effects 0.000 description 18
- 238000013500 data storage Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
- Telephone Function (AREA)
Description
本実施形態では、位置情報が既知のランドマークであって、カメラから離れた位置のランドマークをカメラで撮影し、画像処理により、カメラの位置を算出(推定)する。
標識板200の詳細を、図2を用いて説明する。本図に示すように、本実施形態の標識板200は、例えば、一辺がLSの正方形形状を有する。
次に、携帯端末100の構成を説明する。携帯端末100は、撮影機能と、情報処理機能とを有する情報処理装置である。例えば、携帯電話、スマートフォン、タブレット端末、ウォッチやヘッドマウントディスプレイなどのウェアラブル端末、フィーチャーフォン、または、その他の携帯用デジタル機器等である。さらに、ドローン等の自律型機器でもよい。
次に、本実施形態の端末位置推定部170による端末位置推定処理を説明する。ここでは、画像取得部171が取得した異なる2か所の標識板200の情報を解析し、計算部172が、所有者910の現在位置を算出(端末位置推定)する手法を、図4(a)~図6を用いて説明する。本実施形態では、現在位置として算出されるのは、所有者910が保持する携帯端末100の位置である。以下、本実施形態では、算出される現在位置を、端末位置と呼ぶ。
xc=xa+d/tanα ・・・(1)
yc=ya-d ・・・(2)
ここで、d、Lは、以下の式で算出される。
d=L/(1/tanα+1/tanβ) ・・・(3)
=L・sinα・sinβ/sin(α+β) ・・・(4)
L=√{(xaーxb)2+(ya-yb)2} ・・・(5)
tan(γ2)=(yb-ya)/(xb-xa) ・・・(6)
α1+α+(90度-α2)+γ2=180度・・・(7)
よって、
α=90度-α1+α2-γ2・・・(8)
また、β、β1、β2、γ2の間には、以下の関係がある。
β1+β+(90度-γ2-β2)=180度・・・(9)
よって、
β=90度-β1+β2+γ2・・・(10)
上記実施形態では、標識板200が正方形である場合を例にあげて説明した、しかし、標識板200正方形であるのは、端末位置が標識面と成す角度の算出を簡略化するためである。
sinα1=f1/f ・・・(11)
なお、f1は、縦の長さがfの場合の、横の長さである。
また、端末位置を算出する際、測距センサやカメラ121が備える焦点距離算出機能を用いてもよい。この場合の算出手法を、図9、図10を用いて説明する。なお、カメラ121が備える焦点距離算出機能を用いる場合は、カメラ121が焦点距離を算出可能な範囲に限定される。
xc=xa+LBcosα ・・・(12)
yc=√{(LB2-(LBcosα)2)} ・・・(13)
ここで、cosαは、余弦定理より、以下のように算出できる。
cosα=(LB2+L2-LA2)/2・LB・L ・・・(14)
xc=xa+LBcosα3 ・・・(15)
yc=ya-LBsinα3 ・・・(16)
なお、α1、α2およびα3との間には、
α1+α3+(90度-α2)=180度 ・・・(17)
よって、
α3=90度-α1+α2 ・・・(18)
また、上述では標識板200は、個別に作成された板状のものとして記載されているが、これに限ることは無く、例えば店内の広告の一部にプリントしても良い。これにより、広告が変わるたびに標識板200を一新し、QRコードに新しい情報を入れることも可能となる。
なお、上記実施形態では、算出した端末位置をディスプレイ131に表示させているが、計算部172による算出結果の処理は、これに限定されない。例えば、携帯端末100の現在位置を必要とする他のアプリケーションに出力してもよい。
なお、携帯端末100の位置情報を算出する基となる位置情報は、緯度経度に限定されない。例えば、各ショッピングセンタ等の独自の座標系の座標値であってもよい。この場合、上記商品の位置情報も同じ座標系の座標値で登録される。
次に、本発明の第二の実施形態を説明する。第一の実施形態では、標識板200に、標識画像における、水平面方向とそれに直交する方向との標識形状の歪みの比から、2つの標識板200の中心点を結ぶ線分の長さと、その両端角とを算出し、端末位置を算出している。
端末位置の算出手法の説明に先立ち、まず、本実施形態の標識板230について説明する。本実施形態の標識板230は、図12に示すように、円形形状を有する標識円231と、方位線232と、位置方位情報表示領域233と、を備える。
本実施形態の携帯端末100のハードウェア構成、機能ブロックは、第一の実施形態と基本的に同様の構成を有する。ただし、計算部172による計算手法が異なる。
次に、計算部172が、標識板230を撮影し、携帯端末100の現在位置を算出する手法を説明する。
LOX=R・cotθC ・・・(19)
正弦定理により、次式が成り立つ。
LOX/sinξE=LOE/sinθE ・・・(20)
LOX/sinξF=LOF/sinθF ・・・(21)
κE=LOE/sinθE ・・・(22)
κF=LOF/sinθF ・・・(23)
LOX=κEsinξE=κFsinξF ・・・(24)
ξE=180度-λE-θE ・・・(25)
ξF=λE-θF ・・・(26)
よって、距離LOXは、以下の式で表される。
LOX=κEsin(λE+θE)=κFsin(λE-θF) ・・・(27)
sinλE(κFcosθF-κEcosθE)=cosλE(κEsinθE+κFsinθF) ・・・(28)
上式の両辺の二乗を取ると、以下の式で表される。
cos2λE{(κEsinθE+κFsinθF)2+(κFcosθF-κEcosθE)2}=(κFcosθF-κEcosθE)2 ・・・(29)
なお、ここでは、sin2λE+cos2λE=1という関係を用いた。
cosλE=(κFcosθF-κEcosθE)/{(κEsinθE+κFsinθF)2+(κFcosθF-κEcosθE)2}1/2 ・・・(30)
同様に、sinλEは、以下のように算出される。
sinλE=(κEsinθE+κFsinθF)/{(κEsinθE+κFsinθF)2+(κFcosθF-κEcosθE)2}1/2 ・・・(31)
cosλE=(LOFcotθF-LOEcotθE)/{(LOE+LOF)2+(LOFcotθF-LOEcotθE)2}1/2 ・・・(32)
sinλE=(LOE+LOF)/{(LOE+LOF)2+(LOFcotθF-LOEcotθE)2}1/2 ・・・(33)
LOX=κEsinξE
=(LOE/sinθE)sin(λE+θE)
=(LOE/sinθE)(sinλEcosθE+cosλEsinθE)
=LOELOF(cotθE+cotθF)/{(LOE+LOF)2+(LOFcotθF-LOEcotθE)2}1/2 ・・・(34)
以下の計算で使用しないので、詳細は示さないが、残りの辺のLEXとLFXも正弦定理から求まる。すなわち、上述の方法により、E、O、F,Xで形成される三角形の全ての角と辺を算出することができる。
cosλE=(cotθF-cotθE)/{4+(cotθF-cotθE)2}1/2 ・・・(35)
sinλE=2/{4+(cotθF-cotθE)2}1/2 ・・・(36)
従って、LOXは、以下の式で求められる。
LOX=R(cotθE+cotθF)/{4+(cotθF-cotθE)2}1/2 ・・・(37)
VT=[VA,VS] ・・・(38)
ここで、ベクトルVTと線分OEとのなす角は、ηACに等しい。
VX=cosλEcosηACVT+cosλEsinηACVA+sinλEVS ・・・(39)
PX=PO+LOXVX ・・・(40)
次に、本発明の第三の実施形態を説明する。本実施形態では、標識の形状は利用せず、それぞれ3次元的な位置が既知の、複数の標識点を用い、携帯端末100の位置(端末位置)を算出する。
本実施形態の標識点の一例を図18に示す。本図に示すように、本実施形態では、1つの標識板240上に、4つの標識点241が配置される。本実施形態では、標識板240上の仮想的な四角形の各頂点に4点が配置されるものとする。すなわち、3点以上が同一直線上に配置されないものとする。以下、各標識点241をそれぞれ、点A,点B,点C、点Dと呼ぶ。
cosλA=(LOCcotθC-LOAcotθA)/{(LOA+LOC)2+(LOCcotθC-LOAcotθA)2}1/2 ・・・(41)
sinλA=(LOA+LOC)/{(LOA+LOC)2+(LOCcotθC-LOAcotθA)2}1/2 ・・・(42)
cosλB=(LODcotθD-LOBcotθB)/{(LOB+LOD)2+(LODcotθD-LOBcotθB)2}1/2 ・・・(43)
sinλB=(LOB+LOD)/{(LOB+LOD)2+(LODcotθD-LOBcotθB)2}1/2 ・・・(44)
LOX=LOALOC(cotθA+cotθC)/{(LOA+LOC)2+(LOCcotθC-LOAcotθA)2}1/2 ・・・(45)
LOX=LOBLOD(cotθB+cotθD)/{(LOB+LOD)2+(LODcotθD-LOBcotθB)2}1/2 ・・・(46)
VS=[VB,VA]/sinηBA ・・・(47)
[VX,[VB,VA]]=(VX,VA)VB-(VX,VB)VA ・・・(48)
上記式の両辺の二乗(内積として)をとる。このとき、VB,VAは、上記式(47)より、VSを用いて表すことができる。すなわち、VX,VB,VAの間の関係は、以下の式で表される。
[VX,[VB,VA]]=[VX,VS]sinηBA ・・・(49)
上記式の両辺の二乗(内積として)をとると、左辺および右辺は、それぞれ、以下の式で表される。
(左辺)2=sin2ηBA([VX,Vs],[VX,Vs])
=sin2ηBAsin2(90度-λX)
=sin2ηBAcos2λX ・・・(50)
(右辺)2=((cosλAVB-cosλBVA),(cosλAVB-cosλBVA))
=cos2λA+cos2λB-2cosλAcosλBcosηBA ・・・(51)
よって、上式より、cosλXは、以下の式で算出できる。
cosλX=(cos2λA+cos2λB-2cosλAcosλBcosηBA)1/2/|sinηBA| ・・・(52)
VT=[VX,VS]/cosλX
=[VX,[VB,VA]]/(cosλXsinηBA)
={(VX,VA)VB-(VX,VB)VA}/(cosλXsinηBA)
=(cosλAVB-cosλBVA)/(cosλXsinηBA) ・・・(53)
VTは標識面に平行で、VTとVHは直交し、VTを反時計回りに90度回転させるとVHに等しくなる。従って、VHは下記のように求まる。
VH=[VS,VT]
=[VS,(cosλAVB-cosλBVA)]/(cosλXsinηBA)
=[[VB,VA],(cosλAVB-cosλBVA)]/(cosλXsin2ηBA)
={cosλA[[VB,VA],VB]-cosλB[[VB,VA],VA]}/(cosλXsin2ηBA)
={cosλA(VA-cosηBAVB)-cosλB(cosηBAVA-VB)}/(cosλXsin2ηBA)
={(cosλA-cosλBcosηBA)VA+(cosλB-cosλAcosηBA)VB}/(cosλXsin2ηBA) ・・・(54)
PX=PO+LOXsinλXVS+LOXcosλXVH
=PO+(LOX/sin2ηBA)×{sgn(sinηBA)(sin2ηBA-cos2λA-cos2λB+2cosλAcosλBcosηBA)1/2[VB,VA]+(cosλA-cosλBcosηBA)VA+(cosλB-cosλAcosηBA)VB} ・・・(55)
ここで、sgn(sinηBA)は、以下の通りである。
sgn(sinηBA)=+1 if sinηBA>0 ・・・(56)
sgn(sinηBA)=-1 if sinηBA<0 ・・・(57)
PX=PO+LOX[VB,VA]/sinηBA=PO+LOXVS ・・・(58)
なお、上記式では、cosλX=0の場合も含まれる。
なお、本実施形態では、位置情報は、標識板240上に配置されていなくてもよい。仮想的な同一平面上であって、4点の標識点241と同時に撮影され、その情報を取得可能な位置に記載されていればよい。離れた位置に各標識点241が配置される場合、標識点毎にその点の位置座標が記載されていてもよい。
また、各標識点241は、四角形の頂点でなくてもよい。標識板240上で、少なくとも1点が、他の2つ以上の標識点241を結ぶ直線上になければよい。
LOB/sinθB=LOX/sinξB ・・・(59)
(4つの標識点が同一平面上にない場合)
また、4つの標識点241は、同一平面上になくてもよい。4つの標識点241が全て一直線上に配置されない限り、端末位置Xは算出可能である。以下、この場合の計算部172による端末位置Xの算出手法について説明する。
LOX=LOAsinξA/sinθA=LOBsinξB/sinθB ・・・(60)
また、三角形UOAと三角形UOBに関する正弦定理から次式が成り立つ。
LOU=LOAsinηA/sinζA=LOBsinηB/sinζB ・・・(61)
上記2式から、次の関係式が成り立つ。
sinξAsinζA/sinθAsinηA=sinξBsinζB/sinθBsinηB ・・・(62)
この関係式を変形すると、次式となる。
cotλA(cotηA+cotηB-cotθA-cotθB)=cotθBcotηB-cotθAcotηA ・・・(63)
cotηA+cotηB-cotθA-cotθB=0 ・・・(64)
このとき、以下の関係も成り立つ。
cotθBcotηB-cotθAcotηA=0 ・・・(65)
上記2式を連立させ、変形すると、次式となる。
cotηA=cotθB ・・・(66)
cotηB=cotθA ・・・(67)
すなわち、ηA、ηB、θA、θBは、それぞれ、三角形の内角であるため、以下の関係が成り立つ。
ηA=θB ・・・(68)
ηB=θA ・・・(69)
cotλC(cotηC+cotηD+cotθC+cotθD)=cotθDcotηD-cotθCcotηC ・・・(70)
cotλA(LAB-LUW(cotθA+cotθB))=LBWcotθB-LAWcotθA ・・・(71)
cotλC(LCD+LOQ(cotθC+cotθD))=LDQcotθD-LCQcotθC ・・・(72)
LAO=LAW-LUWcotλA ・・・(73)
LOX=(LAW-LUWcotλA)(cotθA+cotλA)sinλA ・・・(74)
LCU=LCQ+LOQcotλC ・・・(75)
LUX=(LCQ+LOQcotλC)(cotθC+cotλC)sinλC ・・・(76)
また、方位センサである3軸ジャイロセンサ142の出力も加味すれば、標識点241は、4点に限定されない。全点が一直線上にない限り、3点以上であればよい。3点以上の標識点241の位置座標があれば、標識点241が含まれる面の方位を計算することは可能である。また、後述するように、内部座標系の方位が正しければ、2点以上であってもよい。
以下、3点の標識点241が与えられた場合の、計算部172による端末位置Xの算出手法を説明する。なお、本変形例では、携帯端末100の方位センサである3軸ジャイロセンサ142の出力を用いる。以下、この手法を説明する。
cotλA’(LA’B’-LC’W’(cotθA’+cotθB’))=LB’W’cotθB’-LA’W’cotθA’ ・・・(77)
LA’O’=LA’W’-LC’W’cotλA’ ・・・(78)
LO’X’=(LA’W’-LC’W’cotλA’)(cotθA’+cotλA’)sinλA’ ・・・(79)
なお、図26(c)の場合は、点W’と点O’は一致する。
なお、さらに、方位センサである3軸ジャイロセンサ142の出力から、携帯端末100の内部座標系による方位が得られる場合、2つの標識点241の情報のみから端末位置Xを算出できる。
ここで、1つの標識点241が与えられる場合の内部座標系の方向の修正手法を説明する。この場合は、図28(b)に示すように、標識点Aを通る直線L上に端末位置X(o)が載っていることしか分からない。なお、VA (o)は、内部座標系で測定した携帯端末100の端末位置Xから見た標識点241の方向である。
(標識点の測定が複数の地点で行われる場合)
また、上記実施形態では、所有者910は、1か所で複数の標識点241を撮影し、端末位置Xを計算している。しかしながら、これに限定されない。所有者910は、異なる位置で取得した複数の標識点241を用いて、端末位置Xを計算してもよい。
DST=QT-QS ・・・(80)
PA’=PA+DST ・・・(81)
VTA’=VSA ・・・(82)
ここで、記号VIJは、内部座標系での地点Iからみた地点Jへの単位ベクトルである。
なお、本変形例の応用として、携帯端末100の所有者910が、移動しながら、端末位置を推定するために必要な標識点を取得し、新たな標識点を取得する毎に、最新の複数の標識点を用いて、現在位置を更新する手法を説明する。
さらに、本変形例では、所有者910が、画像を撮影する毎に、撮影した画像内の標識点241の有無を判別し、標識点241がある場合、過去に取得した標識点と合わせて、端末位置Xを算出するが、端末位置Xの算出に使用する標識点の数が4つに限定されない。さらに、同一の標識点であっても、異なる端末位置から測定した場合は、異なる標識点データとして扱ってもよい。以下、この場合の処理について説明する。
ここで、a(u)は、3軸加速度センサで測定した加速度で、g1は、重力加速度に補正用の加速度を加えたものであり、いずれも、内部座標系を基準とした量である。また、tは地点No.1の測定を行った時刻からの経過時間を表す。
(ケース1):今回の画像から新しく取得した標識点241も含め、新しい順に選んだ4つの標識点241の集合において、各標識点241の位置の現在地点からの距離を得る。そして、得られた距離の最大値とdmax4と予め定めた値d4とを比較する。dmax4が値d4より小さい場合は、その4つの標識点241を使用する。
(ケース2):ケース1を満たさない場合、新しい順に選んだ3つの標識点241の集合における前記距離の最大値dmax3と予め定められた値d3とを比較する。dmax3が値d3より小さい場合は、その3つの標識点241を使用する。
(ケース3):ケース2も満たさない場合、新しい順に選んだ2つの標識点の前記距離の最大値dmax2と予め定められた値d2とを比較する。dmax2が値d2より小さい場合は、その2つの測定点を使用する。
(ケース4):ケース3も満たさない場合、最も新しい標識点241のみを使用する。
距離の限界値としては、例えば、以下の関係を設定する。しかしながら、これに限定されない。
d4<d3<d2 ・・・(85)
X0=(1-Kn)X0 (d)+KnX0 (o) ・・・(86)
ここで、各重み係数は、例えば、以下の関係を有するものとする。
1≧K4>K3>K2>K1>0 ・・・(87)
ただし、重み係数の関係は、これに限定されない。
1≧K‘4>K’3>K‘2>K’1>0 ・・・(88)
ただし、重み係数の関係は、これに限定されない。
S0=S0 (d)-(X0 (d)-X0)/Δt ・・・(89)
ここで、Δtは、No.1の地点の測定時刻から、新たな測定を行った時刻までの経過時間である。
g0=g1-(S0-S0 (d))/Δt ・・・(90)
ここで、g0が補正後の重力加速度である。さらに、新たな内部座標系での表現にg0を変更する。
なお、本実施形態では、端末位置の推定に、予め標識板等に標識点241として添付したものを用いているが、これに限定されない。例えば、ランドマークの代表点、天井の隅等、建造物の特徴点を用いてもよい。この場合、計算部172は、これらの代表点または特徴点の位置座標を、サーバ960より取得して位置計算を行ってもよい。
また、本実施形態では、標識点241の近傍に配置された位置情報あるいは、QRコード等から標識点241の位置座標を取得しているが、これに限定されない。例えば、標識点241から位置情報(座標値)を送信可能な構成としてもよい。
上記各実施形態および変形例では、携帯端末100内で、現在位置を推定(算出)している。しかし、これに限定されない。携帯端末100で画像を取得し、アクセスポイント970およびネットワーク940を介して、サーバ960に送信し、サーバ960において、送信元の携帯端末100の現在位置を算出してもよい。この場合、算出結果を、送信元の携帯端末100へ返信する。
200:標識板、200a:標識板、201:位置方位情報表示領域、202:方位矢印、211:標識板、212:標識板、213:基準点、221:標識画像、222:標識画像、230:標識板、231:標識円、231i:標識円画像、232:方位線、232i:方位線画像、233:位置方位情報表示領域、234i:長軸、240:標識板、241:標識点、242:交点、243:位置情報表示領域、244:円周、
410:射影面、420:射影面、910:所有者、940:ネットワーク、950:基地局、960:サーバ、970:アクセスポイント
Claims (4)
- カメラと前記カメラで取得した画像を処理する処理部とを備える携帯端末を用いた位置および向き認識システムであって、
座標系が定義された空間には、複数の標識点と前記複数の標識点の前記空間内での位置情報を、画像解析により取得可能な態様の標識板が設置されており、
前記標識板の面である標識面に、前記位置情報および方位情報を撮影可能かつ撮影した画像を解析することにより前記位置情報および前記方位情報を取得可能な態様で表示する位置方位情報表示領域を備え、
前記携帯端末は、前記カメラで前記標識板を撮影して標識板画像を取得し、
前記処理部にて、前記標識板画像中の前記位置方位情報表示領域を解析して、前記複数の標識点の前記空間内での位置情報を取得し、
さらに、前記処理部にて、前記標識板画像中の前記複数の標識点の相対的位置関係の歪みから、前記携帯端末の前記空間内における位置および向きを計算すること、
を特徴とする位置および向き認識システム。 - 請求項1記載の位置および向き認識システムであって、
前記携帯端末はさらにディスプレイを備え、
前記携帯端末の前記空間内における位置および向きに基づいて、前記携帯端末は、前記空間内の物体に位置を合わせて、AR画像を前記ディスプレイに表示すること、
を特徴とする位置および向き認識システム。 - カメラと前記カメラで取得した画像を処理する処理部とを備える携帯端末であって、
座標系が定義された空間には、複数の標識点と前記複数の標識点の前記空間内での位置情報を、画像解析により取得可能な態様の標識板が設置されており、
前記標識板の面である標識面に、前記位置情報および方位情報を撮影可能かつ撮影した画像を解析することにより前記位置情報および前記方位情報を取得可能な態様で表示する位置方位情報表示領域を備え、
前記携帯端末は、前記カメラで前記標識板を撮影して標識板画像を取得し、
前記処理部にて、前記標識板画像中の前記位置方位情報表示領域を解析して、前記複数の標識点の前記空間内での位置情報を取得し、
さらに、前記処理部にて、前記標識板画像中の前記複数の標識点の相対的位置関係の歪みから、前記携帯端末の前記空間内における位置および向きを計算すること、
を特徴とする携帯端末。 - カメラと前記カメラで取得した画像を処理する処理部とを備える携帯端末を用いた位置および向き認識方法であって、
座標系が定義された空間には、複数の標識点と前記複数の標識点の前記空間内での位置情報を、画像解析により取得可能な態様の標識板が設置されており、
前記標識板の面である標識面に、前記位置情報および方位情報を撮影可能かつ撮影した画像を解析することにより前記位置情報および前記方位情報を取得可能な態様で表示する位置方位情報表示領域を備え、
前記携帯端末が、前記カメラで前記標識板を撮影して標識板画像を取得するステップと、
前記処理部にて、前記標識板画像中の前記位置方位情報表示領域を解析して、前記複数の標識点の前記空間内での位置情報を取得するステップと、
前記処理部にて、前記標識板画像中の前記複数の標識点の相対的位置関係の歪みから、
前記携帯端末の前記空間内における位置および向きを計算するステップと、を含む、
ことを特徴とする位置および向き認識方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022037091A JP7413421B2 (ja) | 2018-06-08 | 2022-03-10 | 位置および向き認識システム、携帯端末、及び位置および向き認識方法 |
JP2023220146A JP2024026547A (ja) | 2018-06-08 | 2023-12-27 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/022120 WO2019234936A1 (ja) | 2018-06-08 | 2018-06-08 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
JP2020523971A JP7041262B2 (ja) | 2018-06-08 | 2018-06-08 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
JP2022037091A JP7413421B2 (ja) | 2018-06-08 | 2022-03-10 | 位置および向き認識システム、携帯端末、及び位置および向き認識方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020523971A Division JP7041262B2 (ja) | 2018-06-08 | 2018-06-08 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023220146A Division JP2024026547A (ja) | 2018-06-08 | 2023-12-27 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022082583A JP2022082583A (ja) | 2022-06-02 |
JP7413421B2 true JP7413421B2 (ja) | 2024-01-15 |
Family
ID=68769851
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020523971A Active JP7041262B2 (ja) | 2018-06-08 | 2018-06-08 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
JP2022037091A Active JP7413421B2 (ja) | 2018-06-08 | 2022-03-10 | 位置および向き認識システム、携帯端末、及び位置および向き認識方法 |
JP2023220146A Pending JP2024026547A (ja) | 2018-06-08 | 2023-12-27 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020523971A Active JP7041262B2 (ja) | 2018-06-08 | 2018-06-08 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023220146A Pending JP2024026547A (ja) | 2018-06-08 | 2023-12-27 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
Country Status (2)
Country | Link |
---|---|
JP (3) | JP7041262B2 (ja) |
WO (1) | WO2019234936A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7304284B2 (ja) * | 2019-12-23 | 2023-07-06 | 株式会社構造計画研究所 | 位置推定装置、移動体、位置推定方法及びプログラム |
JP7478995B2 (ja) * | 2020-03-13 | 2024-05-08 | パナソニックIpマネジメント株式会社 | 携帯端末、ナビゲーション方法、及び、コンピュータプログラム |
JP7294735B2 (ja) * | 2020-06-15 | 2023-06-20 | Necソリューションイノベータ株式会社 | ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、プログラム、及び、記録媒体 |
US20240183665A1 (en) * | 2021-04-19 | 2024-06-06 | Ns Solutions Corporation | Information processing device, information processing method, and program |
JP7429049B2 (ja) * | 2021-04-23 | 2024-02-07 | 株式会社コンピュータサイエンス研究所 | 歩行者位置特定システム及び歩行者位置特定ソフトウェア |
CN113358032B (zh) * | 2021-05-20 | 2023-12-12 | 中交第二公路工程局有限公司 | 一种基于激光跟踪测距的隧道内自动监控量测量系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005107964A (ja) | 2003-09-30 | 2005-04-21 | Canon Inc | 指標識別方法および装置 |
JP2006099188A (ja) | 2004-09-28 | 2006-04-13 | Canon Inc | 情報処理方法および装置 |
JP2015158461A (ja) | 2014-02-25 | 2015-09-03 | 富士通株式会社 | 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム |
JP2016211973A (ja) | 2015-05-08 | 2016-12-15 | 富士通株式会社 | 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム |
JP2017181374A (ja) | 2016-03-31 | 2017-10-05 | 三井住友建設株式会社 | 表面高さ表示方法 |
JP6211157B1 (ja) | 2016-09-01 | 2017-10-11 | 三菱電機株式会社 | キャリブレーション装置およびキャリブレーション方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3501610B2 (ja) * | 1997-01-31 | 2004-03-02 | 新日本製鐵株式会社 | 三次元座標測定方法 |
JP2000205888A (ja) * | 1999-01-07 | 2000-07-28 | Hitachi Ltd | 位置・方位情報取得方法及び装置 |
JP6161704B2 (ja) * | 2014-02-12 | 2017-07-12 | ヤマハ発動機株式会社 | 撮影装置、車両および画像補正方法 |
JP6435750B2 (ja) * | 2014-09-26 | 2018-12-12 | 富士通株式会社 | 3次元座標算出装置、3次元座標算出方法および3次元座標算出プログラム |
EP3054264B1 (de) * | 2015-02-04 | 2017-04-12 | Prüftechnik Dieter Busch AG | Vorrichtung und Verfahren zum Ermitteln der Solllagen-Abweichung zweier Körper |
JP6770826B2 (ja) * | 2016-05-06 | 2020-10-21 | 計測ネットサービス株式会社 | 構造物の配置位置測定用の自動視準方法及び自動視準装置 |
-
2018
- 2018-06-08 WO PCT/JP2018/022120 patent/WO2019234936A1/ja active Application Filing
- 2018-06-08 JP JP2020523971A patent/JP7041262B2/ja active Active
-
2022
- 2022-03-10 JP JP2022037091A patent/JP7413421B2/ja active Active
-
2023
- 2023-12-27 JP JP2023220146A patent/JP2024026547A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005107964A (ja) | 2003-09-30 | 2005-04-21 | Canon Inc | 指標識別方法および装置 |
JP2006099188A (ja) | 2004-09-28 | 2006-04-13 | Canon Inc | 情報処理方法および装置 |
JP2015158461A (ja) | 2014-02-25 | 2015-09-03 | 富士通株式会社 | 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム |
JP2016211973A (ja) | 2015-05-08 | 2016-12-15 | 富士通株式会社 | 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム |
JP2017181374A (ja) | 2016-03-31 | 2017-10-05 | 三井住友建設株式会社 | 表面高さ表示方法 |
JP6211157B1 (ja) | 2016-09-01 | 2017-10-11 | 三菱電機株式会社 | キャリブレーション装置およびキャリブレーション方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7041262B2 (ja) | 2022-03-23 |
WO2019234936A1 (ja) | 2019-12-12 |
JPWO2019234936A1 (ja) | 2021-02-25 |
JP2024026547A (ja) | 2024-02-28 |
JP2022082583A (ja) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7413421B2 (ja) | 位置および向き認識システム、携帯端末、及び位置および向き認識方法 | |
US9953461B2 (en) | Navigation system applying augmented reality | |
JP4142460B2 (ja) | 運動検出装置 | |
Verma et al. | Indoor navigation using augmented reality | |
US9189853B1 (en) | Automatic pose estimation from uncalibrated unordered spherical panoramas | |
KR101285360B1 (ko) | 증강현실을 이용한 관심 지점 표시 장치 및 방법 | |
US10921127B2 (en) | Augmented reality based electronic device to provide location tagging assistance in an indoor or outdoor area | |
US20160327946A1 (en) | Information processing device, information processing method, terminal device, and setting method | |
TW201428236A (zh) | 室內定位系統及方法 | |
US9074887B2 (en) | Method and device for detecting distance, identifying positions of targets, and identifying current position in smart portable device | |
CA3058243C (en) | Information display method and apparatus | |
US20110183684A1 (en) | Mobile communication terminal and method | |
Feng et al. | Augmented reality markers as spatial indices for indoor mobile AECFM applications | |
CN101922928B (zh) | 智能型手持装置测距、辨识位置的方法、装置及电子装置 | |
Pagani et al. | Sensors for location-based augmented reality the example of galileo and egnos | |
KR101413605B1 (ko) | 네비게이션 시스템 및 방법 | |
JP2006010563A (ja) | 歩行者用ナビゲーションシステム | |
JP7220784B2 (ja) | 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体 | |
US20120026324A1 (en) | Image capturing terminal, data processing terminal, image capturing method, and data processing method | |
CN103557834A (zh) | 一种基于双摄像头的实体定位方法 | |
JP7412260B2 (ja) | 測位システム、測位装置、測位方法および測位プログラム | |
JP6959305B2 (ja) | 生成装置、生成方法、および生成プログラム | |
JP2021081382A (ja) | 情報表示システム、情報表示装置、情報表示方法および情報表示プログラム | |
JP2005241265A (ja) | 3次元ナビゲーションシステム | |
JP7039535B2 (ja) | 生成装置、生成方法、および生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7413421 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |