JP7041262B2 - 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 - Google Patents
携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 Download PDFInfo
- Publication number
- JP7041262B2 JP7041262B2 JP2020523971A JP2020523971A JP7041262B2 JP 7041262 B2 JP7041262 B2 JP 7041262B2 JP 2020523971 A JP2020523971 A JP 2020523971A JP 2020523971 A JP2020523971 A JP 2020523971A JP 7041262 B2 JP7041262 B2 JP 7041262B2
- Authority
- JP
- Japan
- Prior art keywords
- sign
- point
- camera
- marking
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Telephone Function (AREA)
Description
本実施形態では、位置情報が既知のランドマークであって、カメラから離れた位置のランドマークをカメラで撮影し、画像処理により、カメラの位置を算出(推定)する。
標識板200の詳細を、図2を用いて説明する。本図に示すように、本実施形態の標識板200は、例えば、一辺がLSの正方形形状を有する。
次に、携帯端末100の構成を説明する。携帯端末100は、撮影機能と、情報処理機能とを有する情報処理装置である。例えば、携帯電話、スマートフォン、タブレット端末、ウォッチやヘッドマウントディスプレイなどのウェアラブル端末、フィーチャーフォン、または、その他の携帯用デジタル機器等である。さらに、ドローン等の自律型機器でもよい。
次に、本実施形態の端末位置推定部170による端末位置推定処理を説明する。ここでは、画像取得部171が取得した異なる2か所の標識板200の情報を解析し、計算部172が、所有者910の現在位置を算出(端末位置推定)する手法を、図4(a)~図6を用いて説明する。本実施形態では、現在位置として算出されるのは、所有者910が保持する携帯端末100の位置である。以下、本実施形態では、算出される現在位置を、端末位置と呼ぶ。
xc=xa+d/tanα ・・・(1)
yc=ya-d ・・・(2)
ここで、d、Lは、以下の式で算出される。
d=L/(1/tanα+1/tanβ) ・・・(3)
=L・sinα・sinβ/sin(α+β) ・・・(4)
L=√{(xaーxb)2+(ya-yb)2} ・・・(5)
tan(γ2)=(yb-ya)/(xb-xa) ・・・(6)
α1+α+(90度-α2)+γ2=180度・・・(7)
よって、
α=90度-α1+α2-γ2・・・(8)
また、β、β1、β2、γ2の間には、以下の関係がある。
β1+β+(90度-γ2-β2)=180度・・・(9)
よって、
β=90度-β1+β2+γ2・・・(10)
上記実施形態では、標識板200が正方形である場合を例にあげて説明した、しかし、標識板200正方形であるのは、端末位置が標識面と成す角度の算出を簡略化するためである。
sinα1=f1/f ・・・(11)
なお、f1は、縦の長さがfの場合の、横の長さである。
また、端末位置を算出する際、測距センサやカメラ121が備える焦点距離算出機能を用いてもよい。この場合の算出手法を、図9、図10を用いて説明する。なお、カメラ121が備える焦点距離算出機能を用いる場合は、カメラ121が焦点距離を算出可能な範囲に限定される。
xc=xa+LBcosα ・・・(12)
yc=√{(LB2-(LBcosα)2)} ・・・(13)
ここで、cosαは、余弦定理より、以下のように算出できる。
cosα=(LB2+L2-LA2)/2・LB・L ・・・(14)
xc=xa+LBcosα3 ・・・(15)
yc=ya-LBsinα3 ・・・(16)
なお、α1、α2およびα3との間には、
α1+α3+(90度-α2)=180度 ・・・(17)
よって、
α3=90度-α1+α2 ・・・(18)
また、上述では標識板200は、個別に作成された板状のものとして記載されているが、これに限ることは無く、例えば店内の広告の一部にプリントしても良い。これにより、広告が変わるたびに標識板200を一新し、QRコードに新しい情報を入れることも可能となる。
なお、上記実施形態では、算出した端末位置をディスプレイ131に表示させているが、計算部172による算出結果の処理は、これに限定されない。例えば、携帯端末100の現在位置を必要とする他のアプリケーションに出力してもよい。
なお、携帯端末100の位置情報を算出する基となる位置情報は、緯度経度に限定されない。例えば、各ショッピングセンタ等の独自の座標系の座標値であってもよい。この場合、上記商品の位置情報も同じ座標系の座標値で登録される。
次に、本発明の第二の実施形態を説明する。第一の実施形態では、標識板200に、標識画像における、水平面方向とそれに直交する方向との標識形状の歪みの比から、2つの標識板200の中心点を結ぶ線分の長さと、その両端角とを算出し、端末位置を算出している。
端末位置の算出手法の説明に先立ち、まず、本実施形態の標識板230について説明する。本実施形態の標識板230は、図12に示すように、円形形状を有する標識円231と、方位線232と、位置方位情報表示領域233と、を備える。
本実施形態の携帯端末100のハードウェア構成、機能ブロックは、第一の実施形態と基本的に同様の構成を有する。ただし、計算部172による計算手法が異なる。
次に、計算部172が、標識板230を撮影し、携帯端末100の現在位置を算出する手法を説明する。
LOX=R・cotθC ・・・(19)
正弦定理により、次式が成り立つ。
LOX/sinξE=LOE/sinθE ・・・(20)
LOX/sinξF=LOF/sinθF ・・・(21)
κE=LOE/sinθE ・・・(22)
κF=LOF/sinθF ・・・(23)
LOX=κEsinξE=κFsinξF ・・・(24)
ξE=180度-λE-θE ・・・(25)
ξF=λE-θF ・・・(26)
よって、距離LOXは、以下の式で表される。
LOX=κEsin(λE+θE)=κFsin(λE-θF) ・・・(27)
sinλE(κFcosθF-κEcosθE)=cosλE(κEsinθE+κFsinθF) ・・・(28)
上式の両辺の二乗を取ると、以下の式で表される。
cos2λE{(κEsinθE+κFsinθF)2+(κFcosθF-κEcosθE)2}=(κFcosθF-κEcosθE)2 ・・・(29)
なお、ここでは、sin2λE+cos2λE=1という関係を用いた。
cosλE=(κFcosθF-κEcosθE)/{(κEsinθE+κFsinθF)2+(κFcosθF-κEcosθE)2}1/2 ・・・(30)
同様に、sinλEは、以下のように算出される。
sinλE=(κEsinθE+κFsinθF)/{(κEsinθE+κFsinθF)2+(κFcosθF-κEcosθE)2}1/2 ・・・(31)
cosλE=(LOFcotθF-LOEcotθE)/{(LOE+LOF)2+(LOFcotθF-LOEcotθE)2}1/2 ・・・(32)
sinλE=(LOE+LOF)/{(LOE+LOF)2+(LOFcotθF-LOEcotθE)2}1/2 ・・・(33)
LOX=κEsinξE
=(LOE/sinθE)sin(λE+θE)
=(LOE/sinθE)(sinλEcosθE+cosλEsinθE)
=LOELOF(cotθE+cotθF)/{(LOE+LOF)2+(LOFcotθF-LOEcotθE)2}1/2 ・・・(34)
以下の計算で使用しないので、詳細は示さないが、残りの辺のLEXとLFXも正弦定理から求まる。すなわち、上述の方法により、E、O、F,Xで形成される三角形の全ての角と辺を算出することができる。
cosλE=(cotθF-cotθE)/{4+(cotθF-cotθE)2}1/2 ・・・(35)
sinλE=2/{4+(cotθF-cotθE)2}1/2 ・・・(36)
従って、LOXは、以下の式で求められる。
LOX=R(cotθE+cotθF)/{4+(cotθF-cotθE)2}1/2 ・・・(37)
VT=[VA,VS] ・・・(38)
ここで、ベクトルVTと線分OEとのなす角は、ηACに等しい。
VX=cosλEcosηACVT+cosλEsinηACVA+sinλEVS ・・・(39)
PX=PO+LOXVX ・・・(40)
次に、本発明の第三の実施形態を説明する。本実施形態では、標識の形状は利用せず、それぞれ3次元的な位置が既知の、複数の標識点を用い、携帯端末100の位置(端末位置)を算出する。
本実施形態の標識点の一例を図18に示す。本図に示すように、本実施形態では、1つの標識板240上に、4つの標識点241が配置される。本実施形態では、標識板240上の仮想的な四角形の各頂点に4点が配置されるものとする。すなわち、3点以上が同一直線上に配置されないものとする。以下、各標識点241をそれぞれ、点A,点B,点C、点Dと呼ぶ。
cosλA=(LOCcotθC-LOAcotθA)/{(LOA+LOC)2+(LOCcotθC-LOAcotθA)2}1/2 ・・・(41)
sinλA=(LOA+LOC)/{(LOA+LOC)2+(LOCcotθC-LOAcotθA)2}1/2 ・・・(42)
cosλB=(LODcotθD-LOBcotθB)/{(LOB+LOD)2+(LODcotθD-LOBcotθB)2}1/2 ・・・(43)
sinλB=(LOB+LOD)/{(LOB+LOD)2+(LODcotθD-LOBcotθB)2}1/2 ・・・(44)
LOX=LOALOC(cotθA+cotθC)/{(LOA+LOC)2+(LOCcotθC-LOAcotθA)2}1/2 ・・・(45)
LOX=LOBLOD(cotθB+cotθD)/{(LOB+LOD)2+(LODcotθD-LOBcotθB)2}1/2 ・・・(46)
VS=[VB,VA]/sinηBA ・・・(47)
[VX,[VB,VA]]=(VX,VA)VB-(VX,VB)VA ・・・(48)
上記式の両辺の二乗(内積として)をとる。このとき、VB,VAは、上記式(47)より、VSを用いて表すことができる。すなわち、VX,VB,VAの間の関係は、以下の式で表される。
[VX,[VB,VA]]=[VX,VS]sinηBA ・・・(49)
上記式の両辺の二乗(内積として)をとると、左辺および右辺は、それぞれ、以下の式で表される。
(左辺)2=sin2ηBA([VX,Vs],[VX,Vs])
=sin2ηBAsin2(90度-λX)
=sin2ηBAcos2λX ・・・(50)
(右辺)2=((cosλAVB-cosλBVA),(cosλAVB-cosλBVA))
=cos2λA+cos2λB-2cosλAcosλBcosηBA ・・・(51)
よって、上式より、cosλXは、以下の式で算出できる。
cosλX=(cos2λA+cos2λB-2cosλAcosλBcosηBA)1/2/|sinηBA| ・・・(52)
VT=[VX,VS]/cosλX
=[VX,[VB,VA]]/(cosλXsinηBA)
={(VX,VA)VB-(VX,VB)VA}/(cosλXsinηBA)
=(cosλAVB-cosλBVA)/(cosλXsinηBA) ・・・(53)
VTは標識面に平行で、VTとVHは直交し、VTを反時計回りに90度回転させるとVHに等しくなる。従って、VHは下記のように求まる。
VH=[VS,VT]
=[VS,(cosλAVB-cosλBVA)]/(cosλXsinηBA)
=[[VB,VA],(cosλAVB-cosλBVA)]/(cosλXsin2ηBA)
={cosλA[[VB,VA],VB]-cosλB[[VB,VA],VA]}/(cosλXsin2ηBA)
={cosλA(VA-cosηBAVB)-cosλB(cosηBAVA-VB)}/(cosλXsin2ηBA)
={(cosλA-cosλBcosηBA)VA+(cosλB-cosλAcosηBA)VB}/(cosλXsin2ηBA) ・・・(54)
PX=PO+LOXsinλXVS+LOXcosλXVH
=PO+(LOX/sin2ηBA)×{sgn(sinηBA)(sin2ηBA-cos2λA-cos2λB+2cosλAcosλBcosηBA)1/2[VB,VA]+(cosλA-cosλBcosηBA)VA+(cosλB-cosλAcosηBA)VB} ・・・(55)
ここで、sgn(sinηBA)は、以下の通りである。
sgn(sinηBA)=+1 if sinηBA>0 ・・・(56)
sgn(sinηBA)=-1 if sinηBA<0 ・・・(57)
PX=PO+LOX[VB,VA]/sinηBA=PO+LOXVS ・・・(58)
なお、上記式では、cosλX=0の場合も含まれる。
なお、本実施形態では、位置情報は、標識板240上に配置されていなくてもよい。仮想的な同一平面上であって、4点の標識点241と同時に撮影され、その情報を取得可能な位置に記載されていればよい。離れた位置に各標識点241が配置される場合、標識点毎にその点の位置座標が記載されていてもよい。
また、各標識点241は、四角形の頂点でなくてもよい。標識板240上で、少なくとも1点が、他の2つ以上の標識点241を結ぶ直線上になければよい。
LOB/sinθB=LOX/sinξB ・・・(59)
(4つの標識点が同一平面上にない場合)
また、4つの標識点241は、同一平面上になくてもよい。4つの標識点241が全て一直線上に配置されない限り、端末位置Xは算出可能である。以下、この場合の計算部172による端末位置Xの算出手法について説明する。
LOX=LOAsinξA/sinθA=LOBsinξB/sinθB ・・・(60)
また、三角形UOAと三角形UOBに関する正弦定理から次式が成り立つ。
LOU=LOAsinηA/sinζA=LOBsinηB/sinζB ・・・(61)
上記2式から、次の関係式が成り立つ。
sinξAsinζA/sinθAsinηA=sinξBsinζB/sinθBsinηB ・・・(62)
この関係式を変形すると、次式となる。
cotλA(cotηA+cotηB-cotθA-cotθB)=cotθBcotηB-cotθAcotηA ・・・(63)
cotηA+cotηB-cotθA-cotθB=0 ・・・(64)
このとき、以下の関係も成り立つ。
cotθBcotηB-cotθAcotηA=0 ・・・(65)
上記2式を連立させ、変形すると、次式となる。
cotηA=cotθB ・・・(66)
cotηB=cotθA ・・・(67)
すなわち、ηA、ηB、θA、θBは、それぞれ、三角形の内角であるため、以下の関係が成り立つ。
ηA=θB ・・・(68)
ηB=θA ・・・(69)
cotλC(cotηC+cotηD+cotθC+cotθD)=cotθDcotηD-cotθCcotηC ・・・(70)
cotλA(LAB-LUW(cotθA+cotθB))=LBWcotθB-LAWcotθA ・・・(71)
cotλC(LCD+LOQ(cotθC+cotθD))=LDQcotθD-LCQcotθC ・・・(72)
LAO=LAW-LUWcotλA ・・・(73)
LOX=(LAW-LUWcotλA)(cotθA+cotλA)sinλA ・・・(74)
LCU=LCQ+LOQcotλC ・・・(75)
LUX=(LCQ+LOQcotλC)(cotθC+cotλC)sinλC ・・・(76)
また、方位センサである3軸ジャイロセンサ142の出力も加味すれば、標識点241は、4点に限定されない。全点が一直線上にない限り、3点以上であればよい。3点以上の標識点241の位置座標があれば、標識点241が含まれる面の方位を計算することは可能である。また、後述するように、内部座標系の方位が正しければ、2点以上であってもよい。
以下、3点の標識点241が与えられた場合の、計算部172による端末位置Xの算出手法を説明する。なお、本変形例では、携帯端末100の方位センサである3軸ジャイロセンサ142の出力を用いる。以下、この手法を説明する。
cotλA’(LA’B’-LC’W’(cotθA’+cotθB’))=LB’W’cotθB’-LA’W’cotθA’ ・・・(77)
LA’O’=LA’W’-LC’W’cotλA’ ・・・(78)
LO’X’=(LA’W’-LC’W’cotλA’)(cotθA’+cotλA’)sinλA’ ・・・(79)
なお、図26(c)の場合は、点W’と点O’は一致する。
なお、さらに、方位センサである3軸ジャイロセンサ142の出力から、携帯端末100の内部座標系による方位が得られる場合、2つの標識点241の情報のみから端末位置Xを算出できる。
ここで、1つの標識点241が与えられる場合の内部座標系の方向の修正手法を説明する。この場合は、図28(b)に示すように、標識点Aを通る直線L上に端末位置X(o)が載っていることしか分からない。なお、VA (o)は、内部座標系で測定した携帯端末100の端末位置Xから見た標識点241の方向である。
(標識点の測定が複数の地点で行われる場合)
また、上記実施形態では、所有者910は、1か所で複数の標識点241を撮影し、端末位置Xを計算している。しかしながら、これに限定されない。所有者910は、異なる位置で取得した複数の標識点241を用いて、端末位置Xを計算してもよい。
DST=QT-QS ・・・(80)
PA’=PA+DST ・・・(81)
VTA’=VSA ・・・(82)
ここで、記号VIJは、内部座標系での地点Iからみた地点Jへの単位ベクトルである。
なお、本変形例の応用として、携帯端末100の所有者910が、移動しながら、端末位置を推定するために必要な標識点を取得し、新たな標識点を取得する毎に、最新の複数の標識点を用いて、現在位置を更新する手法を説明する。
さらに、本変形例では、所有者910が、画像を撮影する毎に、撮影した画像内の標識点241の有無を判別し、標識点241がある場合、過去に取得した標識点と合わせて、端末位置Xを算出するが、端末位置Xの算出に使用する標識点の数が4つに限定されない。さらに、同一の標識点であっても、異なる端末位置から測定した場合は、異なる標識点データとして扱ってもよい。以下、この場合の処理について説明する。
(ケース1):今回の画像から新しく取得した標識点241も含め、新しい順に選んだ4つの標識点241の集合において、各標識点241の位置の現在地点からの距離を得る。そして、得られた距離の最大値とdmax4と予め定めた値d4とを比較する。dmax4が値d4より小さい場合は、その4つの標識点241を使用する。
(ケース2):ケース1を満たさない場合、新しい順に選んだ3つの標識点241の集合における前記距離の最大値dmax3と予め定められた値d3とを比較する。dmax3が値d3より小さい場合は、その3つの標識点241を使用する。
(ケース3):ケース2も満たさない場合、新しい順に選んだ2つの標識点の前記距離の最大値dmax2と予め定められた値d2とを比較する。dmax2が値d2より小さい場合は、その2つの測定点を使用する。
(ケース4):ケース3も満たさない場合、最も新しい標識点241のみを使用する。
距離の限界値としては、例えば、以下の関係を設定する。しかしながら、これに限定されない。
d4<d3<d2 ・・・(85)
X0=(1-Kn)X0 (d)+KnX0 (o) ・・・(86)
ここで、各重み係数は、例えば、以下の関係を有するものとする。
1≧K4>K3>K2>K1>0 ・・・(87)
ただし、重み係数の関係は、これに限定されない。
1≧K‘4>K’3>K‘2>K’1>0 ・・・(88)
ただし、重み係数の関係は、これに限定されない。
S0=S0 (d)-(X0 (d)-X0)/Δt ・・・(89)
ここで、Δtは、No.1の地点の測定時刻から、新たな測定を行った時刻までの経過時間である。
g0=g1-(S0-S0 (d))/Δt ・・・(90)
ここで、g0が補正後の重力加速度である。さらに、新たな内部座標系での表現にg0を変更する。
なお、本実施形態では、端末位置の推定に、予め標識板等に標識点241として添付したものを用いているが、これに限定されない。例えば、ランドマークの代表点、天井の隅等、建造物の特徴点を用いてもよい。この場合、計算部172は、これらの代表点または特徴点の位置座標を、サーバ960より取得して位置計算を行ってもよい。
また、本実施形態では、標識点241の近傍に配置された位置情報あるいは、QRコード等から標識点241の位置座標を取得しているが、これに限定されない。例えば、標識点241から位置情報(座標値)を送信可能な構成としてもよい。
上記各実施形態および変形例では、携帯端末100内で、現在位置を推定(算出)している。しかし、これに限定されない。携帯端末100で画像を取得し、アクセスポイント970およびネットワーク940を介して、サーバ960に送信し、サーバ960において、送信元の携帯端末100の現在位置を算出してもよい。この場合、算出結果を、送信元の携帯端末100へ返信する。
200:標識板、200a:標識板、201:位置方位情報表示領域、202:方位矢印、211:標識板、212:標識板、213:基準点、221:標識画像、222:標識画像、230:標識板、231:標識円、231i:標識円画像、232:方位線、232i:方位線画像、233:位置方位情報表示領域、234i:長軸、240:標識板、241:標識点、242:交点、243:位置情報表示領域、244:円周、
410:射影面、420:射影面、910:所有者、940:ネットワーク、950:基地局、960:サーバ、970:アクセスポイント
Claims (19)
- カメラと、前記カメラで取得した画像を処理する処理部と、を備える携帯端末であって、
前記処理部は、
前記カメラにより、当該携帯端末から離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む画像である標識画像を取得する画像取得部と、
取得した前記標識画像を解析し、当該携帯端末の位置である端末位置を算出する計算部と、を備え、
前記計算部は、前記2つの標識点の位置と、前記2つの標識点をそれぞれ含む2つの標識板の面である標識面それぞれと前記携帯端末とのなす角度と、2つの標識板の方位情報と、に基づいて、前記2つの標識点の間の長さと、前記端末位置と前記2つの標識点とで形成される第一の三角形における、前記2つの標識点それぞれにおける内角と、を算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記端末位置を算出すること
を特徴とする携帯端末。 - 請求項1記載の携帯端末であって、
前記画像取得部は、前記2つの標識板を前記カメラでそれぞれ撮影することにより、前記標識画像を取得し、
前記2つの標識板それぞれの中心点と前記端末位置とは同一水平面上にあり、
前記2つの標識点は、前記2つの標識板それぞれの前記中心点であり、
前記2つの標識板は、それぞれ、前記標識画像の歪みから前記カメラと前記中心点とを結ぶ線分が、前記標識面の法線と成す角度を計測可能な形状を有し、
前記計算部は、前記標識画像の歪みに基づいて、前記内角を算出すること
を特徴とする携帯端末。 - カメラと、前記カメラで取得した画像を処理する処理部と、を備える携帯端末であって、
前記処理部は、
前記カメラにより、当該携帯端末から離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む標識板の画像である標識画像を取得する画像取得部と、
取得した前記標識画像を解析し、当該携帯端末の位置である端末位置を算出する計算部と、を備え、
前記標識板は、中心点の位置情報および当該標識板の標識面の方位情報が既知であり、前記中心点を中心とする標識円と、当該標識円の中心を通る弦である方位線と、を備え、
前記2つの標識点は、当該標識円上の所定の直径と当該標識円の円周とが交差する所定の2点であり、
前記画像取得部は、前記標識板を当該標識板の標識面の法線方向とは異なる方向から撮影することにより、前記標識画像を得、
前記計算部は、前記2つの標識点の位置情報と、前記端末位置および前記2つの標識点とで形成される第一三角形の面の方向とを算出し、算出した前記2つの標識点の位置情報および前記第一三角形の面の方向とを用いて、当該第一三角形における、前記2つの標識点それぞれにおける内角と、前記2つの標識点の間の長さとを算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記端末位置を算出すること
を特徴とする携帯端末。 - カメラと、前記カメラで取得した画像を処理する処理部と、を備える携帯端末であって、
前記処理部は、
前記カメラにより、当該携帯端末から離れた位置の異なる4つの標識点であって位置情報が既知の標識点を含む標識板の画像である標識画像を取得する画像取得部と、
取得した前記標識画像を解析し、当該携帯端末の位置である端末位置を算出する計算部と、を備え、
前記4つの標識点は、同一平面上にあり、1点が同一線上になく、
前記計算部は、前記4つの標識点の位置情報を用いて、
同一線上にある3点の標識点のうちの、両端の2つの標識点である第一標識点および第二標識点を結ぶ線分と、前記端末位置と前記第一標識点および前記第二標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記同一線上にある3点の標識点のうちの中間の標識点である第三標識点と前記端末位置との間の距離である第一距離と、前記端末位置、前記第一標識点および前記第三標識点で形成される第一三角形における前記第三標識点における第一内角と、を算出するとともに、
前記同一線上にない標識点である第四標識点と前記第三標識点とを結ぶ線分と、前記端末位置と前記第三標識点および前記第四標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記第一距離と、前記端末位置、前記第三標識点および前記第四標識点で形成される第二三角形における前記第三標識点における第二内角と、を算出し、
前記第一距離、前記第一内角および前記第二内角を用いて、前記端末位置を算出し、
前記第一三角形の前記端末位置における内角および前記第二三角形の前記端末位置における内角は、それぞれ、前記標識画像を解析することにより得ること
を特徴とする携帯端末。 - 請求項4記載の携帯端末であって、
前記第三標識点は、前記第一標識点と、前記第二標識点と、前記第四標識点と、第五標識点とで形成される四角形の対角線の交点であり、
前記第五標識点は、前記4つの標識点のいずれとも異なる位置にあり、かつ、当該4つの標識点と同一平面上にあること
を特徴とする携帯端末。 - 請求項1から5いずれか1項記載の携帯端末であって、
前記標識点は、予め位置情報が既知のランドマークの代表点であること
を特徴とする携帯端末。 - 請求項1から6いずれか1項記載の携帯端末であって、
算出した前記端末位置を当該携帯端末のディスプレイに表示させる表示制御部をさらに備えること
を特徴とする携帯端末。 - 請求項7記載の携帯端末であって、
前記ディスプレイは、ユーザから目標地点の設定を受け付ける受付部を兼ね、
前記表示制御部は、算出した前記端末位置と前記携帯端末の向きとに基づいて、前記目標地点の3次元的位置を示す画像を、前記カメラで取得した実画像に重畳させて表示すること
を特徴とする携帯端末。 - 請求項1から8いずれか1項記載の携帯端末であって、
ナビゲーションを行うナビゲーション部をさらに備え、
前記計算部は、算出した前記端末位置を、前記ナビゲーション部に出力すること
を特徴とする携帯端末。 - カメラと、前記カメラで取得した画像を処理する処理装置と、を備え、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定システムであって、
前記カメラは、前記画像として、当該カメラから離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む標識画像を取得し、
前記処理装置は、前記2つの標識点の位置と、前記2つの標識点をそれぞれ含む2つの標識板の面である標識面それぞれと前記カメラとのなす角度と、2つの標識板の方位情報と、に基づいて、前記2つの標識点の間の長さと、前記カメラ位置と前記2つの標識点とで形成される第一の三角形における、前記2つの標識点それぞれにおける内角と、を算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記カメラ位置を算出すること
を特徴とするカメラ位置推定システム。 - カメラと、前記カメラで取得した画像を処理する処理装置と、を備え、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定システムであって、
前記カメラは、前記画像として、当該カメラから離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む標識板の標識画像を、前記標識板を当該標識板の標識面の法線方向とは異なる方向から撮影することにより、取得し、
前記標識板は、中心点の位置情報および当該標識板の標識面の方位情報が既知であり、前記中心点を中心とする標識円と、当該標識円の中心を通る弦である方位線と、を備え、
前記2つの標識点は、当該標識円上の所定の直径と当該標識円の円周とが交差する所定の2点であり、
前記処理装置は、前記2つの標識点の位置情報と、前記カメラ位置および前記2つの標識点とで形成される第一三角形の面の方向とを算出し、算出した前記2つの標識点の位置情報および前記第一三角形の面の方向とを用いて、当該第一三角形における、前記2つの標識点それぞれにおける内角と、前記2つの標識点の間の長さとを算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記カメラ位置を算出すること
を特徴とするカメラ位置推定システム。 - カメラと、前記カメラで取得した画像を処理する処理装置と、を備え、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定システムであって、
前記カメラは、前記画像として、当該カメラから離れた位置の異なる4つの標識点であって位置情報が既知の標識点を含む標識板の標識画像を取得し、
前記4つの標識点は、同一平面上にあり、1点が同一線上になく、
前記処理装置は、前記4つの標識点の位置情報を用いて、
同一線上にある3点の標識点のうちの、両端の2つの標識点である第一標識点および第二標識点を結ぶ線分と、前記カメラ位置と前記第一標識点および前記第二標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記同一線上にある3点の標識点のうちの中間の標識点である第三標識点と前記カメラ位置との間の距離である第一距離と、前記カメラ位置、前記第一標識点および前記第三標識点で形成される第一三角形における前記第三標識点における第一内角と、を算出するとともに、
前記同一線上にない標識点である第四標識点と前記第三標識点とを結ぶ線分と、前記カメラ位置と前記第三標識点および前記第四標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記第一距離と、前記カメラ位置、前記第三標識点および前記第四標識点で形成される第二三角形における前記第三標識点における第二内角と、を算出し、
前記第一距離、前記第一内角および前記第二内角を用いて、前記カメラ位置を算出し、
前記第一三角形の前記カメラ位置における内角および前記第二三角形の前記カメラ位置における内角は、それぞれ、前記標識画像を解析することにより得ること
を特徴とするカメラ位置推定システム。 - カメラと、前記カメラで取得した画像を処理する処理装置と、を備えるシステムにおいて、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定方法であって、
前記カメラにより、前記画像として、当該カメラから離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む標識画像を取得し、
前記2つの標識点の位置と、前記2つの標識点をそれぞれ含む2つの標識板の面である標識面それぞれと前記カメラとのなす角度と、2つの標識板の方位情報と、に基づいて、前記2つの標識点の間の長さと、前記カメラ位置と前記2つの標識点とで形成される第一の三角形における、前記2つの標識点それぞれにおける内角と、を算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記カメラ位置を算出する、カメラ位置推定方法。 - カメラと、前記カメラで取得した画像を処理する処理装置と、を備えるシステムにおいて、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定方法であって、
前記カメラにより、前記画像として、当該カメラから離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む標識板の標識画像を、前記標識板を当該標識板の標識面の法線方向とは異なる方向から撮影することにより、取得し、
前記標識板は、中心点の位置情報および当該標識板の標識面の方位情報が既知であり、前記中心点を中心とする標識円と、当該標識円の中心を通る弦である方位線と、を備え、
前記2つの標識点は、当該標識円上の所定の直径と当該標識円の円周とが交差する所定の2点であり、
前記2つの標識点の位置情報と、前記カメラ位置および前記2つの標識点とで形成される第一三角形の面の方向とを算出し、算出した前記2つの標識点の位置情報および前記第一三角形の面の方向とを用いて、当該第一三角形における、前記2つの標識点それぞれにおける内角と、前記2つの標識点の間の長さとを算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記カメラ位置を算出すること
を特徴とするカメラ位置推定方法。 - カメラと、前記カメラで取得した画像を処理する処理装置と、を備えるシステムにおいて、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定方法であって、
前記カメラにより、前記画像として、当該カメラから離れた位置の異なる4つの標識点であって位置情報が既知の標識点を含む標識板の標識画像を取得し、
前記4つの標識点は、同一平面上にあり、1点が同一線上になく、
前記4つの標識点の位置情報を用いて、
同一線上にある3点の標識点のうちの、両端の2つの標識点である第一標識点および第二標識点を結ぶ線分と、前記カメラ位置と前記第一標識点および前記第二標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記同一線上にある3点の標識点のうちの中間の標識点である第三標識点と前記カメラ位置との間の距離である第一距離と、前記カメラ位置、前記第一標識点および前記第三標識点で形成される第一三角形における前記第三標識点における第一内角と、を算出するとともに、
前記同一線上にない標識点である第四標識点と前記第三標識点とを結ぶ線分と、前記カメラ位置と前記第三標識点および前記第四標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記第一距離と、前記カメラ位置、前記第三標識点および前記第四標識点で形成される第二三角形における前記第三標識点における第二内角と、を算出し、
前記第一距離、前記第一内角および前記第二内角を用いて、前記カメラ位置を算出し、
前記第一三角形の前記カメラ位置における内角および前記第二三角形の前記カメラ位置における内角は、それぞれ、前記標識画像を解析することにより得ること
を特徴とするカメラ位置推定方法。 - 物体の表面に添付する標識板であって、
当該標識板の面である標識面に、位置情報および方位情報を撮影可能かつ撮影した画像を解析することにより前記位置情報および前記方位情報を取得可能な態様で表示する位置方位情報表示領域と、
当該標識板をカメラで撮影することにより得た撮影画像の歪みから、前記カメラの位置と当該標識板の中心点とを結ぶ線が、前記標識面の法線と成す角度を計測可能なマークと、を備えること
を特徴とする標識板。 - 請求項16記載の標識板であって、
前記マークは、前記標識面に記載された矩形枠または円形枠であること
を特徴とする標識板。 - 請求項16記載の標識板であって、
前記マークは、前記標識面に記載された、仮想的な矩形の4つの頂点の位置を示す点であること
を特徴とする標識板。 - 請求項16記載の標識板であって、
前記マークは、前記標識面に記載された標識円と、前記標識円の所定の直径である方位線と、を備えること
を特徴とする標識板。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022037091A JP7413421B2 (ja) | 2018-06-08 | 2022-03-10 | 位置および向き認識システム、携帯端末、及び位置および向き認識方法 |
JP2023220146A JP2024026547A (ja) | 2018-06-08 | 2023-12-27 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/022120 WO2019234936A1 (ja) | 2018-06-08 | 2018-06-08 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022037091A Division JP7413421B2 (ja) | 2018-06-08 | 2022-03-10 | 位置および向き認識システム、携帯端末、及び位置および向き認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019234936A1 JPWO2019234936A1 (ja) | 2021-02-25 |
JP7041262B2 true JP7041262B2 (ja) | 2022-03-23 |
Family
ID=68769851
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020523971A Active JP7041262B2 (ja) | 2018-06-08 | 2018-06-08 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
JP2022037091A Active JP7413421B2 (ja) | 2018-06-08 | 2022-03-10 | 位置および向き認識システム、携帯端末、及び位置および向き認識方法 |
JP2023220146A Pending JP2024026547A (ja) | 2018-06-08 | 2023-12-27 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022037091A Active JP7413421B2 (ja) | 2018-06-08 | 2022-03-10 | 位置および向き認識システム、携帯端末、及び位置および向き認識方法 |
JP2023220146A Pending JP2024026547A (ja) | 2018-06-08 | 2023-12-27 | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 |
Country Status (2)
Country | Link |
---|---|
JP (3) | JP7041262B2 (ja) |
WO (1) | WO2019234936A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7304284B2 (ja) * | 2019-12-23 | 2023-07-06 | 株式会社構造計画研究所 | 位置推定装置、移動体、位置推定方法及びプログラム |
JP7478995B2 (ja) | 2020-03-13 | 2024-05-08 | パナソニックIpマネジメント株式会社 | 携帯端末、ナビゲーション方法、及び、コンピュータプログラム |
JP7294735B2 (ja) * | 2020-06-15 | 2023-06-20 | Necソリューションイノベータ株式会社 | ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、プログラム、及び、記録媒体 |
US20240183665A1 (en) * | 2021-04-19 | 2024-06-06 | Ns Solutions Corporation | Information processing device, information processing method, and program |
JP7429049B2 (ja) | 2021-04-23 | 2024-02-07 | 株式会社コンピュータサイエンス研究所 | 歩行者位置特定システム及び歩行者位置特定ソフトウェア |
CN113358032B (zh) * | 2021-05-20 | 2023-12-12 | 中交第二公路工程局有限公司 | 一种基于激光跟踪测距的隧道内自动监控量测量系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000205888A (ja) | 1999-01-07 | 2000-07-28 | Hitachi Ltd | 位置・方位情報取得方法及び装置 |
WO2015122389A1 (ja) | 2014-02-12 | 2015-08-20 | ヤマハ発動機株式会社 | 撮影装置、車両および画像補正方法 |
JP2016070674A (ja) | 2014-09-26 | 2016-05-09 | 富士通株式会社 | 3次元座標算出装置、3次元座標算出方法および3次元座標算出プログラム |
US20160223320A1 (en) | 2015-02-04 | 2016-08-04 | Prüftechnik Dieter Busch AG | Apparatus and method for determining the target position deviation of two bodies |
JP2017201281A (ja) | 2016-05-06 | 2017-11-09 | 計測ネットサービス株式会社 | 測量機器による自動視準方法及び自動視準装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3501610B2 (ja) * | 1997-01-31 | 2004-03-02 | 新日本製鐵株式会社 | 三次元座標測定方法 |
JP4282067B2 (ja) | 2003-09-30 | 2009-06-17 | キヤノン株式会社 | 指標識別方法および装置 |
JP4708752B2 (ja) | 2004-09-28 | 2011-06-22 | キヤノン株式会社 | 情報処理方法および装置 |
JP6237326B2 (ja) | 2014-02-25 | 2017-11-29 | 富士通株式会社 | 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム |
JP6572618B2 (ja) | 2015-05-08 | 2019-09-11 | 富士通株式会社 | 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム |
JP2017181374A (ja) | 2016-03-31 | 2017-10-05 | 三井住友建設株式会社 | 表面高さ表示方法 |
JP6211157B1 (ja) | 2016-09-01 | 2017-10-11 | 三菱電機株式会社 | キャリブレーション装置およびキャリブレーション方法 |
-
2018
- 2018-06-08 WO PCT/JP2018/022120 patent/WO2019234936A1/ja active Application Filing
- 2018-06-08 JP JP2020523971A patent/JP7041262B2/ja active Active
-
2022
- 2022-03-10 JP JP2022037091A patent/JP7413421B2/ja active Active
-
2023
- 2023-12-27 JP JP2023220146A patent/JP2024026547A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000205888A (ja) | 1999-01-07 | 2000-07-28 | Hitachi Ltd | 位置・方位情報取得方法及び装置 |
WO2015122389A1 (ja) | 2014-02-12 | 2015-08-20 | ヤマハ発動機株式会社 | 撮影装置、車両および画像補正方法 |
JP2016070674A (ja) | 2014-09-26 | 2016-05-09 | 富士通株式会社 | 3次元座標算出装置、3次元座標算出方法および3次元座標算出プログラム |
US20160223320A1 (en) | 2015-02-04 | 2016-08-04 | Prüftechnik Dieter Busch AG | Apparatus and method for determining the target position deviation of two bodies |
JP2016142737A (ja) | 2015-02-04 | 2016-08-08 | プリューフテヒニーク ディーター ブッシュ アクチェンゲゼルシャフト | 2個の物体の目標位置偏差を検出する装置ならびに方法 |
JP2017201281A (ja) | 2016-05-06 | 2017-11-09 | 計測ネットサービス株式会社 | 測量機器による自動視準方法及び自動視準装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2019234936A1 (ja) | 2019-12-12 |
JP2024026547A (ja) | 2024-02-28 |
JP7413421B2 (ja) | 2024-01-15 |
JPWO2019234936A1 (ja) | 2021-02-25 |
JP2022082583A (ja) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7041262B2 (ja) | 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 | |
US11704869B2 (en) | System and method for determining geo-location(s) in images | |
US9189853B1 (en) | Automatic pose estimation from uncalibrated unordered spherical panoramas | |
US9953461B2 (en) | Navigation system applying augmented reality | |
US10482659B2 (en) | System and method for superimposing spatially correlated data over live real-world images | |
US10977850B2 (en) | Server, user terminal, and service providing method, and control method thereof | |
KR101285360B1 (ko) | 증강현실을 이용한 관심 지점 표시 장치 및 방법 | |
Verma et al. | Indoor navigation using augmented reality | |
US9074887B2 (en) | Method and device for detecting distance, identifying positions of targets, and identifying current position in smart portable device | |
US9583074B2 (en) | Optimization of label placements in street level images | |
US8155387B2 (en) | Method and system for position determination using image deformation | |
Feng et al. | Augmented reality markers as spatial indices for indoor mobile AECFM applications | |
CN110703805B (zh) | 立体物体测绘航线规划方法、装置、设备、无人机及介质 | |
KR101413605B1 (ko) | 네비게이션 시스템 및 방법 | |
JP7220784B2 (ja) | 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体 | |
CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
CN111161350B (zh) | 位置信息及位置关系确定方法、位置信息获取装置 | |
US20220180592A1 (en) | Collaborative Augmented Reality Measurement Systems and Methods | |
Yokoi et al. | Way-finding assistance system for underground facilities using augmented reality | |
JP7345366B2 (ja) | 情報表示システム、情報表示装置、情報表示方法および情報表示プログラム | |
CN107704579B (zh) | 基于路网的众包数据处理方法、装置、设备及存储介质 | |
Tang | A mixed reality solution for indoor navigation | |
JP2023094344A (ja) | 拡張現実表示装置、方法、及びプログラム | |
JP2021038959A (ja) | 生成装置、生成方法、および生成プログラム | |
JP2021038958A (ja) | 生成装置、生成方法、および生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210720 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210917 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7041262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |