JP7041262B2 - 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 - Google Patents

携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 Download PDF

Info

Publication number
JP7041262B2
JP7041262B2 JP2020523971A JP2020523971A JP7041262B2 JP 7041262 B2 JP7041262 B2 JP 7041262B2 JP 2020523971 A JP2020523971 A JP 2020523971A JP 2020523971 A JP2020523971 A JP 2020523971A JP 7041262 B2 JP7041262 B2 JP 7041262B2
Authority
JP
Japan
Prior art keywords
sign
point
camera
marking
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020523971A
Other languages
English (en)
Other versions
JPWO2019234936A1 (ja
Inventor
康宣 橋本
裕明 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of JPWO2019234936A1 publication Critical patent/JPWO2019234936A1/ja
Priority to JP2022037091A priority Critical patent/JP7413421B2/ja
Application granted granted Critical
Publication of JP7041262B2 publication Critical patent/JP7041262B2/ja
Priority to JP2023220146A priority patent/JP2024026547A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Telephone Function (AREA)

Description

本発明は、位置および方位情報推定技術に関し、特に、人工衛星等からの電波が届かない場所等における位置および方位情報推定技術に関する。
人工衛星等からの電波が届かない場所等においても、現在位置情報や方位情報を取得(推定)する技術がある。例えば、特許文献1には、「複数の建造物に緯度・経度情報を設置するための複数の位置情報表示装置と、位置情報表示装置に記載された緯度・経度情報を読み取る位置情報読み取り装置とを備え、現在位置に最も近い位置情報表示装置から位置情報読み取り装置を用いて緯度・経度情報を読み取ることにより現在位置情報を取得する。緯度・経度情報を設置した付近に設置する方位情報表示装置を備え、現在位置に最も近い方位情報表示装置から方位情報を読み取ることにより方位情報を取得する(要約抜粋)」技術が開示されている。
特開2000-205888号公報
特許文献1に開示の技術で得られるのは、予め設置された位置情報表示板の位置情報に過ぎず、位置情報表示板のない場所の位置情報は得られない。すなわち、利用者の現在位置情報は得られない。例えば、大規模な地下街やショッピングセンタ内で、現在位置や方位を把握して店舗等の目的地を探す場合等、誤差が発生しやすい。
本発明は、上記事情に鑑みてなされたもので、人工衛星等からの電波が届かない場所においても、簡易な構成で精度よく、利用者の現在位置および方位を推定する技術を提供することを目的とする。
本発明は、カメラと、前記カメラで取得した画像を処理する処理部と、を備える携帯端末であって、前記処理部は、前記カメラにより、当該携帯端末から離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む画像である標識画像を取得する画像取得部と、取得した前記標識画像を解析し、前記携帯端末の位置である端末位置と前記2つの標識点とで形成される第一の三角形の面方位と前記第一の三角形の内角とを算出し、当該面方位と当該内角とを用いて前記端末位置を算出する計算部と、を備えることを特徴とする。
また、本発明は、カメラと、前記カメラで取得した画像を処理する処理装置と、を備え、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定システムであって、前記カメラは、当該カメラから離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む画像である標識画像を取得し、前記処理装置は、前記カメラで取得した前記標識画像を解析し、前記カメラ位置と前記2つの標識点とで形成される第一の三角形の面方位と前記第一の三角形の内角とを算出し、当該面方位と当該内角とを用いて前記カメラ位置を算出することを特徴とする。
さらに、本発明は、カメラと、前記カメラで取得した画像を処理する処理装置と、を備えるシステムにおいて、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定方法であって、前記カメラにより、当該カメラから離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む画像である標識画像を取得し、前記カメラで取得した前記標識画像を解析し、前記カメラ位置と前記2つの標識点とで形成される第一の三角形の面方位と前記第一の三角形の内角とを算出し、当該面方位と当該内角とを用いて前記カメラ位置を算出することを特徴とする。
人工衛星等からの電波が届かない場所においても、簡易な構成で精度よく、利用者の現在位置および方位を推定できる。また、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
第一の実施形態の処理の概要を説明するための説明図である。 第一の実施形態の標識板の一例を説明するための説明図である。 (a)は、第一の実施形態の携帯端末のハードウェア構成図であり、(b)は、第一の実施形態の携帯端末の端末位置推定部の機能ブロック図である。 (a)は、第一の実施形態の端末位置推定時の様子を説明するための説明図であり、(b)は、一般的な三角測量による位置算出手法を説明するための説明図である。 (a)~(d)は、それぞれ、第一の実施形態の携帯端末と標識面とが成す角度の算出手法を説明するための説明図である。 第一の実施形態の位置における端末位置推定手法を説明するための説明図である。 第一の実施形態の端末位置推定処理のフローチャートである。 (a)および(b)は、第一の実施形態の標識板の変形例を説明するための説明図である。 (a)および(b)は、第一の実施形態の変形例の端末位置推定手法を説明するための説明図である。 第一の実施形態の変形例の端末位置推定手法を説明するための説明図である。 (a)および(b)は、第一の実施形態の変形例により提供するサービスおよび表示画面例を説明するための説明図である。 第二の実施形態の標識板の一例を説明するための説明図である。 (a)~(c)は、第二の実施形態の端末位置推定手法を説明するための説明図である。 (a)および(b)は、第二の実施形態の端末位置推定手法を説明するための説明図である。 (a)~(c)は、第二の実施形態の端末位置推定手法を説明するための説明図である。 (a)および(b)は、第二の実施形態の端末位置推定手法を説明するための説明図である。 (a)および(b)は、目標地点の3次元的位置を表示する場合の説明図である。 第三の実施形態の標識点の一例を説明するための説明図である。 (a)~(c)は、第三の実施形態の端末位置推定手法を説明するための説明図である。 (a)および(b)は、第三の実施形態の端末位置推定手法を説明するための説明図である。 (a)~(c)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。 (a)~(d)は、第三の実施形態の変形例の標識点と追加標識点との位置関係の一例をそれぞれ説明するための説明図である。 (a)および(b)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。 (a)および(b)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。 第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。 (a)~(c)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。 第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。 (a)および(b)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。 (a)および(b)は、第三の実施形態の変形例の端末位置推定手法を説明するための説明図である。 (a)および(b)は、第三の実施形態の応用例の推定位置データを説明するための説明図である。 第三の実施形態の応用例の端末位置推定処理のフローチャートである。 第三の実施形態の応用例の推定位置履歴を説明するための説明図である。 第三の実施形態の応用例の端末位置推定処理のフローチャートである。
以下、図面を参照しながら本発明の実施形態について説明する。以下、本明細書において、同一機能を有するものは、特に断らない限り、同一の符号を付し、繰り返しの説明は省略する。
<<第一の実施形態>>
本実施形態では、位置情報が既知のランドマークであって、カメラから離れた位置のランドマークをカメラで撮影し、画像処理により、カメラの位置を算出(推定)する。
以下、本実施形態では、位置情報が既知のランドマークを、予め、柱や壁等の物体の表面に添付または設置された標識板とする。標識板には、当該標識板の位置情報および標識板面の方位情報が登録されているものとする。本実施形態では、標識板は、カメラ位置と標識板中心とを結ぶ線分と標識板面とが成す角度が把握可能な形状を有するものとする。
本実施形態では、2枚の標識板を撮影し、各標識板の位置情報と、各標識板面とカメラ位置と標識板中心とを結ぶ線分がなす角度と、各標識板面の方位情報とから、カメラの位置の位置情報を算出する。
図1は、本実施形態の処理の概要を説明するための図である。本図に示すように、所有者910は、撮影機能(カメラ)を備えた携帯型情報処理装置(以下、携帯端末と呼ぶ。)100を保持し、標識板200を撮影する。
なお、携帯端末100は、予め設定されたアクセスポイント(AP)970およびネットワーク940を介して、または、携帯電話会社の基地局950を介して、サーバ960に接続可能とする。
[標識板]
標識板200の詳細を、図2を用いて説明する。本図に示すように、本実施形態の標識板200は、例えば、一辺がLSの正方形形状を有する。
また、標識板200は、図2に示すように、位置情報および方位情報(以下、両者をまとめて位置方位情報と呼ぶ。)が撮影可能な態様、かつ、撮影された画像を解析することにより読取可能な態様で表示される位置方位情報表示領域201を有する。あるいは、QRコード(登録商標)に位置方位情報が記載されていてもよい。本図の例では、標識板200の標識面上に、位置方位情報が記載される。
位置情報は、例えば、標識板200の中心点の緯度、経度である。方位情報は、例えば、標識板200の標識面上の水平方向の矢印202(以下、方位矢印202と呼ぶ。)が、予め定めた基準方向と成す角度で示される。ここでは、この方位矢印202向きが、北方向と成す角度が登録されるものとする。
位置方位情報表示領域201の記載内容は、所有者910が目視で確認できる。携帯端末100のカメラにより、標識板200を撮影し、画像処理により取得してもよい。
なお、位置方位情報は、標識板200上に明示されていなくてもよい。例えば、QRコード(登録商標)などに情報取得先のURLが記載され、カメラで撮影することにより、サーバ等から、標識板200の位置方位情報を取得するよう構成されていてもよい。
[携帯装置の構成]
次に、携帯端末100の構成を説明する。携帯端末100は、撮影機能と、情報処理機能とを有する情報処理装置である。例えば、携帯電話、スマートフォン、タブレット端末、ウォッチやヘッドマウントディスプレイなどのウェアラブル端末、フィーチャーフォン、または、その他の携帯用デジタル機器等である。さらに、ドローン等の自律型機器でもよい。
図3(a)は、本実施形態の携帯端末100の、ハードウェア構成図である。本図に示すように、携帯端末100は、CPU(Central Processing Unit)101と、記憶装置110と、撮影装置120と、ユーザインタフェース(I/F)130と、センサ装置140と、通信装置150と、拡張I/F160と、を備える。各装置は、バス102を介してCPU101に接続される。
CPU101は、携帯端末100全体を制御するマイクロプロセッサユニットである。バス102はCPU101と携帯端末100の各装置との間でデータ送受信を行うためのデータ通信路である。
記憶装置110は、ROM(Read Only Memory)111と、RAM(Random Access Memory)112と、ストレージ113とを備える。
ROM111は、オペレーティングシステムなどの基本動作プログラムやその他の動作プログラムが格納されるメモリである。ROM111として、例えば、EEPROM(Electrically Erasable and Programmable Read Only Memory)やフラッシュROMのような書き換え可能なROMが用いられる。
ストレージ113は、携帯端末100の動作プログラムや動作設定値、本実施形態の各機能を実現するために必要な各種のプログラムや各種のデータを記憶する。
ストレージ113は、携帯端末100に外部からの電源が非供給状態であっても記憶している情報を保持する。ストレージ113には、例えば、フラッシュROMやSSD(Solid State Drive)、HDD(Hard Disk Drive)等のデバイスが用いられる。
RAM112は、基本動作プログラムやその他の動作プログラム実行時のワークエリアである。
ROM111及びRAM112は、CPU101と一体構成であっても良い。また、また、ROM111は、図3(a)に示すような独立構成とはせず、ストレージ113内の一部記憶領域を使用するようにしても良い。すなわち、ストレージ113の一部領域により、ROM111の機能の全部又は一部を代替しても良い。
なお、ROM111やストレージ113に記憶された各動作プログラムは、例えば、ネットワーク上の各配信サーバからのダウンロード処理により更新及び機能拡張することができる。
撮影装置120は、カメラ121と、画像プロセッサ122と、画像メモリ123と、を備える。
カメラ121は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の画像センサを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物を画像データとして取得する。
画像プロセッサ122は、カメラ121で取得した画像データに対し、必要に応じてフォーマット変換、メニューやその他のOSD(On-Screen Display)信号の重畳処理等を行う。画像プロセッサ122は図示を省略したビデオRAMを備え、ビデオRAMに入力された画像データに基づいて後述するディスプレイ131を駆動する。画像プロセッサ122は、例えば、撮影された画像や映像の圧縮・伸長を行うコーデック部、画像や映像の画質改善等を行う画質改善処理部、撮影画像からその角度補正や回転補正、或いはQRコード等の情報認識し、その補正等を行う画像処理部等の機能を実現する。
画像メモリ123は、カメラ121が取得した画像データまたは画像プロセッサ122で処理後の画像データを一時的に記憶する。
ユーザI/F130は、例えば、ディスプレイ131を備える。ディスプレイ131は、例えば、液晶パネル等の表示デバイスであり、表示部として携帯端末100の各部による処理結果を表示する。また、操作指示の入力を受け付ける受付部として機能する操作器が重ねて配置されたタッチパネル機能を備えていてもよい。
なお、操作器の機能は、後述する拡張I/F160を介して接続されるキーボード、マウス等で実現されてもよい。
センサ装置140は、携帯端末100の状態を検出するためのセンサ群である。本実施形態では、例えば、GPS(Global Positioning System)受信器141と、3軸ジャイロセンサ142と、3軸加速度センサ143と、を備える。その他、測距センサ、地磁気センサ、照度センサ、近接センサ、生体情報センサ、気圧センサ等を備えていてもよい。
これらのセンサ群により、携帯端末100の位置、傾き、方角、動き等が検出される。なお、現在位置が、GPS電波を取得可能な位置である場合は、位置情報は、GPS受信器141により取得する。
通信装置150は、携帯端末100と外部装置との間の通信を行う。本実施形態では、例えば、LAN(Local Area Network)通信器151と、電話網通信器152と、近距離通信器153と、を備える。
LAN通信器151はWi-Fi(登録商標)等による無線接続によりアクセスポイント(AP)装置を介してネットワークに接続され、ネットワーク上の他の装置とデータの送受信を行う。
電話網通信器152は移動体電話通信網の基地局との無線通信により、通話及びデータの送受信を行う。
近距離通信器153は、例えば、USB(Universal Serial Bus)等の有線接続手段により、携帯端末100の近傍の他の装置とデータの送受信を行う。また、近距離通信器を備える他の装置と無線通信によりデータの送受信を行う。近距離通信器153は、例えば、近距離無線通信(NFC(Near Field Communication))のI/Fであり、数センチからおよそ10センチメートル程度の極短距離で、NFCチップを搭載した機器間の双方向通信を実現してもよい。例えば、携帯端末100に搭載される電子マネーなどの非接触ICチップを利用したサービスに対応する。また、近距離通信器153は、無線通信器を備える他の装置と無線通信によりデータの送受信を行ってもよい。例えば、Bluetooth(登録商標)等により、数mから数十m程度の距離の情報機器間で、電波を使い簡易な情報のやりとりを実現する。
LAN通信器151と、電話網通信器152と、近距離通信器153とは、それぞれ、符号回路や復号回路、アンテナ等を備える。また、通信装置150は、赤外線通信を実現する通信器や、その他の通信器を更に備えていても良い。
拡張I/F160は、携帯端末100の機能を拡張するためのインタフェース群である。本実施形態では、映像/音声I/F、操作機器I/F、メモリI/F等を備える。映像/音声I/Fは、外部映像/音声出力機器からの映像信号/音声信号の入力、外部映像/音声入力機器への映像信号/音声信号の出力、等を行う。キーボード等の外部操作機器は、操作機器I/Fを介して接続される。メモリI/Fは、メモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
なお、図3(a)に示す携帯端末100の構成例は、本実施形態に必須の構成に主眼をおいたものである。携帯端末100には、これらの構成に、デジタル放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。
次に、携帯端末100の機能を説明する。ここでは、本実施形態の、携帯端末100の現在の位置情報を算出する端末位置推定機能(端末位置推定部)に関連する構成に主眼をおいて説明する。図3(b)に示すように、本実施形態の携帯端末100は、端末位置推定部170として、画像取得部171と、計算部172と、表示制御部173と、データ記憶部174と、を備える。
画像取得部171は、撮影装置120を制御し、画像を取得する。本実施形態では、さらに、取得した画像に対し、画像圧縮伸長処理、画像改善等の処理を施す。本実施形態では、標識板200の画像を取得する。より具体的には、異なる2か所の標識板200をそれぞれ取得する。
計算部172は、画像取得部171が取得した画像を解析し、携帯端末100の現在位置を算出する。
計算部172は、例えば、各種補正機能や文字認識技術を使って標識板200の内容を解析したり、撮影された標識板200の形状から、標識板200の方向や角度を特定し、データ化したりする。
表示制御部173は、ディスプレイ131への表示を制御する。
データ記憶部174は、処理に必要なデータ、処理途中および処理結果、生成されるデータを格納する。
なお、標識板200において、位置方位情報がQRコードで登録されている場合、QRコード解析部175をさらに備えていてもよい。QRコード解析部175は、撮影装置120で撮影されたQRコードに対し、その内容を解析する。なお、解析結果は、表示制御部173によりディスプレイ131に表示させてもよい。
なお、データ記憶部174を除く、端末位置推定部170の各部は、CPU101が、ストレージ113またはROM111に格納されたプログラムを、RAM112に展開して実行することにより、実現される。但し、前記ソフトウェアは全てがソフトウェアではなくても良く、例えば高速化するために一部をハードウェア化されていても良い。データ記憶部174は、記憶装置110に構築される。
[端末位置推定]
次に、本実施形態の端末位置推定部170による端末位置推定処理を説明する。ここでは、画像取得部171が取得した異なる2か所の標識板200の情報を解析し、計算部172が、所有者910の現在位置を算出(端末位置推定)する手法を、図4(a)~図6を用いて説明する。本実施形態では、現在位置として算出されるのは、所有者910が保持する携帯端末100の位置である。以下、本実施形態では、算出される現在位置を、端末位置と呼ぶ。
ここでは、図4(a)に示すように、所有者910が、自身が保持する携帯端末100のカメラ121を用いて、標識板211および212を撮影する場合を例にあげて説明する。携帯端末100は、撮影結果を解析し、端末位置を算出する。
以下、標識板211の中心位置を点A、標識板212の中心位置を点B、端末位置を点Cとする。本実施形態では、点A、点B,点Cは、同一水平面上にあるものとする。なお、同一水平面上にない場合は、端末位置の推定値に誤差が生じる。しかしながら、誤差が許容される範囲で、本方式を使用することができる。以下、この平面をx、y平面とし、点Aの座標を(xa、ya)、点Bの座標を(xb、yb)、点Cの座標を(xc、yc)とする。本実施形態では、標識板211および標識板212を撮影することにより、点Cと標識板211の標識面とのなす角度α1と、点Cと標識板212の標識面とのなす角度β1とを計測し、点Cの座標を求めるものである。なお、点A,点Bの座標は、実際には、緯度経度で表されているが、上述のx、y平面上の座標に変換して計算を行う。
ここでは、端末位置Cは、三角測量により算出される。三角測量は、ある基線の両端にある既知の点から測定したい点への角度をそれぞれ測定することによって、測量したい点の位置を算出する三角法および幾何学を用いた測量法である。
三角測量による測量したい点の位置の算出手法を簡単に説明する。ここで、三角測量による位置算出手法を、図4(b)を用いて、簡単に説明する。本図に示すように、三角測量では、位置を求めたい点Cと、位置のわかっている2点(点Aおよび点B)とで形成される三角形において、線分CAと線分ABの成す角度および線分BCと線分ABの成す角度α、βをそれぞれ計測することにより、点Cの位置を算出する。
図4(b)では、点Aと点Bとを結ぶ方向をx軸方向とする座標系で考える。ここでは、線分ABの長さをL、点Cと線分ABの距離をd、線分CAと線分ABの成す角度および線分BCと線分ABの成す角度である両端角を、それぞれα、βとする。
点Aの座標をA(xa,ya)とすると、点Bの座標は、B(xa+L、ya)である。そして、点Cの座標(xc、yc)は、以下の式で表される。
xc=xa+d/tanα ・・・(1)
yc=ya-d ・・・(2)
ここで、d、Lは、以下の式で算出される。
d=L/(1/tanα+1/tanβ) ・・・(3)
=L・sinα・sinβ/sin(α+β) ・・・(4)
このdを点Cの座標に代入することにより、点Cの座標xc、ycは、それぞれ、Lとαとβとを用いて、表される。
なお、本実施形態では、上述のように、画像取得部171は、異なる2か所の標識板211および212の画像(標識画像)221および222を、それぞれ、取得する。
計算部172は、画像取得部171が取得した標識画像221および222を解析し、標識板211および212の位置情報および両端角情報を算出する。なお、両端角情報は、標識板211の中心点、標識板212の中心点および端末位置を頂点とする三角形の、標識板211、212を結ぶ辺の両端角、すなわち、上述の角度α、βに相当する角度である。
以下、本実施形態では、標識板200と携帯端末100とを含む水平面上で、標識板200の標識面と水平面の交線と、携帯端末100と各標識面の中心点とを結ぶ線とが成す角度を、単に、標識面と携帯端末100との成す角度と呼ぶ。
標識板211および212の位置情報は、標識画像221、222から、位置方位情報を読み取ることにより、取得する。
例えば、位置方位情報が、文字、数字で記載されている場合、OCR(Optical Character Recognition)機能によりコード化することにより、取得する。また、位置方位情報が、QRコード等で記載されている場合、QRコードを読み取ることにより、位置方位情報を取得する。
角度α1、β1は、標識画像221、222のサイズと、位置方位情報の方位情報とを用いて算出する。具体的には、標識画像221の縦辺の長さと横辺の長さとの比と、方位情報とを用いる。
ここでは、図5(a)に示すように、標識板200を、一辺の長さがLS0の正方形とする。図5(b)に示すように、標識板200と携帯端末100とを含む水平面上で、標識板200の標識面と、携帯端末100との成す角度がα1の場合、図5(d)に示すように、携帯端末100で撮影した標識画像221の縦辺LS1と横辺LS2との比は、sinα1となる。なお、標識面と携帯端末100との成す角度α1が90°の場合は、図5(c)に示すように、sin(90°)=1となる。
例えば、図6に示すように、携帯端末100と標識板211の標識面とのなす角度がα1、また、携帯端末100と標識板212の標識面とのなす角度がβ1とする。
ここで、標識板211上の方位を示す矢印の方向(標識面上の矢印が北と成す角度)として、α2が登録され、標識板212の方位を示す矢印の方向として、β2が登録されているものとする。
さらに、標識板211から標識板212に向かう方向が東西方向となす角度をγ2とする。なお、γ2は、標識板211および標識板212の緯度経度情報から算出される。すなわち、以下の式により算出される。
L=√{(xaーxb)+(ya-yb)} ・・・(5)
tan(γ2)=(yb-ya)/(xb-xa) ・・・(6)
この場合、図6に示すように、α、α1、α2、γ2の間には、以下の関係がある。
α1+α+(90度-α2)+γ2=180度・・・(7)
よって、
α=90度-α1+α2-γ2・・・(8)
また、β、β1、β2、γ2の間には、以下の関係がある。
β1+β+(90度-γ2-β2)=180度・・・(9)
よって、
β=90度-β1+β2+γ2・・・(10)
このように、点Aの位置情報(xa、ya)と方位情報α2と、点Bの位置情報(xb,yb)と方位情報β2と、標識板211の標識面と携帯端末100の成す角度α1および標識板212の標識面と携帯端末100の成す角度β1とがわかれば、点Aと点Bとの距離Lと、線分CAと線分ABとが成す角度αと、線分CBと線分ABとが成す角度βと、を算出できる。よって、点Cの位置情報(xc,yc)を得ることができる。
次に、本実施形態の画像取得部171および計算部172による端末位置推定処理の流れを説明する。図7は、本実施形態の端末位置推定処理の処理フローである。本処理は、所有者910からの指示により開始される。例えば、携帯端末100が、複数のモードを備える場合、本実施形態の端末位置推定処理を実行するモードへの移行指示を受け付けたことを契機に開始されてもよい。
なお、所有者910は、2つの異なる標識板211、212を撮影可能な位置にいることを確認し、本処理を開始する。
画像取得部171は、所有者910からの指示に従って、第一の標識板211の標識画像221を取得する(ステップS1101)。
計算部172は、標識画像221を解析し、第一の標識板211の位置方位情報を取得する(ステップS1102)。ここでは、標識画像221上の位置方位情報表示領域201に対応する領域を画像処理し、第一の標識板211の中心位置の位置情報と、方位矢印202の向きとを取得する。
また、計算部172は、標識画像221を解析し、標識面と携帯端末100の成す角度α1を算出する(ステップS1103)。
次に、画像取得部171は、所有者910からの指示に従って、第二の標識板212の標識画像222を取得する(ステップS1104)。
計算部172は、標識画像222を解析し、第二の標識板212の位置方位情報を取得する(ステップS1105)。ここでは、標識画像222上の位置方位情報表示領域201に対応する領域を画像処理し、第二の標識板212の中心位置の位置情報と、方位矢印202の向きとを取得する。
また、計算部172は、標識画像222を解析し、標識面と携帯端末100の成す角度β1を算出する(ステップS1106)。
計算部172は、第一の標識板の位置方位情報および角度と、第二の標識板の位置方位情報および角度とを用いて、上記手法で、携帯端末100の現在位置である端末位置を算出する(ステップS1107)。
計算部172は、算出結果をデータ記憶部174に格納するとともに、表示制御部173は、算出結果をディスプレイ131に表示させ(ステップS1108)、処理を終了する。
以上説明したように、本実施形態では、携帯端末100から離れた、位置の異なる2つの標識点であって、位置情報が既知の標識点を含む画像である標識画像を取得し、取得した標識画像を解析し、携帯端末100の位置である端末位置Cと2つの標識点とで形成される第一の三角形の面方位と第一の三角形の内角とを算出し、当該面方位と当該内角とを用いて端末位置Cを算出する。このとき、本実施形態では、標識画像として、端末位置Cと中心点とが同一水平面上にある2枚の異なる標識板200を撮影する。そして、各標識板200の中心点を、2つの標識点とする。標識板200は、それぞれ、その中心点の位置情報と基準方向に対する標識面の向きとを、標識画像を解析することにより読取可能な位置方位情報表示領域201を標識板200の面である標識面に備える。また、標識画像の歪みからカメラ121と中心点とを結ぶ線分が、標識面の法線と成す角度を計測可能な形状を有する。本実施形態では、計算部は、標識画像から、第一の三角形の内角のうち、2つの標識点を結ぶ線分の両端角を算出する。そして、三角測量法により、端末位置Cを算出する。
このように、本実施形態によれば、2つの標識板200を撮影するだけで、携帯端末100は、自身の位置を算出できる。従って、本実施形態よれば、地下街や大規模ショッピングセンタ内等、GPS機能が使えない場合でも正確な位置を取得することが可能になる。
また、標識板200に、位置情報とは別に広告等の情報にアクセス可能ないわゆるQRコードが記載されていてもよい。この場合、携帯端末100は、位置情報を推定するために画像を取得する際、このQRコードも読み取ることができる。これにより、そのQRコードに基づいて取得可能な情報を表示することもできる。
一般的なQRコードの容量は数字で最大7,089文字、漢字・かなで最大1,817文字と、十分な情報量を提供することが出来る。従って、この構成であれば、端末位置Xの推定と同時に、地下街や大規模ショッピングセンタ内の店の名前、位置(経度・緯度・高さ)や、詳細地図上に表示させること、店の扱っている製品、イベント等の情報を提供することができる。さらに、近傍の標識板位置情報を記載してもよい。
<第一の実施形態の変形例1>
上記実施形態では、標識板200が正方形である場合を例にあげて説明した、しかし、標識板200正方形であるのは、端末位置が標識面と成す角度の算出を簡略化するためである。
しかしながら、標識板200は、標識板200の撮影画像の歪みから、標識板200を撮影したカメラ121を備える携帯端末100の位置と標識板200の中央とを結ぶ線が、標識板200の面である標識面の法線と成す角度を計測可能な角度測定構成を有していればよい。
例えば、標識板200の形状は、撮影した標識画像を用いてカメラの位置が標識面と成す角度が算出可能な形状であればよい。例えば、長辺と短辺との比が既知の長方形、円形、長軸と短軸との比が既知の楕円形等であってもよい。
例えば、標識板200aが円形の場合の例を図8(a)に示す。例えば、円形の場合、その円の直径をfとする。同一水平面上で、斜めからこの標識板200を見た場合、高さ方向(縦)の長さはfであるが、水平方向(横)の長さはfより短くなる。この縦横比は、標識板200と携帯端末100との成す角度によって変わる。
例えば、図5(b)に示すように、角度α1の方向から標識板200を撮影した場合、以下の式が成立する。
sinα1=f1/f ・・・(11)
なお、f1は、縦の長さがfの場合の、横の長さである。
従って、この場合、計算部172は、取得した標識画像を解析し、上記式に従って、角度α1を算出する。
また、標識板200自体の形状は問わず、例えば、図8(b)に示すように、仮想的な矩形の4つの頂点に、基準点(図で十字で示しているマークの存在する点)213を示してもよい。この場合、4つの基準点213に関し、各基準点213間の縦方向の長さと横方向の長さとの比は、既知とする。
また、標識板200自体の形状が上記特性を有していなくてもよい。例えば、標識板200の標識面上に、上記特性を有する形状のマークを備えていればよい。マークは、例えば、矩形枠、円形枠等である。
<第一の実施形態の変形例2>
また、端末位置を算出する際、測距センサやカメラ121が備える焦点距離算出機能を用いてもよい。この場合の算出手法を、図9、図10を用いて説明する。なお、カメラ121が備える焦点距離算出機能を用いる場合は、カメラ121が焦点距離を算出可能な範囲に限定される。
まず、算出の原理を説明する。ここでは、上記図4(b)と同様に、3点、A,B,Cを頂点とする三角形ABCにおいて、点Aと点Bとの位置と、辺ACの長さ(距離)LBと、辺BCの長さ(距離)LAと、が既知である場合に、点Cの位置を算出するものとして説明する。本実施形態では、距離LBと距離LAとは、測距センサまたはカメラ121の焦点距離算出機能により取得する。
ここで、三角形ABCの内角のうち、辺CAと辺ABとが成す角をα、辺CBと辺ABとが成す角をβとする。この場合、点Cの座標(xc、yc)は、以下の式で表される。
xc=xa+LBcosα ・・・(12)
yc=√{(LB-(LBcosα))} ・・・(13)
ここで、cosαは、余弦定理より、以下のように算出できる。
cosα=(LB+L-LA)/2・LB・L ・・・(14)
ここで、2つの標識板211および212の面が一直線上にない場合を、図9(b)に示す。この場合、点Cにおけるカメラ121により取得した画像から、上記実施形態の手法で、標識面との角度α1、β1を算出する。そして、上記式(8)、式(10)により、内角αおよびβを算出する。これにより、点Cの位置情報を算出する。
測距センサやカメラ121が備える焦点距離を算出する機能を利用する場合、1つの標識板200を撮影し、端末位置を算出してもよい。この場合の算出手法を、図10を用いて説明する。
上記実施形態同様、撮影画像から得た、標識面と携帯端末100とが成す角度をα1、方位がα2とする。ここで、図10に示すように、携帯端末100と標識面中心点を結ぶ線分と東西方向とが成す角度α3とすると、点Cの座標(xc、yc)は、以下の式で表される。
xc=xa+LBcosα3 ・・・(15)
yc=ya-LBsinα3 ・・・(16)
なお、α1、α2およびα3との間には、
α1+α3+(90度-α2)=180度 ・・・(17)
よって、
α3=90度-α1+α2 ・・・(18)
<第一の実施形態の変形例3>
また、上述では標識板200は、個別に作成された板状のものとして記載されているが、これに限ることは無く、例えば店内の広告の一部にプリントしても良い。これにより、広告が変わるたびに標識板200を一新し、QRコードに新しい情報を入れることも可能となる。
また、標識板200を設置する位置は常に同じ場所である必要は無く、場所を移動しても良い。移動する毎に、移動後の位置方位情報を付与する。
上述では各標識板200は何処に設置されているか予め分からない場合を想定して説明しているが、これに限ることは無く、例えば地下街や大規模ショッピングセンタの入り口や、各階段やエレベータ、エスカレータの付近や人通りの多い所に予め各標識板200の有る場所を表示させても良い。または、Webサイトにその情報を登録しても良い。或いは各店の入り口や、各商品コーナー等、顧客が比較的見やすく、確認しやすいところには必ず設置させても良い。
<第一の実施形態の変形例4>
なお、上記実施形態では、算出した端末位置をディスプレイ131に表示させているが、計算部172による算出結果の処理は、これに限定されない。例えば、携帯端末100の現在位置を必要とする他のアプリケーションに出力してもよい。
例えば、大規模ショッピングセンタやホームセンタにおいて、顧客を所望の店舗の位置まで誘導するといったアプリケーションである。
アプリケーションは、例えば、携帯端末100の、ROM111またはストレージ113に格納される。ユーザからの指示に従って、CPU101がRAMにロードして実行することにより、実現される。以下、このアプリケーションにより実行される機能を、ナビゲーション部(ナビ部)176と呼ぶ。
この手法を、図11(a)および図11(b)を用いて説明する。各店舗の店舗情報は、予め登録され、サーバ960等に保管されているものとする。店舗情報は、店舗の名称、店舗の説明、店舗の位置情報を含む。位置情報は、緯度経度で登録されものとする。
ナビ部176は、ネットワーク940を介して店舗情報が登録されているサーバ960にアクセスし、店舗情報を取得する。そして、予め定めた表示形態でディスプレイ131に表示させる。
そして、ユーザが所望の店舗を選択すると、現在位置から当該店舗の位置までのナビゲーション情報を計算し、表示させる。なお、現在位置には、上記手法で算出された端末位置を用いる。
例えば、図11(a)の例では、ナビ部176は、ディスプレイ131に、地図上に店舗を、その位置情報に応じて配置して表示させる。また、携帯端末100の現在位置も表示させる。地図情報は携帯端末100が、例えば、データ記憶部174に予め保持するか、あるいは、サーバ960から取得する。
図11(a)において、携帯端末100の所有者910の現在位置は、エリアA21の東隅である。また、所有者が選択した店舗は、A13のエリアにあるものとする。ナビ部176は、この地図上で、ルートを表示させる。
なお、このとき、図11(b)に示すように、現在位置から所望の店舗までのナビゲーション情報を、文章でディスプレイ131に表示させてもよい。本例では、例えば、「目的の店舗は北1ブロック、東2ブロック進んだところにあります。」等の情報を表示させても良い。
また、本変形例によれば、携帯端末100がどちらの方向を向いているかが分かる。携帯端末100の現在位置および向きの情報と目的の店舗の位置情報とを用いて、「前方に進んで下さい」、「後方に戻って下さい」等、所有者910がその時に向いている方向を基準としたナビゲーション指示を行ってもよい。
さらに、店舗毎に、詳細な商品情報を備え、店舗内に入ったら、商品の位置を表示させるよう構成してもよい。商品情報は、商品名、商品説明、商品の配置位置を含む。そして、商品名の一覧を示し、ユーザが所望の商品を選択した場合、店舗内で、当該商品までのナビゲーションを同様に行うよう構成してもよい。
ナビ部176は、表示情報を、例えば、通信装置150を介して、アクセスポイント970及びネットワーク940を介してサーバ960から取得する。
<第一の実施形態の変形例5>
なお、携帯端末100の位置情報を算出する基となる位置情報は、緯度経度に限定されない。例えば、各ショッピングセンタ等の独自の座標系の座標値であってもよい。この場合、上記商品の位置情報も同じ座標系の座標値で登録される。
また、ショッピングセンタのインフォメーションセンタ等に、店舗毎のQRコードを示し、携帯端末100で、そのQRコードを読み取ることにより、当該店舗までのナビゲーションを行うよう構成してもよい。
また、各店舗の入り口等に、取り扱い商品のQRコードを示し、同様にナビゲーションを行ってもよい。
目的の場所へ移動する間にも所有者910の位置は刻々と変化するが、それに関して常に上述の位置測定するのは煩わしい。従って、その間の移動に関しては、例えば、3軸加速度センサ143と、3軸ジャイロセンサ142と、時計機能とにより移動距離と方向を検出し、補正した値を地図情報に示してもよい。
さらに、内部センサによる位置推定の誤差が大きくなったと判断できる場合は、近くの標識板200の位置を示して所有者910に位置測定を促すか、携帯端末100が自動的に位置測定を行うようにしてもよい。例えば、前回の位置測定地点からの移動距離が大きくなった場合や、地図上で通路でないところを移動しているように見える場合等、内部センサによる位置推定の誤差が大きくなったと判断する。
<<第二の実施形態>>
次に、本発明の第二の実施形態を説明する。第一の実施形態では、標識板200に、標識画像における、水平面方向とそれに直交する方向との標識形状の歪みの比から、2つの標識板200の中心点を結ぶ線分の長さと、その両端角とを算出し、端末位置を算出している。
本実施形態では、標識板200上に円形を描画し、撮影画像上でのその円形形状の歪み度合いから、端末位置推定に必要な情報を取得する。なお、本実施形態では、第一の実施形態とは異なり、標識板200と、携帯端末100とは、同一水平面上になくてもよい。また、画像を取得する標識板200も1枚でよい。
また、本実施形態と第三の実施形態とでは、第一の実施形態と異なり、位置情報は高さを含めた3次元量である。そして、位置が既知である同一直線上にない2つの線分と、それぞれの線分と端末位置から形成される少なくとも2つの三角形を考え、それらの三角形の各角度、各辺の長さを算出することにより3次元的に端末位置を推定する。2つの三角形は端末位置を共有するため、それぞれの三角形形状の算出により、三角形の面方位が決定され、端末位置の算出が可能となる。
以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
[標識板]
端末位置の算出手法の説明に先立ち、まず、本実施形態の標識板230について説明する。本実施形態の標識板230は、図12に示すように、円形形状を有する標識円231と、方位線232と、位置方位情報表示領域233と、を備える。
位置方位情報表示領域233には、この標識板230を撮影して端末位置情報を算出するために必要な情報(位置方位情報)が記録される。例えば、標識円231の中心の位置情報と、標識円231の直径と、方位線方向と、面法線方向とが記載される。
中心の位置情報は、例えば、緯度、経度、高さが登録される。方位線方向は、方位線232の3次元的方向であり、例えば、単位ベクトルの成分で示される。面法線方向は、標識板230の標識面の法線の3次元的方向であり、例えば、面法線ベクトルの成分で示される。
なお、方位線232には、その向きを把握し易いよう、例えば、矢印、三角形等が付されていてもよい。
[携帯端末]
本実施形態の携帯端末100のハードウェア構成、機能ブロックは、第一の実施形態と基本的に同様の構成を有する。ただし、計算部172による計算手法が異なる。
[位置算出手法]
次に、計算部172が、標識板230を撮影し、携帯端末100の現在位置を算出する手法を説明する。
以下、本実施形態では、点Iと点Jとの間の実空間での距離をLIJと表記する。また、一直線にない点I、点Jおよび点Kにおいて、線分IJと線分JKとが成す角度を角IJKと呼ぶ。また、この角IJKを、点Jから線分IKを見込む見込み角、または、点Jから点IK間を見込む見込み角、とも呼ぶ。また、2つのベクトルVおよびVについて、ベクトル積を[V、V]、スカラー積を(V、V)と表す。
標識板230の標識円231上の、端末位置の算出に用いる点を標識点と呼ぶ。この標識点の座標は、標識板230に記載された位置方位情報から算出することが可能である。また、端末位置から2つの標識点間を見込む見込み角は、カメラ121の焦点距離と、2つの標識点を視野に納めた画像から得られる標識点間の画像センサ上の長さとから幾何学的に算出できる。なお、焦点距離は、カメラ121のレンズと画像センサとの位置関係から特定される。そして、2つの標識点と端末位置とにより形成される三角形における、未知である辺の長さと内角の値とを、標識点の座標値と端末位置から2つの標識点間を見込む見込み角の測定値とから算出し、端末位置を算出する。
さらに、測距センサが測定誤差を考慮した上で使用できる場合は、測距センサの出力も利用してもよい。
図13(a)に、柱等、単独の標識板230が設置されている場所から離れた位置に居る所有者910が、携帯端末100を使って撮影している状態を示す。
携帯端末100(所有者910)の位置(端末位置)をX(点X)とする。また、所有者910は、標識板230の面に対して、斜めの位置(標識面の法線方向とは異なる方向)から単独の標識板230を撮影するものとする。この場合、携帯端末100のディスプレイ131には、標識板230の標識円231は、図13(b)に示す標識円231の画像(標識円画像231i)のように楕円形状で表示される。
なお、ここで、携帯端末100と標識板230が同一水平面上にあると限定しないので、携帯端末100と標識板230とは高さ方向の角度を持ちうる。従って、標識円画像231iの楕円の長軸234iは、画像上の方位線(方位線画像232i)と異なってもよい前提で計算を行う。
図13(c)は図13(b)のディスプレイ131に表示された標識円画像231iのみを抽出したものである。なお、以降の説明図では、図を簡略化するため、標識円231および方位線232に対応する画像以外は省略する。
標識円画像231iの中心点をOiとする。また、点Aiと点Biとは、それぞれ、方位線画像232iと標識円画像231iとの交点、点Ciと点Diとは、それぞれ、長軸234iと標識円画像231iの楕円との交点、Ei、Fiは、それぞれ、短軸と標識円画像231iの楕円との交点とする。
なお、計算部172は、撮影された標識円画像231iを解析することにより、画像上で各点Ai~点Fiを求め、画像上の長軸、短軸の長さを算出する。
次に、上述の画像上の長軸、短軸の長さの比を使用して、画像上の短軸方向に画像を伸長し、標識円231に重なるように変換した図が図14(a)である。図14(a)は、実際の標識円231、方位線232に、画像伸長によって位置が変換された点Ai、点Bi、点Ci、点Di、点Ei、点Fiを、それぞれA、B、C、D、E、Fと記す。ここで、角AOCをηACと記す。
ここで、各線分AB、CD、EFの長さは標識円231の直径で既知であり、線分ABは、方位線232であるため、その3次元的方向は既知である。また、標識板230の面法線方向も既知である。これらを用いて、線分CDの3次元的方向、短軸EFの3次元的方向、標識点として使用する軸端点(C,D,E,F)の空間座標を得る。この他、標識円231の中心点Oも標識点として使用するが、位置方位情報からOの空間座標は既知である。
端末位置Xを算出するために2つ以上の三角形を考える。まず、図14(b)に示すように、端末位置Xと点Cおよび点Oとを頂点とする三角形XOCを考える(第一の三角形;三角形XODでもよい)。標識円画像231iにおいて線分CD(第一の直径)が画像上の長軸方向になることから、端末位置Xは、線分CDに直交するいずれかの位置236に存在する。
すなわち、線分CDは、端末位置である点Xと標識円231の中心点Oとを結ぶ直線(XO)と直交する。このため、三角形XOCは、図15(a)に示すように、直角三角形である。また、点Oと点Cとの距離LOCは、標識円231の半径R(直径の1/2)である。直径は、撮影画像上の位置方位情報表示領域233に対応する領域を解析することにより取得される。従って、点Xと点Oとの距離LOXは、以下の式で算出できる。なお、角CXOを、θとする。θはカメラ121の撮影画像から測定する。
OX=R・cotθ ・・・(19)
次に、三角形XOCが標識面となす角度を算出するために、線分CDと同一直線上に載らない2つの標識点と端末位置Xとで形成される三角形(第二の三角形)を考える。ここでは、第二の直径として線分EFを採用し、図15(b)に示す三角形XOEおよび三角形XOFを考える。
図15(b)に示すように、角EXOをθ,角FXOをθ,角EOXをλ,角FOXをλ,角OEXをξ,角OFXをξ,とする。
正弦定理により、次式が成り立つ。
OX/sinξ=LOE/sinθ ・・・(20)
OX/sinξ=LOF/sinθ ・・・(21)
ここで、LOE=LOFであるが、ここではLOE=LOFという関係を使わずそのままの表記で説明する。また、表記の簡略化のために、以下の式で表されるκおよびκを用いる。
κ=LOE/sinθ ・・・(22)
κ=LOF/sinθ ・・・(23)
OE、LOFは、標識円231の半径Rであり、既知である。また、上記のθ、θは、カメラ121の焦点距離と、EFに対応する画像センサ上の長さとから、幾何学的に算出できる。なお、焦点距離は、カメラ121内のレンズと画像センサとの位置関係から特定される。従って、κ、κは、これらを用いて算出できる。
κ、κを用いると、端末位置Xと標識板230との距離LOXは、次式で表される。
OX=κsinξ=κsinξ ・・・(24)
ここで、求めたいのはλであるため、上記関係式を、λを使って書き直すと、以下の式で表される。
ξ=180度-λ-θ ・・・(25)
ξ=λ-θ ・・・(26)
よって、距離LOXは、以下の式で表される。
OX=κsin(λ+θ)=κsin(λ-θ) ・・・(27)
上記式を展開して整理すると、加法定理により、次式で表される。
sinλ(κcosθ-κcosθ)=cosλ(κsinθ+κsinθ) ・・・(28)
ここで、sinλ、および、(κsinθ+κsinθ)は正であるので、cosλと(κcosθ-κcosθ)との符号は一致する。
上式の両辺の二乗を取ると、以下の式で表される。
cosλ{(κsinθ+κsinθ+(κcosθ-κcosθ}=(κcosθ-κcosθ ・・・(29)
なお、ここでは、sinλ+cosλ=1という関係を用いた。
cosλと(κcosθ-κcosθ)との符号関係に注意すると、cosλは、以下のように算出される。
cosλ=(κcosθ-κcosθ)/{(κsinθ+κsinθ+(κcosθ-κcosθ1/2 ・・・(30)
同様に、sinλは、以下のように算出される。
sinλ=(κsinθ+κsinθ)/{(κsinθ+κsinθ+(κcosθ-κcosθ1/2 ・・・(31)
κ,κの表記を戻すと、下記となる。
cosλ=(LOFcotθ-LOEcotθ)/{(LOE+LOF+(LOFcotθ-LOEcotθ1/2 ・・・(32)
sinλ=(LOE+LOF)/{(LOE+LOF+(LOFcotθ-LOEcotθ1/2 ・・・(33)
よって、LOXは、以下の式で表される。
OX=κsinξ
=(LOE/sinθ)sin(λ+θ
=(LOE/sinθ)(sinλcosθ+cosλsinθ
=LOEOF(cotθ+cotθ)/{(LOE+LOF+(LOFcotθ-LOEcotθ1/2 ・・・(34)
以下の計算で使用しないので、詳細は示さないが、残りの辺のLEXとLFXも正弦定理から求まる。すなわち、上述の方法により、E、O、F,Xで形成される三角形の全ての角と辺を算出することができる。
ここで、LOE=LOF=Rの関係を用いて上記式を書き直すと、以下の通りである。
cosλ=(cotθ-cotθ)/{4+(cotθ-cotθ1/2 ・・・(35)
sinλ=2/{4+(cotθ-cotθ1/2 ・・・(36)
従って、LOXは、以下の式で求められる。
OX=R(cotθ+cotθ)/{4+(cotθ-cotθ1/2 ・・・(37)
以上、図15(b)のように、点間距離が既知の同一直線上の3点と、端末位置Xから3点のうちの2点間を見込む見込み角2つの測定から、端末位置Xと前記3点から形成される三角形の未知の角と辺の長さとを算出することができる。すなわち、端末位置Xは、図15(c)に示すように、線分CDから距離LOXの位置236のうち、角EOXがλの位置として特定される。
なお、距離LOXに関しては上述したように、標識円画像231iの長軸に相当する点Cと点Dとを用いて、上記式(19)のとおり、LOX=Rcotθとして算出できる。距離LOXの算出には、どちらの手法を用いてもよいし、両者の平均値を使用してもよい。
次に、端末位置Xを算出する。ここでは、図16(a)に示す円弧ACの中心角AOCをηACについて、点Aから点Cまで反時計回りの方向を正とする。
図16(b)に、後述する各単位ベクトルの方向を示す。図16(b)において、実空間における点Oから点Aに向かう方向の単位ベクトルをVとし、実空間における標識板230の面法線ベクトル(単位ベクトル)をVとし、Vに対し、Oを中心に時計回りに標識面内で90度回転させたベクトルをVとする。
はVとVのベクトル積として求まるので、位置方位情報を用い、以下の式で計算できる。
=[V,V] ・・・(38)
ここで、ベクトルVと線分OEとのなす角は、ηACに等しい。
点Oから、点Xへ向かう方向の単位ベクトルをVとする。Vは長軸CDに直交する。このため、Vの標識面への射影は、線分EF上である。また、Vと線分OEのなす角はλであるため、Vは、下記の式で算出される。
=cosλcosηAC+cosλsinηAC+sinλ ・・・(39)
標識板230の中心点Oの実空間での位置座標をP,端末位置Xの実空間での位置座標をPとすると、Pは、次式で算出される。
=P+LOX ・・・(40)
以上、説明したように、本実施形態では、中心点の位置情報、面の方位情報が既知で、かつ、標識板230の上に記載された標識円231と、標識円231の中心を通る弦である方位線232と、を備える標識板230を撮影し、撮影画像を解析することにより、標識円231上の所定の直径と円周とが交差する所定の2点と、2点を結ぶ基線と携帯端末100と所定の2点とをそれぞれ結ぶ2つの両端角とを求め、端末位置を算出する。そして、標識板230は、撮影画像を解析することにより、上記2点の位置情報と、端末位置および上記2点を含む面の方向を算出できる構成を有する。
このように、本実施形態によれば、第一の実施形態同様、標識板230を撮影することで、端末位置を算出することができる。従って、本実施形態によれば、第一の実施形態同様、GPS機能が使えない場合であっても、簡易な構成で、精度よく、携帯端末100の所有者910の現在位置および方位を算出できる。
さらに、本実施形態によれば、端末位置Xは、高さも含めた3次元の位置として求まる。また、端末位置Xから標識板230への方位は、実空間の方向ベクトルとして求まる。従って、携帯端末100の筐体が、実空間でどの方向に向いているかも分かる。これにより、携帯端末100の内部座標系の3次元方向を含めた精密な校正ができるので、高さも含めた位置誘導も可能となる。また、実画像に重畳させて、目標地点の3次元的位置を示す画像を表示することも可能となる。
例えば、商品が納められている棚の場所において、商品位置を棚の画像に重畳させてAR(Augmented Reality)画像として表示するようにしてもよい。図17(a)に例を示す。携帯端末100のディスプレイ131に、携帯端末100が撮影する商品棚の実写映像301を表示すると共に、目的の商品の場所を示すAR画像300を重畳表示する。商品の高さも含めた詳細な所在情報は、インターネット経由で店舗から取得してよい。また、商品棚の実写映像301は、予め撮影したものを店舗から入手してもよい。この場合、携帯端末100の向いている方位から、所有者910が見ている店舗内の部分を推定してその映像を表示してもよい。
また、ナビ画面は、目標とする商品の近傍に到着するまでは、図11(a)のように平面図上で所有者910の位置を示す表示とし、目標とする商品の近傍に到着した時点で、自動的に商品棚の実写映像を表示するモードに切り替え、商品棚と目標とする商品の映像を表示するようにしてもよい。その際、携帯端末100のカメラ121の視野内に目標とする商品の画像が入っていない場合は、携帯端末100をどちらの向きに向ければよいか、という指示を表示してもよい(図17(b))。目標とする商品の近傍かどうかは、商品が見える位置であり、商品から予め定められた距離以内に所有者910が居る、という条件を満たすかどうかで判断してよい。
さらにまた、位置誘導の目標は、商品に限らず、目的とする場所に到達するための途中のドア等、経路を示すものであってもよい。
特に、本実施形態によれば、1つの標識板230を撮影するだけで、現在位置および方位を算出できる。また、携帯端末100が、標識板230と同じ水平面上にない場合であっても、端末位置を算出できる。第一の実施形態に比べ、より、簡易な構成で端末位置を算出できる。また、標識板230据付の自由度が増し、例えば天井や床面でも構わないので、携帯端末100の所有者910にとっても、標識板230を見通せる範囲が広がり、端末位置を算出できる可能性が広がる。
<<第三の実施形態>>
次に、本発明の第三の実施形態を説明する。本実施形態では、標識の形状は利用せず、それぞれ3次元的な位置が既知の、複数の標識点を用い、携帯端末100の位置(端末位置)を算出する。
以下、本実施形態の携帯端末100の構成は、基本的に第一の実施形態と同様である。以下、第一の実施形態と異なる構成に主眼をおいて説明する。また、距離、角度等の表記については、第二の実施形態と同様とする。
上述のように、本実施形態では、端末位置を算出するため、標識の形状は利用せず、標識点の3次元的な位置情報を用いる。ここでは、4つの標識点を用いて端末位置を算出するものとする。また、4つの標識点は、同一の平面上にあるものとする。まず、4つの標識点が、1つの標識板に表記されている例を説明する。
[標識点]
本実施形態の標識点の一例を図18に示す。本図に示すように、本実施形態では、1つの標識板240上に、4つの標識点241が配置される。本実施形態では、標識板240上の仮想的な四角形の各頂点に4点が配置されるものとする。すなわち、3点以上が同一直線上に配置されないものとする。以下、各標識点241をそれぞれ、点A,点B,点C、点Dと呼ぶ。
また、四角形の4つの頂点上にそれぞれ標識点241がある場合、対角線の交点242を点Oとする。点Oは標識板240上に表示されていてもよいし、画像処理上の内部データとして処理してもよい。
本実施形態の標識板240は、位置情報表示領域243を備える。位置情報表示領域243には、各標識点241それぞれの、位置座標が記載される。位置座標は、例えば、各標識点241の緯度経度高さとする。なお、交点242(点O)の位置座標は、各標識点241の位置座標から算出可能であるが、位置情報表示領域243に記載されていてもよい。
本実施形態では、画像取得部171は、4つの標識点241と、各標識点241の位置情報とを、画像として取得する。
そして、計算部172は、画像取得部171が取得した画像を解析し、携帯端末100の端末位置Xの位置情報を現在位置として算出する。
以下、本実施形態の計算部172による現在位置の算出手法の一例を説明する。ここでは、図18に示すように、4つの標識点241は、点Aと点Cとを結ぶ線分と、点Bと点Dとを結ぶ線分とが点Oで交差する位置関係にあるものとする。
端末位置Xの推定のために、ここでは、図19(a)および図19(b)に示すように、標識点241からなる線分として、AO、OCのグループと、BO、ODのグループとを考える。グループ間では線分は一直線上に載らない。これらの線分と端末位置Xとで形成される三角形の角と辺の長さを算出する。ここでは、点Oも含め、各標識点241間の距離LOA、LOC,LOB、LODは、位置情報を用いて算出できる。また、角AXO(θ)、角CXO(θ)、角BXO(θ)、および角DXO(θ)は、それぞれ、図15(b)を用いて説明したように、カメラ121の焦点距離と、対応する画像センサ上の長さとから、撮影画像を用いて幾何学的に算出できる。
以下、図19(a)および図19(b)に示すように、角XAOをξ、角XCOをξ、角XOAをλ、角XOCをλ、角XBOをξ、角XDOをξ、角XOBをλ、角XODをλと、それぞれ、表す。
図15(b)を用いて説明した第二の実施形態の変形例と同じ計算にて、λ,λ,LOXは、それぞれ、以下の式により算出できる。
cosλ=(LOCcotθ-LOAcotθ)/{(LOA+LOC+(LOCcotθ-LOAcotθ1/2 ・・・(41)
sinλ=(LOA+LOC)/{(LOA+LOC+(LOCcotθ-LOAcotθ1/2 ・・・(42)
cosλ=(LODcotθ-LOBcotθ)/{(LOB+LOD+(LODcotθ-LOBcotθ1/2 ・・・(43)
sinλ=(LOB+LOD)/{(LOB+LOD+(LODcotθ-LOBcotθ1/2 ・・・(44)
OX=LOAOC(cotθ+cotθ)/{(LOA+LOC+(LOCcotθ-LOAcotθ1/2 ・・・(45)
OX=LOBOD(cotθ+cotθ)/{(LOB+LOD+(LODcotθ-LOBcotθ1/2 ・・・(46)
図19(c)に示すように、λ,λ,LOXが定まると、端末位置Xは一意に定まる。
なお、本実施形態においても、距離LOXは、上述通り三角形AXCまたは三角形BXDの何れかのみを用いて算出できる。第二の実施形態の変形例と同様、どちらかの値を用いることでもよい。例えば、計算部172は、端末位置Xから、線分ACを見込む見込み角(θ+θ)と、線分BDを見込む見込み角(θ+θ)とを算出し、両者を比較し、大きい方を用いて、距離LOXを求めてもよい。あるいは、両者の平均値を使用してもよい。
次に、端末位置Xを求める。本実施形態では、図20(a)に示すように、交点Oから点Aに向かう方向の単位ベクトルをVとし、交点Oから点Bに向かう方向の単位ベクトルをVとする。いずれも標識点の位置座標から計算可能である。また、交点Oから標識面に垂直で、標識を見る側に向かう単位ベクトルをVとし、点Bから点Aに反時計回りで計った角BOAをηBAとする。Vは、以下の式で求まる。
=[V,V]/sinηBA ・・・(47)
さらに、交点Oから点Xに向かう単位ベクトルをVとし、さらに、図20(b)に示すように、Vが標識板240の標識面となす角(VとVとの成す角度の余角)をλ(≦90度)とする。ここで、ベクトル三重積の公式を適用すると、V,V,Vの間の関係は、次式で表される。
[V,[V,V]]=(V,V)V-(V,V)V ・・・(48)
上記式の両辺の二乗(内積として)をとる。このとき、V,Vは、上記式(47)より、Vを用いて表すことができる。すなわち、V,V,Vの間の関係は、以下の式で表される。
[V,[V,V]]=[V,V]sinηBA ・・・(49)
上記式の両辺の二乗(内積として)をとると、左辺および右辺は、それぞれ、以下の式で表される。
(左辺)=sinηBA([V,V],[V,V])
=sinηBAsin(90度-λ
=sinηBAcosλ ・・・(50)
(右辺)=((cosλ-cosλ),(cosλ-cosλ))
=cosλ+cosλ-2cosλcosλcosηBA ・・・(51)
よって、上式より、cosλは、以下の式で算出できる。
cosλ=(cosλ+cosλ-2cosλcosλcosηBA1/2/|sinηBA| ・・・(52)
ここで、cosλ=0の場合は、λ=90度、すなわち、V=Vである。
次に、cosλ≠0(λ<90度)の場合を考える。
まず、図20(b)に示すように、端末位置Xから標識面へ下した垂線の標識面との交点をHとし、点Oから点Hに向かう方向の単位ベクトルをVとする。ここで、次のベクトル積[V,V]の方向の単位ベクトルをVとすると、Vは、以下の式で表される。
=[V,V]/cosλ
=[V,[V,V]]/(cosλsinηBA
={(V,V)V-(V,V)V}/(cosλsinηBA
=(cosλ-cosλ)/(cosλsinηBA) ・・・(53)
は標識面に平行で、VとVは直交し、Vを反時計回りに90度回転させるとVに等しくなる。従って、Vは下記のように求まる。
=[V,V
=[V,(cosλ-cosλ)]/(cosλsinηBA
=[[V,V],(cosλ-cosλ)]/(cosλsinηBA
={cosλ[[V,V],VB]-cosλ[[V,V],V]}/(cosλsinηBA
={cosλ(V-cosηBA)-cosλ(cosηBA-V)}/(cosλsinηBA
={(cosλ-cosλcosηBA)V+(cosλ-cosλcosηBA)V}/(cosλsinηBA) ・・・(54)
以上より、交点Oの位置座標をP(標識情報から求まる)、端末位置Xの位置座標をPとすると、Pは下記のように求まる。
=P+LOXsinλ+LOXcosλ
=P+(LOX/sinηBA)×{sgn(sinηBA)(sin2ηBA-cosλ-cosλ+2cosλcosλcosηBA1/2[V,V]+(cosλ-cosλcosηBA)V+(cosλ-cosλcosηBA)V} ・・・(55)
ここで、sgn(sinηBA)は、以下の通りである。
sgn(sinηBA)=+1 if sinηBA>0 ・・・(56)
sgn(sinηBA)=-1 if sinηBA<0 ・・・(57)
cosλ=0の時、すなわち、Vが標識面と直交する時は、P=P+LOXである。cosλ=cosλ=0であるので、その時、上式は、以下の通りである。
=P+LOX[V,V]/sinηBA=P+LOX ・・・(58)
なお、上記式では、cosλ=0の場合も含まれる。
以上のように、本実施形態では、同一の平面上にある4つの標識点241を撮影し、画像解析により、携帯端末100の端末位置を算出する。例えば、画像解析により、4つの標識点241のうちの2つの標識点(点A、点C)を結ぶ線分と、端末位置(点X)と2つの標識点A,Cそれぞれとを結ぶ線分とが成す角度(角XAC,角XCA)と、点X,A,Cを含む平面の方向とを算出する。本実施形態の携帯端末100は、これらを用いて端末位置を推定する。
すなわち、本実施形態によれば、4つの異なる標識点を撮影することで、端末位置を算出できる。従って、本実施形態によれば、上記各実施形態同様、GPS機能が使えない場合であっても、簡易な構成で、精度よく、携帯端末100の所有者910の現在位置および方位を算出できる。
特に、本実施形態によれば、4つの標識点241を備える1つの標識板240を撮影するだけで、現在位置および方位を算出できる。このとき、端末位置Xは、高さも含めた3次元の位置として求まる。また、端末位置Xから標識板240への方位は、実空間の方向ベクトルとして求まる。従って、携帯端末100の筐体が、実空間でどの方向に向いているかも分かる。これにより、高さも含めた位置誘導も可能となる。
すなわち、本実施形態によれば、携帯端末100が、標識板240と同じ水平面上にない場合であっても、現在位置を算出できる。このため、標識板240添付の自由度が増すとともに、携帯端末100の所有者910にとっても、算出できる可能性が広がる。
<第三の実施形態の変形例1>
なお、本実施形態では、位置情報は、標識板240上に配置されていなくてもよい。仮想的な同一平面上であって、4点の標識点241と同時に撮影され、その情報を取得可能な位置に記載されていればよい。離れた位置に各標識点241が配置される場合、標識点毎にその点の位置座標が記載されていてもよい。
本変形例も含めて以下の変形例では、全ての標識点241が1つの画像内に納まらない場合がありうる。その場合の端末位置から2つの標識点間を見込む見込み角の測定は、3軸ジャイロセンサ142の出力を利用する。
例えば、標識点Aが画像aで撮影され、標識点Bが画像bで撮影されたとする。それぞれの画像において、端末位置から、画像中心と画像内の標識点Aとの間、画像中心と画像内の標識点Bとの間をそれぞれ見込む見込み角は、は、カメラ121の焦点距離と、標識点間の画像センサ上の長さとから幾何学的に算出できる。また、各画像の中心方向の、内部座標系での空間方位は、3軸ジャイロセンサ142の出力から計算される。従って、内部座標系の空間方位における標識点A,Bの方位が計算でき、端末位置から2つの標識点A,B間を見込む見込み角が算出できる。ここで、この見込み角を計算する上では、画像aと画像bとの中心方向の差は相対的に分かればよいので、3軸ジャイロセンサ142の出力から計算される内部座標系の方位は、実際の空間の方位からずれていても構わない。
また、本実施形態においても、位置情報として、標識板240にURL等の位置情報取得先を記載し、このQRコードを介して、管理サーバから各標識点241の位置座標を取得するよう構成してもよい。
また、位置座標は、緯度経度高さでなくてもよい。標識板240が設置されている建物、領域独自の座標系に基づく位置座標であってもよい。例えば、標識板240がショッピングセンタに配置されている場合、当該ショッピングセンタのフロアマップ等と関連づけられていてもよい。
<第三の実施形態の変形例2>
また、各標識点241は、四角形の頂点でなくてもよい。標識板240上で、少なくとも1点が、他の2つ以上の標識点241を結ぶ直線上になければよい。
このうち、一直線上にある3つの標識点241と、その直線上にない1点の標識点241を持つ標識板240の場合の、計算部172による現在位置の算出手法を、図21(a)~図21(c)を用いて説明する。
本変形例では、図21(a)に示すとおり、点A、点O、点Cは一直線上にあり、点Bのみ、線分AC上にはない。各標識点241の座標は、位置情報表示領域243に記載される。なお、標識点241の配置以外の構成は、本実施形態と同様である。
図21(b)は、端末位置Xと、点Aと、点Cとを結んだ三角形AXCである。上記実施形態同様、角AXOをθ、角CXOをθ、角XAOをξ、角XCOをξ、角XOAをλ、角XOCをλ、と、それぞれ、表す。この三角形AXCは、図19(a)の三角形AXCと同じ構成である。従って、上記同様の計算にて、LOXとλが求まる。
図21(c)は、端末位置Xと、点Oと、点Bとを結んだ三角形BXOである。上記実施形態同様、角BXOをθ、角XBOをξ、角XOBをλ、と、それぞれ、表す。
OBの値は位置情報から算出される。また、θは、カメラ121による測定で求まる。そして、LOXは、三角形AXCの性質から計算により求まる。従って、次式の正弦定理により、ξが求まり、λも求まる。
OB/sinθ=LOX/sinξ ・・・(59)
以降は図20(a)を用いた説明と同様の計算により、端末位置Xが求まる。
以上説明したように、本変形例によれば、同一平面にあり、少なくとも1点が同一直線上にない4点の標識点241の位置情報(位置座標)が与えられれば、携帯端末100により、端末位置Xから各標識点間を見込む見込み角を測定することにより、携帯端末100の端末位置Xを算出できる。その他、上記実施形態と同様の効果が得られる。
<第三の実施形態の変形例3>
(4つの標識点が同一平面上にない場合)
また、4つの標識点241は、同一平面上になくてもよい。4つの標識点241が全て一直線上に配置されない限り、端末位置Xは算出可能である。以下、この場合の計算部172による端末位置Xの算出手法について説明する。
まず、4つの標識点A、B、C、Dを2つずつ標識点の組に分け、それぞれの2つの標識点を通る2本の直線を考える。ここでは、点Aおよび点Bの組と点Cおよび点Dの組に分類する。なお、分類にあたっては、図22(a)に示すように、点Aおよび点Bを通る直線ABおよび点Cおよび点Dを通る直線CDが平行にならないように選択する。
なお、図22(a)は、端末位置Xの方向から各標識点241を見た図である。また、図22(b)、図22(c)、図22(d)は、端末位置Xと、線分CDで決定する平面の法線方向から各標識点241を見た図である。
携帯端末100から見て、同一方向(あるいは反対方向)になる2つの直線上の点(見かけ上の交点と呼ぶ)を新たな追加標識点O、U(以下、単に点O、点Uとも呼ぶ。)とする。なお、「反対方向」とは、図22(c)に示すように、2つの直線で携帯端末100が挟まれる場合である。点Oは直線AB上の点で、点Uは直線CD上の点である。ここでは、点Oが点Uより端末により近い、とする。なお、図22(d)に示すように、点Oおよび点Uは、必ずしも、点Aと点Bとの間、点Cと点Dとの間とは限らない。
ここで、端末位置Xと、直線ABとで決定する平面で考える。この平面上には、点Oおよび点Uも存在する。
この平面上の、標識点A,B,Uと携帯端末100の端末位置Xとの関係の一例を、図23(a)に示す。線分ABと線分UXとの交点がOである。各頂点の角度は、図示の通り、それぞれ、角UAOをη、角UBOをη、角AUOをζ、角OUBをζ、角XAOをξ、角XBOをξ、角AOXをλ、角BOXをλ、角AXOをθ、角BXOをθ、と表す。
三角形XOAと三角形XOBに関する正弦定理から次の式が成り立つ。
OX=LOAsinξ/sinθ=LOBsinξ/sinθ ・・・(60)
また、三角形UOAと三角形UOBに関する正弦定理から次式が成り立つ。
OU=LOAsinη/sinζ=LOBsinη/sinζ ・・・(61)
上記2式から、次の関係式が成り立つ。
sinξsinζ/sinθsinη=sinξsinζ/sinθsinη ・・・(62)
この関係式を変形すると、次式となる。
cotλ(cotη+cotη-cotθ-cotθ)=cotθcotη-cotθcotη ・・・(63)
標識点Uの位置を定めれば、ηとηが定まり、上式よりλが求まる。よって、図23(a)に示す各三角形の内角および辺の長さが求まり、端末位置Xが載る三角形XABの面の向きも決まるので、端末位置Xが求まる。
ただし、ここで、λが定まらない例外的なケースがある。それは、各内角が、以下の式で示す関係を満たす場合である。
cotη+cotη-cotθ-cotθ=0 ・・・(64)
このとき、以下の関係も成り立つ。
cotθcotη-cotθcotη=0 ・・・(65)
上記2式を連立させ、変形すると、次式となる。
cotη=cotθ ・・・(66)
cotη=cotθ ・・・(67)
すなわち、η、η、θ、θは、それぞれ、三角形の内角であるため、以下の関係が成り立つ。
η=θ ・・・(68)
η=θ ・・・(69)
円周角の定理を考えると、点A、点B、点U、点Xが同一円周上に載っていることを意味する。一方、点Xは、この円周上の任意の位置で、上式が成立する。従って、λが定まらない。この場合は、携帯端末100を別の場所に移動させて測定をやり直す。すなわち、計算部172は、移動および再撮影を促すメッセージを出力する。
例外的なケースを除き、標識点Uが定まれば、端末位置Xが求まる。標識点Uは、直線CD上にある。よって、直線CD上の各点を仮に標識点Uとして端末位置Xを算出する場合、端末位置Xの候補点は、空間の所定の曲線(第一曲線)上に載る。
図23(b)に示すように、同様な計算を標識点C、D、O、Uを用いて行う。この結果、λは、次式で求まる。
cotλ(cotη+cotη+cotθ+cotθ)=cotθcotη-cotθcotη ・・・(70)
同様に、直線AB上の各点を仮に点Oとして端末位置Xを計算すると、空間に端末位置Xの候補点が載る、第一曲線とは異なる曲線(第二曲線)が定まる。端末位置Xは、第一曲線と第二曲線との交点である。
図24(a)に示すように、三角形ABUにおいて、点Uから辺ABへ垂線を下ろし、垂線の足をWとする。cotη、cotηを点間距離で表して整理すると、式(63)は下記のように表される。
cotλ(LAB-LUW(cotθ+cotθ))=LBWcotθ-LAWcotθ ・・・(71)
次に、図24(b)に示すように、三角形CDOにおいて、点Oから辺CDへ垂線を下ろし、垂線の足をQとすると、式(70)は、下記のように表される。
cotλ(LCD+LOQ(cotθ+cotθ))=LDQcotθ-LCQcotθ ・・・(72)
例えば、図18に示すように、標識点A、B、C、Dが同一平面にある場合は、式(71)および式(72)においては、点U,O,W,Qが同一点になる極限であり、式(41)から式(44)の表記と矛盾しない。
ここで、線分AO、線分OX,線分CU,線分UXの長さ(距離)は、以下の通り算出される。
AO=LAW-LUWcotλ ・・・(73)
OX=(LAW-LUWcotλ)(cotθ+cotλ)sinλ ・・・(74)
CU=LCQ+LOQcotλ ・・・(75)
UX=(LCQ+LOQcotλ)(cotθ+cotλ)sinλ ・・・(76)
点Uを定めると点Wが定まり、式(71)、式(73)、式(74)を持いて端末位置Xの座標が定まる。一方、点Oを定めると点Qが定まり、式(72)、式(75)、式(76)を用いて端末位置Xの座標が定まる。両方で算出された端末位置Xが同じ座標となるよう点U,点Oを探索する。
以上のように、外部座標系での座標値が分かっている4つの標識点241であって、同一平面上になく、かつ、少なくとも1点が同一直線上にない標識点241が与えられると、端末位置Xから標識点241と交点の間を見込む見込み角を測定し、方向の異なる標識点241間を結ぶ直線と、標識点241と端末位置Xとを結ぶ直線の角度と、さらに標識点241から端末位置Xまでの距離を求めて、外部座標系での端末位置Xの座標値を求めることができる。なお、交点は、標識点241間を結ぶ2つの直線の端末位置Xから見た見かけ上の交点(点O,点U)のいずれかである。また、端末位置Xから2つ以上の標識点241へ向かう外部座標系での方向が分かるので、携帯端末100の内部座標系の、外部座標系における向きも把握できる。
端末位置Xから2つの標識点241間を見込む見込み角の測定は、1枚の写真内に2つの標識点241が収まる場合は、写真の解析で行うことができる。また、3軸ジャイロセンサ142等の携帯端末100の方位(空間内での端末の向き)を推定するセンサ(以後、方位センサと呼ぶ)がなくても、端末位置Xの推定と、端末の方位(外部座標系での向き)の推定と、ができる。そのため、カメラ121は全立体角の撮影ができることが望ましい。
方位センサが端末に搭載されている場合は、携帯端末100の姿勢を変えながら複数枚の写真を撮影し、携帯端末100の内部座標系から見た各標識点の方位から、端末位置Xから2つの標識点241間を見込む見込み角を測定することができる。そして、この場合、内部座標系における各標識点241方向の相対的な関係しか使わないので、内部座標系と外部座標系との方位の関係も正確に求めることができ、内部座標系の方位の校正に利用することもできる。
<第三の実施形態の変形例4>
また、方位センサである3軸ジャイロセンサ142の出力も加味すれば、標識点241は、4点に限定されない。全点が一直線上にない限り、3点以上であればよい。3点以上の標識点241の位置座標があれば、標識点241が含まれる面の方位を計算することは可能である。また、後述するように、内部座標系の方位が正しければ、2点以上であってもよい。
(3つの標識点が与えられる場合)
以下、3点の標識点241が与えられた場合の、計算部172による端末位置Xの算出手法を説明する。なお、本変形例では、携帯端末100の方位センサである3軸ジャイロセンサ142の出力を用いる。以下、この手法を説明する。
まず、3つの標識点241と、互いに非平行な射影面410と射影面420とを設定する。なお、射影面410と射影面420とは、非平行であればよく、直交している必要はない。図25に3つの標識点A,B,Cと射影面410、射影面420との例を示す。
各標識点241の座標を射影面410と射影面420とにそれぞれ射影する。ここでは、各点の射影面410への射影点を、それぞれ、点A’,B’,C’とする。また、射影面420への射影点を、それぞれ、点A”、B”,C”とする。端末位置Xも各射影面に射影し、射影点を、それぞれ、X’、X”とする。
実空間での端末位置Xから標識点間を見込む見込み角(角度)から、各射影点X’から各射影点A’,B’,C’間を見込む見込角(角度)を計算する。射影方向は内部座標系で分かっているので、射影面410内での角度も計算できる。
射影面410に射影した標識点と端末位置Xとの図を図26(a)~図26(c)に示す。なお、射影面420に関しても、基本的に同様であるため、ここでは、射影面410に射影した場合を例にあげて説明する。
それぞれ、図23(a)、図23(b)、図21(b)と同様の位置関係であるため、同様にして、端末位置Xから標識点241間を見込む見込み角の測定値から、射影面410内での端末位置X’が求まる。
図27に示すように、標識点C’から直線A’B’へ下ろした垂線の足をW’とする。なお、標識点C’が直線A’B’を挟んで端末位置X’よりも遠い位置にある場合(図26(a))は、LC’W’>0,ηA’>0,ηB’>0とする。標識点C’が直線A’B’を挟んで端末位置X’よりも近い位置にある場合(図26(b))は、LC’W’<0,ηA’<0,ηB’<0とする。標識点C’が直線A’B’上にある場合(図26(c))は、LC’W’=0とする。これにより、表式を下記に統一できる。
cotλA’(LA’B’-LC’W’(cotθA’+cotθB’))=LB’W’cotθB’-LA’W’cotθA’ ・・・(77)
A’O’=LA’W’-LC’W’cotλA’ ・・・(78)
O’X’=(LA’W’-LC’W’cotλA’)(cotθA’+cotλA’)sinλA’ ・・・(79)
なお、図26(c)の場合は、点W’と点O’は一致する。
ただし、射影面410内において、標識点A’B’C’と端末位置X’とが一直線上に並ぶ場合や、同一円周上に載る場合は、端末位置X’を求めることができない。この場合は、射影面を再設定する、または、移動して再測定を行う。
これにより、射影面410および射影面420に射影した端末位置X’、X”が求まる。そして、端末位置X’とX”とから射影方向に伸ばした直線の交点として、実空間での端末位置Xを求めることができる。
さらに、携帯端末100の向いている方向も測定から推定できるので、内部座標系の方向修正も可能である。その際、修正後の内部座標系を使用して、同じ手順で端末位置Xを求め直してもよい。この手順を、端末位置Xおよび内部座標系の方向が必要とする精度になるまで繰り返すことも可能である。
(2つの標識点が与えられる場合)
なお、さらに、方位センサである3軸ジャイロセンサ142の出力から、携帯端末100の内部座標系による方位が得られる場合、2つの標識点241の情報のみから端末位置Xを算出できる。
例えば、図28(a)に示すように、2つの標識点241(点Aおよび点B)が与えられている場合、端末位置Xは、点A、点Bを通る円周244を、直線ABを軸として回転させた曲面上である。なお、角AXB(θAB)は、取得画像から算出可能である。
端末位置Xから各標識点241への方向(V (o),V (o))が分かれば、その曲面上の端末位置X(o)を特定することができる。
なお、2つの標識点241しか与えられない場合は、標識点方位(θAB)の測定だけからは、携帯端末100の内部座標系の方向の修正はできない。しかし、別の方法で、端末位置Xの推定値X(d)が得られる場合、推定値X(d)と、上記手法で特定した端末位置X(o)との重み付け平均値を新たな携帯端末100の端末位置Xとし、その端末位置Xから計算した標識点の方向(V)に合うように、内部座標系の方向を修正する。
(1つの標識点が与えられる場合)
ここで、1つの標識点241が与えられる場合の内部座標系の方向の修正手法を説明する。この場合は、図28(b)に示すように、標識点Aを通る直線L上に端末位置X(o)が載っていることしか分からない。なお、V (o)は、内部座標系で測定した携帯端末100の端末位置Xから見た標識点241の方向である。
別の方法で推定した端末位置X(d)から、直線Lに下ろした垂線の足をX(o)とする。さらに、端末位置X(d)と端末位置X(o)の重み付平均値を新たな端末位置Xとし、その端末位置から計算した標識点の方向(V)に合うように、内部座標系の方向を修正する。
<第三の実施形態の変形例5>
(標識点の測定が複数の地点で行われる場合)
また、上記実施形態では、所有者910は、1か所で複数の標識点241を撮影し、端末位置Xを計算している。しかしながら、これに限定されない。所有者910は、異なる位置で取得した複数の標識点241を用いて、端末位置Xを計算してもよい。
例えば、携帯端末100の所有者910は、1か所で、端末位置推定に必要な複数の標識点241を撮影できない場合がある。本変形例は、このような場合を想定したものである。
本変形例では、図29(a)に示すように、携帯端末100の所有者910は、1か所で複数の標識点241を撮影できない場合、移動して、端末位置推定に必要な数の標識点241(図29(a)では、点241a、点241b、点241c、点241d)を撮影する。このとき、移動量は、携帯端末100の内部機能で算出する。
本変形例の計算部172は、各標識点241の位置情報を、同一箇所で標識点241を撮影したように移動量(3次元のベクトル量)を用いて補正する。すなわち、異なる位置で取得した標識点241の位置情報を、現在位置を基準とした位置情報に補正する。そして、端末位置Xを、補正後の標識点241の位置情報を用いて算出する。
以下、異なる複数個所で取得した標識点241を用いて端末位置Xを推定する手法を、図29(b)を用いて説明する。
地点Sの、携帯端末100の内部座標系での表現をQとする。地点Sで標識点Aの方向を測定し、地点Tで標識点Bの方向を測定したとする。地点Sから見た地点Tまでの移動ベクトルDSTは、下記の式で表される。
ST=Q-Q ・・・(80)
移動ベクトルDSTで示される移動量を打ち消す分だけ、標識点A(座標値P)を変更した(移動させた)とする。変更後の標識点A’(座標値PA’)を地点Tからみた方向は、地点Sからみた標識点Aの方向に等しい。従って、以下の式が成り立つ。
A’=P+DST ・・・(81)
TA’=VSA ・・・(82)
ここで、記号VIJは、内部座標系での地点Iからみた地点Jへの単位ベクトルである。
このように、地点T以外で測定した標識点241(点A)を仮想的に移動させた点A’を新たな標識点241とする。移動量は、測定点間の移動量を打ち消す量とする。そして、新たな標識点241(点A’)を地点Tで測定したものとし、地点Tで測定した他の標識点241(点B)とを用いて、上記手法で端末位置Xを推定する。
端末位置Xの推定では、上述のように、各標識点241間の方向および見込み角を求める。本変形例においても、標識点241間の方向および見込み角の測定は、携帯端末100の内部座標系での標識点方向のおよび見込み角として測定できる。
また、測定地点間の移動ベクトルは、内部センサにより測定する。例えば3軸加速度センサ143の2回積分値として移動ベクトルを求める。
<応用例1>
なお、本変形例の応用として、携帯端末100の所有者910が、移動しながら、端末位置を推定するために必要な標識点を取得し、新たな標識点を取得する毎に、最新の複数の標識点を用いて、現在位置を更新する手法を説明する。
本応用例では、計算部172は、現在の端末位置Xを推定する毎に、推定した端末位置Xを、推定した日時に対応づけて推定位置データとして管理する。推定位置データは、例えば、データ記憶部174に記憶される。
推定位置データ180の一例を、図30(a)に示す。本図に示すように、推定位置データ180は、各推定位置を一意に特定する識別情報である地点No.181に対応づけて、当該位置の推定に使用した標識点を測定した日時(日付/時刻)182と、推定した端末位置(地点座標)183と、測定した時点における端末の速度184と、その時点で撮影した標識点241の座標(標識座標)185と、その標識点241の携帯端末100からの方向(標識方向)186と、が登録される。
次に、本応用例の手法で、携帯端末100の現在位置を算出する端末位置推定処理の流れを、説明する。図31は、本応用例の端末位置推定処理の処理フローである。以下、本例では、4つの標識点241を用いて、現在位置を算出するものとする。また、最初に少なくとも4点の標識点241の位置座標(標識座標)を取得し、端末位置(端末座標)を算出するものとする。
また、最初に計算部172が算出した端末位置は、算出時刻に対応づけて、推定位置データ180に登録されているものとする。このとき、算出に用いた各標識点241の位置情報(標識座標)、携帯端末100の内部座標系における標識方向も併せて登録する。
所有者910が携帯端末100を持ち、所定の距離だけ移動し、新たな標識点241を見つけた場合、所有者910は、携帯端末100のユーザI/F130を介して、位置推定処理を行うよう指示するとともに、新たな標識点241にカメラ121を向ける。
端末位置推定部170は、所有者910からの指示を受け付けると、画像取得部171に、新たな標識点241の画像を取得させる(ステップS3101)。
画像取得部171が新たな標識点241の画像を取得すると、計算部172は、画像を解析し、新たな標識点241の位置情報(標識座標)を取得するとともに、内部座標系における、新たな標識点241の向き(標識方向)を、取得する(ステップS3102)。
計算部172は、さらに、推定位置データ180を参照し、直前のレコードの日時を抽出し、当該日時から現在時刻までの、携帯端末100の平均速度を、速度として算出する(ステップS3103)。なお、速度は、3軸加速度センサ143の出力から所定の時間間隔で計算し、記録されているものとする。
計算部172は、取得した標識座標と標識方向と、算出した速度とを、新たな地点データとして、新たな地点No.に対応づけて、推定位置データ180に登録する(ステップS3104)。
次に、計算部172は、最新の4つの標識点241を用いて、端末位置Xを算出する。このとき、本例では、新たな標識点241以外は、携帯端末100が異なる地点にいた状態で取得したものである。従って、まず、上記手法で、移動ベクトルを算出する。そして、移動ベクトル分標識方向を変換することにより、現在位置から測定したと仮定した標識座標を得る(ステップS3105)。
そして、得られた標識方向および標識座標で推定位置データ180を更新する(ステップS3106)。例えば、図30(a)の例では、地点No.1で取得したPB1、PC1、PD1とPE2とを用いて現在位置を算出する。従って、PB1、PC1、PD1を、移動量に応じて現在位置Xを基準とした座標値に変換し、PB2、PC2、PD2を得る。なお、このとき、標識方向は、端末位置、標識座標共に変更するので、それぞれ、V1B、V1C、V1Dから変わらない。
計算部172は、変換後の最新の4つの標識点(標識座標PB2、PC2、PD2、PE2)を用いて、現在位置Xの、推定位置座標を算出する(ステップS3107)。そして、算出結果を、推定位置データ180に格納し(ステップS3108)、処理を終了する。
現在位置Xの推定後の、推定位置データ180を、図30(b)に示す。新たな推定位置の計算に使用したレコードを書き換える。また、書き換える前の情報を履歴として残しておいてもよい。
次に、所有者910が移動し、新たな標識点241(複数でも可)を撮影し、現在位置推定の指示を行った場合、携帯端末100の計算部172は、当該標識点241を、地点No.3のレコードを作成して登録する。そして、4標識点にするために補う直前の数レコード(図30(b)の例では、標識座標がPC2、PD2、PE2の標識点のレコードから選ぶ)を、移動量分変換する。そして、変換後の座標位置、方向、新たな標識点241の位置方位情報を用い、撮影地点の端末位置Xを算出する。
<応用例2>
さらに、本変形例では、所有者910が、画像を撮影する毎に、撮影した画像内の標識点241の有無を判別し、標識点241がある場合、過去に取得した標識点と合わせて、端末位置Xを算出するが、端末位置Xの算出に使用する標識点の数が4つに限定されない。さらに、同一の標識点であっても、異なる端末位置から測定した場合は、異なる標識点データとして扱ってもよい。以下、この場合の処理について説明する。
この場合、例えば、推定位置、標識点241のデータは、取得した状態で、データ記憶部174に保持する。この場合の、推定位置履歴190の一例を、図32に示す。本図に示すように、推定位置履歴190は、推定位置データ180と略同様の項目のデータを保持する。
すなわち、各測定データを一意に特定する識別情報であるデータNo.191に対応づけて、当該位置の推定に使用した標識点を測定した日時(日付/時刻)192と、推定した端末位置(地点座標)193と、推定した時点における端末の速度194と、その時点で撮影した標識点241の座標(標識座標)195と、その標識点241の携帯端末100からの方向(標識方向)196と、が登録される。
次に、この推定位置履歴190を用いて、過去に測定した標識点を用いた、端末位置の推定処理の流れを説明する。図33は、本例の、端末位置推定処理の処理フローである。ここでは、画像取得部171が、新たな画像を取得したことを契機に処理を開始する。なお、動画を撮影している場合は、一定時間毎に処理を開始してもよい。
まず、計算部172は、取得した画像を解析し、標識点241を検出したか否かを判別する(ステップS4101)。なお、移動速度が一定値以下の場合は、静止していると見做して、連続して撮影した複数枚の画像データを用いてもよい。検出したか否かは、例えば、画像解析により、所定の位置情報が抽出できたか否かにより判断する。
検出できなかった場合(ステップS4101;No)は、そのまま処理を終了する。
一方、1以上の標識点241が検出された場合(ステップS4101;Yes)、まず、計算部172は、内部センサに基づき、端末位置X (d)を推定する(ステップS4102)。
ここでは、現在位置において、地点No.1の端末位置Xの座標(地点座標)193および携帯端末100の速度194に、携帯端末100の加速度の積分値を加算する。加速度の積分値は、内部センサである3軸加速度センサ143による加速度測定値から重力加速度を減算することにより得る。具体的には、端末位置の座標X (d)と端末の速度S (d)は、次式で推定する。
Figure 0007041262000001
Figure 0007041262000002
ここで、a(u)は、3軸加速度センサで測定した加速度で、gは、重力加速度に補正用の加速度を加えたものであり、いずれも、内部座標系を基準とした量である。また、tは地点No.1の測定を行った時刻からの経過時間を表す。
次に、計算部172は、検出した標識点241の数M(Mは1以上の整数)を特定する(ステップS4103)。具体的には、計算部172は、端末位置X (d)において取得した画像を解析し、当該画像内の標識点の数を検出する。計算部172は、検出した標識点241と、過去に測定した標識点241の情報と合わせて新たな端末位置の推定値X (o)を求める。
次に、計算部172は、端末位置の推定値X (o)を算出するにあたり、新たな標識点を含め、用いる標識点の数N(Nは1以上の整数)を用いるかを決定する(ステップS4104)。
具体的には、以下のように決定する。
(ケース1):今回の画像から新しく取得した標識点241も含め、新しい順に選んだ4つの標識点241の集合において、各標識点241の位置の現在地点からの距離を得る。そして、得られた距離の最大値とdmax4と予め定めた値dとを比較する。dmax4が値dより小さい場合は、その4つの標識点241を使用する。
(ケース2):ケース1を満たさない場合、新しい順に選んだ3つの標識点241の集合における前記距離の最大値dmax3と予め定められた値dとを比較する。dmax3が値dより小さい場合は、その3つの標識点241を使用する。
(ケース3):ケース2も満たさない場合、新しい順に選んだ2つの標識点の前記距離の最大値dmax2と予め定められた値dとを比較する。dmax2が値dより小さい場合は、その2つの測定点を使用する。
(ケース4):ケース3も満たさない場合、最も新しい標識点241のみを使用する。
距離の限界値としては、例えば、以下の関係を設定する。しかしながら、これに限定されない。
<d<d ・・・(85)
使用する標識点数Nが決定したら、上述した標識点数Nに応じた方法により、端末位置の推定値X (o)を求める(ステップS4105)。
新たに測定した標識点241の座標をP、この時点での内部座標系を基準にした新たな標識点方向ベクトルをV (o)とする(新しい端末位置で測定した標識点241が複数ある場合は、それぞれの標識点241の方向も含む)。また、上述の方法において、端末位置を計算できない場合において、端末位置を移動して、新らたな測定を行う他、より古い測定点のデータを使用することにより、条件を満たす場合は、その測定点を代わりに用いてもよい。
次に、ケースnの場合の重みづけ係数をKとした場合に、それぞれのケースに応じて、新しい端末位置Xを次式で計算する(ステップS4106)。
=(1-K)X (d)+K (o) ・・・(86)
ここで、各重み係数は、例えば、以下の関係を有するものとする。
1≧K>K>K>K>0 ・・・(87)
ただし、重み係数の関係は、これに限定されない。
次に、内部座標系の方向を更新する(ステップS4107)。ここでは、外部座標値での新たな端末位置座標Xと、同じく外部座標値での新たな標識点座標Pから、端末位置から見た新たな標識点241の方向ベクトルVを計算する。そして、現内部座標系基準で測定した各標識点241の方向ベクトルV (o)とVとの差から、内部座標系で測定した方向ベクトルがTに等しくなるように回転させた内部座標系を新たな目標内部座標系として設定する。
この時、新たな標識点241が複数ある場合は、全ての新たな標識点241において方向ベクトルVの計算値と測定値を完全に一致させることができない場合がある。その場合は、例えば、方向の誤差の和が最小になるように新たな目標内部座標系を設定する。新しい内部座標系として目標内部座標系を採用してもよいが、重み係数を使用して目標内部座標系にするための回転角を小さくしてもよい。
現内部座標系から目標内部座標系に変換するために、例えば直交する3軸での回転を行うが、それぞれの回転角をケースnに対して重み係数K’倍してもよい。ここで、重み係数は、例えば、以下の関係を有するものとする。
1≧K‘>K’>K‘>K’>0 ・・・(88)
ただし、重み係数の関係は、これに限定されない。
最後に、内部センサによる位置推定のためのパラメータの更新を行う(ステップS4108)。このとき、地点Xにおける速度の新たな推定値は次式で求める。
=S (d)-(X (d)-X)/Δt ・・・(89)
ここで、Δtは、No.1の地点の測定時刻から、新たな測定を行った時刻までの経過時間である。
さらに、加速度の積分から求めた位置推定に誤差が出る原因は、加速度の測定値に第一の原因があると推測できる。よって、加速度測定値の補正を、重力加速度の修正により行う。修正は、まず内部座標系の補正前において、次式で行う。
=g-(S-S (d))/Δt ・・・(90)
ここで、gが補正後の重力加速度である。さらに、新たな内部座標系での表現にgを変更する。
以上で値の更新ができたので、推定位置履歴190を書き換える。具体的には、以下の手順で書きかえる。
まず、過去データをNo.(k)のデータをNo.(k+N)にコピーする。次にNo.(1)からNo.(N)までのデータとして、「日付/時刻」として測定した日付と時刻、「地点座標」としてX、「速度」としてS、「標識座標」としてP、「標識方向」としてVを書き込む。さらに、次のステップでの(83)式で使用するgの値として、補正後のgを設定し、処理を終了する。
なお、以降も、携帯端末100を用い、画像を取得する毎に、上記処理を繰り返す。
以上により、移動しながら、新たな標識点を測定して逐次外部座標系での端末の位置を推定し、内部座標系の方向を外部座標系の方向に合わせるように補正を行うことができる。
<第三の実施形態の変形例6>
なお、本実施形態では、端末位置の推定に、予め標識板等に標識点241として添付したものを用いているが、これに限定されない。例えば、ランドマークの代表点、天井の隅等、建造物の特徴点を用いてもよい。この場合、計算部172は、これらの代表点または特徴点の位置座標を、サーバ960より取得して位置計算を行ってもよい。
<第三の実施形態の変形例7>
また、本実施形態では、標識点241の近傍に配置された位置情報あるいは、QRコード等から標識点241の位置座標を取得しているが、これに限定されない。例えば、標識点241から位置情報(座標値)を送信可能な構成としてもよい。
この場合、例えば、標識点241は、光等の直進性のよい信号を発するものであってもよい。なお、標識点241から発信する電磁波は、直進性がよく、方向を計測できる受信装置があるものであれば電波でもよい。標識点241は、ビーコン信号として、その標識点241の座標情報を送り続ける。これにより、コンパクトな標識点241が構成できる。さらにまた、ビーコン信号に標識点241の識別信号を載せてもよい。その場合、識別信号を使用して、サーバ960から標識点241の位置情報を取得してもよい。
また、移動体にビーコン信号を出力する標識点241を搭載してもよい。この場合、標識点241を搭載する移動体または、標識点241自体が、自らの位置を他の標識点241からの信号で計算できる構成を備える。これにより、標識点241が自動的に自位置の設定ができ、また、移動にも対応できる。
さらに、携帯端末100自身がビーコンによる標識点241になっても構わない。端末が近接している場合に、端末相互で精密な相対位置の把握が可能となる。例えば、ドローンが密集して飛行する場合など、衝突回避に有効である。
<変形例>
上記各実施形態および変形例では、携帯端末100内で、現在位置を推定(算出)している。しかし、これに限定されない。携帯端末100で画像を取得し、アクセスポイント970およびネットワーク940を介して、サーバ960に送信し、サーバ960において、送信元の携帯端末100の現在位置を算出してもよい。この場合、算出結果を、送信元の携帯端末100へ返信する。
なお、本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100:携帯端末、101:CPU、102:バス、110:記憶装置、111:ROM、112:RAM、113:ストレージ、120:撮影装置、121:カメラ、122:画像プロセッサ、123:画像メモリ、130:ユーザI/F、131:ディスプレイ、140:センサ装置、141:GPS受信器、142:3軸ジャイロセンサ、143:3軸加速度センサ、150:通信装置、151:LAN通信器、152:電話網通信器、153:近距離通信器、160:拡張I/F、170:端末位置推定部、171:画像取得部、172:計算部、173:表示制御部、174:データ記憶部、175:QRコード解析部、176:ナビ部、180:推定位置データ、184:速度、190:推定位置履歴、194:速度、
200:標識板、200a:標識板、201:位置方位情報表示領域、202:方位矢印、211:標識板、212:標識板、213:基準点、221:標識画像、222:標識画像、230:標識板、231:標識円、231i:標識円画像、232:方位線、232i:方位線画像、233:位置方位情報表示領域、234i:長軸、240:標識板、241:標識点、242:交点、243:位置情報表示領域、244:円周、
410:射影面、420:射影面、910:所有者、940:ネットワーク、950:基地局、960:サーバ、970:アクセスポイント

Claims (19)

  1. カメラと、前記カメラで取得した画像を処理する処理部と、を備える携帯端末であって、
    前記処理部は、
    前記カメラにより、当該携帯端末から離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む画像である標識画像を取得する画像取得部と、
    取得した前記標識画像を解析し、当該携帯端末の位置である端末位置を算出する計算部と、を備え、
    前記計算部は、前記2つの標識点の位置と、前記2つの標識点をそれぞれ含む2つの標識板の面である標識面それぞれと前記携帯端末とのなす角度と、2つの標識板の方位情報と、に基づいて、前記2つの標識点の間の長さと、前記端末位置と前記2つの標識点とで形成される第一の三角形における、前記2つの標識点それぞれにおける内角と、を算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記端末位置を算出すること
    を特徴とする携帯端末。
  2. 請求項1記載の携帯端末であって、
    前記画像取得部は、前記2つの標識板を前記カメラでそれぞれ撮影することにより、前記標識画像を取得し
    前記2つの標識板それぞれの中心点と前記端末位置とは同一水平面上にあり、
    前記2つの標識点は、前記2の標識板それぞれの前記中心点であり、
    前記2つの標識板は、それぞれ、前記標識画像の歪みから前記カメラと前記中心点とを結ぶ線分が、前記標識面の法線と成す角度を計測可能な形状を有し、
    前記計算部は、前記標識画像の歪みに基づいて、前記内角を算出すること
    を特徴とする携帯端末。
  3. カメラと、前記カメラで取得した画像を処理する処理部と、を備える携帯端末であって、
    前記処理部は、
    前記カメラにより、当該携帯端末から離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む標識板の画像である標識画像を取得する画像取得部と、
    取得した前記標識画像を解析し、当該携帯端末の位置である端末位置を算出する計算部と、を備え、
    前記標識板は、中心点の位置情報および当該標識板の標識面の方位情報が既知であり、前記中心点を中心とする標識円と、当該標識円の中心を通る弦である方位線と、を備え、
    前記2つの標識点は、当該標識円上の所定の直径と当該標識の円周とが交差する所定の2点であり、
    前記画像取得部は、前記標識板を当該標識板の標識面の法線方向とは異なる方向から撮影することにより、前記標識画像を得、
    前記計算部は、前記2つの標識点の位置情報と、前記端末位置および前記2つの標識点とで形成される第一三角形の面の方向とを算出し、算出した前記2つの標識点の位置情報および前記第一三角形の面の方向とを用いて、当該第一三角形における、前記2つの標識点それぞれにおける内角と、前記2つの標識点の間の長さとを算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記端末位置を算出すること
    を特徴とする携帯端末。
  4. カメラと、前記カメラで取得した画像を処理する処理部と、を備える携帯端末であって、
    前記処理部は、
    前記カメラにより、当該携帯端末から離れた位置の異なる4つの標識点であって位置情報が既知の標識点を含む標識板の画像である標識画像を取得する画像取得部と、
    取得した前記標識画像を解析し、当該携帯端末の位置である端末位置を算出する計算部と、を備え、
    前記4つの標識点は、同一平面上にあり、1点が同一線上になく、
    前記計算部は、前記4つの標識点の位置情報を用いて、
    同一線上にある3点の標識点のうちの、両端の2つの標識点である第一標識点および第二標識点を結ぶ線分と、前記端末位置と前記第一標識点および前記第二標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記同一線上にある3点の標識点のうちの中間の標識点である第三標識点と前記端末位置との間の距離である第一距離と、前記端末位置、前記第一標識点および前記第三標識点で形成される第一三角形における前記第三標識点における第一内角と、を算出するとともに、
    前記同一線上にない標識点である第四標識点と前記第三標識点とを結ぶ線分と、前記端末位置と前記第三標識点および前記第四標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記第一距離と、前記端末位置、前記第三標識点および前記第四標識点で形成される第二三角形における前記第三標識点における第二内角と、を算出し、
    前記第一距離、前記第一内角および前記第二内角を用いて、前記端末位置を算出し、
    前記第一三角形の前記端末位置における内角および前記第二三角形の前記端末位置における内角は、それぞれ、前記標識画像を解析することにより得ること
    を特徴とする携帯端末。
  5. 請求項4記載の携帯端末であって、
    前記第三標識点は、前記第一標識点と、前記第二標識点と、前記第四標識点と、第五標識点とで形成される四角形の対角線の交点であり、
    前記第五標識点は、前記4つの標識点のいずれとも異なる位置にあり、かつ、当該4つの標識点と同一平面上にあること
    を特徴とする携帯端末。
  6. 請求項1から5いずれか1項記載の携帯端末であって、
    記標識点は、予め位置情報が既知のランドマークの代表点であること
    を特徴とする携帯端末。
  7. 請求項1から6いずれか1項記載の携帯端末であって、
    算出した前記端末位置を当該携帯端末のディスプレイに表示させる表示制御部をさらに備えること
    を特徴とする携帯端末。
  8. 請求項7記載の携帯端末であって、
    前記ディスプレイは、ユーザから目標地点の設定を受け付ける受付部を兼ね、
    前記表示制御部は、算出した前記端末位置と前記携帯端末の向きとに基づいて、前記目標地点の3次元的位置を示す画像を、前記カメラで取得した実画像に重畳させて表示すること
    を特徴とする携帯端末。
  9. 請求項1から8いずれか1項記載の携帯端末であって、
    ナビゲーションを行うナビゲーション部をさらに備え、
    前記計算部は、算出した前記端末位置を、前記ナビゲーション部に出力すること
    を特徴とする携帯端末。
  10. カメラと、前記カメラで取得した画像を処理する処理装置と、を備え、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定システムであって、
    前記カメラは、前記画像として、当該カメラから離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む標識画像を取得し、
    前記処理装置は、前記2つの標識点の位置と、前記2つの標識点をそれぞれ含む2つの標識板の面である標識面それぞれと前記カメラとのなす角度と、2つの標識板の方位情報と、に基づいて、前記2つの標識点の間の長さと、前記カメラ位置と前記2つの標識点とで形成される第一の三角形における、前記2つの標識点それぞれにおける内角と、を算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記カメラ位置を算出すること
    を特徴とするカメラ位置推定システム。
  11. カメラと、前記カメラで取得した画像を処理する処理装置と、を備え、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定システムであって、
    前記カメラは、前記画像として、当該カメラから離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む標識板の標識画像を、前記標識板を当該標識板の標識面の法線方向とは異なる方向から撮影することにより、取得し、
    前記標識板は、中心点の位置情報および当該標識板の標識面の方位情報が既知であり、前記中心点を中心とする標識円と、当該標識円の中心を通る弦である方位線と、を備え、
    前記2つの標識点は、当該標識円上の所定の直径と当該標識の円周とが交差する所定の2点であり、
    前記処理装置は、前記2つの標識点の位置情報と、前記カメラ位置および前記2つの標識点とで形成される第一三角形の面の方向とを算出し、算出した前記2つの標識点の位置情報および前記第一三角形の面の方向とを用いて、当該第一三角形における、前記2つの標識点それぞれにおける内角と、前記2つの標識点の間の長さとを算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記カメラ位置を算出すること
    を特徴とするカメラ位置推定システム。
  12. カメラと、前記カメラで取得した画像を処理する処理装置と、を備え、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定システムであって、
    前記カメラは、前記画像として、当該カメラから離れた位置の異なる4つの標識点であって位置情報が既知の標識点を含む標識板の標識画像を取得し、
    前記4つの標識点は、同一平面上にあり、1点が同一線上になく、
    前記処理装置は、前記4つの標識点の位置情報を用いて、
    同一線上にある3点の標識点のうちの、両端の2つの標識点である第一標識点および第二標識点を結ぶ線分と、前記カメラ位置と前記第一標識点および前記第二標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記同一線上にある3点の標識点のうちの中間の標識点である第三標識点と前記カメラ位置との間の距離である第一距離と、前記カメラ位置、前記第一標識点および前記第三標識点で形成される第一三角形における前記第三標識点における第一内角と、を算出するとともに、
    前記同一線上にない標識点である第四標識点と前記第三標識点とを結ぶ線分と、前記カメラ位置と前記第三標識点および前記第四標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記第一距離と、前記カメラ位置、前記第三標識点および前記第四標識点で形成される第二三角形における前記第三標識点における第二内角と、を算出し、
    前記第一距離、前記第一内角および前記第二内角を用いて、前記カメラ位置を算出し、
    前記第一三角形の前記カメラ位置における内角および前記第二三角形の前記カメラ位置における内角は、それぞれ、前記標識画像を解析することにより得ること
    を特徴とするカメラ位置推定システム。
  13. カメラと、前記カメラで取得した画像を処理する処理装置と、を備えるシステムにおいて、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定方法であって、
    前記カメラにより、前記画像として、当該カメラから離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む標識画像を取得し、
    前記2つの標識点の位置と、前記2つの標識点をそれぞれ含む2つの標識板の面である標識面それぞれと前記カメラとのなす角度と、2つの標識板の方位情報と、に基づいて、前記2つの標識点の間の長さと、前記カメラ位置と前記2つの標識点とで形成される第一の三角形における、前記2つの標識点それぞれにおける内角と、を算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記カメラ位置を算出する、カメラ位置推定方法。
  14. カメラと、前記カメラで取得した画像を処理する処理装置と、を備えるシステムにおいて、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定方法であって、
    前記カメラにより、前記画像として、当該カメラから離れた位置の異なる2つの標識点であって位置情報が既知の標識点を含む標識板の標識画像を、前記標識板を当該標識板の標識面の法線方向とは異なる方向から撮影することにより、取得し、
    前記標識板は、中心点の位置情報および当該標識板の標識面の方位情報が既知であり、前記中心点を中心とする標識円と、当該標識円の中心を通る弦である方位線と、を備え、
    前記2つの標識点は、当該標識円上の所定の直径と当該標識の円周とが交差する所定の2点であり、
    前記2つの標識点の位置情報と、前記カメラ位置および前記2つの標識点とで形成される第一三角形の面の方向とを算出し、算出した前記2つの標識点の位置情報および前記第一三角形の面の方向とを用いて、当該第一三角形における、前記2つの標識点それぞれにおける内角と、前記2つの標識点の間の長さとを算出し、算出した前記2つの標識点の間の長さおよび前記内角を用いて前記カメラ位置を算出すること
    を特徴とするカメラ位置推定方法。
  15. カメラと、前記カメラで取得した画像を処理する処理装置と、を備えるシステムにおいて、前記画像を解析することにより、当該カメラの位置であるカメラ位置を推定するカメラ位置推定方法であって、
    前記カメラにより、前記画像として、当該カメラから離れた位置の異なる4つの標識点であって位置情報が既知の標識点を含む標識板の標識画像を取得し、
    前記4つの標識点は、同一平面上にあり、1点が同一線上になく、
    前記4つの標識点の位置情報を用いて、
    同一線上にある3点の標識点のうちの、両端の2つの標識点である第一標識点および第二標識点を結ぶ線分と、前記カメラ位置と前記第一標識点および前記第二標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記同一線上にある3点の標識点のうちの中間の標識点である第三標識点と前記カメラ位置との間の距離である第一距離と、前記カメラ位置、前記第一標識点および前記第三標識点で形成される第一三角形における前記第三標識点における第一内角と、を算出するとともに、
    前記同一線上にない標識点である第四標識点と前記第三標識点とを結ぶ線分と、前記カメラ位置と前記第三標識点および前記第四標識点それぞれとを結ぶ線分とがなす角度と、を用いて、前記第一距離と、前記カメラ位置、前記第三標識点および前記第四標識点で形成される第二三角形における前記第三標識点における第二内角と、を算出し、
    前記第一距離、前記第一内角および前記第二内角を用いて、前記カメラ位置を算出し、
    前記第一三角形の前記カメラ位置における内角および前記第二三角形の前記カメラ位置における内角は、それぞれ、前記標識画像を解析することにより得ること
    を特徴とするカメラ位置推定方法。
  16. 物体の表面に添付する標識板であって、
    当該標識板の面である標識面に、位置情報および方位情報を撮影可能かつ撮影した画像を解析することにより前記位置情報および前記方位情報を取得可能な態様で表示する位置方位情報表示領域と、
    当該標識板をカメラで撮影することにより得た撮影画像の歪みから、前記カメラの位置と当該標識板の中心点とを結ぶ線が、前記標識面の法線と成す角度を計測可能なマークと、を備えること
    を特徴とする標識板。
  17. 請求項16記載の標識板であって、
    前記マークは、前記標識面に記載された矩形枠または円形枠であること
    を特徴とする標識板。
  18. 請求項16記載の標識板であって、
    前記マークは、前記標識面に記載された、仮想的な矩形の4つの頂点の位置を示す点であること
    を特徴とする標識板。
  19. 請求項16記載の標識板であって、
    前記マークは、前記標識面に記載された標識円と、前記標識円の所定の直径である方位線と、を備えること
    を特徴とする標識板。
JP2020523971A 2018-06-08 2018-06-08 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板 Active JP7041262B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022037091A JP7413421B2 (ja) 2018-06-08 2022-03-10 位置および向き認識システム、携帯端末、及び位置および向き認識方法
JP2023220146A JP2024026547A (ja) 2018-06-08 2023-12-27 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/022120 WO2019234936A1 (ja) 2018-06-08 2018-06-08 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022037091A Division JP7413421B2 (ja) 2018-06-08 2022-03-10 位置および向き認識システム、携帯端末、及び位置および向き認識方法

Publications (2)

Publication Number Publication Date
JPWO2019234936A1 JPWO2019234936A1 (ja) 2021-02-25
JP7041262B2 true JP7041262B2 (ja) 2022-03-23

Family

ID=68769851

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020523971A Active JP7041262B2 (ja) 2018-06-08 2018-06-08 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板
JP2022037091A Active JP7413421B2 (ja) 2018-06-08 2022-03-10 位置および向き認識システム、携帯端末、及び位置および向き認識方法
JP2023220146A Pending JP2024026547A (ja) 2018-06-08 2023-12-27 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022037091A Active JP7413421B2 (ja) 2018-06-08 2022-03-10 位置および向き認識システム、携帯端末、及び位置および向き認識方法
JP2023220146A Pending JP2024026547A (ja) 2018-06-08 2023-12-27 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板

Country Status (2)

Country Link
JP (3) JP7041262B2 (ja)
WO (1) WO2019234936A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7304284B2 (ja) * 2019-12-23 2023-07-06 株式会社構造計画研究所 位置推定装置、移動体、位置推定方法及びプログラム
JP7478995B2 (ja) 2020-03-13 2024-05-08 パナソニックIpマネジメント株式会社 携帯端末、ナビゲーション方法、及び、コンピュータプログラム
JP7294735B2 (ja) * 2020-06-15 2023-06-20 Necソリューションイノベータ株式会社 ナビゲーション装置、ナビゲーションシステム、ナビゲーション方法、プログラム、及び、記録媒体
US20240183665A1 (en) * 2021-04-19 2024-06-06 Ns Solutions Corporation Information processing device, information processing method, and program
JP7429049B2 (ja) 2021-04-23 2024-02-07 株式会社コンピュータサイエンス研究所 歩行者位置特定システム及び歩行者位置特定ソフトウェア
CN113358032B (zh) * 2021-05-20 2023-12-12 中交第二公路工程局有限公司 一种基于激光跟踪测距的隧道内自动监控量测量系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000205888A (ja) 1999-01-07 2000-07-28 Hitachi Ltd 位置・方位情報取得方法及び装置
WO2015122389A1 (ja) 2014-02-12 2015-08-20 ヤマハ発動機株式会社 撮影装置、車両および画像補正方法
JP2016070674A (ja) 2014-09-26 2016-05-09 富士通株式会社 3次元座標算出装置、3次元座標算出方法および3次元座標算出プログラム
US20160223320A1 (en) 2015-02-04 2016-08-04 Prüftechnik Dieter Busch AG Apparatus and method for determining the target position deviation of two bodies
JP2017201281A (ja) 2016-05-06 2017-11-09 計測ネットサービス株式会社 測量機器による自動視準方法及び自動視準装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3501610B2 (ja) * 1997-01-31 2004-03-02 新日本製鐵株式会社 三次元座標測定方法
JP4282067B2 (ja) 2003-09-30 2009-06-17 キヤノン株式会社 指標識別方法および装置
JP4708752B2 (ja) 2004-09-28 2011-06-22 キヤノン株式会社 情報処理方法および装置
JP6237326B2 (ja) 2014-02-25 2017-11-29 富士通株式会社 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム
JP6572618B2 (ja) 2015-05-08 2019-09-11 富士通株式会社 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム
JP2017181374A (ja) 2016-03-31 2017-10-05 三井住友建設株式会社 表面高さ表示方法
JP6211157B1 (ja) 2016-09-01 2017-10-11 三菱電機株式会社 キャリブレーション装置およびキャリブレーション方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000205888A (ja) 1999-01-07 2000-07-28 Hitachi Ltd 位置・方位情報取得方法及び装置
WO2015122389A1 (ja) 2014-02-12 2015-08-20 ヤマハ発動機株式会社 撮影装置、車両および画像補正方法
JP2016070674A (ja) 2014-09-26 2016-05-09 富士通株式会社 3次元座標算出装置、3次元座標算出方法および3次元座標算出プログラム
US20160223320A1 (en) 2015-02-04 2016-08-04 Prüftechnik Dieter Busch AG Apparatus and method for determining the target position deviation of two bodies
JP2016142737A (ja) 2015-02-04 2016-08-08 プリューフテヒニーク ディーター ブッシュ アクチェンゲゼルシャフト 2個の物体の目標位置偏差を検出する装置ならびに方法
JP2017201281A (ja) 2016-05-06 2017-11-09 計測ネットサービス株式会社 測量機器による自動視準方法及び自動視準装置

Also Published As

Publication number Publication date
WO2019234936A1 (ja) 2019-12-12
JP2024026547A (ja) 2024-02-28
JP7413421B2 (ja) 2024-01-15
JPWO2019234936A1 (ja) 2021-02-25
JP2022082583A (ja) 2022-06-02

Similar Documents

Publication Publication Date Title
JP7041262B2 (ja) 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板
US11704869B2 (en) System and method for determining geo-location(s) in images
US9189853B1 (en) Automatic pose estimation from uncalibrated unordered spherical panoramas
US9953461B2 (en) Navigation system applying augmented reality
US10482659B2 (en) System and method for superimposing spatially correlated data over live real-world images
US10977850B2 (en) Server, user terminal, and service providing method, and control method thereof
KR101285360B1 (ko) 증강현실을 이용한 관심 지점 표시 장치 및 방법
Verma et al. Indoor navigation using augmented reality
US9074887B2 (en) Method and device for detecting distance, identifying positions of targets, and identifying current position in smart portable device
US9583074B2 (en) Optimization of label placements in street level images
US8155387B2 (en) Method and system for position determination using image deformation
Feng et al. Augmented reality markers as spatial indices for indoor mobile AECFM applications
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
KR101413605B1 (ko) 네비게이션 시스템 및 방법
JP7220784B2 (ja) 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN111161350B (zh) 位置信息及位置关系确定方法、位置信息获取装置
US20220180592A1 (en) Collaborative Augmented Reality Measurement Systems and Methods
Yokoi et al. Way-finding assistance system for underground facilities using augmented reality
JP7345366B2 (ja) 情報表示システム、情報表示装置、情報表示方法および情報表示プログラム
CN107704579B (zh) 基于路网的众包数据处理方法、装置、设备及存储介质
Tang A mixed reality solution for indoor navigation
JP2023094344A (ja) 拡張現実表示装置、方法、及びプログラム
JP2021038959A (ja) 生成装置、生成方法、および生成プログラム
JP2021038958A (ja) 生成装置、生成方法、および生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210917

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20211020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220310

R150 Certificate of patent or registration of utility model

Ref document number: 7041262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150