JP6826215B2 - 携帯機器 - Google Patents
携帯機器 Download PDFInfo
- Publication number
- JP6826215B2 JP6826215B2 JP2019565676A JP2019565676A JP6826215B2 JP 6826215 B2 JP6826215 B2 JP 6826215B2 JP 2019565676 A JP2019565676 A JP 2019565676A JP 2019565676 A JP2019565676 A JP 2019565676A JP 6826215 B2 JP6826215 B2 JP 6826215B2
- Authority
- JP
- Japan
- Prior art keywords
- traveling direction
- image
- mobile device
- unit
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 26
- 230000001133 acceleration Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 26
- 238000000034 method Methods 0.000 description 22
- 230000015654 memory Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000002542 deteriorative effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- QNRRHYPPQFELSF-CNYIRLTGSA-N Laninamivir Chemical compound OC[C@@H](O)[C@@H](OC)[C@@H]1OC(C(O)=O)=C[C@H](N=C(N)N)[C@H]1NC(C)=O QNRRHYPPQFELSF-CNYIRLTGSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
- Telephone Function (AREA)
- Controls And Circuits For Display Device (AREA)
Description
まず、本発明の第一の実施形態の概要を説明する。本実施形態の携帯機器は、3次元面で全方向(360度全周(全天周))の画像を取得可能なカメラを備え、継続的に全周の画像を取得する。そして、その中から、ユーザの進行方向の画像を抽出し、携帯機器のディスプレイに表示する。ユーザの進行方向は、携帯機器に備えられたセンサにて決定する。
次に、本実施形態の携帯機器100の機能について説明する。図3は、本実施形態の携帯機器100の機能ブロック図である。ここでは、特に進行方向撮影表示機能に係る構成に主眼をおいて説明する。
ここで、本実施形態の全周カメラ121について説明する。全周カメラ121の説明にあたり、以下、本明細書では、携帯機器100固有の機器座標系を用いる。機器座標系は、携帯機器100の例えば、重心を原点とし、ディスプレイ110に直交する軸をz軸とする。また、ディスプレイに平行な平面において、短手方向をx軸方向、長手方向をy軸方向とする。なお、原点は、重心に限定されない。例えば、後述するように、全周カメラ121の主点であってもよい。
ya=f・tanθv ・・・(1)
yb=f・θv ・・・(2)
すなわち、機器座標系においてy軸方向の入射角θvで入射した光が、仮想曲面320a上の位置ybに結像される。
xb=f・θh ・・・(3)
(xb、yb)=(f・θh、f・θv) ・・・(4)
次に、上記全周カメラ121で取得した画像から、進行方向の画像を切り出す手法について説明する。画像切出部213は、切出し時において、進行方向算出部212が算出した進行方向の、x軸方向成分とy方向成分とz成分とから、θvとθhとを算出し、対応する画素(xb、yb)を、切出中心画素として特定する。そして、切出中心画素を中心に、所定範囲の画素群を進行方向画像として抽出する。抽出する画素群の範囲は、ディスプレイ110の解像度に合わせて、予め定めておく。
TDh=arctan(xp/zp) ・・・(5)
TDv=arctan(yp/zp) ・・・(6)
従って、切出中心画素(xb、yb)の各成分は、以下の式(7)、式(8)で表される。
xb=f・TDh=f・arctan(xp/zp)・・・(7)
yb=f・TDv=f・arctan(yp/zp)・・・(8)
次に、本実施形態の携帯機器100による、進行方向画像表示処理の流れを説明する。図8は、本実施形態の進行方向画像表示処理の処理フローである。本処理は、携帯機器100の、進行方向表示機能の開始の指示を受け付けたことを契機に、所定の時間間隔で実行される。所定の時間間隔は、例えば、1秒ごと、10秒ごと等、ごく短期間に設定される。なお、進行方向表示機能開始の指示は、ディスプレイ110を介して、または、ハードSW170を介して受け付ける。
次に、本発明の第二の実施形態を説明する。第一の実施形態では、進行方向を、携帯機器100に搭載されたセンサからの信号のみを用いて算出している。これに対し、本実施形態では、進行方向の決定に、さらに、地図データの情報を加味する。
進行方向算出部212による補正進行方向算出処理の流れを、図11(a)および図11(b)を用いて説明する。図11(a)は、補正進行方向算出処理の処理フローである。
なお、上記各実施形態では、進行方向画像を切り出す元となる画像として、全天球の画像を取得しているが、これに限定されない。周囲全方向を最大値とする超広角度画像であればよく、例えば、半天球の画像であってもよい。さらに、携帯機器100の、例えば、y軸を中心軸とする円筒面の画像であってもよい。
211:撮影部、212:進行方向算出部、213:画像切出部、214:表示制御部、215:動作制御部、216:通信処理部、217:進行方向補正部、221:画像記憶部、222:データ記憶部、223:地図記憶部、
311:光軸、320:イメージセンサ、320a:仮想曲面、330:被写体、
411:進行方向、412:進行方向、416:分岐点、417:道路、418:道路、419:道路、421:算出進行方向、422:現在位置、423:変換進行方向、424:進行方向候補、425:進行方向候補、429:道路、
511:超広角レンズアタッチメント、512:超広角レンズアタッチメント、513:反射板、補正レンズ、521:全周カメラ、522:伸縮可能な部材、531:アタッチメント、532:カメラ、533:カメラ、534:カメラ、535:カメラ、536:カメラ、537:カメラ、
P:主点、TD:進行方向、f:焦点距離
Claims (4)
- 携帯機器であって、
当該携帯機器の周囲全方向を最大値とする超広角度の画像を、第一の時間間隔で取得する撮影部と、
当該携帯機器の進行方向を、第二の時間間隔で算出する進行方向算出部と、
前記進行方向算出部が前記進行方向を算出する毎に、最新の前記画像から、当該進行方向を中心とする所定範囲の画像を進行方向画像として切り出す画像切出部と、
前記進行方向画像を、当該携帯機器のディスプレイの予め定めた進行方向表示領域に表示する表示制御部と、
当該携帯機器の加速度を検出する加速度センサおよび当該携帯機器の姿勢を検出するジャイロセンサと、
測位衛星からの電波を受信し、当該携帯機器の現在位置を決定する電波受信処理部と、
地図データと、
前記進行方向算出部が算出した前記進行方向を補正し、補正進行方向を算出する進行方向補正部と、を備え、
前記表示制御部は、前記ディスプレイの、前記進行方向表示領域とは異なる第一表示領域に、ユーザが指定した映像を表示させ、
前記進行方向算出部は、前記加速度センサおよび前記ジャイロセンサの出力を用い、前記進行方向を算出し、
前記進行方向補正部は、前記現在位置と、前記地図データとを用いて、前記現在位置下の道路を特定し、当該道路の延伸方向を、前記補正進行方向とすること
を特徴とする携帯機器。 - 請求項1記載の携帯機器であって、
前記進行方向補正部は、特定した前記道路からの、前記現在位置を中心とする予め定めた範囲の分岐路を、前記地図データを用いて特定し、前記道路および前記分岐路各々の延伸方向を、進行方向候補とし、当該進行方向候補のうち、前記進行方向に最寄りの方向を、前記補正進行方向とすること
を特徴とする携帯機器。 - 請求項1または2いずれか1項記載の携帯機器であって、
180度以上の画角を有する広角カメラを備え、
前記撮影部は、撮影方向毎に予め対応づけた画素位置に前記広角カメラで取得したデータを格納することにより、前記画像を取得し、
前記画像切出部は、前記進行方向と同方向の前記撮影方向に対応づけて格納された画素位置を前記中心とすること
を特徴とする携帯機器。 - 請求項3記載の携帯機器であって、
前記広角カメラは、それぞれ画角が180度の2つのカメラを当該携帯機器の前面と背面とにそれぞれ取り付けて構成されること
を特徴とする携帯機器。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/001736 WO2019142347A1 (ja) | 2018-01-22 | 2018-01-22 | 携帯機器 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021003885A Division JP6999052B2 (ja) | 2021-01-14 | 2021-01-14 | 携帯機器および映像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019142347A1 JPWO2019142347A1 (ja) | 2020-10-22 |
JP6826215B2 true JP6826215B2 (ja) | 2021-02-03 |
Family
ID=67301633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019565676A Active JP6826215B2 (ja) | 2018-01-22 | 2018-01-22 | 携帯機器 |
Country Status (4)
Country | Link |
---|---|
US (3) | US11546509B2 (ja) |
JP (1) | JP6826215B2 (ja) |
CN (1) | CN111133743A (ja) |
WO (1) | WO2019142347A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111726488B (zh) * | 2020-05-29 | 2022-07-08 | 深圳市伯森光电科技有限公司 | 光学系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4363642B2 (ja) | 2004-07-02 | 2009-11-11 | 富士フイルム株式会社 | 地図表示システム及びデジタルカメラ |
JP4632793B2 (ja) * | 2005-01-12 | 2011-02-16 | 京セラ株式会社 | ナビゲーション機能付き携帯型端末機 |
JP4264099B2 (ja) * | 2006-09-26 | 2009-05-13 | Sky株式会社 | カメラ付き携帯機器 |
JP2009058648A (ja) | 2007-08-30 | 2009-03-19 | Kyocera Corp | 光学系設計装置、光学系設計方法、プログラム、および記録媒体 |
JP2012073541A (ja) * | 2010-09-29 | 2012-04-12 | Olympus Imaging Corp | 画像表示装置、画像表示方法、及びプログラム |
FR3002508B1 (fr) | 2013-02-25 | 2016-07-29 | Commissariat Energie Atomique | Systeme de freinage d'un vehicule |
JP6249202B2 (ja) | 2013-05-10 | 2017-12-20 | ソニー株式会社 | 画像表示装置、画像表示方法、およびプログラム |
JP2017005335A (ja) | 2015-06-05 | 2017-01-05 | Necエンジニアリング株式会社 | 携帯機器、携帯機器の制御方法および携帯機器のプログラム |
US10311304B2 (en) * | 2017-02-07 | 2019-06-04 | International Business Machines Corporation | Mobile device accident avoidance system |
-
2018
- 2018-01-22 US US16/769,614 patent/US11546509B2/en active Active
- 2018-01-22 JP JP2019565676A patent/JP6826215B2/ja active Active
- 2018-01-22 WO PCT/JP2018/001736 patent/WO2019142347A1/ja active Application Filing
- 2018-01-22 CN CN201880060694.4A patent/CN111133743A/zh active Pending
-
2022
- 2022-12-05 US US18/074,867 patent/US11765465B2/en active Active
-
2023
- 2023-08-09 US US18/231,818 patent/US20230388643A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN111133743A (zh) | 2020-05-08 |
US11546509B2 (en) | 2023-01-03 |
US11765465B2 (en) | 2023-09-19 |
US20230388643A1 (en) | 2023-11-30 |
US20230101985A1 (en) | 2023-03-30 |
JPWO2019142347A1 (ja) | 2020-10-22 |
US20200344412A1 (en) | 2020-10-29 |
WO2019142347A1 (ja) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11321870B2 (en) | Camera attitude tracking method and apparatus, device, and system | |
KR101285360B1 (ko) | 증강현실을 이용한 관심 지점 표시 장치 및 방법 | |
JP6398472B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
CN110716646A (zh) | 一种增强现实数据呈现方法、装置、设备及存储介质 | |
JP6025433B2 (ja) | 携帯ナビゲーション装置 | |
KR101259598B1 (ko) | 로드뷰 제공 장치 및 방법 | |
JP4969053B2 (ja) | 携帯端末装置及び表示方法 | |
CN111768454A (zh) | 位姿确定方法、装置、设备及存储介质 | |
US20230388643A1 (en) | Portable device | |
WO2018143360A1 (ja) | 相対位置検出システム及び画像表示システム | |
JP5514062B2 (ja) | 電子機器、情報付き撮像画面表示方法及びプログラム | |
JP5786411B2 (ja) | 情報処理システム、検索装置、及びプログラム | |
JP6999052B2 (ja) | 携帯機器および映像表示方法 | |
JP7169422B2 (ja) | 携帯機器および表示制御方法 | |
JP6329219B2 (ja) | 操作端末、及び移動体 | |
JP6610741B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
JP2012189467A (ja) | 測位装置、歩幅データ補正方法およびプログラム | |
JP6879350B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
JP2011209622A (ja) | 情報提供装置、情報提供方法、及びプログラム | |
JP2017126868A (ja) | 画像表示システム、情報処理装置、画像表示方法及び画像表示プログラム | |
CN111369684A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
JP2018160761A (ja) | 環境画像表示システム及び環境画像表示方法 | |
JP2011199358A (ja) | 測位機能を有する撮像装置 | |
JP2004117496A (ja) | 全方位撮像装置、全方位撮像方法、プログラムおよびこのプログラムを記録した記録媒体 | |
JP2021169989A (ja) | 自己位置測定システム、車両、及び、自己位置測定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6826215 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |