JP6859447B2 - 情報処理システムおよび対象物情報取得方法 - Google Patents
情報処理システムおよび対象物情報取得方法 Download PDFInfo
- Publication number
- JP6859447B2 JP6859447B2 JP2019545466A JP2019545466A JP6859447B2 JP 6859447 B2 JP6859447 B2 JP 6859447B2 JP 2019545466 A JP2019545466 A JP 2019545466A JP 2019545466 A JP2019545466 A JP 2019545466A JP 6859447 B2 JP6859447 B2 JP 6859447B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- information processing
- image pickup
- orientation
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Description
dq = hmd. quat@cam0 * conj (hmd.quat@cma1)
cam1.pos@cam0 = rotate(dq, -hmd.pos@cam1) + hmd.pos@cam0
ここで「rotate」は座標を原点周りに回転させる関数である。
hmd.quat@world = cam1.quat@world * hmd.quat@cam1
hmd.pos@world = rotate(cam1.quat@world, hmd.pos@cam1)+ cam1.pos@world
cam0to1mat = hmd0mat * inverse(hmd1mat)
cam1mat = cam0mat * cam0to1mat
ここで「inverse」は逆行列を求める関数である。
T = t * scale + offset
ここでscaleおよびoffsetは、2回の測定による連立方程式によって求められる。
Claims (13)
- 対象物を異なる視点から所定のレートで撮影する複数の撮像装置と、
前記撮像装置に接続され、対応する撮像装置が撮影した画像を解析することにより、当該撮像装置のカメラ座標系における対象物の位置姿勢情報を取得するローカル情報生成装置と、
自装置に接続された撮像装置が撮影した画像を解析することにより、当該撮像装置のカメラ座標系における対象物の位置姿勢情報を取得するローカル情報生成部、および、前記ローカル情報生成部が取得した位置姿勢情報と、前記ローカル情報生成装置から取得した位置姿勢情報のいずれかを座標変換することにより、撮像装置に共通のワールド座標系での位置姿勢情報を生成し出力する位置姿勢情報生成部、を備えた情報処理装置と、
を備えたことを特徴とする情報処理システム。 - 前記情報処理装置は、複数の撮像装置の視野が重複する領域に対象物があるとき、当該対象物が所定の条件を満たしたら、座標変換の対象とする位置姿勢情報の取得元である撮像装置を切り替える撮像装置切替部を備えることを特徴とする請求項1に記載の情報処理システム。
- 前記情報処理装置は、複数の撮像装置の視野が重複する領域に対象物があるとき、各撮像装置が撮影した画像を解析することにより得られた、それぞれのカメラ座標系における対象物の位置姿勢情報に基づき、撮像装置の位置および姿勢の相対関係を取得し、その結果に基づき、前記座標変換するのに用いる変換パラメータを、撮像装置ごとに取得する変換パラメータ取得部を備えることを特徴とする請求項1または2に記載の情報処理システム。
- 前記変換パラメータ取得部は、前記それぞれのカメラ座標系における対象物の位置姿勢情報をワールド座標系における情報に座標変換した際、同じ位置姿勢情報が得られるように前記変換パラメータを導出することを特徴とする請求項3に記載の情報処理システム。
- 前記変換パラメータ取得部は、位置姿勢情報の取得元である撮像装置を切り替えるタイミング以外の期間において、前記変換パラメータを、別途取得した前記撮像装置の位置および姿勢に係る情報を利用して段階的に補正することを特徴とする請求項3または4に記載の情報処理システム。
- 前記複数の撮像装置は、実空間に備えられた面上に所定の配列で設置されることを特徴とする請求項1から5のいずれかに記載の情報処理システム。
- 前記複数の撮像装置は、実空間に平行に備えられた複数の面上に、撮像面を対向させるように設置されることを特徴とする請求項6に記載の情報処理システム。
- 前記複数の撮像装置は、対象物の可動範囲を囲む複数の面上に設置されることを特徴とする請求項6に記載の情報処理システム。
- 前記ローカル情報生成装置は、自装置のプロセス時間と前記情報処理装置のプロセス時間との関係を、信号が往復する時間に基づき測定することにより、タイムスタンプの変換パラメータを取得し、前記カメラ座標系における対象物の位置姿勢情報を前記情報処理装置に送信する際、当該変換パラメータを用いて生成した、前記情報処理装置のプロセス時間におけるタイムスタンプを付加することを特徴とする請求項1から8のいずれかに記載の情報処理システム。
- 前記情報処理装置は、
前記対象物が備えるIMUセンサの出力値を取得するセンサ値取得部と、
当該出力値を前記ローカル情報生成装置に送信するセンサ値送信部と、をさらに備え、
前記ローカル情報生成部および前記ローカル情報生成装置は、前記画像を解析することにより得られた位置姿勢情報と、前記IMUセンサの出力値とを統合することにより、前記カメラ座標系における対象物の位置姿勢情報を取得することを特徴とする請求項1から9のいずれかに記載の情報処理システム。 - ヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを異なる視点から所定のレートで撮影する複数の撮像装置と、
前記撮像装置に接続され、対応する撮像装置が撮影した画像を解析することにより、当該撮像装置のカメラ座標系における前記ヘッドマウントディスプレイの位置姿勢情報を取得するローカル情報生成装置と、
自装置に接続された撮像装置が撮影した画像を解析することにより、当該撮像装置のカメラ座標系における前記ヘッドマウントディスプレイの位置姿勢情報を取得するローカル情報生成部、前記ローカル情報生成部が取得した位置姿勢情報と前記ローカル情報生成装置から取得した位置姿勢情報のいずれかを座標変換することにより、撮像装置に共通のワールド座標系での位置姿勢情報を生成する位置姿勢情報生成部、および、当該位置姿勢情報を用いて表示画像を生成し前記ヘッドマウントディスプレイに出力する出力データ生成部、を備えた情報処理装置と、
を備えたことを特徴とする情報処理システム。 - 複数の撮像装置が、異なる視点から所定のレートで対象物を撮影するステップと、
前記撮像装置に接続されたローカル情報生成装置が、対応する撮像装置が撮影した画像を解析することにより、当該撮像装置のカメラ座標系における対象物の位置姿勢情報を取得するステップと、
情報処理装置が、
自装置に接続された撮像装置が撮影した画像を解析することにより、当該撮像装置のカメラ座標系における対象物の位置姿勢情報を取得するステップと、
当該位置姿勢情報と、前記ローカル情報生成装置から取得した位置姿勢情報のいずれかを座標変換することにより、撮像装置に共通のワールド座標系での位置姿勢情報を生成し出力するステップと、
を含むことを特徴とする対象物情報取得方法。 - 複数の撮像装置が所定のレートで異なる視点から対象物を撮影した画像をそれぞれ解析することにより個別に取得された、当該撮像装置のカメラ座標系における対象物の位置姿勢情報を、前記撮像装置に接続された他の装置から取得する機能と、
自コンピュータに接続された撮像装置が撮影した画像を解析することにより、当該撮像装置のカメラ座標系における対象物の位置姿勢情報を取得する機能と、
当該位置姿勢情報と、前記他の装置から取得した位置姿勢情報のいずれかを座標変換することにより、撮像装置に共通のワールド座標系での位置姿勢情報を生成し出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/035066 WO2019064399A1 (ja) | 2017-09-27 | 2017-09-27 | 情報処理システムおよび対象物情報取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019064399A1 JPWO2019064399A1 (ja) | 2020-07-02 |
JP6859447B2 true JP6859447B2 (ja) | 2021-04-14 |
Family
ID=65901150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019545466A Active JP6859447B2 (ja) | 2017-09-27 | 2017-09-27 | 情報処理システムおよび対象物情報取得方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200279401A1 (ja) |
JP (1) | JP6859447B2 (ja) |
WO (1) | WO2019064399A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2584122B (en) * | 2019-05-22 | 2024-01-10 | Sony Interactive Entertainment Inc | Data processing |
EP4138655A1 (en) * | 2020-04-24 | 2023-03-01 | Essilor International | Method of determining an attitude of an eyewear |
CN113256773B (zh) * | 2021-05-10 | 2022-10-28 | 青岛小鸟看看科技有限公司 | 表面网格扫描及显示方法、系统及装置 |
CN115297315A (zh) * | 2022-07-18 | 2022-11-04 | 北京城市网邻信息技术有限公司 | 用于环拍时拍摄中心点的矫正方法、装置及电子设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6915008B2 (en) * | 2001-03-08 | 2005-07-05 | Point Grey Research Inc. | Method and apparatus for multi-nodal, three-dimensional imaging |
US6972787B1 (en) * | 2002-06-28 | 2005-12-06 | Digeo, Inc. | System and method for tracking an object with multiple cameras |
JP2009047642A (ja) * | 2007-08-22 | 2009-03-05 | Katsunori Shimomura | 3次元画像データ生成システムおよび生成方法 |
JP2010271949A (ja) * | 2009-05-21 | 2010-12-02 | Canon Inc | 位置計測システムおよび方法 |
JP6152888B2 (ja) * | 2014-12-25 | 2017-06-28 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム |
US9691151B1 (en) * | 2015-08-25 | 2017-06-27 | X Development Llc | Using observations from one or more robots to generate a spatio-temporal model that defines pose values for a plurality of objects in an environment |
JP6723743B2 (ja) * | 2015-12-28 | 2020-07-15 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11164378B1 (en) * | 2016-12-08 | 2021-11-02 | Out of Sight Vision Systems LLC | Virtual reality detection and projection system for use with a head mounted display |
JP2018122376A (ja) * | 2017-01-31 | 2018-08-09 | セイコーエプソン株式会社 | 画像処理装置、ロボット制御装置、及びロボット |
-
2017
- 2017-09-27 US US16/648,090 patent/US20200279401A1/en active Pending
- 2017-09-27 JP JP2019545466A patent/JP6859447B2/ja active Active
- 2017-09-27 WO PCT/JP2017/035066 patent/WO2019064399A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2019064399A1 (ja) | 2019-04-04 |
US20200279401A1 (en) | 2020-09-03 |
JPWO2019064399A1 (ja) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6514089B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
KR102448284B1 (ko) | 헤드 마운트 디스플레이 추적 시스템 | |
JP6860488B2 (ja) | 複合現実システム | |
US10410562B2 (en) | Image generating device and image generating method | |
US10269139B2 (en) | Computer program, head-mounted display device, and calibration method | |
JP6353214B2 (ja) | 画像生成装置および画像生成方法 | |
JP6859447B2 (ja) | 情報処理システムおよび対象物情報取得方法 | |
JP6732617B2 (ja) | 情報処理装置および画像生成方法 | |
JP6721550B2 (ja) | 情報処理装置および位置情報取得方法 | |
US11195293B2 (en) | Information processing device and positional information obtaining method | |
JP6216398B2 (ja) | 画像生成装置および画像生成方法 | |
CN110969706B (zh) | 增强现实设备及其图像处理方法、系统以及存储介质 | |
JP7330159B2 (ja) | 情報処理装置および位置情報取得方法 | |
JP2007221179A (ja) | 画像表示装置および画像表示方法 | |
US11694409B1 (en) | Augmented reality using a split architecture | |
WO2023068087A1 (ja) | ヘッドマウントディスプレイ、情報処理装置および情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210309 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6859447 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |