JP7242229B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7242229B2 JP7242229B2 JP2018182092A JP2018182092A JP7242229B2 JP 7242229 B2 JP7242229 B2 JP 7242229B2 JP 2018182092 A JP2018182092 A JP 2018182092A JP 2018182092 A JP2018182092 A JP 2018182092A JP 7242229 B2 JP7242229 B2 JP 7242229B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- sensor
- information processing
- display
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Social Psychology (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
以下、添付図面を参照して本実施形態について説明する。
MCW = MCS・MST・MTW 式(A)
また、座標変換設定部1030がディスプレイ座標系7030の位置姿勢をセンサー座標系7020で出力する設定をした場合は式(B)もしくは式(C)を用いてセンサー座標系7020でディスプレイ座標系7030の位置姿勢を求めることができる。
MCT = MCW・MTW -1 式(B)
MCT = MCS・MST 式(C)
上記式(A)、式(B)もしくは式(C)を用いて求められたディスプレイ座標系7030の位置姿勢はCGデータ描画部1050に出力する。
第一の実施形態では、推定されたディスプレイの位置姿勢を用いてCGを描画し仮想現実感を実現した。しかし、ディスプレイの位置姿勢を用いて実現できることはCG描画に限らない。本実施形態では、ディスプレイの位置姿勢を用いて、危険場所にユーザーが近づいたら警告を表示する。
第一および第二の実施形態では、ユーザーが設定することによってディスプレイの位置姿勢を世界座標系で推定するか、センサー座標系で推定するかを決定して、仮想現実空間を体験できるようにした。しかし、ユーザーが座標系を意識して設定しなければならないのは手間である。本実施形態では設定されている座標系が現実空間に合っていない可能性がある場合はユーザーに通知する。
第三の実施形態では、設定されている世界座標系が現実空間に合っていない可能性がある場合はユーザーに通知した。しかし、ユーザーが座標系を設定しなければならないのは手間である。本実施形態では設定されている座標系が現実空間に合っていない場合は自動で切り替える。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (17)
- 位置センサーが取り付けられた表示手段に画像を表示させる情報処理装置であって、
前記位置センサーのセンサー座標系と前記センサー座標系とは異なる座標系とのいずれかを選択する選択手段と、
前記選択手段で選択された座標系で、前記位置センサーが出力した位置に関する情報を取得する取得手段と、
前記取得手段で取得された位置に関する情報に基づく画像を、前記表示手段に表示させる制御手段と、を有することを特徴とする情報処理装置。 - 前記取得手段は、
前記センサー座標系と前記センサー座標系とは異なる座標系との間の変換を行うための第一の行列と、前記センサー座標系と前記表示手段の座標系との間の変換を行うための第二の行列と、の少なくともいずれかを用いた変換を行い、前記位置センサーが出力した位置に関する情報を取得することを特徴とする請求項1に記載の情報処理装置。 - 前記取得手段は、
前記選択手段で前記センサー座標系が選択された場合は、前記第一の行列を用いた変換を行い、前記位置センサーが出力した位置に関する情報を取得することを特徴とする請求項2に記載の情報処理装置。 - 前記情報処理装置は、前記表示手段にユーザーインターフェースを表示させ、
前記選択手段は、前記ユーザーインターフェースで設定された設定の情報に基づき、前記選択を行うことを特徴とする請求項1に記載の情報処理装置。 - 前記ユーザーインターフェースはトグルボタンを有し、前記トグルボタンが押下される度に、前記センサー座標系と前記センサー座標系とは異なる座標系とが切り替わることを特徴とする請求項4に記載の情報処理装置。
- 前記選択手段は、音声の情報に基づき、前記選択を行うことを特徴とする請求項1に記載の情報処理装置。
- 前記選択手段は、ジェスチャーの認識の結果に基づき、前記選択を行うことを特徴とする請求項1に記載の情報処理装置。
- 前記第一の行列のX軸、Y軸、Z軸周りの回転が閾値以上か判定する判定手段と、
前記判定手段が閾値以上と判定した場合は、ユーザーに通知する通知手段と、を有することを特徴とする請求項2に記載の情報処理装置。 - 前記判定手段が閾値以上と判定した場合は、前記センサー座標系と前記センサー座標系とは異なる座標系とが切り替わることを特徴とする請求項8に記載の情報処理装置。
- 前記判定手段は、平面を推定し、
前記センサー座標系と前記センサー座標系とは異なる座標系との少なくともいずれかのXY面、YZ面、XZ面と、前記推定された平面とのずれを判定することを特徴とする請求項8に記載の情報処理装置。 - 前記平面のずれは、前記センサー座標系と前記センサー座標系とは異なる座標系との少なくともいずれかのX軸、Y軸、Z軸と前記推定された平面と垂直なベクトルのなす角とが、閾値以上か否かを判定することを特徴とする請求項10に記載の情報処理装置。
- 前記情報処理装置は前記表示手段を有し、
前記表示手段の位置姿勢をCGデータの位置姿勢として描画し、仮想的な視点から仮想現実空間の画像を生成して、表示装置に表示することを特徴とする請求項1に記載の情報処理装置。 - 前記表示手段はHMDであり、
前記HMDは、前記HMDの位置を仮想的な視点としたCGの画像を表示することを特徴とする請求項1に記載の情報処理装置。 - 前記HMDは撮像装置を有し、
前記HMDは、前記HMDの位置を仮想的な視点としたCGの画像と、前記撮像装置から得られた画像とを合成して、表示することを特徴とする請求項13に記載の情報処理装置。 - 前記情報処理装置は、警告の範囲を設定し、
前記表示手段の位置を用いて、前記表示手段が警告の範囲に入ったかどうかを判定する判定手段と、
前記判定手段が前記警告の範囲に前記表示手段が入ったと判定した場合は、ユーザーに警告を通知する通知手段とを有することを特徴とする請求項1に記載の情報処理装置。 - 位置センサーが取り付けられた表示手段に画像を表示させる情報処理方法であって、
前記位置センサーのセンサー座標系と前記センサー座標系とは異なる座標系とのいずれかを選択する選択工程と、
前記選択工程で選択された座標系で、前記位置センサーが出力した位置に関する情報を取得する取得工程と、
前記取得工程で取得された位置に関する情報に基づく画像を、前記表示手段に表示させる制御工程と、を有することを特徴とする情報処理方法。 - コンピュータを、
位置センサーが取り付けられた表示手段に画像を表示させる情報処理装置であって、
前記位置センサーのセンサー座標系と前記センサー座標系とは異なる座標系とのいずれかを選択する選択手段と、
前記選択手段で選択された座標系で、前記位置センサーが出力した位置に関する情報を取得する取得手段と、
前記取得手段で取得された位置に関する情報に基づく画像を、前記表示手段に表示させる制御手段と、を有することを特徴とする情報処理装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018182092A JP7242229B2 (ja) | 2018-09-27 | 2018-09-27 | 情報処理装置、情報処理方法、およびプログラム |
US16/570,850 US11127155B2 (en) | 2018-09-27 | 2019-09-13 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018182092A JP7242229B2 (ja) | 2018-09-27 | 2018-09-27 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020052789A JP2020052789A (ja) | 2020-04-02 |
JP7242229B2 true JP7242229B2 (ja) | 2023-03-20 |
Family
ID=69946335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018182092A Active JP7242229B2 (ja) | 2018-09-27 | 2018-09-27 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11127155B2 (ja) |
JP (1) | JP7242229B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11874959B2 (en) * | 2021-09-15 | 2024-01-16 | Sony Interactive Entertainment Inc. | Dynamic notification surfacing in virtual or augmented reality scenes |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118734A (ja) | 2002-09-27 | 2004-04-15 | Canon Inc | 情報処理方法及び情報処理装置 |
JP2012053631A (ja) | 2010-08-31 | 2012-03-15 | Canon Inc | 情報処理装置、情報処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4095320B2 (ja) | 2002-03-19 | 2008-06-04 | キヤノン株式会社 | センサ較正装置、センサ較正方法、プログラム、記憶媒体 |
US7477236B2 (en) * | 2005-04-29 | 2009-01-13 | Microsoft Corporation | Remote control of on-screen interactions |
JP5230114B2 (ja) * | 2007-03-13 | 2013-07-10 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP5991423B2 (ja) * | 2013-02-21 | 2016-09-14 | 富士通株式会社 | 表示装置、表示方法、表示プログラムおよび位置設定システム |
US10254920B2 (en) * | 2013-12-01 | 2019-04-09 | Upskill, Inc. | Systems and methods for accessing a nested menu |
JP2016218268A (ja) * | 2015-05-21 | 2016-12-22 | セイコーエプソン株式会社 | 可搬型表示装置、表示システム、表示方法 |
US10393827B2 (en) * | 2016-06-03 | 2019-08-27 | Texas Tech University System | Magnetic field vector imaging array |
JP6295296B2 (ja) | 2016-08-01 | 2018-03-14 | 大豊精機株式会社 | 複合システム及びターゲットマーカ |
-
2018
- 2018-09-27 JP JP2018182092A patent/JP7242229B2/ja active Active
-
2019
- 2019-09-13 US US16/570,850 patent/US11127155B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118734A (ja) | 2002-09-27 | 2004-04-15 | Canon Inc | 情報処理方法及び情報処理装置 |
JP2012053631A (ja) | 2010-08-31 | 2012-03-15 | Canon Inc | 情報処理装置、情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020052789A (ja) | 2020-04-02 |
US20200105011A1 (en) | 2020-04-02 |
US11127155B2 (en) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6586824B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
EP2548495B1 (en) | System and program for supporting endoscopic observation | |
JP6598617B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US9375133B2 (en) | Endoscopic observation support system | |
JP5777786B1 (ja) | 情報処理装置、情報処理方法、プログラム | |
US11508150B2 (en) | Image processing apparatus and method of controlling the same | |
US10614590B2 (en) | Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium | |
KR20150085797A (ko) | 정보처리장치 및 정보처리방법 | |
JP6110893B2 (ja) | 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置 | |
JP6742760B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2020157984A1 (ja) | 合成画像生成システム及び位置情報補正システム | |
US20210272329A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7242229B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2022127479A1 (en) | Methods and systems for selection of objects | |
US11651567B2 (en) | Display terminal, display control system and display control method | |
JP6549066B2 (ja) | 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム | |
WO2020157985A1 (ja) | 合成画像生成システム及び初期条件リセットシステム | |
JP2019185475A (ja) | 特定プログラム、特定方法及び情報処理装置 | |
JP2003079637A (ja) | 手術ナビゲーションシステム | |
CN112397189A (zh) | 一种医用导引装置及其使用方法 | |
JP6436872B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2001239983A (ja) | 艤装支援システム | |
JP2024089324A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6430340B2 (ja) | 位置入力装置および位置入力方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230308 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7242229 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |