JP6676294B2 - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP6676294B2 JP6676294B2 JP2015132197A JP2015132197A JP6676294B2 JP 6676294 B2 JP6676294 B2 JP 6676294B2 JP 2015132197 A JP2015132197 A JP 2015132197A JP 2015132197 A JP2015132197 A JP 2015132197A JP 6676294 B2 JP6676294 B2 JP 6676294B2
- Authority
- JP
- Japan
- Prior art keywords
- interference
- image
- orientation
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
Description
このような評価を行うための複合現実感システムでは、体験者が仮想物体(例えば工具)を動かして別の仮想物体(部品)に干渉させたかどうか、または発生した場合は、どこでどのような干渉痕が残ったのかを提示する機能が求められる。
特許文献1では、干渉が発生した位置群をメモリに記録し、メモリ上の位置群を時系列ごとに線分で繋いでいくことで軌跡を表示することを開示している。
本発明は上記課題に鑑みてなされたものであり、仮想物体と対象物体との干渉について、干渉した部位の形状を示す干渉情報を提示することを目的とする。
以下、添付図面を参照して、本発明を適用した好適な実施例に従って詳細に説明する。
第1の実施形態では、干渉部位として、仮想物体201と202との干渉部位の表現方法として、ポリゴンの交線を繋いで干渉部位206を表現していた。しかし本発明は干渉しているポリゴンの交線を繋いで表示することに限定されるものではなく、別の表現で干渉部位を表現してもよい。
変形例1では、干渉が発生したときの仮想物体の重心位置が、過去の干渉情報において、干渉が発生した位置に近い場合は、現在の干渉部位の情報をデータセットに追加しなかった。しかし、本発明は、干渉部位の空間中の位置に基づいて干渉情報を記録するか否かを判断することに限定されるものではない。
(1)マーカが画面上で小さく写っている場合
(2)撮像装置107とマーカの間に遮蔽物が入ってマーカが隠される場合
(3)マーカが撮像装置107の視野外で写らない場合
また、仮想物体の位置姿勢を位置姿勢センサーにより計測する場合であっても、環境ノイズや計測範囲外になるなど、信頼性が低下する状況が考えられる。
第1の実施形態では、仮想物体201と202を円柱と直方体で表現し、仮想物体の位置姿勢をマーカの位置姿勢に割り当てて、体験者が意図的に手で移動させるようにしていた。
第1の実施形態では、過去の干渉部位を表わす線分の頂点を図8に示すような頂点位置で保持していた。しかし、本発明は、過去の干渉部位を頂点位置として保持することに限定されるものではなく、干渉が発生した時点で、過去の干渉部位を計算で求めてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (12)
- 現実の空間を撮像した撮像画像を取得する画像取得手段と、
複数の仮想物体のモデルデータを記憶する記憶手段と、
前記複数の仮想物体それぞれの位置姿勢を取得する位置姿勢取得手段と、
前記複数の前記仮想物体の位置姿勢と前記複数の仮想物体のモデルデータとに基づいて、前記仮想物体同士が干渉したかを判定する干渉判定手段と、
前記干渉判定手段の結果に基づいて、前記仮想物体同士が干渉する干渉部位の輪郭を干
渉情報として記録する干渉情報記録手段と、
前記干渉情報記録手段で記録された前記干渉情報を参照して、前記撮像画像と前記複数
の仮想物体の画像と前記干渉部位の輪郭を示す画像と過去の干渉部位の輪郭を示す画像と
が合成された合成画像を生成する生成手段と、
前記生成された合成画像を出力する出力手段とを備えることを特徴とする情報処理装置。 - 更に、
前記画像を撮像する撮像装置の位置姿勢を計測する撮像部位置姿勢計測手段と、
前記撮像装置の位置姿勢に基づいて、前記仮想物体の画像および前記干渉部位の輪郭を示す情報を生成する第2の生成手段とを備えることを特徴とする請求項1に記載の情報処理装置。 - 前記干渉部位は、複数の前記仮想物体が干渉しているときのモデルデータの交線であることを特徴とする請求項1または2に記載の情報処理装置。
- 前記生成手段は、前記干渉の履歴に含まれるデータの個数が閾値を超える場合は、最も古い過去データから削除する削除手段を備えることを特徴とする請求項1に記載の情報処理装置。
- 前記生成手段は、前記仮想物体の前記画像における仮想物体の位置と前記画像よりも以前に撮像された過去の画像における仮想物体との距離が閾値よりも大きい場合に、前記干渉の履歴に含めることを特徴とする請求項3または4に記載の情報処理装置。
- 前記位置は、前記仮想物体のモデルデータの全ての3次元頂点位置の平均を算出した重心位置であることを特徴とする請求項5に記載の情報処理装置。
- 更に、前記位置姿勢取得手段が取得する位置姿勢の信頼度を導出する導出手段を備え、
前記干渉情報記録手段は、前記信頼度が閾値よりも小さい場合には、前記干渉情報を記録しないことを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。 - 前記干渉判定手段は、更に、前記仮想物体と人体の所定の部位が干渉したかを判定することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
- 前記干渉情報記録手段は、干渉が発生したときの画像のフレーム番号、時刻、干渉した仮想物体の識別情報、干渉部位の形状、干渉部位の3次元位置の少なくとも1つの情報を、前記干渉情報として記録することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
- 前記出力手段は、ヘッドマウンテッドディスプレイに前記合成画像を出力することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
- 現実の空間を撮像した撮像画像を取得する画像取得ステップと、
複数の仮想物体それぞれの位置姿勢を取得する位置姿勢取得ステップと、
前記複数の前記仮想物体の位置姿勢と前記複数の仮想物体のモデルデータとに基づいて、前記仮想物体同士の干渉を判定する干渉判定ステップと、
前記干渉判定ステップの結果に基づいて、前記仮想物体同士が干渉する干渉部位の輪郭を干渉情報として記録する干渉情報記録ステップと、
前記干渉情報記録ステップで記録された前記干渉情報を参照して、前記撮像画像と前記複数の仮想物体の画像と前記干渉部位の輪郭を示す画像と過去の干渉部位の輪郭を示す画像とが合成された合成画像を生成する生成ステップと、
前記生成された合成画像を出力する出力ステップとを備えることを特徴とする情報処理方法。 - コンピュータを、請求項1乃至10のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015132197A JP6676294B2 (ja) | 2015-06-30 | 2015-06-30 | 情報処理装置、情報処理方法、プログラム |
EP16175878.4A EP3113117A1 (en) | 2015-06-30 | 2016-06-23 | Information processing apparatus, information processing method, storage medium and program |
KR1020160080518A KR102059834B1 (ko) | 2015-06-30 | 2016-06-28 | 정보 처리장치, 정보 처리방법, 기억매체 및 프로그램 |
US15/195,118 US10410420B2 (en) | 2015-06-30 | 2016-06-28 | Information processing apparatus, information processing method, and storage medium |
CN201610517153.2A CN106326523B (zh) | 2015-06-30 | 2016-06-29 | 信息处理装置和信息处理方法 |
JP2020043763A JP6983939B2 (ja) | 2015-06-30 | 2020-03-13 | 情報処理装置、情報処理方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015132197A JP6676294B2 (ja) | 2015-06-30 | 2015-06-30 | 情報処理装置、情報処理方法、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020043763A Division JP6983939B2 (ja) | 2015-06-30 | 2020-03-13 | 情報処理装置、情報処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017016376A JP2017016376A (ja) | 2017-01-19 |
JP6676294B2 true JP6676294B2 (ja) | 2020-04-08 |
Family
ID=56235656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015132197A Active JP6676294B2 (ja) | 2015-06-30 | 2015-06-30 | 情報処理装置、情報処理方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10410420B2 (ja) |
EP (1) | EP3113117A1 (ja) |
JP (1) | JP6676294B2 (ja) |
KR (1) | KR102059834B1 (ja) |
CN (1) | CN106326523B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7039216B2 (ja) * | 2017-08-30 | 2022-03-22 | キヤノン株式会社 | 情報処理装置及びその方法、プログラム |
DE102017216953A1 (de) * | 2017-09-25 | 2019-03-28 | Siemens Healthcare Gmbh | Anzeige eines mit einem realen Objekt verknüpften virtuellen Objekts in einer Augmented-Reality-Anzeigevorrichtung |
JP7133926B2 (ja) | 2018-01-15 | 2022-09-09 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法 |
JP2019185475A (ja) * | 2018-04-12 | 2019-10-24 | 富士通株式会社 | 特定プログラム、特定方法及び情報処理装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3415416B2 (ja) * | 1996-11-22 | 2003-06-09 | 株式会社セガ | ゲーム装置、画像データの形成方法及び媒体 |
US6552722B1 (en) * | 1998-07-17 | 2003-04-22 | Sensable Technologies, Inc. | Systems and methods for sculpting virtual objects in a haptic virtual reality environment |
WO2000038117A1 (en) * | 1998-12-23 | 2000-06-29 | Washington State University Research Foundation | Method and system for a virtual assembly design environment |
JP2006215750A (ja) * | 2005-02-02 | 2006-08-17 | Canon Inc | 画像処理方法、画像処理装置 |
JP4756899B2 (ja) | 2005-04-21 | 2011-08-24 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP2007004713A (ja) * | 2005-06-27 | 2007-01-11 | Canon Inc | 画像処理方法、画像処理装置 |
US7773098B2 (en) * | 2005-05-11 | 2010-08-10 | Canon Kabushiki Kaisha | Virtual reality presentation apparatus and method |
WO2007010596A1 (ja) * | 2005-07-19 | 2007-01-25 | Fujitsu Limited | 画像判定方法、画像判定装置および画像判定方法をコンピュータに実行させるプログラムを記録した記録媒体 |
JP4901539B2 (ja) * | 2007-03-07 | 2012-03-21 | 株式会社東芝 | 立体映像表示システム |
JP5610735B2 (ja) * | 2009-09-29 | 2014-10-22 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理方法、および、情報処理システム |
US8550903B2 (en) * | 2010-11-15 | 2013-10-08 | Bally Gaming, Inc. | System and method for bonus gaming using a mobile device |
US9330490B2 (en) * | 2011-04-29 | 2016-05-03 | University Health Network | Methods and systems for visualization of 3D parametric data during 2D imaging |
WO2013089490A1 (ko) | 2011-12-15 | 2013-06-20 | 한양대학교 산학협력단 | 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법 |
KR101874895B1 (ko) * | 2012-01-12 | 2018-07-06 | 삼성전자 주식회사 | 증강 현실 제공 방법 및 이를 지원하는 단말기 |
CN104641399B (zh) | 2012-02-23 | 2018-11-23 | 查尔斯·D·休斯顿 | 用于创建环境并用于共享环境中基于位置的体验的系统和方法 |
CN103472909B (zh) | 2012-04-10 | 2017-04-12 | 微软技术许可有限责任公司 | 用于头戴式、增强现实显示器的逼真遮挡 |
US9552673B2 (en) * | 2012-10-17 | 2017-01-24 | Microsoft Technology Licensing, Llc | Grasping virtual objects in augmented reality |
KR20150112659A (ko) * | 2014-03-28 | 2015-10-07 | 한국전자통신연구원 | 단말 이동 방향 결정 및 위치 보정 방법, 그리고 이를 이용한 측위 장치 |
-
2015
- 2015-06-30 JP JP2015132197A patent/JP6676294B2/ja active Active
-
2016
- 2016-06-23 EP EP16175878.4A patent/EP3113117A1/en not_active Withdrawn
- 2016-06-28 KR KR1020160080518A patent/KR102059834B1/ko active IP Right Grant
- 2016-06-28 US US15/195,118 patent/US10410420B2/en active Active
- 2016-06-29 CN CN201610517153.2A patent/CN106326523B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN106326523B (zh) | 2020-06-30 |
KR102059834B1 (ko) | 2019-12-27 |
CN106326523A (zh) | 2017-01-11 |
JP2017016376A (ja) | 2017-01-19 |
US10410420B2 (en) | 2019-09-10 |
EP3113117A1 (en) | 2017-01-04 |
KR20170003435A (ko) | 2017-01-09 |
US20170004653A1 (en) | 2017-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019070909A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6643170B2 (ja) | 作業支援システム及び方法 | |
JP6676294B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5709440B2 (ja) | 情報処理装置、情報処理方法 | |
US10453235B2 (en) | Image processing apparatus displaying image of virtual object and method of displaying the same | |
US10614590B2 (en) | Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium | |
US20150199850A1 (en) | Information processing apparatus and information processing method | |
JP2011028309A5 (ja) | ||
US10366539B2 (en) | Information processing apparatus, information processing method, and storage medium for reporting based on elapse time and positional relationships between 3-D objects | |
EP3629302B1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2005227876A (ja) | 画像処理方法、画像処理装置 | |
JP2007004713A (ja) | 画像処理方法、画像処理装置 | |
JP2017134116A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6983939B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP4986543B2 (ja) | 情報処理方法、情報処理装置 | |
JP7039216B2 (ja) | 情報処理装置及びその方法、プログラム | |
JP7029253B2 (ja) | 情報処理装置及びその方法 | |
JP2021166091A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
US20200258193A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2006343954A (ja) | 画像処理方法、画像処理装置 | |
JP6704698B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、及びプログラム | |
JP7321029B2 (ja) | キャリブレーション装置及びその制御方法及びプログラム及び記憶媒体 | |
JP2016058043A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2019040356A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200312 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6676294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |