KR20180107085A - 증강 현실의 가상 객체들에 영향을 미치는 방법 - Google Patents
증강 현실의 가상 객체들에 영향을 미치는 방법 Download PDFInfo
- Publication number
- KR20180107085A KR20180107085A KR1020187017168A KR20187017168A KR20180107085A KR 20180107085 A KR20180107085 A KR 20180107085A KR 1020187017168 A KR1020187017168 A KR 1020187017168A KR 20187017168 A KR20187017168 A KR 20187017168A KR 20180107085 A KR20180107085 A KR 20180107085A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- augmented reality
- marker
- observe
- virtual objects
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 59
- 239000003550 marker Substances 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000033001 locomotion Effects 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000010191 image analysis Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 101100126955 Arabidopsis thaliana KCS2 gene Proteins 0.000 description 1
- 241000132023 Bellis perennis Species 0.000 description 1
- 235000005633 Chrysanthemum balsamita Nutrition 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 증강 현실 가상 객체들에 영향을 주기 위한 방법들에 관한 것이다. 본 발명에 따르면, 증강 현실을 생성 및 관찰하기 위한 디바이스의 좌표들은 디바이스의 카메라로부터의 이미지의 분석에 의해 실세계의 물리적 마커와 관련하여 결정되고; 가상 카메라는 물리적 마커가 디바이스 카메라의 시야에 위치되는 것과 마찬가지로, 가상 카메라에 가시적인 마커가 그 시야에 위치되는 그러한 방식으로 물리적 기본 좌표 시스템과 관련하여 디바이스의 산출된 좌표들에 위치되고; 벡터가 산출되며, 이는 마커로부터 가상 카메라로의 방향에 실시간 모드로 대응하고; 정보는 마커에 관한 카메라의 모든 움직임들, 즉 연속적인 반복에 의한, 회전, 줌, 경사에 관련하여 실시간으로 생성된다.
Description
본 발명은 실제 3차원 공간의 마커들이 증강 현실을 생성 및 관찰하고, 실제 3차원 공간의 마커들의 공간 위치와 관련 있는 물리적 기본 좌표 시스템을 형성하고, 기본 좌표 시스템에 대한 증강 현실을 생성 및 관찰하기 위한 디바이스들의 좌표를 결정하고, 기본 좌표 시스템에서 증강 현실의 3차원 가상 객체들의 좌표들을 지정하고, 사용자의 모션을 사용하여 증강 현실의 가상 객체들의 생성된 세트로부터 객체들의 전부 또는 일부에 대해 가상 객체들을 수정하기 위한 지정된 동작들을 수행하는 비디오 카메라 디바이스로부터 획득되는 이미지들로부터 결정되는 증강 현실 가상 객체들에 영향을 미치는 방법들에 관한 것이다.
다음 용어들은 본 문서에서 사용된다.
가상 객체는 기술적 수단에 의해 생성되며, 사람에게 그의 감각들: 즉, 시각, 청각, 및 기타들을 통해 전달되는 객체이다.
관심 포인트(특성 포인트) - 높은 로컬 정보성을 갖는, 이미지의 포인트. 정보성의 수치 측정으로서, 다양한 공식적인 기준이 제안되며, 관심 연산자(operator)들로서 칭하여 진다. 관심 연산자는 이미지 평면에서 포인트의 충분히 정확한 포지셔닝을 보장해야만 한다. 그것은 또한 관심 포인트의 위치가 밝기, 움직임, 회전, 스케일의 변화, 및 각도 왜곡들에서의 불균일한 변화들을 포함하는, 이미지의 측광 및 기하학적 왜곡들에 대한 충분한 저항성을 소유할 필요가 있다.
칼만 필터(Kalman filter)는 일련의 불완전하고 잡음이 있는 측정들을 사용하는 동적 시스템의 상태 벡터를 평가하는 효과적인 재귀형 필터(recursive filter)이다.
이미지 피라미드들은 중단점(breakpoint)이 도달될 때까지(물론, 엔드포인트는 하나의 픽셀일 수 있음) 그것의 순차 압축에 의해 원본 이미지로부터 획득되는 이미지들의 수집이다.
스마트폰(영어식 스마트폰 - 스마트 폰) - 포켓 퍼스널 컴퓨터의 기능에 의해 보완되는 폰.
현재, 점점 더 많은 수의 사람들이 다양한 전자 디바이스들을 사용하여 가상 객체들과 상호작용한다. 이것은 컴퓨터 게임들뿐만 아니라, 구매자가 상품들의 가상 모델을 사용하여 구매하기로 결정하는 경우, 예를 들어 상품들의 원격 거래에서 뿐만 아니라 학습 프로세스에서 발생한다.
증강 현실의 가상 객체들에 영향을 미치는 잘 알려진 방법이 존재하며, 여기서 실제 3차원 공간의 마커들은 증강 현실을 생성 및 관찰하고, 실제 3차원 공간의 마커들의 공간 위치와 관련 있는 물리적 기본 좌표 시스템을 형성하고, 기본 좌표 시스템에 대한 증강 현실을 생성 및 관찰하기 위해 디바이스의 좌표들을 결정하고, 기본 좌표 시스템에서 증강 현실의 3차원 가상 객체들의 좌표들을 지정하고, 증강 현실의 가상 객체들의 설정된 세트로부터 객체들의 전부 또는 일부에 대해 가상 객체들을 수정하기 위한 지정된 동작들을 수행하는 디바이스의 비디오 카메라로부터 획득되는 이미지들로부터 결정되며, 2012년 5월 27일의 발명 번호 제2451982호에 대한 러시아 특허의 설명을 참조한다.
이러한 방법은 기술적인 본질 및 달성된 기술적 결과에서 가장 근접하고 방법으로서 제안된 발명의 프로토타입(prototype)을 위해 선택된다.
이러한 프로토타입의 단점은 가상 객체들과의 상호작용이 별도의 디바이스를 사용하여 수행된다는 점이며, 이는 공간에서 사용자의 위치 및 사용자의 위치를 변경하는 것에 응답할 필요성을 결정한다. 증강 현실을 생성 및 관찰하기 위한 디바이스의 공간에서 위치를 단순히 변경하는 것은 디바이스의 디스플레이 상에서 그것의 방향을 변경하는 것을 제외하고, 가상 객체를 변경하지 않는다.
이러한 본래의 관측에 기초하여, 본 발명은 주로 증강 현실 가상 객체들에 영향을 미치기 위한 방법을 제안하는 것을 목표로 하며, 여기서 실제 3차원 공간의 마커들은 증강 현실을 생성 및 관찰하고, 실제 3차원 공간의 마커들의 공간 위치와 관련 있는 물리적 기본 좌표 시스템을 형성하고, 기본 좌표 시스템에 대한 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 좌표들을 결정하고, 기본 좌표 시스템에서 증강 현실의 3차원 가상 객체들의 좌표들을 지정하고, 사용자 모션에 의해 증강 현실의 가상 객체들의 생성된 세트로부터 객체들의 전부 또는 일부에 대해 가상 객체들을 수정하기 위한 상기 동작들을 수행하도록 적응되는 비디오 카메라 디바이스로부터 획득되는 이미지들로부터 결정됨으로써, 종래 기술의 지정된 상기 단점들 중 적어도 하나를 적어도 제거하는 것을 허용하며, 즉 디바이스의 디스플레이 상에서 가상 객체의 방향을 단순히 변경하는 것에 더하여, 가상 객체의 추가적인 반응들과 연관되는 증강 현실을 생성 및 관찰하는 디바이스의 위치를 변경함으로써 가상 객체들과의 추가적인 상호작용을 달성하며, 이것에 의해 본 기술적 목적을 달성한다.
이러한 목적을 달성하기 위해, 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 좌표들은 디바이스 카메라로부터의 이미지를 분석함으로써 실제 물리적 마커에 대해 결정되며, 가상 카메라는 물리적 기본 좌표 시스템에 대해 추가된 현실을 생성 및 관찰하도록 적응되는 디바이스의 산출된 좌표들에 배치됨으로써 그것의 시야에 위치되는 마커가 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 물리 카메라의 시야에 위치되는 물리적 마커와 동일한 방식으로 가시적이며, 마커로부터 가상 카메라로의 방향에 대응하는 벡터가 실시간으로 산출되며, 정보 시간이 마커에 대한 카메라의 모든 움직임들, 즉 선회, 접근 및 기울임에 관하여 실시간으로 연속적인 반복에 의해 생성된다.
이들 유리한 특성들 덕분에, 그것은 가상과의 추가적인 상호작용을 제공하는 것이 가능하게 되며, 상기 상호작용은 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 위치를 변경함으로써 가상 객체의 추가적인 반응들과 연관되며, 상기 상호작용은 디바이스의 디스플레이 상에서 가상 객체의 방향을 단순히 변경하는 것에 더하여 제공된다. 이것은 그것이 배치되는 방향을 포함하는, 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 위치를 그것이 정확하게 결정하는 것이 가능하게 되었다는 사실로 인한 것이다. 따라서, 그것은 그러한 특정 방향에서 증강 현실의 가상 객체들의 생성된 세트의 객체들의 전부 또는 일부에 대해 가상 객체들을 수정하기 위한 지정된 동작들을 수행하는 것이 가능하게 된다.
벡터는 방향에 의해서 뿐만 아니라, 3개의 좌표들, 하나 이상의 좌표들 및 하나 이상의 각도들, 극좌표들, 오일러 각도들, 또는 쿼터니언들(quaternions)에 의해, 임의의 방식으로 지정될 수 있다는 점을 주목한다.
정보가 증강 현실을 생성 및 관찰하는 디바이스로부터 수신되는 비디오 스트림을 분석함으로써 마커에 대한 카메라의 모든 움직임들에 관해 생성되는 본 발명의 일 실시예가 존재한다.
이러한 유리한 특성 덕분에, 그것은 디바이스가 실시간으로 증강 현실을 생성 및 관찰하고 각각의 다음 시간에서 이전에 산출된 위치에 대한 보정들을 산출하기 위해 배치되는 방향을 산출하는 것이 가능하게 된다.
디바이스 카메라로부터의 이미지의 분석이 관심 포인트들을 검색하기 위한 알고리즘에 의해 수행되는 본 발명의 일 실시예가 존재한다.
이러한 유리한 특성 덕분에, 그것은 관심 포인트들을 검색하는 전문적인 방법들, 즉 다음과 같은 방법들을 사용하는 것이 가능하게 된다:
1. SIFT(Scale Invariant Feature Transform) Feature Transform) 방법은 이미지의 로컬 피처들을 검출 및 설명한다. 그것에 의해 획득되는 특성들은 스케일 및 회전에 대해 불변하며, 다수의 아핀 변환들, 노이즈에 저항성이 있다. 그것은 이미지에 대해 구축되는 가우스 피라미드를 사용하는 것이다. 그 다음, 이미지들은동일한 크기로 감소되고, 그들의 차이가 산출된다. 그리고 관심 포인트들에 대한 후보들로서, 다른 것들과 매우 상이한 그들 픽셀들만이 선택되며, 이것은 예를 들어, 이미지의 각각의 픽셀들을 주어진 스케일의 수개의 이웃들, 더 크고 더 작은 스케일의 수개의 대응하는 이웃들과 비교함으로써 수행된다. 픽셀은 그것의 밝기가 매우 상이해야만 관심 포인트로서 선택된다.
2. PCA-SIFT(PCA, Principal Component Analysis) 디스크립터(descriptor)는 SIFT의 변형들 중 하나이며, 여기서 디스크립터 치수는 주요 구성요소들의 분석에 의해 감소된다. 이것은 고유벡터들의 공간을 발견함으로써 달성되며, 이는 후속적으로 특징 벡터들 상에 투영된다.
3. SURF(Speeded Up Robust Features), 이는 SIFT보다 수배 더 빠르다. 이러한 접근법에서, 통합된 이미지들은 관심 포인트들에 대한 검색을 가속화하기 위해 사용된다. 집적 이미지의 각각의 포인트에서의 값은 주어진 포인트에서의 값들 및 주어진 포인트의 위쪽 및 그 왼쪽에 있는 모든 포인트들의 값들의 합으로서 산출된다. 일정 시간 동안의 집적 이미지들의 도움으로, 소위 직사각형 필터들이 계산되며, 이는 수개의 직사각형 영역들로 구성된다.
4. MSER 및 LLD 방법들은 아핀 변환들 및 스케일-업에 가장 불변한다. 두 방법들은 아핀 왜곡들의 6개의 파라미터들을 정규화한다. 더욱 상세하게, 우리는 MSER 상에서 멈출 것이다. "극한 영역들(Extreme areas)"은 (하위 및 상위 레벨들에서의) 강도에 의한 특수 포인트들의 소팅(sorting)에 의해 획득되는 방법의 명칭이다. 피라미드가 구성되며, 여기서 최소 강도 값에 대응하는 초기 이미지는 화이트 이미지를 포함하고, 최대 강도 값에 대응하는 최후 레벨에서, 블랙을 포함한다.
5. 해리스-아핀(Harris-Affine)은 아핀 변환들의 파라미터들을 정규화한다. 해리스(Harris)는 각도들을 특수 영역들로서 사용하고, Lindenberg에 의해 제안되는 접근법을 사용하여, 대규모 공간에서 키 포인트들을 식별한다. 아핀 정규화는 타원형 영역의 파라미터들을 평가하고 그들을 정규화하기 위해 반복적인 절차에 의해 수행된다. 타원 영역의 각각의 반복으로, 파라미터들은 평가된다: 선택된 영역의 2차 매트릭스들의 적절한 모멘트들 사이의 차이가 최소화된다; 타원형 영역이 원형 영역으로 정규화된다; 키 포인트의 평가, 공간 스케일 상의 그것의 스케일.
6. 헤이지안-아핀(Hessian-Affine)은 특수 영역으로서 코너들 대신에 블롭들(blobs)을 사용한다. 헤이지안 매트릭스의 로컬 맥시마의 결정자는 베이스 포인트들로서 사용된다. 방법의 나머지는 해리스-아핀(Harris-Affine)과 동일하다.
7. ASIFT - SIFT 방법의 주요 부분을 결합하고 정규화하는 아이디어. SIFT 디텍터는 검색 및 요청으로부터 멀리 떨어져, 회전, 움직임을 정규화하고 모든 이미지들을 시뮬레이션한다.
8. GLOH(Gradient location-orientation histogram)는 SIFT 디스크립터의 수정이며, 이는 신뢰성을 향상시키기 위해 구축된다. 실제로, SIFT 디스크립터가 산출되지만, 빈들(bins)로 파티셔닝하는 이웃의 극 그리드가 사용된다.
9. DAISY는 상당한 외부 변화들의 경우에 이미지들을 매칭시키는 문제를 해결하기 위해 초기에 도입되며, 즉, 이러한 디스크립터는 이전에 논의된 것들과 대조적으로, 전체 이미지의 픽셀들의 밀집 세트 상에서 동작한다.
10. BRIEF-디스크립터(Binary Robust Independent Elementary Features)는 이미지의 동일한 부분들의 인식을 제공하며, 이는 뷰의 상이한 포인트들로부터 취해진다. 동시에, 작업(task)은 수행되는 계산들의 수를 최소화하는 것이었다. 인식의 알고리즘은 이미지들의 일부 트레이닝 세트 및 테스트 이미지 영역들의 후속 분류 상에서 랜덤 포레스트(분류 트리들을 랜덤화함) 또는 나이브 베이지안 분류기의 구조로 감소된다.
또한, 디바이스 카메라로부터의 이미지 분석이 이미지 분류기 알고리즘에 의해 수행되는 본 발명의 일 실시예가 존재한다.
디바이스 카메라로부터의 이미지 분석이 칼만 필터 알고리즘에 의해 수행되는 본 발명의 일 실시예가 존재한다.
이러한 유리한 특성 덕분에, 그것은 일련의 불완전하고 잡음이 많은 측정들을 사용하여 동적 시스템의 상태 벡터를 평가하는 효과적인 재귀형 필터를 사용함으로써, 불완전하고 잡음이 많은 이미지들을 분석하는 것이 가능하게 된다. 이러한 경우에서의 칼만(Kalman)의 아이디어는 부정확한 카메라 측정들 및 이미지 경계들의 예측된 위치들로부터 이미지들의 실제 좌표들에 대한 최상의 근사(approximation)를 획득하는 것이다. 필터의 정확도는 사용되는 시간에 의존하며, 이는 후속 프레임들 상에서 이미지의 출력의 안정성을 향상시키는 것을 의미한다.
디바이스의 카메라로부터의 이미지 분석이 알고리즘 "이미지 피라미드들(Image Pyramids)"에 의해 이루어지는 본 발명의 일 실시예가 존재한다.
이러한 유익한 특성으로 인해, 그것은 이미지 처리 시간을 단축하고 상위 레벨들의 처리 결과들에 기초하여 하위 레벨들을 처리하기 위한 더욱 정확한 초기 근사들을 결정하는 것이 가능하게 된다.
본 발명들의 이러한 그룹의 다른 특징들 및 장점들은 첨부 도면들을 참조하여, 제한이 아닌 예시를 위해 아래에 주어지는 설명으로부터 명백하게 이어진다.
도 1은 본 발명에 따른 가상 객체들과 상호작용하기 위한 장치의 다이어그램을 도시한다.
도 2는 본 발명에 따른 가상 객체들과 상호작용하는 방법의 단계들을 개략적으로 도시한다.
도 1은 본 발명에 따른 가상 객체들과 상호작용하기 위한 장치의 다이어그램을 도시한다.
도 2는 본 발명에 따른 가상 객체들과 상호작용하는 방법의 단계들을 개략적으로 도시한다.
객체 마커는 1로 지정된다. 증강 현실을 생성 및 관찰하도록 적응되는 디바이스는 2이며, 그것은 비디오 카메라(21) 및 디스플레이(22)를 더 도시한다.
스마트폰, 컴퓨터 태블릿과 같은 디바이스들 또는 추가된 현실의 안경들과 같은 디바이스들은 증강 현실을 생성 및 관찰하도록 적응되는 디바이스로서 사용될 수 있다.
증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 비디오 카메라로부터 획득되는 이미지는 23으로 도시된다.
물리적 기본 좌표 시스템은 OmXmYmZm으로서 지정되는 마커와 연관된다.
디바이스(2)의 좌표들은 기본 좌표 시스템에 대한 증강 현실을 생성 및 관찰하도록 적응되는 반면에, 디바이스(2) 자체는 그것의 자체 좌표 시스템 OnXnYnZn을 갖는다.
마커(1)로부터 가상 카메라(21)로의 방향에 대응하는 벡터는 R로서 지정된다.
본 발명의 구현
가상 객체들과 상호작용하기 위한 디바이스는 다음과 같이 작동한다. 본 발명의 구현의 가장 망라한 예는 이러한 예가 본 발명의 응용을 제한하지 않는다는 것을 명심하면서, 아래에 제공된다.
도 2에 따르면:
단계 A1. 증강 현실을 생성 및 관찰하기 위한 디바이스의 비디오 카메라로부터 획득되는 이미지로부터 실제 3차원 공간의 마커들을 식별한다. 일반적으로, 마커는 임의의 그림 또는 객체일 수 있다. 그러나 실제로, 우리는 모든 것들이 실시간으로 발생함에 따라, 장비의 웹캠(폰), 컬러 렌더링, 조명, 및 처리 능력을 허용하는 것에 제한되고, 따라서 신속히 처리되고, 따라서 일반적으로 단순 형태의 블랙 및 화이트 마커를 선택해야만 한다.
단계 A2. 실제 3차원 공간의 마커들의 공간 위치와 관련 있는 물리적 기본 좌표 시스템을 형성한다.
단계 A3. 기본 좌표 시스템에서 증강 현실의 3차원 가상 객체들의 좌표들을 지정한다.
단계 A4. 디바이스의 카메라로부터의 이미지를 분석함으로써 기본 좌표 시스템에 대한 증각 현실을 생성 및 관찰하도록 적응되는 디바이스의 좌표들을 결정한다.
단계 A41. 이를 수행하기 위해, 가상 카메라가 물리적 기본 좌표 시스템에 대한 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 산출된 좌표들에 설정됨으로써 가상 카메라에 의해 가시적인 마커는 물리적 마커가 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 카메라의 시야에 위치되는 것과 동일한 방식으로 그것의 시야에 위치된다
단계 A42. 마커로부터 가상 카메라로의 방향에 대응하는 벡터가 실시간으로 산출된다.
단계 A43. 마커에 대한 카메라의 모든 움직임들 - 순차적 반복에 의한 선회, 접근, 기울임에 대한 정보를 실시간으로 형성한다.
단계 A44. 대안적으로, 증강 현실을 생성 및 관찰하기 위한 디바이스로부터 수신되는 비디오 스트림을 분석함으로써 마커에 대한 카메라의 모든 움직임들에 대한 정보를 생성한다 .
단계 A5. 상기 동작들은 증강 현실을 생성 및 관찰하도록 적응되는 컴퓨팅 모듈의 실행의 각각의 반복에서 반복된다. 각각의 반복으로부터 수신되는 방향들의 집성(Aggregation)은 마커에 대한 모든 카메라 움직임들 - 선회, 접근, 기울임 등에 대한 정보를 형성한다.
단계 A6. 증강 현실의 가상 객체들의 형성된 세트의 객체들의 전부 또는 일부에 대한 가상 객체들을 수정하기 위해 지정된 동작들을 사용자 모션의 도움으로 수행한다.
단계들의 시퀀스는 예시적이고 당신이 가상 객체들과 상호작용하는 능력을 잃어버리는 것 없이 동시에 일부 동작을 재배열, 감산, 가산 또는 수행하는 것을 허용한다. 그러한 동작들의 예들은 다음일 수 있다:
- 사용자의 클라이언트 디바이스의 진동을 보상하는 보정들의 사용으로 증강 현실을 생성 및 관찰하는 디바이스의 위치 공간에서의 움직임 산출. 예를 들어, 사용자의 사용자 디바이스의 진동 보상은 칼만 필터(Kalman filter)를 사용하여 수행된다.
- 디바이스의 공간에서의 움직임을 산출할 때, 인공 신경망들의 모델은 증강 현실을 생성 및 관찰하기 위해 사용된다.
실시예 1. 증강 현실 객체(사람 또는 동물)로서 생성되는 캐릭터는 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 방향을 그것의 눈들에 의해 따라갈 수 있어서, 이러한 사람 또는 동물은 실제 인간 또는 동물이 행하는 방식으로 그를 보고 있다는 사용자의 착각을 생성한다. 사용자가 뒷면으로부터 캐릭터의 주변을 얻고자 노력할 때, 캐릭터는 적절하게 반응할 수 있어서, 신체를 사용자를 향해 선회시킨다.
실시예 2. 증강 현실의 컨텐츠의 역할을 하는 마커가 저속으로 음직이는 미사일들에 의해 사용자를 향해 슈팅하는 종래의 상대인, 대화형 게임. 게임에서 승리하기 위해, 사용자는 그들의 궤적으로부터 증강 현실을 생성 및 관찰하도록 적응되는 다비이스의 카메라를 시프팅하여, 미사일들로부터 "회피(avoid)"해야만 한다.
산업상 이용 가능성
가상 객체들과의 상호작용의 제안된 방법은 당업자에 의해 수행될 수 있고, 구현될 때, 본 발명에 대한 기준인 "산업상 적용성"이 충족된다고 결론을 내리는 것을 허용하는, 청구된 지정의 달성을 보장한다.
본 발명에 따르면, 가상 객체들과 상호작용하기 위한 디바이스의 프로토타입은 디스플레이 및 비디오 카메라를 갖는 컴퓨터 태블릿의 형태로 이루어진다.
프로토타입 시스템의 테스트들은 그것이 다음 능력들을 제공한다는 점을 보여주었다:
ㆍ증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 비디오 카메라로부터 획득되는 이미지들로부터 실제 3차원 공간의 마커들의 정의,
ㆍ실제 3차원 공간의 마커들의 공간 위치와 관련 있는 물리적 기본 좌표 시스템의 형성,
ㆍ기본 좌표 시스템에 대한 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 좌표들을 결정;
ㆍ기본 좌표 시스템에서 증강 현실의 3차원 가상 객체들의 좌표들의 할당 ;
ㆍ디바이스의 카메라로부터의 이미지를 분석함으로써 실제 물리적 마커에 대한 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 좌표들을 결정;
ㆍ물리적 마커가 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 카메라의 시야에 위치되는 동일한 방식으로 가상 카메라에 의해 가시적인 마커가 그것의 시야에 위치되도록 가상 카메라의 위치를 물리적 기본 좌표 시스템에 대한 증강 현실을 생성 및 관찰하도록 적응되는 디바이스의 산출된 좌표들에 설정,
ㆍ마커로부터 가상 카메라로의 방향에 대응하는 벡터를 실시간으로 산출,
ㆍ마커에 대한 카메라의 모든 움직임들 - 순차적 반복에 의한 회전, 줌, 경사에 관한 정보를 실시간으로 생성,
ㆍ증강 현실의 가상 객체들의 생성된 세트로부터 객체들의 전부 또는 일부에 대한 가상 객체들을 수정하기 위한 지정된 동작들을 사용자 모션의 도움으로 수행.
따라서, 본 발명은 디바이스 디스플레이 상에서 가상 객체의 방향을 단순히 변경시키는 것에 더하여, 가상 객체의 추가적인 반응들과 연관되는 증강 현실을 생성 및 관찰하기 위한 디바이스의 위치를 변경함으로써 가상 객체들과 상호작용하는 추가적인 능력을 제공하는 진술된 목적을 달성한다.
Claims (6)
- 증강 현실의 가상 객체들에 영향을 미치는 방법으로서,
ㆍ증강 현실을 생성 및 관찰하도록 구성되는 디바이스의 카메라로부터 획득되는 이미지들로부터 실제 3차원 공간의 마커들을 식별하는 단계;
ㆍ상기 실제 3차원 공간의 상기 마커들의 공간 위치와 관련 있는 물리적 기본 좌표 시스템을 형성하는 단계;
ㆍ상기 기본 좌표 시스템에 대한 증강 현실을 생성 및 관찰하도록 구성되는 상기 디바이스의 좌표들을 결정하는 단계;
ㆍ상기 기본 좌표 시스템에서 상기 증강 현실의 3차원 가상 객체들의 좌표들을 지정하는 단계; 및
ㆍ사용자 모션의 도움으로, 증강 현실의 가상 객체들의 생성된 세트의 객체들의 전부 또는 일부에 대한 상기 가상 객체들을 수정하기 위한 지정된 동작들을 수행하는 단계를 포함하며,
ㆍ상기 디바이스의 카메라로부터의 비디오 이미지를 분석함으로써 상기 실제 물리적 마커에 대한 증강 현실을 생성 및 관찰하도록 구성되는 상기 디바이스의 좌표들을 결정하는 단계;
ㆍ상기 물리적 마커가 증강 현실을 생성 및 관찰하기 위한 상기 디바이스의 상기 카메라의 시야에 위치되는 방식과 동일하게 상기 가상 카메라에 의해 가시화될 수 있는 마커가 그 시야에 위치되도록, 가상 카메라를 상기 물리적 기본 좌표 시스템에 대한 증강 현실을 생성 및 관찰하도록 구성되는 상기 디바이스의 상기 산출된 좌표들에 설정하는 단계;
ㆍ상기 마커로부터 상기 가상 카메라로의 방향에 대응하는 벡터를 실시간으로 산출하는 단계; 및
ㆍ상기 마커에 대한 상기 카메라의 모든 움직임들 - 순차적 반복에 의한 회전, 근사, 경사에 관한 정보를 실시간으로 생성하는 단계를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
증강 현실을 생성 및 관찰하도록 구성되는 상기 디바이스로부터 수신되는 비디오 스트림을 분석함으로써 상기 마커에 대한 상기 카메라의 모든 움직임들에 관한 정보를 생성하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 디바이스 카메라로부터의 상기 이미지의 분석은 관심 포인트들을 검색하기 위한 알고리즘에 의해 수행되는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 디바이스 카메라로부터의 상기 이미지 분석은 이미지 분류기 알고리즘에 의해 수행되는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 디바이스 카메라로부터의 상기 이미지 분석은 칼만 필터 알고리즘에 의해 수행되는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 디바이스의 상기 카메라로부터의 상기 이미지 분석은 "이미지 피라미드" 알고리즘에 의해 수행되는 것을 특징으로 하는 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015149499 | 2015-11-18 | ||
| RU2015149499A RU2617557C1 (ru) | 2015-11-18 | 2015-11-18 | Способ воздействия на виртуальные объекты дополненной реальности |
| PCT/RU2016/050070 WO2017086841A1 (ru) | 2015-11-18 | 2016-11-17 | Способ воздействия на виртуальные объекты дополненной реальности |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180107085A true KR20180107085A (ko) | 2018-10-01 |
Family
ID=58643243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187017168A KR20180107085A (ko) | 2015-11-18 | 2016-11-17 | 증강 현실의 가상 객체들에 영향을 미치는 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US20180321776A1 (ko) |
| EP (1) | EP3379396A4 (ko) |
| KR (1) | KR20180107085A (ko) |
| CN (1) | CN108369473A (ko) |
| RU (1) | RU2617557C1 (ko) |
| WO (1) | WO2017086841A1 (ko) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7164883B2 (ja) * | 2017-05-31 | 2022-11-02 | 株式会社フジキン | 半導体製造装置の管理システム、方法、及びコンピュータプログラム |
| RU2686029C2 (ru) * | 2017-07-19 | 2019-04-23 | Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" | Система виртуальной реальности на основе смартфона и наклонного зеркала |
| CN108917751B (zh) * | 2018-03-30 | 2021-11-02 | 北京凌宇智控科技有限公司 | 一种免标定的定位方法及系统 |
| WO2019195830A1 (en) * | 2018-04-06 | 2019-10-10 | Rice Robert A | Systems and methods for item acquisition by selection of a virtual object placed in a digital environment |
| CN110555879B (zh) | 2018-05-31 | 2023-09-08 | 京东方科技集团股份有限公司 | 一种空间定位方法、其装置、其系统及计算机可读介质 |
| US11003972B2 (en) * | 2018-06-27 | 2021-05-11 | Intel Corporation | Localizing a vehicle's charging or fueling port—methods and apparatuses |
| US10692299B2 (en) | 2018-07-31 | 2020-06-23 | Splunk Inc. | Precise manipulation of virtual object position in an extended reality environment |
| US10909772B2 (en) | 2018-07-31 | 2021-02-02 | Splunk Inc. | Precise scaling of virtual objects in an extended reality environment |
| JP7227377B2 (ja) * | 2018-12-12 | 2023-02-21 | ホウメディカ・オステオニクス・コーポレイション | 骨密度モデリング及び整形外科手術計画システム |
| US11341676B2 (en) | 2019-02-05 | 2022-05-24 | Google Llc | Calibration-free instant motion tracking for augmented reality |
| JP7277187B2 (ja) * | 2019-03-13 | 2023-05-18 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
| US10922892B1 (en) | 2019-04-30 | 2021-02-16 | Splunk Inc. | Manipulation of virtual object position within a plane of an extended reality environment |
| CN110956065B (zh) * | 2019-05-11 | 2022-06-10 | 魔门塔(苏州)科技有限公司 | 一种用于模型训练的人脸图像处理方法及装置 |
| CN112017297B (zh) * | 2019-05-28 | 2024-01-23 | 中国商用飞机有限责任公司 | 一种增强现实的定位方法、装置、设备及介质 |
| US11189000B2 (en) * | 2019-06-24 | 2021-11-30 | Intel Corporation | Architecture to generate binary descriptor for image feature point |
| KR102358950B1 (ko) * | 2020-10-05 | 2022-02-07 | 홍준표 | 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법 |
| KR20220049304A (ko) * | 2020-10-14 | 2022-04-21 | 삼성전자주식회사 | 이미지를 이용한 3차원 지도의 업데이트 방법 및 이를 지원하는 전자 장치 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100927009B1 (ko) * | 2008-02-04 | 2009-11-16 | 광주과학기술원 | 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템 |
| RU2451982C1 (ru) * | 2008-06-24 | 2012-05-27 | Олег Станиславович Рурин | Способ воздействия на виртуальные объекты |
| US20100045701A1 (en) * | 2008-08-22 | 2010-02-25 | Cybernet Systems Corporation | Automatic mapping of augmented reality fiducials |
| CN102254345A (zh) * | 2011-06-30 | 2011-11-23 | 上海大学 | 基于云计算的自然特征注册方法 |
| US9524436B2 (en) * | 2011-12-06 | 2016-12-20 | Microsoft Technology Licensing, Llc | Augmented reality camera registration |
| US9514570B2 (en) * | 2012-07-26 | 2016-12-06 | Qualcomm Incorporated | Augmentation of tangible objects as user interface controller |
| US10310595B2 (en) * | 2014-06-30 | 2019-06-04 | Sony Corporation | Information processing apparatus, information processing method, computer program, and image processing system |
| US9875579B2 (en) * | 2014-08-22 | 2018-01-23 | Applied Research Associates, Inc. | Techniques for enhanced accurate pose estimation |
| US10410419B2 (en) * | 2015-03-02 | 2019-09-10 | Virtek Vision International Ulc | Laser projection system with video overlay |
-
2015
- 2015-11-18 RU RU2015149499A patent/RU2617557C1/ru active
-
2016
- 2016-11-17 EP EP16866741.8A patent/EP3379396A4/en not_active Withdrawn
- 2016-11-17 KR KR1020187017168A patent/KR20180107085A/ko not_active Application Discontinuation
- 2016-11-17 WO PCT/RU2016/050070 patent/WO2017086841A1/ru active Application Filing
- 2016-11-17 US US15/773,248 patent/US20180321776A1/en not_active Abandoned
- 2016-11-17 CN CN201680066494.0A patent/CN108369473A/zh active Pending
-
2020
- 2020-05-18 US US16/876,789 patent/US11288837B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20200279396A1 (en) | 2020-09-03 |
| CN108369473A (zh) | 2018-08-03 |
| WO2017086841A1 (ru) | 2017-05-26 |
| EP3379396A1 (en) | 2018-09-26 |
| EP3379396A4 (en) | 2019-06-12 |
| US20180321776A1 (en) | 2018-11-08 |
| US11288837B2 (en) | 2022-03-29 |
| RU2617557C1 (ru) | 2017-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11288837B2 (en) | Method of influencing virtual objects of augmented reality | |
| CN108717531B (zh) | 基于Faster R-CNN的人体姿态估计方法 | |
| CN108292362A (zh) | 用于光标控制的手势识别 | |
| Holte et al. | A local 3-D motion descriptor for multi-view human action recognition from 4-D spatio-temporal interest points | |
| Žemgulys et al. | Recognition of basketball referee signals from videos using Histogram of Oriented Gradients (HOG) and Support Vector Machine (SVM) | |
| WO2020103700A1 (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| Žemgulys et al. | Recognition of basketball referee signals from real-time videos | |
| JP2020008972A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
| US11170246B2 (en) | Recognition processing device, recognition processing method, and program | |
| JP5503510B2 (ja) | 姿勢推定装置および姿勢推定プログラム | |
| Jetley et al. | 3D activity recognition using motion history and binary shape templates | |
| CN111353325A (zh) | 关键点检测模型训练方法及装置 | |
| KR102063408B1 (ko) | 가상 객체와의 상호 작용을 위한 방법 및 장치 | |
| CN110288714B (zh) | 一种虚拟仿真实验系统 | |
| Wang et al. | GA-STIP: Action recognition in multi-channel videos with geometric algebra based spatio-temporal interest points | |
| WO2022266878A1 (zh) | 景别确定方法、装置及计算机可读存储介质 | |
| Imanullah et al. | A novel approach in low-cost motion capture system using color descriptor and stereo webcam | |
| Moreno et al. | Marker-less feature and gesture detection for an interactive mixed reality avatar | |
| CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 | |
| CN111222448A (zh) | 图像转换方法及相关产品 | |
| Bermudez et al. | Comparison of natural feature descriptors for rigid-object tracking for real-time augmented reality | |
| CN113128304B (zh) | 图像处理的方法及电子设备 | |
| Zhao | Automated phenotyping of seeds using traditional and convolutional neural network-based methods | |
| May | Data Analytics and Methods for Improved Feature Selection and Matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |