KR20180034387A - 가상 객체와의 상호 작용을 위한 방법 및 장치 - Google Patents
가상 객체와의 상호 작용을 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20180034387A KR20180034387A KR1020187000518A KR20187000518A KR20180034387A KR 20180034387 A KR20180034387 A KR 20180034387A KR 1020187000518 A KR1020187000518 A KR 1020187000518A KR 20187000518 A KR20187000518 A KR 20187000518A KR 20180034387 A KR20180034387 A KR 20180034387A
- Authority
- KR
- South Korea
- Prior art keywords
- control body
- images
- virtual objects
- primitives
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 6
- 238000012937 correction Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 239000011521 glass Substances 0.000 claims description 12
- 230000003190 augmentative effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 230000001413 cellular effect Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 abstract description 2
- 239000003550 marker Substances 0.000 description 27
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 239000000446 fuel Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010353 genetic engineering Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G06K9/20—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 그룹의 발명들은 가상 객체들과 상호 작용하기 위해 의도되는 방법들 및 시스템들에 관한 것으로서, 가상 객체들과 상호 작용하기 위해 사용되는 제어 유닛을 결정하고, 가상 객체의 특성 그래픽 프리미티브들을 결정하고, 제어 유닛의 공간 위치를 결정하고, 제어 유닛의 공간 위치를 가상 객체의 그래픽 프리미티브들에 상관시키고, 가상 객체에 관한 원하는 액션들을 수행하는 것을 포함한다. 본 발명에 따르면, 이미지들은 비디오 카메라 및 디스플레이를 갖는 사용자의 클라이언트 장치로부터 사용되고, 제어 유닛 이미지 라이브러리는 수신된 이미지들에 기초하여 생성되고, 획득된 이미지 라이브러리는 제어 유닛의 그래픽 프리미티브들을 결정하기 위해 사용된다. 그 다음, 제어 유닛의 공간 위치는 제어 유닛 그래픽 프리미티브들의 공간에서의 모션을 계산함으로써 결정되며, 제어 유닛 그래픽 프리미티브들의 공간에서의 모션의 계산은 사용자의 클라이언트 장치의 진동을 보정하는 보정값들의 사용을 포함한다. 달성된 기술적 결과는 카메라 및 디스플레이를 갖는, 단지 하나의 사용자 클라이언트 장치를 사용하여 가상 객체들과의 상호 작용을 가능하게 하는 것이다.
Description
본 발명의 관련 기술
본 그룹의 발명들은 가상 객체들과 상호 작용하도록 설계되는 방법들 및 시스템들에 관한 것으로서, 가상 객체들과의 상호 작용이 처리될 관리 본체(governing body)가 가상 객체의 특징적인 그래픽 프리미티브들(graphic primitives)을 결정하고, 제어 본체(control body)의 공간에서의 위치를 결정하고, 가상 객체의 그래픽 프리미티브들의 본체 관리의 공간에서의 위치를 비교하고, 가상 객체에 관하여 원하는 액션들을 수행하도록 처리될 것이다.
다음 용어들이 본 문서에 사용된다.
기술적 수단에 의해 생성되는 가상 객체, 사람에게 그의 감각들: 시각, 청각, 및 다른 것들을 통해 송신되는 객체.
제어 수단(control)은 그것이 가상 객체를 제어하는 것이며, 그것은 사람, 사람의 일부, 예를 들어 손, 또는 사람에 의해 결과적으로 제어되는 객체, 예를 들어 포인터일 수 있다.
이미지 라이브러리는 동일한 객체 또는 주체의 다양한 이미지들의 데이터베이스이다. 그것은 객체에 대한 최대 정보량을 획득하기 위해 상이한 이미지들을 가능한 한 많이 갖는 것이 바람직하다.
인공 신경 네트워크들의 방법은 생물학적 신경 네트워크들 - 살아있는 유기체 신경 세포들의 네트워크들의 조직 및 기능의 원리상에 이루어지는, 그것의 소프트웨어 또는 하드웨어 구현일뿐만 아니라, 수학적 모델이다.
칼만 방법은 일련의 불완전 및 잡음 측정값들을 사용하여 동적 시스템의 상태 벡터를 평가하는 효과적인 재귀 필터(recursive filter)이다.
포켓 퍼스널 컴퓨터의 기능으로 보완되는, 스마트폰(영어식으로 스마트폰 - 스마트 폰) - 폰.
그래픽 프리미티브들은 단일 명령으로 모델에 배치될 수 있는 미리 정의된 요소들이다. 각각의 그래픽 프리미티브는 객체의 기하학적 설명에 기초하여 형성된다. 그들은 이와 같은 것일 수 있다: 객체의 기하학적 설명에 기초하여 형성되는 포인트, 라인(세그먼트), 광선, 라인의 구성(직선). 그들은 이와 같은 것일 수 있다: 포인트, 라인, 광선, 라인의 구성(직선), 형상, 스트립, 호, 원, 폴리라인, 직사각형, 다각형(스파이더 베벨), 및 다른 것들. 주로, 이들은 특징적인 포인트들 또는 마커들이다.
종래 기술의 방법들
그 양태들의 첫 번째에 따르면, 본 발명은 가상 객체들과 상호 작용하는 방법에 관한 것이다.
현재, 점점 더 많은 사람들이 다양한 전자 장치들을 사용하고 가상 객체들과 상호 작용을 한다. 이것은 예를 들어 구매자가 가상 제품 모델을 사용하여 구매를 결정하는 경우인 원격 상품 거래에 더하여, 컴퓨터 게임들뿐만 아니라, 학습 과정에서 발생한다.
가상 객체들과 상호 작용하는 공지된 방법들은: 가상 객체들과 상호 작용하기 위해 사용되는 제어 장치를 결정하고, 가상 객체의 그래픽스 프리미티브들을 정의하고, 공간에서의 제어 장치의 위치를 결정하고, 공간에서의 제어 장치의 대응 위치와 가상 객체의 그래픽스 프리미티브들의 상관을 수행하고, 가상 객체에 대해 원하는 액션을 수행할 뿐만 아니라, 특수 장치들, 예컨대 사용자의 손의 공간 위치를 계산하기 위해 필요한 데이터를 송신하는 사용자의 손에 걸쳐 착용되는 글러브들을 사용함으로써 공간에서 제어 장치의 위치를 결정한다. 이러한 예에서, 사용자의 손은 제어 수단(control)이다. 이와 같은 글러브 Dexmo의 예에 대해, 다음 웹사이트 http://odnako.su/hitech/gadgets/-187862-dexmo--perchatka-virtualnoy-realnosti-s-obratnoy-svyazyul를 참조한다.
특수 장치를 사용하여 제어 장치의 공간에서의 위치를 결정하는 다른 예는 Kinect 장치를 사용하는 기술이며, 다음 웹사이트http://en.wikipedia.org/wiki/kinect를 참조한다.
이러한 방법은 기술적인 본질 및 달성된 기술적 결과에서 가장 근접한 것이고 제안된 발명의 프로토타입을 위해 방법으로 선택된다.
이러한 프로토타입의 단점은 그것이 추가적인 장치들, 즉 사용자의 컴퓨터 장치에 연결되는 키넥트(Kinekt) 장치 자체를 요구하므로, 그것의 복잡성에 있고, 일반적으로 항상 사용자와 함께 있는 스마트폰, 컴퓨터 태블릿 또는 증강 현실 안경과 같은 장치들과 같은 비디오 카메라 및 디스플레이를 갖는 단지 하나의 사용자 클라이언트 장치로 가상 객체들과 상호 작용하는 가능성이 없다.
실제로, 게다가, 장치는 그것이 필요하면 언제라도, 가상 객체들과 상호 작용하는 것이 가능하도록, 특별히 구매되고 또한 사용자의 클라이언트 컴퓨터 장치에 연결되어 항상 휴대해야만 한다. 이러한 종류의 상호 작용에 대한 필요성은 매우 빠르게 증가하고 있고 추세는 그것이 곧 유비커터스가 될 것이라는 것이다.
방법으로서의 본 발명의 개시
이러한 본래 관측에 기초하여, 본 발명은 주로: 가상 객체들과 상호 작용하기 위해 사용되는 제어 본체를 정의하고, 가상 객체의 그래픽 프리미티브들을 결정하고, 공간 위치를 결정하고, 공간에서의 제어 본체의 위치와 가상 객체의 그래픽 프리미티브들을 비교하고, 위의 단점들 중 적어도 하나를 적어도 제거하는 것, 즉 기술적 과제인, 스마트폰, 컴퓨터 태블릿 또는 증강 현실 안경과 같은 장치들과 같은 비디오 카메라 및 디스플레이를 갖는 단지 하나의 사용자 클라이언트 장치를 사용하여 가상 객체들과 상호 작용하는 가능성을 제공하는 것을 허용하는 가상 객체에 관한 액션들을 수행하는 가상 객체들과 상호 작용하는 방법을 제안하는 것을 목표로 삼는다.
이러한 목적을 달성하기 위해, 제어 본체의 공간 위치는 다음과 같은 방식으로 결정되고 있다:
이들 유리한 특성들로 인해, 그것은 스마트폰, 컴퓨터 태블릿 또는 증강 현실의 안경 유형의 장치들과 같은, 비디오 카메라 및 디스플레이를 포함하는 클라이언트 장치만을 사용하여, 제어 본체, 예를 들어 사용자의 손, 또는 특수 객체, 예를 들어 포인터의 공간 위치를 결정하는 것이 가능하다. 언제라도, 사용자는 그의 클라이언트 장치의 디스플레이 상에서 가상 객체를 보고 그것과 즉시 상호 작용할 수 있다. 이제, 특수하게 구성되는 동일한 클라이언트 장치는 제어 본체의 3차원 모델의 구축을 허용하고 제어 본체와 가상 객체 사이의 상호 작용을 제공하는 단계들을 수행한다.
사용자의 클라이언트 장치의 진동 보상이 칼만 필터(Kalman filter)를 사용하여 수행되는 본 발명의 일 실시예가 존재한다.
이러한 유리한 특성 덕분에, 그것은 동작들의 시퀀스가 칼만 필터를 사용하는 경우 연산 모듈 상의 부하를 최소화하므로, 가상 객체들과의 상호 작용의 방식을 단순화하는 것이 가능하게 되며, 이는 클라이언트 장치의 진동에 의해 야기되는 간섭들을 보상하기 위한 조정 값들을 계산하도록 강제된다. 이와 같은 간섭들은 스마트폰, 컴퓨터 태블릿 또는 증강 현실의 안경과 같은 장치들이 사용자에 의해 그의 손에 들려있거나, 안경과 같이 사용자의 머리에 부착되는 클라이언트 장치로 사용됨에 따라 필연적으로 발생한다.
실제로, 스마트폰과 같은 휴대폰 카메라 또는 컴퓨터 태블릿 또는 증강 현실 안경과 같은 장치들로부터 판독되는 프레임별(frame-by-frame) 정보는 일부 평균 포인트들 주변에서 모델의 출력 좌표들의 일정한 산란(scatter)으로 일부 잡음을 전달할 것이다. 그 결과, 사용자는 3D 모델의 일정한 "흔들림(shaking)"을 관측할 것이다.
이러한 이유로, 방법은 그래픽 프리미티브들의 모션들이 수정된 칼만 필터에 기초하여, 예측되는 단계를 포함한다. 칼만 필터는 일련의 불완전 및 잡음 측정값들을 사용하여 동적 시스템의 상태 벡터를 평가하는 효과적인 재귀 필터(recursive filter)이다.
그것의 동작의 본질은 예에 의해 가장 쉽게 설명될 수 있다. 이동 중인 차의 탱크에서 연료의 레벨에 대한 정보를 얻는 것을 가정한다. 도로의 불규칙성 및 엔진의 진동으로 인해, 값은 액체의 튀김(splashing)으로 인해 간헐적으로 변경될 것이다. 이것을 측정 오류로 간주하여, 특정 평균 값에만 주의를 기울이는 것은 상당히 논리적이다. 동시에, 평균 연료 소비를 알면, 그것의 레벨이 다음 순간에 무엇이 될지 예측할 수 있다. 칼만이 아이디어는 실제 좌표 값에 대해 가장 근사치를 얻는 것이다. 그것은 부정확한 센서의 표시와 연료 소비 법칙의 예측 값 사이에서 "중용(golden mean)"을 선택할 필요가 있다. 그것은 필터의 정확도가 그것의 적용의 시간에 의존하며, 이는 후속 프레임들 상에서 항상 안정된 모델의 출력을 의미한다는 점에 주목할 가치가 있다.
제어 본체의 이미지가 캡처되고 제어 본체 및 가상 객체가 스마트폰과 같은 휴대폰의 디스플레이 상에 도시되는 본 발명의 일 실시예가 존재한다.
이러한 유리한 특성 덕분에, 스마트폰과 같은 휴대폰을 사용자의 클라이언트 장치로 사용하는 것이 가능하게 된다.
제어 본체의 이미지가 캡처되고 제어 본체 및 가상 객체가 태블릿 컴퓨터 상에 디스플레이되는 본 발명의 일 실시예가 존재한다.
이러한 유리한 특성 덕분에, 태블릿 컴퓨터를 사용자의 클라이언트 장치로 사용하는 것이 가능하게 된다.
제어 본체의 이미지가 캡처되고 제어 본체 및 가상 객체가 증강 현실 안경과 같은 장치들에 의해 디스플레이되는 본 발명의 일 실시예가 존재한다. 이러한 유리한 특성 덕분에, 증강 현실 안경을 사용자의 클라이언트 장치로서 사용하는 것이 가능하다.
인공 신경 네트워크들의 모델이 제어 본체의 그래픽 프리미티브들의 공간에서의 모션을 계산하기 위해 사용되는 본 발명의 일 실시예가 존재한다.
이러한 유리한 특성으로 인해, 인공 신경 네트워크들의 형태로 프로세스를 조직화하는 능력으로 인해 모델 계산들의 정확도를 증가시키는 것이 가능하게 된다. 인공 신경 네트워크는 생물학적 신경 네트워크들 - 살아있는 유기체의 신경 세포들의 네트워크들의 조직 및 기능의 원리에 기초한, 그것의 하드웨어 구현일뿐만 아니라, 수학적 모델이다. 이와 같은 네트워크들은: 음성 인식 시스템들에서 이차 단백질 구조의 인식까지, 또한 다양한 유형들의 암 및 유전 공학의 분류까지 다양한 분야들의 과학에서 사용된다. ANN(artificial neural network)은 컴퓨터 상에서 신경 네트워크들의 모델을 시뮬레이션함으로써 생성될 수 있다. 실제 뉴런들의 프로세스들을 모방하는 알고리즘들을 사용하여, 우리는 네트워크가 "학습(learn)"하도록 만들 수 있으며, 이것에 의해 많은 상이한 문제들을 해결하는 것을 돕는다. 뉴런의 모델은 임계값으로 표현된다. 모델은 다수의 다른 외부 소스들로부터 데이터를 수신하고, 각각의 입력의 값을 결정하고 이들 값들을 합산한다. 공통 입력이 입력값을 초과하면, 이때, 블록 출력은 1이고, 그렇지 않으면 그것은 0이다. 따라서, 출력은 입력들의 총 "가중된(weighted)" 합이 임계값과 동일한 경우, 0에서 1까지 변경된다. 네트워크에 미리 공지된 수의 그래픽 프리미티브들을 제공하고, 그들을 상이한 각도들 및 조도 조건들에서 그룹별로 입력에 송신하고, 출력 값들을 제어함으로써, 그것은 "엔진(engine)"에서 이전에 훈련된 신경 네트워크를 사용하는 것을 가능하게 한다. 특히, 이러한 모듈 덕분에, "엔진"은 서로에 대해, 마커의 공간 방향, 그것의 예상 위치, 그것의 그래픽 프리미티브들의 위치에 대한 정보를 획득할 수 있을 것이며, 이는 이후에 범용 뷰포트들 및 프로젝션 매트릭스들을 구성하기 위해 사용되며, 이는 대부분의 현대 3D 그래픽 에디터들이 뷰어에 대한 주어진 각도 및 방향에서 이미지 상에 모델을 구축하는 것을 허용한다.
본 제안된 발명의 일련의 본질적인 특징들은 유사한 목적의 방법들에 대한 종래 기술로부터 공지되어 있지 않으며, 이는 본 발명에 대한 "신규성"의 기준이 방법에 대해 충족된다는 결론을 초래한다.
본 발명의 기술 수준
다른 양태에서, 본 발명은 가상 객체들과 상호 작용하기 위한 장치에 관한 것이며, 상기 장치는 데이터를 처리하는 컴퓨팅 유닛에 연결되는 비디오 카메라 및 디스플레이를 포함한다.
이와 같은 장치는 인터넷 사이트 http://en.wikipedia.org/wiki/kinect를 참조하면, 사용자의 클라이언트 컴퓨터 장치에 연결되는 키넥트(Kinect) 장치로 설명된다.
이러한 장치는 그것의 기술적인 본질 및 달성된 기술적 결과에서 가장 근접한 것이고 제안된 발명의 프로토타입을 위해 장치로서 선택된다.
이러한 프로토타입의 단점은 그것이 수개의 장치들의 전체 시스템, 즉 디스플레이를 갖는 사용자의 클라이언트 컴퓨터 장치 및 추가적인 장치들, 즉 사용자의 컴퓨터 장치에 연결되는 Kinect 장치 자체를 요구하므로, 그것의 복잡성에 있다. 동시에, 그것은 일반적으로, 사용자와 항상 함께 있는 스마트폰, 컴퓨터 태블릿 또는 증강 현실의 안경과 같은 장치들과 같은, 비디오 카메라 및 디스플레이를 갖는 클라이언트 장치만의 도움으로 가상 객체들과의 상호 작용의 가능성이 없다.
실제로, 게다가, 장치는 그것이 필요에 따라 언제든지 가상 객체들과 상호 작용하는 것이 가능하도록, 특별히 구입되어야 하고 또한 사용자의 클라이언트 컴퓨터 장치에 연결되어 항상 휴대되어야 한다.
장치로서의 본 발명의 개시
한편, 본 발명은 주로 위에 언급된 단점들 중 적어도 하나를 어드레스하는 것, 즉 비디오 카메라 및 디스플레이를 포함하는 단지 하나의 사용자 클라이언트 장치를 사용하여 가상 객체들과 상호 작용하는 능력을 제공하는 기술적 목적을 어드레스하는 것을 허용하는 데이터를 처리하는 연산 모듈에 연결되는 비디오 카메라 및 디스플레이를 포함하는, 가상 객체들과 상호 작용하기 위한 장치를 제공하는 것을 목적으로 한다.
이러한 목적을 달성하기 위해, 장치는 위에 설명된 컴퓨팅 모듈에 연결되는, 가상 객체와 상호 작용하는 제어 본체의 이미지들의 이미지 라이브러리를 컴파일링하고 저장하기 위한 추가적인 전자 모듈을 가지며, 그 출력은 이미지 라이브러리에 기초하여 제어 본체의 그래픽 프리미티브들을 구성하기 위해 전자 모듈의 입력에 연결되고, 그 출력은 공간에서 제어 본체의 그래픽 프리미티브들의 위치를 결정하기 위해 전자 모듈의 입력에 연결되고, 그 출력은 사용자의 클라이언트 장치의 진동을 보상하기 위한 조정 값들의 계산을 위해 전자 모듈의 입력에 연결된다.
이들 유리한 특성들 덕분에, 그것은 스마트폰, 컴퓨터 태블릿 또는 증강 현실 안경과 같은 장치들과 같은 비디오 카메라 및 디스플레이를 갖는 단지 하나의 사용자 클라이언트 장치만으로, 공간에서의 제어 본체, 예를 들어 사용자의 손, 또는 특수 객체, 예를 들어 포인터의 위치를 결정하는 것이 가능하다. 언제라도, 사용자는 그의 클라이언트 장치의 디스플레이 상에서 가상 객체를 보고 그것과 즉시 상호 작용할 수 있다.
또한, 장치가 연산 모듈에 연결되는, 인공 신경 네트워크들의 모델을 사용하여 제어 본체의 그래픽 프리미티브들의 공간에서의 이동을 계산하기 위한 모듈을 추가로 포함하는 본 발명의 일 실시예가 존재한다.
이러한 유리한 특성 덕분에, 그것은 가상 객체와의 상호 작용을 위해 구축되는 모델들의 정확도를 증가시키는 것이 가능할 것이며, 여기서 정확도는 자동 장치 튜닝의 결과로서, 상호 작용 시간과 함께 증가한다.
장치로서의 본 제안된 발명의 일련의 본질적인 특징들은 유사한 목적의 장치들에 대한 기술의 상태로부터 공지되어 있지 않으며, 이는 "신규성"의 기준이 장치로서의 본 발명에 대해 충족된다는 결론을 초래한다.
본 그룹의 발명들의 다른 구별되는 특징들 및 장점들은 첨부 도면을 참조하여 제한이 아닌 예시를 위해 아래에 주어지는 설명으로부터 명백하게 이어진다.
도 1은 본 발명에 따른 가상 객체들과 상호 작용하기 위한 장치의 기능적 다이어드램이다.
도 2는 본 발명에 따른 가상 객체들과 상호 작용하기 위한 방법의 단계들을 개략적으로 도시한다.
도 3은 원본 이미지를 개략적으로 도시한다.
도 4는 발견된 키 포인트들을 갖는 마커를 개략적으로 도시한다.
도 5는 발견된 키 포인트들을 갖는 프레임을 개략적으로 도시한다.
도 6은 프레임화 된 마커를 개략적으로 도시한다.
도 1은 본 발명에 따른 가상 객체들과 상호 작용하기 위한 장치의 기능적 다이어드램이다.
도 2는 본 발명에 따른 가상 객체들과 상호 작용하기 위한 방법의 단계들을 개략적으로 도시한다.
도 3은 원본 이미지를 개략적으로 도시한다.
도 4는 발견된 키 포인트들을 갖는 마커를 개략적으로 도시한다.
도 5는 발견된 키 포인트들을 갖는 프레임을 개략적으로 도시한다.
도 6은 프레임화 된 마커를 개략적으로 도시한다.
도 1에 따르면, 가상 객체들과 상호 작용하기 위한 장치는 데이터를 처리하는 컴퓨팅 유닛(3)에 연결되는, 비디오 카메라(1) 및 디스플레이(2)를 포함한다. 장치는 추가적으로 이미지 라이브러리 제어의 그래픽 프리미티브들을 구성하기 위한 전자 모듈(5)의 입력에 연결되는 가상 객체 제어 본체의 이미지 라이브러리를 편집하고 저장하기 위한 전자 모듈(3)을 갖는다. 후자는 공간에서 제어 본체의 그래픽 프리미티브들을 결정하도록 적응되는 전자 모듈(6)의 입력에 연결되며, 그 출력은 사용자의 클라이언트 장치의 진동을 보상하도록 적응되는, 전자 보정 모듈(7)의 입력에 연결된다.
게다가, 장치는 연산 모듈에 연결되는, 인공 신경 네트워크들의 모델을 사용하여 제어 본체의 그래픽 프리미티브들의 공간에서의 모션을 계산하기 위한 모듈(8)을 포함할 수 있다.
본 발명의
실시예
가상 객체들과 상호 작용하기 위한 장치는 다음과 같이 작동한다. 우리는 이러한 예는 본 발명의 응용을 제한하지 않는다는 점을 명심하면서, 본 발명의 구현의 가장 총망라한 예를 제공할 것이다.
도 2에 따르면 다음과 같다:
단계 A1. 가상 객체들과의 상호 작용을 위한 제어 본체를 미리 결정한다. 그것이 예를 들어 사용자 또는 일부 객체의 일부인지를 판단한다.
단계 A2. 가상 객체의 그래픽 프리미티브들을 정의한다.
단계 A3. 제어 본체의 공간 위치를 결정한다.
단계 A31. 데이터 처리 컴퓨팅에 연결되는 비디오 카메라 및 디스플레이를 포함하는 클라이언트 장치의 이미지들을 사용하여 제어 본체 공간 위치의 데이터를 획득한다.
단계 A32. 제어 본체의 이미지의 공간에서의 상이한 위치들, 휘도, 콘트라스트, 조도, 및 다른 파라미터들을 고려하여, 획득된 이미지들에 기초하여 제어 본체의 이미지들의 라이브러리를 생성한다.
단계 A33. 결과 이미지 라이브러리에 기초하여 제어 본체의 그래픽 프리미티브들을 결정한다.
단계 A34. 제어 본체의 그래픽 프리미티브들의 공간에서의 이동을 계산함으로써 제어 본체의 공간 위치를 결정함.
단계 A35. 사용자의 클라이언트 장치의 진동을 보상하기 위한 조정 값들을 사용하여 제어 본체의 그래픽 프리미티브들의 공간 모션을 계산한다. 예를 들어, 사용자의 클라이언트 장치의 진동 보상은 칼만 필터(Kalman filter)를 사용하여 수행될 수 있다.
단계 A36. 인공 신경 네트워크들의 모델을 사용하는 것은 제어 본체의 그래픽 프리미티브들의 공간 모션을 계산하기 위해 사용된다.
단계 A4. 제어 본체의 공간 위치를 가상 객체의 그래픽 프리미티브들에 비교한다.
단계 A5. 제어 본체 및 가상 객체를 스마트폰과 같은 휴대폰, 태블릿 컴퓨터, 또는 증강 현실 안경과 같은 장치들의 디스플레이를 사용하여 렌더링한다.
단계들의 시퀀스는 예시적이고 단계가 가상 객체들과 상호 작용하는 능력을 잃어버리는 것 없이 일부 동작들을 재배열하거나, 차감하거나, 추가하거나 동시에 수행하는 것을 허용한다.
실시예
1. 가상 객체들과의 상호 작용 기술.
실제 및 가상 객체들 사이의 상호 작용의 기술은 이미지들의 인식, 즉 템플릿과 비교하는 방법에 기초한다. 가상 객체는 특정 실제 객체와 연관되고, 두 번째의 변경은 첫 번째의 변경에 직접적으로 영향을 미친다:
가상 객체는 이동될 수 있으며, 그것의 속성들은 실제 객체의 속성들을 이동시키거나 변경시킴으로써 변경될 수 있다.
첫째, 그것은 실제 객체의 이미지들의 라이브러리를 생성하는 것이 필요하며, 그것의 도움으로 가상 객체(능동 마커)는 조작될 것이다. 가상 객체 자체는 그것의 마커(수동 마커) 상에 디스플레이되거나 전혀 사용되지 않을 수 있다.
플랫 마커(flat marker)의 경우, 각각의 마커에 대해 하나의 이미지만 요구된다. 카메라를 사용하여, 주변 세계의 지정된 이미지들이 검색된다. 마커는 임의의 방식으로 임의의 객체의 표면에 적용될 수 있지만, 그것은 원래의 형상(스케일링은 비율들을 유지하면서 허용됨)을 유지해야만 한다. 일반적으로, 그것은 특징적인 미지가 그것에 적용되는 밀집 재료의 시트이다. 그러나, 마커는 이미지뿐만 아니라, 3차원 객체일 수 있다. 이 경우, 템플릿 라이브러리에 추가되는 수개의 마커 이미지들(적어도 2개)을 필요로 할 것이다.
수동 마커를 감지하는 경우, 그것의 원근(perspective) 및 방향이 계산되고, 그것의 에지들의 좌표들이 지정된다. 참조 프레임은 그것의 평면에 대해 구성된다. 수개의 마커들이 있다면, 각각의 마커는 그 자신의 참조 프레임을 갖고, 그들에게는 식별 번호들이 주어진다. 그 다음, 능동 마커는 시각의 영역에 입력된다. 그것의 이동들은 수동 마커의 참조 프레임, 또한 공간에서의 그것의 에지들 및 방향에 대해 계산된다. 그 후에, 능동 마커를 사용하여, 가상 객체와 상호 작용할 수 있다.
수동 마커와 연관되는 3D 모델이 그것에 투영되며, 그것은 동영상으로 된(animated) 또는 정적인 것일 수 있다. 개발된 좌표 시스템으로 인해, 카메라가 이동 중인 경우, 마커에 대한 모델의 위치는 변경되지 않아서, 가상 모델은 또한 실제 마커 이동들을 사용하여 이동될 수 있다.
마커들(수동 및 능동)은 3D 모델뿐만 아니라, 오디오 및 비디오 트랙, 및 3D 장면(한 세트의 상호 작용하는 3D 모델들)과도 상관될 수 있다. 후자의 경우, 수동 마커와 상호 작용하는 경우, 모델들은 장면으로부터 삭제되거나 추가될 수 있다.
실제 및 가상 객체의 상호 작용은 일반적으로 2가지 방법들로 요약된다: 평면(planar surface) 상의 상호 작용 및 공간에서의 상호 작용.
1) 2D(평면 상의 상호 작용). 이 경우, 깊이는 고려되지 않으며, 실제 및 가상 객체들의 위치가 플랫 좌표들(flat coordinates)에서 계산된다. 이러한 접근법을 사용하는 예는 실제 객체(예를 들어, 손가락)로 가상 버튼을 누르는 것일 수 있다. 수동 마커가 능동 마커에 의해 겹쳐지는 경우, 지정된 액션이 수행된다.
2) 3D(공간에서의 상호 작용). 이 경우, 깊이는 세 번째 좌표로 고려된다. 그것은 또한 추가적인 장비, 예컨대 객체에 대한 거리를 측정하는 것을 허용하는 거리 측정기 또는 다른 장치를 사용할 뿐만 아니라, 수개의 프레임들을 처리하고 3D 재구성을 수행함으로써 획득될 수 있다. 첫 번째 프레임으로 작업할 수 있는 첫 번째 방법과는 달리, 여기서, 더 많은 프레임들이 능동 마커 및 3D 모델의 기하학적 치수들을 발견하기 위해 요구된다. 이러한 방법은 더 많은 재량권(discretion)을 허용한다. 인간의 손의 예를 능동 마커로서 사용하여, 당신은 공간에서 가상 객체를 이동시킬 뿐만 아니라, 당신의 손가락들로 특정 제스처들을 사용하여, 그것을 압축하고, 그것을 늘이고, 그것을 구성 부분들(component parts)로 분해할 수 있다(3D 모델 자체가 그것을 허용하는 경우).
실시예
2. 가상 객체들을 조작할 가능성.
사용자의 손에 있는 장치(예를 들어, 태블릿 컴퓨터)는 특정 어셈블리의 부분들의 드로잉들(drawing)을 그것의 메모리에 저장한다. 캠코더를 사용하여, 장치는 환경으로부터 데이터를 수신한다. 이러한 비디오 스트림은 필터링된다((라플라시안). 마커는 키 포인트 디스크립터(descriptor) 비교를 사용하여, 이미지에 위치된다. 마커의 호모그래피, 공간에서의 방향 및 다른 특성들이 계산되고, 그들에 기초하여 어셈블리의 복합 3D-모델이 이루어지고, 그것의 드로잉은 마커이다. 다음으로, 사용자의 손은 능동 마커로서 프레임 안으로 입력되며, 이는 제어 본체이며, 그것의 템플릿 라이브러리는 또한 장치의 메모리에 존재한다. 3개의 좌표들 모두의 사용 덕분에, 그것은 능동 마커들로서의 손들의 도움으로 구조들을 개별 부분들(parts)로 분해하는 것이 가능하다. 특히, 여기서, 깊이 특성은 사용자가 그의 손가락들로 부분들을 "움켜잡은(grabbed)"지 여부를 발견하기 위해 사용된다.
실시예
3. 특징적인 포인트들(그래픽
프리미티브들
)에 기초하여 3차원 모델을 구성하는 예.
한 장의 종이에 적용되는 이진 이미지는 마커로서 사용된다. 도 3은 원래의 이미지를 도시한다.
미리 로딩된 마커 이미지 및 카메라에서 오는 프레임은 그래픽 프리미티브들 - 각도들, 급 경사들(sharp gradients) 등의 존재에 대해 분석된다.
도 4는 특징적인 포인트들이 검출되는 마커를 도시한다. 그리고, 도 5에서, 검출된 특징적인 포인트들을 갖는 프레임이 도시된다.
그 다음, 마커 및 프레임에 대한 디스크립터들이 계산된다. 계산 후에, 디스크립터들은 비교된다. 이러한 비교는 당신이 마커 이미지의 공간 방향을 발견하고, 첫 번째 근사로서, 그것을 프레임화 하는 것을 허용한다(도 6 참조). 이러한 단계에서 프레임 측면들의 상이한 컬러들은 마커 프레임들의 공간 방향의 정확성을 추적하는 것을 가능하게 한다.
산업상 이용 가능성
가상 객체들과 상호 작용하는 제안된 방법 및 시스템은 당업자에 의해 구현될 수 있고, 구현되는 경우, 본 발명의 "산업상 이용 가능성"의 기준이 충족된다고 결론을 내리는 것을 허용하는 공표된 발명의 구현을 보장한다.
본 발명에 따르면, 가상 객체들과 상호 작용하기 위한 프로토타입 장치가 제조된다.
시스템 프로토타입의 테스트들은 그것이 다음 능력들을 제공한다는 점을 나타낸다:
- 사용자의 클라이언트 장치로부터 제어 본체 이미지의 공간 위치 데이터를 수신하는 능력.
- 그것은 제어 본체의 이미지의 공간에서의 상이한 위치들, 휘도, 콘트라스트, 조도, 및 다른 파라미터들을 고려하여, 획득된 이미지들에 기초하여 제어 본체의 이미들의 라이브러리를 생성하는 능력.
- 제어 본체의 그래픽 프리미티브들의 공간에서의 이동을 계산함으로써 제어 본체의 공간 위치를 결정하는 능력.
- 결과 이미지 라이브러리에 기초하여 제어 본체의 그래픽 프리미티브들을 결정하는 능력.
- 단지 하나의 사용자 클라이언트 장치를 사용하여 가상 객체들과 추가로 상호 작용하는 능력.
따라서, 본 발명은 비디오 카메라 및 디스플레이를 갖는 단지 하나의 사용자클라이언트 장치를 사용하여 가상 객체들과 상호 작용하는 능력을 제공하는 할당된 목적을 달성한다.
Claims (8)
- 가상 객체와 상호 작용하는 방법으로,
- 상기 가상 객체와 상호 작용하도록 구성되는 제어 본체를 결정하는 단계,
- 상기 가상 객체의 특성 그래픽 프리미티브들을 결정하는 단계,
- 상기 제어 본체의 공간 위치를 결정하는 단계,
- 상기 제어 본제의 상기 공간 위치와 상기 가상 객체의 그래픽 프리미티브들을 비교하는 단계, 및
- 상기 가상 객체에 대해 원하는 액션들을 수행하는 단계를 포함하며,
상기 제어 본체의 상기 공간 위치를 결정하는 단계는:
- 사용자의 클라이언트 장치로부터의 이미지들을 사용하여 상기 제어 본체의 공간 위치 정보를 획득하는 단계로서, 상기 클라이언트 장치는 데이터를 처리하는 컴퓨팅 유닛에 연결되는 비디오 카메라 및 디스플레이를 포함하는, 단계,
- 상기 제어 본체의 상기 이미지들의 공간에서의 상이한 위치들, 휘도, 콘트라스트, 조도, 및 다른 파라미터들을 고려하여, 획득되는 상기 이미지들로부터 상기 제어 본체의 이미지들의 라이브러리를 생성하는 단계,
- 획득되는 이미지들의 상기 라이브러리로부터 상기 제어 본체의 상기 그래픽 프리미티브들을 결정하는 단계,
- 상기 제어 본체의 상기 그래피 프리미티브들의 공간 이동을 계산함으로써 상기 제어 본체의 상기 공간 위치를 결정하는 단계, 및
- 상기 사용자의 상기 클라이언트 장치에 대한 진동 보상 조정 값들을 사용하여 상기 제어 본체의 상기 그래픽 프리미티브들의 공간 이동을 계산하는 단계를 포함하는 것을 특징으로 하는 방법. - 제1항에 있어서,
상기 사용자의 상기 클라이언트 장치의 상기 진동 보정은 칼만 필터(Kalman filter)를 사용하여 수행되는 방법. - 제1항에 있어서,
상기 제어 본체의 상기 이미지들은 캡처되고 상기 제어 본체 및 상기 가상 객체는 스마트폰과 같은 휴대폰의 상기 디스플레이 상에 도시되는 방법. - 제1항에 있어서,
상기 제어 본체의 상기 이미지들은 캡처되고 상기 제어 본체 및 상기 가상 객체는 태블릿 컴퓨터의 상기 디스플레이 상에 도시되는 방법. - 제1항에 있어서,
상기 제어 본체의 상기 이미지들은 캡처되고 상기 제어 본체 및 상기 가상 객체는 증강 현실 안경과 같은 장치들에 의해 상기 디스플레이 상에 도시되는 방법. - 제1항에 있어서,
인공 신경 네트워크들의 모델은 상기 제어의 상기 그래픽 프리미티브들의 상기 공간에서의 모션을 계산하기 위해 사용되는 방법. - 가상 객체들과 상호 작용하기 위한 장치로,
데이터 처리 유닛에 연결되는 비디오 카메라 및 디스플레이를 포함하며, 상기 장치는 위의 상기 컴퓨팅 유닛에 연결되는 이미지 라이브러리를 구성하고 저장하기 위한 전자 모듈을 더 포함하며, 그 출력은 상기 이미지 라이브러리의 제어의 그래픽 프리미티브들을 구성하기 위해 상기 전자 모듈의 입력에 연결되며, 그 출력은 클라이언트 사용자 장치의 진동에 의해 야기되는 보정을 계산하기 위해 상기 입력 전자 모듈에 연결되는 것을 특징으로 하는 장치. - 제7항에 있어서,
상기 장치는 연산 모듈에 연결되는, 인공 신경 네트워크들의 모델을 사용하여 상기 제어 본체의 상기 그래픽 프리미티브들의 공간 모션을 계산하기 위한 모듈을 더 포함하는 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015122510 | 2015-06-11 | ||
| RU2015122510/08A RU2601169C1 (ru) | 2015-06-11 | 2015-06-11 | Способ и устройство для взаимодействия с виртуальными объектами |
| PCT/RU2016/050018 WO2016200295A2 (ru) | 2015-06-11 | 2016-06-07 | Способ и устройство для взаимодействия с виртуальными объектами |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180034387A true KR20180034387A (ko) | 2018-04-04 |
| KR102063408B1 KR102063408B1 (ko) | 2020-02-11 |
Family
ID=57216600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187000518A KR102063408B1 (ko) | 2015-06-11 | 2016-06-07 | 가상 객체와의 상호 작용을 위한 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10713847B2 (ko) |
| EP (1) | EP3309713B1 (ko) |
| KR (1) | KR102063408B1 (ko) |
| CN (1) | CN108027647B (ko) |
| RU (1) | RU2601169C1 (ko) |
| WO (1) | WO2016200295A2 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210046590A (ko) * | 2019-10-15 | 2021-04-28 | 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 | 증강 현실 데이터 제시 방법, 장치, 기기, 저장 매체 및 프로그램 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2695053C1 (ru) * | 2018-09-18 | 2019-07-18 | Общество С Ограниченной Ответственностью "Заботливый Город" | Способ и устройство для управления трехмерными объектами в виртуальном пространстве |
| CN115016648B (zh) * | 2022-07-15 | 2022-12-20 | 大爱全息(北京)科技有限公司 | 一种全息互动装置及其处理方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150013709A (ko) * | 2012-05-09 | 2015-02-05 | 엔씨에이엠 테크놀로지스 리미티드 | 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
| KR100980202B1 (ko) * | 2008-10-30 | 2010-09-07 | 한양대학교 산학협력단 | 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 |
| US9256282B2 (en) | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
| US20140063054A1 (en) * | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific control interface based on a connected external device type |
| WO2011152634A2 (ko) * | 2010-05-29 | 2011-12-08 | Lee Moon Key | 모니터 기반 증강현실 시스템 |
| US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| RU105503U1 (ru) * | 2010-12-27 | 2011-06-10 | Павел Сергеевич Захаров | Система управления объектами виртуального пространства |
| CN102103409A (zh) * | 2011-01-20 | 2011-06-22 | 桂林理工大学 | 基于运动轨迹识别的人机交互方法及装置 |
| US9170648B2 (en) * | 2012-04-03 | 2015-10-27 | The Boeing Company | System and method for virtual engineering |
| US9477303B2 (en) * | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
| CN102722249B (zh) * | 2012-06-05 | 2016-03-30 | 上海鼎为电子科技（集团）有限公司 | 操控方法、操控装置及电子装置 |
| US10824310B2 (en) * | 2012-12-20 | 2020-11-03 | Sri International | Augmented reality virtual personal assistant for external representation |
| KR101518904B1 (ko) * | 2013-09-23 | 2015-05-11 | 현대자동차 주식회사 | 차량용 조작 장치 |
| US10620700B2 (en) * | 2014-05-09 | 2020-04-14 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| CN104038799A (zh) * | 2014-05-21 | 2014-09-10 | 南京大学 | 一种面向立体电视的手势操控方法 |
| US9892560B2 (en) * | 2014-09-11 | 2018-02-13 | Nant Holdings Ip, Llc | Marker-based augmented reality authoring tools |
| US9696795B2 (en) * | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
-
2015
- 2015-06-11 RU RU2015122510/08A patent/RU2601169C1/ru active
-
2016
- 2016-06-07 CN CN201680046555.7A patent/CN108027647B/zh not_active Expired - Fee Related
- 2016-06-07 US US15/735,380 patent/US10713847B2/en active Active
- 2016-06-07 WO PCT/RU2016/050018 patent/WO2016200295A2/ru unknown
- 2016-06-07 EP EP16807904.4A patent/EP3309713B1/en active Active
- 2016-06-07 KR KR1020187000518A patent/KR102063408B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150013709A (ko) * | 2012-05-09 | 2015-02-05 | 엔씨에이엠 테크놀로지스 리미티드 | 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템 |
Non-Patent Citations (1)
| Title |
|---|
| Jeronimo G. Grandi, Spatially Aware Mobile Interface for 3D* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210046590A (ko) * | 2019-10-15 | 2021-04-28 | 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 | 증강 현실 데이터 제시 방법, 장치, 기기, 저장 매체 및 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3309713B1 (en) | 2021-01-06 |
| RU2601169C1 (ru) | 2016-10-27 |
| CN108027647B (zh) | 2021-08-10 |
| US10713847B2 (en) | 2020-07-14 |
| WO2016200295A3 (ru) | 2017-02-02 |
| WO2016200295A2 (ru) | 2016-12-15 |
| EP3309713A2 (en) | 2018-04-18 |
| CN108027647A (zh) | 2018-05-11 |
| EP3309713A4 (en) | 2019-02-20 |
| US20200027270A1 (en) | 2020-01-23 |
| KR102063408B1 (ko) | 2020-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11475650B2 (en) | Environmentally adaptive extended reality display system | |
| US20220229534A1 (en) | Coordinating cursor movement between a physical surface and a virtual surface | |
| US11315287B2 (en) | Generating pose information for a person in a physical environment | |
| US20200097091A1 (en) | Method and Apparatus of Interactive Display Based on Gesture Recognition | |
| US10254847B2 (en) | Device interaction with spatially aware gestures | |
| Rautaray et al. | Real time multiple hand gesture recognition system for human computer interaction | |
| US9792491B1 (en) | Approaches for object tracking | |
| EP2903256B1 (en) | Image processing device, image processing method and program | |
| JP6872044B2 (ja) | 対象物の外接枠を決定するための方法、装置、媒体及び機器 | |
| KR20220160066A (ko) | 이미지 처리 방법 및 장치 | |
| US20230020615A1 (en) | Mirror loss neural networks | |
| US9058660B2 (en) | Feature searching based on feature quality information | |
| US11436804B2 (en) | Augmented reality system | |
| KR20140104597A (ko) | 제스처를 이용하여 데이터를 송수신하는 모바일 기기들 | |
| CN112927259A (zh) | 基于多相机的裸手追踪显示方法、装置及系统 | |
| KR102063408B1 (ko) | 가상 객체와의 상호 작용을 위한 방법 및 장치 | |
| Vu et al. | Hand pose detection in hmd environments by sensor fusion using multi-layer perceptron | |
| Diaz et al. | Multimodal sensing interface for haptic interaction | |
| CN116686006A (zh) | 基于可变形模型的三维扫描配准 | |
| KR20210158695A (ko) | 영상에서 평면을 검출하는 전자 장치 및 그 동작 방법 | |
| Ghofrani et al. | Catiloc: Camera image transformer for indoor localization | |
| CN111199204A (zh) | 一种基于OpenGL人脸图像处理方法及装置 | |
| CN111103967A (zh) | 虚拟对象的控制方法和装置 | |
| Chaudhary et al. | Bent Fingers’ Angles Calculation | |
| CN117636386A (zh) | 手部关键点的检测方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |