KR20210023680A - 증강 현실 환경에서의 콘텐트 생성 - Google Patents
증강 현실 환경에서의 콘텐트 생성 Download PDFInfo
- Publication number
- KR20210023680A KR20210023680A KR1020200086085A KR20200086085A KR20210023680A KR 20210023680 A KR20210023680 A KR 20210023680A KR 1020200086085 A KR1020200086085 A KR 1020200086085A KR 20200086085 A KR20200086085 A KR 20200086085A KR 20210023680 A KR20210023680 A KR 20210023680A
- Authority
- KR
- South Korea
- Prior art keywords
- content
- context
- interest
- electronic device
- data
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 84
- 230000009471 action Effects 0.000 claims description 53
- 238000004891 communication Methods 0.000 claims description 45
- 230000033001 locomotion Effects 0.000 claims description 39
- 238000009877 rendering Methods 0.000 claims description 17
- 230000000977 initiatory effect Effects 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 6
- 238000012986 modification Methods 0.000 abstract description 2
- 230000004048 modification Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 15
- 230000004044 response Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005358 geomagnetic field Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/44—Program or device authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computer Graphics (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Technology Law (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Architecture (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
증강 현실(AR) 환경에서의 콘텐트 생성 시스템 및 방법이 개시된다. 콘텐트는 적어도 핸드헬드 디바이스(110)와 AR 디바이스(120)의 조합에 의해 제작되며, 핸드헬드 디바이스와 AR 디바이스 사이의 세션의 개시 및 설정, 핸드헬드 디바이스에서의 명령 및 데이터 생성, 핸드헬드 디바이스로부터 AR 디바이스로의 명령 및 데이터의 송신, 명령 및/또는 데이터로부터 콘텍스트를 생성하고 콘텍스트로부터 콘텐트를 생성하기 위한 AR 디바이스에서의 명령 및 데이터의 처리, 제작된 콘텐트의 저장 및 공유, 제작된 콘텐트 검색, 및 선택적으로 검색된 콘텐트의 수정과 관련된다.
Description
본 발명의 다양한 실시예들에 따르면, 증강 현실(augmented reality)에 관한 것으로, 특히 전자 장치에서 증강 현실과 관련된 콘텐트를 생성하기 위한 장치 및 방법에 관한 것이다.
증강 현실(Augmented Reality)은 물리적 현실 세계 환경(physical real world environments)의 직접 및/또는 간접 뷰(view)가 가상 중첩 컴퓨터 생성 그래픽(virtual superimposed computer-generated graphics), 이미지, 애니메이션, 3D 모델, 사운드 등으로 증강되어 사용자(viewer) 의 현실 인식을 향상시키는 현실의 개선된 버전이다. 다시 말하면, 증강 현실은 기존의 환경을 사용하고 기존의 환경과 관련된 정보를 오버레이(overlay)하여 새로운 인공 환경을 만드는 것을 포함한다. 증강 현실을 통해 물리적 현실 세계에 관한 정보는 대화형으로 만들어 특정 객체를 강조하고, 이해를 향상시키며, 이에 관한 데이터를 제공할 수 있다.
증강 현실은 모바일 디바이스 또는 태블릿의 스크린, 헤드 마운트형 디스플레이(head-mounted display), 증강 현실 안경(augmented realty glass) 등과 같은 다양한 디스플레이 상에 표시될 수 있다. 증강 현실은 텍스트 메시지처럼 단순하거나 수술 절차를 수행하는 방법에 대한 지시만큼 복잡한 목적에 사용될 수 있다.
증강 현실은 현실 세계 환경에 중첩된 텍스트 콘텐트, 노트, 그래픽 콘텐트, 애니메이션 콘텐트 등을 갖는 메시지의 생성 및 공유를 허용하는 증강 현실 기반 애플리케이션을 구현하기 위한 여러 노력을 필요로 한다. 예를 들어, 'Snappy', 'Traces', 'WallaMe', 'Just A Line' 등과 같은 증강 현실 기반 메시징 애플리케이션은 이러한 타입의 메시지의 생성 및 공유를 허용한다. 그러나, 이러한 애플리케이션은 휴대폰 화면에서만 콘텐트/메시지 생성을 허용한다.
손 제스처를 지원하고, 손 제스처에 기초하여 상이한 기능을 수행하는 ManoMotion, HaloLens, Leap Motion 등과 같은 증강 현실 기반 디바이스는 증강 현실을 이용할 수 있다.. 예를 들어, Leap Motion과 관련된 미국 특허 US8638989는 3차원 공간에서 인간 손의 형태를 식별하고 이동을 포착하기 위한 방법 및 시스템을 언급한다. 예를 들어, Microsoft Corporation의 HoloLens 디바이스에 관련된 미국 특허 공보 US20120113223은 증강 현실에서의 사용자 상호 작용을 위한 기술을 언급하며, 여기서 사용자의 터치 또는 손 제스처는 사용자 인터페이스(즉, 증강 현실의 그래픽)를 직접 조작한다. 그러나, Leap Motion 및 HoloLens 과 같은 증강 현실 기반 디바이스는 모두 손 제스처 인식으로 제한되며, 콘텐트/메시지의 생성 및 공유를 지원하지 않는다. 더욱이, 증강 현실 디바이스에서는, 통상적으로 손에 착용되는 제스처 생성기와 증강 현실 디스플레이 디바이스 사이의 능동적 통신이 부족하여, 증강 현실과 관련된 기능 수행할 시에 지연이 발생할 수 있다. 더욱이, 손 이동에 의한 제스처의 생성은 결과적으로 부정확한 제스처 및 부정확한 기능을 초래하는 신체적 피로를 유발할 수 있기 때문에 번거로운 문제가 발생할 수 있다.
통신 스타일러스(communicating stylus)에 관련된 미국 특허 공보 US20110164000과 플렉서블 디스플레이를 포함하는 스마트 펜과 관련된 미국 특허 공보 US2018018830은 임의의 표면 상에 또는 3차원 공간에서 이미지 또는 텍스트를 기록할 수 있다. 기록된 이미지 또는 텍스트는 저장되고, 컴퓨팅 디바이스의 디스플레이 상에 표시됨으로써, 디스플레이의 지연이 발생된다. 이에 따라, 통신 스타일러스 및 스마트 펜은 증강 현실에 기초하여 콘텐트/메시지의 생성 및 공유를 용이하게 할 수 없다.
따라서, 증강 현실 기반 콘텐트 생성 및 공유를 가능하게 하고, 3차원 공간에서 콘텐트의 조작을 가능하게 하는 기능을 필요로 한다.
본 발명의 다양한 실시예들은, AR 환경에서의 콘텐트 생성과 관련된 장치 및 방법에 대해 개시한다. 본 문서에 기재된 실시예 및 이에 사용된 용어들은 본 발명의 본질적인 특징을 식별하도록 의도된 것이 아니며 본 발명의 범위를 결정하거나 제한하는데 사용하기 위해 의도된 것도 아니다.
다양한 실시예들에 따르면, 증강 현실 환경에서 콘텐트를 생성하는 방법이 제공된다. 이러한 방법은 핸드헬드 디바이스가 증강 현실(AR) 디바이스와 페어링(pairing)하는 동작을 포함한다. 방법은 상기 핸드헬드 디바이스가 관심 대상(object of interest)과 관련된 적어도 하나의 명령을 생성하는 동작을 더 포함한다. 방법은 상기 핸드헬드 디바이스가 상기 관심 대상과 관련된 데이터를 생성하는 동작을 더 포함한다. 방법은 상기 핸드헬드 디바이스가 상기 적어도 하나의 명령 및 상기 데이터를 상기 AR 디바이스에 송신하는 동작을 더 포함한다. 방법은 상기 AR 디바이스가 상기 적어도 하나의 명령 및 상기 데이터에 대응하는 상기 관심 대상에 관한 콘텍스트를 결정하는 동작을 더 포함한다. 방법은 상기 AR 디바이스가 상기 콘텍스트 및 상기 데이터에 기반하여 콘텐트를 생성하는 동작을 더 포함한다. 방법은 상기 AR 디바이스가 상기 생성된 콘텐트를 렌더링하는 동작을 더 포함한다.
다양한 실시예들에 따르면, 방법은 상기 AR 디바이스 또는 외부 디바이스가 콘텐트 수신자를 인증하는 동작을 더 포함한다. 방법은 상기 AR 디바이스 또는 상기 외부 디바이스가 콘텐트 제작자(creator)에 의해 생성된 콘텐트의 전달을 위해 상기 콘텐트 제작자에 의해 설정된 적어도 하나의 조건을 인증하는 동작을 더 포함한다. 방법은 상기 AR 디바이스 또는 상기 외부 디바이스가 상기 적어도 하나의 조건의 인증 성공한 경우, 상기 콘텐트 제작자에 의한 콘텐트의 제작을 상기 콘텐트 수신자에게 통지하는 동작을 더 포함한다. 방법은 상기 AR 디바이스가, 상기 생성된 콘텐트를 검색하는 동작을 더 포함한다. 방법은 상기 AR 디바이스가, 상기 콘텐트 수신자를 위해 상기 생성된 콘텐트를 렌더링하는 동작을 더 포함한다.
다양한 실시예들에 따르면, 증강 현실 환경에서 콘텐트를 생성하고 검색하는 방법이 제공된다. 이러한 방법은 핸드헬드 디바이스가 증강 현실(AR) 디바이스와 페어링하는 동작을 포함한다. 방법은 상기 핸드헬드 디바이스가 콘텐트 제작자에 의해 수행된 상기 핸드헬드 디바이스의 입력 수단의 동작에 응답하여 상기 콘텐트 제작자의 관심 대상과 관련된 제1 명령을 생성하는 동작을 더 포함한다. 방법은 상기 핸드헬드 디바이스가 상기 콘텐트 제작자에 의한 상기 핸드헬드 디바이스의 조작에 응답하여 상기 콘텐트 제작자의 상기 관심 대상과 관련된 데이터를 생성하는 동작을 더 포함한다. 방법은 상기 핸드헬드 디바이스가 상기 제1 명령 및 상기 데이터를 상기 AR 디바이스에 송신하는 동작을 더 포함한다. 방법은 상기 AR 디바이스가 상기 제1 명령 및 상기 데이터에 대응하는 상기 관심 대상에 관한 콘텍스트를 결정하는 동작을 더 포함한다. 방법은 상기 AR 디바이스가 상기 콘텍스트 및 상기 데이터에 기반하여 콘텐트를 생성하는 동작을 더 포함한다. 방법은 상기 AR 디바이스가 상기 콘텐트 제작자를 위해 상기 생성된 콘텐트를 렌더링하는 동작을 더 포함한다. 방법은 상기 AR 디바이스 또는 외부 디바이스가 콘텐트 수신자를 인증하는 동작을 더 포함한다. 방법은 상기 AR 디바이스 또는 상기 외부 디바이스가 상기 콘텐트 제작자에 의해 생성된 콘텐트의 전달을 위해 상기 콘텐트 제작자에 의해 설정된 적어도 하나의 조건을 인증하는 동작을 더 포함한다. 방법은 상기 AR 디바이스 또는 상기 외부 디바이스가 적어도 하나의 조건 인증을 성공한 경우, 상기 콘텐트 제작자에 의한 상기 콘텐트의 제작을 상기 콘텐트 수신자에게 통지하는 동작을 더 포함한다. 방법은 상기 핸드헬드 디바이스가 상기 콘텐트 수신자에 의해 수행된 상기 핸드헬드 디바이스의 입력 수단의 동작에 응답하여 상기 생성된 콘텐트와 관련된 제2 명령을 생성하는 동작을 더 포함한다. 방법은 상기 핸드헬드 디바이스가 상기 제2 명령을 상기 AR 디바이스에 송신하는 동작을 더 포함한다. 방법은 상기 AR 디바이스가 상기 제2 명령에 기반하여 상기 생성된 콘텐트를 검색하는 동작을 더 포함한다. 방법은 상기 AR 디바이스가 제2 사용자를 위해 상기 생성된 콘텐트를 렌더링하는 동작을 더 포함한다.
본 발명의 다른 실시예에 따르면, 핸드헬드 디바이스를 포함하는 증강 현실 환경에서의 콘텐트 생성 시스템이 제공된다. 상기 핸드헬드 디바이스는 관심 대상과 관련된 적어도 하나의 명령을 생성하도록 구성된다. 상기 핸드헬드 디바이스는 상기 관심 대상과 관련된 데이터를 생성하도록 더 구성된다. 상기 핸드헬드 디바이스는 적어도 하나의 명령 및 데이터를 송신하도록 더 구성된다. 상기 콘텐트 생성 시스템은 증강 현실(AR) 디바이스를 더 포함하며, 상기 AR 디바이스는 상기 핸드헬드 디바이스와 페어링된다. 상기 AR 디바이스는 적어도 하나의 명령 및 데이터를 수신하도록 구성된다. 상기 AR 디바이스는 적어도 하나의 명령 및 데이터에 대응하는 관심 대상과 관련된 콘텍스트를 결정하도록 더 구성된다. 상기 AR 디바이스는 콘텍스트 및 데이터에 기반하여 콘텐트를 생성하도록 구성된다. 상기 AR 디바이스는 상기 AR 디바이스의 디스플레이 유닛 상에 생성된 콘텐트를 렌더링하도록 더 구성된다.
본 발명의 다른 실시예에 따르면, 핸드헬드 디바이스를 포함하는 증강 현실 환경에서의 콘텐트 생성 시스템이 제공되며, 상기 핸드헬드 디바이스는 관심 대상과 관련된 적어도 하나의 명령을 생성하도록 구성된 명령 생성기를 포함한다. 상기 핸드헬드 디바이스는 상기 관심 대상과 관련된 데이터를 생성하도록 구성된 데이터 생성기를 더 포함한다. 상기 핸드헬드 디바이스는 적어도 하나의 명령 및 데이터를 송신하도록 구성된 핸드헬드 디바이스 인터페이스 유닛을 더 포함한다. 상기 콘텐트 생성 시스템은 증강 현실(AR) 디바이스를 더 포함하며, 상기 AR 디바이스는 상기 핸드헬드 디바이스와 페어링된다. 상기 AR 디바이스는 적어도 하나의 명령 및 데이터를 수신하도록 구성된 AR 디바이스 인터페이스 유닛을 포함한다. 상기 AR 디바이스 인터페이스 유닛은 적어도 하나의 명령 및 데이터를 디코딩하도록 구성된 명령 및 데이터 디코더를 포함한다. 상기 AR 디바이스는 적어도 하나의 명령 및 데이터에 대응하는 관심 대상과 관련된 콘텍스트를 결정하도록 구성된 콘텍스트 빌더 모듈(context builder module)을 더 포함한다. 상기 AR 디바이스는 콘텍스트 및 데이터에 기반하여 콘텐트를 생성하도록 구성된 콘텐트 제작자 모듈을 더 포함한다. 상기 AR 디바이스는 제작된 콘텐트를 표시하도록 구성된 디스플레이 유닛을 더 포함한다.
본 발명의 다른 실시예에 따르면, 핸드헬드 디바이스를 포함하는 증강 현실 환경에서의 콘텐트 생성 시스템이 제공되며, 상기 핸드헬드 디바이스는 적어도 하나의 명령의 생성이 콘텐트 제작자에 의해 수행될 수 있게 하는 입력 수단을 포함한다. 상기 핸드헬드 디바이스는 상기 콘텐트 제작자에 의한 상기 핸드헬드 디바이스의 이동에 응답하여 센서 데이터를 생성하도록 구성된 복수의 센서를 더 포함한다. 상기 핸드헬드 디바이스는 입력 수단, 센서 및 메모리와 협력하는 프로세서를 더 포함한다. 상기 프로세서는 상기 콘텐트 제작자에 의해 수행된 입력 수단의 동작에 응답하여 관심 대상과 관련된 적어도 하나의 명령을 생성하도록 구성된 명령 생성기를 구현하기 위해 메모리에 저장된 명령어의 세트를 실행하도록 구성된다. 상기 프로세서는 관심 대상과 관련된 객체 데이터(object data)를 생성하기 위해 센서 데이터를 조합하도록 구성된 데이터 생성기를 구현하도록 더 구성된다. 상기 프로세서는 적어도 하나의 명령 및 객체 데이터를 송신하도록 구성된 핸드헬드 디바이스 인터페이스 유닛을 구현하도록 더 구성된다. 상기 콘텐트 생성 시스템은 증강 현실(AR) 디바이스를 더 포함하며, 상기 AR 디바이스는 상기 핸드헬드 디바이스와 페어링된다. 상기 AR 디바이스는 메모리와 협력하고, 상기 메모리에 저장된 명령어의 세트를 실행하도록 구성된 프로세서를 포함한다. 상기 프로세서는 적어도 하나의 명령 및 객체 데이터를 수신하도록 구성된 AR 디바이스 인터페이스 유닛을 구현하도록 구성된다. 상기 AR 디바이스 인터페이스 유닛은 적어도 하나의 명령 및 객체 데이터를 디코딩하도록 구성된 명령 및 데이터 디코더를 포함한다. 상기 프로세서는 적어도 하나의 명령 및 객체 데이터에 대응하는 관심 대상과 관련된 콘텍스트를 결정하도록 구성된 콘텍스트 빌더 모듈을 구현하도록 더 구성된다. 상기 프로세서는 콘텍스트 및 객체 데이터에 기반하여 콘텐트를 생성하도록 구성된 콘텐트 제작자 모듈을 구현하도록 더 구성된다. 상기 AR 디바이스는 제작된 콘텐트를 표시하도록 구성된 디스플레이 유닛을 더 포함한다.
본 발명의 다른 실시예에 따르면, 콘텐트 생성을 위한 제 2 전자 장치의 동작 방법은, 제 1 전자 장치와 통신 링크를 설립하는 동작과 상기 제 1 전자 장치로부터 관심 대상과 관련된 적어도 하나의 명령 또는 데이터 중 적어도 하나를 수신하는 동작과 상기 적어도 하나의 명령 또는 상기 데이터 중 적어도 하나에 대응하는 상기 관심 대상과 관련된 콘텍스트를 결정하는 동작과 상기 콘텍스트 및 상기 제 1 전자 장치로부터 수신한 데이터에 기반하여 콘텐트를 생성하는 동작, 및 상기 생성된 콘텐트를 렌더링하는 동작을 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 콘텐트 생성을 위한 제 2 전자 장치는, 디스플레이와 통신 모듈과 상기 디스플레이 및 상기 통신 모듈과 작동적으로 연결되는 프로세서를 포함하며, 상기 프로세서는, 상기 통신 모듈을 통해, 제 1 전자 장치와 통신 링크를 설립하고, 상기 통신 모듈을 통해 상기 제 1 전자 장치로부터 관심 대상과 관련된 적어도 하나의 명령 또는 데이터 중 적어도 하나를 수신하고, 상기 적어도 하나의 명령 또는 상기 데이터 중 적어도 하나에 대응하는 상기 관심 대상과 관련된 콘텍스트를 결정하고, 상기 콘텍스트 및 상기 제 1 전자 장치로부터 수신한 데이터에 기반하여 콘텐트를 생성하고, 상기 디스플레이를 통해, 상기 생성된 콘텐트를 렌더링할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는 통신 링크가 설립된 외부 장치로부터 수신한 데이터에 기반하여 콘텐트를 생성 및 렌더링함으로써, 증강 현실을 위한 콘텐트의 생성 및 공유를 용이하게 수행할 수 있다.
본 발명의 다양한 실시예들에 따르면, 상세한 설명은 첨부된 도면을 참조하여 설명된다. 도면에서, 참조 번호의 가장 왼쪽 자리는 참조 번호가 처음으로 나타나는 도면을 식별한다. 도면 전체에 걸쳐 동일한 번호는 유사한 특징 및 모듈을 참조하기 위해 사용된다.
도 1은 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 시스템의 개요를 도시한다.
도 2a는 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 방법에 관련된 동작을 도시한 흐름도를 도시한다.
도 2b 및 도 2c는 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 및 검색 방법에 관련된 동작을 도시한 흐름도를 도시한다.
도 3은 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 시스템의 예시적인 블록도를 도시한다.
도 4는 도 3의 시스템에 의해 인식되고 추적되는 하나 이상의 객체를 도시한다.
도 5a는 적어도 도 3에 도시된 시스템에 의해 AR 환경에서 콘텐트 생성을 위한 액션 리스트(action list)를 생성하는 흐름도를 도시한다.
도 5b는 적어도 도 3에 도시된 시스템에 의해 AR 환경에서 콘텐트 생성을 위한 콘텍스트를 결정하는 흐름도를 도시한다.
도 5c는 적어도 도 3에 도시된 시스템에 의해 AR 환경에서 생성된 콘텐트를 렌더링하는 흐름도를 도시한다.
도 6은 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 시스템의 핸드헬드 디바이스의 예시적인 상세 구조 블록도를 도시한다.
도 7은 도 6에 도시된 바와 같이 AR 환경에서의 콘텐트 생성 시스템의 AR 디바이스의 예시적인 상세 구조 블록도를 도시한다.
도 8a는 도 1, 도 3, 도 6 및 도 7에 도시된 시스템에 의해 사용된 제스처/이동 인식을 위한 블록도를 도시한다.
도 8b는 본 발명의 다양한 실시예들에 따른 제스처 인식을 위한 흐름도를 도시한다.
도 9는 도 1, 도 3, 도 6 및 도 7에 도시된 바와 같이 AR 환경에서의 콘텐트 생성 시스템에 의해 사용된 필기 특징 추출(handwriting feature extraction) 기술을 도시한다.
도 10은 도 1, 도 3, 도 6 및 도 7에 도시된 바와 같이 AR 환경에서의 콘텐트 생성 시스템에 의해 사용된 필기 분할(handwriting segmentation) 기술을 도시한다.
도 11은 도 1, 도 3, 도 6 및 도 7에 도시된 바와 같이 시스템에 의해 사용된 필기 인식 기술을 도시한다.
도 12a, 도 12b, 도 13, 도 14, 도 15, 도 16a 및 도 16b는 AR 환경에서 콘텐트를 생성하기 위한 본 발명의 상이한 예시적인 구현을 도시한다.
통상의 기술자는 본 명세서의 임의의 블록도가 본 발명의 원리를 구현하는 예시적인 방법의 개념도를 나타낸다는 것을 이해해야 한다. 유사하게, 임의의 흐름도, 흐름 다이어그램 등은 컴퓨터 판독 가능 매체로 실질적으로 나타내어, 컴퓨터 또는 프로세서가 명시적으로 도시되어 있는지 여부에 관계없이 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타내는 것으로 이해될 것이다.
도 1은 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 시스템의 개요를 도시한다.
도 2a는 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 방법에 관련된 동작을 도시한 흐름도를 도시한다.
도 2b 및 도 2c는 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 및 검색 방법에 관련된 동작을 도시한 흐름도를 도시한다.
도 3은 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 시스템의 예시적인 블록도를 도시한다.
도 4는 도 3의 시스템에 의해 인식되고 추적되는 하나 이상의 객체를 도시한다.
도 5a는 적어도 도 3에 도시된 시스템에 의해 AR 환경에서 콘텐트 생성을 위한 액션 리스트(action list)를 생성하는 흐름도를 도시한다.
도 5b는 적어도 도 3에 도시된 시스템에 의해 AR 환경에서 콘텐트 생성을 위한 콘텍스트를 결정하는 흐름도를 도시한다.
도 5c는 적어도 도 3에 도시된 시스템에 의해 AR 환경에서 생성된 콘텐트를 렌더링하는 흐름도를 도시한다.
도 6은 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 시스템의 핸드헬드 디바이스의 예시적인 상세 구조 블록도를 도시한다.
도 7은 도 6에 도시된 바와 같이 AR 환경에서의 콘텐트 생성 시스템의 AR 디바이스의 예시적인 상세 구조 블록도를 도시한다.
도 8a는 도 1, 도 3, 도 6 및 도 7에 도시된 시스템에 의해 사용된 제스처/이동 인식을 위한 블록도를 도시한다.
도 8b는 본 발명의 다양한 실시예들에 따른 제스처 인식을 위한 흐름도를 도시한다.
도 9는 도 1, 도 3, 도 6 및 도 7에 도시된 바와 같이 AR 환경에서의 콘텐트 생성 시스템에 의해 사용된 필기 특징 추출(handwriting feature extraction) 기술을 도시한다.
도 10은 도 1, 도 3, 도 6 및 도 7에 도시된 바와 같이 AR 환경에서의 콘텐트 생성 시스템에 의해 사용된 필기 분할(handwriting segmentation) 기술을 도시한다.
도 11은 도 1, 도 3, 도 6 및 도 7에 도시된 바와 같이 시스템에 의해 사용된 필기 인식 기술을 도시한다.
도 12a, 도 12b, 도 13, 도 14, 도 15, 도 16a 및 도 16b는 AR 환경에서 콘텐트를 생성하기 위한 본 발명의 상이한 예시적인 구현을 도시한다.
통상의 기술자는 본 명세서의 임의의 블록도가 본 발명의 원리를 구현하는 예시적인 방법의 개념도를 나타낸다는 것을 이해해야 한다. 유사하게, 임의의 흐름도, 흐름 다이어그램 등은 컴퓨터 판독 가능 매체로 실질적으로 나타내어, 컴퓨터 또는 프로세서가 명시적으로 도시되어 있는지 여부에 관계없이 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타내는 것으로 이해될 것이다.
본 발명의 다양한 실시예들은 증강 현실(AR) 환경에서 콘텐트를 생성하는 상이한 시스템 및 방법에 관해 설명한다.
이하 다양한 실시예들에 대한 설명에서, 특정 상세 사항은 본 발명의 이해를 돕기 이 해 설명된다. 그러나, 본 발명은 이러한 상세 사항 없이 실시될 수 있다는 것이 통상의 기술자에게는 명백할 것이다. 통상의 기술자는 일부가 이하에서 설명되는 본 발명의 실시예가 다수의 시스템에 통합될 수 있음을 인식할 것이다.
본 발명의 다양한 실시예들에 따른 방법 및 시스템은 본 명세서에 설명된 특정 실시예로 제한되지 않는다. 더욱이, 도면에 도시된 구조 및 디바이스는 본 발명의 예시적인 실시예를 예시하고, 본 발명의 모호함을 피하기 위한 것이다.
이하 설명은 본 발명의 원리를 예시한다는 것이 주목되어야 한다. 따라서, 통상의 기술자는, 본 명세서에서 명시적으로 설명되지는 않았지만, 본 발명의 원리를 구현하는 다양한 배치를 고안할 수 있음을 이해할 것이다. 더욱이, 본 명세서에 인용된 모든 예는 주로 사용자가 본 발명의 원리 및 본 기술을 발전시키는데 기여한 개념을 이해하는 것을 돕기 위해 설명을 위해서만 명백히 의도된 것이며, 구체적으로 인용된 이러한 예 및 조건에 제한되지 않는 것으로 해석되어야 한다. 더욱이, 본 발명의 원리, 양태 및 실시 예를 언급하는 본 명세서의 모든 진술뿐만 아니라 이의 특정 예는 이의 균등물을 포함하도록 의도된다.
도 1에 도시된 바와 같이 본 발명의 다양한 실시예들에 따르면, 증강 현실 환경에서의 콘텐트 생성 시스템(100)은 관심 대상과 관련된 적어도 하나의 명령을 생성하도록 구성된 핸드헬드 디바이스(110)(예: 제 1 전자 장치 또는 스타일러스 펜)를 포함한다. 핸드헬드 디바이스(110)는 관심 대상과 관련된 데이터를 생성한다. 핸드헬드 디바이스(110)는 적어도 하나의 명령 및 데이터를 송신한다. 콘텐트 생성 시스템(100)은 증강 현실(AR) 디바이스(120)(예: 제 2 전자 장치)를 포함한다. 여기서, AR 디바이스(120)는 핸드헬드 디바이스(110)와 페어링된다. AR 디바이스(120)는 핸드헤드 디바이스(110)로부터 적어도 하나의 명령 및 데이터를 수신한다. AR 디바이스(120)는 적어도 하나의 명령 및 데이터에 대응하는 관심 대상에 관한 콘텍스트를 결정한다. AR 디바이스(120)는 콘텍스트 및 데이터에 기반하여 콘텐트를 생성한다. AR 디바이스(120)는 생성된 콘텐트를 AR 디바이스(120)의 디스플레이 유닛 (또는 디스플레이) 상에 렌더링한다. 즉, AR 디바이스(120)는 생성된 콘텐트를 디스플레이 유닛 (또는 디스플레이)을 통해 출력할 수 있다.
일 실시예에 따르면, 능동적 통신(active communication)은 핸드헬드 디바이스(110)과 AR 디바이스(120)의 페어링에 기반하여 핸드헬드 디바이스(110)와 AR 디바이스(120) 사이에 설립될 수 있다. 핸드헬드 디바이스(110)는 세션을 개시(initiate)한다. AR 디바이스(120)는 관심 대상을 인식 및 추적하고, 세션을 설립하기 위해 관심 대상을 로킹(locking)할 수 있다.
일 실시예에 따르면, 핸드헬드 디바이스(110)는 관심 대상을 태깅(tagging))하기 위한 명령 및 데이터의 조합을 생성한다. AR 디바이스(120)는 관심 대상을 태깅하기 위한 명령 및 데이터를 수신하는 경우, 관심 대상을 로킹한다.
일 실시예에 따르면, 핸드헬드 디바이스(110)는 적어도 하나의 명령의 생성을 가능하게 하는 입력 수단, 및 데이터의 생성을 가능하게 하는 복수의 센서를 포함한다.
일 실시예에 따르면, 입력 수단은 버튼, 클릭, 정전용량 터치 스위치, 저항성 터치 스위치 또는 압전 터치 스위치 중 적어도 하나를 포함한다 센서는 압력 센서, 자이로(gyro), 가속도계, 자기 센서, 근접 센서 또는 그립(grip) 센서 중 적어도 하나를 포함한다.
일 실시예에 따르면, 핸드헬드 디바이스(110)는 관심 대상에 대한 3차원(3D) 공간에서 핸드헬드 디바이스(110)의 조작 시 데이터를 생성한다.
일 실시예에 따르면, 핸드헬드 디바이스(110)는 3D 공간에서 하나 이상의 문자의 쓰기(writing)를 시뮬레이션하는 방향, 3D 공간에서 하나 이상의 문자 또는 도형(figure)의 드로잉(drawing)을 시뮬레이션하는 방향, 핸드헬드 디바이스(110)의 플리킹(flicking)을 시뮬레이션하는 방향, 또는 3D 공간에서 하나 이상의 메뉴 옵션 상의 태핑(tapping)을 시뮬레이션하는 방향 중 선택된 적어도 하나의 방향으로 동작(manoeuvred)될 수 있다.
일 실시예에 따르면, 문자는 알파벳, 숫자 또는 심볼 중 적어도 하나를 포함하고, 도형은 기하학적 도형을 포함할 수 있다.
일 실시예에 따르면, AR 디바이스(120)는 콘텍스트를 결정하기 위해, 관심 대상을 인식하는 경우, AR 디바이스(120)의 시야에서 글로벌 콘텍스트, 로컬 콘텍스트 또는 하나 이상의 다른 객체 중 적어도 하나를 포함하는 적어도 하나의 파라미터를 캡처한다. AR 디바이스(120)는 콘텐트 제작자의 프로파일을 식별한다. AR 디바이스(120)는 적어도 하나의 명령, 관심 대상과 관련된 데이터, 캡처된 파라미터 및 콘텐트 제작자의 식별된 프로파일의 조합에 기반하여 관심 대상의 콘텍스트를 식별한다. AR 디바이스(120)는 식별된 콘텍스트에 기반하여 콘텐트 생성을 위한 액션 리스트 및 메뉴 옵션을 렌더링한다. AR 디바이스(120)는 렌더링된 액션 리스트 및 메뉴 옵션을 분석한다. AR 디바이스(120)는 분석된 액션 리스트, 메뉴 및 식별된 콘텍스트에 기반하여 콘텍스트를 생성(build)함으로써 콘텍스트를 결정한다.
일 실시예에 따르면, AR 디바이스(120)는 식별된 콘텍스트를 집성하고, 집성된 콘텍스트를 분류하며, 분류된 콘텍스트를 결정한다. 예를 들어, AR 디바이스(120)는 분류된 콘텍스트를 유추(infer)한다.
일 실시예에 따르면, 글로벌 콘텍스트는 클라우드 서버 상에 저장된 콘텐트 제작자와 관련된 데이터를 포함한다. 로컬 콘텍스트는 관심 대상을 인식하는 날짜 및 시간, 관심 대상의 지리적 위치 및 관심 대상의 물리적 상태를 포함할 수 있다.
일 실시예에 따르면, AR 디바이스(120)는 콘텐트를 생성하기 위해, 생성된 콘텍스트(built context)를 캡처한다. AR 디바이스(120)는 생성된 콘텍스트 및 데이터에 기반하여 서브시퀀트(subsequent) 콘텍스트 인식 액션 리스트 및 서브시퀀트 콘텍스트 인식 메뉴를 생성할 수 있다. AR 디바이스(120)는 콘텐트 생성을 위해 AR 디바이스(120)의 디스플레이 유닛 (또는 디스플레이) 상에 서브시퀀트 콘텍스트 인식 액션 리스트 및 서브시퀀트 콘텍스트 인식 메뉴를 렌더링한다.
도 1은 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐츠 제작 시스템(100)의 개요를 도시한다.
다양한 실시예들에 따르면, 핸드헬드 디바이스(110)와 AR 디바이스(120)는 콘텐트의 생성 및 공유에 관심이 있는 콘텐트 제작자로서 지칭되는 제1 사용자에 의해 사용될 수 있다. 초기에 핸드헬드 디바이스(110)는 핸드헬드 디바이스(110)와 AR 디바이스(120) 사이의 세션을 설립하도록 AR 디바이스(120)와 페어링된다. 능동적 통신(active communication)(예: 통신 링크)은 핸드헬드 디바이스(110)를 AR 디바이스(120)와 페어링하기 위해, 핸드헬드 디바이스(110)와 AR 디바이스(120) 사이에 설립될 수 있다. 그 후, 핸드헬드 디바이스(110)는 콘텐트 제작자가 착용한 AR 디바이스(120)가 콘텐트 제작자가 콘텐트 제작에 관심이 있는 하나 이상의 현실 세계 객체를 인식 및 추적하는 세션을 개시한다. 이후, 핸드헬드 디바이스(110)는 콘텐트 제작자의 적어도 하나의 관심 대상을 태깅과 관련된 정보(예: 명령 및 데이터의 조합)을 생성하여 능동적 통신을 통해 AR 디바이스(120)로 송신한다. AR 디바이스(120)는, 핸드헬드 디바이스(110)로부터 태깅 과 관련된 정보(예: 명령 및 데이터의 조합)를 수신한 경우, 세션을 설립하기 위해 콘텐트 제작자의 관심 대상을 로킹한다. AR 디바이스(120)는 카메라를 포함한다. 카메라는 카메라의 시야 내의 현실 세계 객체를 인식하고, 추적하고, 콘텐트 제작자의 관심 대상을 AR 디바이스(120)에 의해 로킹시킬 수 있다.
일 실시예에 따르면, 핸드헬드 디바이스(110)는 세션이 설립되면, 콘텐트 제작자의 관심 대상과 관련된 콘텐트를 생성하기 위한 적어도 하나의 명령 또는 제1 명령을 생성한다. 핸드헬드 디바이스(110)는 콘텐트 제작자의 관심 대상과 관련된 콘텐트를 생성하기 위한 데이터를 생성할 수 있다. 이후, 핸드헬드 디바이스(110)는 능동적 통신을 통해 콘텐트를 생성하기 위한 명령 및 데이터를 AR 디바이스(120)로 송신할 수 있다. AR 디바이스(120)는 콘텐트를 생성하기 위한 명령 및 데이터를 수신한 경우, 콘텐트의 생성과 관련된 명령 및 데이터를 해석하고, 이에 기초하여 콘텍스트를 결정한다. 다시 말하면, AR 디바이스(120)는 관심 대상과 관련되고, 콘텐트를 생성하기 위한 명령 및 데이터에 대응하는 콘텍스트를 결정한다. 이후, AR 디바이스(120)는 콘텍스트에 기반하여 콘텐트를 생성하고, 생성한 콘텐트를 콘텐트 제작자를 위한 AR 디바이스(120)의 디스플레이 상에 렌더링할 수 있다. AR 디바이스(120)는 그래픽 사용자 인터페이스(UI)를 생성하고, 콘텐트 제작자가 이를 저장하고 공유할 수 있도록 UI에 콘텐트를 렌더링한다.
일 실시예에 따르면, 핸드헬드 디바이스(110)는 명령의 생성을 가능하게 하는 입력 수단을 포함한다. 콘텐트 제작자는 명령을 생성하기 위해 특정 방식으로 입력 수단을 제어할 수 있다. 입력 수단은 하나 이상의 버튼, 하나 이상의 클릭, 정전용량 터치 스위치, 저항성 터치 스위치 또는 압전 터치 스위치와 같은 하나 이상의 터치 스위치 또는 상술한 모든 입력 수단의 조합을 포함할 수 있다. 하지만, 입력 수단은 이에 제한되지 않는다. 입력 수단이 버튼을 포함하는 경우, 콘텐트 제작자는 명령을 생성하기 위해 버튼을 특정 방식으로 제어(또는 구동)할 수 있다. 예를 들어, 핸드헬드 디바이스(110)는 콘텐트 제작자가 버튼을 누르는 각각의 방식에 기반하여 동작(operation) 및/또는 명령을 구성할 수 있다. 일예로, 핸드헬드 디바이스(110)는 버튼이 미리 정해진 횟수만큼 입력되는 경우, 관심 대상을 태깅하기 위한 태깅/객체 인식 동작과 태깅/객체 인식 명령을 구성할 수 있다. 일예로, 핸드헬드 디바이스(110)는 미리 정해진 짧은 시간 동안 버튼이 입력되는 경우, 세션을 개시하기 위한 개시 동작 및 개시 명령을 구성할 수 있다. 일예로, 핸드헬드 디바이스(110)는 미리 정해진 오랜 시간 동안 버튼이 입력되는 경우, 관심 대상의 형상을 검출하기 위한 검출 동작과 검출 명령을 구성할 수 있다. 입력 수단이 터치 스위치를 포함하는 경우에, 콘텐트 제작자는 명령을 생성하기 위해 특정 방식으로 터치 스위치를 동작할 필요가 있다. 예를 들어, 핸드헬드 디바이스(110)는 콘텐트 제작자가 터치 스위치를 동작하는 각각의 방식에 기반하여 동작 및 명령을 구성할 수 있다. 일예로, 핸드헬드 디바이스(110)는 정전용량/저항성 터치 스위치에서 커패시턴스/저항 레벨의 증가에 기반하여 세션을 개시하기 위한 개시 동작 및 개시 명령을 구성할 수 있다. 입력 수단이 버튼 또는 스위치의 조합을 포함하는 경우, 콘텐트 제작자는 명령을 생성하기 위해 버튼 및 스위치를 특정 방식으로 제어(또는 구동)할 필요가 있다.
일 실시예에 따르면, 핸드헬드 디바이스(110)는 데이터의 생성을 가능하게 하는 복수의 센서를 포함한다. 센서는 압력 센서, 자이로, 가속도계, 자기 센서, 근접 센서, 또는 그립 센서 중 적어도 하나를 포함하지만, 이에 제한되지 않는다. 핸드헬드 디바이스(110)는 데이터를 생성하기 위해 콘텐트 제작자에 의해 조작/이동/스트로크(stroke)될 수 있다. 핸드헬드 디바이스(110)의 조작/이동/스트로킹(stroking)은 데이터를 생성하기 위해 관심 대상에 대한 3차원(3D) 공간에서 수행될 필요가 있다. 예를 들어, 핸드헬드 디바이스(110)는 관심 대상에 대한 3D 공간에서 하나 이상의 문자의 쓰기, 관심 대상에 대한 3D 공간에서 하나 이상의 문자의 드로잉, 핸드헬드 디바이스(110)의 플리킹, 표시된 UI 상의 태핑을 시뮬레이션하는 방향으로 조작될 수 있다. 문자는 알파벳, 숫자 또는 심볼 중 적어도 하나를 포함할 수 있다. 도형은 기하학적 도형 또는 프리스타일(freestyle) 형상 중 적어도 하나를 포함할 수 있다. 핸드헬드 디바이스(110)에 포함된 센서는 핸드헬드 디바이스(110)의 조작을 검출하여, 이에 기초하여 데이터를 생성한다. 예를 들어, 센서는, 관심 대상에 대한 3D 공간에서 하나 이상의 문자의 쓰기를 시뮬레이션하는 방향으로 핸드헬드 디바이스(110)의 조작/이동이 검출되면, 문자를 나타내는 데이터를 생성할 수 있다. 예를 들어, 센서는, 표시된 UI에서 대상 인식 메뉴 옵션 상에서 태깅을 시뮬레이션하는 방향으로 핸드헬드 디바이스(110)의 조작/이동이 검출되면, 핸드헬드 디바이스(110)의 대상 인식 조작을 나타내는 데이터를 생성할 수 있다.
일 실시예에 따르면, AR 디바이스(120)는 핸드헬드 디바이스(110)로부터 수신되는 콘텐트를 생성하기 위한 명령 및 데이터를 해석하고, 콘텍스트를 결정하기 위해, 부가적인 동작을 수행한다. 먼저, AR 디바이스(120)는 관심 대상 및 콘텐트 제작자와 관련된 여러 파라미터를 캡처한다. 파라미터 중 하나는 콘텐트 제작자와 관련된 글로벌 콘텍스트일 수 있다. 글로벌 콘텍스트는 인터넷에서 이용 가능한 콘텐트 제작자에 포함되는 데이터 또는, 클라우드 저장 시스템 상에 저장된 데이터를 포함한다. 예를 들어, 글로벌 콘텍스트는 콘텐트 제작자의 좋음/싫음(likes/dislikes)에 관한 데이터 또는 콘텐트 제작자의 활동과 관련된 데이터 중 적어도 하나를 포함할 수 있다. 다른 파라미터는 관심 대상과 관련된 로컬 콘텍스트를 포함한다. 예를 들어, 로컬 콘텍스트는 관심 대상이 AR 디바이스(120)에 의해 인식되고 로킹될 때의 데이터 및 시간, AR 디바이스(120)에 통합된 GPS 시스템으로부터 통상적으로 이용 가능한 관심 대상의 지리적 위치, 및 관심 대상의 물리적 상태를 포함할 수 있다. 다른 파라미터는 콘텐트 제작자의 관심 대상 근처에 있는 다른 현실 세계 객체의 타입을 포함한다. 다른 현실 세계 객체는 콘텐트 제작자가 관심 대상을 인식하는 동안, 콘텐트 제작자의 시야에서 AR 디바이스(120)에 의해 인식될 수 있다. 상술한 파라미터 중 하나 이상을 캡처한 후, AR 디바이스(120)는 인터넷에서 이용 가능하거나 클라우드 저장 시스템에 저장된 콘텐트 제작자의 프로파일을 식별한다. 콘텐트 제작자의 프로파일은 콘텐트 제작자의 이름, 연령, 교육, 직업 등과 관련된 정보를 포함할 수 있다.
이후, AR 디바이스(120)는 핸드헬드 디바이스(110)로부터 수신된 명령 및 데이터로부터의 관심 대상의 콘텍스트, 캡처된 파라미터 중 하나 이상 및 콘텐트 제작자의 식별된 프로파일을 식별한다. 식별된 콘텍스트에 기초하여, AR 디바이스(120)는 AR 디바이스(120)의 디스플레이 상에 UI에서의 콘텐트 생성을 위한 액션 리스트 및 메뉴 옵션을 렌더링한다. AR 디바이스(120)는 식별된 콘텍스트를 집성하고, 식별된 콘텍스트를 다양한 카테고리로 분류하며, 분류된 콘텍스트를 유추하여 액션 리스트 및 메뉴 옵션을 디스플레이 상에 렌더링한다. 식별된 콘텍스트는 교육 관련 콘텍스트, 관광 관련 콘텍스트, 음식 관련 콘텍스트 등과 같은 카테고리로 분류될 수 있다. 교육 관련 콘텍스트는 예를 들어 수학, 과학, 지리 등과 같은 교육 과목의 타입으로서 유추될 수 있다. 관광 관련 콘텍스트는 모험 관광 또는 종교 관광으로서 유추될 수 있다. 음식 관련 콘텍스트는 액션 리스트 및 메뉴 옵션을 디스플레이 상에 렌더링하기 위해 인도 음식 또는 대륙 음식으로서 유추될 수 있다. 이후, AR 디바이스(120)는 렌더링된 액션 리스트 및 메뉴 옵션의 깊이를 분석하고, 분석된 액션 리스트, 메뉴 옵션 및 식별된 콘텍스트로부터 콘텍스트를 생성함으로써 콘텍스트를 결정한다.
일 실시예에 따르면, AR 디바이스(120)는 콘텐트를 생성하기 위해, 생성된 콘텍스트를 캡처하고, 생성된 콘텍스트, 현재 액션 리스트 및 메뉴 옵션, 및 핸드헬드 디바이스(110)로부터 수신되는 생성된 데이터에 기반하여 UI에서의 서브시퀀스 또는 다음 레벨의 콘텍스트 인식 액션 리스트 및 UI에서의 서브시퀀스 또는 다음 레벨의 콘텍스트 인식 메뉴 옵션을 렌더링한다. 서브시퀀스/다음 레벨의 액션 리스트는 결정된 콘텍스트에 기초하여 수행될 수 있는 UI에서 이용 가능한 진보된 액션(advanced action)을 행할 수 있음에 따라 콘텍스트 인식 액션 리스트로서 지칭된다. 마찬가지로, 서브시퀀스/다음 레벨의 메뉴 옵션은 결정된 콘텍스트를 기반으로 하는 UI에서의 진보된 옵션을 제공함에 따라 콘텍스트 인식 메뉴 옵션으로서 지칭된다. 새로운 명령 및/또는 데이터가 핸드헬드 디바이스(110)로부터 수신될 때마다, AR 디바이스(120)는 핸드헬드 디바이스(110)로부터 수신한 새로운 명령 및/또는 데이터에 기반하여 다음 레벨의 액션 리스트 및 메뉴 옵션으로 UI를 업데이트한다. 액션 리스트 및 메뉴 옵션으로부터 생성된 콘텐트는 콘텐트 제작자에 의해 저장되고 공유될 수 있다.
다양한 실시예들에 따르면, 콘텐트 생성 시스템(100)은 콘텐트의 검색을 용이하게 한다. 공유 콘텐트를 판독하는데 관심이 있는 제2 사용자(이하, 콘텐트 수신자라고 함)는 콘텐트를 검색하기 위해 AR 디바이스(120) 및 선택적으로 핸드헬드 디바이스(110)를 사용해야 한다. 먼저, 콘텐트를 검색하기 위해, 콘텐트 수신자의 인증이 수행된다. 콘텐트 수신자는 AR 디바이스(120)를 착용하는 경우, 휴대 전화 또는 컴퓨터과 같은 외부 디바이스 및/또는 AR 디바이스(120) 자체를 통해 자신을 인증하도록 요구될 수 있다. 외부 디바이스를 통한 인증은 비밀 번호 기반 인증, 일회성 비밀 번호(one time password, OTP) 기반 인증, 알파벳 문자 식별, 이미지의 객체 식별 또는 유사한 인증 기술과 같은 챌린지 기반 인증(challenge based authentication)을 통해 수행될 수 있다. AR 디바이스(120)를 통한 인증은 홍채 인식, 지문 스캐닝, 음성 인식 또는 유사한 생체 인증 기술에 의해 수행될 수 있다.
일 실시예에 따르면, 콘텐트 수신자의 인증 성공 후, 이전에 생성된 콘텐트의 전달을 위해 콘텐트 제작자에 의해 설정된 하나 이상의 전달 조건의 인증이 수행된다. 전달 조건은 관심 대상의 지리적 위치 또는 관심 대상의 물리적 상태와 같은 로컬 콘텍스트 파라미터의 확인, 또는, 관심 대상의 근처에 다른 현실 세계 객체의 존재를 확인 중 적어도 하나의 조건을 포함할 수 있다. 전달 조건의 인증은 외부 디바이스 및/또는 AR 디바이스(120)를 통해 수행될 수 있다. 전달 조건의 인증 성공 시에, 콘텐트 수신자는 AR 디바이스(120) 또는 외부 디바이스에 의해 생성된 콘텐트를 통지받는다. 그 후, AR 디바이스(120)는 생성된 콘텐트를 검색하고, 콘텐트 수신자가 판독하기 위해 이를 AR 디바이스(120)의 디스플레이 상에 렌더링한다.
일 실시예에 따르면, 생성된 콘텐트의 검색은 핸드헬드 디바이스(110)의 사용을 포함할 수 있다. 콘텐트 수신자가 생성된 콘텐트와 관련된 정보를 통지 받은 후, 핸드헬드 디바이스(110)는 AR 디바이스(120)와의 능동적 통신을 설립하기 위해 AR 디바이스(120)와 페어링된다. 이후, 콘텐트 수신자는 생성된 콘텐트를 검색하기 위한 명령 및/또는 데이터를 생성하기 위해 핸드헬드 디바이스(110)의 입력 수단을 특정 방식으로 제어(또는 조작)할 수 있다. 핸드헬드 디바이스(110)는 생성된 콘텐트와 관련하여 적어도 하나의 검색 또는 제2 명령 및/또는 데이터를 생성한다. 핸드헬드 디바이스(110)는 적어도 하나의 검색 또는 제2 명령 및/또는 데이터를 능동적 통신을 통해 AR 디바이스(120)로 송신한다. AR 디바이스(120)는, 콘텐트를 생성하기 위한 명령(예: 제2 명령) 및 데이터를 수신한 경우, 적어도 하나의 검색 또는 제2 명령 및/또는 데이터를 해석하고, 생성된 콘텐트를 검색하여, 콘텐트 수신자가 판독하기 위해 이를 AR 디바이스(120)의 디스플레이 상에 렌더링한다.
상술한 바와 같이 AR 환경에서의 콘텐트 생성 시스템(100)은 도 2a와 같이, AR 환경에서의 콘텐트 생성 방법(200)을 제공한다.
도 2a는 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 방법에 관련된 동작을 도시한 흐름도를 도시한다.
도 2a를 참조하면, 동작(202)에서 콘텐트 생성 시스템(100)의 핸드헬드 디바이스(110)는 증강 현실(AR) 디바이스(120)와 페어링한다. 동작(204)에서 핸드헬드 디바이스(110)는 관심 대상과 관련된 적어도 하나의 명령을 생성한다. 동작(206)에서 핸드헬드 디바이스(110)는 관심 대상과 관련된 데이터를 생성한다. 동작(208)에서 핸드헬드 디바이스(110)는 관심 대상과 관련된 적어도 하나의 명령 및 데이터를 AR 디바이스(120)로 송신한다. 동작(210)에서 콘텐트 생성 시스템(100)의 AR 디바이스(120)는 핸드헬드 디바이스(110)로부터 수신한 적어도 하나의 명령 및 데이터에 대응하는 관심 대상에 관한 콘텍스트를 결정한다. 동작(212)에서 AR 디바이스(120)는 콘텍스트 및 데이터에 기반하여 콘텐트를 생성한다. 동작(214)에서 AR 디바이스(120)는 생성된 콘텐트를 렌더링한다. 일예로, 콘텐트의 렌더링은 AR 디바이스(120)의 디스플레이에 콘텐트와 관련된 정보를 표시하는 일련의 동작을 포함한다.
일 실시예에 따르면, 핸드헬드 디바이스(110)가 AR 디바이스(120)와 페어링하는 동작(202)은 핸드헬드 디바이스(110)와 AR 디바이스(120) 사이에 능동적 통신을 설립하는 동작을 포함한다. 동작(202)는 핸드헬드 디바이스(110)가 세션을 개시하는 동작을 포함한다. 동작(202)는 AR 디바이스(120)가 관심 대상을 인식하는 동작을 포함한다. 동작(202)는 AR 디바이스(120)가 세션을 설립하기 위해 관심 대상을 로킹하는 동작을 포함한다.
일 실시예에 따르면, 관심 대상을 로킹하는 동작은 핸드헬드 디바이스(110)가 관심 대상을 태깅하기 위한 명령 및 데이터의 조합을 생성하는 동작, 및 AR 디바이스(120)가 핸드헬드 디바이스(110)로부터 관심 대상을 태깅하기 위한 명령 및 데이터를 수신하여 관심 대상을 로킹하는 동작을 포함한다.
일 실시예에 따르면, 관심 대상과 관련된 적어도 하나의 명령을 생성하는 동작은 핸드헬드 디바이스(110)의 입력 수단을 동작시키는 동작을 포함한다.
일 실시예에 따르면, 데이터를 생성하는 동작은 관심 대상에 대한 3차원 공간에서 사용자(콘텐트 제작자)에 의해 핸드헬드 디바이스(110)가 조작되는 동작을 포함한다.
일 실시예에 따르면, 핸드헬드 디바이스(110)가 조작되는 동작은 3D 공간에서 하나 이상의 문자의 쓰기를 시뮬레이션하는 방향으로 핸드헬드 디바이스(110)가 움직이는 동작, 3D 공간에서 하나 이상의 문자 또는 도형의 드로잉을 시뮬레이션하는 방향으로 핸드헬드 디바이스(110)가 이동되는 동작, 핸드헬드 디바이스(110)의 플리킹을 시뮬레이션하는 방향으로 핸드헬드 디바이스(110)가 이동되는 동작, 또는 3D 공간에서 하나 이상의 메뉴 옵션 상의 태핑을 시뮬레이션하는 방향으로 핸드헬드 디바이스(110)가 이동되는 동작 중 적어도 하나를 포함한다.
일 실시예에 따르면, 콘텍스트를 결정하는 동작은 관심 대상을 인식하는 경우 AR 디바이스(120)의 시야(FOV: field of view)에서 글로벌 콘텍스트, 로컬 콘텍스트 및 하나 이상의 다른 객체로부터 선택된 적어도 하나의 파라미터를 캡처하는 동작을 포함한다. 콘텍스트를 결정하는 동작은 콘텐트 제작자의 프로파일을 식별하는 동작을 포함한다. 콘텍스트를 결정하는 동작은 적어도 하나의 명령, 데이터, 캡처된 파라미터 및 콘텐트 제작자의 식별된 프로파일의 조합에 기반하여 관심 대상의 콘텍스트를 식별하는 동작을 포함한다. 콘텍스트를 결정하는 동작은 식별된 콘텍스트에 기반초하여 콘텐트를 생성하기 위한 액션 리스트 및 메뉴를 렌더링하는 동작을 포함한다. 콘텍스트를 결정하는 동작은 렌더링된 액션 리스트 및 메뉴를 분석하는 동작을 포함한다. 콘텍스트를 결정하는 동작은 분석된 액션 리스트, 메뉴 및 식별된 콘텍스트에 기반하여 콘텍스트를 생성하는 동작을 포함한다.
일 실시예에 따르면, 콘텍스트를 식별하는 동작은 식별된 콘텍스트를 집성하고, 집성된 콘텍스트를 분류하며, 분류된 콘텍스트를 유추하는 동작을 포함한다.
일 실시예에 따르면, 콘텐트를 생성하는 동작은 생성된 콘텍스트를 캡처하는 동작을 포함한다. 콘텐트를 생성하는 동작은 생성된 콘텍스트 및 데이터에 기초하여 서브시퀀스 콘텍스트 인식 액션 리스트 및 서브시퀀스 콘텍스트 인식 메뉴를 생성하는 동작을 포함한다. 콘텐트를 생성하는 동작은 콘텐트를 생성하기 위한 서브시퀀스 액션 리스트 및 서브시퀀스 메뉴를 렌더링하는 동작을 포함한다.
일 실시예에 따르면, 콘텐트 생성 시스템(100)은 AR 디바이스(120) 또는 외부 디바이스가 콘텐트 수신자를 인증하는 동작을 포함한다. 예를 들어, AR 디바이스(120) 또는 외부 디바이스가 콘텐트 제작자에 의해 설정된 적어도 하나의 조건을 인증하는 동작을 포함한다. 일예로, 적어도 하나의 조건은 콘텐트 제작자에 의해 생성된 콘텐트의 전달을 위한 인증 조건을 포함한다. AR 디바이스(120) 또는 외부 디바이스가 적어도 하나의 조건의 인증 성공 시에 콘텐트 제작자에 의한 콘텐트의 생성을 콘텐트 수신자에게 통지하는 동작을 포함한다. AR 디바이스(120)가 콘텐트 제작자에 의해 생성된 콘텐트를 검색하는 동작을 포함한다. AR 디바이스(120)가 콘텐트 수신자를 위해 콘텐트를 렌더링하는 동작을 포함한다. 일예로, AR 디바이스(120)은 콘텐트 제작자에 의해 생성된 적어도 하나의 콘텐트 중 AR 디바이스(120)(또는 콘텐트 수신자)에 의해 검색된 콘텐트를 렌더링할 수 있다.
일 실시예에 따르면, 생성된 콘텐트를 검색하는 동작은 콘텐트 수신자가 핸드헬드 디바이스(110)를 AR 디바이스(120)와 페어링하는 동작을 포함한다. 생성된 콘텐트를 검색하는 동작은 핸드헬드 디바이스(110)가 콘텐트와 관련된 적어도 하나의 검색 명령을 생성하는 동작을 포함한다. 생성된 콘텐트를 검색하는 동작은 핸드헬드 디바이스(110)가 적어도 하나의 검색 명령을 AR 디바이스(120)에 송신하는 동작을 포함한다.
상술한 바와 같이 AR 환경에서의 콘텐트 생성 시스템(100)은 도 2b 및 도 2c와 같이, AR 환경에서의 콘텐트 생성 및 검색 방법을 제공한다.
도 2b 및 도 2c는 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 및 검색 방법에 관련된 동작을 도시한 흐름도를 도시한다.
도 2b 및 도 2c를 참조하면, 방법은 동작(212)에서 콘텐트 생성 시스템(100)의 핸드헬드 디바이스(110)는 AR 디바이스(120)와 페어링한다. 동작(214)에서 핸드헬드 디바이스(110)는 콘텐트 제작자(예: 사용자)에 의해 수행되는 핸드헬드 디바이스(110)의 입력 수단의 동작에 응답하여 콘텐트 제작자의 관심 대상과 관련된 제1 명령을 생성한다. 동작(216)에서 핸드헬드 디바이스(110)는 콘텐트 제작자에 의한 핸드헬드 디바이스(110)의 조작에 응답하여 콘텐트 제작자의 관심 대상과 관련된 데이터를 생성한다. 동작(218)에서 핸드헬드 디바이스(110)는 제1 명령 및 데이터를 AR 디바이스(120)로 송신한다. 동작(220)에서 AR 디바이스(120)는 핸드헬드 디바이스(110)로부터 수신한 제1 명령 및 데이터에 대응하는 관심 대상에 관한 콘텍스트를 결정한다. 동작(222)에서 AR 디바이스(120)는 콘텍스트 및 데이터에 기반하여 콘텐트를 생성한다. 동작(224)에서 AR 디바이스(120)는 생성된 콘텐트를 콘텐트 제작자에 위해 렌더링한다. 동작(226)에서 AR 디바이스(120) 또는 외부 디바이스는 콘텐트 수신자를 인증한다. 동작(228)에서 AR 디바이스(120) 또는 외부 디바이스는 콘텐트 제작자에 의해 생성된 콘텐트의 전달을 위해 콘텐트 제작자에 의해 설정된 적어도 하나의 조건과 관련된 인증을 수행한다. 방법은 동작(230)에서 AR 디바이스(120) 또는 외부 디바이스는 콘텐트 제작자에 의해 설정된 적어도 하나의 조건의 인증 성공 시, 콘텐트 제작자에 의한 콘텐트의 생성을 콘텐트 수신자에게 통지한다. 동작(232)에서 핸드헬드 디바이스(110)는 콘텐트 수신자에 의해 수행된 핸드헬드 디바이스(110)의 입력 수단의 동작에 응답하여 콘텐트(예: 콘텐트 제작자에 의해 생성된 콘텐트)와 관련된 제2 명령을 생성한다. 동작(234)에서 핸드헬드 디바이스(110)는 제2 명령을 AR 디바이스(120)에 송신한다. 동작(236)에서 AR 디바이스(120)는 제2 명령에 기반하여 콘텐트(예: 콘텐트 제작자에 의해 생성된 콘텐트)를 검색한다. 동작(238)에서 AR 디바이스(120)는 제2 사용자(예: 콘텐트 수신자)를 위해 콘텐트를 렌더링한다.
콘텐트를 생성 및 검색 방법의 일 실시예에 따르면, 핸드헬드 디바이스(110)를 AR 디바이스(120)와 페어링하는 동작(212)은 핸드헬드 디바이스(110)와 AR 디바이스(120) 사이에 능동적 통신을 설립하는 동작을 포함한다. 페어링 동작(212)은 핸드헬드 디바이스(110)가 콘텐트 제작자에 의해 수행된 핸드헬드 디바이스(110)의 입력 수단의 개시 동작에 응답하여 개시 명령을 생성함으로써 세션을 개시하는 동작을 포함한다. 페어링 동작(212)은 AR 디바이스(120)가 관심 대상을 인식하는 동작을 포함한다. 페어링 동작(212)은 AR 디바이스(120)가 세션을 설립하기 위해 관심 대상을 태깅하기 위한 명령 및 데이터의 조합을 수신하는 경우, 관심 대상을 로킹하는 동작을 포함한다.
콘텐트를 생성 및 검색하는 방법의 일 실시예에 따르면, 관심 대상을 로킹하는 동작은 핸드헬드 디바이스(110)가 입력 수단의 객체 인식 동작 및 콘텐트 제작자에 의해 수행된 핸드헬드 디바이스(110)의 객체 인식 조작에 응답하여 관심 대상을 태깅하기 위한 명령 및 데이터의 조합을 생성하는 동작, 및 AR 디바이스(120)가 관심 대상을 태깅하기 위한 명령 및 데이터를 수신하는 경우, 관심 대상을 로킹하는 동작을 포함한다.
도 3은 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 시스템의 예시적인 블록도를 도시한다. 도 4는 도 3의 시스템에 의해 인식되고 추적되는 하나 이상의 객체를 도시한다. 도 5a는 적어도 도 3에 도시된 시스템에 의해 AR 환경에서 콘텐트 생성을 위한 액션 리스트(action list)를 생성하는 흐름도를 도시한다. 도 5b는 적어도 도 3에 도시된 시스템에 의해 AR 환경에서 콘텐트 생성을 위한 콘텍스트를 결정하는 흐름도를 도시한다. 도 5c는 적어도 도 3에 도시된 시스템에 의해 AR 환경에서 생성된 콘텐트를 렌더링하는 흐름도를 도시한다.
도 3에 도시된 바와 같이 본 발명의 다른 실시예에 따르면, 증강 현실 환경에서의 콘텐트 생성 시스템(300)은 관심 대상과 관련된 적어도 하나의 명령을 생성하도록 구성된 명령 생성기(311)를 포함하는 핸드헬드 디바이스(310)를 포함한다. 핸드헬드 디바이스(310)는 관심 대상과 관련된 데이터를 생성하도록 구성된 데이터 생성기(312)를 포함한다. 핸드헬드 디바이스(310)는 적어도 하나의 명령 및 데이터를 송신하도록 구성된 핸드헬드 디바이스 인터페이스 유닛(313)을 포함한다.
일 실시예에 따르면, 콘텐트 생성 시스템(300)은 증강 현실(AR) 디바이스(320)를 포함한다. AR 디바이스(320)는 핸드헬드 디바이스(310)와 페어링된다. AR 디바이스(320)는 적어도 하나의 명령 및 데이터를 수신하도록 구성된 AR 디바이스 인터페이스 유닛(321)을 포함한다. AR 디바이스 인터페이스 유닛(321)은 적어도 하나의 명령 및 데이터를 디코딩하도록 구성된 명령 및 데이터 디코더(321a)를 포함한다. AR 디바이스(320)는 적어도 하나의 명령 및 데이터에 대응하는 관심 대상과 관련된 콘텍스트를 결정하도록 구성된 콘텍스트 빌더 모듈(322)을 포함한다. AR 디바이스(320)는 콘텍스트 및 데이터에 기초한 콘텐트를 생성하도록 구성된 콘텐트 제작자 모듈(323)을 포함한다. AR 디바이스(320)는 제작된 콘텐트를 표시하도록 구성된 디스플레이(330)(또는 디스플레이 유닛)를 포함한다.
일 실시예에 따르면, 핸드헬드 디바이스(310)를 AR 디바이스(320)와 페어링하기 위해 핸드헬드 디바이스(310)와 AR 디바이스(320) 사이에 능동적 통신이 설립된다. 명령 생성기(311)는 세션을 개시하고, 관심 대상을 태깅하기 위한 명령을 생성한다. 데이터 생성기(312)는 관심 대상을 태깅하기 위한 데이터를 생성한다. 핸드헬드 디바이스 인터페이스 유닛(313)은 관심 대상을 태깅하기 위한 명령 및 데이터를 조합하고, 명령 및 데이터의 조합을 송신한다. 더욱이, AR 디바이스(320)는 관심 대상을 인식하고, 핸드헬드 디바이스(310)과의 능동적 통신을 통해 관심 대상을 태깅하기 위한 명령 및 데이터를 수신하는 경우, 관심 대상을 인식하고 관심 대상을 로킹하여 세션을 설립하도록 구성된 객체 인식 및 추적 모듈(324)을 포함한다.
일 실시예에 따르면, 핸드헬드 디바이스(310)는 적어도 하나의 명령의 생성을 가능하게 하는 입력 수단(315)을 포함한다. 명령 생성기(311)는 입력 수단(315)의 동작에 기반하여 적어도 하나의 명령을 생성한다.
일 실시예에 따르면, 입력 수단(315)은 버튼(315a), 클릭(315b), 용량성 터치 스위치(315c), 저항성 터치 스위치 또는 압전 터치 스위치 중 적어도 하나를 포함한다. 일예로, 입력 수단(315) 중 일부만이 도 3에 도시되고, 입력 수단(315)은 도 3에 도시된 것으로 제한되지 않는다.
일 실시예에 따르면, 핸드헬드 디바이스(310)는 관심 대상에 대한 3차원(3D) 공간에서 핸드헬드 디바이스(310)의 조작 시 데이터를 생성하도록 구성된 복수의 센서(316)를 포함한다. 데이터 생성기(312)는 관심 대상과 관련된 데이터를 생성하기 위해 센서(316)에 의해 생성된 데이터를 조합한다.
일 실시예에 따르면, 센서(316)는 압력 센서(316a), 자이로(316b), 가속도계(316c), 자기 센서, 근접 센서 또는 그립 센서 중 적어도 하나를 포함한다. 일예로, 센서(316) 중 일부만이 도 3에 도시되며, 센서(316)는 도 3에 도시된 센서(316)로 제한되지 않는다.
도 5a 및 5b를 참조하면, 일 실시예에 따르면, 콘텍스트를 결정하기 위해, 콘텍스트 빌더 모듈(322)은 객체 인식 및 추적 모듈(324)이 관심 대상을 인식할 때 AR 디바이스(320)의 시야에서 글로벌 콘텍스트, 로컬 콘텍스트 또는 하나 이상의 다른 객체로부터 선택된 적어도 하나의 파라미터 중 적어도 하나를 캡처한다. 콘텍스트 빌더 모듈(322)은 콘텐트 제작자의 프로파일을 식별한다. 콘텍스트 빌더 모듈(322)은 적어도 하나의 명령, 관심 대상과 관련된 데이터, 캡처된 파라미터 및 콘텐트 제작자의 식별된 프로파일의 조합에 기반하여 관심 대상의 콘텍스트를 식별한다. 콘텍스트 빌더 모듈(322)은 식별된 콘텍스트에 기반하여 콘텐트 생성을 위한 액션 리스트 및 메뉴 옵션을 렌더링한다. 콘텍스트 빌더 모듈(322)은 렌더링된 액션 리스트 및 메뉴 옵션을 분석한다. 콘텍스트 빌더 모듈(322)은 분석된 액션 리스트, 메뉴 또는 식별된 콘텍스트 중 적어도 하나에 기반하여 콘텍스트를 생성한다.
일 실시예에 따르면, 콘텍스트 빌더 모듈(322)은 식별된 콘텍스트를 집성하고, 집성된 콘텍스트를 분류하며, 분류된 콘텍스트를 유추한다(도 5b 참조).
도 5c를 참조하면, 일 실시예에 따르면, 콘텐트를 생성하기 위해, 콘텍스트 제작자 모듈(323)은 생성된 콘텍스트를 캡처하도록 구성된 콘텍스트 인식 빌더 모듈(323a)을 포함한다. 콘텍스트 인식 빌더 모듈(323a)은 생성된 콘텍스트 및 데이터에 기반하여 서브시퀀스 콘텍스트 인식 액션 리스트 및 서브시퀀스 콘텍스트 인식 메뉴를 생성한다. 콘텍스트 인식 빌더 모듈(323a)은 콘텐트 생성을 위해 AR 디바이스(320)의 디스플레이(330) 상에 서브시퀀스 액션 리스트 및 서브시퀀스 메뉴를 렌더링한다.
일 실시예에 따르면, AR 디바이스(320)는 객체 인식 및 추적 모듈(324)에 연결된 복수의 객체 인식 및 추적 센서(325)를 포함한다.
일 실시예에 따르면, 객체 인식 및 추적 센서(325)는 카메라(325a), 모션 센서(325b), GPS(325c) 또는 나침반(325d) 중 적어도 하나를 포함한다.
일 실시예에 따르면, AR 디바이스(320)는 네트워크 통신 유닛 및 콘텍스트 빌더 모듈(322)에 연결된 복수의 콘텍스트 구축 센서(326)를 포함한다. 콘텍스트 구축 센서(326)는 오디오 센서(326a), 광/조명 센서(326b) 또는 눈 추적기(eye tracker)(326c) 중 적어도 하나를 포함한다.
일 실시예에 따르면, 핸드헬드 디바이스(310)는 스타일러스 또는 펜 중 적어도 하나를 포함할 수 있다. AR 디바이스(320)는 사용자가 착용 가능한 AR 안경, 또는 컴퓨팅 디바이스 중 적어도 하나를 포함할 수 있다. 일예로, 컴퓨팅 디바이스는 휴대 전화, 태블릿 또는 랩톱 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 콘텐트 생성 및 공유에 관심이 있는 콘텐트 제작자는 스타일러스 또는 펜과 같은 핸드헬드 디바이스(310)와 콘텐트 생성 및 공유를 위한 착용 가능한 AR 안경과 같은 AR 디바이스(320)를 모두 사용해야 한다. 일 실시예에 따르면, 핸드헬드 디바이스(310)는 핸드헬드 디바이스(310)와 AR 디바이스(320) 사이의 세션을 설립하기 위해 핸드헬드 디바이스(310)와 AR 디바이스(320) 사이에 능동적 통신을 설정함으로써 AR 디바이스(320)와 페어링된다. 능동적 통신은 블루투스 또는 WiFi와 같은 통신 기술을 통해 설정될 수 있다. 핸드헬드 디바이스(310)의 명령 생성기(311)는 관심 대상을 태깅하기 위한 명령을 생성함으로써 세션을 개시한다. 데이터 생성기(312)는 관심 대상을 태깅하기 위한 데이터를 생성한다. 핸드헬드 디바이스 인터페이스 유닛(313)은 관심 대상을 태깅하기 위한 명령 및 데이터를 조합하고, AR 디바이스(320)와의 능동적 통신을 통해 명령 및 데이터의 조합을 AR 디바이스(320)에 송신한다. AR 디바이스(320)의 객체 인식 및 추적 모듈(324)은 카메라(325a)를 통해 관심 대상을 인식하고, 관심 대상을 태깅하기 위한 명령 및 데이터의 조합을 수신하면, 세션을 설립하기 위해 관심 대상을 로킹한다.
세션이 설립되면, 핸드헬드 디바이스(310)의 명령 생성기(311)는 콘텐트 제작자의 관심 대상과 관련된 콘텐트를 생성하기 위한 적어도 하나의 명령 또는 제1 명령을 생성한다. 데이터 생성기(312)는 콘텐트 제작자의 관심 대상과 관련된 콘텐트를 생성하기 위한 데이터를 생성한다. 그 후, 핸드헬드 디바이스 인터페이스 유닛(313)은 AR 디바이스(320)와의 사이에 설정된 블루투스 또는 WiFi 와 같은 능동적 통신을 통해 콘텐트를 생성하기 위한 명령 및 데이터를 AR 디바이스(320)에 송신한다. AR 디바이스 인터페이스 유닛(321)은 콘텐트를 생성하기 위한 명령 및 데이터를 수신한다. 명령 및 데이터 디코더(321a)는 AR 디바이스 인터페이스 유닛(321)를 통해 수신한 콘텐트를 생성하기 위한 명령 및 데이터를 디코딩하여, 이를 콘텍스트 빌더 모듈(322)에 제공한다. 콘텍스트 빌더 모듈(322)은 콘텐트를 생성하기 위한 명령 및 데이터에 대응하는 관심 대상과 관련된 콘텍스트를 결정한다. 다시 말하면, AR 디바이스(320)는 관심 대상과 관련되고, 콘텐트를 생성하기 위한 명령 및 데이터에 대응하는 콘텍스트를 결정한다. 그 후, 콘텐트 제작자 모듈(323)은 콘텍스트 및 데이터에 기반한 콘텐트를 생성하고, 이를 콘텐트 제작자를 위해 AR 디바이스(320)의 디스플레이(330) 상에 렌더링한다. 콘텐트 제작자 모듈(323)은 그래픽 사용자 인터페이스(UI)를 생성하여, 콘텐트 제작자가 이를 저장 및 공유할 수 있도록 UI에서 콘텐트를 렌더링한다.
일 실시예에 따르면, AR 디바이스(320)의 콘텍스트 빌더 모듈(322)은 핸드헬드 디바이스(310)로부터 수신되는 바와 같은 콘텐트를 생성하기 위한 명령 및 데이터를 해석하고 콘텍스트를 결정하기 위해, 부가적인 동작을 수행한다. 예를 들어, 콘텍스트 빌더 모듈(322)은 관심 대상 및 콘텐트 제작자와 관련된 여러 파라미터를 캡처한다. 일예로, 파라미터 중 하나는 콘텐트 제작자와 관련된 글로벌 콘텍스트일 수 있다. 글로벌 콘텍스트는 인터넷에서 이용 가능한 콘텐트 제작자에 포함되는 데이터 또는 클라우드 저장 시스템 상에 저장된 데이터를 포함한다. 일예로, 글로벌 콘텍스트는 콘텐트 제작자의 좋음/싫음에 관한 데이터 또는 콘텐트 제작자의 활동과 관련된 데이터 중 적어도 하나를 포함할 수 있다. 다른 파라미터는 관심 대상과 관련된 로컬 콘텍스트일 수 있다. 로컬 콘텍스트는 관심 대상이 객체 인식 및 추적 모듈(324)에 의해 인식되고 로킹될 때의 데이터 및 시간, AR 디바이스(320)에 통합된 GPS(325b)로부터 통상적으로 이용 가능한 관심 대상의 지리적 위치, 또는 관심 대상의 물리적 상태 중 적어도 하나를 포함할 수 있다. 다른 파라미터는 콘텐트 제작자의 관심 대상 근처에 있는 다른 현실 세계 객체의 타입을 포함할 수 있다. 다른 현실 세계 객체는 콘텐트 제작자의 관심 대상을 인식하면서 카메라(325a)의 시야에서 객체 인식 및 추적 모듈(324)에 의해 인식될 수 있다. 콘텍스트 빌더 모듈(322)은 상술한 파라미터 중 하나 이상을 캡처한 후, 인터넷 상에서 이용 가능하거나 클라우드 저장 시스템 상에 저장된 콘텐트 제작자의 프로파일을 식별한다. 콘텐트 제작자의 프로파일은 콘텐트 제작자의 이름, 연령, 교육 또는 직업 중 적어도 하나와 관련된 정보를 포함할 수 있다.
물체 인식 및 추적 모듈(324)은 현실 세계 객체를 인식하기 위해 알려진 이미지 처리 기술을 사용한다. 도 4는 일반적으로 카메라(325a)를 통해 객체 인식 및 추적 모듈(324)에 의해 인식되고 추적되는 현실 세계 객체의 그림을 도시한다.
도 5a 및 도 5b를 참조하면, 콘텍스트 빌더 모듈(322)은 핸드헬드 디바이스(310)로부터 수신된 콘텐트를 생성하기 위한 명령 및 데이터로부터의 관심 대상의 콘텍스트, 캡처된 파라미터 중 하나 이상 및 콘텐트 제작자의 식별된 프로파일을 식별한다. 콘텍스트 빌더 모듈(322)은 식별된 콘텍스트에 기반하여, AR 디바이스(320)의 디스플레이(330) 상에 UI에서의 콘텐트 제작을 위한 액션 리스트 및 메뉴 옵션을 렌더링한다. 콘텍스트 빌더 모듈(322)은 식별된 콘텍스트를 집성하고, 식별된 콘텍스트를 다양한 카테고리로 분류하며, 분류된 콘텍스트를 유추하여 액션 리스트 및 메뉴 옵션을 디스플레이(330) 상에 렌더링한다. 일예로, 식별된 콘텍스트는 교육 관련 콘텍스트, 관광 관련 콘텍스트, 또는 음식 관련 콘텍스트 중 적어도 하나와 같은 카테고리로 분류될 수 있다. 여기서, 교육 관련 콘텍스트는 예를 들어, 수학, 과학 또는 지리와 같은 교육 과목의 타입으로서 유추될 수 있다. 관광 관련 콘텍스트는 모험 관광 또는 종교 관광 중 적어도 하나에 기반하여 유추될 수 있다. 음식 관련 콘텍스트는 액션 리스트 및 메뉴 옵션을 디스플레이 상에 렌더링하기 위해 인도 음식 또는 대륙 음식으로서 유추될 수 있다. 콘텍스트 빌더 모듈(322)은 렌더링된 액션 리스트 및 메뉴 옵션의 깊이를 분석하고, 분석된 액션 리스트, 메뉴 옵션 및 식별된 콘텍스트로부터 콘텍스트를 생성함으로써 콘텍스트를 결정한다.
도 5c를 참조하면, 콘텐트를 생성하기 위해, 콘텐트 제작자 모듈(323)의 콘텍스트 인식 빌더 모듈(323a)은 생성된 콘텍스트를 캡처하고, 생성된 콘텍스트, 현재 액션 리스트 및 메뉴 옵션, 및 핸드헬드 디바이스(310)로부터 수신되는 생성된 데이터에 기반하여 UI에서의 서브시퀀스 또는 다음 레벨의 콘텍스트 인식 액션 리스트 및 UI에서의 서브시퀀스 또는 다음 레벨의 콘텍스트 인식 메뉴 옵션을 렌더링한다. 서브시퀀스/다음 레벨의 액션 리스트는 콘텍스트에 기반하여 수행될 수 있는 UI에서 이용 가능한 진보된 액션을 행할 수 있음에 따라 콘텍스트 인식 액션 리스트로서 지칭된다. 마찬가지로, 서브시퀀스/다음 레벨의 메뉴 옵션은 콘텍스트를 기반으로 하는 UI에서의 진보된 옵션을 제공함에 따라 콘텍스트 인식 메뉴 옵션으로서 지칭된다. 새로운 명령 및/또는 데이터가 핸드헬드 디바이스(310)로부터 수신될 때마다, 콘텐트 제작자 모듈(323)은 핸드헬드 디바이스(110)로부터 수신한 새로운 명령 및/또는 데이터에 기반하여 다음 레벨의 액션 리스트 및 메뉴 옵션으로 UI를 업데이트한다. 액션 리스트 및 메뉴 옵션으로부터 생성된 콘텐트는 콘텐트 제작자에 의해 저장되고 공유될 수 있다.
도 6은 본 발명의 다양한 실시예들에 따른 AR 환경에서의 콘텐트 생성 시스템의 핸드헬드 디바이스의 예시적인 상세 구조 블록도를 도시한다. 도 7은 도 6에 도시된 바와 같이 AR 환경에서의 콘텐트 생성 시스템의 AR 디바이스의 예시적인 상세 구조 블록도를 도시한다.
도 6을 참조하면, 본 발명의 다양한 실시예들에 따른, AR 환경에서의 콘텐트 생성 시스템(600)의 핸드헬드 디바이스(610)의 예시적인 상세한 구조적 블록도가 도시된다. 핸드헬드 디바이스(610)는 스타일러스 또는 펜 중 적어도 하나를 포함하지만 이에 제한되지 않는다. 핸드헬드 디바이스(610)는 버튼(615a), 클릭 스위치(615b), 용량성 터치 스위치(615c), 저항성 터치 스위치 및 압전 터치 스위치를 포함하지만 이에 제한되지 않는 입력 수단(615)을 포함한다. 핸드헬드 디바이스(610)는 입력 수단(615)의 동작에 의한 적어도 하나의 명령의 생성이 콘텐트 제작자에 의해 수행되게 할 수 있다. 핸드헬드 디바이스(610)는 압력 센서(616a), 자이로(616b), 가속도계(616c), 자기 센서/자력계(616d), 지구 자기장 센서(616e), 근접 센서(616f), 그립 센서(616g)를 포함하지만 이에 제한되지 않는 복수의 센서(616)(또는 센서 모듈)를 포함한다. 핸드헬드 디바이스(610)는 센서(616)을 통해 콘텐트 제작자에 의한 핸드헬드 디바이스(610)의 이동(또는 움직임)에 응답하여 센서 데이터를 생성한다. 핸드헬드 디바이스(610)는 입력 수단(615), 센서(616) 및 메모리(612)와 협력하는 프로세서(611)를 포함한다. 프로세서(611)는 메모리(612)에 저장된 명령어의 세트를 실행하여 콘텐트 제작자에 의해 수행된 입력 수단(615)의 동작에 응답하여 관심 대상과 관련된 적어도 하나의 명령을 생성하도록 구성된 명령 생성기를 구현하도록 구성된다. 프로세서(611)는 관심 대상과 관련된 객체 데이터를 생성하기 위해 센서 데이터를 결합하도록 구성된 데이터 생성기를 구현하도록 구성된다. 프로세서(611)는 적어도 하나의 명령 및 객체 데이터를 송신하도록 구성된 핸드헬드 디바이스 인터페이스 유닛을 구현하도록 구성된다. 핸드헬드 디바이스(610)는 WiFi(613a), 블루투스(613b), 근거리 통신(NFC)(613c)과 같은 통신 모듈을 통해 명령 및 객체 데이터를 송신하도록 프로세서(611)에 연결된 통신 모듈(613)을 포함한다.
핸드헬드 디바이스(610)는 핸드헬드 디바이스(610)의 스위칭 ON/OFF를 나타내는 진동기(614), 및 센서(616)로부터의 신호를 처리하고, 프로세서(611)가 데이터를 생성할 수 있도록 처리된 신호를 프로세서(611)로 다시 제공하기 위해 프로세서(611)와 협력하는 신호 처리 모듈(617)을 포함한다. 핸드헬드 디바이스(610)는 핸드헬드 디바이스(610)의 입력 수단(615), 센서(616), 메모리(612), 통신 모듈(613), 진동기(614) 및 신호 처리 모듈(617)뿐만 아니라 프로세서(611)에 전력을 공급하기 위해 프로세서(611)에 더 연결된 전력 관리 모듈(619)을 갖는 배터리(618)를 포함한다.
도 7을 참조하면, 본 발명의 다양한 실시예들에 따르면, 콘텐트 생성 시스템(600)은 증강 현실(AR) 디바이스(620)를 포함한다. 여기서 AR 디바이스(620)는 핸드헬드 디바이스(610)와 페어링된다. AR 디바이스(620)는 사용자(또는 콘텐트 제작자)에 착용 가능한 AR 안경 또는 헤드 장착 디바이스를 포함하지만, 이에 제한되지 않는다. AR 디바이스(620)는 메모리와 협력하고, 메모리에 저장된 명령어의 세트를 실행하도록 구성된 프로세서(621)를 포함한다. 프로세서(621)는 명령 및 객체 데이터를 수신하도록 구성된 AR 디바이스 인터페이스 유닛을 구현하도록 구성된다. AR 디바이스 인터페이스 유닛은 적어도 하나의 명령 및 객체 데이터를 디코딩하도록 구성된 명령 및 데이터 디코더를 포함한다. 프로세서(621)는 적어도 하나의 명령 및 객체 데이터에 대응하는 관심 대상과 관련하여 콘텍스트를 결정하도록 구성된 콘텍스트 빌더 모듈을 구현하도록 구성된다. 프로세서(621)는 콘텍스트 및 객체 데이터에 기반한 콘텐트를 생성하도록 구성된 콘텐트 제작자 모듈을 구현하도록 구성된다.
AR 디바이스(620)는 생성된 콘텐트를 표시하도록 구성된 디스플레이(622) (또는 디스플레이 유닛)를 포함한다. AR 디바이스(620)는 콘텐트 제작자의 관심 대상을 포함하는 하나 이상의 현실 세계 객체를 캡처하는 카메라(623)를 포함한다. AR 디바이스(620)는 AR 디바이스(620)의 스위칭 ON/OFF를 나타내는 진동기(624)를 포함한다.
AR 디바이스(620)는 WiFi(625a), 블루투스(625b), 근거리 통신(NFC)(625c)과 같은 통신 모듈(625)을 통해 핸드헬드 디바이스(610)에 의해 송신된 명령 및 객체 데이터를 수신한다. 통신 모듈(625)은 프로세서(621)에 연결될 수 있다. 핸드헬드 디바이스(610)와 AR 디바이스(620) 사이에 능동적 통신이 설립되어, 핸드헬드 디바이스(610)와 AR 디바이스(620)가 페어링되어 데이터를 송수신한다. 통신 모듈(625)은 또한 AR 디바이스(620)와 컴퓨터, 랩톱 또는 모바일 중 적어도 하나와 같은 외부 디바이스 사이에서 데이터를 전송하는 USB 모듈(625d)을 포함한다. 통신 모듈(625)은 또한 콘텐트 제작자의 관심 대상의 지리적 위치를 검출하는 GPS 모듈(625e)을 포함한다.
AR 디바이스(620)는 디스플레이(622)의 시각적 향상을 위해 프로세서(621)와 협력하는 눈 추적 모듈(626) 및 초점 조정 모듈(627)을 포함한다. AR 디바이스(620)는 프로세서(621)와 협력하여 콘텐트 제작자 및/또는 콘텐트 수신자를 지원하는 오디오 모듈(628)을 포함한다.
AR 디바이스(620)는 생체 센서(629a), 자이로(629b), 가속도계(629c), 자기 센서(629d), 지자기 센서(629e), 근접 센서(629f), 그립 센서(629g), 제스처 센서(629h)를 포함하지만 이에 제한되지 않는 복수의 센서(629)(또는 센서 모듈)를 포함한다. 복수의 센서(629)는 프로세서(621)와 협력하여 콘텐트 생성 및/또는 콘텐트 검색을 돕는 각각의 데이터를 제공한다.
AR 디바이스(620)는 AR 디바이스(620)의 디스플레이(622), 카메라(623), 진동기(624), 통신 모듈(625), 눈 추적 모듈(626), 초점 조정 모듈(627), 오디오 모듈(628) 및 센서(629)뿐만 아니라 프로세서(621)에 전력을 공급하기 위해 프로세서(621)에 더 연결된 전력 관리 모듈(631)을 갖는 배터리(630)를 포함한다.
도 8a는 도 1, 도 3, 도 6 및 도 7에 도시된 시스템에 의해 사용된 제스처/이동 인식을 위한 블록도를 도시한다. 예를 들어, 도 8a는 핸드헬드 디바이스(110, 310, 610)에 의해 사용된 이동/제스처/조작 인식을 위한 블록도이다.
본 발명의 다양한 실시예들에 따르면, 핸드헬드 디바이스(110, 310, 610)의 센서(316, 616)는 통상적으로 9축 MEMS 센서이다. 예를 들어, 자이로(316b, 616b)는 3축 16비트 자이로스코프를 포함한다. 가속도계(316c, 616c)는 3축 16비트 가속도계를 포함한다. 자력계(616d)는 3축 13비트 자력계를 포함한다. 센서(316, 616)와 협력하는 프로세서(611)는 3D 공간에서 핸드헬드 디바이스(610)의 정밀하고 정확한 추적을 위해 칼만 필터(Kalman Filter) 및 CNN(convolutional neural network)과 같은 센서 융합 기술을 사용하여 센서 데이터의 불확실성 감소를 수행하도록 구성된다. 인식된 모션(motion)은 명령 및 현재 콘텍스트와 함께 다음 동작을 결정하는 데이터의 생성을 위해 사용된다.
도 8b는 본 발명의 다양한 실시예들에 따른 제스처 인식을 위한 흐름도를 도시한다. 예를 들어, 도 8b는 핸드헬드 디바이스(110, 310, 610)에 의해 사용된 이동/제스처/조작 인식을 위한 흐름도이다.
본 발명의 다양한 실시예들에 따르면, 이동 인식은 3단계로 나누어질 수 있다. 예를 들어, 이동 인식은 핸드헬드 디바이스(110, 310, 610)의 이동/조작의 결과로서 생성된 노이즈로부터의 유용한 데이터의 추출을 포함하는 특징 추출(feature extraction) 단계, 연속적 핸드헬드 디바이스(110, 310, 610)와 관련된 모션 데이터를 위해 센서(316, 616)로부터 중요한 필기 데이터(significant handwriting data)를 찾는 것과 관련되는 스포팅(spotting) 단계, 및 다수의 클래스 내에서 유사하고 복잡한 형상의 문자를 인식하는 것과 관련되고 분류 및 분할로 이루어지는 인식 단계로 나누어질 수 있다.
도 9는 도 1, 도 3, 도 6 및 도 7에 도시된 바와 같이 AR 환경에서의 콘텐트 생성 시스템에 의해 사용된 필기 특징 추출(handwriting feature extraction) 기술을 도시한다. 예를 들어, 도 9는 도 8b의 흐름도에 따라 핸드헬드 디바이스(110, 310, 610)에 의해 사용되는 특징 추출 기술이 도시된다.
본 발명의 다양한 실시예들에 따르면, 관성 센서 측정은 일반적으로 노이즈, 센서 드리프트, 누적 오류, 및 부정확한 출력을 생성하는 중력 오류의 영향을 포함한다. 교정 및 필터와 같은 전처리 동작은 관성 신호로부터 노이즈와 오류를 제거하기 위해 필요하다. 가속도계(316c, 616c) 데이터는 두 가지 구성 요소의 모션 유도 가속도와 중력으로 이루어진다. 중력 구성 요소는 사용자의 핸드 모션에 의존하지 않으므로 노이즈로서 처리되어 제거된다. 특징 추출은 추가의 처리 및 분석을 위해 손의 이동에 의해 생성된 특징 파라미터로서 가속도(ax, ay, az), 각속도(gx, gy, gz) 및 사원수(quaternion)(q0, q1, q2, q3)에서의 디바이스의 3D 애티튜드(3D attitude)의 값을 제공한다.
도 10은 도 1, 도 3, 도 6 및 도 7에 도시된 바와 같이 AR 환경에서의 콘텐트 생성 시스템에 의해 사용된 필기 분할(handwriting segmentation) 기술을 도시한다. 예를 들어, 도 10은 도 8b의 흐름도에 따라 핸드헬드 디바이스(110, 310, 610)에 의해 사용된 스포팅 및 필기 분할 기술이 도시된다.
본 발명의 다양한 실시예들에 따르면, 연속적 핸드 모션 데이터의 분할은 자유 공간에서의 필기 분류 프로세스를 단순화한다. 실시간으로, 가속도계(316c, 616c) 및 자이로스코프(316b, 616b) 데이터는 연속적 핸드 모션 데이터를 필기 모션 세그먼트 및 비-필기 세그먼트로 분할하도록 처리된다. 핸드 모션의 각속도와 선형 가속은 두 가지 제어 파라미터이며, 이는 필기 세그먼트의 시작 및 끝 경계를 결정하는 정보를 제공된다. 핸드헬드 디바이스(110, 310, 610)는 가속 및 시간 임계 값(temporal threshold)을 사용하여 중요한 모션 데이터를 정확하게 스포팅하기 위한 필기 분할을 결정한다.
도 11은 도 1, 도 3, 도 6 및 도 7에 도시된 바와 같이 시스템에 의해 사용된 필기 인식 기술을 도시한다. 예를 들어, 도 11은 도 8b의 흐름도에 따라 핸드헬드 디바이스(110, 310, 610)에 의해 사용된 필기 인식 기술이 도시된다.
본 발명의 다양한 실시예들에 따르면, 핸드헬드 디바이스(110, 310, 610)는 DTW(Dynamic Time Warping) 기술을 사용하여 센서(316, 616)로부터 수신된 데이터로부터의 두 제스처 신호 사이의 거리를 계산한다. 모션 센서로부터 출력된 사원수는 회전 각도의 Euler 시퀀스로 변환된다. 롤(roll)(ψ), 피치(pitch)(θ) 및 요(yaw)(φ)는 가속도(ax, ay, az) 및 각속도(gx, gy, gz) 외에 의미 있고 직관적인 방식으로 필기를 효율적으로 추적하고 분류하는 특징 파라미터로서 사용된다. 실시간으로, DTW 인식 기술은 센서 데이터와 하나 이상의 템플릿(template) 사이의 유사성을 계산한다. 센서 데이터는 클래스로 수락되고 분류되며, 이러한 클래스는 최소 워핑(warping) 거리를 가지며, 해당 클래스의 임계 값과 일치된다. 그 후, 매칭된 값은 템플릿으로부터 획득되고, 명령 및 데이터 처리를 위해 AR 디바이스에서 동작을 수행하는데 사용된다.
도 12a, 도 12b, 도 13, 도 14, 도 15, 도 16a 및 도 16b는 AR 환경에서 콘텐트를 생성하기 위한 본 발명의 상이한 예시적인 구현을 도시한다. 예를 들어, 도 12a 내지 도 12b 및 도 13 내지 도 16a 및 도 16b는 AR 환경에서 콘텐트를 생성하기 위한 본 발명의 상이한 예시적인 구현이 예시된다.
도 12a는 핸드헬드 디바이스 및 AR 디바이스를 사용함으로써 관광지에서 공중에 콘텐트를 드로핑(dropping) 및 편집하기 위한 본 발명의 예시적인 구현을 예시한다. 도 12a에 도시된 바와 같이, 콘텐트 생성은 핸드헬드 디바이스(예: 스타일러스 또는 펜)의 클릭커(clicker)를 통해 개시된다. 핸드헬드 디바이스(예: 스타일러스 또는 펜)의 버튼이 눌리면 공기 메시지(air message)를 드로핑하는데 사용할 수 있는 콜아웃(callout) 메뉴가 생성된다. 콘텐트 제작자(예: 사용자)는 콜아웃 메뉴에서 메시지를 쓰기 위해 핸드헬드 디바이스의 스트로킹/조작 시, 센서에 의해 생성된 핸드헬드 디바이스의 스트로크 데이터를 사용할 수 있다. 핸드헬드 디바이스 클릭커가 길게 눌리면 메뉴를 공유하고 저장하기 위한 상황별 메뉴(contextual menu)가 생성된다.
도 12b는 핸드헬드 디바이스 및 AR 디바이스를 사용함으로써 편집된 콘텐트를 편집 및 공유하기 위한 본 발명의 예시적인 구현을 도시한다. 도 12b에 도시된 바와 같이, 콘텐트 제작자(예: 사용자)는 선택을 하기 위해 스트로크 이동과 함께 핸드헬드 디바이스(예: 스타일러스 또는 펜)의 버튼 누름 동작을 사용할 수 있다. 그 후, 핸드헬드 디바이스 버튼이 길게 눌리면 선택을 편집하기 위한 상황별 메뉴가 생성된다. 그 후, 핸드헬드 디바이스 클릭커가 길게 눌리면 선택을 공유하기 위한 상황별 메뉴가 생성된다.
도 13은 콘텐트를 공유하기 위해 현실 세계 객체로부터 콘텐트를 선택, 수집 및 생성하기 위한 본 발명의 예시적인 구현을 도시한다. 도 13에 도시된 바와 같이, 콘텐트 제작자(예: 사용자)는 핸드헬드 디바이스(예: 스타일러스 또는 펜)의 클릭으로 콘텐트 생성을 개시한다. 그 후, 콘텐트 제작자는 스트로크 이동으로 핸드헬드 디바이스(예: 스타일러스 또는 펜)의 버튼 누름 동작을 사용하여 선택을 한다. 핸드헬드 디바이스의 버튼이 길게 눌리면 선택된 콘텐트를 처리하고, 부가적인 정보를 수집하며 상황별 메뉴를 생성하는 동작이 수행된다. 그 후, 콘텐트 제작자는 메뉴로부터 옵션을 선택하고, 픽(pick) 및 드롭 관련 정보와 함께 콘텐트를 생성하기 위한 핸드헬드 디바이스 스트로크 데이터를 제공한다.
도 14는 라이브 스트림 비디오(live stream video) 또는 이미지로부터 콘텐트를 생성하여 이를 검색하기 위한 본 발명의 예시적인 구현을 도시한다. 도 14에 도시된 바와 같이, 콘텐트 제작자(예: 사용자)가 착용한 AR 디바이스는 콘텐트 제작자의 시야에서 객체를 지능적으로 검출하고, 비디오 내에 존재하는 객체를 이벤트화한다(event). 그 후, 콘텐트 제작자는 핸드헬드 디바이스(예: 스타일러스 또는 펜)의 버튼 클릭을 사용하여 객체를 선택할 수 있다. 그 후, 콘텐트 제작자는 타겟 사용자에 대한 핸드헬드 디바이스 데이터 및 동작을 사용하여 콘텐트를 생성하고, 뷰잉 조건(viewing condition)을 설정한다. 그 후, 콘텐트 제작자는 핸드헬드 디바이스의 길게 누름 동작을 사용하여 상황별 메뉴를 생성할 수 있다. 이 경우, 선택된 항목에 대한 쇼핑 옵션을 나열하는 메뉴가 제작된다.
도 15는 대화형의 편집 가능한 AR 콘텐트를 갖는 스마트 교실(smart classroom)로서 본 발명의 예시적인 구현을 도시한다. 도 15에 도시된 바와 같이, 콘텐트 제작자(예: 사용자)는 핸드헬드 디바이스(예: 스타일러스 또는 펜)의 클릭으로 콘텐트 생성을 시작한다. 핸드헬드 디바이스의 스토크(stoke)/이동/조작 데이터는 필기로서 처리된다. 핸드헬드 디바이스의 버튼이 길게 눌리면 콘텐트 제작자가 폰트 컬러(font color)를 흰색으로 변경할 수 있는 텍스트 포맷에 대한 상황별 메뉴가 생성된다. 콘텐트 제작자에 의해 클릭커 버튼이 길게 눌려 이미지/비디오 삽입을 생성한다. 핸드헬드 디바이스의 용량성 터치 센서를 사용하여 항목이 브라우징될 수 있는 비디오 선택기 메뉴가 제작된다. 콘텐트 제작자가 핸드헬드 디바이스 버튼을 길게 누르면, 비디오 제어가 비디오를 일시 정지, 재생, 포워딩하기 위한 상황별 메뉴가 생성된다.
도 16a 및 도 16b는 멀티레벨 북 마킹(multilevel book marking) 및 AR 노트 생성(AR notes creation) 및 검색을 위한 본 발명의 예시적인 구현을 도시한다. 도 16에 도시된 바와 같이, 콘텐트 제작자(예: 사용자)는 핸드헬드 디바이스(예: 스타일러스 또는 펜)의 버튼 누름 동작을 스트로크 이동과 함께 사용하여 선택을 강조 표시(highlight)할 수 있으며, 그 결과 텍스트 포맷 메뉴가 부가적인 스타일링(styling)을 부가하도록 생성된다. 콘텐트 제작자는 핸드헬드 디바이스(예: 스타일러스 또는 펜)의 버튼의 긴 누름 동작을 이동과 함께 사용할 수 있다. AR 디바이스는 사용자가 그린 형상을 검출하고, 사용자 노트가 부가된다. 콘텐트 제작자는 강조 표시된 텍스트, 노트 등과 같이 표시를 위한 다양한 레벨의 콘텐트를 생성할 수 있다. 콘텐트 제작자는 핸드헬드 디바이스의 클릭커 누름 동작을 사용하여 콘텐트를 저장 및 공유할 수 있다. 공유 메뉴는 각각의 콘텐트 수신자와의 공유 레벨에 대한 사용자 정의(customization)를 제공한다. 예를 들어, 강조 표시된 콘텐트만이 콘텐트 수신자 #1과 공유되고, 전체 콘텐트는 콘텐트 수신자 #2와 공유된다.
본 발명에 따른 AR 환경에서의 콘텐트 생성 시스템 및 방법에 제공된 기술적 장점 중 적어도 일부는 다음을 포함한다:
· 3D 공간에서 콘텍스트 인식, 사용자 정의, 필기, 보이지 않는 안전한 AR 메시지를 생성하고 공유함;
· 다수의 상황별 메뉴와 액션 리스트를 사용하여 스마트하고 지능적인 AR 콘텐트를 생성함; 및
· 시스템이 카메라, 프리젠테이션 등에 대한 리모컨(remote)으로서 사용될 수 있음.
본 발명의 상술한 설명은 본 발명을 설명하기 위한 것이며, 제한하려는 것이 아니다. 본 발명의 본질을 포함하는 개시된 실시예의 수정은 통상의 기술자에게 발생할 수 있으므로, 본 발명은 본 발명의 범위 내의 모든 것을 포함하는 것으로 해석되어야 한다.
Claims (20)
- 콘텐트 생성을 위한 제 2 전자 장치의 동작 방법에 있어서,
제 1 전자 장치와 통신 링크를 설립하는 동작;
상기 제 1 전자 장치로부터 관심 대상과 관련된 적어도 하나의 명령 또는 데이터 중 적어도 하나를 수신하는 동작;
상기 적어도 하나의 명령 또는 상기 데이터 중 적어도 하나에 대응하는 상기 관심 대상과 관련된 콘텍스트를 결정하는 동작;
상기 콘텍스트 및 상기 제 1 전자 장치로부터 수신한 데이터에 기반하여 콘텐트를 생성하는 동작; 및
상기 생성된 콘텐트를 렌더링하는 동작을 포함하는 방법.
- 제 1항에 있어서,
상기 제 1 전자 장치와의 통신 링크가 설립된 경우, 상기 관심 대상을 설정하는 동작, 및
상기 제 1 전자 장치와의 세션을 설립하기 위해 상기 관심 대상을 로킹(locking)하는 동작을 더 포함하는 방법.
- 제 2항에 있어서,
상기 관심 대상을 로킹하는 동작은,
상기 제 1 전자 장치로부터 관심 대상의 태킹과 관련된 정보를 수신한 경우, 상기 관심 대상의 태킹과 관련된 정보에 기반하여 상기 관심 대상을 로킹하는 동작을 포함하는 방법.
- 제 1항에 있어서,
상기 콘텍스트를 결정하는 동작은,
상기 관심 대상을 결정하는 경우, 상기 제 2 전자 장치의 시야(field of view) 내에 포함되는 글로벌 콘텍스트, 로컬 콘텍스트 또는 다른 객체 중 적어도 하나를 파라미터로 판단하는 동작;
콘텐트 제작자의 프로파일을 식별하는 동작;
상기 제 1 전자 장치로부터 수신한 상기 적어도 하나의 명령, 상기 데이터, 상기 식별된 파라미터 또는 상기 콘텐트 제작자의 식별된 프로파일 중 적어도 하나에 기반하여 관심 대상과 관련된 콘텍스트를 식별하는 동작;
상기 식별된 콘텍스트에 기반하여 상기 액션 리스트 및 상기 메뉴 옵션을 렌더링하는 동작;
상기 렌더링된 액션 리스트 및 메뉴 옵션 또는 상기 식별된 콘텍스트 중 적어도 하나에 기반하여 콘텍스트를 생성(build)하는 동작을 포함하는 방법.
- 제 4항에 있어서,
상기 글로벌 콘텍스트는, 외부 서버에 저장된 상기 콘텐트 제작자와 관련된 데이터를 포함하고,
상기 로컬 콘텍스트는, 상기 관심 대상을 인식하는 날짜, 시간, 상기 관심 대상의 지리적 위치 또는 상기 관심 대상의 물리적 상태 중 적어도 하나를 포함하는 방법.
- 제 4항에 있어서,
상기 콘텐트를 생성하는 동작은,
상기 생성된 콘텍스트 및 상기 데이터에 기반하여 서브시퀀트(subsequent) 콘텍스트 인식 액션 리스트 및 서브시퀀트 콘텍스트 인식 메뉴를 생성하는 동작, 및
상기 서브시퀀트 콘텍스트 인식 액션 리스트 및 서브시퀀트 콘텍스트 인식 메뉴를 렌더링하는 동작을 포함하는 방법.
- 제 1항에 있어서,
상기 데이터는, 상기 관심 대상과 관련된 3차원(3D) 공간에서 상기 제 1 전자 장치의 움직임에 기반하여 생성되는 방법.
- 제 1항에 있어서,
사용자를 인증하는 동작;
사용자의 인증을 성공한 경우, 상기 제 1 전자 장치에 의해 설정된 적어도 하나의 전달 조건을 만족하는지 확인하는 동작;
상기 적어도 하나의 전달 조건을 만족하는 경우, 상기 제 1 전자 장치로부터 제공받은 데이터에 기반하여 생성된 콘텐트와 관련된 정보를 출력하는 동작;
상기 콘텐트와 관련된 정보에 기반하여 제 1 콘텐트가 선택되는 경우, 상기 제 1 콘텐트를 렌더링하는 동작을 더 포함하는 방법.
- 제 8항에 있어서,
상기 적어도 하나의 전달 조건은, 관심 대상의 지리적 위치, 관심 대상의 물리적 상태, 또는, 관심 대상에 인접한 다른 객체의 존재 여부 중 적어도 하나를 포함하는 방법.
- 제 1항에 있어서,
상기 제 1 전자 장치는, 스타일러스 펜을 포함하고,
상기 제 2 전자 장치는, 증강현실 디바이스를 포함하는 방법
- 콘텐트 생성을 위한 제 2 전자 장치에 있어서,
디스플레이;
통신 모듈;
상기 디스플레이 및 상기 통신 모듈과 작동적으로 연결되는 프로세서를 포함하며,
상기 프로세서는,
상기 통신 모듈을 통해, 제 1 전자 장치와 통신 링크를 설립하고,
상기 통신 모듈을 통해 상기 제 1 전자 장치로부터 관심 대상과 관련된 적어도 하나의 명령 또는 데이터 중 적어도 하나를 수신하고,
상기 적어도 하나의 명령 또는 상기 데이터 중 적어도 하나에 대응하는 상기 관심 대상과 관련된 콘텍스트를 결정하고,
상기 콘텍스트 및 상기 제 1 전자 장치로부터 수신한 데이터에 기반하여 콘텐트를 생성하고,
상기 디스플레이를 통해, 상기 생성된 콘텐트를 렌더링하는 제 2 전자 장치.
- 제 11항에 있어서,
상기 프로세서는, 상기 제 1 전자 장치와의 통신 링크가 설립된 경우, 상기 관심 대상을 설정하고,
상기 제 1 전자 장치와의 세션을 설립하기 위해 상기 관심 대상을 로킹(locking)하는 제 2 전자 장치.
- 제 12항에 있어서,
상기 프로세서는, 상기 제 1 전자 장치로부터 관심 대상의 태킹과 관련된 정보를 수신한 경우, 상기 관심 대상의 태킹과 관련된 정보에 기반하여 상기 관심 대상을 로킹하는 제 2 전자 장치.
- 제 11항에 있어서,
상기 프로세서는, 상기 관심 대상을 결정하는 경우, 상기 제 2 전자 장치의 시야(field of view) 내에 포함되는 글로벌 콘텍스트, 로컬 콘텍스트 또는 다른 객체 중 적어도 하나를 파라미터로 판단하고, 콘텐트 제작자의 프로파일을 식별하고, 상기 제 1 전자 장치로부터 수신한 상기 적어도 하나의 명령, 상기 데이터, 상기 식별된 파라미터 또는 상기 콘텐트 제작자의 식별된 프로파일 중 적어도 하나에 기반하여 관심 대상과 관련된 콘텍스트를 식별하고, 상기 디스플레이를 통해, 상기 식별된 콘텍스트에 기반하여 상기 액션 리스트 및 상기 메뉴 옵션을 렌더링하고, 상기 렌더링된 액션 리스트 및 메뉴 옵션 또는 상기 식별된 콘텍스트 중 적어도 하나에 기반하여 콘텍스트를 생성(build)하는 제 2 전자 장치.
- 제 14항에 있어서,
상기 글로벌 콘텍스트는, 외부 서버에 저장된 상기 콘텐트 제작자와 관련된 데이터를 포함하고,
상기 로컬 콘텍스트는, 상기 관심 대상을 인식하는 날짜, 시간, 상기 관심 대상의 지리적 위치 또는 상기 관심 대상의 물리적 상태 중 적어도 하나를 포함하는 제 2 전자 장치.
- 제 14항에 있어서,
상기 프로세서는,
상기 생성된 콘텍스트 및 상기 데이터에 기반하여 서브시퀀트(subsequent) 콘텍스트 인식 액션 리스트 및 서브시퀀트 콘텍스트 인식 메뉴를 생성하고,
상기 디스플레이를 통해, 상기 서브시퀀트 콘텍스트 인식 액션 리스트 및 서브시퀀트 콘텍스트 인식 메뉴를 렌더링하는 제 2 전자 장치.
- 제 11항에 있어서,
상기 데이터는, 상기 관심 대상과 관련된 3차원(3D) 공간에서 상기 제 1 전자 장치의 움직임에 기반하여 생성되는 제 2 전자 장치.
- 제 11항에 있어서,
상기 프로세서는, 사용자를 인증하고, 사용자의 인증을 성공한 경우, 상기 제 1 전자 장치에 의해 설정된 적어도 하나의 전달 조건을 만족하는지 확인하고, 상기 적어도 하나의 전달 조건을 만족하는 경우, 상기 제 1 전자 장치로부터 제공받은 데이터에 기반하여 생성된 콘텐트와 관련된 정보를 출력하고, 상기 콘텐트와 관련된 정보에 기반하여 제 1 콘텐트가 선택되는 경우, 상기 디스플레이를 통해 상기 제 1 콘텐트를 렌더링하는 제 2 전자 장치.
- 제 18항에 있어서,
상기 적어도 하나의 전달 조건은, 관심 대상의 지리적 위치, 관심 대상의 물리적 상태, 또는, 관심 대상에 인접한 다른 객체의 존재 여부 중 적어도 하나를 포함하는 제 2 전자 장치.
- 제 11항에 있어서,
상기 제 1 전자 장치는, 스타일러스 펜을 포함하고,
상기 제 2 전자 장치는, 증강현실 디바이스를 포함하는 제 2 전자 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20854902.2A EP3973515A4 (en) | 2019-08-22 | 2020-08-13 | CONTENT CREATION IN AN AUGMENTED REALITY ENVIRONMENT |
| PCT/KR2020/010798 WO2021034022A1 (en) | 2019-08-22 | 2020-08-13 | Content creation in augmented reality environment |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN201911033920 | 2019-08-22 | ||
| IN201911033920 | 2019-08-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210023680A true KR20210023680A (ko) | 2021-03-04 |
Family
ID=74646313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200086085A KR20210023680A (ko) | 2019-08-22 | 2020-07-13 | 증강 현실 환경에서의 콘텐트 생성 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US11663784B2 (ko) |
| KR (1) | KR20210023680A (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024090721A1 (ko) * | 2022-10-28 | 2024-05-02 | 삼성전자주식회사 | 외부 전자 장치 내 센서를 이용하여 시각적 객체를 표시하는 웨어러블 장치 및 그 방법 |
| WO2024101593A1 (ko) * | 2022-11-08 | 2024-05-16 | 삼성전자주식회사 | 웨어러블 장치를 착용한 사용자의 정보를 송신하기 위한 웨어러블 장치, 및 방법 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
| US20220067993A1 (en) * | 2020-08-31 | 2022-03-03 | Popshop Technologies, Inc. | Live streaming object image capture and image conversion to product catalog |
| US11836826B2 (en) | 2020-09-30 | 2023-12-05 | Snap Inc. | Augmented reality content generators for spatially browsing travel destinations |
| US11538225B2 (en) | 2020-09-30 | 2022-12-27 | Snap Inc. | Augmented reality content generator for suggesting activities at a destination geolocation |
| US11809507B2 (en) | 2020-09-30 | 2023-11-07 | Snap Inc. | Interfaces to organize and share locations at a destination geolocation in a messaging system |
| US20220188547A1 (en) * | 2020-12-16 | 2022-06-16 | Here Global B.V. | Method, apparatus, and computer program product for identifying objects of interest within an image captured by a relocatable image capture device |
| US11900662B2 (en) | 2020-12-16 | 2024-02-13 | Here Global B.V. | Method, apparatus, and computer program product for training a signature encoding module and a query processing module to identify objects of interest within an image utilizing digital signatures |
| US11587253B2 (en) | 2020-12-23 | 2023-02-21 | Here Global B.V. | Method, apparatus, and computer program product for displaying virtual graphical data based on digital signatures |
| US11830103B2 (en) | 2020-12-23 | 2023-11-28 | Here Global B.V. | Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data |
| US11829192B2 (en) | 2020-12-23 | 2023-11-28 | Here Global B.V. | Method, apparatus, and computer program product for change detection based on digital signatures |
| US11991295B2 (en) | 2021-12-07 | 2024-05-21 | Here Global B.V. | Method, apparatus, and computer program product for identifying an object of interest within an image from a digital signature generated by a signature encoding module including a hypernetwork |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8922530B2 (en) | 2010-01-06 | 2014-12-30 | Apple Inc. | Communicating stylus |
| US9128537B2 (en) | 2010-03-04 | 2015-09-08 | Autodesk, Inc. | Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector |
| KR101260576B1 (ko) | 2010-10-13 | 2013-05-06 | 주식회사 팬택 | Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법 |
| US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US9582187B2 (en) | 2011-07-14 | 2017-02-28 | Microsoft Technology Licensing, Llc | Dynamic context based menus |
| US9182815B2 (en) * | 2011-12-07 | 2015-11-10 | Microsoft Technology Licensing, Llc | Making static printed content dynamic with virtual data |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| EP2813069A4 (en) | 2012-02-08 | 2016-12-07 | Intel Corp | CREATING AN ADVANCED REALITY WITH A REAL SCENE |
| US10147232B2 (en) | 2012-08-30 | 2018-12-04 | Atheer, Inc. | Method and apparatus for selectively presenting content |
| US10725533B2 (en) | 2014-09-26 | 2020-07-28 | Intel Corporation | Systems, apparatuses, and methods for gesture recognition and interaction |
| KR20160072306A (ko) | 2014-12-12 | 2016-06-23 | 전자부품연구원 | 스마트 펜 기반의 콘텐츠 증강 방법 및 시스템 |
| US20180188830A1 (en) | 2015-06-19 | 2018-07-05 | Lg Electronics Inc. | Electronic device |
| US10068378B2 (en) * | 2016-09-12 | 2018-09-04 | Adobe Systems Incorporated | Digital content interaction and navigation in virtual and augmented reality |
| US10691220B2 (en) * | 2017-02-14 | 2020-06-23 | Samsung Electronics Co., Ltd. | Method for display of information from real world environment on a virtual reality (VR) device and VR device thereof |
| US10936147B2 (en) * | 2017-04-28 | 2021-03-02 | Hewlett-Packard Development Company, L.P. | Tablet computing device with display dock |
| US11886650B2 (en) * | 2019-04-19 | 2024-01-30 | Apple Inc. | Stylus-based input system for a head-mounted device |
-
2020
- 2020-07-13 KR KR1020200086085A patent/KR20210023680A/ko not_active Application Discontinuation
- 2020-08-20 US US16/998,923 patent/US11663784B2/en active Active
-
2023
- 2023-05-05 US US18/313,188 patent/US20230274513A1/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024090721A1 (ko) * | 2022-10-28 | 2024-05-02 | 삼성전자주식회사 | 외부 전자 장치 내 센서를 이용하여 시각적 객체를 표시하는 웨어러블 장치 및 그 방법 |
| WO2024101593A1 (ko) * | 2022-11-08 | 2024-05-16 | 삼성전자주식회사 | 웨어러블 장치를 착용한 사용자의 정보를 송신하기 위한 웨어러블 장치, 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210056761A1 (en) | 2021-02-25 |
| US11663784B2 (en) | 2023-05-30 |
| US20230274513A1 (en) | 2023-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11663784B2 (en) | Content creation in augmented reality environment | |
| US11494000B2 (en) | Touch free interface for augmented reality systems | |
| US11210850B2 (en) | Rendering 3D captions within real-world environments | |
| US11175726B2 (en) | Gesture actions for interface elements | |
| US11287956B2 (en) | Systems and methods for representing data, media, and time using spatial levels of detail in 2D and 3D digital applications | |
| JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
| US11810220B2 (en) | 3D captions with face tracking | |
| KR20230096043A (ko) | 실시간 3d 신체 모션 캡처로부터의 사이드-바이-사이드 캐릭터 애니메이션 | |
| US11636657B2 (en) | 3D captions with semantic graphical elements | |
| US20150241984A1 (en) | Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities | |
| US20200142495A1 (en) | Gesture recognition control device | |
| US20230089838A1 (en) | Rendering 3d captions within real-world environments | |
| WO2021034022A1 (en) | Content creation in augmented reality environment | |
| JP6481360B2 (ja) | 入力方法、入力プログラムおよび入力装置 | |
| US20230334792A1 (en) | Interactive reality computing experience using optical lenticular multi-perspective simulation | |
| US20240185546A1 (en) | Interactive reality computing experience using multi-layer projections to create an illusion of depth | |
| US20230410441A1 (en) | Generating user interfaces displaying augmented reality graphics | |
| JP2023039767A (ja) | 表示装置、表示方法、表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |