WO2016159461A1 - 증강현실 기반 인터렉티브 저작 서비스 제공 시스템 - Google Patents

증강현실 기반 인터렉티브 저작 서비스 제공 시스템 Download PDF

Info

Publication number
WO2016159461A1
WO2016159461A1 PCT/KR2015/009610 KR2015009610W WO2016159461A1 WO 2016159461 A1 WO2016159461 A1 WO 2016159461A1 KR 2015009610 W KR2015009610 W KR 2015009610W WO 2016159461 A1 WO2016159461 A1 WO 2016159461A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
content
service providing
user
providing terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/009610
Other languages
English (en)
French (fr)
Inventor
우운택
길경원
하태진
도영임
임지민
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Priority to US15/563,782 priority Critical patent/US20180081448A1/en
Publication of WO2016159461A1 publication Critical patent/WO2016159461A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to an Augmented Reality (AR) based interactive authoring service capable of role playing.
  • AR Augmented Reality
  • Augmented reality is a computer graphics technique that synthesizes virtual objects or information in the real environment and makes them look like objects in the original environment.
  • 3D objects can be observed in detail using an AR marker used as a magnifying glass.
  • the present invention relates to an Augmented Reality (AR) based interactive authoring service capable of role playing, and more particularly, to improve understanding based on education and learning in an AR environment
  • the aim of the present invention is to provide augmented reality service technology capable of performing story telling and role playing related operations to express one's emotions and experience the feelings of others through the interaction of.
  • a wearable device equipped with a head mounted display (HMD) and a content corresponding to a scenario-based predetermined flow through a GUI interface are paired with the wearable device.
  • the present invention provides an augmented reality service capable of improving understanding based on education and learning in an AR environment and performing interaction based on mutual user gestures for expressing one's emotions and interacting with other 3D objects. There is a possible effect.
  • FIG. 1 is a block diagram of an augmented reality based interactive authoring service providing system to which the present invention is applied.
  • FIG. 2 is a detailed block diagram illustrating a configuration of an augmented reality service providing terminal in an augmented reality based interactive authoring service providing system according to an exemplary embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a screen showing a first operation in an interaction mode in an augmented reality based interactive authoring service providing system according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a second operation in an interaction mode in the augmented reality-based interactive authoring service providing system according to an exemplary embodiment of the present invention.
  • the present invention relates to an Augmented Reality (AR) based interactive authoring service capable of role playing, and more particularly, to improve understanding based on education and learning in an AR environment, and to interact with 3D objects.
  • Wearable devices equipped with head mounted displays (HMDs) to perform story telling and role playing related actions to express one's feelings through interaction and to experience others' emotions.
  • the paired augmented reality service providing terminal reproduces the scenario-based content through the GUI interface to monitor interrupts for each object formed in the current page that is played, thereby viewing the object selected by the user from the wearable device through the interrupt.
  • Augmented reality image is generated by overlaying on 3D space
  • the augmented reality service capable of performing interaction based on mutual user gestures by displaying a predetermined item related to the overlaid object on augmented reality image adjacent to the corresponding object and changing the state and position of the object according to a user gesture type.
  • the present invention controls the position of each object in the content to be reproduced according to the user gesture type to the content or three-dimensional space, and converts the expression of the object overlaid on the three-dimensional space corresponding to the selected item to apply the story
  • the aim is to provide skills that cultivate the ability to understand and communicate with other people's emotions and perspectives.
  • FIGS. 1 to 5 An augmented reality based interactive authoring service providing system according to an exemplary embodiment of the present invention will be described in detail with reference to FIGS. 1 to 5.
  • Figure 1 a is an overall configuration of the augmented reality based interactive authoring service providing system to which the present invention is applied.
  • the system to which the present invention is applied includes a user wearable device 110 including a spectacle wearing device or a head mount display (HMD), a pointing device 112 and an augmented reality service providing terminal 114. .
  • a user wearable device 110 including a spectacle wearing device or a head mount display (HMD), a pointing device 112 and an augmented reality service providing terminal 114.
  • the wearable device 110 may transmit additional information along with a current image that is currently visually observed to the user by using a see-through information display means.
  • the wearable device 110 to which the present invention is applied has a camera and is linked with the augmented reality service providing terminal 114 to provide a complementary multimedia service between the augmented reality service providing terminal 114, GPS, and gyro.
  • the augmented reality service providing terminal 114 linked through a network using distance information indirectly measured by the camera based on the corresponding position is supported. It is the level of manipulating or viewing the content being displayed.
  • the viewing is to view an area where content is displayed on the display screen of the wearable device 110 by itself or through the augmented reality service providing terminal 114, and the corresponding area is visually displayed to the user through the wearable device 110.
  • All screen display services that are serviced, multimedia services via the Internet, and image information displayed by the user, for example, augmented reality service providing terminal 114 that is currently visually observed through a camera, or inputted according to a user's gaze movement Is displayed.
  • the pointing device 112 includes a magnetic sensor and selects or activates an object output from the augmented reality service providing terminal 114.
  • the object is an object (10, 11, 12) formed in the image data 116 corresponding to the multimedia service-based content output from the augmented reality service providing terminal 114 as shown in b) of FIG.
  • the content is displayed for each consecutive page in the form of an e-book based on a predetermined flow based on a predetermined scenario and is read from the user.
  • the pointing device 112 may be read. A point is touched by using a touch, that is, a point is touched, and is formed for each page based on a scenario to select or activate a target (object) that performs an event, and the selected or activated result is input to the augmented reality service providing terminal. do.
  • the augmented reality service providing terminal 114 is paired with the wearable device 110 to play a content corresponding to a scenario-based predetermined flow through a GUI interface, and interrupts an object formed in the content.
  • Generates an augmented reality image by overlaying the object in a three-dimensional space that is viewed from the wearable device 110 when the occurrence occurs, and converts the state of each object overlaid according to a user gesture, The location area of the object is converted based on the motion information sensed by the motion sensor.
  • FIG. 2 is a detailed block diagram illustrating a configuration of an augmented reality service providing terminal in an augmented reality based interactive authoring service providing system according to an exemplary embodiment.
  • the augmented reality service providing terminal 200 to which the present invention is applied includes a touch screen 210, a sensing unit 212, a first tracking unit 214, a second tracking unit 216, and a controller. 218, a motion sensor 220, a mode switcher 222, a DB 224, and a content provider 226.
  • the detector 212 detects and outputs a user gesture type input through the touch screen 210.
  • the gesture means “intention” that the user wants to input through an input unit called the touch screen 210 provided in the augmented reality service providing terminal 200, and touches a point of the touch screen 210. That is, pointing by touch.
  • the gesture is a vertical or horizontal state in which the tilt is sensed through the motion sensor 220 of the augmented reality service providing terminal 200 sensed from the motion sensor 220 provided in the augmented reality service providing terminal 200. It may be the intention of the user to form a.
  • the gesture may be an operation of changing the position and state of the object displayed in the augmented reality image through the pointing device.
  • the type of the user gesture is detected through the sensor 212 and the user gesture type detection result is output to the controller 218 to perform a corresponding operation.
  • the first tracking unit 214 is provided on a screen on which a GUI interface is displayed, that is, a position of an object formed for each page corresponding to the content being played by being supported by the content providing unit 226 and supported by the content providing unit 226. (pose) is detected for each predetermined period.
  • the first tracking unit 214 to which the present invention is applied is attached to the back of the augmented reality service providing terminal 200 and based on an image viewed on a wearable device, an object formed for each consecutive page of content provided as an augmented reality image. It is a means for verifying whether or not the detected pose is converted based on the corresponding pose of the object formed for each page of the corresponding content stored in the DB 224 in advance, and applying the verified conversion result to the corresponding page.
  • the second tracking unit 216 senses and outputs a magnetic sensor movement path of an associated pointing device.
  • the second tracking unit 216 controls the sensing data of the pointing device by sensing a magnetic sensor provided in the pointing device moving in real time for object control in the augmented reality image range displayed in the area viewed from the wearable device. Output to (218).
  • the tracking units 214 and 216 to which the present invention is applied can perform image tracking and sensor tracking at the same time.
  • Sensor data is sensed through a magnetic tracker and sensed for each object tracked in the light of the DB 224. Acquire data conversion information and reflect it on the page.
  • the first tracking unit 214 may be provided in connection with the inside or outside of the augmented reality service providing terminal as shown in a) and b) of FIG. 5, respectively.
  • the controller 218 controls the position of the object to be content or a three-dimensional space according to the user gesture type detected by the sensing unit 212, and the object-specific apparatus is adjacent to the object overlaid on the three-dimensional space.
  • the set facial expression item is displayed, and a corresponding object is converted and applied to the content corresponding to the facial expression item selected by the user among the displayed items.
  • FIG. 3 is an exemplary view showing an operation in an interaction mode in the augmented reality based interactive authoring service providing system according to an exemplary embodiment.
  • predetermined content corresponding to a scenario-based preset flow selected from a user is reproduced through a GUI interface on a touch screen of the AR service providing terminal.
  • a predetermined facial expression item for each object is displayed adjacent to an object overlaid on the 3D space through a user interrupt in a predetermined page corresponding to the content displayed on the touch screen in the reading operation, and the user among the displayed items.
  • the object is transformed to correspond to the selected facial expression item from and applied to the content.
  • the preset facial expression item is at least expresses surprise, fear, sadness, anger and laughter, and a plurality of facial expression items for each object included for each content are supported from the DB 224. Accordingly, the controller 218 extracts a preset facial expression item for an object selected by the user and displayed on the augmented reality image from the DB 224 and displays the object as a neighbor to the object, and corresponds to the selected facial expression item. The expression is converted and applied to the expression of the corresponding object in the corresponding page output from the touch screen 210.
  • controller 218 obtains and applies pose information of an object converted according to a user gesture through a DB in which standard pose information for each object included in content for each scenario is stored.
  • the controller 218 sets up a pointing device in a pose for each object of the augmented reality image and a pose setting part, and controls the scene of the augmented reality image to be enlarged according to the movement of the pointing device.
  • the magnetic sensor is mapped to the position of the other magnetic sensor and the position of the pointing device so that the user can hold the augmented reality service providing terminal and operate the pointing device, and the magnetic sensor loses camera tracking when the augmented reality service providing terminal is blocked. To prevent tracking failures, they are positioned at different relative positions on the X and Z axes to adjust their position with the magnetic sensors of the pointing device.
  • the mode switching unit 222 switches the regeneration mode or the interaction mode according to whether the threshold value for the sensing value corresponding to the tracking result of the tracking units 214 and 216 is exceeded under the control of the control unit 218.
  • the interaction mode is a mode that is executed when the rotation angle of the magnetic sensor is less than a threshold value to render an augmented reality image and record a voice from a user.
  • the threshold is a rotation angle on the x-axis orthogonal to the augmented reality service providing terminal, the augmented reality service providing terminal in the interaction mode renders a predetermined 3D character background augmented reality scene, the reader (reader) and the interactive 3D character Interact and record your own voice. This is stored in DB 224.
  • the reproduction mode is executed when the augmented reality service providing terminal 200 is held vertically, and when the angle of rotation of the magnetic sensor exceeds a threshold value, an animated 3D character is rendered through a virtual view, and the animation is recorded in the interaction mode. User voice is output.
  • the augmented reality service providing terminal to which the present invention is applied is composed of a play mode and an interaction mode.
  • a child can perform a role play by selecting an emotion of an interactive character and selecting a virtual dialog box. .
  • the user can watch the content provided from the AR terminal while wearing the wearable device, and can select a virtual scene corresponding to the content or manipulate the corresponding virtual character.
  • a magic wand appears, which can be manipulated by clicking on the move icon.
  • three emotion icons and a microphone icon are reinforced around the interactive text.
  • the emotion between the "sun and the wind" the child can select the appropriate emotion in the field.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 HMD(Head Mounted Display)가 구비된 웨어러블(wearable) 디바이스와, 상기 웨어러블 디바이스와 페어링(pairing)되어 GUI 인터페이스를 통해 시나리오 기반 기설정된 플로우(flow)에 대응하는 콘텐츠를 재생하고, 상기 콘텐츠에 형성된 오브젝트에 인터럽트(interrupt) 발생 시 상기 웨어러블 디바이스로부터 뷰잉(viewing) 되는 3차원 공간에 해당 오브젝트를 오버레이(overlay)하여 증강현실 영상을 생성하고, 사용자 제스처(gesture)에 따라 오버레이된 오브젝트별 상태를 변환하고, 움직임 센서를 통해 센싱되는 움직임 정보를 기반으로 상기 오브젝트의 위치 영역을 변환하는 증강현실 서비스 제공 단말과, 자기 센서(magnetic sensor)를 구비하고, 상기 증강현실 서비스 제공 단말로부터 출력되는 오브젝트를 선택하거나 활성화하는 포인팅 디바이스를 포함함을 특징으로 한다.

Description

증강현실 기반 인터렉티브 저작 서비스 제공 시스템
본 발명은 역할 놀이(role playing)가 가능한 증강현실(AR: Augmented Reality) 기반 인터렉티브(interactive) 저작 서비스에 관한 것이다.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
이러한 AR 시스템 환경에서 사용자들은 자신의 이해를 높이기 위해 다양한 관점에서 3D 객체와 상호 작용할 수 있다. 예컨대, 과학 교육에 대한 AR 애플리케이션에서는 돋보기로 사용되는 AR 마커를 사용하여 상세하게 3D 동물을 관찰할 수 있다.
이와 같이, AR이 제공되는 전자책에서는 전통적인 종이 책에 가상 3D 객체를 확장하고 팝업 책을 참조로 독자를 위한 실제 환경 제공이 가능하나. 실제 자신의 감정을 표현하거나 감정을 이입하여 타인에 대한 감정을 경험하거나 특정 시나리오 전개 방식으로 상호 소통이 가능한 대화형 스토리 텔링(story telling) 및 특정 스토리 기반의 롤 플레잉에 대한 연구가 부족한 실정이다.
따라서 본 발명은 역할 놀이(role playing)가 가능한 증강현실(AR: Augmented Reality) 기반 인터렉티브(interactive) 저작 서비스에 관한 것으로, 더욱 상세하게는 AR 환경에서 교육과 학습에 기반한 이해도를 높이고, 3D 객체와의 상호 작용을 통해 자신의 감정을 표현하고 타인의 감정을 경험하기 위한 스토리 텔링(story telling) 및 롤 플레잉(role playing) 관련 동작 수행이 가능한 증강현실 서비스 기술을 제공하고자 한다.
본 발명의 일 견지에 따르면, HMD(Head Mounted Display)가 구비된 웨어러블(wearable) 디바이스와, 상기 웨어러블 디바이스와 페어링(pairing)되어 GUI 인터페이스를 통해 시나리오 기반 기설정된 플로우(flow)에 대응하는 콘텐츠를 재생하고, 상기 콘텐츠에 형성된 오브젝트에 인터럽트(interrupt) 발생 시 상기 웨어러블 디바이스로부터 뷰잉(viewing) 되는 3차원 공간에 해당 오브젝트를 오버레이(overlay)하여 증강현실 영상을 생성하고, 사용자 제스처(gesture)에 따라 오버레이된 오브젝트별 상태를 변환하고, 움직임 센서를 통해 센싱되는 움직임 정보를 기반으로 상기 오브젝트의 위치 영역을 변환하는 증강현실 서비스 제공 단말과, 자기 센서(magnetic sensor)를 구비하고, 상기 증강현실 서비스 제공 단말로부터 출력되는 오브젝트를 선택하거나 활성화하는 포인팅 디바이스를 포함함을 특징으로 한다.
본 발명은 AR 환경에서 교육과 학습에 기반한 이해도를 높이고, 3D 객체와의 상호 작용을 통해 자신의 감정을 표현하고 타인의 감정을 경험하기 위한 상호 사용자 제스처 기반의 인터렉션 수행이 가능한 증강현실 서비스 제공이 가능한 효과가 있다.
도 1은 본 발명이 적용된 증강현실 기반 인터렉티브 저작 서비스 제공 시스템의 전체 구성도.
도 2는 본 발명의 일 실시 예에 따른 증강현실 기반 인터렉티브 저작 서비스 제공 시스템에 있어서, 증강현실 서비스 제공 단말의 구성을 보인 상세 블록도.
도 3은 본 발명의 일 실시 예에 따른 증강현실 기반 인터렉티브 저작 서비스 제공 시스템에 있어서, 상호 작용 모드에서의 제1 동작을 보인 화면 예시도.
도 4는 본 발명의 일 실시 예에 따른 증강현실 기반 인터렉티브 저작 서비스 제공 시스템에 있어서, 상호 작용 모드에서의 제2 동작을 보인 화면 예시도.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명은 역할 놀이(role playing)가 가능한 증강현실(AR: Augmented Reality) 기반 인터렉티브(interactive) 저작 서비스에 관한 것으로, 더욱 상세하게는 AR 환경에서 교육과 학습에 기반한 이해도를 높이고, 3D 객체와의 상호 작용을 통해 자신의 감정을 표현하고 타인의 감정을 경험하기 위한 스토리 텔링(story telling) 및 롤 플레잉(role playing) 관련 동작 수행을 위해 HMD(Head Mounted Display)가 구비된 웨어러블(wearable) 디바이스와 페어링(pairing)된 증강현실 서비스 제공 단말에서 시나리오 기반 콘텐츠를 GUI 인터페이스를 통해 재생하여 재생되는 현재 페이지 내 형성되는 오브젝트별 인터럽트를 모니터링하여 상기 인터럽트를 통해 사용자로부터 선택된 오브젝트를 상기 웨어러블 디바이스로부터 뷰잉(viewing) 되는 3차원 공간에 오버레이(overlay)하여 증강현실 영상을 생성하고, 상기 오버레이된 오브젝트 관련 기설정된 아이템을 해당 오브젝트와 이웃되게 증강현실 영상에 디스플레이하여 사용자 제스처(gesture) 타입에 따라 오브젝트의 상태 및 위치를 변경함으로써 상호 사용자 제스처 기반의 인터렉션 수행이 가능한 증강현실 서비스 기술을 제공하고자 한다.
또한, 본 발명은 사용자 제스처 타입에 따라 재생되는 콘텐츠내 각 오브젝트별 위치를 콘텐츠 혹은 3차원 공간으로 제어하고, 3차원 공간에 오버레이된 오브젝트의 표정을 선택된 아이템에 대응되게 변환하여 콘텐츠에 적용함으로써 스토리와 캐릭터 제어를 통해 타인의 감정과 관점을 이해하는 능력 및 소통하는 능력이 배양되는 기술을 제공하고자 한다.
이하, 본 발명의 일 실시 예에 따른 증강현실 기반 인터렉티브 저작 서비스 제공 시스템에 대해 도 1 내지 도 5를 참조하여 자세히 살펴보기로 한다.
먼저, 도 1의 a)는 본 발명이 적용된 증강현실 기반 인터렉티브 저작 서비스 제공 시스템의 전체 구성도이다.
본 발명이 적용된 시스템은 안경형 착용 디바이스 혹은 헤드 마운트 디스플레이(Head Mount Display, HMD)를 포함하는 사용자 웨어러블(wearable) 디바이스(110), 포인팅 디바이스(112) 및 증강현실 서비스 제공 단말(114)를 포함한다.
상기 웨어러블(wearable) 디바이스(110)은 시스루(See-Through) 정보 표시 수단을 이용하여 사용자에게 현재 시각적으로 관찰되는 현재 영상과 더불어 추가적인 정보 전달이 가능하다.
또한, 본 발명이 적용된 웨어러블 디바이스(110)은 카메라를 구비하며 상기 증강현실 서비스 제공 단말(114)과 연동되어 상기 증강현실 서비스 제공 단말(114)간 상호 보완적 멀티미디어 서비스를 제공하며, GPS, 자이로, 가속도 및 나침반 등의 센서를 통해 객체의 위치를 확인한 후 해당 위치를 기점으로 하여 상기 카메라를 통해 간접적으로 측정된 거리 정보를 이용하여 네트워크를 통해 연동된 증강현실 서비스 제공 단말(114)을 통해 지원되는 콘텐츠를 조작하거나 뷰잉(viewing)하는 수준이다.
이때, 뷰잉은 웨어러블 디바이스(110)의 디스플레이 화면에서 자체적으로 혹은 상기 증강현실 서비스 제공 단말(114)을 통해 콘텐츠가 표시되는 영역을 시청하는 것으로 해당 영역은 웨어러블 디바이스(110)를 통해 시각적으로 사용자에게 서비스되는 모든 화면 디스플레이 서비스와, 인터넷을 통한 멀티미디어 서비스 및 사용자가 카메라를 통해 현재 시각적으로 관찰되는 예컨대, 상기 증강현실 서비스 제공 단말(114)로부터 디스플레이되는 혹은 사용자의 시선 이동에 따라 입력되는 영상 정보가 디스플레이된다.
상기 포인팅 디바이스(112)는 자기 센서(magnetic sensor)를 구비하고 상기 증강현실 서비스 제공 단말(114)로부터 출력되는 오브젝트를 선택하거나 활성화한다.
이때, 상기 오브젝트는 도 1의 b)에 도시된 바와 같이 증강현실 서비스 제공 단말(114)로부터 출력되는 멀티미디어 서비스 기반 콘텐츠에 대응하는 영상 데이터(116) 내 형성되는 객체(object, 10, 11, 12)이며, 상기 콘텐츠는 소정 시나리오를 근거로 하여 미리 설정된 플로우(flow)를 기반으로 전자 서적 형태의 연속된 페이지별로 디스플레이되어 사용자로부터 리딩(reading)되는 것으로, 본 발명에 의하면 상기 포인팅 디바이스(112)를 이용하여 어떤 한 점을 접촉 즉, 터치에 의해 포인팅되어 시나리오 기반으로 각 페이지별로 형성되어 이벤트를 수행하는 대상(오브젝트)을 선택 혹은 활성화하여 상기 선택 혹은 활성화된 결과가 증강현실 서비스 제공 단말로 입력된다.
상기 증강현실 서비스 제공 단말(114) 상기 웨어러블 디바이스(110)와 페어링(pairing)되어 GUI 인터페이스를 통해 시나리오 기반 기설정된 플로우(flow)에 대응하는 콘텐츠를 재생하고, 상기 콘텐츠에 형성된 오브젝트에 인터럽트(interrupt) 발생 시 상기 웨어러블 디바이스(110)로부터 뷰잉(viewing) 되는 3차원 공간에 해당 오브젝트를 오버레이(overlay)하여 증강현실 영상을 생성하고, 사용자 제스처(gesture)에 따라 오버레이된 오브젝트별 상태를 변환하고, 움직임 센서를 통해 센싱되는 움직임 정보를 기반으로 상기 오브젝트의 위치 영역을 변환한다.
여기서, 도 2를 참조하면, 도 2는 본 발명의 일 실시 예에 따른 증강현실 기반 인터렉티브 저작 서비스 제공 시스템에 있어서, 증강현실 서비스 제공 단말의 구성을 보인 상세 블록도이다.
도 2에 도시된 바와 같이, 본 발명이 적용된 증강현실 서비스 제공 단말(200)은 터치스크린(210), 감지부(212), 제1 추적부(214), 제2 추적부(216), 제어부(218), 움직임 센서(220), 모드 전환부(222), DB(224) 및 콘텐츠 제공부(226)를 포함한다.
상기 감지부(212)는 터치스크린(210)을 통해 입력되는 사용자 제스처 타입을 감지하여 출력한다.
이때, 상기 제스처는 증강현실 서비스 제공 단말(200)에 구비된 터치스크린(210)이라는 입력부를 통해서 사용자가 입력하고자 하는 "의도"를 의미하는 것으로, 상기 터치스크린(210)의 어떤 한 점을 접촉 즉, 터치에 의해서 포인팅하는 것이다.
또한, 상기 제스처는 증강현실 서비스 제공 단말(200) 내 구비된 움직임 센서(220)로부터 센싱되는 상기 증강현실 서비스 제공 단말(200)의 움직임 센서(220)를 통해 그 기울기가 센싱되는 수직 혹은 수평 상태를 형성하는 사용자의 의도일 수 있다.
그리고, 상기 제스처는 포인팅 디바이스를 통해 증강현실 영상에 디스플레이된 오브젝트의 위치 및 상태를 변경하는 동작일 수 있다.
이와 같이 본 발명에서는 사용자 제스처의 타입을 감지부(212)를 통해 감지하여 대응하는 동작 수행을 위해 제어부(218)로 사용자 제스처 타입 감지 결과를 출력한다.
상기 제1 추적부(214)는 GUI 인터페이스가 디스플레이되는 화면 즉, 터치스크린(210)에 대향되는 위치에 구비되어 콘텐츠 제공부(226)로부터 지원되어 재생 중인 콘텐츠에 대응하는 페이지별 형성된 오브젝트의 포즈(pose)를 기설정된 주기별로 검출한다.
본 발명이 적용된 제1 추적부(214)는 증강현실 서비스 제공 단말(200)의 뒷면에 부착되어 웨어러블 디바이스에 뷰잉되는 영상에 기초하여 증강현실 영상으로 제공되는 콘텐츠의 연속되는 페이지별 형성되는 오브젝트의 포즈를 검출하여 검출된 포즈를 상기 DB(224)에 미리 저장된 해당 콘텐츠의 페이지별 형성된 오브젝트의 해당 포즈에 기초하여 변환 여부를 검증하여 검증된 변환 결과를 해당 페이지에 적용하기 위한 수단이다.
상기 제2 추적부(216)는 연동된 포인팅 디바이스의 자기 센서 이동 경로를 센싱하여 출력한다. 이때, 상기 제2 추적부(216)는 웨어러블 디바이스로부터 뷰잉되는 영역 내에 디스플레이되는 증강현실 영상 범위에서 오브젝트 제어를 위해 실시간으로 이동하는 포인팅 디바이스에 구비된 자기 센서를 센싱하여 포인팅 디바이스의 센싱 데이터를 제어부(218)로 출력한다.
이와 같이, 본 발명이 적용된 추적부(214, 216)은 이미지 추적 및 센서 추적을 동시에 수행 가능한 것으로, 자기 트래커(magnetic tracker)를 통해 센서 데이터가 센싱되어 DB(224)에 비추어 추적된 오브젝트별 센싱 데이터의 변환 정보를 획득하여 해당 페이지에 반영한다.
한편, 본 발명에서 제1 추적부(214)는 도 5의 a), b)에 각각 도시된 바와 같이 증강현실 서비스 제공 단말 내 혹은 외부에 연계되어 구비될 수 있다.
계속해서, 상기 제어부(218)은 감지부(212)에서 감지된 사용자 제스처 타입에 따라 상기 오브젝트의 위치를 콘텐츠 혹은 3차원 공간으로 제어하고, 상기 3차원 공간에 오버레이된 오브젝트에 인접되게 오브젝트별 기설정된 표정 아이템을 디스플레이하고, 상기 디스플레이된 아이템 중 사용자로부터 선택된 표정 아이템에 대응되게 해당 오브젝트를 변환하여 상기 콘텐츠에 적용한다.
여기서, 도 3을 참조하면, 도 3은 본 발명의 일 실시 예에 따른 증강현실 기반 인터렉티브 저작 서비스 제공 시스템에 있어서, 상호 작용 모드에서의 동작을 보인 화면 예시도이다.
도 3에 도시된 바와 같이, Reading 동작에서는 증강현실 서비스 제공 단말의 터치스크린에 GUI적 인터페이스를 통해 사용자로부터 선택된 시나리오 기반 기설정된 플로우에 대응하는 소정의 콘텐츠를 재생한다.
Emotion selecting 동작에서는 상기 Reading 동작에서 터치스크린에 디스플레이된 콘텐츠에 대응하는 소정 페이지에서 사용자 인터럽트를 통해 3차원 공간에 오버레이된 오브젝트에 인접되게 오브젝트별 기설정된 표정 아이템을 디스플레이하고, 상기 디스플레이된 아이템 중 사용자로부터 선택된 표정 아이템에 대응되게 해당 오브젝트를 변환하여 상기 콘텐츠에 적용한다.
이때, 상기 기설정된 표정 아이템은 놀람, 두려움, 슬픔, 화남 및 웃음 등이 적어도 표현되는 것으로, DB(224)로부터 콘텐츠별 포함된 오브젝트별 복수의 표정 아이템이 지원된다. 따라서, 상기 제어부(218)은 사용자로부터 선택되어 증강현실 영상에 디스플레이된 오브젝트에 대한 기설정된 표정 아이템을 DB(224)로부터 추출하여 해당 오브젝트에 이웃되게 디스플레이하고, 선택된 표정 아이템에 대응되게 해당 오브젝트의 표정을 변환하여 터치스크린(210)에서 출력되는 해당 페이지 내 해당 오브젝트의 표정으로 적용한다.
또한, 상기 제어부(218)는 시나리오별 콘텐츠에 포함되는 오브젝트별 표준 포즈 정보가 저장된 DB를 통해 사용자 제스처에 따라 변환된 오브젝트의 포즈 정보를 획득하여 적용한다.
한편, 상기 제어부(218)은 증강현실 영상의 오브젝트별 포즈와 포즈 설정 부분에서 포인팅 디바이스를 셋업하여 상기 포인팅 디바이스의 움직임에 따라 상기 증강현실 영상의 장면이 확대되도록 제어한다.
사용자가 증강현실 서비스 제공 단말을 잡고 포인팅 디바이스를 조작할 수 있도록 다른 자기 센서의 위치, 포인팅 디바이스의 위치에 매핑되며, 상기 자기 센서는 증강현실 서비스 제공 단말이 가려지면 카메라 추적이 손실되며, 이러한 카메라 추적의 실패를 방지하기 위해 X축 및 Z축의 다른 상대 위치에 배치하여 포인팅 디바이스의 자기 센서와 위치를 조정한다.
상기 모드 전환부(222)는 제어부(218)의 제어 하에 추적부(214, 216)의 추적 결과에 대응되는 센싱값에 대한 임계치 초과 여부에 따라 재생 모드 혹은 상호 작용 모드를 스위칭한다.
상기 상호 작용 모드는 자기 센서의 회전 각이 임계값 미만인 경우 실행되어 증강현실 영상을 렌더링하고 사용자로부터 음성을 기록하는 모드이다.
상기 임계값은 증강현실 서비스 제공 단말과 직교 x축에서 회전 각도이고, 상기 상호 작용 모드에서 증강현실 서비스 제공 단말은 소정 3D 캐릭터 배경 증강현실 장면을 렌더링하고, 리더(reader)는 대화형 3D 캐릭터와 상호 작용하고, 자신의 음성을 녹음할 수 있다. 이는 DB(224)에 저장된다.
상기 재생 모드는 증강현실 서비스 제공 단말(200)을 수직으로 유지하고, 자기 센서의 회적 각이 임계값을 초과하는 경우 실행되어 가상 보기를 통해 애니메이션 3D 캐릭터가 렌더링되고, 상기 상호 작용 모드에서 기록된 사용자 음성이 출력된다.
더욱 상세하게는, 본 발명이 적용된 증강현실 서비스 제공 단말에서는 재생 모드와 상호 작용 모드로 구성되어 있으며, 예컨대 아이는 대화형 캐릭터의 감정을 선택하고 가상의 대화 상자를 선택하여 역할 놀이 수행이 가능하다.
상기 상호 작용 모드에서는 사용자가 웨어러블 디바이스를 착용하고 있는 동안 증강현실 단말에서 제공되는 콘텐츠를 시청 가능하고, 이에 대응하는 가상 장면을 선택하거나 해당 가상 캐릭터를 조작 가능하다.
예를 들어, 아이의 관점에서, 마법의 지팡이가 나타나고 이는 손을 이동 아이콘을 클릭하여 조작할 수 있다. 도 4에 도시된 바와 같이, 태양 또는 바람이 선택되면, 세 감정 아이콘 및 마이크 아이콘은 대화식 문자 주위에 강화된다. 상기 "태양과 바람" 사이의 감정 (행복, 슬픔과 분노는) 다음으로, 아이는 현장에서 적절한 감정 선택이 가능하다.
마법의 지팡이 아이콘을 터치하면, 아이콘의 색상 변경이 선택되고, 태양과 바람에 대응하는 선택 감정에 따라 자신의 얼굴 표정이 변경된다. 표정 변화를 본 후, 아이는 마이크 아이콘을 선택하고 태양이나 바람의 관점에서 감정 또는 선을 말한다. 이러한 상호 작용의 관점 변화할 수 있는 기회를 제공하는 상호 작용 모드로 구성된다. 아이가 수직으로 증강현실 서비스 제공 단말을 보유한 경우, 가상 장면은 도 4에서와 같이 단말의 회전에 대응하여 단말로 이동하여 출력된다.
상기와 같이 본 발명에 따른 증강현실 기반 인터렉티브 저작 서비스 제공 시스템에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

Claims (3)

  1. HMD(Head Mounted Display)가 구비된 웨어러블(wearable) 디바이스와,
    상기 웨어러블 디바이스와 페어링(pairing)되어 GUI 인터페이스를 통해 시나리오 기반 기설정된 플로우(flow)에 대응하는 콘텐츠를 재생하고, 상기 콘텐츠에 형성된 오브젝트에 인터럽트(interrupt) 발생 시 상기 웨어러블 디바이스로부터 뷰잉(viewing) 되는 3차원 공간에 해당 오브젝트를 오버레이(overlay)하여 증강현실 영상을 생성하고, 사용자 제스처(gesture)에 따라 오버레이된 오브젝트별 상태를 변환하고, 움직임 센서를 통해 센싱되는 움직임 정보를 기반으로 상기 오브젝트의 위치 영역을 변환하는 증강현실 서비스 제공 단말과,
    자기 센서(magnetic sensor)를 구비하고, 상기 증강현실 서비스 제공 단말로부터 출력되는 오브젝트를 선택하거나 활성화하는 포인팅 디바이스를 포함함을 특징으로 하는 증강현실(augmented reality) 기반 인터렉티브 저작 서비스 제공 시스템.
  2. 제1항에 있어서, 상기 증강현실 서비스 제공 단말은,
    사용자 제스처 타입을 감지하여 출력하는 감지부와,
    상기 GUI 인터페이스가 디스플레이되는 화면에 대향되는 위치에 구비되어 재생 중인 콘텐츠에 대응하는 페이지별 형성된 오브젝트의 포즈를 기설정된 주기별로 검출하는 제1 추적부와,
    연동된 상기 포인팅 디바이스의 자기 센서 이동 경로를 센싱하여 출력하는 제2 추적부와,
    사용자 제스처 타입에 따라 상기 오브젝트의 위치를 콘텐츠 혹은 3차원 공간으로 제어하고, 상기 3차원 공간에 오버레이된 오브젝트에 인접되게 오브젝트별 기설정된 표정 아이템을 디스플레이하고, 상기 디스플레이된 아이템 중 사용자로부터 선택된 표정 아이템에 대응되게 해당 오브젝트를 변환하여 상기 콘텐츠에 적용하고, 시나리오별 콘텐츠에 포함되는 오브젝트별 표준 포즈 정보가 저장된 DB를 통해 사용자 제스처에 따라 변환된 오브젝트의 포즈 정보를 획득하여 적용하는 제어부와,
    상기 제어부의 제어 하에 추적부의 추적 결과에 대응되는 센싱값에 대한 임계치 초과 여부에 따라 재생 모드 혹은 상호 작용 모드를 스위칭하는 모드 전환부를 포함함을 특징으로 하는 증강현실 기반 인터렉티브 저작 서비스 제공 시스템.
  3. 제2항에 있어서,
    상기 상호 작용 모드는 자기 센서의 회전 각이 임계값 미만인 경우 실행되어 증강현실 영상을 렌더링하고 사용자로부터 음성을 기록하는 모드이고,
    상기 재생 모드는 자기 센서의 회적 각이 임계값을 초과하는 경우 실행되어 가상 보기를 통해 애니메이션 3D 캐릭터가 렌더링되고, 상기 상호 작용 모드에서 기록된 사용자 음성이 출력됨을 특징으로 하는 증강현실 기반 인터렉티브 저작 서비스 제공 시스템.
PCT/KR2015/009610 2015-04-03 2015-09-14 증강현실 기반 인터렉티브 저작 서비스 제공 시스템 Ceased WO2016159461A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/563,782 US20180081448A1 (en) 2015-04-03 2015-09-14 Augmented-reality-based interactive authoring-service-providing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0047712 2015-04-03
KR1020150047712A KR102304023B1 (ko) 2015-04-03 2015-04-03 증강현실 기반 인터렉티브 저작 서비스 제공 시스템

Publications (1)

Publication Number Publication Date
WO2016159461A1 true WO2016159461A1 (ko) 2016-10-06

Family

ID=57004435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/009610 Ceased WO2016159461A1 (ko) 2015-04-03 2015-09-14 증강현실 기반 인터렉티브 저작 서비스 제공 시스템

Country Status (3)

Country Link
US (1) US20180081448A1 (ko)
KR (1) KR102304023B1 (ko)
WO (1) WO2016159461A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600367A (zh) * 2018-04-24 2018-09-28 上海奥孛睿斯科技有限公司 物联网系统及方法
US11855933B2 (en) 2021-08-20 2023-12-26 Kyndryl, Inc. Enhanced content submissions for support chats

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975083B (zh) * 2016-05-27 2019-01-18 北京小鸟看看科技有限公司 一种虚拟现实环境下的视觉校正方法
CN111611575A (zh) * 2016-10-13 2020-09-01 创新先进技术有限公司 基于虚拟现实场景的业务实现方法及装置
US10338767B2 (en) * 2017-04-18 2019-07-02 Facebook, Inc. Real-time delivery of interactions in online social networking system
KR101916146B1 (ko) * 2017-07-19 2019-01-30 제이에스씨(주) Ar과 vr을 기반으로 하는 독서 체험 서비스 제공 방법 및 시스템
CN109511004B (zh) * 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
CN107766303A (zh) * 2017-10-23 2018-03-06 百度在线网络技术（北京）有限公司 向用户提供3d阅读场景
KR101992424B1 (ko) * 2018-02-06 2019-06-24 (주)페르소나시스템 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
KR101983496B1 (ko) * 2018-03-12 2019-05-28 순천향대학교 산학협력단 캐릭터 위치 및 사물 위치를 반영한 증강현실 대화 시스템 및 방법
EP3876547A4 (en) * 2018-10-29 2021-09-08 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHODS AND INFORMATION PROCESSING SYSTEM
JP6720385B1 (ja) * 2019-02-07 2020-07-08 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
CN110764264B (zh) * 2019-11-07 2022-02-15 中勍科技有限公司 一种ar智能眼镜
KR102862950B1 (ko) * 2019-11-25 2025-09-22 삼성전자 주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
US11145319B2 (en) * 2020-01-31 2021-10-12 Bose Corporation Personal audio device
US11409368B2 (en) * 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
KR102717796B1 (ko) 2020-05-08 2024-10-16 삼성전자 주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2022075990A1 (en) * 2020-10-08 2022-04-14 Hewlett-Packard Development Company, L.P. Augmented reality documents
KR102404667B1 (ko) * 2020-12-04 2022-06-07 주식회사 크리스피 증강현실 기반의 컨텐츠 제공 장치 및 방법
CN112558699B (zh) * 2020-12-23 2024-04-26 联想(北京)有限公司 一种触控方法、装置、设备及计算机可读存储介质
CN114895781A (zh) * 2022-05-11 2022-08-12 中国银行股份有限公司 银行系统及其使用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184398A (ja) * 1998-10-09 2000-06-30 Sony Corp 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体
KR20110091126A (ko) * 2010-02-05 2011-08-11 에스케이텔레콤 주식회사 도서형 증강현실에서 페이지 전환에 따른 증강현실 방법 및 시스템, 이를 구현하기 위한 증강현실 처리장치
KR20110099176A (ko) * 2010-03-01 2011-09-07 이문기 증강현실의 포인팅 장치
US20130222381A1 (en) * 2012-02-28 2013-08-29 Davide Di Censo Augmented reality writing system and method thereof
KR20130136569A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
KR20150006195A (ko) * 2013-07-08 2015-01-16 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184398A (ja) * 1998-10-09 2000-06-30 Sony Corp 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体
KR20110091126A (ko) * 2010-02-05 2011-08-11 에스케이텔레콤 주식회사 도서형 증강현실에서 페이지 전환에 따른 증강현실 방법 및 시스템, 이를 구현하기 위한 증강현실 처리장치
KR20110099176A (ko) * 2010-03-01 2011-09-07 이문기 증강현실의 포인팅 장치
KR20130136569A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
US20130222381A1 (en) * 2012-02-28 2013-08-29 Davide Di Censo Augmented reality writing system and method thereof
KR20150006195A (ko) * 2013-07-08 2015-01-16 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600367A (zh) * 2018-04-24 2018-09-28 上海奥孛睿斯科技有限公司 物联网系统及方法
US11855933B2 (en) 2021-08-20 2023-12-26 Kyndryl, Inc. Enhanced content submissions for support chats

Also Published As

Publication number Publication date
US20180081448A1 (en) 2018-03-22
KR102304023B1 (ko) 2021-09-24
KR20160118859A (ko) 2016-10-12

Similar Documents

Publication Publication Date Title
WO2016159461A1 (ko) 증강현실 기반 인터렉티브 저작 서비스 제공 시스템
US11969666B2 (en) Head-mounted display for navigating virtual and augmented reality
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements
US11775130B2 (en) Guided retail experience
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
Bai et al. Bringing full-featured mobile phone interaction into virtual reality
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
JP2022540315A (ja) 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
US20150277699A1 (en) Interaction method for optical head-mounted display
WO2010062117A2 (en) Immersive display system for interacting with three-dimensional content
CN110141855A (zh) 视角控制方法、装置、存储介质及电子设备
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
Stuerzlinger et al. The value of constraints for 3D user interfaces
Chong et al. Challenges in virtual reality system: A review
Shin et al. Incorporating real-world object into virtual reality: using mobile device input with augmented virtuality
US20240028130A1 (en) Object movement control method, apparatus, and device
JP7530470B2 (ja) Ｘｒ仮想トラックパッド
Billinghurst Foundations and TrendsR• in Human-Computer Interaction Vol. 8, No. 2-3 (2014) 73–272 c• 2015 M. Billinghurst, A. Clark, and G. Lee
Letellier et al. Visualization and interaction techniques in virtual reality for guided tours
Huang Virtual reality/augmented reality technology: the next chapter of human-computer interaction
Claydon Alternative realities: from augmented reality to mobile mixed reality
Gaddis Using Virtual Reality To Bring Your Instruction to Life.
JP7560591B2 (ja) ユーザインターフェースを制御するための方法、コンピューティングシステム、およびコンピュータ読み取り可能な記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15887869

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15563782

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15887869

Country of ref document: EP

Kind code of ref document: A1