WO2017188637A1 - Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치 - Google Patents

Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치 Download PDF

Info

Publication number
WO2017188637A1
WO2017188637A1 PCT/KR2017/004090 KR2017004090W WO2017188637A1 WO 2017188637 A1 WO2017188637 A1 WO 2017188637A1 KR 2017004090 W KR2017004090 W KR 2017004090W WO 2017188637 A1 WO2017188637 A1 WO 2017188637A1
Authority
WO
WIPO (PCT)
Prior art keywords
message
event
occurrence
user
communication terminal
Prior art date
Application number
PCT/KR2017/004090
Other languages
English (en)
French (fr)
Inventor
정상권
이국환
강현삼
Original Assignee
주식회사 조이펀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 조이펀 filed Critical 주식회사 조이펀
Priority to US16/088,683 priority Critical patent/US20190109938A1/en
Publication of WO2017188637A1 publication Critical patent/WO2017188637A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724097—Worn on the head
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Definitions

  • the present invention receives a text message such as a phone call, SMS, etc. to a communication terminal such as a smartphone coupled with a VR device while displaying a stereoscopic image through a VR (Virtual Reality) device based on an HMD (Head Mounted Display).
  • a text message such as a phone call, SMS, etc.
  • a communication terminal such as a smartphone coupled with a VR device while displaying a stereoscopic image through a VR (Virtual Reality) device based on an HMD (Head Mounted Display).
  • HMD Head Mounted Display
  • the present invention relates to a message display method and apparatus for generating an event in a VR device that can solve a problem of feeling a large amount of foreign object due to the display of a bar or a box of a background and appearing as if it is an error message.
  • 3D stereoscopic image is a more realistic image that simultaneously provides depth and spatial shape information.
  • 3D stereoscopic image is a spatial recognition concept that is synthesized by the human eye (ie, left / right eyes) that recognizes an environment that has a volume that has already been learned and is organized in the brain. It provides a sense of presence, realism and virtual reality.
  • This 3D stereoscopic image technology is a field of VR and VR, which is a technology that makes a user feel immersive and interacts with the human sense organs through the processing situation or environment created using a computer, and synthesizes virtual objects in the real environment.
  • AR Augmented Reality
  • MR Mated Reality
  • 3D stereoscopic image technology can be classified into large system technology and portable system technology.
  • Large-scale system technology consists of a projection module for outputting a large-scale image, a screen module to which the image is administered, and a left and right visual information separation module for presenting binocular viewing, for example, a polarizing filter with a projector and stereoscopic glasses.
  • large-scale users such as virtual reality experience halls of theme parks and large stereoscopic movie theaters are used for the purpose of enjoying stereoscopic image contents at the same time.
  • a representative form of portable system technology is a head worn display device (HMD) / face mounted display device (FMD). These devices have a structure similar to eyeglasses, and are integrated with optical magnification structures, and have a structure for receiving two channels of image information and a separate module for the left and right eyes for stereoscopic visual display. This is used in environments that visualize personal information or in conditions requiring high degrees of freedom, such as mobile computing.
  • HMD head worn display device
  • FMD face mounted display device
  • HMD-based VR devices are becoming more active due to the advantages that can be easily used in combination with communication terminals such as smartphones that most people are currently using, and the VR industry is deeply into our lives. It is expected to bring substantial change and innovation.
  • the HMD-based VR technology industry is a complex industry with many technologies and disciplines, and is expected to promote the mutual growth of the downstream industries such as medical, education, and game, and the rear industries such as display, SW, and communication.
  • the HMD-based VR device includes a telephone call, a text message such as an SMS, a message by a messenger program or an application to a communication terminal such as a smartphone coupled with a VR device in a process of checking a stereoscopic image.
  • a text message such as an SMS
  • a messenger program such as a smartphone coupled with a VR device in a process of checking a stereoscopic image.
  • the message according to the occurrence of the event is displayed in the form of a bar or a box of black background, which is clearly different from the stereoscopic image currently being played, so that the user can recognize it as if an error message has appeared.
  • an event such as a phone call, a text message such as SMS, a message received by a messenger program or an application, etc. occurs in a communication terminal such as a smartphone coupled with a VR device
  • a communication terminal such as a smartphone coupled with a VR device
  • Korean Laid-Open Patent Publication No. 10-2007-0117431 (December 12, 2007) relates to a stereoscopic image reproducing system. More specifically, various types of virtual reality software can be applied, and stereoscopic images of various formats can be reproduced.
  • the present invention relates to a stereoscopic image reproducing system capable of widening the utilization of the stereoscopic image reproducing system and reducing the production cost of the stereoscopic image reproducing system.
  • the prior art is to play a stereoscopic image of various formats, the present invention in contrast to the message displayed in response to the occurrence of an event, such as a phone call, text reception in the process of playing the stereoscopic image is displayed in conjunction with the stereoscopic image currently being reproduced
  • an event such as a phone call
  • Korean Patent No. 10-0809479 (2008.02.26.) Relates to a display device in a mixed reality environment, and more particularly, to a face wearable display device and a method for a mixed reality environment.
  • the prior art enables a natural synthesis of image information and personal image information from outside of a face wearable display device in a mixed reality environment in which a plurality of artificial images and an external natural image are synthesized, and is presented separately. It is characterized by solving problems such as unnaturalness of depth or unnatural interaction between real objects and virtual objects generated in mixed reality environment.
  • the present invention is not a method of solving an unnatural phenomenon of an image in a mixed reality environment as in the prior art, but currently reproduces a message displayed in response to an event such as a phone call or text reception in the process of playing a 3D image. Since they are displayed in conjunction with the stereoscopic image being displayed, the two are different from each other.
  • the present invention was created to solve the above problems, while receiving a phone call, text message, SMS, etc. to a communication terminal such as a smartphone coupled with a VR device while displaying a stereoscopic image through an HMD-based VR device.
  • An object of the present invention is to provide a message display method and an apparatus for generating an event in a VR device capable of displaying a message associated with an event occurrence such as a message received by a program or an application on a stereoscopic video screen currently being played.
  • the present invention also provides a message displaying method by generating an event in a VR device in which a user can freely change and set a display position or size when displaying a predetermined message according to an event on a stereoscopic video screen currently being played. And an apparatus thereof.
  • the present invention also provides a method and apparatus for displaying a message by generating an event in a VR device, in which a VR device user can additionally give a function to stop displaying a message according to an event occurrence for a certain time and concentrate on using stereoscopic images.
  • the purpose is to provide.
  • a method of displaying a message by generating an event in a VR device includes displaying a video signal reproduced in a communication terminal as a stereoscopic image for left and right eyes through a VR device on a screen of the communication terminal.
  • the left and right eye stereoscopic images, the position of the eye according to the up, down, left and right rotation of the user identified based on the detection signal input from any one or more of the position sensor, gyro sensor, acceleration sensor or a combination thereof provided in the VR device;
  • the video signal may be generated from a video signal reproduced by the communication terminal with reference to user visual information including eye line direction and focus information.
  • the message according to the event occurrence confirmed in the event message checking step may be any one or more of a telephone call from outside, a text message including an SMS, a message received by a messenger program or an application, or a combination thereof.
  • a message according to an event occurrence of the communication terminal may be displayed on the left and right eye stereoscopic images in a state where the position and size are adjusted based on a user's input operation.
  • the display of the message according to the occurrence of the event may be stopped by deleting the message according to the occurrence of the event confirmed in the event message checking step based on a user's input operation.
  • the message display device by the occurrence of the event in the VR device in the process of outputting a video signal reproduced in the communication terminal to the left and right eye stereoscopic image through the VR device of the communication terminal
  • An event message checking unit checking a message according to an event occurrence displayed on the screen
  • an event message processing unit for outputting a message according to the event occurrence together with the left and right eye stereoscopic images by interlocking the message according to the event occurrence confirmed by the event message checking unit to the left and right eye stereoscopic images, respectively. It may include.
  • the VR device may further include an input operation unit generating a key signal according to a user's operation for setting a function or environment of the VR device.
  • the communication terminal is preferably mounted on the front of the VR device.
  • the left and right eye stereoscopic images, the position of the eye according to the up, down, left and right rotation of the user identified based on the detection signal input from any one or more of the position sensor, gyro sensor, acceleration sensor or a combination thereof provided in the VR device;
  • the video signal may be generated from a video signal reproduced by the communication terminal with reference to user visual information including eye line direction and focus information.
  • the message according to the occurrence of the event may be any one or more of a telephone call from the outside, a text message including an SMS, a message received by a messenger program or an application, or a combination thereof.
  • the event message processing unit overlays a message according to the event occurrence of the communication terminal on the left and right stereoscopic images in a three-dimensional space in a state where the position and size are adjusted based on a user's input operation through the input operation unit. Can be marked on.
  • the event message processing unit may stop displaying the message according to the event occurrence in the 3D space by deleting the message according to the event occurrence confirmed by the event message confirming unit based on a user's input operation through the input operation unit. .
  • a telephone call generated in a communication terminal such as a smartphone coupled with the VR device
  • a communication terminal such as a smartphone
  • Messages related to the occurrence of events such as receiving texts such as SMS, SMS, or messages received by messenger programs or applications can be displayed in conjunction with the currently playing stereoscopic video screen. It can be displayed together, thereby eliminating the problem of feeling a considerable foreign object because it is displayed in the form of a bar or box of a black background, as if it is an error message.
  • the function of the product can be diversified and advanced.
  • the VR device user may additionally give a function to stop the display of the message according to the occurrence of the event for a certain time, thereby concentrating on using stereoscopic images without disturbing external factors.
  • FIG. 1 is a diagram schematically illustrating a configuration of a message display apparatus when an event occurs in a VR device according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating in detail a message displaying process according to an event occurrence in a VR device to which the present invention is applied.
  • FIG. 3 is a view showing in detail the configuration of the VR device to which the message display function by the event occurs according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an operation process of a message displaying method by generating an event in a VR device according to an embodiment of the present invention.
  • FIG. 1 is a diagram schematically illustrating a configuration of a message display apparatus when an event occurs in a VR device according to an embodiment of the present invention.
  • the VR device 200 used in the present invention is a HMD-based device in the form of goggles, and is equipped with a communication terminal 100 such as a smartphone for providing a stereoscopic image between the front cover and the main body.
  • the VR device 200 generates and outputs a 3D video signal based on user visual information such as eye position, eye gaze direction, focus, and the like, which are reproduced by the communication terminal 100 mounted on the front of the main body.
  • a user wearing a goggle-type VR device can enjoy a stereoscopic image while freely changing positions up, down, left, and right.
  • an event such as a phone call from the outside, a text message such as an SMS, a message received by a messenger program or an application may occur, and the like.
  • the VR device 200 displays a message associated with an event occurrence in association with a stereoscopic video screen currently being played.
  • the message according to the occurrence of the event is overlaid on the stereoscopic image screen currently being reproduced, and displayed together with the conventional method of displaying it in the form of a bar or box on a black background.
  • the present invention has been described using an HMD-based VR device in which the communication terminal is mounted on the front as an example, but is not limited thereto.
  • the communication means for receiving an image on the VR device itself, the received image It may be provided with a display means for playback, and may be connected via a cable or provided with an image from a communication terminal through a wireless Internet or the like to output a stereoscopic image.
  • the present invention in addition to the HMD-based VR device, the known 3D, such as polarizing method using the glasses, shutter method and anaglyph, lenticular lens method without the glasses and parallax barrier method
  • the known 3D such as polarizing method using the glasses, shutter method and anaglyph, lenticular lens method without the glasses and parallax barrier method
  • it can be applied to all electronic devices to which stereoscopic image technology is applied.
  • FIG. 2 is a conceptual diagram for explaining in detail the message display process according to the occurrence of the event in the VR device to which the technology of the present invention is applied.
  • the user mounts a communication terminal such as a smartphone on the front of the main body of the HMD-based VR device, and in this state, puts the VR device on the head as a goggle, and then manipulates the driving of the communication terminal.
  • a communication terminal such as a smartphone
  • the VR device puts the VR device on the head as a goggle, and then manipulates the driving of the communication terminal.
  • the VR device checks the video signal reproduced by the communication terminal (2), and based on the data detected by various sensors such as a position sensor, a gyro sensor, and an acceleration sensor provided at a predetermined position of the VR device, the current eye of the user Check various user visual information related to the position, the direction in which the eyes are directed, the focus, etc. (3).
  • various sensors such as a position sensor, a gyro sensor, and an acceleration sensor provided at a predetermined position of the VR device, the current eye of the user Check various user visual information related to the position, the direction in which the eyes are directed, the focus, etc. (3).
  • the VR device generates a left and right eye stereoscopic image from an image reproduced by a communication terminal based on user visual information such as eye position, eye direction, and focus (4), and outputs the generated left and right eye stereoscopic images.
  • user visual information such as eye position, eye direction, and focus (4)
  • the VR device generates a left and right eye stereoscopic image from an image reproduced by a communication terminal based on user visual information such as eye position, eye direction, and focus (4), and outputs the generated left and right eye stereoscopic images.
  • the user confirm (5).
  • the user can watch a three-dimensional image with a sense of depth and reality according to the head movement and gaze of a user wearing a goggle-type VR device.
  • the VR device In the process of outputting a stereoscopic image, the VR device is preset on the screen by generating a specific event such as a telephone call from the outside, receiving a text such as SMS, receiving a message by a messenger program or application, etc. Check if an event message is displayed (6), and if an event message is displayed on the communication terminal, check what event message has occurred (7). That is, the VR device confirms that the event message has been generated by capturing the event message displayed on the communication terminal screen and prepares to display the event message.
  • a specific event such as a telephone call from the outside
  • receiving a text such as SMS
  • a messenger program or application etc.
  • the VR device After confirming the occurrence of the event message, the VR device overlays an event message on each of the left and right stereoscopic video signals currently being played (8), and displays a stereoscopic image along with the stereoscopic image of the message according to the occurrence of the overlayed event. Display it together in the space so that the user can easily check what event occurred (9). In other words, by displaying the message according to the occurrence of the event to naturally match the three-dimensional image currently being reproduced, it is to prevent the phenomenon such as an error message appearing as in the prior art so that the user does not feel foreign object.
  • FIG. 3 is a diagram showing in detail the configuration of the VR device 200 to which the message display function by the event occurs according to an embodiment of the present invention.
  • the VR device 200 includes an image input unit 210, a user visual information checking unit 220, a stereoscopic image processing unit 230, a stereoscopic image output unit 240, an event message checking unit 250, and an event. And a message processing unit 260, an input operation unit 270, and the like.
  • the control unit may be further provided.
  • the video input unit 210 performs a function of receiving a 3D format video signal reproduced by the communication terminal 100 mounted on the front of the VR device 200, and receives a video signal reproduced by the communication terminal 100. Output to the stereoscopic image processing unit 230.
  • the user visual information checking unit 220 checks the eye position, gaze direction, and focus information according to the up, down, left, and right rotations of the user based on the detection signal detected by the sensor provided in the VR device 200.
  • the user visual information including a direction, a focus, and the like is output to the stereoscopic image processor 230. That is, the user visual information confirming unit 220 may rotate the user up, down, left, and right based on a detection signal input from any one or more of a position sensor, a gyro sensor, an acceleration sensor, or a combination thereof provided at a predetermined position of the VR device 200.
  • the eye position, gaze direction, and focus information according to the eye are checked and provided to the stereoscopic image processor 230.
  • the stereoscopic image processor 230 generates a stereoscopic image for left and right eyes from an image signal input from the image input unit 210 with reference to the position, gaze direction, and focus information of the user's eye identified by the user visual information checker 220. do.
  • a depth, perspective, height, and the like are processed in the image signal input from the image input unit 210 based on the visual information of the user to generate a stereoscopic image in which the user can feel a sense of depth or reality.
  • the stereoscopic image output unit 240 outputs the stereoscopic images for the left and right eyes generated by the stereoscopic image processing unit 230 in a three-dimensional space so that the user can check them.
  • the event message checking unit 250 checks a message according to an event occurrence displayed on the screen of the communication terminal 100 and provides the message to the event message processing unit 260.
  • the message according to the occurrence of the event may be any one or more of a telephone call from the outside, receiving a text including an SMS, receiving a message by a messenger program or an application, or a combination thereof.
  • the event message checking unit 250 captures an event message displayed on a specific area of the screen, and then transfers the captured image to the event message processing unit 260. It is most common to use the output method.
  • the method of confirming the message according to the event occurrence in the event message confirming unit 250 is not limited to the above-described screen capture method, and other methods such as a method of recognizing a message display area in a video being played through software processing. Of course you can use any of the available methods.
  • the event message processor 260 overlays the message according to the event generated by the event message checker 250 on each of the left and right eye stereoscopic images generated by the stereoscopic image processor 230 through the stereoscopic image output unit 240.
  • An event message is output on a three-dimensional space in which a stereoscopic image is output.
  • the event message processor 260 overlays the message according to the event occurrence of the communication terminal 100 on the left and right eye stereoscopic images in a three-dimensional space with the position and size adjusted according to the user's input operation. can do.
  • the event message processing unit 260 may further implement a function to prevent the event message from being displayed on the three-dimensional space by deleting the message according to the occurrence of the event confirmed by the event message checking unit 250 based on the user's setting operation. have.
  • the input operation unit 270 generates a key signal according to a user's operation for various functions or environment settings implemented in the VR device 200, and outputs the generated key signal to the stereoscopic image processing unit 230.
  • FIG. 4 is a flowchart illustrating an operation process of a message displaying method by generating an event in a VR device according to an embodiment of the present invention.
  • the VR device 200 based on the detection signal detected by the sensor, the user's position, eye direction, focus, etc. according to the user's up, down, left and right rotation Check the time information (S200). That is, based on data detected through various sensors such as a position sensor, a gyro sensor, and an acceleration sensor provided at a predetermined position of the VR device 200, the user's visual information related to the current eye position, the direction in which the eyes are directed, and the focus of the user. To check.
  • the VR device 200 generates a left and right eye stereoscopic image from the image signal checked in step S100 by referring to the position, gaze direction and focus information of the user's eye identified in step S200 (S300).
  • a stereoscopic image for left and right eyes is output on a three-dimensional space (S400).
  • the user can freely watch a three-dimensional image with a sense of depth and reality according to the head movement and gaze of the user wearing the VR device on his head.
  • the stereoscopic image output of the S400 is performed until all image reproduction of the communication terminal 100 is terminated or image reproduction is stopped by the user.
  • the VR device 200 such as a telephone call from the outside, receiving texts such as SMS, receiving a message by a messenger program or application, etc. on the screen of the communication terminal 100. It is determined whether a specific event occurs and an event message is displayed (S500).
  • step S500 checks the message according to the event occurrence displayed on the screen of the communication terminal 100 (S600). That is, the VR device 200 confirms that the event message is generated by capturing the event message displayed on the screen of the communication terminal 100.
  • the VR device 200 After checking the message according to the occurrence of the event in step S600, the VR device 200 overlays the message according to the event occurrence on each of the left and right eye stereoscopic images generated in step S300 (S700), and according to the occurrence of the overlayed event
  • the message is output on the three-dimensional space together with the stereoscopic image (S800). That is, the message is displayed to naturally match with the stereoscopic image currently being played. Then, the user can check the event message in the middle of watching a three-dimensional image naturally without feeling a foreign object such as an error message appears as before.
  • the message according to the occurrence of the event output along with the stereoscopic image is performed until the display of the event message on the screen of the communication terminal 100 ends (S900).
  • the message according to the occurrence of the event displayed together with the stereoscopic image through the step S800 may be displayed in a state where the position and size are adjusted based on the user's setting operation.
  • the message according to the occurrence of the event displayed along with the stereoscopic image through the step S800 may stop the display in order for the user to focus on using the stereoscopic image based on the user's setting operation.
  • the present invention displays the message according to the occurrence of the event naturally with the three-dimensional image currently being reproduced while solving the problem of feeling a considerable foreign object due to the fact that it is displayed in the form of a bar or box of a black background as if it is an error message. can do.
  • the present invention can display a predetermined message according to the occurrence of the event by the user using the VR device to adjust the desired position and size according to their preferences, the user stops displaying the message according to the occurrence of the event for a certain time In the case of using a function that can be used to focus on the use of stereoscopic images without disturbing the external factors.
  • Image input unit 220 User visual information check unit
  • stereoscopic image processing unit 240 stereoscopic image output unit
  • event message confirmation unit 260 event message processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephone Function (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 HMD(Head Mounted Display) 기반의 VR(Virtual Reality, 가상현실) 기기를 통해 입체영상을 표시하는 도중에 VR 기기와 결합된 스마트폰 등의 통신 단말기에 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트가 발생하면, 이벤트 발생에 따른 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시함으로써, 종래와 같이 이벤트 발생에 따른 메시지가 현재 재생중인 입체영상과 확연히 다른 검정바탕의 바나 박스 등의 형태로 표시되어 마치 오류메시지인 것처럼 보임으로 인해 상당한 이물감을 느끼던 문제점을 해소할 수 있도록 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치에 관한 것이다.

Description

VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
본 발명은 HMD(Head Mounted Display) 기반의 VR(Virtual Reality, 가상현실) 기기를 통해 입체영상을 표시하는 도중에 VR 기기와 결합된 스마트폰 등의 통신 단말기에 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트가 발생하면, 이벤트 발생에 따른 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시함으로써, 종래와 같이 이벤트 발생에 따른 메시지가 현재 재생중인 입체영상과 확연히 다른 검정바탕의 바나 박스 등의 형태로 표시되어 마치 오류메시지인 것처럼 보임으로 인해 상당한 이물감을 느끼던 문제점을 해소할 수 있도록 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치에 관한 것이다.
최근 들어 양안 시차를 이용하여 평면적인 디스플레이 하드웨어에서 가상적으로 입체감을 느낄 수 있는 3D 입체영상 기술의 이용이 활발해지고 있다. 3D 입체영상이란 2D 평면정보와 달리 깊이 및 공간 형상 정보를 동시에 제공하는 보다 사실적인 영상을 말한다. 즉 3D 입체영상은 이미 학습한 경험이 있는 볼륨(Volume)을 갖는 환경을 인간의 양안(즉 좌/우측 눈)이 인식하여 뇌에서 정리하는 과정에서 종합되는 공간인식 개념의 영상으로, 현장에서 실물을 보는 듯한 임장감, 사실감 및 가상 현실감 등을 제공한다.
이러한 3D 입체영상 기술은 컴퓨터를 이용하여 만들어낸 가공의 상황이나 환경을 사람의 감각기관을 통해 느끼게 하여 사용자가 몰입감을 느끼고 상호작용하게 하는 기술인 VR, VR의 한 분야로 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법인 AR(Augmented Reality, 증강현실), 가상현실과 실제 환경을 접목하여 만들어낸 세상으로 기반이 현실인가 가상인가에 따라 증강가상과 증강현실로 나뉘는 MR(Mixed Reality, 혼합 현실) 등으로 구분할 수 있다.
또한, 3D 입체영상 기술은 대형 시스템 기술 및 휴대형 시스템 기술로 분류가 가능하다.
대형 시스템 기술은 대규모 영상을 출력하는 프로젝션 모듈과 영상이 투여되는 스크린 모듈, 그리고 양안 시각(binocular viewing)을 제시하기 위한 좌우 시각 정보 분리 모듈, 예를 들면 프로젝터 부착 편광 필터, 입체 안경 등으로 구성되며, 테마파크의 가상현실 체험 장이나 대형 입체 영화 상영관 같이 대규모 사용자가 동시에 입체 영상 콘텐츠를 즐기는 목적으로 사용되고 있다.
휴대형 시스템 기술의 대표적인 형태는 머리 착용형 디스플레이 장치(HMD)/얼굴 착용형 디스플레이 장치(FMD; Face Mounted Display)이다. 이런 장치들은 초소형 디스플레이 장치를 안경과 유사한 구조로 광학 확대 구조부와 통합된 구조이며, 입체 시각 디스플레이를 위해서 좌우 눈 부분을 담당하는 별도의 모듈과 2개 채널의 영상 정보를 입력받는 구조를 가지고 있다. 이는 개인용 정보를 가시화하는 환경이나 모바일 컴퓨팅과 같이 높은 신체 자유도를 요구하는 조건에서 활용되고 있다.
특히, 현재 대부분의 사람이 사용하고 있는 스마트폰 등의 통신 단말기와 결합하여 손쉽게 사용할 수 있는 장점으로 인하여 HMD 기반의 VR 기기의 사용이 더욱 활발해지고 있으며, VR 산업은 우리의 생활에 깊숙하게 파고들어 실질적인 변화와 혁신을 줄 것으로 전망된다.
그리고 HMD 기반의 VR 기술산업은 여러 기술과 학문이 집약된 복합산업으로서, 의료, 교육, 게임 등의 전방산업과, 디스플레이, SW, 통신 등과 같은 후방산업의 동반성장을 촉진할 것으로 기대된다.
예를 들어, 외상 후 스트레스 장애, 각종 공포증(고소, 대인, 폐쇄), 우울증에 대한 치료 기법으로 확산되는 추세에 있고, 인지기능이 발달 중인 유아 및 아동 교육이나, 특정 교육(체험형 인성/적성 검사, 스포츠 훈련, 토론/발표 훈련 등)에 응용되어 실제 교육과 같은 효과가 기대된다. 그리고 가상현실 시뮬레이션이 활발히 도입되고 있는 외과수술, 산업훈련, 군사훈련, 항공기 조종, 소방 훈련 등의 산업용/군사용 교육도 주요 대상이 될 수 있다.
하지만, 상술한 바와 같은 HMD 기반의 VR 기기는, 사용자가 입체영상을 확인하는 과정에서 VR 기기와 결합된 스마트폰 등의 통신 단말기에 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트가 발생하면, 이벤트 발생에 따른 메시지를 현재 재생중인 입체영상과 확연히 다르게 검정바탕의 바나 박스 등의 형태로 표시하기 때문에 사용자가 마치 오류메시지가 나타난 것처럼 인식할 수 있고, 이로 인해 상당한 이물감을 느낄 수 있는 문제점이 있었다.
따라서 본 발명에서는 HMD 기반의 VR 기기 사용 중 VR 기기와 결합된 스마트폰 등의 통신 단말기에 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트가 발생하면, 해당 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시함으로써, 사용자가 오류메시지 표시로 인식하거나 이물감을 느끼는 문제를 해소할 수 있는 기술을 제시하고자 한다. 즉 종래의 문제점을 개선하기 위하여 이벤트 발생에 따른 메시지를 캡션과 같은 형식으로 입체영상 표시화면과 연동되도록 표시하는 기술을 제공하는 것이다.
다음으로 본 발명의 기술 분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저, 한국공개특허 제10-2007-0117431호(2007.12.12.)는 입체영상 재생시스템에 관한 것으로, 더욱 상세하게는 다양한 종류의 가상현실 소프트웨어를 적용할 수 있고, 다양한 포맷의 입체영상을 재생할 수 있도록 하는 구성을 제공함으로써, 입체영상 재생시스템의 활용도를 광범위하게 할 수 있고, 입체영상 재생시스템의 제작비용도 절감할 수 있는 입체영상 재생시스템에 관한 것이다.
상기 선행기술은 다양한 포맷의 입체영상을 재생하는 것이고, 본원발명은 이와 달리 입체영상을 재생하는 과정에서 전화 통화, 문자 수신 등의 이벤트 발생에 따라 표시되는 메시지를 현재 재생중인 입체영상에 연동시켜 표시하는 것이므로 양자는 서로 차이가 있다.
또한, 한국등록특허 제10-0809479호(2008.02.26.)는 혼합 현실 환경에서 디스플레이 장치에 관한 것으로서, 보다 상세하게는 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 및 방법에 관한 것이다.
상기 선행기술은 다수의 인공 영상과 외부 자연 영상이 합성되어 제시되는 혼합현실 환경에서, 얼굴 착용형 디스플레이 장치 외부의 영상 정보와 개인용 영상 정보의 자연스러운 합성을 가능하게 하여, 개별적으로 제시되는 입체 영상 기술을 활용한 혼합현실 환경에서 발생되는 깊이감의 부자연스러움이나 실사 및 가상 개체들 사이의 부자연스러운 상호작용 관계 등의 문제점을 해결하는 것을 특징으로 한다.
반면에 본원발명은 상기 선행기술과 같이 혼합현실 환경에서 영상의 부자연스러운 현상을 해결하는 방식이 아니라, 입체영상을 재생하는 과정에서 전화 통화, 문자 수신 등의 이벤트 발생에 따라 표시되는 메시지를 현재 재생중인 입체영상에 연동시켜 표시하는 것을 특징으로 하기 때문에 양자는 서로 차이가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, HMD 기반의 VR 기기를 통해 입체영상을 표시하는 도중에 VR 기기와 결합된 스마트폰 등의 통신 단말기에 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트 발생에 따른 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시할 수 있는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 이벤트 발생에 따른 소정의 메시지를 현재 재생 중인 입체영상화면에 연동시켜 표시할 때 사용자가 임의로 표시 위치나 크기를 자유롭게 변경하여 설정할 수 있는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 VR 기기 사용자가 이벤트 발생에 따른 메시지의 표시를 일정시간 중지시킬 수 있는 기능을 추가로 부여하여 입체영상 이용에 집중할 수 있는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법은, 통신 단말기에서 재생되는 영상신호를 VR 기기를 통해 좌안 및 우안용 입체영상으로 출력하는 과정에서 상기 통신 단말기의 화면에 표시되는 이벤트 발생에 따른 메시지를 확인하는 이벤트 메시지 확인단계; 및 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상 각각에 연동시켜, 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상과 함께 출력하는 이벤트 메시지 처리단계;를 포함할 수 있다.
그리고 상기 좌안 및 우안용 입체영상은, VR 기기에 구비된 위치센서, 자이로센서, 가속도센서 또는 이들의 조합 중 어느 하나 이상으로부터 입력되는 감지신호를 토대로 확인한 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 포함한 사용자 시각정보를 참조하여, 상기 통신 단말기에서 재생되는 영상신호로부터 생성할 수 있다.
그리고 상기 이벤트 메시지 확인단계에서 확인하는 이벤트 발생에 따른 메시지는, 외부로부터의 전화 통화, SMS를 포함한 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 또는 이들의 조합 중 어느 하나 이상일 수 있다.
그리고 상기 이벤트 메시지 처리단계는, 사용자의 입력조작을 토대로 위치 및 크기가 조절된 상태로 상기 통신 단말기의 이벤트 발생에 따른 메시지를 좌안 및 우안용 입체영상 각각에 연동시켜 표시할 수 있다.
그리고 상기 이벤트 메시지 처리단계는, 사용자의 입력조작을 토대로 상기 이벤트 메시지 확인단계에서 확인한 상기 이벤트 발생에 따른 메시지를 삭제하여 상기 이벤트 발생에 따른 메시지의 표시를 중지시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치는, 통신 단말기에서 재생되는 영상신호를 VR 기기를 통해 좌안 및 우안용 입체영상으로 출력하는 과정에서 상기 통신 단말기의 화면에 표시되는 이벤트 발생에 따른 메시지를 확인하는 이벤트 메시지 확인부; 및 상기 이벤트 메시지 확인부에서 확인한 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상 각각에 연동시켜, 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상과 함께 출력하는 이벤트 메시지 처리부;를 포함할 수 있다.
그리고 상기 VR 기기는, 상기 VR 기기의 기능이나 환경설정을 위한 사용자의 조작에 따른 키신호를 생성하는 입력 조작부;를 더 포함할 수 있다.
그리고 상기 통신 단말기는, VR 기기의 전면에 거치되는 것이 바람직하다.
그리고 상기 좌안 및 우안용 입체영상은, VR 기기에 구비된 위치센서, 자이로센서, 가속도센서 또는 이들의 조합 중 어느 하나 이상으로부터 입력되는 감지신호를 토대로 확인한 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 포함한 사용자 시각정보를 참조하여, 상기 통신 단말기에서 재생되는 영상신호로부터 생성할 수 있다.
그리고 상기 이벤트 발생에 따른 메시지는, 외부로부터의 전화 통화, SMS를 포함한 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 또는 이들의 조합 중 어느 하나 이상일 수 있다.
그리고 상기 이벤트 메시지 처리부는, 상기 입력 조작부를 통한 사용자의 입력조작을 토대로 위치 및 크기가 조절된 상태로 상기 통신 단말기의 이벤트 발생에 따른 메시지를 좌안 및 우안용 입체영상 각각에 오버레이하여 3차원 공간상에 표시할 수 있다.
그리고 상기 이벤트 메시지 처리부는, 상기 입력 조작부를 통한 사용자의 입력조작을 토대로 상기 이벤트 메시지 확인부에서 확인한 이벤트 발생에 따른 메시지를 삭제하여 상기 이벤트 발생에 따른 메시지의 3차원 공간상의 표시를 중지시킬 수 있다.
이상에서와 같이 본 발명의 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치에 따르면, VR 기기를 통해 입체영상을 표시할 때 VR 기기와 결합된 스마트폰 등의 통신 단말기에서 발생되는 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트 발생에 대한 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시할 수 있기 때문에 이벤트 발생에 따른 메시지를 자연스럽게 현재 재생중인 입체영상과 함께 표시할 수 있으며, 이에 따라 종래와 같이 검정바탕의 바나 박스 등의 형태로 표시되어 마치 오류메시지인 것처럼 보임으로 인해 상당한 이물감을 느끼던 문제점을 해소할 수 있는 효과가 있다.
또한, VR 기기를 사용하는 사용자가 자신의 기호에 맞추어 표시위치 및 크기를 임의로 설정하여 이벤트 발생에 따른 소정의 메시지를 표시할 수 있기 때문에 제품의 기능을 다양화하고 고급화할 수 있다.
또한, VR 기기 사용자가 이벤트 발생에 따른 메시지의 표시를 일정 시간 중지시키는 기능을 추가로 부여함으로써, 외부요인에 의한 방해 없이 입체영상 이용에만 집중할 수 있다.
도 1은 본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명이 적용된 VR 기기에서의 이벤트 발생에 따른 메시지 표시과정을 보다 상세하게 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 이벤트 발생에 의한 메시지 표시기능이 적용된 VR 기기의 구성을 상세하게 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법의 동작과정을 상세하게 나타낸 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치를 상세하게 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다.
명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치의 구성을 개략적으로 나타낸 도면이다.
도시된 바와 같이, 본 발명에 사용되는 VR 기기(200)는 고글 형태의 HMD 기반의 기기로서, 전면커버와 본체 사이에 입체영상을 제공하는 스마트폰 등과 같은 통신 단말기(100)가 거치된다.
그리고 VR 기기(200)는 본체의 전면에 거치된 통신 단말기(100)에서 재생되는 영상을 눈의 위치, 시선 방향, 초점 등의 사용자 시각정보를 토대로 입체 영상신호를 생성하여 출력한다.
이에 따라 고글 형태의 VR 기기를 착용한 사용자는 상하좌우 자유롭게 위치를 변경시키면서 입체영상을 즐길 수 있다.
이러한 입체영상 출력 과정에서 통신 단말기(100)에 외부로부터의 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트가 발생할 수 있다. 이 경우 VR 기기(200)는 이벤트 발생에 따른 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시한다. 즉 종래와 같이 검정 바탕의 바나 박스 등의 형태로 표시하던 방식을 벗어나 이벤트 발생에 따른 메시지를 자연스럽게 현재 재생중인 입체영상 화면에 오버레이(overlay)하여 함께 표시하는 것이다.
이때 본 발명은 상기와 같이 통신 단말기가 전면에 거치되는 형태의 HMD 기반의 VR 기기를 예로 하여 설명하고 있으나 이에 한정되는 것은 아니며, 그 이외에 VR 기기 자체에 영상을 수신하는 통신수단, 수신된 영상을 재생하는 표시수단 등을 구비하고 케이블을 통해 연결되거나 무선 인터넷 등을 통해 통신 단말기로부터 영상을 제공받아 입체영상을 출력할 수도 있다.
또한, 본 발명은 HMD 기반의 VR 기기 이외에, 안경을 이용한 편광방식, 셔터방식 및 에너글리프(anaglyph), 안경을 이용하지 않는 렌티큘러(lenticular) 렌즈방식 및 시차 장벽(parallax barrier) 방식 등 공지의 3D 입체영상 기술이 적용된 모든 전자기기에 적용 가능함은 물론이다.
도 2는 본 발명의 기술이 적용된 VR 기기에서의 이벤트 발생에 따른 메시지 표시과정을 보다 상세하게 설명하기 위한 개념도이다.
도 2에 도시된 바와 같이, 사용자가 HMD 기반의 VR 기기의 본체 전면에 스마트폰 등의 통신 단말기를 거치하고, 이 상태에서 VR 기기를 고글과 같이 머리에 착용한 후, 통신 단말기의 구동을 조작하여 3D 포맷의 영상을 재생한다(①).
그러면 VR 기기는 통신 단말기에서 재생되는 영상신호를 확인하고(②), VR 기기의 소정 위치에 구비되어 있는 위치센서, 자이로센서, 가속도센서 등의 각종 센서를 통해 검출되는 데이터를 토대로 사용자의 현재 눈의 위치, 시선이 향하는 방향, 초점 등과 관련된 각종 사용자 시각정보를 확인한다(③).
이후 VR 기기는 눈의 위치, 시선 방향, 초점 등의 사용자 시각정보를 토대로 통신 단말기에서 재생되는 영상으로부터 좌안 및 우안용 입체영상을 생성하고(④), 생성된 좌안 및 우안용 입체영상을 출력하여 사용자가 확인하도록 한다(⑤). 즉 고글 형태의 VR 기기를 착용한 사용자의 머리 움직임 및 시선에 따라 깊이감, 실재감 있는 입체영상을 시청하도록 하는 것이다.
이처럼 입체영상을 출력하는 과정에서, VR 기기는 통신 단말기 화면 상에 외부로부터의 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 특정 이벤트가 발생하여 화면상에 기 설정되어 있는 이벤트 메시지가 표시되는지를 확인하고(⑥), 통신 단말기에 이벤트 메시지가 표시되면 어떠한 이벤트 메시지가 발생되었는지 확인한다(⑦). 즉 VR 기기는 통신 단말기 화면에 표시되는 이벤트 메시지를 캡처하는 등의 방식으로 이벤트 메시지가 발생되었음을 확인하여, 이벤트 메시지의 표시를 준비하는 것이다.
이벤트 메시지의 발생을 확인한 VR 기기는 현재 재생되고 있는 좌안 및 우안용 입체영상신호 각각에 이벤트 메시지를 오버레이 처리하고(⑧), 오버레이 처리된 이벤트 발생에 따른 메시지를 입체영상과 함께 입체영상이 표시되는 공간에 함께 표시하여 사용자가 어떠한 이벤트가 발생되었는지를 손쉽게 확인하도록 한다(⑨). 즉 이벤트 발생에 따른 메시지가 현재 재생중인 입체영상과 자연스럽게 어우러지도록 표시함으로써, 종래와 같이 오류메시지가 뜨는 것과 같은 현상을 방지하고 사용자가 이물감을 느끼지 않도록 하는 것이다.
도 3은 본 발명의 일 실시예에 따른 이벤트 발생에 의한 메시지 표시기능이 적용된 VR 기기(200)의 구성을 상세하게 나타낸 도면이다.
도시된 바와 같이 VR 기기(200)는, 영상 입력부(210), 사용자 시각정보 확인부(220), 입체영상 처리부(230), 입체영상 출력부(240), 이벤트 메시지 확인부(250), 이벤트 메시지 처리부(260), 입력 조작부(270) 등으로 구성된다. 물론 이외에도 전원부(미도시), 제어부(미도시) 등이 더 구비될 수도 있다.
영상 입력부(210)는 VR 기기(200)의 전면에 거치된 통신 단말기(100)에서 재생되는 3D 포맷의 영상신호를 입력받는 기능을 수행하는 부분으로서, 통신 단말기(100)에서 재생되는 영상신호를 입체영상 처리부(230)로 출력한다.
사용자 시각정보 확인부(220)는 VR 기기(200)에 구비된 센서에서 감지한 감지신호를 토대로 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 확인하며, 눈의 위치, 시선 방향, 초점 등을 포함한 사용자 시각정보를 입체영상 처리부(230)로 출력한다. 즉 사용자 시각정보 확인부(220)는 VR 기기(200)의 소정 위치에 구비된 위치센서, 자이로센서, 가속도센서 또는 이들의 조합 중 어느 하나 이상으로부터 입력되는 감지신호를 토대로 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 확인하고, 이를 입체영상 처리부(230)로 제공하는 것이다.
입체영상 처리부(230)는 사용자 시각정보 확인부(220)에서 확인한 사용자의 눈의 위치와 시선 방향, 초점 정보를 참조하여 영상 입력부(210)로부터 입력되는 영상신호로부터 좌안 및 우안용 입체영상을 생성한다.
즉 사용자의 시각정보를 기반으로 영상 입력부(210)로부터 입력되는 영상신호에서 깊이, 원근, 고저 등의 처리를 수행하여 사용자가 깊이감이나 실재감을 느낄 수 있는 입체영상을 생성하는 것이다.
입체영상 출력부(240)는 입체영상 처리부(230)에서 생성된 좌안 및 우안용 입체영상을 3차원 공간상에 출력하여 사용자가 확인하도록 한다.
이벤트 메시지 확인부(250)는 통신 단말기(100)의 화면상에 표시되는 이벤트 발생에 따른 메시지를 확인하여 이벤트 메시지 처리부(260)로 제공한다.
이때 이벤트 발생에 따른 메시지는, 외부로부터의 전화 통화, SMS를 포함한 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 또는 이들의 조합 중 어느 하나 이상일 수 있다.
예를 들어, 이벤트 메시지 확인부(250)는 통신 단말기(100) 화면에 이벤트 메시지가 표시되면, 화면의 특정 영역에 표시되는 이벤트 메시지를 캡처한 후, 캡처한 영상을 이벤트 메시지 처리부(260)로 출력하는 방식을 사용하는 것이 가장 일반적이다. 이때 이벤트 메시지 확인부(250)에서 이벤트 발생에 따른 메시지를 확인하는 방식은 상기 설명한 화면캡처 방식에 한정되는 것은 아니며, 그 이외에 소프트웨어 처리를 통해 재생중인 영상에서 메시지 표시영역을 인식하는 방식 등의 공지되어 있는 모든 방식을 사용할 수 있음은 물론이다.
이벤트 메시지 처리부(260)는 이벤트 메시지 확인부(250)에서 확인한 이벤트 발생에 따른 메시지를 입체영상 처리부(230)에서 생성한 좌안 및 우안용 입체영상 각각에 오버레이하여 입체영상 출력부(240)를 통해 입체영상이 출력되는 3차원 공간상에 이벤트 메시지가 출력되도록 한다.
이때 이벤트 메시지 처리부(260)는 사용자의 입력조작을 토대로 위치 및 크기가 조절된 상태로 통신 단말기(100)의 이벤트 발생에 따른 메시지를 좌안 및 우안용 입체영상 각각에 오버레이하여 3차원 공간상에 표시할 수 있다.
또한, 이벤트 메시지 처리부(260)는 사용자의 설정조작을 토대로 이벤트 메시지 확인부(250)에서 확인한 이벤트 발생에 따른 메시지를 삭제하여 이벤트 메시지가 3차원 공간상에 표시되지 않도록 하는 기능을 추가로 구현할 수 있다.
즉 사용자가 VR 기기(200)를 사용하는 도중에 이벤트 메시지가 발생되더라도 이를 표시하지 않음으로써, 사용자가 입체영상 이용에 집중할 수 있도록 하는 것이다.
입력 조작부(270)는 VR 기기(200)에서 구현되는 각종 기능이나 환경 설정을 위한 사용자의 조작에 따른 키 신호를 생성하고, 생성된 키 신호를 입체영상 처리부(230)로 출력한다.
다음에는, 이와 같이 구성된 본 발명에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법의 일 실시예를 도 4를 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각각의 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.
도 4는 본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법의 동작과정을 상세하게 나타낸 순서도이다.
우선, 사용자가 통신 단말기(100)가 거치된 HMD 기반의 VR 기기(200)를 고글과 같이 머리에 착용한 후, 통신 단말기(100)를 구동시켜 3D 포맷의 영상을 재생하면, VR 기기(200)는 전면에 거치된 통신 단말기(100)에서 재생되는 영상신호를 확인한다(S100).
통신 단말기(100)에서 재생되는 3D 포맷의 영상을 확인함과 동시에, VR 기기(200)는 센서에서 검출한 감지신호를 토대로 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 등의 사용자 시각정보를 확인한다(S200). 즉 VR 기기(200)의 소정 위치에 구비되어 있는 위치센서, 자이로센서, 가속도센서 등의 각종 센서를 통해 검출되는 데이터를 토대로 사용자의 현재 눈의 위치, 시선이 향하는 방향, 초점 등과 관련된 사용자 시각정보를 확인하는 것이다.
이후, VR 기기(200)는 S200 단계에서 확인한 사용자의 눈의 위치와 시선 방향, 초점 정보를 참조하여, S100 단계에서 확인한 영상신호로부터 좌안 및 우안용 입체영상을 생성한 후(S300), 생성된 좌안 및 우안용 입체영상을 3차원 공간상에 출력한다(S400). 즉 VR 기기를 머리에 착용한 사용자의 머리 움직임 및 시선에 따라 깊이감, 실재감 있는 입체영상을 자유롭게 시청할 수 있도록 하는 것이다. 이때 S400의 입체영상 출력은 통신 단말기(100)의 영상재생이 모두 종료되거나 사용자에 의해 영상재생이 중지될 때까지 수행된다.
이제, S400 단계를 통해 입체영상을 시청하는 과정에서, VR 기기(200)는 통신 단말기(100)의 화면에 외부로부터의 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 특정 이벤트가 발생하여 이벤트 메시지가 표시되는지를 판단한다(S500).
S500 단계의 판단결과 통신 단말기(100)의 화면에 이벤트 발생에 따른 메시지가 표시되면 통신 단말기(100)의 화면에 표시되는 이벤트 발생에 따른 메시지를 확인한다(S600). 즉 VR 기기(200)는 통신 단말기(100)의 화면에 표시되는 이벤트 메시지를 캡처하는 등의 방식으로 이벤트 메시지가 발생되었음을 확인하는 것이다.
S600 단계에서 이벤트 발생에 따른 메시지를 확인한 이후, VR 기기(200)는 이벤트 발생에 따른 메시지를 S300 단계에서 생성된 좌안 및 우안용 입체 영상 각각에 오버레이하고(S700), 오버레이 처리된 이벤트 발생에 따른 메시지를 입체영상과 함께 3차원 공간상에 출력한다(S800). 즉 이벤트 발생에 따른 메시지가 현재 재생중인 입체영상과 자연스럽게 어우러지도록 표시하는 것이다. 그러면 사용자는 종래와 같이 오류메시지가 뜨는 것과 같은 이물감을 느끼지 않고 자연스럽게 입체영상을 시청하는 도중에 이벤트 메시지를 확인할 수 있다.
입체영상과 함께 출력되는 이벤트 발생에 따른 메시지는 통신 단말기(100)의 화면에 이벤트 메시지의 표시가 종료될 때까지 수행된다(S900).
이때 S800 단계를 통해 입체영상과 함께 표시되는 이벤트 발생에 따른 메시지는 사용자의 설정조작을 토대로 위치 및 크기가 조절된 상태로 표시할 수 있다.
또한, S800 단계를 통해 입체영상과 함께 표시되는 이벤트 발생에 따른 메시지는 사용자의 설정조작을 토대로 사용자가 입체영상 이용에 집중하기 위하여 표시를 중지시킬 수도 있다.
이처럼, 본 발명은 종래와 같이 검정바탕의 바나 박스 등의 형태로 표시되어 마치 오류메시지인 것처럼 보임으로 인해 상당한 이물감을 느끼던 문제점을 해소하면서 이벤트 발생에 따른 메시지를 자연스럽게 현재 재생중인 입체영상과 함께 표시할 수 있다.
또한, 본 발명은 VR 기기를 사용하는 사용자가 자신의 기호에 맞추어 원하는 위치 및 크기를 조절하여 이벤트 발생에 따른 소정의 메시지를 표시할 수 있으며, 사용자가 이벤트 발생에 따른 메시지의 표시를 일정시간 중지하는 기능을 사용하는 경우에는 외부요인에 의한 방해 없이 입체영상 이용에만 집중할 수 있다.
여기에서, 상술한 본 발명에서는 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.
[부호의 설명]
100 : 통신 단말기 200 : VR 기기
210 : 영상 입력부 220 : 사용자 시각정보 확인부
230 : 입체영상 처리부 240 : 입체영상 출력부
250 : 이벤트 메시지 확인부 260 : 이벤트 메시지 처리부
270 : 입력 조작부

Claims (12)

  1. 통신 단말기에서 재생되는 영상신호를 VR 기기를 통해 좌안 및 우안용 입체영상으로 출력하는 과정에서 상기 통신 단말기의 화면에 표시되는 이벤트 발생에 따른 메시지를 확인하는 이벤트 메시지 확인단계; 및
    상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상 각각에 연동시켜, 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상과 함께 출력하는 이벤트 메시지 처리단계;를 포함하는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법.
  2. 청구항 1에 있어서,
    상기 좌안 및 우안용 입체영상은,
    상기 VR 기기에 구비된 위치센서, 자이로센서, 가속도센서 또는 이들의 조합 중 어느 하나 이상으로부터 입력되는 감지신호를 토대로 확인한 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 포함한 사용자 시각정보를 참조하여, 상기 통신 단말기에서 재생되는 영상신호로부터 생성하는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법.
  3. 청구항 1에 있어서,
    상기 이벤트 메시지 확인단계에서 확인하는 이벤트 발생에 따른 메시지는,
    외부로부터의 전화 통화, SMS를 포함한 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 또는 이들의 조합 중 어느 하나 이상인 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법.
  4. 청구항 1에 있어서,
    상기 이벤트 메시지 처리단계는,
    사용자의 입력조작을 토대로 위치 및 크기가 조절된 상태로 상기 통신 단말기의 이벤트 발생에 따른 메시지를 좌안 및 우안용 입체영상 각각에 연동시켜 표시할 수 있는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법.
  5. 청구항 1에 있어서,
    상기 이벤트 메시지 처리단계는,
    사용자의 입력조작을 토대로 상기 이벤트 메시지 확인단계에서 확인한 상기 이벤트 발생에 따른 메시지를 삭제하여 상기 이벤트 발생에 따른 메시지의 표시를 중지시킬 수 있는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법.
  6. 통신 단말기에서 재생되는 영상신호를 VR 기기를 통해 좌안 및 우안용 입체영상으로 출력하는 과정에서 상기 통신 단말기의 화면에 표시되는 이벤트 발생에 따른 메시지를 확인하는 이벤트 메시지 확인부; 및
    상기 이벤트 메시지 확인부에서 확인한 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상 각각에 연동시켜, 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상과 함께 출력하는 이벤트 메시지 처리부;를 포함하는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  7. 청구항 6에 있어서,
    상기 VR 기기의 기능이나 환경설정을 위한 사용자의 조작에 따른 키신호를 생성하는 입력 조작부;를 더 포함하는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  8. 청구항 6에 있어서,
    상기 통신 단말기는,
    상기 VR 기기의 전면에 거치되는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  9. 청구항 6에 있어서,
    상기 좌안 및 우안용 입체영상은,
    상기 VR 기기에 구비된 위치센서, 자이로센서, 가속도센서 또는 이들의 조합 중 어느 하나 이상으로부터 입력되는 감지신호를 토대로 확인한 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 포함한 사용자 시각정보를 참조하여, 상기 통신 단말기에서 재생되는 영상신호로부터 생성하는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  10. 청구항 6에 있어서,
    상기 이벤트 발생에 따른 메시지는,
    외부로부터의 전화 통화, SMS를 포함한 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 또는 이들의 조합 중 어느 하나 이상인 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  11. 청구항 7에 있어서,
    상기 이벤트 메시지 처리부는,
    상기 입력 조작부를 통한 사용자의 입력조작을 토대로 위치 및 크기가 조절된 상태로 상기 통신 단말기의 이벤트 발생에 따른 메시지를 좌안 및 우안용 입체영상 각각에 연동시켜 표시할 수 있는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  12. 청구항 7에 있어서,
    상기 이벤트 메시지 처리부는,
    상기 입력 조작부를 통한 사용자의 입력조작을 토대로 상기 이벤트 메시지 확인부에서 확인한 이벤트 발생에 따른 메시지를 삭제하여 상기 이벤트 발생에 따른 메시지의 표시를 중지시킬 수 있는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
PCT/KR2017/004090 2016-04-29 2017-04-17 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치 WO2017188637A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/088,683 US20190109938A1 (en) 2016-04-29 2017-04-17 Message display method according to event occurrence in vr device and apparatus therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0052791 2016-04-29
KR1020160052791A KR101687174B1 (ko) 2016-04-29 2016-04-29 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치

Publications (1)

Publication Number Publication Date
WO2017188637A1 true WO2017188637A1 (ko) 2017-11-02

Family

ID=57735669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/004090 WO2017188637A1 (ko) 2016-04-29 2017-04-17 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치

Country Status (3)

Country Link
US (1) US20190109938A1 (ko)
KR (1) KR101687174B1 (ko)
WO (1) WO2017188637A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491169A (zh) * 2017-07-31 2017-12-19 合肥光照信息科技有限公司 一种vr信息采集存储系统及其方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323482A1 (en) * 2016-05-05 2017-11-09 Universal City Studios Llc Systems and methods for generating stereoscopic, augmented, and virtual reality images
US10828560B2 (en) * 2016-09-30 2020-11-10 Sony Interactive Entertainment Inc. Systems and methods for stereoscopic vision with head mounted display
KR101930319B1 (ko) 2017-03-15 2019-02-20 주식회사 아이리시스 가상현실장치에서의 생체정보에 의한 사용자 인증방법 및 인증장치
CN108957756A (zh) * 2018-07-29 2018-12-07 赣州研顺飞科技有限公司 一种具有按摩功效的vr眼罩
US11011142B2 (en) 2019-02-27 2021-05-18 Nintendo Co., Ltd. Information processing system and goggle apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025117A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
KR20160026323A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치
KR20160027627A (ko) * 2014-09-01 2016-03-10 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
KR20160039962A (ko) * 2014-10-02 2016-04-12 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이 제어 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9878235B2 (en) * 2013-06-07 2018-01-30 Sony Interactive Entertainment Inc. Transitioning gameplay on a head-mounted display
US20150331240A1 (en) * 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
KR20150144668A (ko) * 2014-06-17 2015-12-28 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
US20180072226A1 (en) * 2016-03-16 2018-03-15 Jesse Clement Bunch Extended perception system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025117A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
KR20160026323A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치
KR20160027627A (ko) * 2014-09-01 2016-03-10 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
KR20160039962A (ko) * 2014-10-02 2016-04-12 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491169A (zh) * 2017-07-31 2017-12-19 合肥光照信息科技有限公司 一种vr信息采集存储系统及其方法

Also Published As

Publication number Publication date
US20190109938A1 (en) 2019-04-11
KR101687174B1 (ko) 2016-12-16

Similar Documents

Publication Publication Date Title
WO2017188637A1 (ko) Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
CN107924589B (zh) 通信系统
Larsson et al. The actor-observer effect in virtual reality presentations
WO2010095835A2 (ko) 영상 처리 방법 및 장치
JP2008033219A (ja) 混合現実環境用のフェイスマウントディスプレイ装置
WO2010095838A2 (ko) 그래픽 화면 처리 방법 및 장치
US12032735B2 (en) Method and apparatus for real-time data communication in full-presence immersive platforms
WO2011028019A2 (ko) 비디오 영상 배속 재생 방법 및 장치
KR102358997B1 (ko) 다자간 확장현실 체험을 위한 서비스 플랫폼
Peterson Virtual Reality, Augmented Reality, and Mixed Reality Definitions
WO2020105849A1 (ko) Vr 모션 플랫폼을 위한 멀미저감 방법 및 장치
WO2023029849A1 (zh) 一种ar眼镜
US10582184B2 (en) Instantaneous 180-degree 3D recording and playback systems
JP2021086435A (ja) 授業システム、視聴端末、情報処理方法及びプログラム
WO2023029848A1 (zh) 双路输入3d近眼成像系统
KR101935418B1 (ko) Hmd 장치를 이용한 가상현실 서비스 제공 방법 및 이를 구현하는 가상현실 시스템
CN219266680U (zh) 延展现实显示系统
WO2021107595A1 (ko) 가상콘텐츠 체험 시스템 및 그 제어방법
WO2022107294A1 (ja) Ｖｒ映像空間生成システム
CN206517592U (zh) 一种交互式3d音频系统
JP3472068B2 (ja) 立体映像表示装置
US10834382B2 (en) Information processing apparatus, information processing method, and program
JP2020025275A (ja) 映像音響再生装置およびその方法
NL2030186B1 (en) Autostereoscopic display device presenting 3d-view and 3d-sound
JP3088326B2 (ja) 立体映像表示装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17789822

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17789822

Country of ref document: EP

Kind code of ref document: A1