WO2017188637A1 - Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치 - Google Patents

Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치 Download PDF

Info

Publication number
WO2017188637A1
WO2017188637A1 PCT/KR2017/004090 KR2017004090W WO2017188637A1 WO 2017188637 A1 WO2017188637 A1 WO 2017188637A1 KR 2017004090 W KR2017004090 W KR 2017004090W WO 2017188637 A1 WO2017188637 A1 WO 2017188637A1
Authority
WO
WIPO (PCT)
Prior art keywords
message
event
occurrence
user
communication terminal
Prior art date
Application number
PCT/KR2017/004090
Other languages
English (en)
French (fr)
Inventor
정상권
이국환
강현삼
Original Assignee
주식회사 조이펀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 조이펀 filed Critical 주식회사 조이펀
Priority to US16/088,683 priority Critical patent/US20190109938A1/en
Publication of WO2017188637A1 publication Critical patent/WO2017188637A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724097—Worn on the head
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephone Function (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 HMD(Head Mounted Display) 기반의 VR(Virtual Reality, 가상현실) 기기를 통해 입체영상을 표시하는 도중에 VR 기기와 결합된 스마트폰 등의 통신 단말기에 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트가 발생하면, 이벤트 발생에 따른 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시함으로써, 종래와 같이 이벤트 발생에 따른 메시지가 현재 재생중인 입체영상과 확연히 다른 검정바탕의 바나 박스 등의 형태로 표시되어 마치 오류메시지인 것처럼 보임으로 인해 상당한 이물감을 느끼던 문제점을 해소할 수 있도록 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치에 관한 것이다.

Description

VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
본 발명은 HMD(Head Mounted Display) 기반의 VR(Virtual Reality, 가상현실) 기기를 통해 입체영상을 표시하는 도중에 VR 기기와 결합된 스마트폰 등의 통신 단말기에 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트가 발생하면, 이벤트 발생에 따른 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시함으로써, 종래와 같이 이벤트 발생에 따른 메시지가 현재 재생중인 입체영상과 확연히 다른 검정바탕의 바나 박스 등의 형태로 표시되어 마치 오류메시지인 것처럼 보임으로 인해 상당한 이물감을 느끼던 문제점을 해소할 수 있도록 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치에 관한 것이다.
최근 들어 양안 시차를 이용하여 평면적인 디스플레이 하드웨어에서 가상적으로 입체감을 느낄 수 있는 3D 입체영상 기술의 이용이 활발해지고 있다. 3D 입체영상이란 2D 평면정보와 달리 깊이 및 공간 형상 정보를 동시에 제공하는 보다 사실적인 영상을 말한다. 즉 3D 입체영상은 이미 학습한 경험이 있는 볼륨(Volume)을 갖는 환경을 인간의 양안(즉 좌/우측 눈)이 인식하여 뇌에서 정리하는 과정에서 종합되는 공간인식 개념의 영상으로, 현장에서 실물을 보는 듯한 임장감, 사실감 및 가상 현실감 등을 제공한다.
이러한 3D 입체영상 기술은 컴퓨터를 이용하여 만들어낸 가공의 상황이나 환경을 사람의 감각기관을 통해 느끼게 하여 사용자가 몰입감을 느끼고 상호작용하게 하는 기술인 VR, VR의 한 분야로 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법인 AR(Augmented Reality, 증강현실), 가상현실과 실제 환경을 접목하여 만들어낸 세상으로 기반이 현실인가 가상인가에 따라 증강가상과 증강현실로 나뉘는 MR(Mixed Reality, 혼합 현실) 등으로 구분할 수 있다.
또한, 3D 입체영상 기술은 대형 시스템 기술 및 휴대형 시스템 기술로 분류가 가능하다.
대형 시스템 기술은 대규모 영상을 출력하는 프로젝션 모듈과 영상이 투여되는 스크린 모듈, 그리고 양안 시각(binocular viewing)을 제시하기 위한 좌우 시각 정보 분리 모듈, 예를 들면 프로젝터 부착 편광 필터, 입체 안경 등으로 구성되며, 테마파크의 가상현실 체험 장이나 대형 입체 영화 상영관 같이 대규모 사용자가 동시에 입체 영상 콘텐츠를 즐기는 목적으로 사용되고 있다.
휴대형 시스템 기술의 대표적인 형태는 머리 착용형 디스플레이 장치(HMD)/얼굴 착용형 디스플레이 장치(FMD; Face Mounted Display)이다. 이런 장치들은 초소형 디스플레이 장치를 안경과 유사한 구조로 광학 확대 구조부와 통합된 구조이며, 입체 시각 디스플레이를 위해서 좌우 눈 부분을 담당하는 별도의 모듈과 2개 채널의 영상 정보를 입력받는 구조를 가지고 있다. 이는 개인용 정보를 가시화하는 환경이나 모바일 컴퓨팅과 같이 높은 신체 자유도를 요구하는 조건에서 활용되고 있다.
특히, 현재 대부분의 사람이 사용하고 있는 스마트폰 등의 통신 단말기와 결합하여 손쉽게 사용할 수 있는 장점으로 인하여 HMD 기반의 VR 기기의 사용이 더욱 활발해지고 있으며, VR 산업은 우리의 생활에 깊숙하게 파고들어 실질적인 변화와 혁신을 줄 것으로 전망된다.
그리고 HMD 기반의 VR 기술산업은 여러 기술과 학문이 집약된 복합산업으로서, 의료, 교육, 게임 등의 전방산업과, 디스플레이, SW, 통신 등과 같은 후방산업의 동반성장을 촉진할 것으로 기대된다.
예를 들어, 외상 후 스트레스 장애, 각종 공포증(고소, 대인, 폐쇄), 우울증에 대한 치료 기법으로 확산되는 추세에 있고, 인지기능이 발달 중인 유아 및 아동 교육이나, 특정 교육(체험형 인성/적성 검사, 스포츠 훈련, 토론/발표 훈련 등)에 응용되어 실제 교육과 같은 효과가 기대된다. 그리고 가상현실 시뮬레이션이 활발히 도입되고 있는 외과수술, 산업훈련, 군사훈련, 항공기 조종, 소방 훈련 등의 산업용/군사용 교육도 주요 대상이 될 수 있다.
하지만, 상술한 바와 같은 HMD 기반의 VR 기기는, 사용자가 입체영상을 확인하는 과정에서 VR 기기와 결합된 스마트폰 등의 통신 단말기에 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트가 발생하면, 이벤트 발생에 따른 메시지를 현재 재생중인 입체영상과 확연히 다르게 검정바탕의 바나 박스 등의 형태로 표시하기 때문에 사용자가 마치 오류메시지가 나타난 것처럼 인식할 수 있고, 이로 인해 상당한 이물감을 느낄 수 있는 문제점이 있었다.
따라서 본 발명에서는 HMD 기반의 VR 기기 사용 중 VR 기기와 결합된 스마트폰 등의 통신 단말기에 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트가 발생하면, 해당 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시함으로써, 사용자가 오류메시지 표시로 인식하거나 이물감을 느끼는 문제를 해소할 수 있는 기술을 제시하고자 한다. 즉 종래의 문제점을 개선하기 위하여 이벤트 발생에 따른 메시지를 캡션과 같은 형식으로 입체영상 표시화면과 연동되도록 표시하는 기술을 제공하는 것이다.
다음으로 본 발명의 기술 분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저, 한국공개특허 제10-2007-0117431호(2007.12.12.)는 입체영상 재생시스템에 관한 것으로, 더욱 상세하게는 다양한 종류의 가상현실 소프트웨어를 적용할 수 있고, 다양한 포맷의 입체영상을 재생할 수 있도록 하는 구성을 제공함으로써, 입체영상 재생시스템의 활용도를 광범위하게 할 수 있고, 입체영상 재생시스템의 제작비용도 절감할 수 있는 입체영상 재생시스템에 관한 것이다.
상기 선행기술은 다양한 포맷의 입체영상을 재생하는 것이고, 본원발명은 이와 달리 입체영상을 재생하는 과정에서 전화 통화, 문자 수신 등의 이벤트 발생에 따라 표시되는 메시지를 현재 재생중인 입체영상에 연동시켜 표시하는 것이므로 양자는 서로 차이가 있다.
또한, 한국등록특허 제10-0809479호(2008.02.26.)는 혼합 현실 환경에서 디스플레이 장치에 관한 것으로서, 보다 상세하게는 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 및 방법에 관한 것이다.
상기 선행기술은 다수의 인공 영상과 외부 자연 영상이 합성되어 제시되는 혼합현실 환경에서, 얼굴 착용형 디스플레이 장치 외부의 영상 정보와 개인용 영상 정보의 자연스러운 합성을 가능하게 하여, 개별적으로 제시되는 입체 영상 기술을 활용한 혼합현실 환경에서 발생되는 깊이감의 부자연스러움이나 실사 및 가상 개체들 사이의 부자연스러운 상호작용 관계 등의 문제점을 해결하는 것을 특징으로 한다.
반면에 본원발명은 상기 선행기술과 같이 혼합현실 환경에서 영상의 부자연스러운 현상을 해결하는 방식이 아니라, 입체영상을 재생하는 과정에서 전화 통화, 문자 수신 등의 이벤트 발생에 따라 표시되는 메시지를 현재 재생중인 입체영상에 연동시켜 표시하는 것을 특징으로 하기 때문에 양자는 서로 차이가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, HMD 기반의 VR 기기를 통해 입체영상을 표시하는 도중에 VR 기기와 결합된 스마트폰 등의 통신 단말기에 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트 발생에 따른 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시할 수 있는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 이벤트 발생에 따른 소정의 메시지를 현재 재생 중인 입체영상화면에 연동시켜 표시할 때 사용자가 임의로 표시 위치나 크기를 자유롭게 변경하여 설정할 수 있는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 VR 기기 사용자가 이벤트 발생에 따른 메시지의 표시를 일정시간 중지시킬 수 있는 기능을 추가로 부여하여 입체영상 이용에 집중할 수 있는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법은, 통신 단말기에서 재생되는 영상신호를 VR 기기를 통해 좌안 및 우안용 입체영상으로 출력하는 과정에서 상기 통신 단말기의 화면에 표시되는 이벤트 발생에 따른 메시지를 확인하는 이벤트 메시지 확인단계; 및 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상 각각에 연동시켜, 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상과 함께 출력하는 이벤트 메시지 처리단계;를 포함할 수 있다.
그리고 상기 좌안 및 우안용 입체영상은, VR 기기에 구비된 위치센서, 자이로센서, 가속도센서 또는 이들의 조합 중 어느 하나 이상으로부터 입력되는 감지신호를 토대로 확인한 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 포함한 사용자 시각정보를 참조하여, 상기 통신 단말기에서 재생되는 영상신호로부터 생성할 수 있다.
그리고 상기 이벤트 메시지 확인단계에서 확인하는 이벤트 발생에 따른 메시지는, 외부로부터의 전화 통화, SMS를 포함한 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 또는 이들의 조합 중 어느 하나 이상일 수 있다.
그리고 상기 이벤트 메시지 처리단계는, 사용자의 입력조작을 토대로 위치 및 크기가 조절된 상태로 상기 통신 단말기의 이벤트 발생에 따른 메시지를 좌안 및 우안용 입체영상 각각에 연동시켜 표시할 수 있다.
그리고 상기 이벤트 메시지 처리단계는, 사용자의 입력조작을 토대로 상기 이벤트 메시지 확인단계에서 확인한 상기 이벤트 발생에 따른 메시지를 삭제하여 상기 이벤트 발생에 따른 메시지의 표시를 중지시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치는, 통신 단말기에서 재생되는 영상신호를 VR 기기를 통해 좌안 및 우안용 입체영상으로 출력하는 과정에서 상기 통신 단말기의 화면에 표시되는 이벤트 발생에 따른 메시지를 확인하는 이벤트 메시지 확인부; 및 상기 이벤트 메시지 확인부에서 확인한 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상 각각에 연동시켜, 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상과 함께 출력하는 이벤트 메시지 처리부;를 포함할 수 있다.
그리고 상기 VR 기기는, 상기 VR 기기의 기능이나 환경설정을 위한 사용자의 조작에 따른 키신호를 생성하는 입력 조작부;를 더 포함할 수 있다.
그리고 상기 통신 단말기는, VR 기기의 전면에 거치되는 것이 바람직하다.
그리고 상기 좌안 및 우안용 입체영상은, VR 기기에 구비된 위치센서, 자이로센서, 가속도센서 또는 이들의 조합 중 어느 하나 이상으로부터 입력되는 감지신호를 토대로 확인한 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 포함한 사용자 시각정보를 참조하여, 상기 통신 단말기에서 재생되는 영상신호로부터 생성할 수 있다.
그리고 상기 이벤트 발생에 따른 메시지는, 외부로부터의 전화 통화, SMS를 포함한 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 또는 이들의 조합 중 어느 하나 이상일 수 있다.
그리고 상기 이벤트 메시지 처리부는, 상기 입력 조작부를 통한 사용자의 입력조작을 토대로 위치 및 크기가 조절된 상태로 상기 통신 단말기의 이벤트 발생에 따른 메시지를 좌안 및 우안용 입체영상 각각에 오버레이하여 3차원 공간상에 표시할 수 있다.
그리고 상기 이벤트 메시지 처리부는, 상기 입력 조작부를 통한 사용자의 입력조작을 토대로 상기 이벤트 메시지 확인부에서 확인한 이벤트 발생에 따른 메시지를 삭제하여 상기 이벤트 발생에 따른 메시지의 3차원 공간상의 표시를 중지시킬 수 있다.
이상에서와 같이 본 발명의 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치에 따르면, VR 기기를 통해 입체영상을 표시할 때 VR 기기와 결합된 스마트폰 등의 통신 단말기에서 발생되는 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트 발생에 대한 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시할 수 있기 때문에 이벤트 발생에 따른 메시지를 자연스럽게 현재 재생중인 입체영상과 함께 표시할 수 있으며, 이에 따라 종래와 같이 검정바탕의 바나 박스 등의 형태로 표시되어 마치 오류메시지인 것처럼 보임으로 인해 상당한 이물감을 느끼던 문제점을 해소할 수 있는 효과가 있다.
또한, VR 기기를 사용하는 사용자가 자신의 기호에 맞추어 표시위치 및 크기를 임의로 설정하여 이벤트 발생에 따른 소정의 메시지를 표시할 수 있기 때문에 제품의 기능을 다양화하고 고급화할 수 있다.
또한, VR 기기 사용자가 이벤트 발생에 따른 메시지의 표시를 일정 시간 중지시키는 기능을 추가로 부여함으로써, 외부요인에 의한 방해 없이 입체영상 이용에만 집중할 수 있다.
도 1은 본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명이 적용된 VR 기기에서의 이벤트 발생에 따른 메시지 표시과정을 보다 상세하게 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 이벤트 발생에 의한 메시지 표시기능이 적용된 VR 기기의 구성을 상세하게 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법의 동작과정을 상세하게 나타낸 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치를 상세하게 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다.
명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치의 구성을 개략적으로 나타낸 도면이다.
도시된 바와 같이, 본 발명에 사용되는 VR 기기(200)는 고글 형태의 HMD 기반의 기기로서, 전면커버와 본체 사이에 입체영상을 제공하는 스마트폰 등과 같은 통신 단말기(100)가 거치된다.
그리고 VR 기기(200)는 본체의 전면에 거치된 통신 단말기(100)에서 재생되는 영상을 눈의 위치, 시선 방향, 초점 등의 사용자 시각정보를 토대로 입체 영상신호를 생성하여 출력한다.
이에 따라 고글 형태의 VR 기기를 착용한 사용자는 상하좌우 자유롭게 위치를 변경시키면서 입체영상을 즐길 수 있다.
이러한 입체영상 출력 과정에서 통신 단말기(100)에 외부로부터의 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 이벤트가 발생할 수 있다. 이 경우 VR 기기(200)는 이벤트 발생에 따른 메시지를 현재 재생중인 입체영상화면에 연동시켜 표시한다. 즉 종래와 같이 검정 바탕의 바나 박스 등의 형태로 표시하던 방식을 벗어나 이벤트 발생에 따른 메시지를 자연스럽게 현재 재생중인 입체영상 화면에 오버레이(overlay)하여 함께 표시하는 것이다.
이때 본 발명은 상기와 같이 통신 단말기가 전면에 거치되는 형태의 HMD 기반의 VR 기기를 예로 하여 설명하고 있으나 이에 한정되는 것은 아니며, 그 이외에 VR 기기 자체에 영상을 수신하는 통신수단, 수신된 영상을 재생하는 표시수단 등을 구비하고 케이블을 통해 연결되거나 무선 인터넷 등을 통해 통신 단말기로부터 영상을 제공받아 입체영상을 출력할 수도 있다.
또한, 본 발명은 HMD 기반의 VR 기기 이외에, 안경을 이용한 편광방식, 셔터방식 및 에너글리프(anaglyph), 안경을 이용하지 않는 렌티큘러(lenticular) 렌즈방식 및 시차 장벽(parallax barrier) 방식 등 공지의 3D 입체영상 기술이 적용된 모든 전자기기에 적용 가능함은 물론이다.
도 2는 본 발명의 기술이 적용된 VR 기기에서의 이벤트 발생에 따른 메시지 표시과정을 보다 상세하게 설명하기 위한 개념도이다.
도 2에 도시된 바와 같이, 사용자가 HMD 기반의 VR 기기의 본체 전면에 스마트폰 등의 통신 단말기를 거치하고, 이 상태에서 VR 기기를 고글과 같이 머리에 착용한 후, 통신 단말기의 구동을 조작하여 3D 포맷의 영상을 재생한다(①).
그러면 VR 기기는 통신 단말기에서 재생되는 영상신호를 확인하고(②), VR 기기의 소정 위치에 구비되어 있는 위치센서, 자이로센서, 가속도센서 등의 각종 센서를 통해 검출되는 데이터를 토대로 사용자의 현재 눈의 위치, 시선이 향하는 방향, 초점 등과 관련된 각종 사용자 시각정보를 확인한다(③).
이후 VR 기기는 눈의 위치, 시선 방향, 초점 등의 사용자 시각정보를 토대로 통신 단말기에서 재생되는 영상으로부터 좌안 및 우안용 입체영상을 생성하고(④), 생성된 좌안 및 우안용 입체영상을 출력하여 사용자가 확인하도록 한다(⑤). 즉 고글 형태의 VR 기기를 착용한 사용자의 머리 움직임 및 시선에 따라 깊이감, 실재감 있는 입체영상을 시청하도록 하는 것이다.
이처럼 입체영상을 출력하는 과정에서, VR 기기는 통신 단말기 화면 상에 외부로부터의 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 특정 이벤트가 발생하여 화면상에 기 설정되어 있는 이벤트 메시지가 표시되는지를 확인하고(⑥), 통신 단말기에 이벤트 메시지가 표시되면 어떠한 이벤트 메시지가 발생되었는지 확인한다(⑦). 즉 VR 기기는 통신 단말기 화면에 표시되는 이벤트 메시지를 캡처하는 등의 방식으로 이벤트 메시지가 발생되었음을 확인하여, 이벤트 메시지의 표시를 준비하는 것이다.
이벤트 메시지의 발생을 확인한 VR 기기는 현재 재생되고 있는 좌안 및 우안용 입체영상신호 각각에 이벤트 메시지를 오버레이 처리하고(⑧), 오버레이 처리된 이벤트 발생에 따른 메시지를 입체영상과 함께 입체영상이 표시되는 공간에 함께 표시하여 사용자가 어떠한 이벤트가 발생되었는지를 손쉽게 확인하도록 한다(⑨). 즉 이벤트 발생에 따른 메시지가 현재 재생중인 입체영상과 자연스럽게 어우러지도록 표시함으로써, 종래와 같이 오류메시지가 뜨는 것과 같은 현상을 방지하고 사용자가 이물감을 느끼지 않도록 하는 것이다.
도 3은 본 발명의 일 실시예에 따른 이벤트 발생에 의한 메시지 표시기능이 적용된 VR 기기(200)의 구성을 상세하게 나타낸 도면이다.
도시된 바와 같이 VR 기기(200)는, 영상 입력부(210), 사용자 시각정보 확인부(220), 입체영상 처리부(230), 입체영상 출력부(240), 이벤트 메시지 확인부(250), 이벤트 메시지 처리부(260), 입력 조작부(270) 등으로 구성된다. 물론 이외에도 전원부(미도시), 제어부(미도시) 등이 더 구비될 수도 있다.
영상 입력부(210)는 VR 기기(200)의 전면에 거치된 통신 단말기(100)에서 재생되는 3D 포맷의 영상신호를 입력받는 기능을 수행하는 부분으로서, 통신 단말기(100)에서 재생되는 영상신호를 입체영상 처리부(230)로 출력한다.
사용자 시각정보 확인부(220)는 VR 기기(200)에 구비된 센서에서 감지한 감지신호를 토대로 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 확인하며, 눈의 위치, 시선 방향, 초점 등을 포함한 사용자 시각정보를 입체영상 처리부(230)로 출력한다. 즉 사용자 시각정보 확인부(220)는 VR 기기(200)의 소정 위치에 구비된 위치센서, 자이로센서, 가속도센서 또는 이들의 조합 중 어느 하나 이상으로부터 입력되는 감지신호를 토대로 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 확인하고, 이를 입체영상 처리부(230)로 제공하는 것이다.
입체영상 처리부(230)는 사용자 시각정보 확인부(220)에서 확인한 사용자의 눈의 위치와 시선 방향, 초점 정보를 참조하여 영상 입력부(210)로부터 입력되는 영상신호로부터 좌안 및 우안용 입체영상을 생성한다.
즉 사용자의 시각정보를 기반으로 영상 입력부(210)로부터 입력되는 영상신호에서 깊이, 원근, 고저 등의 처리를 수행하여 사용자가 깊이감이나 실재감을 느낄 수 있는 입체영상을 생성하는 것이다.
입체영상 출력부(240)는 입체영상 처리부(230)에서 생성된 좌안 및 우안용 입체영상을 3차원 공간상에 출력하여 사용자가 확인하도록 한다.
이벤트 메시지 확인부(250)는 통신 단말기(100)의 화면상에 표시되는 이벤트 발생에 따른 메시지를 확인하여 이벤트 메시지 처리부(260)로 제공한다.
이때 이벤트 발생에 따른 메시지는, 외부로부터의 전화 통화, SMS를 포함한 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 또는 이들의 조합 중 어느 하나 이상일 수 있다.
예를 들어, 이벤트 메시지 확인부(250)는 통신 단말기(100) 화면에 이벤트 메시지가 표시되면, 화면의 특정 영역에 표시되는 이벤트 메시지를 캡처한 후, 캡처한 영상을 이벤트 메시지 처리부(260)로 출력하는 방식을 사용하는 것이 가장 일반적이다. 이때 이벤트 메시지 확인부(250)에서 이벤트 발생에 따른 메시지를 확인하는 방식은 상기 설명한 화면캡처 방식에 한정되는 것은 아니며, 그 이외에 소프트웨어 처리를 통해 재생중인 영상에서 메시지 표시영역을 인식하는 방식 등의 공지되어 있는 모든 방식을 사용할 수 있음은 물론이다.
이벤트 메시지 처리부(260)는 이벤트 메시지 확인부(250)에서 확인한 이벤트 발생에 따른 메시지를 입체영상 처리부(230)에서 생성한 좌안 및 우안용 입체영상 각각에 오버레이하여 입체영상 출력부(240)를 통해 입체영상이 출력되는 3차원 공간상에 이벤트 메시지가 출력되도록 한다.
이때 이벤트 메시지 처리부(260)는 사용자의 입력조작을 토대로 위치 및 크기가 조절된 상태로 통신 단말기(100)의 이벤트 발생에 따른 메시지를 좌안 및 우안용 입체영상 각각에 오버레이하여 3차원 공간상에 표시할 수 있다.
또한, 이벤트 메시지 처리부(260)는 사용자의 설정조작을 토대로 이벤트 메시지 확인부(250)에서 확인한 이벤트 발생에 따른 메시지를 삭제하여 이벤트 메시지가 3차원 공간상에 표시되지 않도록 하는 기능을 추가로 구현할 수 있다.
즉 사용자가 VR 기기(200)를 사용하는 도중에 이벤트 메시지가 발생되더라도 이를 표시하지 않음으로써, 사용자가 입체영상 이용에 집중할 수 있도록 하는 것이다.
입력 조작부(270)는 VR 기기(200)에서 구현되는 각종 기능이나 환경 설정을 위한 사용자의 조작에 따른 키 신호를 생성하고, 생성된 키 신호를 입체영상 처리부(230)로 출력한다.
다음에는, 이와 같이 구성된 본 발명에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법의 일 실시예를 도 4를 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각각의 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.
도 4는 본 발명의 일 실시예에 따른 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법의 동작과정을 상세하게 나타낸 순서도이다.
우선, 사용자가 통신 단말기(100)가 거치된 HMD 기반의 VR 기기(200)를 고글과 같이 머리에 착용한 후, 통신 단말기(100)를 구동시켜 3D 포맷의 영상을 재생하면, VR 기기(200)는 전면에 거치된 통신 단말기(100)에서 재생되는 영상신호를 확인한다(S100).
통신 단말기(100)에서 재생되는 3D 포맷의 영상을 확인함과 동시에, VR 기기(200)는 센서에서 검출한 감지신호를 토대로 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 등의 사용자 시각정보를 확인한다(S200). 즉 VR 기기(200)의 소정 위치에 구비되어 있는 위치센서, 자이로센서, 가속도센서 등의 각종 센서를 통해 검출되는 데이터를 토대로 사용자의 현재 눈의 위치, 시선이 향하는 방향, 초점 등과 관련된 사용자 시각정보를 확인하는 것이다.
이후, VR 기기(200)는 S200 단계에서 확인한 사용자의 눈의 위치와 시선 방향, 초점 정보를 참조하여, S100 단계에서 확인한 영상신호로부터 좌안 및 우안용 입체영상을 생성한 후(S300), 생성된 좌안 및 우안용 입체영상을 3차원 공간상에 출력한다(S400). 즉 VR 기기를 머리에 착용한 사용자의 머리 움직임 및 시선에 따라 깊이감, 실재감 있는 입체영상을 자유롭게 시청할 수 있도록 하는 것이다. 이때 S400의 입체영상 출력은 통신 단말기(100)의 영상재생이 모두 종료되거나 사용자에 의해 영상재생이 중지될 때까지 수행된다.
이제, S400 단계를 통해 입체영상을 시청하는 과정에서, VR 기기(200)는 통신 단말기(100)의 화면에 외부로부터의 전화 통화, SMS 등의 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 등의 특정 이벤트가 발생하여 이벤트 메시지가 표시되는지를 판단한다(S500).
S500 단계의 판단결과 통신 단말기(100)의 화면에 이벤트 발생에 따른 메시지가 표시되면 통신 단말기(100)의 화면에 표시되는 이벤트 발생에 따른 메시지를 확인한다(S600). 즉 VR 기기(200)는 통신 단말기(100)의 화면에 표시되는 이벤트 메시지를 캡처하는 등의 방식으로 이벤트 메시지가 발생되었음을 확인하는 것이다.
S600 단계에서 이벤트 발생에 따른 메시지를 확인한 이후, VR 기기(200)는 이벤트 발생에 따른 메시지를 S300 단계에서 생성된 좌안 및 우안용 입체 영상 각각에 오버레이하고(S700), 오버레이 처리된 이벤트 발생에 따른 메시지를 입체영상과 함께 3차원 공간상에 출력한다(S800). 즉 이벤트 발생에 따른 메시지가 현재 재생중인 입체영상과 자연스럽게 어우러지도록 표시하는 것이다. 그러면 사용자는 종래와 같이 오류메시지가 뜨는 것과 같은 이물감을 느끼지 않고 자연스럽게 입체영상을 시청하는 도중에 이벤트 메시지를 확인할 수 있다.
입체영상과 함께 출력되는 이벤트 발생에 따른 메시지는 통신 단말기(100)의 화면에 이벤트 메시지의 표시가 종료될 때까지 수행된다(S900).
이때 S800 단계를 통해 입체영상과 함께 표시되는 이벤트 발생에 따른 메시지는 사용자의 설정조작을 토대로 위치 및 크기가 조절된 상태로 표시할 수 있다.
또한, S800 단계를 통해 입체영상과 함께 표시되는 이벤트 발생에 따른 메시지는 사용자의 설정조작을 토대로 사용자가 입체영상 이용에 집중하기 위하여 표시를 중지시킬 수도 있다.
이처럼, 본 발명은 종래와 같이 검정바탕의 바나 박스 등의 형태로 표시되어 마치 오류메시지인 것처럼 보임으로 인해 상당한 이물감을 느끼던 문제점을 해소하면서 이벤트 발생에 따른 메시지를 자연스럽게 현재 재생중인 입체영상과 함께 표시할 수 있다.
또한, 본 발명은 VR 기기를 사용하는 사용자가 자신의 기호에 맞추어 원하는 위치 및 크기를 조절하여 이벤트 발생에 따른 소정의 메시지를 표시할 수 있으며, 사용자가 이벤트 발생에 따른 메시지의 표시를 일정시간 중지하는 기능을 사용하는 경우에는 외부요인에 의한 방해 없이 입체영상 이용에만 집중할 수 있다.
여기에서, 상술한 본 발명에서는 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.
[부호의 설명]
100 : 통신 단말기 200 : VR 기기
210 : 영상 입력부 220 : 사용자 시각정보 확인부
230 : 입체영상 처리부 240 : 입체영상 출력부
250 : 이벤트 메시지 확인부 260 : 이벤트 메시지 처리부
270 : 입력 조작부

Claims (12)

  1. 통신 단말기에서 재생되는 영상신호를 VR 기기를 통해 좌안 및 우안용 입체영상으로 출력하는 과정에서 상기 통신 단말기의 화면에 표시되는 이벤트 발생에 따른 메시지를 확인하는 이벤트 메시지 확인단계; 및
    상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상 각각에 연동시켜, 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상과 함께 출력하는 이벤트 메시지 처리단계;를 포함하는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법.
  2. 청구항 1에 있어서,
    상기 좌안 및 우안용 입체영상은,
    상기 VR 기기에 구비된 위치센서, 자이로센서, 가속도센서 또는 이들의 조합 중 어느 하나 이상으로부터 입력되는 감지신호를 토대로 확인한 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 포함한 사용자 시각정보를 참조하여, 상기 통신 단말기에서 재생되는 영상신호로부터 생성하는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법.
  3. 청구항 1에 있어서,
    상기 이벤트 메시지 확인단계에서 확인하는 이벤트 발생에 따른 메시지는,
    외부로부터의 전화 통화, SMS를 포함한 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 또는 이들의 조합 중 어느 하나 이상인 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법.
  4. 청구항 1에 있어서,
    상기 이벤트 메시지 처리단계는,
    사용자의 입력조작을 토대로 위치 및 크기가 조절된 상태로 상기 통신 단말기의 이벤트 발생에 따른 메시지를 좌안 및 우안용 입체영상 각각에 연동시켜 표시할 수 있는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법.
  5. 청구항 1에 있어서,
    상기 이벤트 메시지 처리단계는,
    사용자의 입력조작을 토대로 상기 이벤트 메시지 확인단계에서 확인한 상기 이벤트 발생에 따른 메시지를 삭제하여 상기 이벤트 발생에 따른 메시지의 표시를 중지시킬 수 있는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시방법.
  6. 통신 단말기에서 재생되는 영상신호를 VR 기기를 통해 좌안 및 우안용 입체영상으로 출력하는 과정에서 상기 통신 단말기의 화면에 표시되는 이벤트 발생에 따른 메시지를 확인하는 이벤트 메시지 확인부; 및
    상기 이벤트 메시지 확인부에서 확인한 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상 각각에 연동시켜, 상기 이벤트 발생에 따른 메시지를 상기 좌안 및 우안용 입체영상과 함께 출력하는 이벤트 메시지 처리부;를 포함하는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  7. 청구항 6에 있어서,
    상기 VR 기기의 기능이나 환경설정을 위한 사용자의 조작에 따른 키신호를 생성하는 입력 조작부;를 더 포함하는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  8. 청구항 6에 있어서,
    상기 통신 단말기는,
    상기 VR 기기의 전면에 거치되는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  9. 청구항 6에 있어서,
    상기 좌안 및 우안용 입체영상은,
    상기 VR 기기에 구비된 위치센서, 자이로센서, 가속도센서 또는 이들의 조합 중 어느 하나 이상으로부터 입력되는 감지신호를 토대로 확인한 사용자의 상하좌우 회전에 따른 눈의 위치와 시선 방향, 초점 정보를 포함한 사용자 시각정보를 참조하여, 상기 통신 단말기에서 재생되는 영상신호로부터 생성하는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  10. 청구항 6에 있어서,
    상기 이벤트 발생에 따른 메시지는,
    외부로부터의 전화 통화, SMS를 포함한 문자 수신, 메신저 프로그램이나 애플리케이션에 의한 메시지 수신 또는 이들의 조합 중 어느 하나 이상인 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  11. 청구항 7에 있어서,
    상기 이벤트 메시지 처리부는,
    상기 입력 조작부를 통한 사용자의 입력조작을 토대로 위치 및 크기가 조절된 상태로 상기 통신 단말기의 이벤트 발생에 따른 메시지를 좌안 및 우안용 입체영상 각각에 연동시켜 표시할 수 있는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
  12. 청구항 7에 있어서,
    상기 이벤트 메시지 처리부는,
    상기 입력 조작부를 통한 사용자의 입력조작을 토대로 상기 이벤트 메시지 확인부에서 확인한 이벤트 발생에 따른 메시지를 삭제하여 상기 이벤트 발생에 따른 메시지의 표시를 중지시킬 수 있는 것을 특징으로 하는 VR 기기에서의 이벤트 발생에 의한 메시지 표시장치.
PCT/KR2017/004090 2016-04-29 2017-04-17 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치 WO2017188637A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/088,683 US20190109938A1 (en) 2016-04-29 2017-04-17 Message display method according to event occurrence in vr device and apparatus therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160052791A KR101687174B1 (ko) 2016-04-29 2016-04-29 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
KR10-2016-0052791 2016-04-29

Publications (1)

Publication Number Publication Date
WO2017188637A1 true WO2017188637A1 (ko) 2017-11-02

Family

ID=57735669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/004090 WO2017188637A1 (ko) 2016-04-29 2017-04-17 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치

Country Status (3)

Country Link
US (1) US20190109938A1 (ko)
KR (1) KR101687174B1 (ko)
WO (1) WO2017188637A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491169A (zh) * 2017-07-31 2017-12-19 合肥光照信息科技有限公司 一种vr信息采集存储系统及其方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323482A1 (en) * 2016-05-05 2017-11-09 Universal City Studios Llc Systems and methods for generating stereoscopic, augmented, and virtual reality images
US10828560B2 (en) * 2016-09-30 2020-11-10 Sony Interactive Entertainment Inc. Systems and methods for stereoscopic vision with head mounted display
KR101930319B1 (ko) 2017-03-15 2019-02-20 주식회사 아이리시스 가상현실장치에서의 생체정보에 의한 사용자 인증방법 및 인증장치
CN108957756A (zh) * 2018-07-29 2018-12-07 赣州研顺飞科技有限公司 一种具有按摩功效的vr眼罩
US11011142B2 (en) 2019-02-27 2021-05-18 Nintendo Co., Ltd. Information processing system and goggle apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025117A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
KR20160026323A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치
KR20160027627A (ko) * 2014-09-01 2016-03-10 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
KR20160039962A (ko) * 2014-10-02 2016-04-12 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이 제어 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9878235B2 (en) * 2013-06-07 2018-01-30 Sony Interactive Entertainment Inc. Transitioning gameplay on a head-mounted display
US20150331240A1 (en) * 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
KR20150144668A (ko) * 2014-06-17 2015-12-28 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
US20180072226A1 (en) * 2016-03-16 2018-03-15 Jesse Clement Bunch Extended perception system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025117A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
KR20160026323A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치
KR20160027627A (ko) * 2014-09-01 2016-03-10 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
KR20160039962A (ko) * 2014-10-02 2016-04-12 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491169A (zh) * 2017-07-31 2017-12-19 合肥光照信息科技有限公司 一种vr信息采集存储系统及其方法

Also Published As

Publication number Publication date
KR101687174B1 (ko) 2016-12-16
US20190109938A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
WO2017188637A1 (ko) Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
KR100809479B1 (ko) 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
Larsson et al. The actor-observer effect in virtual reality presentations
CN107924589B (zh) 通信系统
WO2010095835A2 (ko) 영상 처리 방법 및 장치
WO2010095838A2 (ko) 그래픽 화면 처리 방법 및 장치
WO2011028019A2 (ko) 비디오 영상 배속 재생 방법 및 장치
CN111103688A (zh) 一种防晕眩设备、系统和方法
US20220407902A1 (en) Method And Apparatus For Real-time Data Communication in Full-Presence Immersive Platforms
Peterson Virtual Reality, Augmented Reality, and Mixed Reality Definitions
WO2023029849A1 (zh) 一种ar眼镜
US10582184B2 (en) Instantaneous 180-degree 3D recording and playback systems
JP2021086435A (ja) 授業システム、視聴端末、情報処理方法及びプログラム
WO2023029848A1 (zh) 双路输入3d近眼成像系统
KR102358997B1 (ko) 다자간 확장현실 체험을 위한 서비스 플랫폼
KR101935418B1 (ko) Hmd 장치를 이용한 가상현실 서비스 제공 방법 및 이를 구현하는 가상현실 시스템
WO2021107595A1 (ko) 가상콘텐츠 체험 시스템 및 그 제어방법
JP2020530218A (ja) 没入型視聴覚コンテンツを投影する方法
CN206517592U (zh) 一种交互式3d音频系统
JP3472068B2 (ja) 立体映像表示装置
JP2021086606A (ja) 授業システム、視聴端末、情報処理方法及びプログラム
US10834382B2 (en) Information processing apparatus, information processing method, and program
JP2020025275A (ja) 映像音響再生装置およびその方法
NL2030186B1 (en) Autostereoscopic display device presenting 3d-view and 3d-sound
JP2004129180A (ja) 仮想空間体験のためのシステム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17789822

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17789822

Country of ref document: EP

Kind code of ref document: A1