KR20150037254A - 착용형 디스플레이 디바이스 및 레이어 제어 방법 - Google Patents

착용형 디스플레이 디바이스 및 레이어 제어 방법 Download PDF

Info

Publication number
KR20150037254A
KR20150037254A KR20130116713A KR20130116713A KR20150037254A KR 20150037254 A KR20150037254 A KR 20150037254A KR 20130116713 A KR20130116713 A KR 20130116713A KR 20130116713 A KR20130116713 A KR 20130116713A KR 20150037254 A KR20150037254 A KR 20150037254A
Authority
KR
South Korea
Prior art keywords
user
layer
virtual object
head
gaze
Prior art date
Application number
KR20130116713A
Other languages
English (en)
Inventor
이도영
천시내
조은형
김지환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20130116713A priority Critical patent/KR20150037254A/ko
Priority to US14/167,058 priority patent/US20150091943A1/en
Priority to PCT/KR2014/001751 priority patent/WO2015046686A1/en
Publication of KR20150037254A publication Critical patent/KR20150037254A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

착용형 디스플레이 디바이스 및 증강 현실 레이어의 제어 방법이 개시된다. 상기 착용형 디스플레이 디바이스는 제1 레이어의 가상 오브젝트와 제2 레이어의 가상 오브젝트를 디스플레이하는 디스플레이 유닛, 사용자의 얼굴을 촬영하는 카메라 유닛, 사용자가 머리를 돌리는지를 센싱하는 센서 유닛, 및 상기 카메라 유닛에서 촬영된 사용자 이미지와 상기 센서 유닛에서 센싱된 정보를 기반으로 사용자의 머리 돌림과 사용자의 시선 이동 중 하나가 식별되고, 사용자의 시선이 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트 중 하나를 응시하고 있으면, 사용자의 시선이 응시하는 레이어의 가상 오브젝트를 이동시키는 콘트롤러를 포함할 수 있다.

Description

착용형 디스플레이 디바이스 및 레이어 제어 방법{Wearable display device and method of controlling layer}
본 명세서는 사용자의 신체 중 적어도 하나에 착용할 수 있는 착용형 디스플레이 디바이스에 관한 것으로서, 더욱 상세하게는 얼굴에 착용할 수 있는 착용형 디스플레이 디바이스에서 증강 현실(Augmented Reality; AR) 레이어 제어 방법에 관한 것이다.
리얼 오브젝트와 가상 오브젝트가 혼합된 증강 현실 기술은 사용자가 가상 이미지와 함께 현실 이미지를 볼 수 있게 하여 현실감과 함께 부가 정보를 제공한다. 예를 들어 스마트 폰의 카메라로 주변을 비추면 현실 이미지와 함께 인근에 있는 상점의 위치, 전화번호 등의 증강현실 이미지가 입체 영상으로 표기된다. 증강 현실 기술은 착용형 디스플레이 디바이스(wearable computing device)에도 적용될 수 있다. 특히 헤드 마운티드 디스플레이와 같이 머리에 쓰는 형태의 디스플레이는 사용자가 보는 실제 환경에 가상 이미지 또는 문자 등을 오버랩하여 실시간으로 보여줌으로써 사용자에게 증강현실을 제공한다.
상기 착용형 디스플레이 디바이스는 단순한 디스플레이 기능을 넘어 전술한 증강 현실 기술, N 스크린 기술 등과 조합되어 사용자에게 다양한 편의를 제공할 수 있다.
또한 상기 착용형 디스플레이 디바이스는 다양한 외부 디지털 디바이스와 연계하여 사용 가능하다. 상기 착용형 디스플레이 디바이스는 외부 디지털 디바이스와 통신을 수행하여 해당 외부 디지털 디바이스를 위한 사용자 입력을 수신하거나 해당 외부 디지털 디바이스와 연동한 작업의 수행도 가능하다.
도 1의 (a) 내지 (d)는 머리나 얼굴에 착용하는 착용형 디스플레이 디바이스의 예들을 보이고 있다. 도 1의 (a) 내지 (d)에서 보는 바와 같이, 착용형 디스플레이 디바이스는 다양한 형태를 가지고 있으며, 머리나 얼굴에 착용할 수 있는 형태는 어느 것이나 가능하다. 예를 들면, 도 1의 (a)와 같은 안경 형태, 도 1의 (b)와 같은 선글라스 형태, 도 1의 (c), (d)와 같은 머리띠 형태도 가능하다.
도 1의 (a) 내지 (d)의 착용형 디스플레이 디바이스는 이미지 및/또는 음성을 디스플레이 및/또는 스피커를 통해 사용자에게 제공한다. 특히 착용형 디스플레이 디바이스는 양안 중 적어도 하나에 근접한 위치에 액정 등의 소형 디스플레이 장치가 설치되어 이미지를 투영하는 방식이 일반적이다.
본 명세서의 목적은 착용형 디스플레이 디바이스에서 증강 현실 레이어를 제어하는 장치 및 방법을 제공함에 있다.
본 명세서의 다른 목적은 착용형 디스플레이 디바이스에서 사용자의 시선과 착용형 디스플레이 디바이스의 회전(즉, 머리 돌림)을 이용하여 증강 현실 레이어를 제어하는 장치 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 명세서에 따른 착용형 디스플레이 디바이스는 제1 레이어의 가상 오브젝트와 제2 레이어의 가상 오브젝트를 디스플레이하는 디스플레이 유닛; 사용자의 얼굴을 촬영하는 카메라 유닛; 사용자가 머리를 돌리는지를 센싱하는 센서 유닛; 및 상기 카메라 유닛에서 촬영된 사용자 이미지와 상기 센서 유닛에서 센싱된 정보를 기반으로 사용자의 머리 돌림과 사용자의 시선 이동 중 하나가 식별되고, 사용자의 시선이 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트 중 하나를 응시하고 있으면, 사용자의 시선이 응시하는 레이어의 가상 오브젝트를 이동시키는 콘트롤러를 포함하는 것을 일 실시예로 한다.
상기 콘트롤러는 상기 촬영된 사용자 이미지로부터 눈의 동공을 검출하고, 검출된 동공 정보와 사용자의 머리 돌림 여부를 기반으로 사용자가 응시하는 시선 방향을 검출하는 것을 일 실시예로 한다.
상기 콘트롤러는 사용자의 시선은 고정된 상태에서 사용자의 시선이 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트 중 하나를 응시하고 있으면서 사용자의 머리가 옆으로 돌려지면, 사용자의 시선이 응시하고 있는 레이어의 가상 오브젝트를 이동시키는 것을 일 실시예로 한다.
상기 이동하는 레이어의 가상 오브젝트의 이동 방향은 상기 사용자의 머리가 돌려지는 방향과 반대 방향인 것을 일 실시예로 한다.
상기 이동하는 레이어의 가상 오브젝트의 이동 거리는 상기 사용자의 머리가 돌아간 거리를 기반으로 산출되는 것을 일 실시예로 한다.
상기 콘트롤러는 사용자의 머리는 고정된 상태에서 사용자의 시선이 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트 중 하나를 응시한 후 이동하면, 사용자의 시선이 응시하고 있었던 레이어의 가상 오브젝트를 이동시키는 것을 일 실시예로 한다.
상기 이동하는 레이어의 가상 오브젝트의 이동 방향은 상기 사용자의 시선의 이동 방향과 같은 방향인 것을 일 실시예로 한다.
상기 이동하는 레이어의 가상 오브젝트의 이동 거리는 상기 사용자의 시선이 이동하는 거리를 기반으로 산출되는 것을 일 실시예로 한다.
상기 콘트롤러는 모션 센서, 가속도 센서, 및 자이로 센서 중 적어도 하나를 이용하여 사용자의 머리가 돌려지는 방향과 거리를 센싱하는 것을 일 실시예로 한다.
상기 콘트롤러는 상기 촬영된 사용자 이미지를 기반으로 사용자의 머리가 돌려지는 방향과 거리를 센싱하는 것을 일 실시예로 한다.
상기 카메라 유닛은 현실 세계의 이미지를 촬영하고, 상기 디스플레이 유닛은 상기 촬영된 현실 세계의 이미지 위에 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트를 중첩하여 증강 현실 이미지를 디스플레이하는 것을 일 실시예로 한다.
본 명세서에 따른 착용형 디스플레이 디바이스의 레이어 제어 방법은 제1 레이어의 가상 오브젝트와 제2 레이어의 가상 오브젝트를 디스플레이하는 단계; 사용자의 얼굴을 촬영하는 단계; 사용자가 머리를 돌리는지를 센싱하는 단계; 및 상기 촬영된 사용자 이미지와 상기 센싱된 정보를 기반으로 사용자의 머리 돌림과 사용자의 시선 이동 중 하나가 식별되고, 사용자의 시선이 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트 중 하나를 응시하고 있으면, 사용자의 시선이 응시하는 레이어의 가상 오브젝트를 이동시키는 단계를 포함하는 것을 일 실시예로 한다.
본 명세서는 사용자의 머리에 착용된 착용형 디스플레이 디바이스에서 사용자의 시선과 착용형 디스플레이 디바이스의 회전(즉, 머리 돌림)을 검출하고, 검출 결과에 따라 사용자의 시선이 응시하는 레이어의 가상 오브젝트를 이동시킴으로써, 다른 레이어의 가상 오브젝트에 일부가 가려 볼 수 없었던 레이어의 가상 오브젝트를 볼 수 있게 된다.
도 1의 (a) 내지 (d)는 다양한 형태의 착용형 디스플레이 디바이스의 예들을 보인 도면
도 2는 본 명세서에 따른 착용형 디스플레이 디바이스의 구성 블록도
도 3의 (a) 내지 (d)는 본 명세서에 따른 사용자의 시선 이동 및 머리 돌림의 예들을 보인 도면
도 4의 (a), (b)는 본 명세서에 따른 착용형 디스플레이 디바이스를 착용한 사용자가 증강 현실 이미지를 시청하는 일 실시예들을 보인 도면
도 5의 (a), (b)는 본 명세서에 따른 착용형 디스플레이 디바이스를 착용한 사용자가 증강 현실 이미지를 시청하는 다른 실시예들을 보인 도면
도 6의 (a), (b)는 본 명세서에 따른 착용형 디스플레이 디바이스를 착용한 사용자가 증강 현실 이미지를 시청하는 또 다른 실시예들을 보인 도면
도 7은 본 명세서에 따른 증강 현실 레이어 제어 방법의 일 실시예를 보인 흐름도
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
또한 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.
본 명세서의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 명세서의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 명세서의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
그리고 본 명세서에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 명세서의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
또한 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 그리고 명세서에 기재된 "...부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서는 착용형 디스플레이 디바이스에서 사용자의 시선과 머리 돌림을 이용하여 증강 현실 레이어를 제어하는데 있다. 특히 본 명세서는 둘 이상의 레이어를 통해 둘 이상의 가상 오브젝트가 배치되어 생성된 증강 현실 이미지에서 사용자의 시선과 머리 돌림을 이용하여 특정 레이어의 가상 오브젝트를 이동시키는데 있다. 만일 착용형 디스플레이 디바이스를 머리에 착용한 상태라면, 상기 착용형 디스플레이 디바이스의 회전과 머리 돌림은 같은 의미로 사용된다.
도 2는 본 명세서의 일 실시예에 따른 착용형 디스플레이 디바이스(200)의 구성 블록도로서, 콘트롤러(211), 커뮤니케이션 유닛(212), 카메라 유닛(213), 스토리지 유닛(214), 센서 유닛(215), 이미지 처리 유닛(216), 디스플레이 유닛(217), 및 오디오 출력 유닛(218)을 포함한다. 또한 콘텐츠와 같은 데이터를 제공하는 하나 이상의 외부 디지털 디바이스(250)가 유/무선을 통해 상기 착용형 디스플레이 디바이스(200)의 커뮤니케이션 유닛(212)에 연결된다.
이와 같이 구성된 착용형 디스플레이 디바이스(200)에서 콘트롤러(211)는 어플리케이션(또는 프로그램)을 실행하고, 착용형 디스플레이 디바이스 내부의 데이터를 처리할 수 있다. 또한 콘트롤러(211)는 커뮤니케이션 유닛(212), 카메라 유닛(213), 스토리지 유닛(214), 센서 유닛(215), 이미지 처리 유닛(216), 디스플레이 유닛(217), 및 오디오 출력 유닛(218)을 제어할 수 있으며, 유닛들 간의 데이터 송수신을 매니지할 수 있다.
본 명세서에서 상기 콘트롤러(211)는 사용자의 시선과 머리 (즉, 고개) 돌림을 검출하고, 검출 결과에 따라 해당 유닛을 제어하여 시선이 응시하는 레이어의 가상 오브젝트를 이동시킨다. 본 명세서에서는 시선과 머리 돌림의 검출을 상기 콘트롤러(211)에서 수행하는 것을 일 실시예로 설명하고 있다. 이것은 본 명세서의 이해를 돕기 위한 하나의 실시예이며, 상기 콘트롤러(211)가 아닌 다른 유닛에서 별도로 수행할 수도 있다. 본 명세서에서 시선 및 머리 돌림의 검출은 하드웨어, 펌웨어, 미들웨어, 소프트웨어 중 어느 하나로 이루어질 수도 있고, 또는 그러한 것 중 적어도 두개의 결합으로 이루어질 수도 있다.
상기 커뮤니케이션 유닛(212)은 유선 또는 무선을 통해 외부 디지털 디바이스(250)에 연결된다. 상기 외부 디지털 디바이스(250)는 상기 착용형 디스플레이 디바이스(200)에 비디오/오디오 데이터를 제공할 수 있는 장치는 어느 것이나 가능하다. 예를 들어, 상기 외부 디지털 디바이스(250)는 이동 단말기가 될 수도 있고, 고정 단말기가 될 수도 있다. 이동 단말기는 휴대폰, 스마트 폰, 태블릿 PC (Personal Computer), 스마트 패드, 노트북, 디지털 방송용 단말기, 개인 정보 단말기(PDA, Personal Digital Assistants), PMP (Portable Multimedia Player), 디지털 카메라, 네비게이션 등이 될 수 있고, 고정 단말기는 데스크 탑, DVD (Digital Video Disc or Digital Versatile Disc) 플레이어, TV 등이 될 수 있다.
상기 커뮤니케이션 유닛(212)과 외부 디지털 디바이스(250)는 다양한 프로토콜을 사용하여 유선 또는 무선을 통해 데이터를 송/수신할 수 있다. 예를 들어, 유선인 경우 HDMI (High Definition Multimedia Interface) 또는 DVI (Digital Visual Interface)등의 인터페이스가 지원될 수 있다. 다른 예로, 무선인 경우 2G, 3G, 4G 이동 통신 방식, 예컨대 GSM (Global System for Mobile Communications) 이나 CDMA (Code Division Multiple Access), Wibro, 그 외에 HSPA (High Speed Packet Access), HSDPA(High Speed Downlink Packet Access), LTE (Long Term Evolution) 등의 이동 통신 방식 또는 블루투스, RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, WLAN(Wireless LAN)(Wi-Fi) 등의 근거리 통신 방식의 인터페이스가 지원될 수 있다.
여기서 유/무선 인터페이스 방식은 본 명세서의 이해를 돕기 위한 실시예들이며, 정보를 송/수신하기 위한 인터페이스 방식은 당업자에 의해 용이하게 변경될 수 있으므로 본 명세서에서 인터페이스 방식은 상기된 실시예들로 한정되지 않을 것이다.
상기 카메라 유닛(213)은 상기 착용형 디스플레이 디바이스의 주변 환경의 이미지를 촬영하여 전기적 신호로 변환한다. 이를 위해 카메라 유닛(213)은 이미지 센서를 포함할 수 있으며, 이미지 센서는 광학 신호를 전기적 신호로 변환할 수 있다. 상기 카메라 유닛(213)에서 촬영되어 전기적 신호로 변환된 이미지는 스토리지 유닛(214)에 저장된 후 콘트롤러(211)로 출력되거나, 저장없이 바로 콘트롤러(211)로 출력될 수도 있다. 또한 상기 카메라 유닛(213)은 사용자의 얼굴 또는 사용자의 시야에 대응하는 범위의 이미지를 촬영하여 전기적 신호로 변환하고, 전기적 신호로 변환된 이미지는 스토리지 유닛(214)에 저장된 후 상기 콘트롤러(211)로 출력되거나 저장없이 바로 상기 콘트롤러(211)로 출력된다. 상기 카메라 유닛(213)에 의해 촬영되는 이미지는 정지 영상이 될 수도 있고, 동영상이 될 수도 있다.
상기 스토리지 유닛(214)은 콘트롤러(211)의 동작을 위한 어플리케이션(또는 프로그램)을 저장할 수도 있고, 상기 카메라 유닛(213)을 통해 획득한 이미지를 저장할 수도 있다. 또한 상기 스토리지 유닛(214)은 오디오, 사진, 동영상, 어플리케이션 등 다양한 콘텐츠를 저장할 수 있다.
상기 스토리지 유닛(214)은 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory) 등이 될 수 있다. 또한 착용형 디스플레이 디바이스(200)는 인터넷(internet) 상에서 상기 스토리지 유닛(214)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
또한 상기 스토리지 유닛(224)은 상기 착용형 디스플레이 디바이스(200)에 착탈 가능한 외부 저장 매체를 더 포함할 수 있다. 상기 외부 저장 매체는 SD (Secure Digital)나 CF (Compact Flash) 메모리와 같은 슬롯 형태, 메모리 스틱 형태, USB (Universal Serial Bus) 형태 등이 가능하다. 즉, 상기 외부 저장 매체는 상기 착용형 디스플레이 디바이스(200)에 착탈 가능하고, 오디오, 사진, 동영상, 어플리케이션 등과 같은 콘텐츠를 상기 착용형 디스플레이 디바이스(200)에 제공할 수 있는 저장 매체는 어느 것이나 가능하다.
상기 센서 유닛(215)은 상기 착용형 디스플레이 디바이스(200)에 장착된 복수의 센서를 사용하여 사용자 입력 또는 상기 착용형 디스플레이 디바이스(200)가 인식하는 환경을 콘트롤러(211)로 전달할 수 있다. 이때, 상기 센서 유닛(215)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다.
상기 복수의 센싱 수단 중 압력 센서는 상기 착용형 디스플레이 디바이스(200)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 상기 압력 센서 모듈은 사용 환경에 따라 상기 착용형 디스플레이 디바이스(200)에서 압력의 검출이 필요한 부위에 설치될 수 있다.
상기 모션 센서는 상기 가속도 센서, 상기 자이로 센서 등을 이용하여 착용형 디스플레이 디바이스(200)의 회전을 감지할 수 있다. 즉, 상기 콘트롤러(211)는 상기 센서 유닛(215)의 모션 센서, 가속도 센서, 및 자이로 센서로부터 센싱된 정보를 이용하여 착용형 디스플레이 디바이스를 착용한 사용자의 머리가 어느 방향으로 얼마만큼 돌려졌는지를 산출할 수 있다. 상기 모션 센서에 사용될 수 있는 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 가속도 센서에는, 자동차의 에어백 시스템에 내장되어 충돌을 감지하는데 사용하는 큰 값의 가속도를 측정하는 것부터, 사람 손의 미세한 동작을 인식하여 게임 등의 입력 수단으로 사용하는 미세한 값의 가속도를 측정하는 것까지 다양한 종류가 있다. 또한, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
본 명세서에서 상기 센서 유닛(215)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 콘트롤러(211)가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 착용형 디스플레이 디바이스(200)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
상기 이미지 처리 유닛(216)은 하나 이상의 가상 오브젝트를 하나 이상의 레이어에 배치한 후 상기 카메라 유닛(213)에서 촬영된 현실 세계의 이미지 위에 중첩시킨다. 상기 하나 이상의 레이어의 가상 오브젝트가 중첩된 증강 현실 이미지는 상기 디스플레이 유닛(217)을 통해 디스플레이된다.
즉, 상기 카메라 유닛(213)은 현실 세계의 이미지를 촬영하여 스토리지 유닛(214)에 저장한 후 이미지 처리 유닛(216)으로 출력하거나, 저장하지 않고 바로 이미지 처리 유닛(216)으로 출력한다. 상기 이미지 처리 유닛(216)은 상기 카메라 유닛(213)으로 촬영된 현실 세계의 이미지에 하나 이상의 가상 오브젝트를 레이어 구조로 중첩하여 증강 현실 이미지를 만든다. 일 예로, 카메라 유닛(213)으로 촬영된 현실 세계의 이미지 위에서 레이어만 정의하고, 어떤 레이어를 선택할 것인지를 사용자가 선택한 후, 가상 오브젝트를 선택된 레이어에 올릴 수 있다. 이러한 레이어들은 일반적인 브라우저들의 웹 페이지처럼 동작한다. 마치 수많은 웹 사이트가 있는 것처럼 수많은 레이어들을 이용할 수 있다.
또한 상기 디스플레이 유닛(217)은 상기 착용형 디스플레이 디바이스(200)에서 실행 중인 콘텐츠의 비디오 신호를 출력한다. 상기 콘텐츠는 상기 외부 디지털 디바이스(250), 카메라 유닛(213), 및 스토리지 유닛(214) 중 하나로부터 제공받을 수 있다. 상기 디스플레이 유닛(217)은 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor liquid crystal display), 발광 다이오드(light emitting diode), 유기 발광 다이오드(organic light emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 될 수 있다. 또한 디스플레이 유닛(217)은 가상 화면을 디스플레이하는 허공이나 투명 유리 등이 될 수 있다. 즉, 비디오 신호를 시각적으로 인간에게 전달하여줄 수 있는 것은 어느 것이나 디스플레이 유닛(217)이 될 수 있다.
상기 오디오 출력 유닛(218)은 상기 착용형 디스플레이 디바이스(200)에서 실행 중인 콘텐츠의 오디오 신호를 출력한다. 상기 콘텐츠는 스토리지 유닛(214)으로부터 제공받을 수도 있고, 상기 외부 디지털 디바이스(250)로부터 제공받을 수도 있으며, 또한 카메라 유닛(213)으로부터 제공받을 수도 있다.
상기 오디오 출력 유닛(218)은 공기 전도 스피커와 골전도 스피커 중 적어도 하나를 포함할 수 있다.
상기 골전도 스피커는 주파수 형태의 진동으로 변환된 오디오 신호를 사용자에게 원할하게 제공할 수 있는 다양한 위치에 배치될 수 있다. 만일 골전도 스피커를 이용한다면, 상기 오디오 신호는 골전도 스피커를 구동시킴으로써, 골전도 음파가 사용자의 두개골에 전도되어 주파수 형태의 진동이 사용자의 내이로 전달되게 된다. 골전도 스피커를 이용하면 사용자는 고막에 무리없이 오디오 신호를 들을 수 있게 된다.
상기 공기 전도 스피커는 이어폰 등이 해당된다. 상기 공기 전도 스피커는 오디오 신호에 따라 공기를 진동시켜 음파를 발생시킨다. 즉, 공기로 전해지는 소리의 진동은 귓속에 있는 고막으로 전달되고, 고막의 진동은 고막 속에 자리 잡고 있는 3개의 뼈를 통해 나사 모양의 와우에 전달된다. 와우에는 림프액이라는 액체가 차 있고, 이 액체의 진동이 전기 신호로 바뀌면서 청각 신경에 전달되어 사람의 뇌는 소리를 인식한다.
도 3의 (a) 내지 (d)는 상기 착용형 디스플레이 디바이스(200)를 착용한 사용자의 시선 이동 및 머리 돌림의 예를 보이고 있다. 즉, 도 3의 (a)는 사용자의 머리가 정면을 향하면서 시선도 정면을 응시하는 예이다. 즉, 사용자의 동공이 눈의 가운데에 위치한다. 도 3의 (b)는 도 3의 (a)를 기준으로 사용자의 머리는 정면을 향하지만 시선은 오른쪽으로 이동한 예이다. 즉, 사용자의 동공이 눈의 한쪽 즉, 오른쪽 끝에 위치한다. 도 3의 (c)는 도 3의 (a)를 기준으로 사용자가 머리를 오른쪽으로 일정 각도만큼 돌리면서 시선도 함께 오른쪽으로 이동시켜 머리가 돌아간 곳을 응시하고 있는 예이다. 즉, 사용자의 동공이 눈의 가운데에 위치한다. 도 3의 (d)는 도 3의 (a)를 기준으로 사용자가 머리를 오른쪽으로 일정 각도만큼 돌리지만 시선은 계속 정면을 응시하고 있는 예이다. 즉, 사용자의 동공이 눈의 한쪽 즉, 왼쪽 끝에 위치한다.
본 명세서는 도 3의 (a)를 기준으로 했을 때, 도 3의 (b)와 같이 사용자의 머리는 고정된 상태에서 시선만 이동할 때와 도 3의 (d)와 같이 사용자의 머리는 돌아가지만 시선은 고정될 때에 시선이 응시하는 레이어의 가상 오브젝트만 이동시키는 것을 일 실시예로 한다. 이때 사용자의 머리는 고정된 상태에서 시선만 이동할 때는 시선이 응시하는 레이어의 오브젝트의 이동 방향 및 거리는 시선이 이동하는 방향 및 거리를 기반으로 산출된다. 한편, 사용자의 머리는 돌아가지만 시선이 고정될 때는 시선이 응시하는 레이어의 오브젝트의 이동 방향은 머리를 돌리는 방향과 반대 방향이 되며, 이동 거리는 머리가 돌아간 정도를 기반으로 산출된다.
본 명세서는 한 레이어의 가상 오브젝트가 다른 레이어의 가상 오브젝트에 일부가 가려져 안 보일 때에, 도 3의 (b) 또는 도 3의 (d)와 같은 조건에서 가려진 레이어의 가상 오브젝트를 이동시킴으로써, 다른 레이어의 가상 오브젝트에 적어도 일부가 가려져 보이지 않던 레이어의 가상 오브젝트를 볼 수 있게 된다.
도 4의 (a)는 도 3의 (a)처럼 사용자가 증강 현실 이미지를 시청하는 예를 보이고 있다. 도 4의 (a)는 카메라 유닛(213)에서 촬영된 현실 세계의 이미지(400) 위에 제1 내지 제3 레이어의 가상 오브젝트들(411~413)이 디스플레이되는 예를 보이고 있다. 여기서 제2 레이어의 가상 오브젝트(412)의 일부와 제3 레이어의 가상 오브젝트(413)의 일부가 가장 상측에 위치한 제1 레이어의 가상 오브젝트(411)에 가려져 보이지 않는다.
이때 사용자의 머리도 정면을 향하고, 시선도 정면을 향하고 있으므로 사용자의 시선(420)이 도 4의 (a)에서와 같이 제3 레이어의 가상 오브젝트(413)를 응시하고 있더라도 제3 레이어의 가상 오브젝트(413)는 이동하지 않는다. 즉, 제1 내지 제3 레이어의 오브젝트들(411~413)의 배치는 변하지 않는다. 그러므로 사용자는 제1 레이어의 가상 오브젝트(411)에 가려진 제3 레이어의 가상 오브젝트(413)의 해당 부분은 볼 수 없다.
도 4의 (b)는 도 3의 (b)에서 처럼 사용자가 증강 현실 이미지를 시청하는 예를 보이고 있다. 이때 사용자는 머리는 정면을 향하고 있으면서 시선만 도 4의 (a)에서 도 4의 (b)와 같이 오른쪽으로 이동하므로, 사용자의 시선(420)이 응시하던 제3 레이어의 가상 오브젝트(413)도 오른쪽으로 이동한다. 이때 상기 제3 레이어의 가상 오브젝트(413)가 이동하는 방향 및 거리는 사용자의 시선이 이동하는 방향 및 거리를 기반으로 산출된다. 따라서 사용자는 제1 레이어의 가상 오브젝트(411)에 가려진 제3 레이어의 가상 오브젝트(413)의 해당 부분을 볼 수 있게 된다. 한편, 도 4의 (a)에서 사용자가 머리는 정면을 향한 상태에서 시선만 왼쪽으로 이동시키면 사용자의 시선이 응시하던 제3 레이어의 가상 오브젝트(413)도 왼쪽으로 이동하므로, 제 3 레이어의 가상 오브젝트(413)는 제1 레이어의 가상 오브젝트(411)에 더 많이 가려지게 되어 사용자가 제 3 레이어의 가상 오브젝트(413)에서 볼 수 없는 부분이 더 많아진다.
도 5의 (a)는 도 3의 (a)에서 처럼 사용자가 증강 현실 이미지를 시청하는 예를 보이고 있다. 즉, 도 5의 (a)는 도 4의 (a)의 그림과 동일하다.
도 5의 (b는 도 3의 (c)에서 처럼 증강 현실 이미지를 시청하는 예를 보이고 있다. 즉, 도 5의 (a)와 같이 사용자의 시선(420)과 머리가 정면으로 향한 상태에서 제2 레이어의 가상 오브젝트(412)를 응시하고 있다가 도 5의 (b)와 같이 머리를 오른쪽으로 돌리면서 시선도 함께 오른쪽으로 이동시킬 때의 예이다.
이때 사용자의 머리가 오른쪽으로 돌아가면서 시선도 함께 오른쪽으로 이동하므로 제1 내지 제3 레이어의 가상 오브젝트들(411~413)의 배치에는 변화가 없다. 그러므로 사용자의 시선이 제2 레이어의 가상 오브젝트(412)를 응시하고 있더라도 사용자는 제1 레이어의 가상 오브젝트(411)에 가려진 제2 레이어의 가상 오브젝트(412)의 해당 부분을 볼 수 없다.
도 6의 (a)는 도 3의 (a)에서 처럼 사용자가 증강 현실 이미지를 시청하는 예를 보이고 있다. 즉, 도 6의 (a))는 도 5의 (a)의 그림과 동일하다. 다만, 도 5의 (a)에서는 사용자의 시선(420)이 제3 레이어의 가상 오브젝트(413)를 응시하고 있지만, 도 6의 (a)에서는 사용자의 시선(420)이 제2 레이어의 가상 오브젝트(412)를 응시하고 있다.
도 6의 (b)는 도 3의 (d)에서 처럼 사용자가 증강 현실 이미지를 시청하는 예를 보이고 있다. 즉, 사용자의 시선이 응시하는 제2 레이어의 가상 오브젝트(412)가 왼쪽으로 이동하는 예이다.
다시 말해, 도 4의 (a)와 같이 사용자의 시선(420)과 머리가 도 6의 (a)와 같이 정면을 향한 상태에서 제2 레이어의 가상 오브젝트(412)를 응시하고 있다가 머리는 오른쪽으로 돌리면서 시선은 정면에 고정시키면 도 6의 (b)와 같이 사용자의 시선(420)이 응시하는 제2 레이어의 가상 오브젝트(412)가 왼쪽으로 이동한다. 이때 상기 제2 레이어의 가상 오브젝트(412)가 이동하는 방향은 사용자의 머리가 돌아가는 방향의 반대이며, 상기 제2 레이어의 가상 오브젝트(412)가 이동하는 거리는 사용자의 머리가 돌아간 정도(즉, 거리)를 기반으로 산출된다.
다른 실시예로, 사용자의 머리가 오른쪽으로 돌아가고 시선도 함께 오른쪽으로 이동하여 제2 레이어의 가상 오브젝트(412)를 응시하고 있다가 시선만 왼쪽으로 이동시키면 도 6의 (b)와 같이 사용자의 시선이 응시하는 제2 레이어의 가상 오브젝트(412)가 왼쪽으로 이동한다. 이때 상기 제2 레이어의 가상 오브젝트(412)가 이동하는 방향 및 거리는 사용자의 시선이 이동하는 방향 및 거리를 기반으로 산출된다. 한편 사용자의 머리가 왼쪽으로 이동하고 시선도 함께 왼쪽으로 이동하여 제2 레이어의 가상 오브젝트(412)를 응시하고 있다가 시선만 오른쪽으로 이동시키면 사용자의 시선이 응시하던 제2 레이어의 가상 오브젝트(412)도 오른쪽으로 이동하므로, 제 2 레이어의 가상 오브젝트(412)는 제1 레이어의 가상 오브젝트(411)에 더 많이 가려지게 되어 사용자가 제 2 레이어의 가상 오브젝트(412)에서 볼 수 없는 부분이 더 많아진다.
다음은 상기 콘트롤러(211)에서 사용자의 시선이 응시하는 레이어의 가상 오브젝트를 추적하는 실시예를 설명하기로 한다.
이를 위해 카메라 유닛(213)은 사용자의 얼굴을 촬영하여 콘트롤러(211)로 출력한다. 상기 콘트롤러(211)는 카메라 유닛(213)에서 촬영된 얼굴 이미지에서 눈 이미지를 추출한 후, 추출한 눈 이미지에서 동공의 중심점을 산출한다.
여기서 동공(pupil)은 눈의 중심 부분이며 홍채(iris)에 의하여 둘러 싸여있는 동그란 부분이다. 동공은 눈의 다른 부분에 비하여 어두우며 동양인의 경우 통상적으로 검은색이다. 사용자의 시선은 동공과 밀접한 관련이 있을 수 있다. 예를 들어, 사용자가 관심을 가지고 응시하는 지점은 동공의 중심점이 향하는 방향과 실질적으로 일치할 수 있음을 의미한다.
그리고 상기 콘트롤러(211)는 사용자의 머리의 움직임 즉, 머리를 어느 방향으로 얼마만큼 돌리는지를 고려하여 시선 방향을 산출한다. 즉, 머리의 움직임은 동공의 중심점과 함께 사용자의 시선 방향을 산출하기 위한 하나의 요소일 수 있다. 예를 들어, 동공의 움직임 없이 정면을 향하고 있는 경우에도, 머리를 좌우로 움직이면 시선 방향이 달라질 수 있음을 의미한다. 이때 머리의 움직임은 센서 유닛(215)의 적어도 하나의 센서를 이용하여 검출할 수도 있고, 카메라 유닛(213)으로 촬영된 사용자의 얼굴 이미지를 이용하여 검출할 수도 있다.
즉, 상기 콘트롤러(211)는 머리의 움직임과 동공의 중심점에 기반하여 사용자의 시선 방향을 산출할 수 있다. 그리고 산출된 시선 방향을 기반으로 사용자가 증강 현실 이미지에서 어느 레이어의 가상 오브젝트를 응시하고 있는지를 판단할 수 있다.
도 7은 본 명세서의 착용형 디스플레이 디바이스에서 증강 현실 레이어 제어 방법의 일 실시예를 나타낸 흐름도이다.
도 7을 보면, 사용자의 시선 이동과 머리 돌림 중 적어도 하나가 검출되는지를 판단한다(S601). 즉, 사용자는 머리는 고정시킨 상태에서 시선만 이동시킬 수도 있고, 머리는 돌리는데 시선은 고정시킬 수도 있으며, 머리를 돌리면서 시선도 동시에 이동시킬 수도 있다. 머리를 돌리면서 시선도 이동시킬 때는 같은 방향인 것을 일 실시예로 한다. 즉 머리를 오른쪽으로 돌리면 시선도 오른쪽으로 이동하고, 머리를 왼쪽으로 돌리면 시선도 왼쪽으로 이동한다.
상기 단계 S601에서 사용자의 시선이 이동한다고 판별되면 단계 S602로 진행하여 시선이 이동하는 방향을 확인한다(S602). 시선이 오른쪽으로 이동하면 단계 S603로 진행하여 사용자가 머리도 돌리는지를 판별하고, 시선이 왼쪽으로 이동하면 단계 S604로 진행하여 사용자가 머리도 돌리는지를 판별한다.
상기 단계 S603에서 사용자가 머리는 돌리지 않는다고 판별되면, 이때는 사용자가 시선은 오른쪽으로 이동시키면서 머리는 돌리지 않는 경우이다. 이때는 단계 S710로 진행되어 시선이 응시하는 레이어의 가상 오브젝트를 오른쪽으로 이동시킨다. 이때 시선이 응시하는 레이어의 가상 오브젝트의 이동 방향과 거리는 시선의 이동 방향과 거리를 기반으로 산출된다.
상기 단계 S603에서 사용자가 머리도 돌린다고 판별되면, 이때는 사용자가 머리를 오른쪽으로 돌리면서 시선도 오른쪽으로 이동시키는 경우이다. 이때는 단계 S720로 진행되어 증강 현실 이미지의 모든 레이어의 가상 오브젝트들을 오른쪽으로 이동시킨다. 즉, 증강 현실 이미지의 모든 레이어의 가상 오브젝트들의 배치에 변화가 없다.
상기 단계 S604에서 사용자가 머리는 돌리지 않는다고 판별되면, 이때는 사용자가 시선은 왼쪽으로 이동시키면서 머리는 돌리지 않는 경우이다. 이때는 단계 S730로 진행되어 시선이 응시하는 레이어의 가상 오브젝트를 왼쪽으로 이동시킨다. 이때 시선이 응시하는 레이어의 가상 오브젝트의 이동 방향과 거리는 시선의 이동 방향과 거리를 기반으로 산출된다.
상기 단계 S604에서 사용자가 머리도 돌린다고 판별되면, 이때는 사용자가 머리를 왼쪽으로 돌리면서 시선도 왼쪽으로 이동시키는 경우이다. 이때는 단계 S740로 진행되어 증강 현실 이미지의 모든 레이어의 가상 오브젝트들을 왼쪽으로 이동시킨다. 즉, 증강 현실 이미지의 모든 레이어의 가상 오브젝트들의 배치에 변화가 없다.
상기 단계 S601에서 사용자가 머리를 돌린다고 판별되면 단계 S605로 진행하여 머리를 돌리는 방향을 확인한다. 머리를 오른쪽으로 돌리면 단계 S606로 진행하여 사용자가 시선도 이동시키는지를 판별하고, 머리를 왼쪽으로 돌리면 단계 S607로 진행하여 사용자가 시선도 이동시키는지를 판별한다.
상기 단계 S606에서 사용자가 시선은 이동시키지 않는다고 판별되면, 이때는 사용자가 시선은 고정시키면서 머리만 오른쪽으로 돌리는 경우이다. 이때는 단계 S730로 진행되어 시선이 응시하는 레이어의 가상 오브젝트를 머리를 돌리는 방향과 반대인 왼쪽으로 이동시킨다. 이때 시선이 응시하는 레이어의 가상 오브젝트의 이동 방향은 사용자가 머리를 돌리는 방향과 반대이며, 이동 거리는 사용자의 머리가 돌아간 거리를 기반으로 산출된다.
상기 단계 S606에서 사용자가 시선도 이동시킨다고 판별되면, 이때는 사용자가 머리를 오른쪽으로 돌리면서 시선도 오른쪽으로 이동시키는 경우이다. 이때는 단계 S720로 진행되어 증강 현실 이미지의 모든 레이어의 가상 오브젝트들을 오른쪽으로 이동시킨다. 즉, 증강 현실 이미지의 모든 레이어의 가상 오브젝트들의 배치에 변화가 없다.
상기 단계 S607에서 사용자가 시선은 이동시키지 않는다고 판별되면, 이때는 사용자가 시선은 고정시키면서 머리만 왼쪽으로 돌리는 경우이다. 이때는 단계 S710로 진행되어 시선이 응시하는 레이어의 가상 오브젝트를 오른쪽으로 이동시킨다. 이때 시선이 응시하는 레이어의 가상 오브젝트의 이동 방향은 사용자가 머리를 돌리는 방향과 반대이며, 이동 거리는 사용자의 머리가 돌아간 거리를 기반으로 산출된다.
상기 단계 S607에서 사용자가 시선도 이동시킨다고 판별되면, 이때는 사용자가 머리를 왼쪽으로 돌리면서 시선도 왼쪽으로 이동시키는 경우이다. 이때는 단계 S740로 진행되어 증강 현실 이미지의 모든 레이어의 가상 오브젝트들을 왼쪽으로 이동시킨다. 즉, 증강 현실 이미지의 모든 레이어의 가상 오브젝트들의 배치에 변화가 없다.
지금까지는 카메라 유닛(213)으로 촬영된 현실 세계의 이미지에 복수개의 레이어의 가상 오브젝트들이 중첩된 증강 현실 이미지에서 사용자의 시선이 응시하는 레이어의 가상 오브젝트를 이동시키는 실시예들을 설명하였다.
또한 본 명세서는 현실 세계의 이미지 없이 복수개의 레이어의 가상 오브젝트들만 디스플레이된 이미지에서 전술한 실시예들을 적용하여 사용자가 응시하는 레이어의 가상 오브젝트를 이동시킬 수 있다.
지금까지 설명한 본 명세서는 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 명세서가 속한 분야의 통상의 지식을 가지 자에 의해 변형이 가능하고 이러한 변형은 본 명세서의 범위에 속한다.
200: 착용형 디스플레이 디바이스 211: 콘트롤러
212: 커뮤니케이션 유닛 213: 카메라 유닛
214: 스토리지 유닛 215: 센서 유닛
216: 이미지 처리 유닛 217: 디스플레이 유닛
218: 오디오 출력 유닛

Claims (20)

  1. 제1 레이어의 가상 오브젝트와 제2 레이어의 가상 오브젝트를 디스플레이하는 디스플레이 유닛;
    사용자의 얼굴을 촬영하는 카메라 유닛;
    사용자가 머리를 돌리는지를 센싱하는 센서 유닛; 및
    상기 카메라 유닛에서 촬영된 사용자 이미지와 상기 센서 유닛에서 센싱된 정보를 기반으로 사용자의 머리 돌림과 사용자의 시선 이동 중 하나가 식별되고, 사용자의 시선이 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트 중 하나를 응시하고 있으면, 사용자의 시선이 응시하는 레이어의 가상 오브젝트를 이동시키는 콘트롤러를 포함하는 것을 특징으로 하는 착용형 디스플레이 디바이스.
  2. 제 1 항에 있어서, 상기 콘트롤러는
    상기 촬영된 사용자 이미지로부터 눈의 동공을 검출하고, 검출된 동공 정보와 사용자의 머리 돌림 여부를 기반으로 사용자가 응시하는 시선 방향을 검출하는 것을 특징으로 하는 착용형 디스플레이 디바이스.
  3. 제 1 항에 있어서, 상기 콘트롤러는
    사용자의 시선은 고정된 상태에서 사용자의 시선이 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트 중 하나를 응시하고 있으면서 사용자의 머리가 옆으로 돌려지면, 사용자의 시선이 응시하고 있는 레이어의 가상 오브젝트를 이동시키는 것을 특징으로 하는 착용형 디스플레이 디바이스.
  4. 제 3 항에 있어서,
    상기 이동하는 레이어의 가상 오브젝트의 이동 방향은 상기 사용자의 머리가 돌려지는 방향과 반대 방향인 것을 특징으로 하는 착용형 디스플레이 디바이스.
  5. 제 3 항에 있어서,
    상기 이동하는 레이어의 가상 오브젝트의 이동 거리는 상기 사용자의 머리가 돌아간 거리를 기반으로 산출되는 것을 특징으로 하는 착용형 디스플레이 디바이스.
  6. 제 1 항에 있어서, 상기 콘트롤러는
    사용자의 머리는 고정된 상태에서 사용자의 시선이 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트 중 하나를 응시한 후 이동하면, 사용자의 시선이 응시하고 있었던 레이어의 가상 오브젝트를 이동시키는 것을 특징으로 하는 착용형 디스플레이 디바이스.
  7. 제 6 항에 있어서,
    상기 이동하는 레이어의 가상 오브젝트의 이동 방향은 상기 사용자의 시선의 이동 방향과 같은 방향인 것을 특징으로 하는 착용형 디스플레이 디바이스.
  8. 제 6 항에 있어서,
    상기 이동하는 레이어의 가상 오브젝트의 이동 거리는 상기 사용자의 시선이 이동하는 거리를 기반으로 산출되는 것을 특징으로 하는 착용형 디스플레이 디바이스.
  9. 제 1 항에 있어서, 상기 콘트롤러는
    모션 센서, 가속도 센서, 및 자이로 센서 중 적어도 하나를 이용하여 사용자의 머리가 돌려지는 방향과 거리를 센싱하는 것을 특징으로 하는 착용형 디스플레이 디바이스.
  10. 제 1 항에 있어서, 상기 콘트롤러는
    상기 촬영된 사용자 이미지를 기반으로 사용자의 머리가 돌려지는 방향과 거리를 센싱하는 것을 특징으로 하는 착용형 디스플레이 디바이스.
  11. 제 1 항에 있어서,
    상기 카메라 유닛은 현실 세계의 이미지를 촬영하고,
    상기 디스플레이 유닛은 상기 촬영된 현실 세계의 이미지 위에 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트를 중첩하여 증강 현실 이미지를 디스플레이하는 것을 특징으로 하는 착용형 디스플레이 디바이스.
  12. 제1 레이어의 가상 오브젝트와 제2 레이어의 가상 오브젝트를 디스플레이하는 단계;
    사용자의 얼굴을 촬영하는 단계;
    사용자가 머리를 돌리는지를 센싱하는 단계; 및
    상기 촬영된 사용자 이미지와 상기 센싱된 정보를 기반으로 사용자의 머리 돌림과 사용자의 시선 이동 중 하나가 식별되고, 사용자의 시선이 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트 중 하나를 응시하고 있으면, 사용자의 시선이 응시하는 레이어의 가상 오브젝트를 이동시키는 단계를 포함하는 것을 특징으로 하는 착용형 디스플레이 디바이스의 레이어 제어 방법.
  13. 제 12 항에 있어서,
    상기 촬영된 사용자 이미지로부터 눈의 동공을 검출하고, 검출된 동공 정보와 사용자의 머리 돌림 여부를 기반으로 사용자가 응시하는 시선 방향을 검출하는 것을 특징으로 하는 착용형 디스플레이 디바이스의 레이어 제어 방법.
  14. 제 12 항에 있어서,
    사용자의 시선은 고정된 상태에서 사용자의 시선이 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트 중 하나를 응시하고 있으면서 사용자의 머리가 옆으로 돌려지면, 사용자의 시선이 응시하고 있는 레이어의 가상 오브젝트를 이동시키는 것을 특징으로 하는 착용형 디스플레이 디바이스의 레이어 제어 방법.
  15. 제 14 항에 있어서,
    상기 이동하는 레이어의 가상 오브젝트의 이동 방향은 상기 사용자의 머리가 돌려지는 방향과 반대 방향인 것을 특징으로 하는 착용형 디스플레이 디바이스의 레이어 제어 방법.
  16. 제 14 항에 있어서,
    상기 이동하는 레이어의 가상 오브젝트의 이동 거리는 상기 사용자의 머리가 돌아간 거리를 기반으로 산출되는 것을 특징으로 하는 착용형 디스플레이 디바이스의 레이어 제어 방법.
  17. 제 12 항에 있어서,
    사용자의 머리는 고정된 상태에서 사용자의 시선이 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트 중 하나를 응시한 후 이동하면, 사용자의 시선이 응시하고 있었던 레이어의 가상 오브젝트를 이동시키는 것을 특징으로 하는 착용형 디스플레이 디바이스의 레이어 제어 방법.
  18. 제 17 항에 있어서,
    상기 이동하는 레이어의 가상 오브젝트의 이동 방향은 상기 사용자의 시선의 이동 방향과 같은 방향인 것을 특징으로 하는 착용형 디스플레이 디바이스의 레이어 제어 방법.
  19. 제 17 항에 있어서,
    상기 이동하는 레이어의 가상 오브젝트의 이동 거리는 상기 사용자의 시선이 이동하는 거리를 기반으로 산출되는 것을 특징으로 하는 착용형 디스플레이 디바이스의 레이어 제어 방법.
  20. 제 12 항에 있어서,
    현실 세계의 이미지를 촬영하는 단계; 및
    상기 촬영된 현실 세계의 이미지 위에 상기 제1 레이어의 가상 오브젝트와 상기 제2 레이어의 가상 오브젝트를 중첩하여 증강 현실 이미지를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 착용형 디스플레이 디바이스의 레이어 제어 방법.
KR20130116713A 2013-09-30 2013-09-30 착용형 디스플레이 디바이스 및 레이어 제어 방법 KR20150037254A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130116713A KR20150037254A (ko) 2013-09-30 2013-09-30 착용형 디스플레이 디바이스 및 레이어 제어 방법
US14/167,058 US20150091943A1 (en) 2013-09-30 2014-01-29 Wearable display device and method for controlling layer in the same
PCT/KR2014/001751 WO2015046686A1 (en) 2013-09-30 2014-03-04 Wearable display device and method for controlling layer in the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130116713A KR20150037254A (ko) 2013-09-30 2013-09-30 착용형 디스플레이 디바이스 및 레이어 제어 방법

Publications (1)

Publication Number Publication Date
KR20150037254A true KR20150037254A (ko) 2015-04-08

Family

ID=52739718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130116713A KR20150037254A (ko) 2013-09-30 2013-09-30 착용형 디스플레이 디바이스 및 레이어 제어 방법

Country Status (3)

Country Link
US (1) US20150091943A1 (ko)
KR (1) KR20150037254A (ko)
WO (1) WO2015046686A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170035130A (ko) * 2015-09-22 2017-03-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어방법
KR20190101323A (ko) * 2019-08-12 2019-08-30 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
KR20190103095A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR20210017165A (ko) * 2019-08-07 2021-02-17 한국과학기술연구원 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법
US11487355B2 (en) 2018-05-31 2022-11-01 Sony Corporation Information processing apparatus and information processing method
US11538443B2 (en) 2019-02-11 2022-12-27 Samsung Electronics Co., Ltd. Electronic device for providing augmented reality user interface and operating method thereof

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015084323A1 (en) * 2013-12-03 2015-06-11 Nokia Corporation Display of information on a head mounted display
KR20150101915A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
JP6547741B2 (ja) * 2014-05-09 2019-07-24 ソニー株式会社 情報処理システムおよび情報処理方法
WO2016031358A1 (ja) * 2014-08-27 2016-03-03 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
AU2016341196B2 (en) 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
WO2017075100A1 (en) * 2015-10-26 2017-05-04 Pillantas Inc. Systems and methods for eye vergence control
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
EP3392752A4 (en) * 2015-12-14 2018-12-12 Sony Corporation Information processing device, information processing method, and program
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
GB2548346B (en) * 2016-03-11 2020-11-18 Sony Interactive Entertainment Europe Ltd Image processing method and apparatus
KR20230098927A (ko) 2016-03-31 2023-07-04 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들
KR102548818B1 (ko) * 2016-04-21 2023-06-28 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
US11328484B2 (en) 2016-05-20 2022-05-10 Magic Leap, Inc. Contextual awareness of user interface menus
GB2558193B (en) * 2016-09-23 2022-07-20 Displaylink Uk Ltd Compositing an image for display
US10008042B2 (en) 2016-09-30 2018-06-26 Intel Corporation Augmented reality rendered structured content
US10146300B2 (en) 2017-01-25 2018-12-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Emitting a visual indicator from the position of an object in a simulated reality emulation
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
KR101874111B1 (ko) * 2017-03-03 2018-07-03 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
AU2018256365A1 (en) 2017-04-19 2019-10-31 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US10932705B2 (en) 2017-05-08 2021-03-02 Masimo Corporation System for displaying and controlling medical monitoring data
US10699691B1 (en) * 2017-06-29 2020-06-30 Amazon Technologies, Inc. Active noise cancellation for bone conduction speaker of a head-mounted wearable device
US11145096B2 (en) 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
DE102019206749A1 (de) * 2019-05-09 2020-11-12 Volkswagen Aktiengesellschaft Mensch-Maschine-Interaktion in einem Kraftfahrzeug

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US20060028674A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Printer with user ID sensor
JP2007134785A (ja) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc 頭部装着型の映像表示装置
KR101004930B1 (ko) * 2008-07-10 2010-12-28 성균관대학교산학협력단 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
KR20130002410U (ko) * 2011-10-13 2013-04-23 유재원 망원 안경
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170035130A (ko) * 2015-09-22 2017-03-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어방법
US11487355B2 (en) 2018-05-31 2022-11-01 Sony Corporation Information processing apparatus and information processing method
US11538443B2 (en) 2019-02-11 2022-12-27 Samsung Electronics Co., Ltd. Electronic device for providing augmented reality user interface and operating method thereof
KR20210017165A (ko) * 2019-08-07 2021-02-17 한국과학기술연구원 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법
KR20190101323A (ko) * 2019-08-12 2019-08-30 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
KR20190103095A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
WO2015046686A1 (en) 2015-04-02
US20150091943A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
KR20150037254A (ko) 착용형 디스플레이 디바이스 및 레이어 제어 방법
KR102458665B1 (ko) 디바이스를 이용한 화면 처리 방법 및 장치
EP3029550B1 (en) Virtual reality system
US9311718B2 (en) Automated content scrolling
US10114466B2 (en) Methods and systems for hands-free browsing in a wearable computing device
EP3097460B1 (en) Gaze swipe selection
US9552060B2 (en) Radial selection by vestibulo-ocular reflex fixation
EP3014338B1 (en) Tracking head movement when wearing mobile device
US10528133B2 (en) Bracelet in a distributed artificial reality system
US9696547B2 (en) Mixed reality system learned input and functions
KR102300390B1 (ko) 착용식 식품 영양 피드백 시스템
KR20160145976A (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
US11880093B2 (en) Hyperextending hinge for wearable electronic device
WO2013166362A2 (en) Collaboration environment using see through displays
US10521013B2 (en) High-speed staggered binocular eye tracking systems
US10572002B2 (en) Distributed artificial reality system with contextualized hand tracking
US11366318B2 (en) Electronic device and control method thereof
KR20180045644A (ko) 머리 착용형 디스플레이 장치 및 그의 제어 방법
KR20230063667A (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid