KR102022553B1 - 빛 회절 인자를 포함하는 헤드마운트 디스플레이 장치 - Google Patents

빛 회절 인자를 포함하는 헤드마운트 디스플레이 장치 Download PDF

Info

Publication number
KR102022553B1
KR102022553B1 KR1020150057306A KR20150057306A KR102022553B1 KR 102022553 B1 KR102022553 B1 KR 102022553B1 KR 1020150057306 A KR1020150057306 A KR 1020150057306A KR 20150057306 A KR20150057306 A KR 20150057306A KR 102022553 B1 KR102022553 B1 KR 102022553B1
Authority
KR
South Korea
Prior art keywords
sensor
frame
headmount
electronic device
visible range
Prior art date
Application number
KR1020150057306A
Other languages
English (en)
Other versions
KR20160023545A (ko
Inventor
제이. 김 소피
제이. 디커슨 앤드류
이. 반 덴 휴벨 제임스
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20160023545A publication Critical patent/KR20160023545A/ko
Application granted granted Critical
Publication of KR102022553B1 publication Critical patent/KR102022553B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0165—Head-up displays characterised by mechanical features associated with a head-down display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

HMD(head-mounted display) 시스템은 비접촉 센서를 포함하는 PED(portable electronic device) 및 상기 PED를 감싸는 헤드마운트 프레임을 포함할 수 있다. 상기 프레임은 상기 PED를 고정시키고 상기 PED의 표시면과의 밀착을 유지시키는 전면 슬롯, 센서의 가시 범위가 차단되는 것을 방지하기 위한 측정된 입구(entry via), 상기 프레임 내의 출구(exit via)를 통해 상기 프레임 외부의 열린 공간으로 센서의 시야범위를 재설정하기 위한 빛 회절 인자를 포함할 수 있다. 상기 PED는 비접촉 동작을 감지하기 위한 센서, 상기 PED의 전면 표시면에 이미지 컨텐츠를 디스플레이 하기 위한 이미지 디스플레이부, 상기 PED가 상기 프레임에 감싸져 있는지에 대한 판단에 기초해서 휴대모드에서 HMD 작동 모드로 전환하고 상기 센서로부터 수신된 입력 신호에 기초해 이미지 컨텐츠를 선택하고 상기 모드를 선택하기 위한 처리 회로를 포함할 수 있다.

Description

빛 회절 인자를 포함하는 헤드마운트 디스플레이 장치{HMD APPARATUS INCLUDING LIGHT TURNING ELEMENT}
본 발명은 센서 기반의 사용자 인터페이스(UI:User Interface)에 관한 것이다.
스마트폰이나 태블릿과 같은 이동 가능한 전자 장치는 터치스크린의 터치 동작뿐만 아니라 다양한 센서를 이용해서 다양한 모드의 입력을 감지하고 해석(translate)한다. 상기 다양한 모드의 입력의 예는 제스처, 에어 제스처 모션(Air Gesture motions), 외부 물체의 접근, 장치의 방향 변경 등을 포함할 수 있다. 상기 다양한 센서의 예는 적외선 카메라, 정전 용량 근접 센서, 주변 광 센서 등을 포함할 수 있다. 이러한 입력 모드 중 일부는 상기 이동 가능한 전자 장치가 눈-근처 시청(near-eye viewing)을 위한 헤드마운트 장치에 장착될 때, 완전히 접근 할 수 없고 또는 쉽게 상호 작용할 수 없다. 상기 헤드마운트 장치에 의해 상기 이동 가능한 전자 장치의 스크린 쪽(앞쪽)에 위치한 센서가 구비된 경우, 상기 센서의 가시 범위에 접근하기 어려워진다.
본 발명의 다양한 실시 예들은 빛 회절 인자를 포함하는 HMD(head-mounted display) 장치를 제공하기 위한 것이다.
본 발명의 다양한 실시 예들은 빛 회절 인자를 포함하는 헤드마운트 장치에서의 센서 기반 사용자 인터페이스를 제공하기 위한 것이다.
첫 번째 실시 예에서는, 빛 회절 인자를 포함하는 HMD(head-mounted display)에서 센서 기반 UI(User Interface)의 구현 가능한 시스템이 제시되어 있다. HMD 시스템은, 비접촉 센서를 갖는 PED(Portable electronic devices)를 수용하고 감싸는 헤드마운트 프레임 및 상기 PED를 포함할 수 있다. 상기 프레임은 PED를 고정시키고 상기 PED의 표시면과 접촉을 유지하는 정면 슬롯을 포함할 수 있다. 상기 프레임은 또한 헤드 마운트 프레임 외부의 열린 공간으로 센서의 가시 범위를 재설정 하기 위한 빛 회절 인자를 포함할 수 있다. 상기 PED는 비접촉 동작을 감지하기 위한 비접촉 센서를 포함할 수 있다. 상기 PED는 정면 표시부에 이미지 컨텐츠를 표시하기 위한 이미지 디스플레이를 포함할 수 있다. 또한 상기 PED는, 프레임에 착용되어 있는지에 대한 판단에 기초해 휴대 모드에서 HMD 작동 모드로 전환하기 위한 처리 회로를 포함할 수 있다. 상기 처리 회로는 또한 센서로부터 수신된 입력 및 모드에 기초해 이미지 컨텐츠를 선택할 수 있다.
두 번째 실시 예에서는, 빛 회절 인자를 포함하는 HMD에서 센서 기반 사용자 인터페이스의 구현을 위한 장치가 제시되어 있다. 상기 장치는 비접촉 센서를 포함하는 PED를 수용하기 위한 헤드마운트 프레임을 포함할 수 있다. 상기 헤드마운트 프레임은, 상기 PED를 고정시키고 PED 표시면과의 접촉을 유지하기 위한 정면 슬롯 및 센서의 가시 범위 차단 방지를 위한 측정된 면적의 입구 비아(entry via) 및 센서의 가시 범위를 헤드마운트 프레임 외부의 열린 공간으로 재설정 하기 위해 배치된 빛 회절 인자를 포함할 수 있다.
세 번째 실시 예에서는, 빛 회절 인자를 포함하는 HMD에서 사용자 인터페이스 기반 센서의 구현을 위한 컴퓨터 프로그램을 수록하는 비 일시적인 컴퓨터 판독 매체가 제시되어 있다. 상기 비 일시적 컴퓨터 판독 매체는 컴퓨터 프로그램을 포함할 수 있다. 상기 컴퓨터 프로그램은 처리 회로에 의해 실행 될 때 컴퓨터 판독 프로그램 코드를 포함할 수 있다. 상기 컴퓨터 판독 프로그램 코드는 상기 처리 회로가 절차를 실행하는 것을 가능하게 할 수 있다. 상기 컴퓨터 판독 프로그램 코드는 휴대용 전자 장치가 헤드마운트 프레임에 장착되어 있는지에 대한 판단에 대응해서 상기 처리 회로가, 휴대모드에서 HMD 작동 모드로의 전환하는 것을 가능하게 할 수 있다. 상기 컴퓨터 판독 프로그램 코드는 상기 처리 회로가 상기 PED의 비접촉 센서로부터 입력 신호를 수신하는 것을 가능하게 할 수 있다. 각각의 비접촉 센서는 센서의 가시 범위에서 감지되는 비접촉 동작에 대응해서 입력 신호를 출력하기 위해 구성될 수 있다. 상기 비접촉 동작은 사용자의 선택을 나타낼 수 있다. 상기 비접촉 동작은 상기 PED가 휴대 모드에 있을 때와 HMD 작동 모드에 있을 때 각각 다른 사용자의 선택을 나타낼 수 있다. 상기 컴퓨터 판독 프로그램 코드는 상기 처리 회로가 수신된 입력 신호에 기초해서 이미지 컨텐츠를 선택하는 것을 가능하게 할 수 있다. 상기 컴퓨터 판독 프로그램 코드는 상기 처리 회로가 선택된 이미지 컨텐츠를 분기된 이미지 디스플레이의 일부분인 좌측 및 우측 스크린에 양안 렌더링(rendering)하는 것을 가능하게 할 수 있다.
본 발명의 실시 예들에 따르면, 스마트폰이나 태플릿과 같은 다양한 센서를 포함하는 PED(Portable electronic devices)가 헤드마운트 장치에 결합되었을 때, 헤드마운트 프레임에 의해 상기 센서의 가시 범위가 차단 될 수 있다. 상기 센서의 가시 범위 차단을 방지하기 위해 상기 프레임 내에 빛 회절 인자를 결합 시킬 수 있다. 상기 빛 회절 인자는 상기 센서(예를 들어 근접센서)의 가시 범위를 재설정할 수 있다. 이에 따라 HMD를 착용하고 있는 사용자의 머리 및 상기 프레임에 의한 가시범위 차단을 방지할 수 있다.
센서의 재설정된 가시범위를 통해, HMD를 착용하고 있는 사용자는 상기 센서의 가시 범위에서 비접촉식 손 동작으로 사용자의 선택을 나타내는 신호를 HMD에 입력 할 수 있다. 또는 상기 센서의 가시범위 내의 비접촉식 입력을 통해, HMD를 착용하고 있는 사용자는 HMD를 머리에서 분리하지 않고 (예를 들면 PED의 카메라 이미지를 이용하여) 주위의 물리적 위험을 알 수 있다.
본 발명 및 그 이점의 보다 완전한 이해를 위해, 도면의 설명과 관련하여 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
도 1a 및 도 1b는 본 발명의 일 실시 예에 따른 PED(portable electronic device)를 도시한다.
도 2a는 본 발명의 일 실시 예에 따른 PED 내부에 존재하는 센서의 가시 범위를 도시한다.
도 2b는 본 발명의 일 실시 예에 따른 도 2a의 PED 내부에 존재하는 센서의 가시 범위를 가로지르는 손동작을 도시한다.
도 3a은 본 발명의 일 실시 예에 따른 헤드마운트 프레임에 결합된 PED를 도시한다.
도 3b는 본 발명의 일 실시 예에 따른 사용자의 머리 및 도 3a의 헤드 마운트 프레임에 의해 센서의 가시 범위가 방해 받는 것을 도시한다.
도 4a는 본 발명의 일 실시 예에 따른 HMD(head-mounted display) 시스템을 도시한다.
도 4b는 본 발명의 일 실시 예에 따른 장애물로부터 방해 받지 않고, 도 4a의 HMD 시스템 내에 존재하는 빛 회절 인자에 의해 사용자의 머리로부터 외면되는 센서의 가시범위를 도시한다.
도 4c는 본 발명의 일 실시 예에 따른 도 4a의 상기 헤드마운트 프레임내의 빛 회절 인자에 의해 사용자의 머리로부터 센서의 가시선(line of sight)이 확보되는 것을 도시한다.
도 5a는 본 발명의 일 실시 예에 따른 클릭되지 않은 상태의 HMD 및 스크린의 예를 도시한다.
도 5b는 본 발명의 일 실시 예에 따른 클릭된 상태의 HMD 및 스크린의 예를 도시한다.
도 6은 본 발명의 일 실시 예에 따른 클릭되지 않은 상태의 HMD 스크린의 예를 도시한다.
아래에 설명된 도 1 내지 6 및 본 특허 문서에서 본 발명의 원리를 설명하는데 사용되는 다양한 실시 예들은, 단순한 예로써 이해되어야 하며 발명의 범위를 제한하는 방식으로 해석되어서는 안 된다. 본 발명의 원리는 당업자의 입장에서 임의 적절하게 배치된 HMD(head-mounted display) 시스템에서 구현될 수 있음을 이해할 것이다.
상세한 설명에 들어가기 앞서, 본 특허 문서에서 사용되는 특정 단어 및 구문의 정의를 규정하는 것이 이로울 수 있다. "포함한다" 그리고 "구성된다" 용어뿐만 아니라 그와 유사한 용어는 추가적인 특징의 존재를 배제하지 않는다. "또는" 용어는 및/또는 을 포함한다. "~와 연관된" 그리고 "~와 관련된" 용어뿐만 아니라 그와 유사한 용어는 "포함한다", "~에 포함된다", "~에 연결된", "~와 상호 연결되다", "~포함한다", ~에 연결하다", "~와 연결하다", "~와 결합하다", "~와 통신하다", "~와 협력하다", "~에 끼워넣다", "~에 근접하다", "~와 묶이다", "~에 묶이다", "~을 가지다", "~의 속성을 가지다"등의 의미 내포한다. "제어기" 용어는 적어도 하나의 동작을 제어하는 임의의 장치, 시스템 또는 그 일부를 의미한다. 상기 장치는 하드웨어, 펌웨어 또는 소프트웨어, 또는 이들 중 적어도 2 개의 몇몇 조합으로 구현 될 있다. 임의의 특정 제어기와 관련된 기능성은 장소에서 집중되거나 따로 분산될 수 있다. 비록 특정 워드들과 구들의 정의들이 본 특허 문서의 전반에 걸쳐서 제공되지만, 당해 분야 통상의 지식을 가진 자라면 대부분의 경우는 아니지만 많은 경우에 그러한 정의들이 정의되어진 워드들이나 구들의 이전의 사용 및 미래의 사용에도 적용되어질 수 있음을 이해하여야 한다.
본 발명은 빛 회절 인자(light turning element)를 포함하는 헤드마운트 장치에서의 센서 기반 사용자 인터페이스에 관한 것이다. 본 발명의 실시 예는 휴대용 전자 장치에 내장된 각종 센서의 가시 범위(fields of view)를 제어하는 장치 및 방법을 제공한다. 이는 상기 센서들을 HMD의 설정(setting)에 활용하는 것이 가능하다.
본 발명의 실시 예들은 시스템을 HMD에 포함시킨다. 상기 시스템은 헤드마운트 프레임과, 예를 들면 전방 카메라, 근접 센서, 적외선 센서, 광 센서 등의 센서가 내장된, SAMSUNG GALAXY S4와 같은, 별도의 PED(portable electronic device)와, 빛 회절 인자로 이루어진다. 상기 시스템은, 상기 빛 회절 인자가 PED에 내장된 센서에 의해 방출되고 수신되는 신호의 방향을 재설정(redirection)하도록 구성되고, 따라서 상기 센서의 가시 범위를 재설정한다. 상기 센서의 가시 범위를 전향(redirect)하게 함으로써, PED 자체는 변경되지 않은 채, 상기 PED에 내장된 상기 센서는 장애물을 제거(clear of)할 수 있고, PED의 본래의 설계(original design)가 의도되지 않은 HMD 구성에 이용될 수 있다. 상기 PED는, 사용자가 HMD의 헤드마운트 프레임에서 FED를 제거할 필요 없이 전향된 센서 신호에 의해 검출된 손 움직임 및 이와 유사한 것을 이용하여 PED 동작을 제어하도록, UI를 제공할 수 있다.
도 1a 및 도 1b는 본 발명의 실시 예에 따른 센서 그룹을 포함하는 PED를 도시한다. 도 1a 및 도 1b에 나타난 상기 PED의 실시 예는 단지 본 발명을 설명하기 위한 것이다. 다른 실시 예들이 본 발명의 범위를 벗어나지 않고 사용될 수 있다.
상기 PED 100은 휴대용 전자 장치, 휴대용 미디어 플레이어, 스마트 폰, 태블릿, 또는 다른 사용자 장비가 될 수 있다. 상기 PED 100은 이미지 기반 컨텐츠를 표시하기 위한 이미지 디스플레이 110을 포함할 수 있다. 여기서, 상기 PED 100는 ‘전자 장치’, ‘사용자 장치’, ‘사용자 단말’, ‘단말’ 등으로 지칭될 수 있다.
상기 예에서, 상기 센서들은 PED 100의 몸체 내에서 함께 그룹을 형성하고 작은(compact) 영역 내에 배치될 수 있다. 상기 센서 그룹 120은 상기 PED 100의 전면의 오른쪽 상단, 상기 이미지 디스플레이의 프레임 내에 배치될 수 있다. 상기 센서 그룹 120은 깊이 인식 카메라(depth perception camera) 130, 광센서 132, 근접 센서 134, 적외선(infrared, IR) 센서 136 및 카메라 센서 138을 포함할 수 있다. 상기 센서 그룹 120은 상기 PED 100에 내장될 수 있다. 특정 실시 예에서, 하나 이상의 센서가 어레이(array) 모양으로 배열될 수 있다. 특정 실시 예에서, 상기 PED는 다수의 센서 그룹을 포함하고, 하나의 센서 그룹은 상기 PED 전면의 오른쪽 상단에, 다른 센서 그룹은 상기 PED 전면의 오른쪽 하단에 배치될 수 있다. 상기 PED는 가속도계, 자이로스코프(gyroscope), 지자기 센서, 자력계, 온도 센서, 습도 센서, 홀 센서, 기압계 등과 같은 다른 종류의 센서를 포함할 수 있다.
상기 깊이 인식 카메라 130은 전면(foreground)과 후면(background)에 존재하는 객체들을 측정할 수 있다. 상기 깊이 인식 카메라는 센서에 의해 물체까지의 거리를 측정할 수 있다.
상기 광센서 132는 빛의 존재를 감지하고, 감지할 수 있는 빛이 존재하는지를 나타내는 전기적 신호를 발생시킬 수 있다. 상기 광센서 132는 주변 광량 센서(ambient light sensor)를 포함할 수 있다. 주변 광량 센서는 빛의 양을 감지하고 감지된 빛의 세기를 나타내는 신호를 발생시킬 수 있다. 상기 광센서 132는 광원(light source)의 적색, 녹색, 청색 그리고 백색광의 강도를 측정하는 RGB(red green blue) 광 센서를 포함할 수 있다.
상기 근접 센서 134는 어떤 물리적 접촉 없이 근처에 있는 물체의 존재를 검출할 수 있다. 상기 근접 센서 134는 사용자의 손이나 머리와 등의 물체가 센서 근처에 위치해 있는지 여부를 검출할 수 있다.
상기 적외선(IR) 센서 136은 사용자의 손과 같은 물체의 움직임을 검출할 수 있다. 상기 적외선 센서 136은 적외선을 방사하고 상기 적외선은 사용자의 손에서 반사되고, 반사된 적외선을 상기 적외선 센서는 검출할 수 있다. 상기 적외선 센서 136은 적외선 동작(gesture) 센서를 포함할 수 있다. 상기 동작 센서는 사용자가 손을 흔들어서 전화를 받고, 노래를 변경하고, 또는 웹 페이지를 스크롤 할 수 있게 할 수 있다.
상기 카메라 센서 138은 전방 카메라를 포함할 수 있다. 상기 카메라 센서 138은 얼굴 인식 기능을 포함할 수 있다. 특정 실시 예에서, 상기 카메라 센서 138은 사용자가 하나, 둘 또는 세 개의 손가락으로 장치를 들고 있는지 검출할 수 있다.
도 1b는 PED 100의 블록도를 나타낸다. 비록 특정 세부사항이 참고적으로 PED 100의 구성으로 제공되었지만, 다른 실시 예는 더 많거나 더 적은, 또는 다른 구성을 포함할 수 있다.
상기 PED 100은 제어기 140, 메모리 150, 터치스크린 유닛 160, 그리고 센서 그룹 120을 포함할 수 있다.
상기 제어기 140은 통신 링크(link)를 통해 메모리 150, 터치스크린 160, 센서그룹 120으로부터 정보를 받고, 제어 신호를 송신할 수 있다. 상기 제어기 140은 깊인 결정 유닛 141, 근접 광 결정 유닛 142, 근접 결정 유닛 144, 터치-프리 동작 인식 유닛 146, 그리고 이미지 인식 유닛 148을 포함할 수 있다. 상기 제어기 148은 상기 터치스크린 유닛 160으로부터 수신된 터치 입력(touch input)을 인식할 수 있다.
상기 터치 스크린 유닛 160은 터치 패널 161 및 이미지 표시부 110을 포함할 수 있다. 상기 터치 패널 161은 사용자의 터치 입력(예를 들어, 손가락 또는 스타일러스)을 수용하기 위해 배열된 수많은 센서를 포함할 수 있다. 상기 터치 패널 161은 수신된 터치 입력을 나태는 신호를 상기 제어기 140에 보낼 수 있다. 상기 이미지 표시부 110은 액정 디스플레이(liquid crystal display, LCD), 발광 다이오드(light emitting diode, LED)를 포함할 수 있다. 상기 PED 100은 이미지 표시부 110의 눈-근처 시청(near-eye viewing)을 위한 입체 디스플레이(stereoscopic display)를 생성할 수 있다. 입체 디스플레이는 양안(binocular) 시청(view)을 포함할 수 있다. 예를 들어, 입체 디스플레이는 이미지 디스플레이 110의 절반 각각에서 디바이스 런처(device launcher)의 보다 작은 시청(view)을 포함 할 수 있다.
도 2a는 본 발명의 실시 예에 따른 상기 PED 200내에 위치한 센서의 가시 범위를 도시한다. 상기 PED 200은 이미지 디스플레이 210, 하나 이상의 센서 그룹 220을 포함할 수 있고, 이는 도 1a의 상기 구성 100, 110, 120과 각각 대응된다. 도 2a에 도시된 상기 센서의 가시 범위 225의 실시 예는 단지 설명을 위한 것이고, 다른 실시 예들이 본 발명의 범위를 벗어나지 않고 사용될 수 있다.
도 2a에 나타난 실시 예에서, 상기 센서 그룹 220의 각 센서는 센서 바로 앞의 가시 범위 225를 가질 수 있다. 상기 가시 범위 225는 상기 센서로부터 거리가 멀어짐에 따라 더 넓어질 수 있다. 즉, 하나의 센서의 가시 범위 225는 상기 센서로부터 8 인치(inches) 거리에 있을 때가 상기 센서로부터 2인치(inches) 거리에 있을 때보다 더 넓을 수 있다.
도 2b는 본 발명의 실시 예에 따른 도 2a의 PED 내에 위치한 센서의 상기 가시 범위를 가로지르는 손동작을 설명한다. 예를 들어, 화살표 L 방향으로 직선 손동작으로 웹페이지의 좌측 또는 우측 방향으로 스크롤이 실행될 수 있다. 도 2b에 나타난 손동작의 실시 예는 단지 설명을 위한 것이고, 다른 손동작의 실시 예가 본 발명의 범위를 벗어나지 않고 사용될 수 있다. 상기 화살표 L 방향과 수직 방향으로 직선 손동작으로 위 또는 아래 방향으로 스크롤이 실행될 수 있다.
도 3a는 본 발명의 실시 예에 따른 상기 PED 300이 헤드마운트 프레임(head-mounted frame) 370에 결합되는 것을 도시한다. 상기 PED 300은 이미지 디스플레이 310, 하나 이상의 센서 그룹 320을 포함할 수 있고, 구성 200, 210, 220과 각각 대응되고, 도 1의 구성 100, 110 그리고 120과 각각 대응될 수 있다. 도 3a의 상기 PED 300이 헤드마운트 프레임 370에 결합되는 실시 예는 단지 설명을 위한 것이고, 다른 실시 예가 본 발명의 범위를 벗어나지 않고 사용될 수 있다.
도 3a에 도시된 실시 예에서, 상기 헤드마운트 프레임 270은 상기 PED 300을 수용하기 위한 정면 슬롯(front slot)을 포함할 수 있다. 도 3b에 도시된 바와 같이, 상기 PED 300은 상기 슬롯에 삽입되고, 상기 헤드마운트 프레임 370과 결합되어 결과적으로 HMD를 형성할 수 있다.
도 3b는 본 발명의 실시 예에 따른 센서의 가시 범위 325가 사용자의 머리와 도 3a의 헤드마운트 프레임에 의해 방해받는 것을 도시한다. 도 3b는 사용자에 의해 착용 된 HMD 모습을 도시한다. 도 3b의 상기 센서의 가시 범위 325의 예는 단지 본 발명에 대한 이해를 돕기 위해 설명된 것이며, 본 발명의 범위를 벗어나지 않고 다른 예들이 사용될 수 있다.
상기 PED 300이 상기 헤드마운트 프레임 370에 결합되어 있을 때, 상기 헤드마운트 프레임 370과 사용자의 머리는 상기 센서의 가시 범위 325를 방해할 수 있다. 상기 방해의 결과, PED가 HMD 장치로 사용되는 동안은 상기 센서들은 상기 PED를 제어하기 위해 사용 될 수 없다. 예를 들어, 상기 헤드마운트 프레임 370은 상기 PED 300 정면에 도달하는 주변 광을 차단할 수 있고, 이로 인해 상기 주변광 센서 132가 명(light)과 암(shadow)을 검출하는 것을 방해할 수 있다. 상기 헤드마운트 프레임 370은 상기 PED 300의 정면 표면에 물리적으로 접촉되어 있다면, 상기 PED 300이 상기 헤드마운트 프레임 370에 장착되어 있는 동안, 상기 근접 센서 134는 사용자의 머리와 같은 물체가 근접해 있음 검출할 것이다.
도 4a는 본 발명의 실시 예에 따른 HMD 시스템을 도시한다. 도 4a는 본 발명의 실시 예에 따라 상기 PED 300이 상기 헤드마운트 프레임 470의 슬롯에 결합되는 것을 도시한다. 상기 시스템은 빛 회절 인자(light turning element) 480을 포함한다. 도 4a에 도시된 상기 HMD 시스템은 단지 본 발명의 이해를 돕기 위해 설명을 위한 예이다. 따라서 본 발명의 범위를 벗어나지 않고 다른 실시 예들이 사용될 수 있다.
상기 헤드마운트 프레임 470은 상기 PED 300을 수용하기 위한 슬롯을 포함할 수 있다. 도 4a에 도시된 것처럼, 상기 PED 300은 상기 헤드마운트 프레임 470의 슬롯에 장착되어 HMD를 형성할 수 있다. 사용자는 상기 PED 300을 센서 그룹 320이 빛 회절 인자 480과 상기 헤드마운트 프레임 470에서 같은 쪽에 위치하도록 상기 헤드마운트 프레임 470에 삽입할 수 있다. 상기 슬롯의 면적(dimensions) 및 모양(shape)은 상기 PED 300의 면적 및 모양과 정확히 일치하게 구성될 수 있다. 상기 슬롯의 내부는 압착 가능한 재료(compressible material)를 포함할 수 있다. 상기 재료로 인해 상기 슬롯 내부의 후면에 대항하여 상기 PED 300의 정면을 후방 방향으로 압착할 수 있다. 결과적으로 상기 PED 300의 이미지 디스플레이 310에 도달하는 주변 광을 차단할 수 있다. 상기 이미지 디스플레이 310 표면의 주변 광은 이미지 디스플레이에 대한 사용자의 시야를 저하시킬 수 있다. 특정 실시 예에서, 상기 전면 슬롯은 PED의 뒷면에 배치되어 있는 후방 카메라가 상기 헤드마운트 프레임 470에 의해 가시범위가 방해 받지 않고 상기 헤드마운트 프레임 470의 바깥 환경의 이미지를 캡쳐할 수 있는 뒷 구멍(back via)을 포함할 수 있다.
상기 헤드마운트 프레임 470은 한 쌍의 렌즈 475를 포함할 수 있다. 사용자의 눈은 상기 렌즈 475를 통해 이미지 디스플레이 310을 볼 수 있다. 상기 헤드 마운트 프레임 470은 상기 PED를 눈-근처 시청(near-eye viewing)을 위해 사용자의 눈 앞에 고정시킬 수 있다.
상기 빛 회절 인자 480은 상기 센서 그룹 320과 상기 헤드마운트 프레임 470의 동일 축에 위치할 수 있다. 하지만, 도 4a에 도시된 것처럼, 상기 빛 회절 인자 480은 시야에서 숨겨져 있고, 상기 프레임의 배면과 그 맨 밑에 배치될 수 있다.
도 4b는 상기 센서의 가시 범위가 도 4a의 HMD 시스템 내의 빛 회절 인자에 의해 장애물 및 사용자의 머리로부터 방해 받지 않음을 도시한다. 도 4b는 사용자에 의해 착용된 HMD의 위에서 본 모습을 도시한다. 도 4b에 나타난 상기 센서의 가시 범위 425는 본 발명을 설명하기 위한 하나의 예에 불과하다. 따라서 다른 실시 예가 본 발명의 범위를 벗어나지 않고 적용될 수 있다.
상기 헤드마운트 프레임 470의 상기 정면 슬롯은 도려낸 부분(cutout)을 포함할 수 있다. 상기 도려낸 부분은 상기 센서그룹 320을 상기 프레임 470내의 폐쇄된 속이 빈 통로(hollow channel) 472에 노출시킬 수 있다. 상기 PED 300이 상기 프레임 370에 장착되면, 상기 도려낸 부분은 센서 그룹 320과 정렬될 수 있다. 예를 들어, 상기 도려낸 부분은 상기 PED 300의 정면 표면의 좁은 영역(compact area), 즉 센서 그룹 320이 배치된 곳의 바깥 시야계의 틀을 잡거나 추적할 수 있다. 상기 도려낸 부분은 면적은 상기 통로 472의 면적보다 작을 수 있다. 특정 실시 예에서, 상기 헤드마운트 프레임 470은 상기 PED 300을 상기 슬롯 내에 넣을 수 있다(encase).
상기 통로(channel) 472는 상기 헤드마운트 프레임 470의 몸체 내의 빈 공간이다. 즉, 상기 통로 472는 상기 프레임 470의 위, 바닥, 뒤쪽에서 보이지 않는다. 상기 폐쇄된 통로 472는 개구(openings)나 구멍(holes)과 같은 적어도 두 출입구 비아(entry via 및 exit via) 포함하고, 이를 통해 상기 센서 130-138이 신호나 정보를 송수신할 수 있다. 상기 두 출입구 비아는 상기 슬롯의 도려낸 부분과 같은 입구 비아와 출구 비아를 포함할 수 있다. 본 발명의 실시 예에서, 상기 IR 센서 136으로부터 방출된 신호는 상기 센서 130-138에 가까운 통로 472의 전면에 위치한 입구 비아(entry via)를 통해 상기 통로 472로 들어갈 수 있다. 그리고 상기 신호는 상기 헤드마운트 프레임 470 측면의 상기 출구 비아(exit via)를 통해 통로 472로부터 나올 수 있다. 즉, 상기 헤드마운트 프레임 470의 상기 측면 부분은 도려낸 부분을 포함할 수 있다. 상기 방출된 신호가 상기 프레임 470의 몸체에 의해 어떤 방해도 받지 않고 나갈 수 있도록 상기 측면 부분의 도려낸 부분은 충분히 크게 설계될 수 있다. 본 발명의 실시 예에서 도시된 것처럼, 상기 통로 472는 삼각형 모양일 수 있다. 상기 삼각 모양의 통로 472의 빗면은 상기 프레임 470의 전면 및 측면을 향하여 예각(예를 들어 45도)으로 배치될 수 있다. 상기 출입구 비아(entry via 및 exit via)는 충분히 작으며 따라서, 상기 출입구 비아를 통해 사용자의 손이나 손가락이 상기 통로 472로 들어갈 수 없다.
상기 HMD 시스템은 하나 이상의 빛 회절 인자 480을 포함할 수 있다. 도시된 것처럼, 상기 빛 회절 인자 480은 상기 삼각 통로 472의 빗면 표면 상에 배치될 수 있다. 거울이나 프리즘과 같은 상기 빛 회절 인자 480은, 몰입 형 가상 현실이나 증강 현실(VR/AR) 체험을 위해, 상기 PED 300을 삽입하도록 디자인된 상기 헤드마운트 프레임 470의 구성으로 포함될 수 있다. 상기 빛 회절 인자 480은, 상기 PED 300에 내장된 신호 발생기에 의해 방출된 신호를 상기 출 입구 비아를 통해 HMD 외부의 열린 공간으로 반사하기 위한 곳에 배치될 수 있다. 이로 인해 사용자는 편리하게 입력 신호를 위한 동작을 만들 수 있다. 방향이 상이하지만(즉 반대 방향 또는 직교 방향) 동일한 광로를 따라, 상기 빛 회절 인자 480은 사용자의 손 동작과 같은 입력(상기 센서의 재설정된 가시 범위 내의)을 상기 PED 300내의 신호 수신기에 반사할 수 있다. 즉 사용자의 손동작은 상기 헤드마운트 프레임 470의 몸체의 바깥에서 이루어 질 수 있다. 특정 실시 예에서, 상기 빛 회절 인자 480은 상기 센서 그룹 320의 센서의 가시 범위를 변경 할 수 있다.
사용자의 눈을 향해 방출되지 않은 디스플레이 방향을 바꾸기 위한 목적의 거울, 라이트 가이드(light guides), 프레스넬 렌즈(Fresnel lenses), 반사경 또는 기타 유사한 광학 요소를 가지는 다른 HMD 시스템과 달리, 본 발명의 빛 회절 인자 480의 반사 표면은 HMD 구성으로부터 방출된 신호를 사용자에게 전달 되도록 바꾸는 것뿐만 아니라, 상기 센서 130-138이 사용자의 입력을 검출하는 것을 가능하게 할 수 있다.
센서의 신호의 방향을 바꾸기 위한 다른 빛 회절 인자와 달리, 센서 130-138은 상기 PED 300에 내장되어 있으며 상기 빛 회절 인자 480과 분리되어 있을 수 있다. 상기 빛 회절 인자 480은 PED 장치의 부분에 해당 되지 않을 수 있다. 상기 센서 130-138은 상기 헤드마운트 프레임 배열의 상기 빛 회절 인자 480과 결합되어 있지 않거나, 상기 빛 회절 인자 480과 함께 사용되지 않을 때, 상기 PED 300의 정상적인 휴대 모드에서 그들의 원래의 기능을 수행할 수 있다. 즉, 본 발명의 상기 HMD 시스템은 상기 센서가 상기 PED 300에 설치되거나 내장되는 방법 및 상기 센서 130-138이 상기 PED 300의 정상적인 휴대모드에서 사용되는 방법을 변경하지 않을 수 있다.
상기 빛 회절 인자 480의 적절한 크기, 모양, 배치를 통해 빛 회절 인자 480과 정렬된 센서 가시 범위 전체를 반사할 수 있다. 상기 적절한 크기, 모양, 그리고 정렬된 배치는 상기 센서의 가시 범위가 부분적으로 차단되지 않음을 보장할 수 있다. 이로 인해 잘못된 입력이 발생하지 않을 수 있다. 또한 상기 빛 회절 인자 480의 특징은 상기 PED 300의 파라미터들 및 상기 헤드마운트 프레임 470의 특별한 설계에 의존할 수 있다.
하나의 빛 회절 인자는 다수의 센서에 의해 사용될 수 있고, 또는 각 센서는 하나의 분리된 반사 표면에 대응될 수 있다. 특정 실시 예에서, 상기 빛 회절 인자 480은 센서 그룹 320의 센서의 가시 범위를 변경하는 반사 표면을 포함할 수 있다. 특정 실시 예에서, 상기 빛 회절 인자 480은 제 1센서(예를 들면 광센서 132)의 가시 범위의 방향을 재설정 하거나 변경하는 제 1반사 표면을 포함할 수 있다. 제 1반사 표면이 제 1센서와 정렬되면 어떤 특성을 가질 수 있다. 추가적으로, 상기 빛 회절 인자 480은 제 2센서(예를 들면 근접센서)와 정렬된 제 2반사 표면을 포함할 수 있다. 상기 제 2반사 표면은 제 2센서의 가시 범위를 다른 방향으로 재설정 하거나 변경할 수 있다. 제 2반사 표면이 제 2센서와 정렬되면 상기 특성과 다른 어떤 특성을 가질 수 있다. 특정 실시 예에서, 상기 빛 회절 인자 480의 제 1반사 표면은 제 1센서의 가시 범위를 다른 방향으로 재설정 할 수 있다. 상기 다른 방향은 예를 들어, 상기 헤드마운트 프레임 470의 위 또는 아래 방향이 될 수 있다. 실시 예에서, 상기 센서의 가시 범위가 상기 헤드마운트 프레임 470의 다른 쪽을 향하는 경우, 상기 통로 472는 각각 다른 쪽에 출구 비아를 포함할 수 있다. 그리고 그 결과 상기 헤드마운트 프레임 470은 각각 다른 쪽에 대응하는 도려낸 부분을 포함할 수 있다.
상기 빛 회절 인자 480의 광학 특성은 타겟 센서와 매칭될 수 있다. 예를 들어, 거울은 요구되는 파장에서 각 타겟 센서를 위한 가장 높은 반사율을 갖는 것을 보장하기 위해 코팅이 될 수 있다. 다른 코팅은 은 금 또는 유전체를 포함할 수 있다. 특정 실시 예에서, 상기 빛 회절 인자 480이 선택적으로 센서의 사용을 가능하게 하기 위해 상기 빛 회절 인자 480은 다른 종류의 신호를 배제하고 단 하나의 종류의 신호만을 전형시킬 수 있다.
상기 빛 회절 인자 480의 광학 특성의 적용은 센서에 한정되지 않을 수 있다. 예를 들어, LED 또는 스마트폰 정면 카메라의 가시 범위는 상기 LED와 정렬된 상기 빛 회절 인자에 의해 재설정 될 수 있다. LED 자체가 보이지 않더라도 LED 빛에 의해 나타나는 신호는 HMD 외부에서도 볼 수 있다. 정면 카메라는 상기 헤드마운트 프레임 470에 넣어져 있을 때 가려질 수 있지만, 빛 회절 인자에 의해 반사되는 장면은 이미지의 특징 인식하기 위한 분석을 위해 상기 카메라에 의해 캡쳐 될 수 있다. 상기 실시 예는 본 발명의 이해를 위한 단순한 예시이며, 본 발명의 범위를 벗어나지 않고 다른 실시 예가 사용될 수 있다.
도 4c는, 도 4a의 상기 헤드마운트 프레임내의 빛 회절 인자에 의해 사용자의 머리로부터 센서의 가시선(line of sight)가 확보되는 것을 도시한다. 도 4c에 도시된 상기 센서의 가시선 427의 실시 예는 단지 본 발명의 설명을 위한 것이다. 따라서 본 발명의 범위를 벗어나지 않은 범위에서 다른 실시 예가 사용될 수 있다.
상기 헤드마운트 프레임 470b는 빛 회절 인자 480b를 조정하기 위해 빛 회절 인자 480b를 변환하거나 회전하기 위한 자동 제어 매커니즘(servo mechanism) 490을 포함할 수 있다. 특정 실시 예에서, 상기 헤드마운트 프레임 470b는 PED의 센서 320과 결합되도록 설계된 광 회절 인자를 포함할 수 있다. 하지만, 상기 PED 300이 상기 헤드마운트 프레임에 결합되어 있을 때, 상기 빛 회절 인자가 그것이 크기나 각도 때문에 모든 센서로부터의 신호를 반사하지 못하게 상기 센서 320은 위치될 수 있다. 이러한 상황에서, 하나의 센서 또는 다른 센서와 정렬하기 위해, 또는 다른 시간에 선택된 센서 그룹과 정렬되기 위해 상기 빛 회절 인자 480의 위치 및 각도는 수동으로 또는 자동 제어 매커니즘에 의해 자동으로 조정될 수 있다. 즉, 한 번의 시간에, 상기 자동 제어 매커니즘 490은 상기 빛 회절 인자의 위치 및 각도를 센서 그룹 320의 제 1서브 그룹의 가시선 내에 위치하기 위해 조정할 수 있다. 그리고 다른 시간에, 상기 자동 제어 매커니즘 490은 상기 빛 회절 인자의 위치 및 각도를 센서 그룹 320의 제 2서브 그룹 또는 다른 서브 그룹의 가시선 내에 위치하기 위해 조정할 수 있다.
상기 헤드마운트 프레임 470은 커버 매커니즘(cover mechanism) 495를 포함 할 수 있다. 상기 커버 기구 495는 상기 빛 회절 인자를 막음으로써 이미지 디스플레이 310의 시청 조건을 최적화하기 위해 닫혀질 수 있다. 그리고 상기 커버 기구 495는 상기 센서 그룹 320의 센서가 사용될 때 상기 센서의 가시 범위를 드러내기 위해 열리 수 있다. 특정 실시 예에서, 어떤 목적의 신호를 보내는 동안 출구 비아의 개구를 숨기거나 채우고 외부 시야로부터 상기 빛 회절 인자를 숨기기 위해, 상기 커버 기구 495는 반투명 또는 컬러 유리 또는 플라스틱 패널로 구성될 수 있다. 특정 실시 예에서, 상기 커버 기구 495는 출구 비아를 심미적 만족감을 주는 방법으로(in an aesthetically pleasing manner) 채울 수 있고, 사용자의 시각에서 빛 회절 인자 480을 숨길 수 있다. 상기 헤드마운트 프레임 470의 외부 표면에, 상기 심미적 만족감을 주는 커버 기구 495는 패널 플러쉬(panel flush)를 포함 할 수 있다.
상기 PED 300은 상기 헤드마운트 프레임 470에 넣어져 HMD를 형성할 때 HMD 작동 모드를 위해 특별히 설계된 UI 로직(user interface logic)을 포함할 수 있다. PED 300과 헤드마운트 프레임 470으로 구성된 HMD 시스템에서 상호 작용을 제공하기 위해 상기 UI 로직은 재설정된 센서의 가시 범위 내에서 감지되는 사용자의 입력을 활용할 수 있다. 본 발명의 실시 예에서, 비록 상기 PED 300은 HMD 작동 모드를 위한 UI 로직을 포함하지만 상기 PED 300은 상기 헤드마운트 프레임 470과 독립된 장치이며 핸드폰 모드, PDA 모드와 같은 휴대용 모드를 포함할 수 있다. 정상적인 휴대 모드에서 사용되지 않은 방법으로 상기 PED 300에 내장된 센서는 상기 UI 로직의 부분이 될 수 있다.
상기 언급된 반사 표면과 함께 상기 헤드마운트 프레임 470에 감싸진 상기 PED 300은 본 발명에 따른 HMD 입력 모드의 활용을 위해 UI 로직을 포함할 수 있다. 상기 PED 300에서 상기 HMD 작동 모드를 위한 UI 로직의 구현(implementation)은 플랫폼 레벨(platform level) 또는 설치 응용프로그램 레벨(installable application level) 또는 두 레벨의 조합에서 이루어 질 수 있다. 본 발명의 제한이 아닌 단순한 예로써, HMD 작동 모드를 위한 상기 UI 로직은 직접적으로 삼성 갤럭시S4 PED의 안드로이드(Android) OS(operating system)를 변경 할 수 있다. HMD 작동 모드를 위한 상기 UI 로직의 코드는 제거 될 수 있고, 다운 및 설치 가능하게 하기 위해 응용프로그램에 포장 될 수 있다. 상기 코드가 PED에 설치 되면 HMD 작동 모드 인터페이스를 플랫폼에 더할 수 있다. 상기 HMD 작동 모드 인터페이스는 상기 PED 300이 상기 헤드마운트 프레임 470에 언제 결합되었는지 검출하기 위한 시스템 또는 적절한 장치의 인터페이스 모드를 구성하기 위한 시스템을 포함 할 수 있다.
특정 실시 예에서, 상기 PED 300에서 HMD 작동 모드를 위한 UI 로직의 구현은 특정되거나(be specific) 응용프로그램(application)에 한정 될 수 있다. 이런 방법으로, 특정한 인터페이스 시스템은 플랫폼에 의해 제공되는 어플리케이션 프로그래밍 인터페이스(application programming interface, API)를 이용하여 개인 어플리케이션 개발자에 의해 설계 될 수 있고, 구현 될 수 있다. 상기 플랫폼은 응용 프로그램의 목적을 위해 유리한 방법으로 상기 개발자가 새로운 검출 모드의 엑세스를 사용하는 것을 허락할 수 있다.
도 5a 및 도 5b는 사용자가 HMD 작동 모드를 위한 UI 로직을 실행하거나, 또는 사용자의 선택을 입력하기 위해 터치프리(touch-free) 동작을 사용하고 있는 HMD 착용 예를 도시한다. 도 5a 및 도 5b에서, 단지 설명을 위한 것으로, HMD 작동 모드를 위한 UI 로직의 실행은 사용자가 터치프리 제스처를 사용하는 것을 가능하게 할 수 있다. 상기 터치프리 동작은 클릭되지 않은 커서를 사용하는 이미지 기반 컨텐츠 및 사용자의 선택을 나타내기 위한 이미지 기반 컨텐츠의 사용자 선택 부분을 클릭하기 위해 사용될 수 있다. 다른 실시 예들은 본 발명의 범위를 벗어나지 않고 사용될 수 있다.
도 5a 및 도 5b에서, 본 발명의 실시 예에 따른 상기 HMD 500은 PED(PED 100, 200 또는 300과 같은) 및 헤드마운트 프레임(프레임 370, 470, 470b와 같은)을 포함할 수 있다. 사용자는 상기 HMD 500을, 사용자의 머리 510에 위치시킴으로써 착용할 수 있다. 상기 PED의 이미지 디스플레이(110, 210, 310과 같은)는 HMD 스크린 501을 표시(display)할 수 있다. 상기 HMD 스크린 501은, 상기 PED 이미지 디스플레이의 각각의 눈을 위한 두 부분들로 나누어진 스크린을 포함할 수 있다. 좌측 스크린 515는 사용자의 왼쪽 눈의 시청을 위한 이미지를 포함하고, 우측 스크린 520은 사용자의 오른쪽 눈의 시청을 위한 이미지를 포함할 수 있다. 상기 HMD는 양안 보기를 제공할 수 있다. 즉, 좌측 스크린 515는 우측 스크린 520과 다소 상이한 이미지를 표시할 수 있다.
도 5a 및 도 5b에 도시된 것처럼, 상기 HMD 동작 모드를 위한 UI 로직(logic)의 실행으로 인해, 사용자는 상기 PED 300을 터치하지 않고 이미지 기반 컨텐츠를 클릭할 수 있다. 사용자는 상기 HMD 스크린 501에 표시되어 있는 이미지 기반 컨텐츠상의 커서를 클릭함으로써 사용자의 선택을 나타낼 수 있다. 도 5a에서 참조 번호 525a와 525b 및 도 5b에서 참조 번호 525c와 525d를 통해, 상기 HMD 스크린 501은 커서를 표시하고 있다. 양안 보기의 결과로, 좌측 스크린 515에 표시되는 상기 커서 525a의 위치는 우측 스크린 520에 표시되는 상기 커서 525b의 위치와 약간의 차이가 발생할 수 있다.
도 5a는 본 발명의 실시 예에 따른 HMD 및 클릭되지 않은 상태의 스크린의 예를 도시한다. 도 5a의 헤드 마운트 디스플레이 500 및 클릭되지 않은 상태의 스크린 501의 실시 예는 단지 설명을 위한 것이다. 본 발명의 범위를 벗어나지 않고 다른 실시 예가 사용될 수 있다.
상기 HMD 스크린 501에서, 상기 커서 525a-b는 약간 어두운 채워진 원(lightly shaded solid circle)으로 표현되고 있다. 이는 상기 PED가 어떤 이미지 컨텐츠도 선택되지 않은 상태, 즉 클릭되지 않은 상태를 의미할 수 있다. 다른 실시 예들에서 클릭되지 않은 커서의 상태는 다른 모양, 색상, 패턴, 해칭(hatching) 등으로 표현 될 수 있다.
사용자의 손은 도 5a에서 보이지 않는다. 이는 사용자의 손이 HMD 500내의 센서 그룹(320과 같은)의 가시 범위에 있지 않음을 의미할 수 있다. 특정 실시 예에서, 상기 PED가 HMD 동작 모드에 있을 때, 상기 PED가 505를 통해 출구 비아 근처의 가까운 물체, 505를 통해 출구 비아를 덮는 그림자 또는 상기 커버 기구 495와 같은 것에 의한 커버의 폐쇄를 감지하지 못할 때, 클릭 되지 않은 상태에 진입할 수 있다. 예를 들어, 상기 근접 센서 134는 전자기장(electromagnetic field) 또는 전자기 방사빔(beam of electromagnetic radiation)을 상기 빛 회절 인자 480, 480b를 향해 방출할 수 있다. 그리고 상기 빛 회절 인자 480, 480b는 출구 비아를 통해 상기 가시 범위 425를 재설정(예를 들어, 광경 427의 선을 중심으로) 할 수 있다. 그리고 상기 가시 범위 425의 차단을 검출하지 못한 것에 대응해서, 상기 근접센서 134는 상기 제어기 140에게 클릭이 없었다는 신호를 보낼 수 있다.
상기 클릭되지 않은 상태에 있는 동안, 상기 HMD 500의 움직임은 상기 HMD 500이 움직이는 방향으로 상기 이미지 디스플레이(110, 210, 310과 같은)가 스크롤 될 수 있다. 도 5a 및 도 5b에 도시된 실시 예에서, 상기 HMD 작동 모드를 위한 상기 UI 로직의 실행은, 이동 가능한 커서 및 고정된 화면을 제공할 수 있다. 이동 가능한 커서 및 고정된 이미지 컨텐츠의 제한이 아닌 단순한 예로써, 상기 PED는 사용자 머리의 기울기 및/또는 사용자의 머리가 회전하는 방향에 대응하는 방향으로 커서의 자동 움직임을 일으킬 수 있다. 상기 커서가 고정된 이미지 컨텐츠를 가로질러 움직임에 따라, 상기 커서는 표시되는 이미지 컨텐츠의 다른 두 부분을 가리킬 수 있다. 이는 클릭 동작에 영향을 받을 수 있다. 다른 실시 예에서(도 6에 도시된 것처럼 그리고 아래에서 보다 구체적으로 설명되는 것처럼), 상기 HMD 동작 모드를 위한 상기 UI 로직의 실행은 고정된 커서 및 자동 스크롤을 제공할 수 있고 또는 자동으로 패닝(panning)하는 디스플레이를 제공할 수 있다.
도 5a에서, 상기 HMD 스크린 501의 2행 3열의 사진의 배열이 나타나 있다. 상기 커서 525a-b는 사진 위가 아닌 윗열 가운데 행의 사진 535a의 오른쪽 상단 모서리 근처에 배치되어 있다.
도 5a에서 도 5b로의 전환 중, 상기 HMD 500이 클릭되지 않은 상태에서, 사용자의 움직임은 상기 커서 525a-b가 사진 535a 위에서 움직이는 것을 야기하고, 그 후 사용자는 사용자의 손을 센서 그룹의 가시 범위 내 및 상기 505를 통한 출구 비아 근처에 위치하게 할 수 있다.
도 5b는 본 발명의 실시 예에 따른, HMD 및 클릭 된 상태의 스크린의 예를 도시한다. 도 5b에 도시된 클릭 된 상태의 HMD 스크린의 예는 단지 설명을 위한 것이다. 본 발명의 범위를 벗어나지 않고 다른 실시 예가 사용될 수 있다.
상기 커서 525c-d는 상기 커서 525a-b와 다른 색상 패턴을 가질 있다. 이는 상기 PED가 사용자에 의해 선택된 이미지 컨텐츠 부분의 클릭 된 상태를 나타낼 수 있다. 상기 HMD 스크린 501에서, 상기 클릭 된 커서 525c-d는 두 개의 동심원들에 의해 둘러 쌓인 작은 검은색 채워진 원으로 표현될 수 있다. 상기 두 개의 동심원에서 중간 링은 흰색이고, 외부의 링은 검은색으로 표현될 수 있다. 다른 실시 예를 통해 클릭 된 상태의 커서의 다른 모양 또는 색상 패턴이 적용될 수 있다.
도시된 바와 같이, 상기 PED가 클릭 된 상태로 들어갈 수 있다. 특정 실시 예에서, 상기 PED가 HMD 작동 모드에 있을 때, 상기 PED 500은 (예를 들어, 센서 그룹 320을 이용하여) 상기 PED가 505를 통한 출구 비아 근처에서 물체나 사용자의 손 530, 505를 통한 출구 비아를 덮는 그림자, 또는 커버 기구 495를 통한 출구 비아의 폐쇄 중 적어도 하나를 감지한 경우 클릭 된 상태로 들어갈 수 있다. 예를 들어, 상기 빛 회절 인자에 의해 재설정 된 근접 센서 134의 가시 범위 425 내의 상기 물체나 사용자의 손 530은, 전자기파 방사의 일부분을 반사하거나 전자기파의 일부를 차단할 수 있다. 상기 반사/차단은 출구 비아를 통해 빛 회절 인자 480, 480b를 향할 수 있다. 상기 빛 회절 인자는 반사된 방사/전자장 차단을 입구 비아를 통해 근접센서 134로 보낼 수 있다. 가시 범위 425 내에서 감지되는 반사/차단에 대응하여, 상기 근접 센서 134는 제어부 140에 반사/차단 신호를 전송할 수 있다. 상기 제어부 140은 상기 반사/차단을 터치 패널 161의 터치 다운과 동일하게 취급하여 절차를 진행할 수 있다. 즉, 상기 근접센서 134의 반사/차단을 나타내는 상기 제어부 140에 대한 신호는 클릭-드레그를 위한 터치다운 및 홀드 또는 한번 또는 더블클릭과 동일하게 취급 될 수 있다.
도 5b에서, 505를 통한 출구 비아 또는 상기 커버 기구 495는 시야로부터 숨겨져 있고 사용자의 손 530에 의해 차단되어 있다. 사용자의 손 530은 상기 HMD 500의 센서 그룹(320과 같은)의 가시 범위 내에 배치되어 있음이 나타나 있다. 상기 사용자의 손 530은 505를 통한 출구 비아가 위치해 있는 상기 HMD 500의 측면 근처에 위치해있다. 상기 505를 통한 출구 비아를 막지 않고 HMD 500을 잡고 있는 동안 사용자는 사용자의 손 530을 505를 통한 출구 비아의 근처에 위치시킬 수 있다. 사용자는 HMD 500을 터치하지 않고, 사용자의 손 530을 HMD 500의 센서그룹 가시 범위 내의 505를 통한 출구 비아 근처에서 움직임으로써 상기 출구 비아를 덮는 그림자를 만들 수 있다. 사용자는 사용자의 손 530으로 505를 통한 출구 비아를 터치하거나 막음으로써 505를 통한 출구 비아를 차단할 수 있다. 사용자는 상기 커버 기구 495를 505를 통한 출구 비아에 집어 넣어서 상기 출구 비아를 차단할 수 있다.
도 5b는 일 실시 예에 따른 상기 HMD 스크린 501D의 2행 3열의 사진 배열을 도시한다. 상기 커서 525c-d는 1행의 2열에 있는 사진 535b 위에 위치되어 있다. 상기 커서 525c-d는 사진 535b 위의 오른쪽 아래 모서리 근처에 위치되어 있다. 상기 커서 525c-d는 사용자의 선택에 따라 클릭 된 상태를 나타낼 수 있다. 상기 HMD 스크린 501은 사용자의 선택에 의해 클릭 된 사진 525b가 나머지 5개의 클릭되지 않은 사진들과 구별되는 특징을 더 포함할 수 있다. 상기 구별되는 특징은, 사용자 선택에 의해 클릭된 사진 535b는 클릭되지 않은 나머지 사진에 비해 더 크고, 사용자에 의해 선택되어 클릭된 사진 535b의 절단된 캡션(“Plano Road C....”)은 나머지 클릭되지 않은 사진의 절단된 캡션에 비해 굵은 또는 선명한 타임의 폰트 가질 수 있고, 그리고 상기 HMD 스크린 501의 페이지 헤더는 사용자에 의해 선택되어 클릭 된 사진 535b의 절단되지 않은 캡션(“Plano Road Climb”)을 포함할 수 있다.
클릭 된 상태에서, 사용자의 손 530은 상기 HMD의 센서의 가시 범위 425로부터 제거될 수 있다. 이로 인해 상기 HMD 500이 클릭 되지 않은 상태로 돌아오는 결과가 될 수 있다. 예를 들어, 사용자가 상기 빛 회절 인자 480 앞에서 사용자의 손 530을 멀리 이동시킨 경우, 즉 상기 근접 센서 134의 반사되는 가시 범위를 깨끗하게 한 경우, 상기 제어부 140은 상기 반사/차단의 종결을 상기 터치 패널 161의 터치의 종결(터치의 제거)과 동일하게 취급하여 절차를 진행할 수 있다. 상기 커서 525c-d는, 도 5a의 커서 525a-b와 같이 클릭되지 않은 상태로 돌아 올 수 있다.
도 6은 본 발명의 실시 예에 따른 클릭 되지 않은 상태의 헤드 마운트 디스플레이 스크린을 도시한다. 도 6에 도시된 클릭 되지 않은 상태의 헤드 마운트 디스플레이 스크린 601은 단지 설명을 위한 예의 하나일 뿐이다. 따라서, 본 발명의 범위를 벗어나지 않고 다른 실시 예가 사용될 수 있다.
도 6에서 도시된 실시 예에서, 상기 HMD 작동 모드를 위한 UI 로직의 실행은 고정된 커서 625a-b 및 자동 스크롤 또는 자동으로 패닝(panning) 하는 디스플레이를 제공할 수 있다. 본 발명의 제한이 아닌 하나의 예로써, 상기 고정된 커서 625a-b는 왼쪽 스크린 615 및 오른쪽 스크린 620의 중앙에 고정되어 있다. 도 4의 머리 위에서의 시점을 기준으로, 상기 PED는 사용자의 머리 610이 위를 보기 위해 뒤로 기울일 때 이미지 컨텐츠의 자동 스크롤 업을 야기 할 수 있고, 또는 상기 PED는 사용자의 머리 610이 시계방향으로 회전할 때, 오른쪽으로 스크롤을 야기 할 수 있다. 상기 PED는 사용자가 머리를 앞으로 숙일 때 또는 반 시계 방향으로 회전 할 때, 각각 이미지 컨텐츠의 자동 스크롤다운 또는 왼쪽으로 스크롤을 야기할 수 있다. 이 경우, 사용자의 머리 610이 기울어지고 회전하는 방향의 조합을 통해 상기 PED는 이미지 컨텐츠의 자동으로 대각선으로 패닝 하는 것을 야기할 수 있다. 예를 들어, 사용자의 머리 610이 위로 기울어지고 시계방향으로 회전할 때, 상기 이미지 컨텐츠는 오른쪽 위 방향으로 페이닝 할 수 있다. 커서가 고정된 상황에서 움직일 수 있는 이미지 컨텐츠의 이동에 따라, 상기 커서는 표시되는 이미지 컨텐츠의 다른 부분을 지정할 수 있고, 이는 클릭 동작에 영향을 미칠 수 있다. 보다 구체적으로, 커서가 고정된 상황에서 움직일 수 있는 이미지 컨텐츠의 이동에 따라, 상기 커서는 클릭되지 않은 상태의 커서 525a-b의 모양이나 색상 패턴을 포함할 수 있다. 이미지 컨텐츠가 고정된 커서 아래에 놓인 경우, 클릭 동작에 대응하여 상기 고정된 커서는 클릭 된 상태의 커서 525c-d의 모양이나 색상 패턴을 포함 할 수 있다. 보여지는 것처럼, 사용자의 움직임은 이미지 컨텐츠의 오른쪽 위로의 패닝을 야기하고, 이에 따라 왼쪽 스크린 615 및 오른쪽 스크린 620의 제 2, 3, 4사분면에는 이미지 컨텐츠가 없을 수 있다. 그리고 오직 1사분면 만이 이미지 컨켄츠의 아래 부분만을 포함할 수 있다. 도 6에 도시된 것처럼 어떤 이미지도 상기 커서 625a-b아래 배치 되지 않는다. 실시 예에 도시된 것처럼, 이미지 컨텐츠가 옮겨짐에 따라 클릭 동작에 대응해서 아무것도 선택도지 않을 수 있다. 도 6에서 상기 고정된 커서 625a-b는 밝은 적색 사각형일 수 있다. 상기 밝은 적색 사각형은 선택 가능한 이미지 컨택츠가 없다는 것을 나타내며, 상기 커서 625a-b가 런처 뷰 640a-b위에 위치해 있지 않음을 나타낼 수 있다. 상기 런처 뷰(launcher view) 640a-b는 사용자와 상호작용하는 이미지 컨텐츠를 포함할 수 있다.
본 발명의 실시 예에서 HMD 작동 모드를 위한 UI 로직을 실행하고 사용자 선택에 대한 입력으로써 터치프리 제스처의 클릭 동작을 감지하기 위해 근접센서를 사용하는 것은 단순한 예로써 HMD의 제한이 아니다. 상기 PED의 다른 센서는 단독으로 또는 또 다른 센서들과 공동으로 터치프리 제스처를 감지할 수 있고, 상기 제어부 140에 다른 종류의 동작을 나타내는 시그널을 보낼 수 있다.
특정 실시 예에서, 사용자가 HMD 500을 통해 영화를 보고 있는 동안, 상기 PED 300에서의 상기 HMD 작동 모드를 위한 UI 로직의 실행은 사용자가 그의 손 530을 상기 근접센서 134의 반사된 가시 범위 425 내에 위치시킴으로써 그의 주변에 물리적인 어떤 물체가 있는지 볼 것인지 여부에 대한 선택을 가능하게 할 수 있다. 상기 근접센서 134로부터 수신된 가시 범위 425 내에서 반사/차단이 발생하였다는 신호에 대응해서, 상기 제어부 140은 상기 스크린 501이 카메라 뷰를 디스플레이 하게 할 수 있다(예를 들어 영화는 정지시킨 상태에서). 상기 카메라 캡쳐 이미지 또는 사용자 주변의 물리적 환경 영상으로 복귀는, 사용자가 사용자의 머리에서 상기 HMD 500을 제거하지 않고 또는 상기 렌즈 475를 통해 보는 것을 중단하지 않고 주변을 볼 수 있게 할 수 있다. 상기 근접센서 134의 재설정된 가시 범위 425로부터 사용자 손을 제거하는 것은, 상기 HMD 스크린 501에서 영화가 다시 재생되는 것을 야기할 수 있다.
특정 실시 예에서는, 상기 PED 300에서 상기 HMD 동작 모드를 위한 UI 로직의 구현은 회전목마 스타일의 설계를 사용할 수 있다. 상기 회전목마 스타일의 설계는 사용자가 터치프리 제스처를 이용해서 회전목마 UI에 있는 옵션을 스크롤 할 수 있게 해 줄 수 있다. 예를 들어, 사용자의 손은 센서 그룹의 재 설정된 가시 범위 425를 가로지르면서 선형 경로로 움직일 수 있다. 근접 센서 134나 카메라 138과 같은 하나 또는 그 이상의 센서는 상기 선형 움직임을 감지할 수 있고, 상기 제어부 140에 사용자 손의 선형 움직임 방향에 대응하는 방향으로 사용자의 스크롤 선택을 나타내는 신호를 전송할 수 있다.
본 발명은 실시 예들로 설명되어있지만, 다양한 변경 및 수정이 당업자에게 제안될 수 있다. 본 발명은 첨부된 청구범위에서 이러한 변경 및 수정을 포함한다.

Claims (17)

  1. 헤드마운트 디스플레이(head-mounted display, HMD) 장치에 있어서,
    비접촉식 센서를 포함하는 전자 장치와,
    전면과 두개의 측면을 포함하고 상기 전자 장치와 결합되는 헤드마운트 프레임(frame)을 포함하고,
    상기 헤드마운트 프레임은,
    상기 전자 장치를 고정시키고 상기 전자 장치의 표시면과의 접촉을 유지하도록 구성된 전면 슬롯(front slot)과,
    상기 비접촉식 센서의 가시 범위의 차단을 방지하기 위한 입구 비아(entry via)와,
    상기 비접촉식 센서의 가시 범위를 상기 헤드마운트 프레임의 상기 두개의 측면 중 하나에서 출구 비아(exit via)를 통해 상기 헤드마운트 프레임의 외부의 열린 공간으로 전향 (redirect)하는 빛 회절 인자(light turning element)를 포함하고,
    상기 전자 장치는,
    상기 전자 장치의 디스플레이면에 배치되고 비접촉(touch-less) 동작을 검출하기 위한 상기 비접촉식 센서와,
    상기 전자 장치의 전면 표시부에 이미지 컨텐츠를 표시하기 위한 이미지 표시부와,
    상기 전자 장치가 상기 헤드마운트 프레임에 감싸져 있는지에 대한 판단에 기초하여 휴대(handheld) 모드에서 헤드마운트 디스플레이 작동 모드로의 모드를 전환하고, 상기 비접촉식 센서로부터 수신된 입력신호들과 상기 모드에 기초하여 상기 이미지 컨텐츠를 선택하는 처리 회로를 포함하는 장치.
  2. 청구항 1에 있어서,
    상기 헤드마운트 프레임은, 상기 전자 장치와 상기 전면 슬롯에서 슬라이드 방식으로 결합하는 장치.
  3. 청구항 1에 있어서,
    상기 헤드마운트 프레임은, 상기 전자 장치의 상기 표시면으로부터의 주변광(ambient light)을 차단하고, 상기 비접촉식 센서의 상기 가시 범위 내에서 주변광을 허용하는 장치.
  4. 청구항 1에 있어서,
    상기 출구 비아(exit via)는, 상기 전향된 가시범위로 빛을 통과시킬 수 있는 보호 커버를 포함하는 장치.
  5. 청구항 1에 있어서,
    상기 빛 회절 인자는,
    첫 번째 타입의 빛을 반사하기 위한 제1 반사면과,
    두 번째 타입의 빛을 반사하기 위한 제2 반사면을 포함하는 장치.
  6. 청구항 1에 있어서,
    상기 빛 회절 인자는, 광학 프리즘과 거울 중의 적어도 하나를 포함하고,
    상기 빛 회절 인자는, 상기 비접촉식 센서에 의해 방출되는 신호를 상기 출구 비아(exit via)를 통해 상기 헤드마운트 프레임의 외부의 상기 열린 공간으로 반사하는 장치.
  7. 청구항 6에 있어서,
    상기 비접촉식 센서는, 근접 센서(proximity sensor)를 포함하고,
    상기 근접 센서는, 전자기 방사(electromagnetic radiation)를 방출하고, 상기 근접 센서의 가시 범위 내의 물체에 의해 반사되어 되돌아온 전자기 방사의 수신에 따라 상기 처리 회로에 사용자의 선택을 나타내는 입력신호를 전송하고,
    상기 빛 회절 인자는, 상기 물체에 입사된 상기 방출된 전자기 방사에 대응해서, 상기 물체에 의해 반사된 전자기 방사의 일부를 상기 출구 비아(exit via)를 통해 수신하고,
    상기 반사된 전자기 방사의 일부를 상기 입구 비아(entry via)를 통해 상기 근접 센서로 직교하게 반사하는 장치.
  8. 헤드마운트 디스플레이(head-mounted display, HMD) 장치에 있어서,
    비접촉식 센서를 포함하는 전자 장치와,
    상기 전자 장치와 결합되는 헤드마운트 프레임(frame)을 포함하고,
    상기 헤드마운트 프레임은,
    상기 전자 장치를 고정시키고 상기 전자 장치의 표시면과의 접촉을 유지하도록 구성된 전면 슬롯(front slot)과,
    상기 비접촉식 센서의 가시 범위의 차단을 방지하기 위한 입구 비아(entry via)와,
    상기 비접촉식 센서의 가시 범위를 상기 헤드마운트 프레임의 출구 비아(exit via)를 통해 상기 헤드마운트 프레임의 외부의 열린 공간으로 전향 (redirect)하는 빛 회절 인자(light turning element)를 포함하고,
    상기 전자 장치는,
    비접촉(touch-less) 동작을 검출하기 위한 상기 비접촉식 센서와,
    상기 전자 장치의 전면 표시부에 이미지 컨텐츠를 표시하기 위한 이미지 표시부와,
    상기 전자 장치가 상기 헤드마운트 프레임에 감싸져 있는지에 대한 판단에 기초하여 휴대(handheld) 모드에서 헤드마운트 디스플레이 작동 모드로의 모드를 전환하고, 상기 비접촉식 센서로부터 수신된 입력신호들과 상기 모드에 기초하여 상기 이미지 컨텐츠를 선택하는 처리 회로를 포함하고,
    상기 비접촉식 센서는,
    각각이 비접촉 동작을 감지하기 위한 제1 비터치식 센서(non-touch) 및 제2 비터치식 센서를 포함하고,
    상기 빛 회절 인자는,
    상기 제1 비터치식 센서의 가시 범위를 제1 출구 비아(exit via)를 통해 상기 헤드마운트 프레임의 제1 측면의 외부의 상기 열린 공간으로 전향하기 위한 제1 회절 인자와,
    상기 제2 비터치식 센서의 가시 범위를 제2 출구 비아(exit via)를 통해 상기 헤드마운트 프레임의 다른 측면의 외부의 상기 열린 공간으로 전향하기 위한 제2 회절 인자를 포함하고,
    상기 헤드마운트 프레임은, 상기 헤드마운트 프레임의 상기 제1 출구 비아(exit via)와 다른 면에 있는 상기 제2 출구 비아(exit via)를 더 포함하는 장치.
  9. 장치에 있어서,
    전면과 두개의 측면을 포함하고 비접촉식 센서를 포함하는 전자 장치와 결합되는 헤드마운트 프레임을 포함하고,
    상기 헤드마운트 프레임은,
    상기 전자 장치를 고정시키고 상기 전자 장치의 표시면과의 접촉을 유지하도록 구성되는 전면 슬롯과,
    상기 비접촉식 센서의 가시 범위의 차단을 방지하는 입구 비아(entry via)와,
    상기 비접촉식 센서의 가시 범위를 상기 헤드마운트 프레임의 상기 두개의 측면 중 하나에서 출구 비아(exit via)를 통해 상기 헤드마운트 프레임의 외부의 열린 공간으로 전향하기 위한 빛 회절 인자와,
    상기 비접촉식 센서를 포함하는 복수의 센서들로부터 다른 센서로 상기 출구 비아를 정렬하기 위해 상기 빛 회절 인자의 위치 또는 각도를 조정하도록 구성되고 상기 빛 회절 인자와 결합된 자동 제어 메커니즘(servo mechanism)를 포함하는 장치.
  10. 청구항 9에 있어서,
    상기 헤드마운트 프레임은, 상기 전자 장치와 상기 전면 슬롯에서 슬라이드(slidably) 방식으로 결합되는 장치.
  11. 청구항 9에 있어서,
    상기 헤드마운트 프레임은, 상기 전자 장치의 상기 표시면으로부터의 주변광을 차단하고 상기 비접촉식 센서의 상기 가시 범위 내에서 주변광을 허용하는 장치.
  12. 청구항 9에 있어서,
    상기 출구 비아(exit via)는, 상기 전향된 가시 범위로 빛을 통과시킬 수 있는 보호 커버를 포함하는 장치.
  13. 청구항 9에 있어서,
    상기 빛 회절 인자는,
    첫 번째 타입의 빛을 반사하기 위한 제1 반사면과,
    두 번째 타입의 빛을 반사하기 위한 제2 반사면을 포함하는 장치.
  14. 청구항 9에 있어서,
    상기 빛 회절 인자는, 광학 프리즘과 거울 중의 적어도 하나를 포함하고,
    상기 빛 회절 인자는, 상기 비접촉식 센서에 의해 방출되는 신호를 상기 출구 비아(exit via)를 통해 상기 헤드마운트 프레임의 외부의 상기 열린 공간으로 반사하는 장치.
  15. 청구항 14에 있어서,
    상기 비접촉식 센서는, 근접 센서(proximity sensor)를 포함하고,
    상기 빛 회절 인자는,
    상기 비접촉식 센서의 전향된 가시 범위 내의 물체에 입사된 상기 비접촉식 센서에 의해 방출된 전자기 방사에 대응해서 상기 출구 비아(exit via)를 통해 상기 물체에 의해 반사된 전자기 방사의 일부를 수신하고,
    상기 수신된 전자기 방사의 상기 일부를 되돌아가는 전자기 방사로서 상기 입구 비아(entry via)를 통해 상기 근접 센서로 직교하게 반사하는 장치.
  16. 장치에 있어서,
    비접촉식 센서를 포함하는 전자 장치와 결합되는 헤드마운트 프레임을 포함하고,
    상기 헤드마운트 프레임은,
    상기 전자 장치를 고정시키고 상기 전자 장치의 표시면과의 접촉을 유지하도록 구성되는 전면 슬롯과,
    상기 비접촉식 센서의 가시 범위의 차단을 방지하는 입구 비아(entry via)와,
    상기 비접촉식 센서의 가시 범위를 상기 헤드마운트 프레임의 출구 비아(exit via)를 통해 상기 헤드마운트 프레임의 외부의 열린 공간으로 전향하기 위한 빛 회절 인자를 포함하고,
    상기 비접촉식 센서는, 제1 비접촉식 센서 및 제2 비접촉식 센서를 포함하고,
    상기 빛 회절 인자는,
    상기 제1 비접촉식 센서의 가시 범위를 제1 출구 비아(exit via)를 통해 상기 헤드마운트 프레임의 제1 측면의 외부의 상기 열린 공간으로 전향하기 위한 제1 회절 인자와,
    상기 제2 비접촉식 센서의 가시 범위를 제2 출구 비아(exit via)를 통해 상기 헤드마운트 프레임의 다른 측면의 외부의 열린 공간으로 전향하기 위한 제2 회절 인자를 포함하고,
    상기 헤드마운트 프레임은, 상기 헤드마운트 프레임의 상기 제1 출구 비아(exit via)와 다른 면에 있는 상기 제2 출구 비아(exit via)를 더 포함하는 장치.
  17. 삭제
KR1020150057306A 2014-08-21 2015-04-23 빛 회절 인자를 포함하는 헤드마운트 디스플레이 장치 KR102022553B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/465,810 US9910504B2 (en) 2014-08-21 2014-08-21 Sensor based UI in HMD incorporating light turning element
US14/465,810 2014-08-21

Publications (2)

Publication Number Publication Date
KR20160023545A KR20160023545A (ko) 2016-03-03
KR102022553B1 true KR102022553B1 (ko) 2019-09-19

Family

ID=55348291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150057306A KR102022553B1 (ko) 2014-08-21 2015-04-23 빛 회절 인자를 포함하는 헤드마운트 디스플레이 장치

Country Status (2)

Country Link
US (1) US9910504B2 (ko)
KR (1) KR102022553B1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6308214B2 (ja) * 2013-05-15 2018-04-11 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US9420075B2 (en) 2014-07-16 2016-08-16 DODOcase, Inc. Virtual reality viewer and input mechanism
KR102277272B1 (ko) * 2015-02-12 2021-07-15 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치의 화면 영역 제어 방법
KR20160139727A (ko) * 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
US20160378176A1 (en) * 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US10380966B2 (en) 2015-08-31 2019-08-13 International Business Machines Corporation Power and processor management for a personal imaging system
US10133407B2 (en) * 2015-12-28 2018-11-20 Seiko Epson Corporation Display apparatus, display system, method for controlling display apparatus, and program
US10455214B2 (en) 2016-03-03 2019-10-22 Disney Enterprises, Inc. Converting a monocular camera into a binocular stereo camera
CN109076662B (zh) * 2016-03-21 2021-01-22 皇家飞利浦有限公司 用于镜子部件的自适应照明系统和控制自适应照明系统的方法
US10852913B2 (en) 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
KR102519578B1 (ko) * 2016-07-05 2023-04-07 삼성전자주식회사 전자 장치의 화면 표시 방법 및 그 장치
WO2018064195A1 (en) 2016-09-27 2018-04-05 Snap Inc. Eyewear device mode indication
KR20180035434A (ko) 2016-09-29 2018-04-06 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
GB2559133A (en) * 2017-01-25 2018-08-01 Avantis Systems Ltd A method of navigating viewable content within a virtual environment generated by a virtual reality system
KR102441686B1 (ko) * 2017-04-19 2022-09-13 삼성전자주식회사 머리 착용형 장치
US10747386B2 (en) * 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
JP7029376B2 (ja) * 2018-09-28 2022-03-03 株式会社Ｎｔｔドコモ 携帯端末

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20120026298A1 (en) * 2010-03-24 2012-02-02 Filo Andrew S Apparatus and method for producing images for stereoscopic viewing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498054B2 (en) * 2009-04-17 2013-07-30 Ioculi, Inc. Image diversion systems and methods for image capture devices
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
KR101476503B1 (ko) * 2012-06-07 2014-12-26 한양대학교 산학협력단 착용형 디스플레이 장치를 위한 인터랙션 제공 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20120026298A1 (en) * 2010-03-24 2012-02-02 Filo Andrew S Apparatus and method for producing images for stereoscopic viewing

Also Published As

Publication number Publication date
US9910504B2 (en) 2018-03-06
KR20160023545A (ko) 2016-03-03
US20160054802A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
KR102022553B1 (ko) 빛 회절 인자를 포함하는 헤드마운트 디스플레이 장치
US11719934B2 (en) Suppression of stray light in head worn computing
KR101247095B1 (ko) 인터랙티브 디스플레이 조명 및 개체 검출 방법과 인터랙티브 디스플레이 시스템
US9841602B2 (en) Location indicating avatar in head worn computing
US8089455B1 (en) Remote control with a single control button
US9829703B2 (en) Eye imaging in head worn computing
US9285893B2 (en) Object detection and tracking with variable-field illumination devices
US10488942B2 (en) Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
US8508472B1 (en) Wearable remote control with a single control button
CN107102804B (zh) 控制设备、控制方法和记录介质
US20110187678A1 (en) Touch system using optical components to image multiple fields of view on an image sensor
KR20160135242A (ko) 시선 검출을 통한 원격 디바이스 제어
EP3987756B1 (en) Full-screen display with sub-display camera
US20230315270A1 (en) Method of displaying user interfaces in an environment and corresponding electronic device and computer readable storage medium
US20200089323A1 (en) Method and apparatus for interaction with virtual and real images
KR102218919B1 (ko) 이동 단말기
US20230400684A1 (en) Eye imaging in head worn computing
CN108803864B (zh) 投影交互设备和投影交互系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right