KR102178298B1 - 이미지 표시 제어 방법 및 이를 지원하는 장치 - Google Patents

이미지 표시 제어 방법 및 이를 지원하는 장치 Download PDF

Info

Publication number
KR102178298B1
KR102178298B1 KR1020140163389A KR20140163389A KR102178298B1 KR 102178298 B1 KR102178298 B1 KR 102178298B1 KR 1020140163389 A KR1020140163389 A KR 1020140163389A KR 20140163389 A KR20140163389 A KR 20140163389A KR 102178298 B1 KR102178298 B1 KR 102178298B1
Authority
KR
South Korea
Prior art keywords
image
display
movement
display area
change
Prior art date
Application number
KR1020140163389A
Other languages
English (en)
Other versions
KR20160061026A (ko
Inventor
윤용상
조치현
최종철
허창룡
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140163389A priority Critical patent/KR102178298B1/ko
Priority to US14/948,909 priority patent/US10579137B2/en
Priority to PCT/KR2015/012602 priority patent/WO2016080818A1/en
Priority to CN201580062916.2A priority patent/CN107076994B/zh
Priority to EP15861327.3A priority patent/EP3222035B1/en
Publication of KR20160061026A publication Critical patent/KR20160061026A/ko
Application granted granted Critical
Publication of KR102178298B1 publication Critical patent/KR102178298B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 발명은 전자 장치의 이미지 표시 제어 방법 및 장치에 관한 것으로, 본 발명의 다양한 실시 예에 따른 전자 장치의 이미지 표시 제어 방법은, 이미지를 표시하는 동작과 상기 이미지의 표시 상태를 확인하는 동작과 상기 전자 장치의 움직임을 감지하는 동작과 상기 전자 장치의 움직임이 감지되면, 상기 움직임에 따른 이동 변화량을 산출하는 동작과 상기 표시 상태 및 상기 이동 변화량을 기반으로 표시 영역 변화량을 조정하는 동작과 상기 표시 영역 변화량에 따라 표시 영역이 변경된 이미지를 표시하는 동작을 포함할 수 있다.

Description

이미지 표시 제어 방법 및 이를 지원하는 장치{METHOD FOR CONTROLLING DISPLAY AND APPARATUS SUPPLYING THE SAME}
본 발명은 이미지 표시 제어 방법 및 이를 지원하는 장치에 관한 것이다.
최근 전자 장치는 신체에 착용할 수 있는 웨어러블 장치(wearable device)로 점차 발전하고 있다. 웨어러블 장치는 손목시계, 팔찌와 같이 팔에 부착하는 장치와 안경 또는 머리에 쓸 수 있는 헤드 마운트형 디스플레이(Head mounted Display: HMD) 장치를 포함할 수 있다. 특히, 헤드 마운트형 디스플레이 장치는 사용자 얼굴에 착용되어 눈앞에서 직접 영상을 디스플레이하는 기능을 제공하고 있다. 또한, 헤드 마운트형 디스플레이 장치는 사용자의 움직임에 따라 화면이 함께 움직이는 사실적인 가상 공간을 제공할 수 있다.
사용자는 표시되는 영상을 상세히 또는 폭넓게 확인하기 위해 상기 영상의 일부를 확대할 수 있다. 이에 응답하여 헤드 마운트형 디스플레이 장치는 확대된 영상을 사용자에게 제공할 수 있다. 그리고 헤드 마운트형 디스플레이 장치는 영상이 확대되어 표시된 상태에서 사용자의 움직임을 감지할 수 있다. 이 경우, 디스플레이에 표시되는 영상의 변화가 커서 사용자에게 어지러움증을 유발하는 문제점이 있다.
본 발명의 실시 예에 따른 전자 장치는 가상 공간에서 확대된 영상을 표시한 상태에서 움직임을 감지하는 경우, 표시 영역 변화량이 조정된 영상을 표시할 수 있도록 제어하는 방법 및 장치를 제공할 수 있다.
본 발명의 실시 예에 따른 전자 장치의 이미지 표시 제어 방법은, 이미지를 표시하는 동작과 상기 이미지의 표시 상태를 확인하는 동작과 상기 전자 장치의 움직임을 감지하는 동작과 상기 전자 장치의 움직임이 감지되면, 상기 움직임에 따른 이동 변화량을 산출하는 동작과 상기 표시 상태 및 상기 이동 변화량을 기반으로 표시 영역 변화량을 조정하는 동작과 상기 표시 영역 변화량에 따라 표시 영역이 변경된 이미지를 표시하는 동작을 포함할 수 있다.
본 발명의 실시 예에 따른 전자 장치는, 이미지를 표시하는 표시부와 상기 전자 장치의 움직임을 감지하는 센서부와 상기 표시된 이미지의 표시 상태를 확인하고, 상기 전자 장치의 움직임을 감지하면, 상기 움직임에 따른 이동 변화량을 산출하고, 상기 표시 상태 및 상기 이동 변화량을 기반으로 표시 영역 변화량을 조정하고, 상기 표시 영역 변화량에 따라 표시 영역이 변경된 이미지를 표시하도록 상기 표시부를 제어하는 제어부를 포함할 수 있다.
본 발명의 실시 예에 따른 전자 장치의 이미지 표시를 제어하기 위한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 방법은, 이미지를 표시하는 동작과 상기 이미지의 표시 상태를 확인하는 동작과 상기 전자 장치의 움직임을 감지하는 동작과 상기 전자 장치의 움직임이 감지되면, 상기 움직임에 따른 이동 변화량을 산출하는 동작과 상기 표시 상태 및 상기 이동 변화량을 기반으로 표시 영역 변화량을 조정하는 동작과 상기 표시 영역 변화량에 따라 표시 영역이 변경된 이미지를 표시하는 동작을 포함하는 컴퓨터 판독 가능한 기록 매체를 포함할 수 있다.
본 발명의 실시 예에 따른 전자 장치는 영상의 표시 상태 및 이동 변화량에 따라 적절하게 표시 영역 변화량을 조정하여 표시할 수 있다. 이로써 사용자는 어지러움증 없이 영상을 볼 수 있다. 또한, 전자 장치는 표시 영역 변화량을 조정하여 표시함으로써 연속성을 가지는 영상을 사용자에게 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 구성을 도시하는 도면이다.
도 2a 내지 도 2h는 본 발명의 실시 예에 따른 전자 장치의 이미지 표시 제어 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 전자 장치의 표시 상태 변경 이벤트 및 움직임에 따른 이미지 표시 제어 방법을 도시하는 흐름도이다.
도 4는 본 발명의 실시 예에 따른 확대 입력 요청 및 움직임에 따른 이미지 표시 제어 방법을 도시하는 흐름도이다.
도 5a 내지 도 9d는 본 발명의 실시 예에 따른 확대 입력 요청 및 움직임에 따른 이미지 표시 제어 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 축소 입력 요청 및 움직임에 따른 이미지 표시 제어 방법을 도시하는 흐름도이다.
도 11a 및 도 11b는 본 발명의 실시 예에 따른 축소 입력 요청 및 움직임에 따른 이미지 표시 제어 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
상세한 설명에 앞서, 본 발명의 다양한 실시 예에 따른 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
본 발명의 실시 예에서 전자 장치는 헤드 마운트형 디스플레이(이하, HMD: Head mounted Display) 장치일 수 있다. 하지만 이에 한정하는 것은 아니며, 위치 또는 공간에 따른 좌표 정보를 포함하는 이미지를 표현할 수 있는 모든 전자 장치에 적용 가능할 수 있다.
본 발명의 실시 예에서 상기 HMD 장치는 사용자의 머리에 착용될 수 있다. 상기 HMD 장치는 사용자의 눈에 외부의 이미지가 직접 전달되지 않는 See-closed type일 수 있다. HMD 장치는 사용자의 머리에 거치하기 위한 기구물을 구비할 수 있으며, 상기 기구물 내부에는 상기 HMD 장치의 동작을 제어하기 위한 장치가 존재할 수 있다. HMD 장치는 사용자의 눈과 디스플레이 장치 사이 광학계 및 조절 장치를 구비할 수 있다. 상기 디스플레이 장치는 상기 HMD 장치에서 분리 가능한 상태로 구성될 수 있다. HMD 장치는 하나의 이미지를 사용자의 양안에 보여질 수 있도록 두 개의 이미지로 분리하여 출력할 수 있다. HMD 장치는 이미지를 나타낼 수 있는 광원을 출력하는 장치를 구비할 수 있다. HMD 장치는 상기 HMD 장치에서 출력된 광원을 도파로(wave guide) 및 렌즈로 전달하여 사용자에게 이미지를 제공할 수 있다.
본 발명의 실시 예에서 사용자 시점은, 가상 공간에서 사용자가 바라보는 방향에 대응하는 영역의 이미지이다. HMD 장치는 사용자 시점에 해당하는 영역의 이미지를 디스플레이 영역(display portion)으로 설정할 수 있다. 상기 디스플레이 영역은, 전체 이미지 중 HMD 장치의 디스플레이에 표시되는 이미지이다. HMD 장치는 사용자의 움직임을 감지하는 경우, 감지되는 움직임 방향으로 사용자 시점을 변경할 수 있다. HMD 장치는 변경된 사용자 시점에 따라 디스플레이 영역 또한 변경하여 표시할 수 있다.
본 발명의 실시 예에서 표시 영역 변화량은, 확대 배율이 적용된 이미지를 표시한 HMD 장치에서 움직임을 감지한 경우, 표시될 디스플레이 영역을 조정하기 위한 값이다. HMD 장치는 확대된 이미지가 표시된 상태에서 움직임을 감지하는 경우, 상기 표시 영역 변화량을 조정하여 상기 움직임보다 적게 이동한 디스플레이 영역을 표시할 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 구성을 도시하는 도면이다.
도 1을 참조하면, 본 발명의 전자 장치는 통신부 110, 입력부 120, 저장부 130, 표시부 140, 센서부 150 및 제어부 160을 포함할 수 있다. 이하 설명하는 상기 전자 장치는 헤드 마운트형 디스플레이(HMD) 장치 100으로 가정하여 설명한다.
통신부 110은 셀룰러 통신 프로토콜로서, 예를 들면, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, 또는 GSM 등 중 적어도 하나를 사용할 수 있다. 상기 유선 통신은, 예를 들면, USB (universal serial bus), HDMI (high definition multimedia interface), RS-232 (recommended standard 232), 또는 POTS (plain old telephone service) 등 중 적어도 하나를 포함할 수 있다.
상기 통신부 110은 셀룰러 모듈, WIFI 모듈, BT 모듈, GPS 모듈, NFC 모듈 및 RF (radio frequency) 모듈을 포함할 수 있다.
상기 셀룰러 모듈은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 상기 셀룰러 모듈은 가입자 식별 모듈 (예: SIM 카드)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 상기 셀룰러 모듈은 AP(application processor)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 상기 셀룰러 모듈은 커뮤니케이션 프로세서 (CP: communication processor)를 포함할 수 있다.
상기 WIFI 모듈, 상기 BT 모듈, 상기 GPS 모듈 또는 상기 NFC 모듈 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈, WIFI 모듈, BT 모듈, GPS 모듈 또는 NFC 모듈 중 적어도 일부 (예: 두 개 이상)는 하나의 IC(integrated chip) 또는 IC 패키지 내에 포함될 수 있다.
상기 RF 모듈은, 예를 들면, 통신 신호 (예: RF 신호)를 송수신할 수 있다. 상기 RF 모듈은, 예를 들면, 트랜시버 (transceiver), PAM (power amp module), 주파수 필터 (frequency filter), LNA (low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈, WIFI 모듈, BT 모듈, GPS 모듈 또는 NFC 모듈 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
특히, 본 발명의 실시 예에서 통신부 110은 제어부 160의 제어 하에 외부전자 장치와 연결되어 통신을 수행할 수 있다. 예를 들면, 통신부 110은 표시부 140에 표시하기 위한 이미지를 외부 전자 장치에 요청할 수 있다. 통신부 110은 상기 요청에 응답하여 상기 외부 전자 장치로부터 상기 이미지를 수신할 수 있다.
입력부 120은 HMD 장치 100의 기능 제어와 관련된 신호를 생성하여 제어부 160으로 전달할 수 있다. 상기 입력부 120은 물리적 키, 물리적 버튼, 광학식 키 터치 키, 조이스틱, 휠(wheel)키 또는 터치 패드 중에 적어도 하나를 포함할 수 있다. 터치 패드는 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 터치 패드는 제어회로를 포함할 수도 있다. 정전식의 터치 패드는 물리적 접촉 터치 외에 근접 인식도 가능할 수 있다. 상기 터치 패드는 택타일 레이어(tactile layer)를 더 포함할 수 있다. 이 경우, 상기 터치 패드는 사용자에게 촉각 반응을 제공할 수 있다.
특히, 본 발명의 실시 예에서 입력부 120은 이미지를 설정하기 위한 마우스, 터치 입력장치, 부가 액세서리 등을 포함할 수 있다. 상기 부가 액세서리는 펜 액세서리일 수 있다. 입력부 120은 제어부 160의 제어 하에 좌우 상하 움직임에 따른 출력되는 이미지를 변경할 수 있다. 상기 입력부 120은 이미지의 출력 범위를 설정하고, 설정된 출력 범위 정보를 제어부 160에 전달할 수 있다.
저장부 130은 HMD 장치 100의 동작 프로그램을 저장하는 프로그램 메모리와 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 메모리를 구비할 수 있다. 예를 들면, 상기 저장부 130은 내장 메모리 또는 외장 메모리를 포함할 수 있다. 상기 내장 메모리는, 예를 들면, 휘발성 메모리 (예: DRAM (dynamic RAM), SRAM (static RAM), 또는 SDRAM (synchronous dynamic RAM) 등), 비휘발성 메모리 (non-volatile Memory) (예: OTPROM (one time programmable ROM), PROM (programmable ROM), EPROM (erasable and programmable ROM), EEPROM (electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브 (solid state drive (SSD)) 중 적어도 하나를 포함할 수 있다. 상기 외장 메모리는 flash drive, 예를 들면, CF (compact flash), SD (secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), 또는 메모리 스틱 (memory stick) 등을 더 포함할 수 있다. 상기 외장 메모리는 다양한 인터페이스를 통하여 상기 HMD 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.
특히, 본 발명의 실시 예에서 저장부 130은 사용자에게 제공하는 이미지를 저장할 수 있다. 상기 저장부 130은 외부 전자 장치로부터 수신한 이미지를 저장할 수 있다. 또한, 상기 저장부 130은 제어부 160의 제어 하에 표시부 140에 이미지를 출력하기 위한 이미지 처리(예컨대, 이미지 보정, 이미지 왜곡)된 이미지를 저장할 수 있다.
표시부 140은 제어부 160의 제어 하에 HMD 장치 100의 이용에 따른 다양한 화면들을 표시할 수 있다. 또한 상기 표시부 140은 액정 표시 장치(Liquid Crystal Display: LCD), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode), 플렉서블 디스플레이(Flexible Display), 벤디드 디스플레이(Bended Display) 그리고 3차원 디스플레이(3D Display) 등으로 구성될 수 있다. 또한 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다.
특히, 본 발명의 실시 예에서 표시부 140은 제어부 160의 제어 하에 이미지를 표시할 수 있다. 상기 이미지는 상기 저장부 130에 저장되어 있거나, 상기 통신부 110을 통해 연결된 외부 전자 장치로부터 수신한 이미지를 포함할 수 있다. 표시부 140은 제어부 160의 제어 하에 표시 상태 변경 이벤트를 감지한 경우, 표시 상태가 변경된 이미지를 표시할 수 있다. 표시부 140은 제어부 160의 제어 하에 움직임을 감지하는 경우, 상기 표시 상태 및 움직임을 기반으로 표시 영역 변화량이 조정된 이미지를 표시할 수 있다.
또한, 상기 표시부 140은 표시 데이터를 사용자의 양안에 근접하게 표시하는 기능을 수행할 수 있다. 상기 표시부 140는 HMD장치 100 내에 고정되거나 착탈 가능할 수 있다. 예를 들어, 상기 표시부 140이 외부 장치(예; 표시 장치 또는 전자 장치)일 경우, 상기 표시부 140은 착탈 가능할 수 있다. 도면에 도시되지는 않았으나, HMD장치 100 에서 표시부 140이 착탈 가능한 경우, HMD장치 100는 외부 장치와 사용자의 안구 사이에 렌즈 조립체, 외부 장치와 HMD장치 100 와 접속할 수 있는 커넥터로 구성될 수 있다. 외부 장치와 장치와 HMD장치 100는 커넥터를 통해 유저 인터페이스의 신호를 상기 외부 장치에 제공할 수 있다.
센서부 150은, 예를 들면, 물리량을 계측하거나 HMD 장치 100의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서부 150은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, color 센서 (예: RGB (red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서, 또는 UV (ultra violet) 센서 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서부 150은, 예를 들면, 후각 센서 (E-nose sensor), EMG 센서 (electromyography sensor), EEG 센서 (electroencephalogram sensor), ECG 센서 (electrocardiogram sensor), IR (infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 상기 센서부 150은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, HMD 장치 100은 AP의 일부로서 또는 별도로, 센서부 150을 제어하도록 구성된 프로세서를 더 포함하여, 상기 AP가 슬립 (sleep) 상태에 있는 동안, 센서부 150을 제어할 수 있다.
특히, 본 발명의 실시 예에서 상기 센서부 150은 HMD 장치 100의 상태 변화에 따른 센싱 정보를 수집하여 제어부160에 전달할 수 있다. 상기 센서부 150은 가속도 센서, 자이로 센서, 지자계 센서 중 적어도 하나 이상을 이용하여 HMD 장치 100을 착용한 사용자의 머리 움직임을 감지할 수 있다. 상기 센서부 150은 IR 인식, 가압인식, 캐패시턴스(혹은 유전율)의 변화량 중 적어도 하나를 감지하여 HMD장치 100의 착용 여부를 감지할 수 있다. 상기 제스처 센서는 사용자의 손 또는 손가락의 움직임을 감지하여 상기 HMD 장치 100의 제어 입력을 감지할 수 있다. 상기 센서부 150은 생체인식 센서를 이용하여 사용자의 생체 정보를 인식할 수도 있다. 예를 들어, 상기 센서부 150은 HMD장치 100을 착용한 사용자의 눈 영역을 인식하여 시선의 움직임을 감지할 수 있다.
제어부 160은 HMD 장치 100의 구성 요소들의 기능 실행 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다. 예를 들어, 상기 제어부 160은 운용 체체(OS) 또는 임베디드 S/W 프로그램을 구동하여 상기 제어부 160에 연결된 다수의 하드웨어 구성요소를 제어할 수 있다. 상기 제어부 160은 적어도 하나의 프로세서(processor)를 포함할 수 있다.
상기 제어부 160은 HMD 장치 100 특성에 따라 표시 데이터를 처리하고, 이를 표시부 140에 출력하도록 제어할 수 있다.
특히, 본 발명의 실시 예에서 제어부 160은 검출 모듈 161, 이동 변화량 산출 모듈 162, 표시 영역 변화량 조정 모듈 163, 이미지 처리 모듈 164 및 표시 제어 모듈 165를 포함할 수 있다.
제어부 160은 저장부 130에 저장된 이미지 및/또는 통신부 110을 통해 연결된 외부 전자 장치로부터 수신한 이미지를 표시할 수 있다.
상기 검출 모듈 161은 상기 표시된 이미지의 표시 상태를 확인할 수 있다. 또는 상기 검출 모듈 161은 상기 이미지가 표시된 상태에서 표시 상태 변경 이벤트를 감지할 수 있다. 상기 검출 모듈 161은 상기 표시 상태 변경 이벤트가 감지되면, 표시 상태가 변경된 이미지 정보를 확인할 수 있다. 예를 들면, 상기 이미지의 표시 상태는 상기 이미지의 확대 또는 축소 배율 적용 유무와 상기 확대 또는 축소 배율 정보를 포함할 수 있다. 그리고 상기 검출 모듈 161은 표시 상태 정보(예컨대, 확대 및/또는 축소 배율 정보)를 표시 영역 변화량 조정 모듈 163에 전달할 수 있다. 검출 모듈 161은 상기 표시 상태가 변경된 이미지를 표시한 상태에서 센서부 150을 통해 HMD 장치 100의 움직임을 감지할 수 있다. 상기 검출 모듈 161은 상하 좌우 방향 중 적어도 하나의 방향으로 HMD 장치 100의 움직임을 감지할 수 있다.
상기 이동 변화량 산출 모듈 162는 상기 검출 모듈 161을 통해 HMD 장치 100의 움직임을 감지하는 경우, 상기 움직임에 따른 이동 변화량을 산출할 수 있다. 상기 이동 변화량 산출 모듈 162는 산출한 이동 변화량 정보를 표시 영역 변화량 조정 모듈 163에 전달할 수 있다.
상기 표시 영역 변화량 조정 모듈 163은 상기 검출 모듈 161로부터 수신한 표시 상태 정보 및 상기 이동 변화량 산출 모듈 162로부터 수신한 이동 변화량을 기반으로 표시 영역 변화량을 조정할 수 있다.
상기 이미지 처리 모듈 164는 상기 표시 영역 변화량 조정 모듈 163을 통해 조정된 표시 영역 변화량에 따른 이미지를 보정할 수 있다. 예를 들어, 이미지 처리 모듈 164는 초기 설정 상태의 사용자 시점에서 검출 모듈 161을 통해 움직임을 감지하는 경우, 움직임에 따른 사용자 시점이 변경된 이미지를 표시하도록 보정할 수 있다. HMD 장치 100은 사용자의 눈 앞의 근거리에 위치함에 따라 크기가 큰 이미지를 제공하는 경우, 광학 장치에서 빛을 굴절시켜 사용자의 눈에 전달할 수 있다. 상기 이미지 처리 모듈 164는 상기 이미지가 사용자의 눈 초점에 맞도록 이미지를 보정하여 표시할 수 있다. 상기 이미지는 표시부 140에 출력되는 2차원 이미지로 구성될 수 있다. 상기 이미지 처리 모듈 164는 상기 2차원 이미지를 와핑(warping) 할 수 있다. 상기 와핑은 표시부 140에 표시되는 이미지의 픽셀 정보를 변경하는 방식이다. 상기 이미지 처리 모듈 164는 상기 이미지를 와핑하여 상기 이미지에서 직선으로 표시된 정보를 곡선으로 변경(즉, 이미지를 왜곡)할 수 있다. 다시 말해, 상기 이미지 처리 모듈 164는 직사각형의 형태로 디스플레이 영역을 표시하는 것이 아닌 휘어진 곡선 형태로 디스플레이 영역을 표시할 수 있다. 상기 이미지 처리 모듈 164는 상기 왜곡된 이미지를 렌즈에 통과시켜 왜곡하기 전과 같은 이미지를 표시 제어 모듈 165에 전달할 수 있다. 또한, 상기 이미지 처리 모듈 164는 양안에 이미지를 제공하는 경우, 사용자의 초점에 맞추기 위하여 이미지를 왜곡(즉, 와핑)시킬 수 있다.
상기 표시 제어 모듈 165는 상기 이미지 처리 모듈 164로부터 수신한 보정된 이미지를 표시부 140에 표시할 수 있다. 상기 이미지는 특정 시점에서 나타나는 디스플레이 영역을 포함할 수 있다. 상기 이미지는 구 공간 형태의 이미지일 수 있다. 상기 표시 제어 모듈 165는 사용자의 헤드 트래킹(Head tracking)에 따라 디스플레이 영역에 제공되는 이미지를 변경하여 표시할 수 있다.
도 2a 내지 도 2h는 본 발명의 실시 예에 따른 전자 장치의 이미지 표시 제어 방법을 설명하기 위한 도면이다.
도 2a 내지 도 2h를 참조하면, 상기 전자 장치는 HMD 장치일 수 있다. 본 발명의 실시 예에서 상기 HMD 장치 100은 이미지를 표시할 수 있다. 상기 이미지는 다수의 시점 정보를 포함할 수 있다. 상기 이미지는 좌우 방향(x축 방향, 0 ~ 360°)과 상하 방향(y축 방향, -90 ~ 90°) 정보를 가질 수 있다. HMD 장치 100은 상기 x축 및/또는 y축 방향 정보를 포함하는 공간 표시 데이터 즉, 이미지를 표시부 140을 통해 사용자에게 제공될 수 있다. HMD 장치 100은 센서부 150을 통해 움직임을 감지하는 경우, 상기 움직임에 따른 이동 변화량을 산출할 수 있다. HMD 장치 100은 상기 이동 변화량에 따라 이동된 디스플레이 영역을 표시할 수 있다. 다시 말해, HMD 장치 100은 사용자의 헤드 트래킹에 따라 감지되는 사용자 시점(FOV: Field of view)을 디스플레이 영역으로 결정하고, 표시부 140에 표시할 수 있다.
도 2a에 도시된 바와 같이 사용자가 210을 바라보는 형태로, HMD 장치 100은 상기 210을 사용자 시점으로 결정할 수 있다. 즉, 상기 사용자 시점 210은 초기 설정 상태의 디스플레이 영역일 수 있다. 상기 초기 설정 상태는 표시 상태 변경 및 움직임에 대한 기준값이 될 수 있다. HMD 장치 100은 상기 사용자 시점 210에 대응하는 디스플레이 영역을 도 2b의 210a와 같이 표시부 140에 출력할 수 있다.
HMD 장치 100은 상기 디스플레이 영역을 표시부 140에 출력할 수 있도록 이미지를 보정할 수 있다. 예컨대, 이미지를 와핑 즉, 왜곡시킬 수 있다. HMD 장치 100은 센서부 150을 통해 움직임을 감지하는 경우, 상기 움직임에 대응되는 디스플레이 영역을 표시할 수 있다. 예를 들면, HMD 장치 100은 사용자 시점이 x축으로 30° 이동하는 움직임을 감지하는 경우, 그에 상응한 30° 이동한 움직임을 반영하여 디스플레이 영역을 설정할 수 있다. 상기 디스플레이 영역은 사각 형태로 도시되었지만 이에 한정하는 것은 아니며, 다양한 형태로 구성될 수 있다.
도 2c 및 도 2d에 도시된 바와 같이 사용자 시점인 초기 설정 상태의 디스플레이 영역 210은 도 2d의 x 좌표 중심이 180도를 향하고 있는 디스플레이 영역 0 210a로 설정할 수 있다. HMD 장치 100은 센서부 150을 통해 사용자의 움직임 또는 상기 HMD 장치 100의 움직임을 감지할 수 있다. HMD 장치 100은 상기 움직임을 분석하여 사용자의 시점 이동 방향을 확인할 수 있다. HMD 장치 100은 213과 같이 x축 반대 방향으로 θ1만큼 이동을 감지할 수 있다. HMD 장치 100은 상기 움직임에 따라 변경된 디스플레이 영역을 표시할 수 있다. HMD 장치 100은 x축 반대 방향(즉, 좌측방향)으로 θ1 213만큼 이동을 감지한 경우, 상기 디스플레이 영역 0 210a에서 도 2d의 213a와 같이 디스플레이 영역 1로 변경하여 표시할 수 있다. 또는, HMD 장치 100은 215와 같이 x축 방향(즉, 우측 방향)으로 θ2 만큼 이동을 감지한 경우, 상기 디스플레이 영역 0 210a에서 도 2d의 215a와 같이 디스플레이 영역 2로 변경하여 표시할 수 있다. 상기 디스플레이 영역은 상기 HMD 장치 100의 센서부 150을 통해 감지되는 움직임에 따른 이동 변화량에 비례하게 표시될 수 있다. 다시 말해, 상기 HMD 장치 100은 상기 이동 변화량에 따라 사용자 시점에 대응하는 디스플레이 영역(즉, 사용자가 HMD 장치 100을 착용한 상태에서 실제 바라보는 방향)이 변경되어 표시부 140에 표시할 수 있다.
본 발명의 다른 실시 예로, 도 2e 내지 도 2h를 살펴보면, HMD 장치 100은 도 2e의 223과 같이 이동이 감지되지 않은 초기 설정 상태로, 도 2g의 223a와 같이 디스플레이 영역 0을 표시할 수 있다. HMD 장치 100은 도 2e의 225와 같이 x축 반대 방향으로 θ1만큼 이동을 감지하면, 도 2f의 225a와 같이 디스플레이 영역 1을 표시할 수 있다. HMD 장치 100은 도 2e의 227과 같이 x축 방향으로 θ2만큼 이동을 감지하면, 도 2h의 227a와 같이 디스플레이 영역 2를 표시할 수 있다.
도 3은 본 발명의 실시 예에 따른 전자 장치에서 이미지 표시 제어 방법을 도시하는 흐름도이다.
도 3을 참조하면, HMD 장치 100은 301동작에서 이미지를 표시할 수 있다. HMD 장치 100은 사용자의 시점 정보를 획득하여 상기 사용자의 시점 정보에 대응되는 디스플레이 영역을 표시할 수 있다. 여기서 상기 이미지는 초기 설정된 해상도로 확대 또는 축소되지 않은 상태(예컨대, 디폴트로 설정된 상태)일 수 있다. 또한, 상기 이미지는 이전의 설정 상태를 유지하는 상태일 수 있다. 예컨대, 상기 이미지는 이전에 축소 또는 확대 상태가 적용되어 상기 축소 또는 확대 상태를 유지한 상태일 수 있다. 이때, 상기 이미지의 상태(즉, 디폴트로 설정된 상태 또는 이전의 설정 상태를 유지하는 상태)는 확대, 축소, 움직임에 따라 표시 영역을 변경하기 위한 기준값이 될 수 있다.
HMD 장치 100은 303동작에서 표시 상태 변경 이벤트를 감지할 수 있다. 본 발명의 실시 예에서 상기 표시 상태 변경 이벤트는 이미지의 일부 영역을 확대 또는 축소하여 표시하기 위한 확대 요청 입력 또는 축소 요청 입력을 포함할 수 있다.
표시 상태 변경 이벤트가 감지되면, 상기 표시 상태 변경 이벤트에 응답하여 HMD 장치 100은 305동작에서 표시 상태가 변경된 이미지를 표시할 수 있다. 다시 말해, 확대 요청 입력이 감지되면, 상기 확대 요청 입력에 응답하여 HMD 장치 100은 확대 배율이 적용된 이미지를 표시할 수 있다. 또는, 축소 요청 입력이 감지되면, 상기 축소 요청 입력에 응답하여 HMD 장치 100은 축소 배율이 적용된 이미지를 표시할 수 있다. 상기 확대 배율은 표시부 140에 표시되고 있는 디스플레이 영역 중 특정 영역을 일정한 배율로 확대하기 위한 용어로 정의한다. 상기 축소 배율은 표시부 140에 표시되고 있는 디스플레이 영역을 작게 표시하고, 상기 디스플레이 영역을 포함하는 일정 영역을 더 표시하는 것으로 일정한 배율로 축소하기 위한 용어로 정의한다.
확대 배율이 적용된 이미지를 표시하는 경우, 전체 이미지 대비 상기 확대 배율이 적용된 이미지는 적은 영역을 표시한 상태일 수 있다. 또는 축소 배율이 적용된 이미지를 표시하는 경우, 전체 이미지 대비 상기 축소 배율이 적용된 이미지는 많은 영역을 표시한 상태일 수 있다. 또한, 사용자는 상기 확대 배율이 적용된 이미지를 통해 상기 이미지가 가까운 거리에 위치한 것으로 인식할 수 있다. 또는, 사용자는 상기 축소 배율이 적용된 이미지를 통해 상기 이미지가 먼 거리에 위치한 것으로 인식할 수 있다.
본 발명의 일 실시 예에서 HMD 장치 100은 전체 영역 대비 표시부 140에 표시되는 디스플레이 영역의 비율을 분석하는 동작을 더 수행할 수 있다. HMD 장치 100은 상기 전체 이미지 대비 상기 확대 배율이 적용된 이미지가 표시된 비율이 기 설정된 임계값을 초과하는 경우, 상기 이미지의 상태를 축소되어 표시된 상태로 결정할 수 있다. 또는, 상기 HMD 장치 100은 상기 전체 이미지 대비 상기 확대 배율이 적용된 이미지가 표시된 비율이 기 설정된 임계값을 초과하지 않는 경우, 상기 이미지의 상태를 확대되어 표시된 상태로 결정할 수 있다.
HMD 장치 100은 306동작에서 이미지의 표시 상태를 확인할 수 있다. 예를 들면, HMD 장치 100은 상기 이미지가 확대 상태 또는 축소 상태인지 여부를 확인할 수 있다. 또한, HMD 장치 100은 상기 확대 상태의 배율 정보 또는 상기 축소 상태의 배율 정보를 확인할 수 있다. 또한, HMD 장치 100은 상기 이미지의 표시 상태가 기 설정된 설정값 이하인지 확인할 수 있다. 본 발명의 실시 예에서 상기 기 설정된 설정값은, 표시 영역 변화량을 조정하는 동작 수행 여부를 결정하기 위한 용어로 정의될 수 있다. 예를 들면, HMD 장치 100은 상기 이미지의 표시 상태가 기 설정된 설정값 이하인 경우 후술하는 표시 영역 변화량을 조정하는 동작을 수행하지 않을 수 있다. 상기 기 설정된 설정값에 따라 표시 영역 변화량을 조정하는 동작 수행 여부는 아래에서 상세히 설명하도록 한다.
HMD 장치 100은 307동작에서 센서부 150을 통해 상기 HMD 장치 100의 움직임을 감지할 수 있다. 구체적으로, HMD 장치 100은 가속도 센서, 자이로 센서, 지자계 센서 중 적어도 하나 이상을 이용하여 상하 좌우 방향 중 적어도 하나의 방향으로 HMD 장치 100의 움직임을 감지할 수 있다. 상기 HMD 장치 100의 움직임이 감지되면, HMD 장치 100은 309동작에서 상기 움직임에 따른 이동 변화량을 산출할 수 있다. 다시 말해, HMD 장치 100은 초기 설정 상태의 디스플레이 영역에서 x축 및/또는 y축 방향으로 얼만큼 이동하였는지 산출할 수 있다.
HMD 장치 100은 311동작에서 상기 표시 상태 및 상기 이동 변화량을 기반으로 표시 영역 변화량을 조정할 수 있다. 상기 표시 영역 변화량은 이미지가 확대된 상태에서 움직임을 감지하는 경우, 사용자가 조금 움직여도 이미지의 변화량이 클 수 있다. 이에 본 발명의 실시 예에서는 사용자의 움직임으로 실제 이동된 이미지의 변화량보다 적게 이동된 이미지를 표시할 수 있도록 제공할 수 있다. HMD 장치 100은 313동작에서 상기 표시 영역 변화량에 따라 표시 영역이 조정된 이미지를 표시할 수 있다.
본 발명의 실시 예에서 상기 표시 영역 변화량을 조정하는 경우, 상기 표시 영역 변화량은 다음과 같은 수학식1에 의해 다양하게 조정될 수 있다.
Figure 112014112522901-pat00001
(
Figure 112014112522901-pat00002
: 표시 영역 변화량,
Figure 112014112522901-pat00003
: 이동 변화량,
Figure 112014112522901-pat00004
: 상수)
본 발명의 실시 예에서 상기 β는 확대 배율이 될 수 있다. 상기 표시 영역 변화량은 기 설정된 상기 수학식1에 의해 자동으로 조정되는 것으로 가정하여 설명하지만, 이에 한정하는 것은 아니며, HMD 장치 100은 표시 영역 변화량 조정을 위한 팝업창을 표시할 수 있다. 예를 들면, HMD 장치 100은 사용자가 표시 영역 변화량을 조정할 수 있도록 표시 영역 변화량 설정창을 표시할 수 있다.
본 발명의 실시 예에서 상기 303동작인 표시 상태 변경 이벤트를 감지하고, 305동작인 상기 표시 상태 변경 이벤트에 따른 이미지를 표시하는 것으로 가정하여 설명하지만, 이에 한정하는 것은 아니며, 상기 303동작 및 305동작은 생략될 수 있다. 예를 들면, HMD 장치 100은 상기 301동작에서 이미지를 표시하고, 306동작에서 상기 이미지의 표시 상태를 확인하는 동작을 수행할 수 있다. 다시 말해, HMD 장치 100은 상기 301동작에서 표시되는 이미지에 기초하여 상기 이미지의 표시 상태를 확인할 수 있다.
또한, 본 발명의 실시 예에서 표시 영역 변화량을 조정하는 동작은 이미지의 표시 상태가 확대 또는 축소 배율이 적용된 경우 수행될 수 있다. 상기 이미지의 표시 상태가 확대 또는 축소 배율이 적용되지 않은 경우, 표시 영역 변화량을 조정하는 동작은 수행되지 않을 수 있다. 또는, 상기 이미지의 표시 상태가 기 설정된 설정값 이하인 경우 표시 영역 변화량을 조정하는 동작은 수행되지 않을 수 있다. 예컨대, 상기 기 설정된 설정값을 1.5배로 가정하면, 이미지의 표시 상태가 1.5배 이하인 경우, HMD 장치 100은 상기 표시 영역 변화량을 조정하는 동작을 수행하지 않고, 설정된 표시 영역 변화량에 따라 비례하게 표시할 수 있다. 반면, 이미지의 확대 상태가 1.5배를 초과하는 경우, HMD 장치 100은 표시 영역 변화량을 조정하는 동작을 수행할 수 있다. 이 경우, 움직임에 따른 이동 변화량이 적용된 이미지를 표시할 수 있다. 다시 말해, HMD 장치 100은 초기 설정 상태(예컨대, 확대 또는 축소 배율이 적용되지 않은 이미지), 표시 상태가 기 설정된 설정값 이하일 경우, 이동 변화량에 따라 표시 영역이 이동된 이미지를 표시할 수 있다.
도 4는 본 발명의 실시 예에 따른 확대 입력 요청 및 움직임에 따른 이미지 표시 제어 방법을 도시하는 흐름도이다. 도 5a 내지 도 9d는 본 발명의 실시 예에 따른 확대 입력 요청 및 움직임에 따른 이미지 표시 제어 방법을 설명하기 위한 도면이다.
도 4 및 도 5a 내지 도 9d를 참조하면, HMD 장치 100은 401동작에서 이미지를 표시할 수 있다. 여기서 상기 이미지는 이전의 설정 상태를 유지하는 상태(예컨대, 확대 또는 축소 배율이 적용된 상태) 또는, 확대 또는 축소 배율이 적용되지 않은 초기 설정 상태일 수 있다. HMD 장치 100은 403동작에서 입력부 120을 통해 확대 요청 입력을 감지할 수 있다. 예컨대, HMD 장치 100은 버튼 입력, 음성 입력, 모션 입력 등을 통해 확대 요청 입력을 감지할 수 있다. 확대 요청 입력이 감지되면, 상기 확대 요청 입력에 응답하여 HMD 장치 100은 405동작에서 확대 배율이 적용된 이미지를 표시할 수 있다. 예컨대, 사용자는 표시된 이미지를 상세히 보기 위해 확대 입력을 요청할 수 있다. 이때 HMD 장치 100은 상기 확대 요청 입력에 응답하여 상기 이미지의 해상도 변화 상태를 검출하는 동작을 수행할 수 있다. HMD 장치 100은 상기 해상도 변화 상태를 검출하여 그에 따른 확대 배율을 적용하여 표시할 수 있다.
HMD 장치 100은 하기 표1과 같이 확대 배율에 따라 일부 영역이 확대된 디스플레이 영역을 표시할 수 있다.
동작(디스플레이 영역) 확대 배율 (α<β)
동작1(Display portion A) 초기 설정
동작2(Display portion B) ×α
동작3(Display portion C) ×β
본 발명의 실시 예에서 상기 표1과 같이 확대 동작1, 확대 동작2, 확대 동작 3이 수행될 수 있다. 상기 확대 동작1은 초기 설정 상태로 디스플레이 영역 A를 표시할 수 있다. 상기 확대 동작 2는 확대 배율 ×α가 적용된 상태로 디스플레이 영역 B를 표시할 수 있다. 상기 확대 동작 3은 확대 배율 ×β가 적용된 상태로 디스플레이 영역 C를 표시할 수 있다. 상기 확대 동작 수는 이미지 데이터의 해상도 또는 사용자의 모드 설정에 따라 변경될 수 있다.
도 5a 내지 도 5d에 도시된 바와 같이 HMD 장치 100은 401동작에서 도 5a의 511에 대응하는 초기 설정 상태의 디스플레이 영역 A를 도 5b의 511a와 같이 표시할 수 있다. HMD 장치 100은 403동작에서 도 5a의 513와 같이 확대 배율 ×α만큼 확대 요청 입력을 감지하면, 도 5c의 513a와 같이 확대 배율 ×α가 적용된 디스플레이 영역 B를 표시할 수 있다. 또는 HMD 장치 100은 403동작에서 도 5a의 515와 같이 확대 배율 ×β만큼 확대 요청 입력을 감지하면, 도 5d의 515a와 같이 확대 배율 ×β가 적용된 디스플레이 영역 C를 표시할 수 있다.
HMD 장치 100은 406동작에서 이미지의 표시 상태를 확인할 수 있다. 예를 들면, HMD 장치 100은 상기 이미지가 확대 상태 또는 축소 상태인지 여부를 확인할 수 있다. 또한 HMD 장치 100은 상기 확대 상태의 배율 정보 또는 상기 축소 상태의 배율 정보를 확인할 수 있다. 또한, HMD 장치 100은 상기 이미지의 표시 상태가 기 설정된 설정값 이하인지 확인할 수 있다.
HMD 장치 100은 407동작에서 상기 HMD 장치 100의 움직임을 감지할 수 있다. 즉, HMD 장치 100은 상하 좌우 방향 중 적어도 하나의 방향으로 움직임을 감지할 수 있다. 상기 HMD 장치 100의 움직임이 감지되면, HMD 장치 100은 409동작에서 상기 HMD 장치 100의 움직임에 따른 이동 변화량을 산출할 수 있다. 다시 말해, HMD 장치 100은 x축 및/또는 y축으로 얼마만큼 이동하였는지 산출할 수 있다.
예를 들면, HMD 장치 100은 동작 1을 수행할 수 있다. 상기 동작1은 초기 설정 상태로, 확대 또는 축소 입력 요청은 감지되지 않고, 움직임만을 감지한 상태일 수 있다. 상기 움직임만을 감지한 경우, 도 6a 내지 도 6d를 참조하여 설명하기로 한다.
도 6a에 도시된 바와 같이, HMD 장치 100은 초기 설정 상태 601에서 x축 반대 방향으로 θ1만큼 이동 603, 또는 x축 방향으로 θ2만큼 이동 605를 감지할 수 있다. HMD 장치 100은 초기 설정 상태 601을 도 6b의 601a와 같이 디스플레이 영역 동작1로 설정할 수 있다. 또한, HMD 장치 100은 x축 방향으로 θ2만큼 이동을 감지하였을 경우, 그에 상응하는 디스플레이 영역 동작1 θ2 605a를 표시할 수 있다.
상기 초기 설정 상태의 디스플레이 영역 동작1 601a는 도 6c, 상기 디스플레이 영역 동작1 θ2 605a는 도 6d를 참조하여 설명한다. 도 6c에 도시된 바와 같이 초기 설정 상태의 동작1의 디스플레이 영역 601a는 오른쪽에서 왼쪽 하단으로 빗금친 원 607, 회색 원 609, 왼쪽에서 오른쪽 하단으로 빗금친 원 611을 포함할 수 있다. 그리고 상기 회색 원 609가 중심 영역 613에 위치한 상태일 수 있다. HMD 장치 100은 동작1의 디스플레이 영역 601a를 표시한 상태에서 x축 방향으로 θ2만큼 이동을 감지하면, 도 6d의 605a와 같이 왼쪽에서 오른쪽 하단으로 빗금친 원 611으로 중심 영역 613a가 이동될 수 있다. 상기 동작1에서 표시되는 이미지는 확대되지 않은 초기 설정 상태로 작게 표시될 수 있다. 이 때문에 상기 HMD 장치 100의 이동을 감지하더라도 표시되는 이미지의 변화량이 적을 수 있다. 이미지의 변화량이 적기 때문에 HMD 장치 100은 표시 영역 변화량을 조정하는 동작을 수행하지 않을 수 있다.
또한, 동작 1의 디스플레이 영역 601a와 동작1의 디스플레이 영역 θ2 605a는 많은 부분을 공유한 상태일 수 있다. 다시 말해, 601a및 605a는 오른쪽에서 왼쪽 하단으로 빗금친 원 607의 일부, 회색 원 609, 왼쪽에서 오른쪽 하단으로 빗금친 원 611을 공유한 상태일 수 있다. 이로써, 601a 및 605a와 같이 표시부 140에 겹쳐지는 영역이 존재하므로, 연속적이거나 방향성을 가지는 이미지임을 확인할 수 있다.
본 발명의 다른 실시 예에서 HMD 장치 100의 초기 설정 상태에서 동작2를 수행할 수 있다. 상기 동작2는 확대 배율 ×α가 적용된 상태일 수 있다. 상기 확대 배율 ×α 가 적용된 상태에서 이동을 감지하는 경우, 도 7a 내지 도 7d를 참조하여 설명하기로 한다.
HMD 장치 100은 도 7a의 확대 배율 ×α가 적용된 상태 701에서 x축 반대 방향으로 θ1만큼 이동 703, x축 방향으로 θ2만큼 이동 705를 감지할 수 있다. HMD 장치 100은 동작2의 초기 설정 상태 701을 도 7b의 701a와 같이 동작2의 디스플레이 영역으로 설정할 수 있다. 여기서 상기 동작2의 초기 설정 상태는 움직임이 감지되지 않은 확대 배율 ×α가 적용된 상태일 수 있다. x축 방향으로 θ2만큼 이동을 감지한 경우, HMD 장치 100은 그에 상응하는 동작2의 디스플레이 영역 θ2 705a를 표시할 수 있다. HMD 장치 100은 동작1과 동일하게 같은 방향과 속도로, θ2만큼 이동한 움직임을 검출할 수 있다. 다시 말해, HMD 장치 100은 도 7b에 도시된 바와 같이 확대 배율 ×α만이 적용된 이미지 701a를 표시한 상태에서 x축 방향으로 θ2만큼 이동을 감지하면, θ2만큼 이동한 동작 2의 디스플레이 영역 θ2 705a를 표시할 수 있다.
상기 동작 2의 디스플레이 영역 701a는 도 7c, 상기 동작 2의 디스플레이 영역 θ2 705a는 도 7d를 참조하여 설명한다. 도 7c는 오른쪽에서 왼쪽하단으로 빗금친 원 707의 일부, 회색 원 709, 왼쪽에서 오른쪽 하단으로 빗금친 원 711의 일부를 표시한 상태로, 사용자 시점의 중심은 713과 같이 회색 원 709에 위치할 수 있다. 상기 x축 방향으로 θ2만큼 이동을 감지함에 따라 사용자 시점은 상기 회색 원 709의 중심 713에서 도 7d의 713a와 같이 왼쪽에서 오른쪽 하단으로 빗금친 원 711의 중심 713a로 이동할 수 있다. 도 7c의 동작2의 디스플레이 영역 701a와 도 7d의 동작2의 디스플레이 영역 θ2 705a의 공유된 정도가 동작1에 비해 낮을 수 있다. 다시 말해, 동작2의 디스플레이 영역 701a와 동작2의 디스플레이 영역 θ2 영역 705a가 동작1보다 적은 부분을 공유한 상태일 수 있다. 즉, 동작1은 607의 일부, 609, 611을 공유한 상태이지만, 동작2는 709의 일부, 711만을 공유한 상태일 수 있다.
상기 동작2 즉, 확대 배율 ×α 가 적용되어 표시되는 이미지는 동작1 상태 대비 클 수 있다. 이에 따라, 표시되는 이미지의 변화량이 커지게 되어, 사용자는 이미지의 출력되는 변화량을 동작1 대비 빠르게 인식할 수 있다. 다시 말해, 확대 배율이 적용된 동작2는 확대 배율이 적용되지 않은 동작1보다 이미지가 크게 표시될 수 있으며, 그에 따라 이동되는 이미지의 변화량 또한 클 수 있다.
본 발명의 다른 실시 예에서 HMD 장치 100은 초기 설정 상태에서 디스플레이 영역 동작3을 수행할 수 있다. 상기 동작3은 확대 배율 ×β가 적용된 상태로 가정하여 설명한다. 상기 확대 배율 ×β가 적용된 상태에서 이동을 감지하는 경우, 도 8a 내지 도 8d를 참조하여 설명한다.
HMD 장치 100은 확대 배율 ×β가 적용된 상태 801에서 x축 반대 방향으로 θ1만큼 이동 803, 또는 x축 방향으로 θ2만큼 이동 805을 감지할 수 있다. HMD 장치 100은 동작3의 초기 설정 상태 801을 도 8b의 801a와 같이 동작 3의 디스플레이 영역으로 설정할 수 있다. 여기서 상기 동작3의 초기 설정 상태는 움직임이 감지되지 않은 확대 배율 ×β가 적용된 상태일 수 있다. 상기 HMD 장치 100은 θ2만큼 이동을 감지한 경우, 그에 상응하는 동작3의 디스플레이 영역 θ2를 표시할 수 있다. HMD 장치 100은 동작1 상태와 동일하게 같은 방향과 속도로, θ2만큼 이동한 움직임을 검출할 수 있다. 다시 말해, HMD 장치 100은 도 8b에 도시된 바와 같이 확대 배율 ×β만이 적용된 동작 3의 디스플레이 영역 801a를 표시한 상태에서 x축 방향으로 θ2만큼 이동을 감지하면, θ2만큼 이동한 동작3의 디스플레이 영역 θ2 805a를 표시할 수 있다.
상기 동작3의 디스플레이 영역 801a는 도 8c, 상기 동작3의 디스플레이 영역 θ2 805a는 도 8d를 참조하여 설정한다. 상기 x축 방향으로 θ2만큼 이동한 움직임은 사용자 시점이 도 8c의 회색 원809의 중심 813에서 도 8d의 왼쪽에서 오른쪽 하단으로 빗금친 원811의 중심 813a로의 이동을 의미할 수 있다. 상기 동작3에서 표시되는 이미지는 동작1, 2 대비 크게 표시될 수 있다.
상기 동작3의 경우 디스플레이되는 이미지의 변화량이 커지게 되어, 사용자는 이미지의 출력되는 변화량을 동작1, 2 대비 빠르게 인식할 수 있다. 다시 말해, 상기 HMD 장치 100의 동작3 상태에서 표시되는 이미지는 확대 배율 ×β가 적용된 상태로, 초기 설정 상태의 이미지와 확대 배율 ×α가 적용된 이미지에 비해 변화량이 클 수 있다. 이로써 동작3의 디스플레이 영역 801a와 동작3의 디스플레이 영역 θ2 805a의 공유 정도가 동작1 및 동작2에 비해 낮은 것을 확인할 수 있다. 즉, 동작1 및 동작2는 일부 원을 공유한 상태일 수 있지만, 동작 3은 도 8c 및 도 8d와 같이 공유하는 원이 존재하지 않을 수 있다.
도 4의 설명으로 복귀하여, HMD 장치 100은 411동작에서 상기 이미지의 표시 상태 즉, 확대 배율 및 이동 변화량을 기반으로 표시 영역 변화량을 조정할 수 있다. HMD 장치 100은 413동작에서 상기 화면 영역 변화량에 따라 표시 영역이 조정된 이미지를 표시할 수 있다.
예를 들면, 도 9a에 도시된 바와 같이 HMD 장치 100은 동작3 이 수행된 상태로 801a와 같이 확대 배율 ×β 가 적용된 이미지를 표시할 수 있다. 상기 HMD 장치 100은 x축 방향으로 θ2만큼 이동을 감지할 수 있다. HMD 장치 100은 상기 움직임에 상응하는 만큼 이동하여 동작3의 디스플레이 영역 θ2 805a를 표시부 140에 표시할 수 있다. 이와 같은 상태를 동작 A라고 가정하여 설명한다. 상기 동작 A의 경우 디스플레이되는 이미지의 변화량이 크기 때문에 상기 이미지의 연속성을 파악하기 힘들다. 이에 따라 HMD 장치 100은 θ2만큼 이동을 감지하면, 상기 θ2보다 적게 이동한 디스플레이 영역을 표시하도록 표시 영역 변화량을 조정할 수 있다.
본 발명의 실시 예에서 9b에 도시된 바와 같이 HMD 장치 100은 움직임을 감지하고, 상기 감지된 θ2값보다 적은 변화량으로 표시 영역 변화량을 조정하여 표시할 수 있다. HMD 장치 100은 상기 움직임을 감지하여 θ2만큼 사용자 시점이 변경된 경우, 이에 상응하는 표시 영역 변화량을 θ3으로 설정할 수 있다. 이와 같은 상태를 동작 B라고 가정하여 설명한다. 여기서 상기 θ3은 θ2보다 작은 값을 가질 수 있다. 상기 동작 B 상태(도 9b)에서 동작3의 확대 배율 ×β가 적용된 경우, 하기 수학식2에 따라 θ3 값을 결정할 수 있다.
Figure 112014112522901-pat00005
(
Figure 112014112522901-pat00006
: 표시 영역 변화량,
Figure 112014112522901-pat00007
: 이동 변화량,
Figure 112014112522901-pat00008
: 확대 배율)
하지만 이에 한정하는 것은 아니며, 상기 θ3을 결정하는 수학식은 다양할 수 있다.
하기 표2는 확대 배율 및 이동 변화량을 기반으로 한 표시 영역 변화량을 나타낸 것이다.
동작 확대 배율 (α<β) 이동 변화량 표시 영역 변화량
동작1 초기 설정 θ2 θ3=θ2
동작2 ×α θ2 θ3=θ2/α
동작3 ×β θ2 θ3=θ2/β
상기 표2와 같이 확대 배율 및 이동 변화량을 기반으로 표시 영역 변화량을 조정하여 이동 변화량보다 적게 이동한 디스플레이 영역을 표시할 수 있다.
본 발명의 실시 예에서 상기 403동작인 확대 요청 입력을 감지하고, 405동작인 확대 배율이 적용된 이미지를 표시하는 것으로 가정하여 설명하지만, 이에 한정하는 것은 아니며, 상기 403동작 및 405동작은 생략될 수 있다. 예를 들면, HMD 장치 100은 상기 401동작에서 이미지를 표시하고 406동작에서 상기 이미지의 표시 상태를 확인하는 동작을 수행할 수 있다. 다시 말해, HMD 장치 100은 상기 301동작에서 표시되는 이미지에 기초하여 상기 이미지의 표시 상태를 확인할 수 있다.
도 9c 및 도 9d에 도시된 바와 같이 HMD 장치 100은 θ2만큼 이동하여 동작3의 디스플레이 영역 θ2 805a를 표시하는 대신, 상기 표2에 의해 θ3값을 조정함으로써 도 9d의 805b와 같이 동작3의 디스플레이 영역 θ3를 디스플레이 영역을 표시할 수 있다. 다시 말해, HMD 장치 100은 θ3값을 조정함으로써, 회색 원 809를 공유한 상태로 표시할 수 있다. 한 실시 예에 따르면, HMD 장치 100은 θ3값을 조정함으로써, 이미지의 일부를 공유할 수 있으며, 상기 공유한 상태를 확대 상태에서도 적절하게 유지할 수 있다. 예컨대, HMD 장치 100은 초기 상태 또는 이전 설정 상태에서 이미지 일부를 공유한 정도의 비율과 근접하게 확대 상태에서도 적절하게 유지할 수 있다. 이로써 사용자는 어지러움증이 발생하지 않고, 이미지를 볼 수 있다.
도 10은 본 발명의 실시 예에 따른 축소 입력 요청 및 움직임에 따른 이미지 표시 제어 방법을 도시하는 흐름도이다. 도 11a 및 도 11b는 본 발명의 실시 예에 따른 축소 입력 요청 및 움직임에 따른 이미지 표시 제어 방법을 설명하기 위한 도면이다.
본 발명의 일 실시 예에서 축소 배율이 적용된 이미지에서 움직임이 감지되는 경우, HMD 장치 100은 표시 영역 변화량 조정 여부를 확인할 수 있다. 상기 축소 배율이 적용된 이미지가 확대 상태인 경우 움직임이 감지되면, HMD 장치 100은 해당 표시 영역 변화량 조정에 따른 이미지를 표시할 수 있다. 상기 축소 배율이 적용된 이미지가 확대 상태가 아닌 경우 또는 이미지의 표시 상태가 기 설정된 설정값 이하인 경우 움직임이 감지되면, HMD 장치 100은 초기 설정 상태를 적용할 수 있다. 상기 초기 설정 상태는 센서부 150을 통해 감지되는 움직임과 비례하게 변경된 이미지를 표시하는 상태일 수 있다. 다시 말해, 본 발명의 다양한 실시 예에 따르면, 상기 축소 배율이 적용된 이미지가 확대 상태가 아닌 경우 또는 이미지의 표시 상태가 기 설정된 설정값 이하인 경우, HMD 장치 100의 이동 변화량에 따라 표시 영역이 변경된 이미지를 표시할 수 있다. 상기 초기 설정 상태를 적용하는 경우 HMD 장치 100은 상기 HMD 장치 100의 사용자 시점 정보에 따라 표시될 디스플레이 영역을 보정하는 동작을 수행할 수 있다.도 10, 도 11a 및 도 11b를 참조하면, HMD 장치 100은 1001동작에서 이미지를 표시할 수 있다. 여기서 상기 이미지는 확대 배율이 적용된 이미지일 수 있다. 예를 들면, 상기 이미지는 도 5c의 513a(즉, 확대 배율 ×α가 적용된 이미지) 또는 도 5d의 515a(즉, 확대 배율 ×β가 적용된 이미지)일 수 있다. HMD 장치 100은 1003동작에서 축소 요청 입력을 감지할 수 있다. 축소 요청 입력이 감지되면, HMD 장치 100은 1005동작에서 축소 배율이 적용된 이미지를 표시할 수 있다. 예를 들면, HMD 장치 100은 확대 배율 ×β가 적용된 이미지에서 축소 요청 입력을 감지하는 경우, 축소 배율 1/β이 적용된 이미지를 표시할 수 있다. 여기서 이미지 표시 상태 배율은 ×β 이하 값으로 설정될 수 있다. 또한, HMD 장치 100은 확대 배율 ×α가 적용된 이미지에서 축소 요청 입력을 감지하는 경우, 축소 배율 1/α이 적용된 이미지를 표시할 수 있다. 여기서 이미지 표시 상태 배율은 ×α 이하 값으로 설정될 수 있다.
HMD 장치 100은 1006동작에서 이미지의 표시 상태를 확인할 수 있다. 예컨대, 상기 이미지의 표시 상태가 ×α가 적용된 경우, 축소 배율에 따라 초기 설정된 이미지를 확인할 수 있다. 후술하는 움직임 및 이동 변화량에 따라 해당 동작을 수행할 수 있다. HMD 장치 100은 1007동작에서 센서부 150을 통해 상기 HMD 장치 100의 움직임을 감지할 수 있다. 상기 HMD 장치 100의 움직임이 감지되면, HMD 장치 100은 1009동작에서 상기 움직임에 따른 이동 변화량을 산출할 수 있다. 그리고 HMD 장치 100은 1011동작에서 상기 이미지의 표시 상태가 확대 배율이 적용된 이미지인지 또는 상기 표시 상태가 기 설정된 설정값 이하인지 여부를 결정할 수 있다. 다시 말해, HMD 장치 100은 상기 1005동작에서 축소 배율이 적용된 이미지가 여전히 확대 배율이 적용된 이미지인지 결정할 수 있다. 확대 배율이 적용된 이미지이면, HMD 장치 100은 상기 확대 배율을 분석하고, 1013동작에서 확대 배율 및 이동 변화량을 기반으로 표시 영역 변화량을 조정할 수 있다. HMD 장치 100은 1015동작에서 상기 표시 영역 변화량에 따라 조정된 이미지를 표시할 수 있다.
구체적으로, 도 11a에 도시된 바와 같이 사용자가 바라보고 있는 사용자 시점 1101에서 θ2만큼 이동을 감지하면, 사용자 시점이 1103으로 변경될 수 있다. 그리고 도 11b에 도시된 바와 같이 확대 배율이 적용된 이미지 1101a를 표시한 상태에서 움직임이 감지되면, HMD 장치 110은 실제 움직임에 따른 시점이 x축 방향으로 θ2만큼 시점이 이동된 상태 1103a를 감지할 수 있다. 이때 HMD 장치 110은 표시부 140에 표시 영역 변화량을 θ3로 조정하여 표시할 수 있다. 상기 HMD 장치 100은 확대 배율이 적용되고, θ3만큼 시점이 이동된 상태에서 축소 요청 입력을 감지하는 경우, 실제 HMD 장치 100가 변경된 θ2값을 기준으로 디스플레이 영역 1103a를 초기 설정 화면으로 적용할 수 있다. 즉, 표시되는 시점 정보(즉, θ3만큼 이동)보다 실제 움직임에 따른 시점 1103a를 기준으로 초기 설정 화면을 적용할 수 있다. 이는 HMD 장치 100의 움직임에서 산출되는 실제 바라보는 시점과 표시되는 이미지의 시점이 틀어질 수 있기 때문이다.
이미지의 표시 상태가 기 설정된 설정값 이하이면, 초기 설정 상태(즉, 확대 또는 축소 배율이 적용되지 않은 이미지)로 결정하고, HMD 장치 100은1017동작에서 상기 1009동작에서 산출한 이동 변화량에 따라 표시 영역이 이동된 이미지를 표시할 수 있다.
이상에서는 본 발명의 실시 예에 따른 이미지 표시 제어 방법 및 이를 지원하는 장치에 대하여 본 명세서 및 도면을 통해 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시 예가 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
110: 통신부
120: 입력부
130: 저장부
140: 표시부
150: 센서부
160: 제어부

Claims (22)

  1. 전자 장치의 이미지 표시 제어 방법에 있어서,
    이미지를 표시하는 동작;
    상기 이미지의 표시 상태를 확인하는 동작;
    상기 전자 장치의 움직임을 감지하는 동작;
    상기 전자 장치의 움직임이 감지되면, 상기 움직임에 따른 이동 변화량을 산출하는 동작;
    상기 표시 상태 및 상기 이동 변화량을 기반으로 표시 영역 변화량을 조정하는 동작; 및
    상기 표시 영역 변화량에 따라 표시 영역이 변경된 이미지를 표시하는 동작을 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 표시 영역 변화량은, 상기 이동 변화량 이하의 값이며, 상기 표시 영역이 변경된 이미지를 표시하는 동작은, 상기 이동 변화량과 같거나 또는 작게 이동한 이미지를 표시하는 동작인 방법.
  3. 제 1 항에 있어서,
    상기 표시 영역이 변경된 이미지는, 상기 표시 영역이 변경되기 전 이미지의 적어도 일부를 공유하는 방법.
  4. 제 1 항에 있어서,
    상기 이미지의 표시 상태를 확인하는 동작은,
    표시 상태 변경 이벤트를 감지하는 동작; 및
    상기 표시 상태 변경 이벤트에 응답하여 상기 표시 상태가 변경된 이미지를 표시하는 동작을 포함하는 방법.
  5. 제 4 항에 있어서,
    상기 표시 상태 변경 이벤트는, 상기 이미지의 확대를 요청하는 입력 또는 상기 이미지의 축소를 요청하는 입력 중 적어도 하나를 포함하는 방법.
  6. 제 5 항에 있어서,
    상기 이미지의 표시 상태를 확인하는 동작은,
    상기 이미지의 표시 상태가 기 설정된 설정값 이하일 경우, 상기 이동 변화량에 따라 표시 영역이 변경된 이미지를 표시하는 방법.
  7. 제 6 항에 있어서,
    상기 표시 영역 변화량은, 상기 이미지의 표시 상태에 따라 다르게 조정되는 방법.
  8. 제 5 항에 있어서,
    상기 표시 상태 변경 이벤트가 상기 이미지의 축소를 요청하는 입력이면,
    상기 표시 영역 변화량을 조정하는 동작은,
    상기 이미지의 표시 상태가 확대 배율이 적용된 상태인지 여부를 결정하는 동작; 및
    상기 이미지의 표시 상태가 확대 배율이 적용된 상태이면, 상기 확대 배율 및 이동 변화량에 따른 표시 영역 변화량을 변경하는 동작을 포함하는 방법.
  9. 제 8 항에 있어서,
    상기 이미지의 표시 상태가 기 설정된 설정값 이하이면,
    상기 확대 배율에 대응되는 이동 변화량에 따라 표시 영역이 변경된 이미지를 표시하는 동작을 더 포함하는 방법.
  10. 제 1 항에 있어서,
    상기 이미지는, 초기 설정 상태 또는 이전의 설정 상태를 유지하는 상태 중 적어도 하나의 상태인 방법.
  11. 제 1 항에 있어서,
    상기 전자 장치가 헤드 마운트형 디스플레이(HMD) 장치인 경우, 상기 헤드 마운트형 디스플레이 장치의 착용 유무를 판단하는 동작;
    상하좌우 방향 중 적어도 하나의 방향으로의 사용자 머리 움직임을 감지하는 동작; 및
    상기 사용자 머리 움직임에 따라 이동 변화량을 산출하는 동작을 포함하는 방법.
  12. 전자 장치에 있어서,
    이미지를 표시하는 표시부;
    상기 전자 장치의 움직임을 감지하는 센서부; 및
    상기 표시된 이미지의 표시 상태를 확인하고, 상기 전자 장치의 움직임을 감지하면, 상기 움직임에 따른 이동 변화량을 산출하고, 상기 표시 상태 및 상기 이동 변화량을 기반으로 표시 영역 변화량을 조정하고, 상기 표시 영역 변화량에 따라 표시 영역이 변경된 이미지를 표시하도록 상기 표시부를 제어하는 제어부를 포함하는 전자 장치.
  13. 제 12 항에 있어서,
    상기 제어부는,
    상기 표시 영역 변화량이 상기 산출된 이동 변화량 이하의 값이면, 상기 이동 변화량과 같거나 또는 작게 이동한 표시 영역이 변경된 이미지를 표시하도록 상기 표시부를 제어하는 전자 장치.
  14. 제 12 항에 있어서,
    상기 표시 영역이 변경된 이미지는 상기 표시 영역이 변경되기 전 이미지의 적어도 일부를 공유하는 전자 장치.
  15. 제 12 항에 있어서,
    상기 제어부는,
    상기 이미지가 표시된 상태에서 표시 상태 변경 이벤트를 감지하면, 상기 표시 상태 변경 이벤트에 응답하여 상기 표시 상태가 변경된 이미지를 표시하고, 상기 이미지의 표시 상태를 확인하는 전자 장치.
  16. 제 15 항에 있어서,
    상기 이미지의 확대를 요청하는 입력 또는 상기 이미지의 축소를 요청하는 입력 중 적어도 하나를 포함하는 표시 상태 변경 이벤트를 감지하는 입력부를 더 포함하는 전자 장치.
  17. 제 16 항에 있어서,
    상기 제어부는,
    상기 이미지의 표시 상태가 기 설정된 설정값 이하이면, 상기 이동 변화량에 따라 표시 영역이 변경된 이미지를 표시하도록 상기 표시부를 제어하는 전자 장치.
  18. 제 17 항에 있어서,
    상기 제어부는,
    상기 이미지의 표시 상태에 따라 상기 표시 영역 변화량을 다르게 조정하는 전자 장치.
  19. 제 16 항에 있어서,
    상기 제어부는,
    상기 이미지의 축소를 요청하는 입력을 감지하면, 상기 이미지의 표시 상태가 확대 배율이 적용된 상태인지 여부를 결정하고, 상기 이미지의 표시 상태가 확대 배율이 적용된 상태이면, 상기 확대 배율 및 이동 변화량에 따른 표시 영역 변화량을 변경하는 전자 장치.
  20. 제 19 항에 있어서,
    상기 제어부는,
    상기 이미지의 표시 상태가 기 설정된 설정값 이하이면, 상기 확대 배율에 대응되는 이동 변화량에 따라 표시 영역이 변경된 이미지를 표시하도록 상기 표시부를 제어하는 전자 장치.
  21. 제 12 항에 있어서,
    상기 제어부는,
    상기 전자 장치가 헤드 마운트형 디스플레이 장치인 경우, 상기 헤드 마운트형 디스플레이 장치의 착용 유무를 판단하고, 상하좌우 방향 중 적어도 하나의 방향으로의 사용자 머리 움직임을 감지하여 상기 움직임에 따른 이동 변화량을 산출하는 전자 장치.
  22. 전자 장치의 이미지 표시 제어하기 위한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 방법은,
    이미지를 표시하는 동작과 상기 이미지의 표시 상태를 확인하는 동작과 상기 전자 장치의 움직임을 감지하는 동작과 상기 전자 장치의 움직임이 감지되면, 상기 움직임에 따른 이동 변화량을 산출하는 동작과 상기 표시 상태 및 상기 이동 변화량을 기반으로 표시 영역 변화량을 조정하는 동작과 상기 표시 영역 변화량에 따라 표시 영역이 변경된 이미지를 표시하는 동작을 포함하는 컴퓨터 판독 가능한 기록 매체.
KR1020140163389A 2014-11-21 2014-11-21 이미지 표시 제어 방법 및 이를 지원하는 장치 KR102178298B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140163389A KR102178298B1 (ko) 2014-11-21 2014-11-21 이미지 표시 제어 방법 및 이를 지원하는 장치
US14/948,909 US10579137B2 (en) 2014-11-21 2015-11-23 Method for controlling image display and apparatus supporting same
PCT/KR2015/012602 WO2016080818A1 (en) 2014-11-21 2015-11-23 Method for controlling image display and apparatus supporting same
CN201580062916.2A CN107076994B (zh) 2014-11-21 2015-11-23 用于控制图像显示的方法和支持该方法的装置
EP15861327.3A EP3222035B1 (en) 2014-11-21 2015-11-23 Method for controlling image display and apparatus supporting same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140163389A KR102178298B1 (ko) 2014-11-21 2014-11-21 이미지 표시 제어 방법 및 이를 지원하는 장치

Publications (2)

Publication Number Publication Date
KR20160061026A KR20160061026A (ko) 2016-05-31
KR102178298B1 true KR102178298B1 (ko) 2020-11-12

Family

ID=56010151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140163389A KR102178298B1 (ko) 2014-11-21 2014-11-21 이미지 표시 제어 방법 및 이를 지원하는 장치

Country Status (5)

Country Link
US (1) US10579137B2 (ko)
EP (1) EP3222035B1 (ko)
KR (1) KR102178298B1 (ko)
CN (1) CN107076994B (ko)
WO (1) WO2016080818A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102479448B1 (ko) * 2015-11-03 2022-12-21 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10175487B2 (en) * 2016-03-29 2019-01-08 Microsoft Technology Licensing, Llc Peripheral display for head mounted display device
WO2018097632A1 (en) 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Method and device for providing an image
TWI633336B (zh) * 2017-02-24 2018-08-21 宏碁股份有限公司 頭戴式顯示器、其視野校正方法以及混合實境顯示系統
KR102519355B1 (ko) 2018-02-02 2023-04-10 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법
JP7349808B2 (ja) 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140129938A1 (en) 2007-05-04 2014-05-08 Apple Inc. Automatically adjusting media display in a personal display system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0821975A (ja) 1994-07-06 1996-01-23 Olympus Optical Co Ltd 頭部装着型映像表示システム
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
JP3387326B2 (ja) * 1996-08-30 2003-03-17 ミノルタ株式会社 映像観察システム
WO2000017848A1 (en) * 1998-09-22 2000-03-30 Vega Vista, Inc. Intuitive control of portable data displays
US6535182B2 (en) 1998-12-07 2003-03-18 Koninklijke Philips Electronics N.V. Head-mounted projection display system
US20030025651A1 (en) * 2001-08-01 2003-02-06 Susnjara Kenneth J. Virtual reality viewing system and method
US7224326B2 (en) 2004-03-03 2007-05-29 Volo, Llc Virtual reality system
JP2008165063A (ja) 2006-12-28 2008-07-17 Scalar Corp ヘッドマウントディスプレイ
US9110582B2 (en) 2010-11-03 2015-08-18 Samsung Electronics Co., Ltd. Mobile terminal and screen change control method based on input signals for the same
KR20120101878A (ko) 2011-03-07 2012-09-17 한국해양연구원 헤드 마운티드 디스플레이를 활용한 선박운항시뮬레이터용 망원경 장치 및 이를 이용한 선박운항시뮬레이터용 망원경 화면 구현방법
US8866702B1 (en) * 2012-03-13 2014-10-21 Google Inc. Use of optical display system as a visual indicator for a wearable computing device
US9213403B1 (en) * 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140129938A1 (en) 2007-05-04 2014-05-08 Apple Inc. Automatically adjusting media display in a personal display system

Also Published As

Publication number Publication date
EP3222035B1 (en) 2022-01-05
WO2016080818A1 (en) 2016-05-26
KR20160061026A (ko) 2016-05-31
US20160147296A1 (en) 2016-05-26
CN107076994B (zh) 2020-03-24
EP3222035A4 (en) 2017-11-08
CN107076994A (zh) 2017-08-18
EP3222035A1 (en) 2017-09-27
US10579137B2 (en) 2020-03-03

Similar Documents

Publication Publication Date Title
US11497406B2 (en) Apparatus and method for enhancing accuracy of a contactless body temperature measurement
KR102178298B1 (ko) 이미지 표시 제어 방법 및 이를 지원하는 장치
US10226184B2 (en) Apparatus and method for enhancing accuracy of a contactless body temperature measurement
US11263469B2 (en) Electronic device for processing image and method for controlling the same
KR102442098B1 (ko) 벤디드 디스플레이를 포함하는 전자 장치 및 그것을 통한 이미지 표시 방법
US10168772B2 (en) Head mounted electronic device
KR102303115B1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
US10365882B2 (en) Data processing method and electronic device thereof
US10401955B2 (en) Method for displaying an image and an electronic device thereof
US8179604B1 (en) Wearable marker for passive interaction
KR102294945B1 (ko) 기능 제어 방법 및 그 전자 장치
KR102271833B1 (ko) 전자 장치, 그 제어 방법 및 기록 매체
US10319086B2 (en) Method for processing image and electronic device supporting the same
KR20160026584A (ko) 착용 가능한 전자 장치
US11006048B2 (en) Method and apparatus for acquiring omnidirectional video
KR20180005055A (ko) 전자 장치의 화면 표시 방법 및 그 장치
KR20180109217A (ko) 얼굴 영상 보정 방법 및 이를 구현한 전자 장치
KR102355759B1 (ko) 사용자의 위치를 결정하는 전자 장치 및 그 제어 방법
ES2779315T3 (es) Procedimiento de procesamiento de imágenes y dispositivo electrónico que implementa el mismo
KR20150099672A (ko) 전자 장치 및 그것의 디스플레이 제어 방법
US20210072541A1 (en) Electronic device and method for controlling electronic device
US20150205372A1 (en) Method and apparatus for providing input interface for mobile terminal

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right