KR101653591B1 - 헤드 마운트 디스플레이 장치 및 그 동작 방법 - Google Patents

헤드 마운트 디스플레이 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR101653591B1
KR101653591B1 KR1020150017201A KR20150017201A KR101653591B1 KR 101653591 B1 KR101653591 B1 KR 101653591B1 KR 1020150017201 A KR1020150017201 A KR 1020150017201A KR 20150017201 A KR20150017201 A KR 20150017201A KR 101653591 B1 KR101653591 B1 KR 101653591B1
Authority
KR
South Korea
Prior art keywords
information
user
image
display device
movement
Prior art date
Application number
KR1020150017201A
Other languages
English (en)
Other versions
KR20160096246A (ko
Inventor
이강만
김한준
황은지
양경민
양지영
Original Assignee
강릉원주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강릉원주대학교산학협력단 filed Critical 강릉원주대학교산학협력단
Priority to KR1020150017201A priority Critical patent/KR101653591B1/ko
Publication of KR20160096246A publication Critical patent/KR20160096246A/ko
Application granted granted Critical
Publication of KR101653591B1 publication Critical patent/KR101653591B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

헤드 마운트 디스플레이 장치 및 그 동작 방법을 개시한다.
본 실시예는 퍼스널 뷰어인 헤드 마운트 디스플레이 장치에서 복수의 영상 정보(애플리케이션 구동 영상, 촬영 영상 정보)를 포함하는 분할 영상 정보가 디스플레이되도록 하고, 마우스 등의 별도의 입력 장치없이 사용자의 움직임(시선)을 감지하여 사용자의 움직임에 대응되는 영상 정보로 전환되도록 제어하는 헤드 마운트 디스플레이 장치 및 그 동작 방법을 제공한다.

Description

헤드 마운트 디스플레이 장치 및 그 동작 방법{Head Mount Display Apparatus And Method For Operating the Same}
본 실시예는 헤드 마운트 디스플레이 장치 및 그 동작 방법에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
현대사회에서는 컴퓨터를 이용해 다양한 작업을 수행할 수 있다. 컴퓨터로 수행할 수 있는 작업의 종류는 점점 다양해지고 있다. 많은 현대인이 컴퓨터를 이용하여 작업을 수행하는 만큼, 하루 일과 중 컴퓨터를 사용하는 시간이 차지하는 비율은 매우 크다. 현대인들은 컴퓨터를 이용한 다양한 작업을 수행함에 따라 필요한 프로그램의 개수 역시 증가하고 있는 추세이다.
따라서, 컴퓨터 사용량의 증가에 따라 사용자 자신이 사용하고자 하는 프로그램을 보다 손쉽게 분류할 수 있는 유연한 인터페이스를 제공할 수 있는 기술을 필요로 한다.
본 실시예는 퍼스널 뷰어(Personal Viewer)인 헤드 마운트 디스플레이(HMD: Head Mounted Display) 장치에서 복수의 영상 정보(애플리케이션 구동 영상, 촬영 영상 정보)를 포함하는 분할 영상 정보가 디스플레이되도록 하고, 마우스 등의 별도의 입력 장치없이 사용자의 움직임(시선)을 감지하여 사용자의 움직임에 대응되는 영상 정보로 전환되도록 제어하는 헤드 마운트 디스플레이 장치 및 그 동작 방법을 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 헤드 마운트 디스플레이 장치의 동작 방법에 있어서, 단말기로부터 분할 화면 정보를 수신하여 디스플레이하는 영상 출력 과정; 센서부로부터 수신된 센싱 정보를 기반으로 사용자 움직임을 감지하는 움직임 감지 과정; 상기 사용자 움직임이 감지되는 경우, 상기 분할 화면 정보 상에 상기 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이하는 초점 위치 표시 과정; 구비된 버튼으로부터 체크 명령(한 번 클릭)이 수신되는 경우, 상기 초점에 대응되는 영상 정보를 체크하여 체크 영상 정보를 생성하는 영상 체크 과정; 및 상기 버튼으로부터 락(Lock) 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 상기 사용자 움직임을 미감지하는 락 모드로 동작하며, 현재 출력되는 영상 정보를 상기 체크 영상 정보로 전환하여 출력하는 영상 전환 과정을 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 퍼스널 뷰어인 헤드 마운트 디스플레이 장치에서 복수의 영상 정보(애플리케이션 구동 영상, 촬영 영상 정보)를 포함하는 분할 영상 정보가 디스플레이되도록 하고, 마우스 등의 별도의 입력 장치없이 사용자의 움직임(시선)을 감지하여 사용자의 움직임에 대응되는 영상 정보로 전환되도록 제어하는 효과가 있다.
본 실시예에 의하면, 경량 웨어러블 기기(Wearable Device)를 이용하여 사용자의 움직임에 대응되는 영상 정보를 보다 쉽게 사용자에게 제공할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 헤드 마운트 디스플레이 장치를 이용한 화면 전환 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2a, 2b는 본 실시예에 따른 헤드 마운트 디스플레이 장치의 착용 예시를 나타낸 도면이다.
도 3은 본 실시예에 따른 헤드 마운트 디스플레이 장치를 개략적으로 나타낸 블럭 구성도이다.
도 4는 본 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 설명하기 위한 순서도이다.
도 5a, 5b, 5c는 본 실시예에 따른 분할 화면을 나타낸 도면이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 헤드 마운트 디스플레이 장치를 이용한 화면 전환 시스템을 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 헤드 마운트 디스플레이 장치(110)를 이용한 화면 전환 시스템은 헤드 마운트 디스플레이 장치(110), 단말기(120) 및 영상 획득 장치(130)를 포함한다. 헤드 마운트 디스플레이 장치를 이용한 화면 전환 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
헤드 마운트 디스플레이(HMD: Head Mounted Display) 장치는 머리 부분 탑재형 디스플레이로서, 사용자의 머리 부분에 장착하여 사용자의 눈 앞에 직접 영상이 출력되도록 하는 디스플레이 장치를 의미한다. 헤드 마운트 디스플레이 장치(110)는 근거리 통신을 이용하여 단말기(120)로부터 화면 분할 정보를 수신하여 출력한다. 화면 분할 정보는 복수의 영상 정보를 하나의 파일들을 묶어서 출력하는 정보를 의미한다. 헤드 마운트 디스플레이 장치(110)는 센서부(310)를 구비하여 헤드 마운트 디스플레이 장치(110)를 착용한 사용자가 머리를 움직일 때마다 변화하는 x, y, z 축 값을 인식하며, 인식 결과를 근거리 통신을 이용하여 단말기(120)로 전송한다.
헤드 마운트 디스플레이 장치(110)는 사용자 움직임이 감지된 경우, 사용자 움직임에 대응하는 화면 정보로 화면을 전환하는 한다. 헤드 마운트 디스플레이 장치(110)는 구비된 버튼(220)으로부터 고정 명령이 수신되는 경우, 사용자 움직임을 미감지하며, 사용자가 움직이더라도 현재 출력되고 있는 화면 정보를 다른 화면 정보로 전환하지 않는다.
헤드 마운트 디스플레이 장치(110)는 근거리 통신을 이용하여 단말기(120)로부터 분할 화면 정보를 수신하여 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 구비된 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 사용자 움직임이 감지되는 경우, 분할 화면 정보 상에 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 구비된 버튼(220)으로부터 체크 명령(한 번 클릭)이 수신되는 경우, 초점에 대응되는 영상 정보를 체크하여 체크 영상 정보를 생성한다. 헤드 마운트 디스플레이 장치(110)는 구비된 버튼(220)으로부터 락(Lock) 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 사용자 움직임을 미감지하는 락 모드(Lock Mode)로 동작하며, 현재 출력되는 영상 정보를 체크 영상 정보로 전환하여 출력한다.
이하 도 1에 포함된 구성 요소를 기반으로 헤드 마운트 디스플레이 장치(110)의 동작에 대해 설명한다.
<분할 화면 구성>
단말기(120)는 분할 화면 정보를 생성하여 헤드 마운트 디스플레이 장치(110)로 전송한다. 단말기(120)는 단말기(120)에 탑재된 복수의 애플리케이션 각각이 구동하는 영상 정보를 기반으로 분할 화면 정보를 생성하거나, 외부 영상 획득 장치(130)로부터 수신한 복수의 영상 정보를 기반으로 분할 화면 정보를 생성한다. 예컨대, 단말기(120)는 영상 획득 장치(130)인 복수의 CCTV(Closed-Circuit Television)가 촬영한 영상 정보를 수신하여 분할 화면 정보를 생성한다.
이하, 단말기(120)가 영상 획득 장치(130)로부터 복수의 영상 정보를 수신하여 분할 화면 정보를 생성하는 과정에 대해 설명한다. 단말기(120)는 영상 획득 장치(130)로부터 수신된 복수의 영상 정보를 행 방향으로 M 개를 배열하고, 열 방향으로 N 개를 배열하여 M×N개의 영상 정보를 포함하는 분할 화 정보를 생성한다. 단말기(120)는 M×N 개의 영상 정보를 포함하는 분할 화면 정보를 헤드 마운트 디스플레이 장치(110)로 전송한다. 헤드 마운트 디스플레이 장치(110)는 단말기(120)로부터 분할 화면 정보를 수신하여 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 사용자의 움직임을 감지하고, 감지된 사용자의 움직임에 따라 분할 화면 정보에 포함된 복수의 영상 정보 중 어느 하나가 전체 화면으로 디스플레이되도록 한다.
<화면 전환 조건>
헤드 마운트 디스플레이 장치(110)는 자이로 센서(Gyro Sensor) 및 가속도 센서(Acceleration Sensor) 중 적어도 하나 이상의 센서를 포함하는 센서부(310)를 구비한다. 헤드 마운트 디스플레이 장치(110)는 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자의 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 사용자의 움직임을 기반으로 현재 출력되고 있는 영상 정보에서 다른 영상 정보로 전환한다. 다시 말해, 헤드 마운트 디스플레이 장치(110)는 사용자의 머리 움직임에 따라 변화되는 x축, y축, z축을 기반으로 사용자의 머리 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 사용자의 머리 움직임에 따라 시작 위치 좌표로부터 목적 위치 좌표로의 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 시작 위치 좌표와 목적 위치 좌표 간의 차이(x축, y축, z축)를 산출하여 사용자의 머리 움직임을 산출하고, 사용자의 머리 움직임을 기반으로 현재 출력되고 있는 영상 정보에서 다른 영상 정보로 전환한다.
<실시예>
단말기(120)는 30 × 10 개의 영상 정보를 포함하는 분할 화면 정보를 생성하여 헤드 마운트 디스플레이 장치(110)로 전송한다. 헤드 마운트 디스플레이 장치(110)는 사용자의 머리를 움직이지 않은 경우, 사용자가 분할 화면의 중앙을 응시하는 것으로 인식한다. 다시 말해, 사용자의 머리를 움직이지 않은 경우, 헤드 마운트 디스플레이 장치(110)는 30 × 10 개의 영상 정보를 포함하는 분할 화면 정보에서 현재 위치 좌표가 (15,5) (15,6), (15,7), (15,8)의 중앙 영역인 것으로 인식한다. 이후, 헤드 마운트 디스플레이 장치(110)는 센서부(310)로부터 수신된 센싱 정보에 근거하여 사용자의 움직임(좌 ↔ 우 움직임, 상 ↔ 하 움직임)이 감지되는 경우, 현재 출력되는 영상 정보가 사용자의 움직임(좌 ↔ 우 움직임, 상 ↔ 하 움직임)에 대응하는 영상 정보를 전환하여 출력되도록 한다. 헤드 마운트 디스플레이 장치(110)는 현재 화면으로 분할 화면 정보(30 × 10)를 출력하다가 헤드 마운트 디스플레이 장치(110)를 착용한 사용자가 원하는 방향으로 머리를 움직이다가 자신이 원하는 영상 정보가 존재하는 위치에서 버튼(220)을 조작(클릭)하는 경우, 분할 화면 정보(30 × 10) 중 해당 위치에 존재하는 영상 정보를 전체 화면으로 전환한다.
<위치 고정에서 다른 화면 이동 조건>
헤드 마운트 디스플레이 장치(110)는 사용자의 조작에 의해 버튼(220)이 클릭되는 경우 락(Lock) 또는 언락(Unlock)으로 전환하여 동작한다. 다시 말해, 헤드 마운트 디스플레이 장치(110)는 사용자가 버튼(220)을 클릭(총 1회)하는 경우, 락 상태로 동작하며, 다시 사용자가 버튼(220)을 클릭(총 2회)하는 경우 언락 상태로 동작한다. 헤드 마운트 디스플레이 장치(110)는 락 상태로 동작하는 경우 사용자의 움직임을 감지하지 않는다. 헤드 마운트 디스플레이 장치(110)는 언락 상태로 동작하는 경우 사용자의 움직임을 감지하고, 현재 출력되는 영상 정보가 사용자의 움직임에 대응되는 영상 정보로 전환되도록 한다. 헤드 마운트 디스플레이 장치(110)는 언락 상태로 동작하는 경우 현재 위치 좌표와 목적지 위치 좌표 간의 차이값을 이용하여 사용자의 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 락 상태 또는 언락 상태로의 전환한 사용자의 버튼(220)의 조작에 의해 언제든지 전환이 가능하다.
단말기(120)는 사용자의 키 조작에 따라 네트워크를 경유하여 음성 또는 데이터 통신을 수행하며, 구비된 근거리 통신 모듈을 이용하여 헤드 마운트 디스플레이 장치(110)와 통신을 수행하는 전자 기기를 의미한다.
단말기(120)는 네트워크를 경유하여 서버 및 외부 장치와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비한다. 단말기(120)는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 개인 휴대 단말기(PDA: Personal Digital Assistant), 게임 콘솔, 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), TV, 미디어 플레이어 등과 같은 전자 기기일 수 있다.
단말기(120)는 (ⅰ) 각종 기기 또는 유무선 네트워크와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, (ⅱ) 각종 프로그램과 데이터를 저장하기 위한 메모리, (ⅲ) 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치이다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서상에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.
단말기(120)는 임베디드(Embedded) 형태로 탑재된 OS(operating system)를 이용하거나 별도의 화면 분할 프로그램을 탑재하여 화면 분할을 수행할 수 있다. 화면 분할 프로그램은 단말기(120)가 스마트 폰인 경우 애플리케이션 스토어를 이용하여 브라우저 화면 분할 프로그램을 다운로드한 후 인스톨할 수 있으며, 단말기(120)가 피쳐 폰(Feature Phone)인 경우 통신사 서버로부터 다운로드된 VM(Virtual Machine) 상에서 구동될 수 있다. 화면 분할 프로그램은 단말기(120)에 탑재되어, 단말기(120)에 구비된 각종 하드웨어를 이용하여 동작하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 별도의 장치로 구현되어 동작될 수 있다. 화면 분할 프로그램은 단말기(120) 내이 기 설치된 애플리케이션들과 연동하여 동작할 수 있다. 단말기(120)는 사용자의 조작 또는 명령에 의해 화면 분할 프로그램을 구동한다.
본 실시예에 따른 단말기(120)는 영상 획득 장치(130)로부터 복수의 영상을 수신하여 조합하여 분할 화면 정보를 생성하거나, 복수의 프로그램을 구동한 각각의 영상을 조합하여 분할 화면 정보를 생성한다. 단말기(120)는 근거리 통신을 이용하여 분할 화면 정보를 헤드 마운트 디스플레이 장치(110)로 전송한다.
영상 획득 장치(130)는 구비된 카메라 모듈을 이용하여 영상을 촬영하는 영상 촬영 장치로서, 촬영된 복수의 영상 데이터를 단말기(120)로 전송한다. 영상 획득 장치(130)는 CCTV일 수 있다.
도 2a, 2b는 본 실시예에 따른 헤드 마운트 디스플레이 장치의 착용 예시를 나타낸 도면이다.
도 2a, 2b에 도시된 바와 같이, 헤드 마운트 디스플레이 장치(110)는 디스플레이(210), 버튼(220), 지지부(230)를 포함한다. 헤드 마운트 디스플레이 장치(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
디스플레이(210)는 헤드 마운트 디스플레이 장치(110)를 착용한 사용자의 눈 위치에 설치되며, 헤드 마운트 디스플레이 장치(110)는 디스플레이(210)를 이용하여 단말기(120)로부터 수신한 영상 정보, 분할 화면 정보 등을 출력한다.
버튼(220)은 헤드 마운트 디스플레이 장치(110)의 일측면에 위치하며, 사용자가 압력을 가해 누를 수 있는 푸쉬 형태의 버튼을 의미한다. 사용자는 버튼(220)을 조작하여 헤드 마운트 디스플레이 장치(110)에서 사용자 움직임을 감지 여부를 결정할 수 있다. 사용자가 버튼(220)을 조작하는 동작은 다음과 같다.
체크 명령: 최초 구동시 한 번 클릭
락 명령: 최초 구동(또는 언락 모드(Unlock Mode))시 더블 클릭 또는 기 설정된 시간 만큼 길게 클릭
언락 명령: 락 모드에서 더블 클릭 또는 기 설정된 시간 만큼 길게 클릭
지지부(230)는 헤드 마운트 디스플레이 장치(110)를 사용자의 머리 부분에 장착하여 고정하는 역할을 담당하는 지지 부재를 의미한다. 지지부(230)는 디스플레이(210)와 연결되어, 디스플레이(210)를 고정하며, 도 2b에 도시된 바와 같이, 사용자의 귀부분에 거치된다.
도 3은 본 실시예에 따른 헤드 마운트 디스플레이 장치를 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 헤드 마운트 디스플레이 장치(110)는 센서부(310), 영상 출력 제어부(320), 움직임 감지부(330), 초점 위치 표시부(340), 영상 체크부(350) 및 영상 전환부(360)를 포함한다. 헤드 마운트 디스플레이 장치(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
센서부(310)는 자이로 센서 및 가속도 센서 중 적어도 하나 이상의 센서를 포함한다. 센서부(310)는 사용자 움직임을 감지한 센싱 정보를 생성하여 움직임 감지부(330)로 전송한다. 영상 출력 제어부(320)는 근거리 통신(블루투스, Wi-Fi, NFC 등)을 이용하여 단말기(120)로부터 분할 화면 정보를 수신하여 디스플레이(210)로 출력한다. 움직임 감지부(330)는 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자 움직임을 감지한다. 초점 위치 표시부(340)는 사용자 움직임이 감지되는 경우, 분할 화면 정보 상에 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이한다. 영상 체크부(350)는 구비된 버튼(220)으로부터 체크 명령이 수신되는 경우, 초점에 대응되는 영상 정보를 체크하여 체크 영상 정보를 생성한다.
이하, 영상 전환부(360)가 체크 영상을 출력하는 방식에 대해 설명한다. 영상 전환부(360)는 버튼(220)으로부터 락 명령이 수신되는 경우, 사용자 움직임을 미감지하는 락 모드로 동작한다. 영상 전환부(360)는 락 모드 상태에서 현재 출력되는 영상 정보를 체크 영상 정보로 전환하여 출력한다. 영상 전환부(360)는 영상 체크부(350)로부터 수신된 체크 영상 정보가 복수 개인 경우, 체크 영상 정보로 조합된 분할 화면 정보를 출력한다. 영상 전환부(360)는 영상 체크부(350)로부터 수신된 체크 영상 정보가 한 개인 경우, 체크 영상 정보를 전체 화면으로 출력한다.
이하, 영상 전환부(360)가 사용자 움직임에 따라 영상을 전환하는 방식에 대해 설명한다. 영상 전환부(360)는 일측 방향에서 타측 방향(←)으로의 사용자 움직임이 감지되는 경우 분할 영상 화면 정보 중 현재 출력되고 있는 영상 정보의 이전 영상으로 전환하여 출력되도록 한다. 영상 전환부(360)는 타측 방향에서 일측 방향(→)으로의 사용자 움직임이 감지되는 경우 분할 영상 화면 정보 중 현재 출력되고 있는 영상 정보의 다음 영상으로 전환하여 출력되도록 한다. 영상 전환부(360)는 일단에서 타단(↓)으로 사용자 움직임이 감지되는 경우 체크 영상 정보에서 분할 화면 영상으로 전환하여 출력되도록 한다. 영상 전환부(360)는 타단에서 일단(↑)으로의 사용자 움직임이 감지되는 경우 분할 화면 영상에서 이전 화면인 체크 영상 정보로 전환하여 출력되도록 한다.
이하, 영상 전환부(360)의 모드 전환 방식에 대해 설명한다. 영상 전환부(360)는 락 모드 상태에서 버튼(220)으로부터 언락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 락 모드를 언락 모드로 전환하여 사용자 움직임을 감지한다. 영상 전환부(360)는 언락 모드 상태에서 버튼(220)으로부터 락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 언락 모드를 락 모드로 전환하여 사용자 움직임을 미감지한다.
도 4는 본 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 설명하기 위한 순서도이다.
헤드 마운트 디스플레이 장치(110)는 근거리 통신(블루투스, Wi-Fi, NFC 등)을 이용하여 단말기(120)로부터 분할 화면 정보를 수신하여 디스플레이(210)로 출력한다(S410). 헤드 마운트 디스플레이 장치(110)는 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자 움직임을 감지한다(S420).
헤드 마운트 디스플레이 장치(110)는 사용자 움직임이 감지되는 경우, 분할 화면 정보 상에 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이한다(S430). 헤드 마운트 디스플레이 장치(110)는 구비된 버튼(220)으로부터 체크 명령이 수신되는 경우, 초점에 대응되는 영상 정보를 체크하여 체크 영상 정보를 생성한다(S440).
헤드 마운트 디스플레이 장치(110)는 버튼(220)으로부터 락 명령이 수신되는 경우, 사용자 움직임을 미감지하는 락 모드로 동작한다. 영상 전환부(360)는 락 모드 상태에서 현재 출력되는 영상 정보를 체크 영상 정보로 전환하여 출력한다(S450). 단계 S450에서 헤드 마운트 디스플레이 장치(110)는 영상 체크부(350)로부터 수신된 체크 영상 정보가 복수 개인 경우, 체크 영상 정보로 조합된 분할 화면 정보를 출력한다. 헤드 마운트 디스플레이 장치(110)는 영상 체크부(350)로부터 수신된 체크 영상 정보가 한 개인 경우, 체크 영상 정보를 전체 화면으로 출력한다.
단계 S450 이후에, 헤드 마운트 디스플레이 장치(110)는 일측 방향에서 타측 방향(←)으로의 사용자 움직임이 감지되는 경우 분할 영상 화면 정보 중 현재 출력되고 있는 영상 정보의 이전 영상으로 전환하여 출력되도록 한다. 헤드 마운트 디스플레이 장치(110)는 타측 방향에서 일측 방향(→)으로의 사용자 움직임이 감지되는 경우 분할 영상 화면 정보 중 현재 출력되고 있는 영상 정보의 다음 영상으로 전환하여 출력되도록 한다. 헤드 마운트 디스플레이 장치(110)는 일단에서 타단(↓)으로 사용자 움직임이 감지되는 경우 체크 영상 정보에서 분할 화면 영상으로 전환하여 출력되도록 한다. 헤드 마운트 디스플레이 장치(110)는 타단에서 일단(↑)으로의 사용자 움직임이 감지되는 경우 분할 화면 영상에서 이전 화면인 체크 영상 정보로 전환하여 출력되도록 한다.
헤드 마운트 디스플레이 장치(110)는 락 모드 상태에서 버튼(220)으로부터 언락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 락 모드를 언락 모드로 전환하여 사용자 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 언락 모드 상태에서 버튼(220)으로부터 락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 언락 모드를 락 모드로 전환하여 사용자 움직임을 미감지한다.
도 4에서는 단계 S410 내지 단계 S450을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다. 전술한 바와 같이 도 4에 기재된 본 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 5a, 5b, 5c는 본 실시예에 따른 분할 화면을 나타낸 도면이다.
도 5a에 도시된 바와 같이, 단말기(120)는 영상 획득 장치(130)로부터 복수의 영상(CCTV 영상)을 수신하여 30 × 10의 영상 정보를 포함하는 분할 화면 정보를 생성한다. 단말기(120)는 30 × 10의 영상 정보를 포함하는 분할 화면 정보를 헤드 마운트 디스플레이 장치(110)로 전송한다.
헤드 마운트 디스플레이 장치(110)는 단말기(120)로부터 30 × 10의 영상 정보를 포함하는 분할 화면 정보를 수신하여 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자 움직임이 감지되는 경우, 30 × 10의 영상 정보를 포함하는 분할 화면 정보 상에 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 버튼(220)으로부터 체크 명령(한 번 클릭)이 수신되는 경우, 초점에 대응되는 영상 정보(도 5a에 도시된 바와 같이, 8, 17, 25, 39, 43, 57, 63, 84, 92, 103, 112, 129, 137, 145, 172, 220)를 체크하여 체크 영상 정보를 생성한다.
도 5b에 도시된 바와 같이, 헤드 마운트 디스플레이 장치(110)는 버튼(220)으로부터 락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 사용자 움직임을 미감지하는 락 모드로 동작하며, 체크 영상 정보가 복수 개(도 5a에 도시된 바와 같이, 8, 17, 25, 39, 43, 57, 63, 84, 92, 103, 112, 129, 137, 145, 172, 220)인 경우, 체크 영상 정보로 조합된 4×4의 영상 정보를 포함하는 분할 화면 정보를 출력한다. 헤드 마운트 디스플레이 장치(110)는 4 × 4의 영상 정보를 포함하는 분할 화면 정보를 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자 움직임이 감지되는 경우, 4 × 4의 영상 정보를 포함하는 분할 화면 정보 상에 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 버튼(220)으로부터 체크 명령(한 번 클릭)이 수신되는 경우, 초점에 대응되는 영상 정보(도 5b에 도시된 바와 같이, 39, 84, 112, 220)를 체크하여 체크 영상 정보를 생성한다.
도 5c에 도시된 바와 같이, 헤드 마운트 디스플레이 장치(110)는 버튼(220)으로부터 락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 사용자 움직임을 미감지하는 락 모드로 동작하며, 체크 영상 정보가 복수 개(도 5b에 도시된 바와 같이, 39, 84, 112, 220)인 경우, 체크 영상 정보로 조합된 2×2의 영상 정보를 포함하는 분할 화면 정보를 출력한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 헤드 마운트 디스플레이 장치 120: 단말기
130: 영상 획득 장치 210: 디스플레이부
220: 버튼 230: 지지부
310: 센서부
320: 영상 출력 제어부 330: 움직임 감지부
340: 초점 위치 표시부 350: 영상 체크부
360: 영상 전환부

Claims (5)

  1. 헤드 마운트 디스플레이 장치의 동작 방법에 있어서,
    단말기로부터 복수의 CCTV(Closed-Circuit Television)가 촬영한 복수의 영상 정보 각각을 포함하는 분할 화면 정보를 수신하여 디스플레이하는 영상 출력 과정;
    센서부로부터 수신된 센싱 정보를 기반으로 사용자 움직임을 감지하는 움직임 감지 과정;
    상기 사용자 움직임이 감지되는 경우, 상기 분할 화면 정보 상에 상기 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이하는 초점 위치 표시 과정;
    구비된 버튼으로부터 체크 명령이 수신되는 경우, 상기 초점에 대응되는 영상 정보를 체크하여 체크 영상 정보를 생성하는 영상 체크 과정; 및
    상기 버튼으로부터 락 명령이 수신되는 경우, 현재 출력되는 영상 정보를 상기 체크 영상 정보로 전환하여 출력하는데, 상기 체크 영상 정보가 한 개인 경우 상기 체크 영상 정보를 전체 화면으로 출력하며, 상기 체크 영상 정보가 복수 개인 경우 상기 분할 화면 정보에서 상기 체크 영상 정보들을 조합한 조합 화면 정보를 출력하는 영상 전환 과정
    을 포함하되, 상기 영상 전환 과정은 상기 체크 영상 정보가 존재하는 경우, 일단에서 타단으로의 상기 사용자 움직임이 감지되면, 상기 분할 화면 정보에서 상기 체크 영상 정보들을 조합한 상기 조합 화면 정보로 전환하여 출력되도록 하며, 상기 타단에서 상기 일단으로의 상기 사용자 움직임이 감지되면, 상기 조합 화면 정보에서 이전 화면인 상기 분할 화면 정보로 전환하여 출력되도록 하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작 방법.
  2. 제 1 항에 있어서,
    상기 영상 전환 과정은,
    상기 락 명령이 수신되는 경우, 상기 사용자 움직임을 미감지하는 락 모드로 동작하는 헤드 마운트 디스플레이 장치의 동작 방법.
  3. 제 2 항에 있어서,
    상기 영상 전환 과정은,
    일측 방향에서 타측 방향으로의 상기 사용자 움직임이 감지되는 경우 상기 분할 화면 정보 중 현재 출력되고 있는 영상 정보의 이전 영상으로 전환하여 출력되도록 하고,
    상기 타측 방향에서 상기 일측 방향으로의 상기 사용자 움직임이 감지되는 경우 상기 분할 화면 정보 중 현재 출력되고 있는 영상 정보의 다음 영상으로 전환하여 출력되도록 하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작 방법.
  4. 삭제
  5. 제 2 항에 있어서,
    상기 영상 전환 과정은,
    상기 락 모드 상태에서 상기 버튼으로부터 언락 명령이 수신되는 경우, 상기 락 모드를 언락 모드로 전환하여 상기 사용자 움직임을 감지하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작 방법.
KR1020150017201A 2015-02-04 2015-02-04 헤드 마운트 디스플레이 장치 및 그 동작 방법 KR101653591B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150017201A KR101653591B1 (ko) 2015-02-04 2015-02-04 헤드 마운트 디스플레이 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150017201A KR101653591B1 (ko) 2015-02-04 2015-02-04 헤드 마운트 디스플레이 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20160096246A KR20160096246A (ko) 2016-08-16
KR101653591B1 true KR101653591B1 (ko) 2016-09-12

Family

ID=56854275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150017201A KR101653591B1 (ko) 2015-02-04 2015-02-04 헤드 마운트 디스플레이 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR101653591B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168910A (ja) * 2012-02-17 2013-08-29 Sony Corp ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757867B1 (ko) * 2005-08-30 2007-09-11 삼성전자주식회사 멀티태스킹 환경에서의 사용자 인터페이스 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168910A (ja) * 2012-02-17 2013-08-29 Sony Corp ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法

Also Published As

Publication number Publication date
KR20160096246A (ko) 2016-08-16

Similar Documents

Publication Publication Date Title
KR101861380B1 (ko) 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
US10769797B2 (en) Virtual reality experience sharing
JP5765019B2 (ja) 表示制御装置、表示制御方法、およびプログラム
US11016559B2 (en) Display system and display control method of display system
CN110045935B (zh) 处理装置、显示系统以及记录介质
KR20160033376A (ko) 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
KR102439257B1 (ko) 모바일 장치
JP2018124721A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
KR102645340B1 (ko) 전자 장치 및 그의 녹화 방법
KR101553503B1 (ko) 사물 인식을 통한 외부 디바이스의 제어 방법
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
KR102195304B1 (ko) 영상 처리 방법 및 그 전자 장치
WO2015136952A1 (ja) ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末
KR101653591B1 (ko) 헤드 마운트 디스플레이 장치 및 그 동작 방법
US20190287489A1 (en) Head-mounted display apparatus and method for controlling head-mounted display apparatus
CN113050279B (zh) 显示系统、显示方法以及记录介质
US20230244318A1 (en) Program, head-mounted display, and information processing device
KR101879235B1 (ko) 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
US11275547B2 (en) Display system, display method, and program
US10992926B2 (en) Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
CN106030490B (zh) 可穿戴装置、电子装置、图像控制装置及显示控制方法
WO2017168622A1 (ja) 撮像画像共有システム、撮像画像共有方法及びプログラム
JP2024046109A (ja) 操作システム、処理方法、およびプログラム
KR20160112981A (ko) 촬상 장치, 화상 재생 방법 및 프로그램
JPWO2018101162A1 (ja) ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190812

Year of fee payment: 4