KR20180075099A

KR20180075099A - Hmd 장치 및 그의 제어 방법

Info

Publication number: KR20180075099A
Application number: KR1020160179050A
Authority: KR
Inventors: 김영덕
Original assignee: 주식회사 팝스라인; 김영덕
Priority date: 2016-12-26
Filing date: 2016-12-26
Publication date: 2018-07-04

Abstract

본 발명은 HMD 장치 및 그의 제어 방법을 개시한다. 즉, 본 발명은 가상 현실 영상, 증강 현실 영상, 혼합 현실 영상 등의 콘텐츠를 표시하며, 사용자 입력에 따른 입력 신호에 따라 화면 전환을 수행하거나 부가 정보를 오버레이하여 표시함으로써, 사용자의 편의성을 증대시킬 수 있다.

Description

HMD 장치 및 그의 제어 방법{Head mounted display apparatus and control method thereof}

본 발명은 HMD 장치 및 그의 제어 방법에 관한 것으로, 특히 가상 현실 영상, 증강 현실 영상, 혼합 현실 영상 등의 콘텐츠를 표시하며, 사용자 입력에 따른 입력 신호에 따라 화면 전환을 수행하거나 부가 정보를 오버레이하여 표시하는 HMD 장치 및 그의 제어 방법에 관한 것이다.

HMD(Head Mounted Display)는 머리에 쓰고 보는 작은 디스플레이로 가상현실, 증강현실 등을 경험할 수 있는 휴대용 장치이다.

이러한 HMD는 사용자의 시야를 가리는 형태가 대부분이므로, 사용자가 장비를 착용한 경우, 키보드, 마우스 등의 접촉식 입력 장치의 사용이 불편한 점이 있다.

또한, HMD를 착용한 상태에서 입력을 원하는 키를 육안으로 식별하기 어려우며, 사용자의 신체 사용이 부자연스러운 장애인 등의 경우 해당 HMD를 사용할 때 키보드, 마우스 등의 입력 장치를 대체할 입력 장치가 필요하다.

한국등록특허 제10-1270489호 [명칭: 골프 시뮬레이션 HMD]

본 발명의 목적은 가상 현실 영상, 증강 현실 영상, 혼합 현실 영상 등의 콘텐츠를 표시하며, 사용자 입력에 따른 입력 신호에 따라 화면 전환을 수행하거나 부가 정보를 오버레이하여 표시하는 HMD 장치 및 그의 제어 방법을 제공하는 데 있다.

본 발명의 실시예에 따른 HMD의 제어 방법은 HMD 장치의 제어 방법에 있어서, 표시부에 의해, 하나 이상의 객체 마커를 포함하는 콘텐츠를 표시하는 단계; 시선 감지부에 의해, 상기 콘텐츠가 표시되는 화면상에서의 상기 HMD 장치를 착용 중인 사용자의 시선 위치를 산출하는 단계; 제어부에 의해, 상기 산출된 화면상에서의 사용자의 시선 위치가 미리 설정된 시간 이상 유지될 때, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재하는지 여부를 확인하는 단계; 및 상기 확인 결과, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재할 때, 상기 제어부에 의해, 상기 객체 마커와 관련한 기능을 수행하는 단계를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 콘텐츠는, 가상 현실 영상, 증강 현실 영상 및 혼합 현실 영상 중 어느 하나일 수 있다.

본 발명과 관련된 일 예로서 상기 객체 마커는, 샵카메라 객체 마커, 상품 객체 마커, 업체 객체 마커, 프로모션 객체 마커 및 크리에이터 객체 마커 중 적어도 하나를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 확인 결과, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재하지 않을 때, 상기 화면상에서 사용자의 시선 위치를 산출하는 과정으로 복귀하는 단계를 더 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 객체 마커와 관련한 기능을 수행하는 단계는, 상기 객체 마커와 관련한 다른 콘텐츠를 상기 표시부에 표시하는 화면 전환 기능을 수행하는 과정; 상기 객체 마커와 관련한 부가 정보를 상기 표시부에 표시 중인 콘텐츠에 오버레이하여 표시하는 과정; 및 상기 표시부의 화면을 복수로 분할하고, 상기 분할된 영역 중 하나의 영역에 상기 표시 중이던 상기 콘텐츠를 표시하고, 상기 분할된 영역 중 다른 하나의 영역에 상기 객체 마커와 관련한 부가 정보를 표시하는 과정 중 적어도 하나의 과정을 수행할 수 있다.

본 발명의 실시예에 따른 HMD 장치는 HMD 장치에 있어서, 하나 이상의 객체 마커를 포함하는 콘텐츠를 표시하는 표시부; 상기 콘텐츠가 표시되는 화면상에서의 상기 HMD 장치를 착용 중인 사용자의 시선 위치를 산출하는 시선 감지부; 및 상기 산출된 화면상에서의 사용자의 시선 위치가 미리 설정된 시간 이상 유지될 때, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재하는지 여부를 확인하고, 상기 확인 결과, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재할 때, 상기 객체 마커와 관련한 기능을 수행하는 제어부를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 제어부는, 상기 확인 결과, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재하지 않을 때, 상기 화면상에서 사용자의 시선 위치를 산출하는 과정으로 복귀할 수 있다.

본 발명과 관련된 일 예로서 상기 제어부는, 상기 객체 마커와 관련한 다른 콘텐츠를 상기 표시부에 표시하는 화면 전환 기능을 수행하는 기능, 상기 객체 마커와 관련한 부가 정보를 상기 표시부에 표시 중인 콘텐츠에 오버레이하여 표시하는 기능 및, 복수의 영역으로 분할된 상기 표시부의 하나의 영역에 상기 표시 중이던 상기 콘텐츠를 표시하고 다른 하나의 영역에 상기 객체 마커와 관련한 부가 정보를 표시하는 기능 중 어느 하나의 기능을 수행할 수 있다.

본 발명은 가상 현실 영상, 증강 현실 영상, 혼합 현실 영상 등의 콘텐츠를 표시하며, 사용자 입력에 따른 입력 신호에 따라 화면 전환을 수행하거나 부가 정보를 오버레이하여 표시함으로써, 사용자의 편의성을 증대시킬 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 HMD 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 안경 형태의 HMD 장치를 나타낸 도이다.
도 3은 본 발명의 실시예에 따른 고글 형태의 HMD 장치를 나타낸 도이다.
도 4는 본 발명의 실시예에 따른 HMD 장치의 제어 방법을 나타낸 흐름도이다.
도 5 내지 도 10은 본 발명의 실시예에 따른 HMD 장치의 표시부에 표시되는 화면을 나타낸 도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명의 실시예에 따른 HMD 장치(10)의 구성을 나타낸 블록도이다.

도 1에 도시한 바와 같이, HMD 장치(10)는 표시부(100), 시선 감지부(200), 촬영부(300), 통신부(400), 저장부(500), 음성 출력부(600) 및 제어부(700)로 구성된다. 도 1에 도시된 HMD 장치(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 HMD 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 HMD 장치(10)가 구현될 수도 있다.

이때, 상기 HMD 장치(10)는 도 2에 도시된 바와 같이 안경 형태로 구성하거나, 도 3에 도시된 바와 같이 밴드 등을 통해 사용자의 머리를 감싸도록 형성되는 고글 형태로 구성하거나, 헬멧 형태(미도시)로 구성할 수 있다.

상기 표시부(100)는 상기 제어부(700)의 제어에 의해 상기 저장부(500)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(100)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다.

또한, 상기 표시부(100)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.

또한, 상기 표시부(100)는 상기 제어부(700)의 제어에 의해 상기 저장부(500)에 저장된 복수의 콘텐츠 중에서 선택되는 어느 하나의 콘텐츠를 표시한다.

상기 시선 감지부(200)는 상기 표시부(200)의 화면상에서 사용자의 시선 위치를 산출(또는 검출/확인)한다.

즉, 상기 시선 감지부(200)는 상기 HMD 장치(10)를 착용한 사용자의 시선을 추적하여, 상기 표시부(200)에 의해 표시되는 콘텐츠를 포함하는 화면에서 사용자의 시선 위치를 산출한다. 이때, 상기 시선 감지부(200)는 다양한 형태의 센서(미도시), 촬영부(300) 등을 통해 사용자 시선 움직임 정보를 수집하고, 상기 수집된 시선 움직임 정보를 근거로 상기 사용자의 시선 위치를 산출할 수 있다.

또한, 상기 사용자 시선을 산출(또는 추적)하기 위한 기술은 비디오 분석 방식, 콘택트렌즈 방식, 센서 부착 방식 등을 포함할 수 있다. 이 중 상기 비디오 분석 방식은 촬영부(300)를 이용하여 촬영된 이미지(또는 영상)의 실시간 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 위치를 계산하는 방식이다. 또한, 상기 콘택트렌즈 방식은 거울 내장 콘택트렌즈의 반사된 ?, 코일 내장 콘택트렌즈의 자기장 등을 이용하여 시선의 위치를 계산하는 방식으로, 편리성이 떨어지는 반면 높은 정확도를 나타낸다. 또한, 상기 센서부착 방식은 눈 주위에 센서를 부착하여, 눈의 움직임에 따른 전기장을 이용하여 시선의 위치를 계산하는 방식으로, 눈을 감고 있는 경우(예를 들어 수면 등 포함)에도 눈의 움직임 검출이 가능하다. 또한, 상기 사용자 시선을 산출하기 위한 기술은 이에 한정되는 것은 아니며, 다른 방식에 의해서도 가능할 수 있다.

상기 촬영부(300)는 상기 HMD 장치(10)를 착용하는 사용자의 영상을 촬영한다.

또한, 상기 촬영부(300)는 상기 사용자의 시선을 촬영한다.

또한, 상기 촬영부(300)는 상기 사용자의 손(예를 들어 손가락을 포함하는 손)을 촬영한다.

상기 통신부(400)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 서버(미도시), 상기 HMD 장치(10)에 인접한 다른 디바이스(또는 단말)(미도시) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(400)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

또한, 상기 통신부(400)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.

또한, 상기 통신부(400)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버, 상기 HMD 장치(10)에 인접한 다른 디바이스(또는 단말) 등과 무선 신호를 송수신한다.

또한, 상기 통신부(400)는 상기 제어부(700)의 제어에 의해 상기 서버로부터 제공되는 하나 이상의 콘텐츠를 수신한다. 여기서, 상기 콘텐츠는 촬영된 파노라마 영상 정보에 하나 이상의 객체 마커를 포함시켜 생성되는 가상 현실 영상, 증강 현실 영상, 혼합 현실 영상 등을 포함한다. 또한, 상기 콘텐츠는 파노라마 영상 정보(예를 들어 이미지/동영상, 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 영상 내에서의 코드의 위치 정보, 코드의 종류에 대응하는 임시 마커, 이미지/동영상 내에서의 임시 마커의 위치 정보, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등 포함), 이미지/동영상 내에 배치된 객체 마커(예를 들어 샵카메라, 상품, 업체, 프로모션, 크리에이터 등 포함), 이미지/동영상 내에서의 객체 마커의 위치 정보, 객체 마커의 속성 정보 등을 더 포함한다.

상기 저장부(500)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.

또한, 상기 저장부(500)는 상기 HMD 장치(10)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.

즉, 상기 저장부(500)는 상기 HMD 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), HMD 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 한편, 응용 프로그램은 상기 저장부(500)에 저장되고, HMD 장치(10)에 설치되어, 제어부(700)에 의하여 상기 HMD 장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.

또한, 상기 저장부(500)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, HMD 장치(10)는 인터넷(internet)상에서 저장부(500)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.

또한, 상기 저장부(500)는 상기 통신부(400)를 통해 수신된 하나 이상의 콘텐츠를 저장한다.

상기 음성 출력부(600)는 상기 제어부(700)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(600)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

또한, 상기 음성 출력부(600)는 상기 제어부(700)에 의해 생성된 안내 음성을 출력한다.

또한, 상기 음성 출력부(600)는 상기 제어부(700)에 의해 상기 통신부(400)를 통해 수신된 하나 이상의 콘텐츠 등에 대응하는 음성 정보를 출력한다.

상기 제어부(700)는 상기 HMD 장치(10)의 전반적인 제어 기능을 실행한다.

또한, 제어부(700)는 저장부(500)에 저장된 프로그램 및 데이터를 이용하여 HMD 장치(10)의 전반적인 제어 기능을 실행한다. 제어부(700)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 저장부(500)에 액세스하여, 저장부(500)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 저장부(500)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.

또한, 상기 제어부(700)는 상기 서버로부터 제공되는 하나 이상의 콘텐츠를 상기 통신부(400)를 통해 수신한다.

본 발명의 실시예에서는, 상기 콘텐츠를 상기 서버 또는 다른 단말로부터 제공받는 것을 설명하고 있으나, 상기 제어부(700)에서 상기 콘텐츠를 생성할 수도 있다.

여기서, 상기 콘텐츠는 가상 현실 영상, 증강 현실 영상, 혼합 현실 영상(mixed reality content) 등을 포함한다.

또한, 상기 가상 현실 영상 또는 혼합 현실 영상은 다음과 같은 상태로 제작(또는 생성)된 상태일 수 있다.

즉, 상기 서버(또는 상기 제어부(700))는 360도 카메라를 통해 촬영된 파노라마 영상(또는 파노라마 영상 정보)을 표시한다. 또한, 상기 서버는 복수의 객체 마커 중에서 특정 객체 마커가 선택된 후, 상기 표시되는 파노라마 영상 위의 특정 위치가 선택되는 경우(또는 드래그 앤 드랍 기능에 의해 특정 위치에 상기 선택된 특정 객체 마커가 드랍되는 경우), 상기 특정 위치(또는 특정 영역)에 상기 특정 객체 마커를 배치한다. 여기서, 상기 서버는 상기 특정 영역/특정 위치에 대응하여 미리 설정된 다른 ?치에 상기 객체 마커를 배치할 수도 있다. 이때, 상기 객체 마커의 종류는 샵카메라, 상품, 업체, 프로모션, 크리에이터 중 어느 하나일 수 있다. 또한, 상기 객체 마커는 상기 임시 마커와의 구분을 위해서 상기 객체 마커의 테두리를 실선 처리할 수 있다.

또한, 상기 파노라마 영상 정보에 코드가 포함된 이미지 또는 동영상 외에, 상기 코드와 관련한 임시 마커가 포함된 상태에서, 상기 복수의 객체 마커 중에서 상기 임시 마커와 관련한 어느 하나의 다른 특정 객체 마커가 선택된 후, 상기 상기 표시되는 파노라마 영상 위의 다른 특정 위치가 선택되는 경우(또는 드래그 앤 드랍 기능에 의해 다른 특정 위치에 상기 선택된 다른 특정 객체 마커가 드랍되는 경우), 상기 서버는 상기 선택된 다른 특정 영역(또는 다른 특정 위치)에 대응하는 코드 종류와 상기 선택된 다른 객체 마커의 종류를 비교한다. 여기서, 상기 다른 특정 영역(또는 다른 특정 위치)에 대응하는 코드 종류(또는 상기 코드 종류에 대응하는 임시 마커의 종류)는 샵카메라, 상품, 업체, 프로모션, 관련 데이터 없음 중 어느 하나일 수 있다.

즉, 상기 서버에 표시되는 하나 이상의 객체 마커 중에서 상기 임시 마커와 관련한 어느 하나의 다른 객체 마커가 선택된 후, 상기 서버에 표시되는 파노라마 영상 상의 다른 특정 영역에 상기 선택된 다른 객체 마커를 배치하고자 하는 경우, 상기 서버는 상기 다른 특정 영역에 대해서 미리 설정된 코드 종류(또는 상기 코드 종류에 대응하는 임시 마커의 종류)와 상기 선택된 다른 객체 마커의 종류가 일치하는지 여부를 확인(또는 판단)한다.

상기 비교 결과(또는 상기 확인/판단 결과), 상기 선택된 다른 특정 영역(또는 다른 특정 위치)에 대응하는 코드 종류가 관련 데이터 없음이거나 또는, 상기 선택된 다른 특정 영역(또는 다른 특정 위치)에 대응하는 코드 종류와 상기 선택된 다른 객체 마커의 종류가 일치하지 않는 경우, 상기 서버는 객체 마커 설정이 실패하였음을 나타내는 정보를 상기 서버의 일부 영역에 팝업 형태 등으로 표시하거나 상기 영상 표시 영역에 표시한다.

또한, 상기 서버에 표시되는 객체 마커 설정이 실패하였음을 나타내는 정보의 일측에 표시되는 미리 설정된 확인 버튼이 선택되는 경우, 상기 서버는 상기 선택된 다른 객체 마커를 해제(또는 상기 드랍된 다른 객체 마커를 삭제)하고, 상기 선택된 다른 특정 영역(또는 다른 특정 위치)에 대응하는 임시 마커를 계속하여 표시하고, 객체 마커를 선택하기 위한 상태로 전환한다.

또한, 상기 비교 결과(또는 상기 확인/판단 결과), 상기 선택된 다른 특정 영역(또는 다른 특정 위치)에 대응하는 코드 종류와 상기 선택된 다른 객체 마커의 종류가 일치하는 경우, 상기 서버는 상기 다른 특정 영역(또는 다른 특정 위치)에 상기 다른 객체 마커를 배치한다. 여기서, 상기 서버는 상기 다른 특정 영역/다른 특정 위치에 대응하여 미리 설정된 다른 위치에 상기 다른 객체 마커를 배치할 수도 있다. 이때, 상기 서버는 상기 다른 객체 마커의 배치에 따라, 해당 다른 특정 영역(또는 다른 특정 위치)에 위치했던 임시 마커는 삭제한다.

이와 같이, 상기 서버는 임시 마커가 포함된 파노라마 영상 정보에 대해서 사용자 선택에 따른 특정 위치에 샵카메라 객체 마커, 상품 객체 마커, 업체 객체 마커, 프로모션 객체 마커 및 크리에이터 객체 마커 중 적어도 하나를 배치할 수 있다. 이때, 임시 마커가 위치한 영역에 객체 마커를 배치하고자 할 경우, 상기 서버는 상기 임시 마커와 동일한 종류의 객체 마커에 대해서는 임시 마커를 대체하여 해당 객체 마커의 배치를 허용(또는 허가)하며, 임시 마커와 동일하지 않은 종류의 객체 마커에 대해서는 해당 임시 마커를 대체하여 해당 객체 마커의 배치를 허용하지 않는다. 또한, 상기 임시 마커가 위치한 영역에 상기 임시 마커와 다른 종류의 객체 마커를 배치하고자 하는 경우, 상기 서버는 상기 임시 마커가 위치한 영역 대신에 상기 임시 마커에 인접한 다른 영역에 해당 임시 마커와 다른 종류의 객체 마커를 배치할 수도 있다.

즉, 상기 서버는 상기 서버의 객체 마커 표시 영역에 표시되는 복수의 객체 마커 중에서 선택된 또 다른 종류의 객체 마커를 상기 서버의 영상 표시 영역 상의 또 다른 특정 영역에 배치하고자 할 때, 상기 또 다른 특정 영역에 임시 마커가 존재(또는 위치)하는지 여부를 확인한다.

상기 확인 결과, 상기 또 다른 특정 영역에 임시 마커가 존재하지 않는 경우, 상기 서버는 상기 또 다른 특정 영역에 상기 또 다른 특정 객체 마커를 배치한다.

또한, 상기 확인 결과, 상기 또 다른 특정 영역에 임시 마커가 존재하는 경우, 상기 서버는 상기 임시 마커의 종류와 상기 또 다른 특정 객체 마커의 종류가 동일한지 여부를 판단한다.

상기 판단 결과, 상기 임시 마커의 종류와 상기 또 다른 특정 객체 마커의 종류가 동일한 경우, 상기 서버는 상기 임시 마커 대신에 상기 또 다른 특정 객체 마커를 해당 또 다른 특정 영역에 배치한다.

또한, 상기 판단 결과, 상기 임시 마커의 종류와 상기 또 다른 특정 객체 마커의 종류가 다른 경우, 상기 서버는 해당 임시 마커를 대체하여 상기 또 다른 특정 객체 마커를 배치할 수 없음을 나타내는 정보를 상기 서버의 일측에 표시한다.

또한, 사용자 선택에 따른 특정 영역(또는 위치)에 임시 마커 또는 객체 마커가 위치한 경우, 상기 서버는 해당 임시 마커 또는 객체 마커에 인접하게 프로모션 객체 마커 및/또는 크리에이터 객체 마커를 배치할 수도 있다.

또한, 상기 서버에 표시되는 제 1 영역(또는 상기 영상 표시 영역)에 위치된(또는 배치된) 객체 마커가 선택(또는 터치/더블 클릭)되는 경우, 상기 서버는 사용자 입력(또는 사용자 터치/사용자 선택)을 근거로 상기 선택된 객체 마커에 대한 속성 정보를 설정한다. 여기서, 상기 객체 마커에 대한 속성 정보는 객체 마커의 종류에 따라 다를 수 있다.

즉, 상기 객체 마커가 샵카메라인 경우, 상기 서버는 해당 파노라마 영상과 관련한 하나 이상의 카메라 중에서 적어도 하나의 카메라의 링크 등을 설정(또는 편집/수정/삭제/추가)한다.

또한, 상기 객체 마커가 상품인 경우, 상기 서버는 상품에 대한 이미지, 상품명, 상품 고유 코드, 가격 정보, 상품과 관련한 동영상 링크/추가, 상세 설명, 카탈로그, 외부에 저장된 상세 페이지 주소 리읔 등을 설정(또는 편집/수정/삭제/추가)한다.

또한, 상기 객체 마커가 업체(또는 업체 정보)인 경우, 상기 서버는 업체명, 업체에 대한 이미지, 업체 로고, 업체 고유 코드, 업체와 관련한 동영상 링크/추가, 업체 설명, 카탈로그, 외부에 저장된 업체 상세 설명 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.

또한, 상기 객체 마커가 프로모션(또는 프로모션 정보/이벤트/이벤트 정보)인 경우, 상기 서버는 상기 서버에 미리 저장된 하나 이상의 프로모션 정보를 상기 서버에 표시한다. 또한, 상기 서버는 상기 서버에 표시되는 하나 이상의 프로모션 정보 중에서 사용자 선택에 따른 특정 프로모션(또는 특정 프로모션 정보)을 확인한다. 또한, 상기 서버는 상기 선택된 프로모션 정보에 포함된 프로모션명, 프로모션에 대한 이미지/동영상, 프로모션 고유 코드, 프로모션 설명, 외부에 저장된 프로모션 상세 설명 페이지 주소 링크 등을 설정(또는 편집/수정/삭제/추가)한다.

또한, 상기 객체 마커가 크리에이터인 경우, 상기 서버는 상기 서버에 미리 저장된 하나 이상의 크리에이터(또는 쇼핑호스트) 정보를 상기 서버에 표시한다. 또한, 상기 서버는 상기 서버에 표시되는 하나 이상의 크리에이터 정보 중에서 사용자 선택에 따른 특정 크리에이터(또는 특정 크리에이터 정보)를 확인한다. 또한, 상기 서버는 상기 선택된 크리에이터 정보에 포함된 크리에이터명, 이미지(또는 동영상), 크리에이터 고유 코드, 크리에이터 설명 등을 설정(또는 편집/수정/삭제/추가)한다.

또한, 상기 서버는 상기 서버에 표시되는 복수의 객체 마커 사이즈 중에서 사용자 선택에 따른 특정 객체 마커 사이즈(또는 객체 마커 사이즈 정보)를 설정(또는 확인)한다.

또한, 상기 서버는 상기 사용자 입력에 따른 객체 마커 선택 및 제 1 영역(또는 영상 표시 영역) 상의 특정 영역에 상기 선택된 객체 마커를 배치하고, 상기 배치된 객체 마커에 대한 속성 정보를 설정하는 과정을 반복 수행하여, 상기 선택된 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서 객체 마커 배치 및 속성 정보 설정 과정을 수행하여 MR 콘텐츠를 편집(또는 제작/저작)한다.

이때, 상기 파노라마 영상 정보가 동영상인 상태에서 상기 임시 마커가 상기 객체 마커로 변경(또는 대체/교체/배치)되는 경우, 상기 서버는 상기 임시 마커에 대응하는 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보)를 근거로, 해당 동영상에 포함된 해당 임시 마커 및 코드와 관련한 정보를 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보 포함)로 한 번에 모두 변경(또는 매칭/연동시킨다/업데이트)한다.

또한, 상기 파노라마 영상 정보가 동영상인 상태에서 상기 객체 마커가 배치되는 경우, 상기 서버는 상기 객체 마커에 대응하는 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보/상기 객체 마커가 배치된 영역/위치에 대한 정보)를 근거로, 해당 동영상 내에서의 객체 마커가 배치된 영역/위치에 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보 포함)로 한 번에 모두 변경(또는 매칭/연동시킨다/업데이트/적용)한다. 이때, 상기 서버는 해당 동영상 중에서 상기 객체 마커가 배치되는 위치를 기준으로 미리 설정된 프레임의 개수만큼 전/후 프레임에 상기 설정되는 객체 마커를 추가로 적용할 수도 있다.

또한, 미리 설정된 저장 메뉴(또는 버튼)가 선택되는 경우, 상기 서버는 상기 제 1 영역(또는 상기 영상 표시 영역)의 파노라마 영상 정보 상에 배치된 복수의(또는 하나 이상의) 객체 마커를 포함하는 MR 콘텐츠(또는 혼합 현실 콘텐츠)를 생성한다. 이때, 상기 MR 콘텐츠(또는 콘텐츠)는 상기 파노라마 영상 정보(예를 들어 이미지/동영상, 이미지/동영상에 포함된 객체와 관련한 코드, 코드의 고유 식별 정보, 코드의 종류, 영상 내에서의 코드의 위치 정보, 코드의 종류에 대응하는 임시 마커, 이미지/동영상 내에서의 임시 마커의 위치 정보, 이미지/동영상과 관련한 카테고리 정보(예를 들어 대분류, 중분류, 소분류 정보 등 포함), 카메라 번호, 파노라마 영상 파일 번호, 촬영 일자 및 시각 정보, 런 타임 정보, 영상 유형 정보(예를 들어 VOD, 생방송, 미설정 등 포함) 등 포함) 이외에, 이미지/동영상 내에 배치된 객체 마커(예를 들어 샵카메라, 상품, 업체, 프로모션, 크리에이터 등 포함), 이미지/동영상 내에서의 객체 마커의 위치 정보, 객체 마커의 속성 정보 등을 더 포함한다.

즉, 상기 미리 설정된 저장 메뉴가 선택되는 경우, 상기 서버는 상기 제 1 영역의 파노라마 영상 정보에 포함된(또는 배치된) 모든 객체 마커(예를 들어 상기 임시 마커를 대체하여 배치된 객체 마커, 특정 위치에 신규로 배치된 객체 마커 등 포함)에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 모두 완료된 상태인지 여부를 확인한다.

또한, 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 모두 완료되지 않은 상태인 경우, 상기 서버는 상기 모든 임시 마커 중에서 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정이 완료되지 않은 임시 마커, 상기 신규로 배치된 복수의 객체 마커 중에서 속성 정보 설정이 완료되지 않은 하나 이상의 객체 마커 등을 상기 서버에 표시하며, 해당 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정이 완료되지 않은 임시 마커에 대한 객체 마커 배치 및/또는 객체 마커의 속성 정보 설정에 대한 안내 정보, 상기 객체 정보의 속성 정보 설정이 완료되지 않은 객체 마커의 속성 정보 설정에 대한 안내 정보 등을 상기 표시부(130)의 일측에 표시한다.

또한, 상기 확인 결과, 상기 제 1 영역의 파노라마 영상 정보에 포함된 모든 객체 마커에 대해서, 사용자 선택에 따른 객체 마커 배치 및 객체 마커의 속성 정보 설정이 모두 완료된 경우, 상기 서버는 상기 서버는 상기 제 1 영역(또는 상기 영상 표시 영역)의 파노라마 영상 정보 상에 배치된 복수의(또는 하나 이상의) 객체 마커를 포함하는 MR 콘텐츠를 생성한다.

또한, 상기 파노라마 영상 정보가 동영상이고 상기 동영상 내의 특정 화면(또는 특정 이미지)에서 하나 이상의 객체 마커 배치 및 객체 마커의 속성 정보 설정이 완료된 상태에서 상기 미리 설정된 저장 버튼이 선택되는 경우, 상기 서버는 상기 객체 마커에 대응하는 코드의 고유 식별 정보(또는 상기 객체 마커가 배치된 영역/위치와 관련한 코드의 고유 식별 정보/상기 객체 마커가 배치된 영역/위치에 대한 정보)를 근거로, 해당 동영상 내에서의 객체 마커가 배치된 영역/위치에 상기 설정되는 객체 마커(또는 객체 마커의 속성 정보 포함)로 모두 변경하여(또는 매칭하여/연동시켜/업데이트하여/적용하여) 저장한다. 이때, 상기 서버는 해당 동영상 중에서 상기 객체 마커가 배치되는 위치를 기준으로 미리 설정된 프레임의 개수만큼 전/후 프레임에 상기 설정되는 객체 마커를 적용하여 저장할 수도 있다.

이와 같이, 상기 콘텐츠는 파노라마 영상(또는 파노라마 영상 정보)에 부가 정보를 표시하거나 또는 화면 전환(또는 다른 콘텐츠)을 위한 객체 마커가 삽입된 콘텐츠(예를 들어 가상 현실 영상, 혼합 현실 영상 등 포함)일 수 있다.

또한, 상기 콘텐츠는 상기 촬영부(300)를 통해 촬영되는 영상에 부가 정보를 표시하거나 또는 화면 전환(또는 다른 콘텐츠)을 위한 객체 마커가 삽입된 콘텐츠(예를 들어 증강 현실 영상 등 포함)일 수 있다.

또한, 상기 제어부(700)는 상기 저장부(500)에 저장된 복수의 콘텐츠 중에서 선택되는 하나의 콘텐츠를 상기 표시부(100)에 표시한다. 여기서, 상기 콘텐츠는 카메라(미도시)를 통해 촬영된 파노라마 영상 정보에 하나 이상의 객체 마커를 포함시켜 생성되는 가상 현실 영상, 증강 현실 영상, 혼합 영상 등을 포함한다. 또한, 상기 객체 마커는 샵카메라 객체, 상품 객체, 업체 객체, 이벤트 정보 객체, 프로모션 객체, 크리에이터 객체 등을 포함한다.

또한, 상기 제어부(700)는 상기 시선 감지부(200)에 의해 산출된 화면상에서의 사용자의 시선 위치가 미리 설정된 시간 이상 유지되는 경우, 상기 콘텐츠가 표시되는 화면상에서 상기 사용자의 시선 위치에 대응하는 객체 마커(또는 객체)의 존재 여부를 확인(또는 판단)한다.

즉, 상기 산출된 화면상에서의 사용자의 시선 위치가 미리 설정된 시간 이상 유지되는 경우, 상기 제어부(700)는 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는지 여부를 확인한다.

상기 확인 결과(또는 상기 판단 결과), 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하지 않는 경우, 상기 제어부(700)는 상기 시선 감지부(200)에 의해 상기 표시부(200)의 화면상에서 사용자의 시선 위치를 산출하는 과정으로 복귀한다.

또한, 상기 확인 결과(또는 상기 판단 결과), 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는 경우, 상기 제어부(700)는 상기 객체 마커(또는 객체)와 관련한 기능을 수행한다.

즉, 상기 확인 결과(또는 상기 판단 결과), 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는 경우, 상기 제어부(700)는 상기 객체 마커(또는 객체)와 관련한 다른 콘텐츠를 상기 표시부(100)에 표시하는 화면 전환 기능, 상기 객체 마커(또는 객체)와 관련한 부가 정보를 상기 표시부(100)에 표시 중인 콘텐츠에 오버레이하여 표시하는 기능, 상기 표시부(100)의 화면을 복수로 분할하여 상기 분할된 영역 중 하나의 영역에 기존에 표시중이던 상기 콘텐츠를 표시하고 상기 분할된 영역 중 다른 하나의 영역에 상기 객체 마커(또는 객체)와 관련한 부가 정보를 표시하는 기능 등을 수행한다.

이와 같이, 상기 제어부(700)는 상기 표시부(100)에 표시되는 콘텐츠 및 해당 콘텐츠 상에서의 사용자 입력(예를 들어 상기 사용자의 시선 위치 등 포함)을 근거로 사용자의 목적에 따른 관심 영상(또는 다른 콘텐츠)으로 반복 전환하거나 부가 정보를 상기 표시부(100)에 표시할 수 있다.

본 발명의 실시예에서는 상기 제어부(700)는 상기 시선 감지부(200)에 의해 감지되는 사용자의 시선 위치를 근거로 입력 처리를 수행하는 것을 설명하고 있으나 이에 한정되는 것은 아니며, 다른 다양한 방법에 의해서도 사용자 입력에 따른 상기 사용자의 목적에 따른 관심 영상(또는 다른 콘텐츠)으로 반복 전환하거나 부가 정보를 상기 표시부(100)에 표시할 수 있다.

즉, 상기 제어부(700)는 상기 촬영부(300)를 통해 촬영되는 사용자의 손에 대한 이미지를 근거로 영상 분석 방식에 의해 상기 사용자의 손에서 검지 손가락 또는 엄지 손가락의 끝단을 검출(또는 인식/확인)한다.

또한, 상기 제어부(700)는 상기 검출된(또는 인식된/확인된) 검지 손가락의 끝단 또는 엄지 손가락의 끝단 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는지 여부를 확인한다. 이때, 상기 제어부(700)는 상기 검지 손가락 또는 엄지 손가락의 끝단 위치가 미리 설정된 시간 이상 유지되는 경우에, 상기 검지 손가락 또는 엄지 손가락의 끝단 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는지 여부를 확인할 수도 있다.

상기 확인 결과(또는 상기 판단 결과), 상기 검출된(또는 인식된/확인된) 검지 손가락의 끝단 또는 엄지 손가락의 끝단 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는 경우, 상기 제어부(700)는 상기 객체 마커(또는 객체)와 관련한 다른 콘텐츠를 상기 표시부(100)에 표시하는 화면 전환 기능, 상기 객체 마커(또는 객체)와 관련한 부가 정보를 상기 표시부(100)에 표시 중인 콘텐츠에 오버레이하여 표시하는 기능 등을 수행할 수도 있다.

또한, 상기 제어부(700)는 상기 HMD 장치(10)에 인접하게 위치한 웨어러블 디바이스(또는 상기 HMD 장치(10)를 착용한 사용자가 해당 사용자의 다른 신체 부위에 착용한 웨어러블 디바이스)(미도시)로부터 전송되는 정보를 상기 통신부(400)를 통해 수신한다. 이때, 상기 정보는 상기 웨어러블 디바이스에 구비된 비컨(또는 발광 소자)에서 제공하는 정보(또는 신호)일 수 있다.

또한, 상기 제어부(700)는 상기 촬영부(300)를 통해 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영할 수도 있다. 이때, 상기 촬영부(300)는 기준 위치를 설정하기 위해서 상기 빛 이외에, 미리 설정된 기준 위치를 나타내는 마커를 함께 촬영할 수 있다.

또한, 상기 제어부(700)는 상기 통신부(400)를 통해 수신된 정보 또는 상기 촬영부(300)를 통해 촬영된 빛을 포함하는 영상 정보를 근거로 상기 웨어러블 디바이스의 상기 HMD 장치(10)에 대한 상대적 위치를 산출한다.

또한, 상기 제어부(700)는 상기 산출된 상기 웨어러블 디바이스의 상기 HMD 장치(10)에 대한 상대적 위치를 상기 표시부(100)에 표시되는 콘텐츠 상에서의 위치 정보에 적용(또는 위치 정보로 변환)한다.

또한, 상기 제어부(700)는 상기 적용된(또는 변환된) 위치 정보에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는지 여부를 확인한다. 이때, 상기 제어부(700)는 상기 적용된(또는 변환된) 위치가 미리 설정된 시간 이상 유지되는 경우에, 상기 적용된(또는 변환된) 위치(또는 위치 정보)가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는지 여부를 확인할 수도 있다.

또한, 확인 결과, 상기 적용된(또는 변환된) 위치 정보에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는 경우, 상기 제어부(700)는 상기 객체 마커(또는 객체)와 관련한 다른 콘텐츠를 상기 표시부(100)에 표시하는 화면 전환 기능, 상기 객체 마커(또는 객체)와 관련한 부가 정보를 상기 표시부(100)에 표시 중인 콘텐츠에 오버레이하여 표시하는 기능 등을 수행할 수도 있다.

이와 같이, 상기 HMD 장치(10)는 다양한 입력 수단에 의해서 입력되는 입력값을 근거로 해당 입력값에 대응하는 위치에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는지 여부를 확인하고, 해당 입력값에 대응하는 위치에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는 경우 해당 객체 마커(또는 객체)와 관련한 부가 정보를 상기 표시부(100)에 표시 중인 콘텐츠에 오버레이하여 표시하는 기능 등을 수행할 수도 있다.

또한, 이와 같이, 가상 현실 영상, 증강 현실 영상, 혼합 현실 영상 등의 콘텐츠를 표시하며, 사용자 입력에 따른 입력 신호에 따라 화면 전환을 수행하거나 부가 정보를 오버레이하여 표시할 수 있다.

이하에서는, 본 발명에 따른 HMD 장치의 제어 방법을 도 1 내지 도 10을 참조하여 상세히 설명한다.

도 4는 본 발명의 실시예에 따른 HMD 장치의 제어 방법을 나타낸 흐름도이다.

먼저, HMD 장치(10)에 포함된 표시부(100)는 복수의 콘텐츠 중에서 선택된 어느 하나의 콘텐츠를 표시한다. 여기서, 상기 콘텐츠는 카메라(미도시)를 통해 촬영된 파노라마 영상 정보에 하나 이상의 객체 마커를 포함시켜 생성되는 가상 현실 영상, 증강 현실 영상, 혼합 현실 영상 등을 포함한다. 또한, 상기 객체 마커는 샵카메라 객체, 상품 객체, 업체 객체, 이벤트 정보 객체, 프로모션 객체, 크리에이터 객체 등을 포함한다.

일 예로, 도 5에 도시된 바와 같이, 상기 표시부(100)는 혼합 현실 영상 형태의 제 1 콘텐츠(510)를 표시한다.

다른 일 예로, 도 6에 도시된 바와 같이, 상기 표시부(100)는 실제 영상에 하나 이상의 객체 마커를 포함하는 증강 현실 영상 형태의 제 2 콘텐츠(610)를 표시한다(S410).

이후, 시선 감지부(200)는 상기 표시부(200)의 화면상에서 사용자의 시선 위치를 산출(또는 검출/확인)한다.

일 예로, 도 7에 도시된 바와 같이, 상기 시선 감지부(200)는 상기 표시부(200)의 화면상에서 사용자의 시선 위치(710, 720)를 각각 산출한다. 이때, 상기 도 7에 도시된 바와 같이, 상기 시선 감지부(200)는 상기 표시부(200)의 화면상에서 사용자의 시선 위치를 추적(730)할 수 있다(S420).

이후, 상기 산출된 화면상에서의 사용자의 시선 위치가 미리 설정된 시간 이상 유지되는 경우, 제어부(700)는 상기 콘텐츠가 표시되는 화면상에서 상기 사용자의 시선 위치에 대응하는 객체 마커(또는 객체)의 존재 여부를 확인(또는 판단)한다.

일 예로, 상기 도 7에 도시된 제 1 사용자의 시선 위치(710)가 미리 설정된 시간(예를 들어 2초) 이상 유지될 때, 상기 제어부(700)는 상기 제 1 사용자의 시선 위치(710)에 상기 표시부(100)에 표시되는 제 1 콘텐츠(510)에 포함된 객체 마커가 존재하는지 여부를 확인한다.

다른 일 예로, 상기 도 7에 도시된 제 2 사용자의 시선 위치(720)가 미리 설정된 시간(예를 들어 2초) 이상 유지될 때, 상기 제어부(700)는 상기 제 2 사용자의 시선 위치(720)에 상기 표시부(100)에 표시되는 제 1 콘텐츠(510)에 포함된 객체 마커가 존재하는지 여부를 확인한다(S430).

일 예로, 상기 도 7에 도시된 바와 같이, 상기 제 1 사용자의 시선 위치(710)에 상기 표시부(100)에 표시되는 제 1 콘텐츠(510)에 포함된 객체 마커가 존재하지 않을 때, 상기 제어부(700)는 상기 시선 감지부(200)에 의해 상기 표시부(200)의 화면상에서 사용자의 시선 위치를 산출하는 과정(예를 들어 S420 단계)으로 복귀한다(S440).

즉, 상기 확인 결과(또는 상기 판단 결과), 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커(또는 객체)가 존재하는 경우, 상기 제어부(700)는 상기 객체 마커(또는 객체)와 관련한 다른 콘텐츠를 상기 표시부(100)에 표시하는 화면 전환 기능, 상기 객체 마커(또는 객체)와 관련한 부가 정보를 상기 표시부(100)에 표시 중인 콘텐츠에 오버레이하여 표시하는 기능, 상기 표시부(100)의 화면을 복수로 분할하여 상기 분할된 영역 중 하나의 영역에 기존에 표시 중이던 상기 콘텐츠를 표시하고 상기 분할된 영역 중 다른 하나의 영역에 상기 객체 마커(또는 객체)와 관련한 부가 정보를 표시하는 기능 등을 수행한다.

일 예로, 상기 도 7에 도시된 상기 제 2 사용자의 시선 위치(720)에 상기 표시부(100)에 표시되는 제 1 콘텐츠(510)에 포함된 객체 마커(예를 들어 크리에이터 객체 마커)가 존재할 때, 도 8에 도시된 바와 같이, 상기 제어부(700)는 상기 제 2 사용자의 시선 위치(720)에 대응하는 크리에이터 객체 마커와 관련하여 상기 제 1 콘텐츠에 포함된 텔레비전과 관련한 쇼핑호스트의 광고 영상(810)을 팝업 형태로 상기 표시부(100)에 표시한다.

다른 일 예로, 상기 도 7에 도시된 상기 제 2 사용자의 시선 위치(720)에 상기 표시부(100)에 표시되는 제 1 콘텐츠(510)에 포함된 객체 마커(예를 들어 크리에이터 객체 마커)가 존재할 때, 도 9에 도시된 바와 같이, 상기 제어부(700)는 상기 표시부(100)의 분할된 영역 중 제 1 영역에 상기 제 1 콘텐츠(910)를 표시하고, 상기 표시부(100)의 분할된 영역 중 제 2 영역에 상기 제 2 사용자의 시선 위치(720)에 대응하는 크리에이터 객체 마커와 관련하여 상기 제 1 콘텐츠에 포함된 텔레비전과 관련한 쇼핑호스트의 광고 영상(920)를 표시한다.

또 다른 일 예로, 상기 도 6에 도시된 상품 객체 마커(620)에 대해서 제 3 사용자의 시선 위치가 미리 설정된 시간(예를 들어 2초) 동안 유지될 때, 도 10에 도시된 바와 같이, 상기 제어부(700)는 상기 표시부(100)에 표시되던 하나 이상의 객체 마커를 포함하는 증강 현실 영상 형태의 제 2 콘텐츠(610)에서 상기 상품 객체 마커(620)와 관련한 가상 현실 영상(또는 혼합 현실 영상) 형태의 제 3 콘텐츠(1010)를 상기 표시부(100)에 표시한다(S450).

본 발명의 실시예는 앞서 설명된 바와 같이, 가상 현실 영상, 증강 현실 영상, 혼합 현실 영상 등의 콘텐츠를 표시하며, 사용자 입력에 따른 입력 신호에 따라 화면 전환을 수행하거나 부가 정보를 오버레이하여 표시하여, 사용자의 편의성을 증대시킬 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 가상 현실 영상, 증강 현실 영상, 혼합 현실 영상 등의 콘텐츠를 표시하며, 사용자 입력에 따른 입력 신호에 따라 화면 전환을 수행하거나 부가 정보를 오버레이하여 표시함으로써, 사용자의 편의성을 증대시킬 수 있는 것으로, 가상 현실 분야, 증강 현실 분야, 혼합 현실(MR) 분야, 단말 분야, 파노라마 영상 분야, HMD 분야, 쇼핑 정보 제공 분야, 마케팅 분야, 서버 분야 등에서 광범위하게 이용될 수 있다.

10: HMD 장치 100: 표시부
200: 시선 감지부 300: 촬영부
400: 통신부 500: 저장부
600: 음성 출력부 700: 제어부

Claims

HMD 장치의 제어 방법에 있어서,
표시부에 의해, 하나 이상의 객체 마커를 포함하는 콘텐츠를 표시하는 단계;
시선 감지부에 의해, 상기 콘텐츠가 표시되는 화면상에서의 상기 HMD 장치를 착용 중인 사용자의 시선 위치를 산출하는 단계;
제어부에 의해, 상기 산출된 화면상에서의 사용자의 시선 위치가 미리 설정된 시간 이상 유지될 때, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재하는지 여부를 확인하는 단계; 및
상기 확인 결과, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재할 때, 상기 제어부에 의해, 상기 객체 마커와 관련한 기능을 수행하는 단계를 포함하는 HMD 장치의 제어 방법.
제 1 항에 있어서,
상기 콘텐츠는,
가상 현실 영상, 증강 현실 영상 및 혼합 현실 영상 중 어느 하나인 것을 특징으로 하는 HMD 장치의 제어 방법.
제 1 항에 있어서,
상기 객체 마커는,
샵카메라 객체 마커, 상품 객체 마커, 업체 객체 마커, 프로모션 객체 마커 및 크리에이터 객체 마커 중 적어도 하나를 포함하는 것을 특징으로 하는 HMD 장치의 제어 방법.
제 1 항에 있어서,
상기 확인 결과, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재하지 않을 때, 상기 화면상에서 사용자의 시선 위치를 산출하는 과정으로 복귀하는 단계를 더 포함하는 것을 특징으로 하는 HMD 장치의 제어 방법.
제 1 항에 있어서,
상기 객체 마커와 관련한 기능을 수행하는 단계는,
상기 객체 마커와 관련한 다른 콘텐츠를 상기 표시부에 표시하는 화면 전환 기능을 수행하는 과정;
상기 객체 마커와 관련한 부가 정보를 상기 표시부에 표시 중인 콘텐츠에 오버레이하여 표시하는 과정; 및
상기 표시부의 화면을 복수로 분할하고, 상기 분할된 영역 중 하나의 영역에 상기 표시 중이던 상기 콘텐츠를 표시하고, 상기 분할된 영역 중 다른 하나의 영역에 상기 객체 마커와 관련한 부가 정보를 표시하는 과정 중 적어도 하나의 과정을 수행하는 것을 특징으로 하는 HMD 장치의 제어 방법.
HMD 장치에 있어서,
하나 이상의 객체 마커를 포함하는 콘텐츠를 표시하는 표시부;
상기 콘텐츠가 표시되는 화면상에서의 상기 HMD 장치를 착용 중인 사용자의 시선 위치를 산출하는 시선 감지부; 및
상기 산출된 화면상에서의 사용자의 시선 위치가 미리 설정된 시간 이상 유지될 때, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재하는지 여부를 확인하고, 상기 확인 결과, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재할 때, 상기 객체 마커와 관련한 기능을 수행하는 제어부를 포함하는 HMD 장치.
제 6 항에 있어서,
상기 제어부는,
상기 확인 결과, 상기 사용자의 시선 위치가 유지되는 상기 콘텐츠가 표시되는 화면상의 위치에 상기 콘텐츠에 포함된 객체 마커가 존재하지 않을 때, 상기 화면상에서 사용자의 시선 위치를 산출하는 과정으로 복귀하는 것을 특징으로 하는 HMD 장치.
제 6 항에 있어서,
상기 제어부는,
상기 객체 마커와 관련한 다른 콘텐츠를 상기 표시부에 표시하는 화면 전환 기능을 수행하는 기능, 상기 객체 마커와 관련한 부가 정보를 상기 표시부에 표시 중인 콘텐츠에 오버레이하여 표시하는 기능 및, 복수의 영역으로 분할된 상기 표시부의 하나의 영역에 상기 표시 중이던 상기 콘텐츠를 표시하고 다른 하나의 영역에 상기 객체 마커와 관련한 부가 정보를 표시하는 기능 중 어느 하나의 기능을 수행하는 것을 특징으로 하는 HMD 장치.