KR20220111144A - HMD(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 HMD - Google Patents

Abstract

HMD(head mounted display)의 후방으로부터 입사된 광을 반사하는 반사부, HMD의 전방 및 HMD의 사용자를 촬영하는 촬영부, 하나 이상의 명령어를 저장하는 메모리 및 저장된 하나 이상의 명령어를 실행하는 프로세서를 포함하고, 프로세서는 HMD가 착용되는 도중 또는 HMD가 착용되기 이전에 사용자의 형상을 촬영한 초기 영상 및 HMD가 착용된 이후에 사용자의 형상의 적어도 일부를 촬영한 적어도 하나의 부분 영상을 획득하고, 초기 영상의 왜곡을 보정하여 제1 영상으로 저장하고, 적어도 하나의 부분 영상의 왜곡을 보정하고, 제1 영상 및 상기 보정된 적어도 하나의 부분 영상을 재구성하여 사용자의 형상을 나타내는 제2 영상을 생성하고, 초기 영상 및 적어도 하나의 부분 영상은, HMD의 반사부에 의하여 반사된 광을 HMD의 촬영부가 수광함으로써 촬영부에 의해 촬영되는 것을 특징으로 하 는 HMD가 제공될 수 있다.

Description

HMD(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 HMD {IMAGE PROCESSING METHOD OF HEAD MOUNTED DISPLAY AND HEAD MOUNTED DISPLAY IMPLEMENTING THE SAME}

본 개시는 HMD(head mounted display)에 관한 것이다. 좀 더 구체적으로 본 개시는 HMD가 해당 HMD를 착용한 사용자의 영상을 획득하는 방법 및 그 방법을 이용하는 HMD에 관한 것이다.

증강 현실(Augmented reality), 가상 현실(Virtual reality) 및 혼합 현실(Mixed Reality, Merged Reality)을 디스플레이하는 HMD(head mounted display)에 대한 수요와 이용 사례가 증가하고 있다.

이에 따라, 화상 통화 또는 화상 회의 등에도 HMD를 이용하게 되었다.

그러나, 대부분의 HMD는 사용자의 안면부나 두부에 착용된 상태에서 사용자의 눈앞에 배치되는, 시스루(see-through) 형태의 디스플레이 모듈을 통해 HMD 전방의 현실 장면과 가상 이미지를 함께 볼 수 있게 할 뿐, HMD를 착용하고 있는 사용자 본인의 영상은 이용하기 어렵다는 한계가 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예에 따르면, HMD(head mounted display)의 후방으로부터 입사된 광을 반사하는 반사부, 상기 HMD의 전방 및 상기 HMD 장치의 사용자를 촬영하는 촬영부, 하나 이상의 명령어를 저장하는 메모리 및 상기 저장된 하나 이상의 명령어를 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 HMD가 착용되는 도중 또는 상기 HMD가 착용되기 이전에 상기 사용자의 형상을 촬영한 초기 영상 및 상기 HMD가 착용된 이후에 상기 사용자의 형상의 적어도 일부를 촬영한 적어도 하나의 부분 영상을 획득하고, 상기 초기 영상의 왜곡을 보정하여 제1 영상으로 저장하고, 상기 적어도 하나의 부분 영상의 왜곡을 보정하고, 상기 제1 영상 및 상기 보정된 적어도 하나의 부분 영상을 재구성하여 상기 사용자의 형상을 나타내는 제2 영상을 생성하고, 상기 초기 영상 및 상기 적어도 하나의 부분 영상은, 상기 HMD의 반사부에 의하여 반사된 광을 상기 HMD의 촬영부가 수광함으로써 상기 촬영부에 의해 촬영되는 것을 특징으로 하 는 HMD가 제공될 수 있다.

상기 반사부는 상기 HMD의 프레임 하부에 부착된 반사경의 형태이거나, 상기 HMD의 프레임의 표면 중 일부인 반사 가능한 표면의 형태일 수 있다.

상기 프로세서는 상기 하나 이상의 명령어를 실행하여, 상기 제2 영상을 외부 디바이스로 송신하도록 할 수 있다.

상기 프로세서는 상기 하나 이상의 명령어를 실행하여, 디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면을 디스플레이하지 않고 외부 디바이스로부터 수신한 영상만 디스플레이하도록 할 수 있다.

상기 프로세서는 상기 하나 이상의 명령어를 실행하여, 디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면에 상기 제2 영상을 중첩(overlay)하여 디스플레이하도록 할 수 있다.

상기 프로세서는 상기 하나 이상의 명령어를 실행하여, 디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면을 디스플레이하지 않고 상기 제2 영상만을 디스플레이하도록 할 수 있다.

상기 촬영부는 상기 반사부로부터 반사된 광을 수광하여 상기 HMD를 착용한 사용자 주변 환경을 제3 영상으로 획득하고, 상기 프로세서는 상기 하나 이상의 명령어를 실행하여 상기 제3 영상을 기초로, 상기 사용자에 대한 위험을 감지할 수 있다.

본 개시의 또 다른 측면에 따르면, HMD(head mounted display)가 영상을 처리하는 방법에 있어서, 상기 HMD가 착용되는 도중 또는 상기 HMD가 착용되기 이전에 사용자의 형상을 촬영한 초기 영상을 획득하는 단계, 상기 초기 영상의 왜곡을 보정하여 제1 영상으로 저장하는 단계, 상기 HMD가 착용된 이후에 상기 사용자의 형상의 적어도 일부를 촬영한 적어도 하나의 부분 영상을 획득하는 단계, 상기 적어도 하나의 부분 영상의 왜곡을 보정하는 단계, 상기 제1 영상 및 상기 보정된 적어도 하나의 부분 영상을 재구성하여 상기 사용자의 형상을 나타내는 제2 영상을 생성하는 단계를 포함하고, 상기 초기 영상 및 상기 적어도 하나의 부분 영상은, 상기 HMD의 반사부에 의하여 반사된 광을 상기 HMD의 촬영부가 수광함으로써 상기 촬영부에 의해 촬영되는 것을 특징으로 하는 영상 처리 방법이 제공될 수 있다.

상기 반사부는 상기 HMD의 프레임 하부에 부착된 반사경의 형태이거나, 상기 HMD의 프레임 표면 중 일부인 반사 가능한 표면의 형태일 수 있다.

상기 영상 처리 방법은 상기 제2 영상을 외부 디바이스로 송신하는 단계를 더 포함할 수 있다.

상기 영상 처리 방법은 디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면을 디스플레이하지 않고 외부 디바이스로부터 수신한 영상만 디스플레이할 수 있다.

상기 영상 처리 방법은 디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면에 상기 제2 영상을 중첩하여 디스플레이할 수 있다.

상기 영상 처리 방법은 디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면을 디스플레이하지 않고 상기 제2 영상만을 디스플레이할 수 있다.

상기 영상 처리 방법은 상기 촬영부가 상기 반사부로부터 반사된 광을 수광하여 상기 HMD를 착용한 사용자 주변 환경을 제3 영상으로 획득하는 단계 및 상기 제3 영상을 기초로, 상기 사용자에 대한 위험을 감지하는 단계를 더 포함할 수 있다.

본 개시의 또 다른 측면에 따르면, 상기 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

도1a는 본 개시의 일 실시예에 따른 HMD의 구조를 도시한 사시도이다.
도1b는 본 개시의 일 실시예에 따른 HMD의 평면도이다.
도1c는 본 개시의 일 실시예에 따른 HMD의 구성 요소를 도시한 블록도이다.
도2는 본 개시의 일 실시예에 따라 HMD가 영상을 처리하는 방법의 흐름도이다.
도3a는 본 개시의 일 실시예에 따른 HMD의 예시를 설명하기 위한 도면이다.
도3b는 본 개시의 일 실시예에 따른 HMD의 예시를 나타내는 도면이다.
도4는 본 개시의 다른 일 실시예에 따라 HMD의 예시를 나타내는 도면이다.
도5는 본 개시의 일 실시예에 따라 HMD가 영상을 보정하는 예시를 나타내는 도면이다.
도6은 본 개시의 일 실시예에 따라 HMD가 사용자의 초기 영상을 이용하여 영상을 재구성하는 방법을 나타내는 도면이다.
도7은 본 개시의 일 실시예에 따라 HMD가 영상을 디스플레이하는 예시를 나타내는 도면이다.
도8은 본 개시의 다른 일 실시예에 따라 HMD가 영상을 디스플레이하는 예시를 나타내는 도면이다.
도9는 본 개시의 다른 일 실시예에 따라 HMD가 영상을 디스플레이하는 예시를 나타내는 도면이다.
도10은 본 개시의 일 실시예에 따라 HMD가 착용자 주변의 위험을 감지하는 예시를 나타내는 도면이다.
도11은 본 개시의 일 실시예에 따라 HMD가 착용자의 활동을 인식하여 정보를획득하는 예시를 나타내는 도면이다.

　　　본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시가 이하에서 제시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.

　　　본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

　　　명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

　　　본 개시에서, '증강 현실(AR: Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.

　　　본 개시에서 '가상 현실(VR: Virtual Reality)'은 컴퓨터 및 광학 엔진을 통해 생성되는 가상의 이미지를 보여주는 것을 의미한다.

　　　본 개시에서 '혼합 현실(MR: Mixed Reality)'은 현실 세계와 가상의 세계를 결합시켜 만드는 일종의 하이브리드 현실로서 현실 세계의 객체와 가상 세계의 객체가 상호 작용할 수 있도록 만드는 것을 의미한다.

본 개시에서 ‘HMD(head mounted display)’는 사용자가 안면부(顔面部) 또는 두부(頭部)에 착용하여 사용자의 눈 앞에 영상을 디스플레이하는 다양한 형상의 디바이스를 포괄한다. 예를 들어, HMD는 안경 형상의 디바이스 또는 헬멧 형상의 디바이스 등을 포함할 수 있다.

본 개시의 HMD는 현실 장면 뿐 아니라 증강 현실, 가상 현실, 혼합 현실을 디스플레이 할 수 있다.

　　　본 개시에서 ‘영상(image)’은 정지 영상, 또는 동영상을 포함할 수 있다. 또한, 정지 영상은 하나의 영상 또는 소정 시간 내에 연속하여 촬영된 영상 시퀀스를 포함할 수 있다.

본 개시에서 '현실 장면(real scene)'이란 사용자가 HMD를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)를 포함할 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.

도1a는 본 개시의 일 실시예에 따른 HMD의 구조를 도시한 사시도이고, 도1b는 본 개시의 일 실시예에 따른 HMD의 평면도이다.

도1a 및 도1b를 참조하면, 본 실시예의 HMD(100)는 사용자가 착용할 수 있도록 구성된 안경형 증강 현실 장치(Augmented Reality Glasses)로서, 안경형 몸체(101)를 포함한다.

안경형 몸체(101)는 예시적으로 프레임(frame)(102)과, 안경다리들(temples)(103)을 포함할 수 있다. 프레임(102)은, 예시적으로 브릿지(bridge)(108)로 연결된 2개의 테(rim)형상을 가질 수 있으며 HMD(100)의 안경알(104L, 104R)을 고정할 수 있다. 안경알(104L, 104R)은, 굴절력(도수)를 가지거나 혹은 가지지 않을 수 있다. 또는 안경알(104L, 104R)은 일체로 형성될 수 있으며, 이 경우 프레임(102)의 테와 브릿지(108)가 구분되지 않을 수도 있다..

안경다리들(103)은 프레임(102)의 양 단부에 각각 연결되고 일 방향으로 연장된다. 안경다리들(103)은 예를 들어, 탄성에 의해 휘어지는(flexible) 소재로 구성될 수 있으나, 이에 한정되지 않는다. 프레임(102)과 안경다리들(103)은 힌지(hinge)(105)에 의해 연결될 수 있다. 힌지(105)는 예시적인 것으로서, 프레임(102)과 안경다리들(103)을 연결하는 공지의 부재가 채용될 수 있다. 다른 예로, 프레임(102)과 안경다리들(103)은 일체로(혹은 연속하여) 연결되어 있을 수도 있다.

프레임(102)에는 웨이브가이드(106) 및 광 투과 유닛(107)이 배치될 수 있고, 일 실시예에서 프레임(102)의 하단에는 반사부(130L, 130R)가 배치될 수 있다. 반사부(130)는 HMD의 후방으로부터 수광되는 빛을 반사하여 HMD 후방을 촬영할 수 있게 한다. HMD의 후방에 대하여는 도3a 및 도3b에서 상세하게 설명하기로 한다. 반사부(130)에 의해 반사된 광을 이용하여 촬영부(140)가 HMD(100)를 착용하고 있는 사용자의 형상을 촬영할 수 있다.

도 1b를 참조하면, HMD(100)는 전자 부품들(190), 디스플레이 모듈(160), 전원 공급부(170) 및 촬영부(140)를 더 포함할 수 있다. HMD(100)의 구성 요소에 대해서는 도1b 및 도1c에서 상세하게 설명하기로 한다.

도1c는 본 개시의 일 실시예에 따른 HMD의 구성 요소를 도시한 블록도이다.

도1b 및 도1c를 참조하면, HMD(100)는 프레임(102), 안경다리들(103), 브릿지(bridge)(108), 웨이브가이드(106), 광 투과 유닛(107), 디스플레이 모듈(160), 프로세서(120), 메모리(110), 전원 공급부(170), 통신부(180), 촬영부(140) 및 저장부(150)를 포함할 수 있다. HMD(100)가 포함하는 구성 요소가 도 1b 및 도1c에 도시된 바와 같이 한정되는 것은 아니다.

광학 부품들은 디스플레이 모듈(160)에 의해 출력되는 가상 이미지의 광과 현실 장면의 광을 사용자의 눈으로 전달하도록 구성된 것으로서, 웨이브가이드(106)와 광 투과 유닛(107)을 포함할 수 있다. 도 1a 및 도 1b를 참조하면, 광학 부품들은 각각 프레임(102)의 좌측 및 우측에 배치될 수 있다. 좌측 안경알(1040L)과 우측 안경알(1040R)에는 각각 좌안 광학 부품들 및 우안 광학 부품들이 배치 또는 부착될 수 있다. 또는 좌안 광학 부품들 및 우안 광학 부품들은 안경알(1040L, 1040R)과 별개로 프레임(102)에 장착될 수도 있다. 다른 예로, 좌안 광학 부품들 및 우안 광학 부품들은 일체로 구성되어 프레임(102)에 장착될 수도 있다. 또 다른 예로, 광학 부품들은 프레임(102)의 좌측 및 우측 중 어느 한 쪽에만 배치될 수 있다.

웨이브가이드(106)는 사용자가 HMD(100)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브가이드(106)의 배면은 사용자가 HMD(100)를 착용할 때, 사용자의 눈이 마주하는 면을 의미하고, 웨이브가이드(106)의 전면은 배면에 대향되는 면(즉, 사용자의 눈에서 먼 쪽의 면)을 의미한다. 웨이브가이드(106)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다.

웨이브가이드(106)는 디스플레이 모듈(160)의 출사면에 마주하여, 디스플레이 모듈(160)로부터 투사된 가상 이미지의 광을 수광하고, 전반사(total reflection) 원리에 의해 광을 전파하고, 광 경로를 변경하여 최종적으로는 사용자의 눈을 향해 출력하도록 하는 복수의 영역을 포함할 수 있다. 복수의 영역에는 회절 격자가 형성될 수 있다. 웨이브가이드(106)는 도광판과 같은 기능을 수행한다. 사용자는 웨이브가이드(106)를 통해 가상 이미지 및 현실 객체를 동시에 볼 수 있다.

광 투과 유닛(107)은 외부로부터 입사되는 광의 일부를 투과시켜 웨이브가이드(106)을 통해 출력되는 가상 이미지의 시인성을 향상시키기 위한 구성 요소이다.

광 투과 유닛(107)은 프레임(102)에 결합되고, 웨이브가이드(106)의 전면에 배치될 수 있다. 여기서, 웨이브가이드(106)의 ‘전면’은 사용자가 HMD(100)를 착용한 경우, 사용자의 눈에서 멀고 현실 장면에 가까운 위치에 배치될 수 있다. 일 실시예에서, 광 투과 유닛(107)은 웨이브가이드(106)와 일정 거리만큼 이격되도록 배치될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 광 투과 유닛(107)은 웨이브가이드(106)의 전면에 광학 투명 접착제(Optical Clear Adhesive)를 통해 결합될 수 있다.

일 실시예에서 광 투과 유닛(107)은 전원 공급부(170)로부터 인가되는 공급 전압에 대응하여 외부로부터 입사되는 광의 투과율을 변경 또는 조절하는 구성 요소일 수 있다. ‘광 투과율’은 외부로부터 HMD(100)에 입사되는 입사 광량에 대한 투과 광량의 비율을 의미한다. 광 투과 유닛(107)에 의해 광 투과율이 높아지면, 외부로부터 광 투과 유닛을 통과하여 입사되는 광량이 늘어나고, 이에 따라 사용자가 바라보는 현실 객체의 밝기가 밝아진다. 반대로, 광 투과 유닛(107)에 의해 광 투과율이 낮아지면, 외부로부터 광 투과 유닛을 통과하여 입사되는 광량이 줄어들고, 따라서 사용자가 바라보는 현실 객체의 밝기는 어두워진다.

광 투과 유닛(107)은 예를 들어, 산화 인듐 주석(Indium Tin Oxide: ITO) 층, 전기 변색 층, 전해질 층 및 전극을 포함할 수 있다.

본 개시의 일 실시예에서 광 투과 유닛(107)은 광의 투과율을 변경 또는 조절 가능한 것으로 기재되었지만, 다른 일 실시예에서 광 투과 유닛(107)의 광 투과율은 변경 또는 조절이 가능하지 않을 수도 있다. 광 투과 유닛(107)은 플라스틱 또는 유리와 같이 고정된 투과율을 가지는 투명 또는 반투명한 재질로 구성될 수 있다.

본 개시의 일 실시예에서는 HMD(100)가 광 투과 유닛(107)을 포함하는 것으로 설명되었지만, 이에 제한되지 않으며, 광 투과 유닛(107)을 포함하지 않을 수도 있다.

디스플레이 모듈(160)은 가상 이미지의 광을 생성하도록 구성되고, 화상 패널, 조명 광학계, 투사 광학계 등을 포함하는 프로젝터(projector)의 광학 엔진일 수 있다. 디스플레이 모듈(160)은 좌안 디스플레이 모듈 및 우안 디스플레이 모듈을 포함할 수 있다. 디스플레이 모듈(160)은 프레임(102) 내에 배치될 수 있으나, 이에 한정되는 것은 아니다. 디스플레이 모듈(160)은 안경다리들(103)에 각각 배치될 수도 있다.

디스플레이 모듈(160)은 광을 출력하는 광원, 광원으로부터 출력되는 광을 이용하여 2차원의 가상 이미지를 형성하는 화상 패널, 및 화상 패널에서 형성되는 가상 이미지의 광을 투사하는 투사광학계를 포함할 수 있다. 광원은 광을 조명하는 광학 부품으로서, RGB의 컬러를 조절하여 광을 생성할 수 있다. 광원은 예를 들어, 발광 다이오드(LED)로 구성될 수 있다. 화상 패널은 광원에 의해 조명된 광을 2차원 이미지를 담은 광으로 변조하면서, 반사하는 반사형 화상 패널로 구성될 수 있다. 반사형 화상 패널은 예를 들어, DMD(Digital Micromirror Device) 패널 또는 LCoS(Liquid Crystal on Silicon) 패널이나, 그밖의 공지의 반사형 화상 패널일 수 있다.

일 실시예에서, 디스플레이 모듈(160)은 광을 출력하는 광원과 광원에서 출력된 광을 2차원으로 주사하는 2축 스캐너(scanner)를 포함할 수 있다.

다른 실시예에서, 디스플레이 모듈(160)은 광을 출력하는 광원과 광원에서 출력된 광을 이용하여 선형 이미지(즉, 1차원의 이미지)를 형성하는 선형 화상 패널과, 선형 화상 패널에서 형성되는 선형 이미지의 광을 주사하는 1축 스캐너를 포함할 수도 있다.

디스플레이 모듈(160)은 프로세서(120)로부터 가상 이미지를 구성하는 이미지 데이터를 획득하고, 획득된 이미지 데이터에 기초하여 가상 이미지를 생성하고, 광원으로부터 출력된 가상 이미지를 구성하는 광을 출사면을 통해 웨이브가이드(106)에 투사(project)할 수 있다. 일 실시예에서, 프로세서(120)는 가상 이미지를 구성하는 복수의 픽셀의 RGB 컬러 및 휘도 값을 포함하는 이미지 데이터를 디스플레이 모듈(160)에 제공하고, 디스플레이 모듈(160)은 복수의 픽셀 각각의 RGB 컬러 값과 휘도 값에 따라, 광원을 제어함으로써 가상 이미지를 구성하는 광을 웨이브가이드(106)에 투사할 수 있다. 일 실시예에서, 디스플레이 모듈(160)은 광원이 백색광으로 조명되는 광학적으로 활성인 물질에 의해 변조되는 투과성 투사 기술(transmissive projection technology)을 이용하여 가상 이미지를 투사할 수 있다.

전자 부품들(190)은 프로세서(120), 메모리(110) 저장부(150) 및 통신부(180)를 포함하고, 프레임(102) 또는 안경다리들(103)의 어느 한 곳에 위치하거나 또는 복수 위치에 분산되어 위치할 수 있으며, PCB 기판, FPCB 기판 등에 실장될 수 있다.

프로세서(120)는 광 투과 유닛(107) 및 디스플레이 모듈(160)과 전기적 및/또는 물리적으로 연결될 수 있다. 프로세서(120)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.

메모리(110)는 하나 이상의 명령어들을 포함하는 프로그램을 저장할 수 있다. 메모리(110)는 예를 들어, 플래시 메모리 타입(flash memory type), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.

메모리(110)는 HMD(100)의 동작을 제어하기 위해 프로세서(120)에 의해 실행될 명령어 또는 명령어들로 구성된 프로그램을 저장할 수 있다. 예를 들어, 메모리(110)는 프로세서(120)에 의하여 실행될 때, 프로세서(120)가 읽을 수 있고, 실행할 수 있는 적어도 하나의 명령어를 저장하여, 프로세서(120)가 후술할 도2의 영상 처리 방법에 포함된 단계들을 실행할 수 있도록 한다.

일 실시예에서 적어도 하나의 명령어는, 촬영부(140)가 반사부(130)로부터 반사된 광을 수광하여, HMD(100)가 사용자에 의해 착용되는 도중 또는 HMD(100)가 사용자에 의해 착용되기 전에 사용자의 형상을 촬영한 초기 영상을 획득하고, 초기 영상의 왜곡을 보정하여 제1 영상으로 저장하는 단계를 실행하는 명령어들을 포함할 수 있다. 일 실시예에서 적어도 하나의 명령어는, HMD가 사용자에 의하여 착용된 이후에 사용자의 형상의 적어도 일부를 촬영한 적어도 하나의 부분 영상을 획득하고, 적어도 하나의 부분 영상의 왜곡을 보정하는 단계를 실행하는 명령어들을 포함할 수 있다. 일 실시예에서 적어도 하나의 명령어는, 제1 영상 및 보정된 적어도 하나의 부분 영상을 재구성하여 사용자의 형상을 나타내는 제2 영상을 생성하는 단계를 실행하는 명령어들을 포함할 수 있다. 여기서 사용자는 HMD를 착용하고 있는 사용자를 의미할 수 있다.

일 실시예에서 HMD(100)는 복수의 메모리를 포함할 수 있다.

프로세서(120)는 메모리(110)에 저장된 명령어를 실행할 수 있다.

프로세서(120)는 촬영부(140)가 촬영한 영상에 대하여 왜곡 보정을 실시하고, 촬영부(140)가 촬영한 영상을 재구성할 수 있다. 프로세서(120)가 실시하는 왜곡 보정 및 영상 재구성에 대하여 자세한 내용은 도5 및 도6에서 후술한다.

반사부(130)는 HMD(100)를 착용한 사용자를 향하는 사용자 방향 즉, HMD(100)의 후방으로부터 입사된 광을 반사할 수 있다.

반사부(130)는 HMD(100)를 착용한 사용자를 향하는 사용자 방향으로부터 입사되는 광을 촬영부(140)로 반사할 수 있다.

본 개시에서 HMD(100)를 착용한 사용자를 향하는 사용자 방향으로부터 입사된 광은 태양이나 조명 등으로부터 방출된 광이 HMD(100)를 착용한 사용자가 위치한 방향에 있는 다양한 객체들에 의하여 굴절된 광일 수 있다. 사용자 방향에 있는 다양한 객체는 사용자를 포함할 수 있다.

일 실시예에서 반사부(130)는 구형의 반사경일 수 있다. 구형의 반사경 형태인 반사부(130)는 안경 형상 HMD의 안경알이 위치하는 프레임(102)의 하부에 부착된 형태로 위치할 수 있다.

　　　그러나 반사부(130)가 이러한 형태로 한정되는 것은 아니고, 반사부(130)는 다양한 형태를 가질 수 있으며, 직진성을 가지는 광의 경로를 변경할 수 있는 다양한 종류의 물질로 구성될 수 있다. 예를 들어, 반사부(130)는 볼록 거울의 형태일 수 있다.

일 실시예에서 반사부(130)는 두 개 이상 존재할 수 있다.

촬영부(140)는 프레임(102) 또는 안경다리들(103)의 어느 한 곳에 위치하거나 또는 복수 위치에 분산되어 위치할 수 있다.

촬영부(140)는 영상 또는 이미지 시퀀스를 획득할 수 있다. 일 실시예에서, 촬영부(140)는 시각적 이미지를 획득하는 녹화부 및 청각적 음향을 획득하는 녹음부를 포함할 수 있다. 일 실시예에서, 촬영부(140)는 녹화부 및 녹음부로 물리적으로 분리되지 않는 단일한 구성일 수도 있다. 촬영부(140)는, 예를 들어, 단안(monocular) 카메라, 쌍안(binocular) 카메라, 또는 적외선 카메라 중 적어도 하나와 같이 HMD(100)에 내장된 다양한 종류의 카메라를 포함할 수 있다.

촬영부(140)는 사용자에 의하여 HMD(100)가 착용되는 도중 또는 착용되기 이전에 사용자의 형상을 촬영할 수 있다.

프로세서(120)는 촬영부(140)가 촬영한 사용자의 형상을포함하는 영상을 초기 영상으로 획득할 수 있다.

또한, 촬영부(140)는 반사부(130)에 의하여 반사된 광을 수광하여 HMD(100)가 착용된 이후에 사용자의 형상을 촬영한 적어도 하나의 부분 영상을 획득할 수 있다.

촬영부(140)는 이미지 센서(도시되지 않음)를 포함할 수 있다.

일 실시예에서 이미지 센서는 반사부(130)로부터 광을 수광하여 영상을 생성할 수 있다.

일 실시예에서 촬영부(140)는 안경 형상 HMD(100)의 안경다리(103) 중 일부에 위치할 수 있다.

일 실시예에서 반사부(130)가 두 개 이상 존재하는 경우(130L, 130R), 촬영부(140)는 각 반사부(130)에 대응하는 수만큼 존재하여 각 반사부(130)로부터 반사되어 획득되는 영상을 각각 획득할 수 있다.

일 실시예에서 반사부(130) 및 촬영부(140)가 복수 개 존재하는 경우, HMD(100)는 각 촬영부(140)에서 획득되는 영상을 결합하여 하나의 영상을 완성할 수 있다.

저장부(150)는 프로세서(120)에 의해 생성되거나 또는 획득되는 정보를 저장하는 저장 매체이다. 일 실시예에서, 저장부(150)는 HMD(100)를 착용하기 전 또는 HMD(100) 착용 시의 사용자를 촬영한 초기 영상의 보정 영상 또는 HMD(100) 착용 후의 사용자를 촬영한 적어도 하나의 부분 영상에 대응하는 보정 영상 중 적어도 하나를 저장할 수 있다.

저장부(150)는 비휘발성 메모리로 구성될 수 있다. 비휘발성 메모리(Non-volatile memory)는 전원이 공급되지 않은 상태에서도 정보를 저장 및 유지하고, 전원이 공급되면 다시 저장된 정보를 사용할 수 있는 기억 매체를 의미한다. 비휘발성 메모리는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), SSD(Solid State Drive), 롬(Read Only Memory; ROM), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나를 포함할 수 있다.

도1c에서 저장부(150)는 증강 현실 디바이스(1000) 내에 포함되는 구성 요소로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 저장부(150)는 HMD(100)에 포함되지 않는 외부 구성 요소로서, 예를 들어 외부 메모리 형태(예를 들어, 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등))로 구성되거나, 또는 서버 내에 포함되는 구성 요소로 구현될 수 있다. 이 경우, 저장부(150)는 유무선 통신을 통해 HMD(100)와 연결될 수 있다.

통신부(180)는, HMD(100)와 외부 디바이스(미도시) 또는 서버(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.

예를 들어, 통신부(180)는 근거리 통신부, 이동 통신부를 포함할 수 있다.

근거리 통신부는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부(180)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

　　　일 실시 예에 따라 HMD(100)는, 통신부(180)를 통해, 촬영부(140)를 이용해 획득되고, 프로세서를 통하여 재구성된 영상을 외부 디바이스로 전송할 수 있다. 또한, HMD(100)는, 통신부(180)를 통해, 외부 디바이스에서 영상을 수신하고, 수신한 이미지를 다양한 방식으로 디스플레이할 수 있다.

본 개시에서 외부 디바이스는 HMD(100)와 다양한 방식으로 연결되어, 서로 통신하는 다른 HMD 또는 다른 전자 디바이스일 수 있다.

또한 본 실시예에서 메모리(110), 프로세서(120), 촬영부(140) 및 저장부(150)는 HMD (100) 내부에 인접하여 위치한 구성 단위로 표현되었지만, 메모리(110), 프로세서(120), 촬영부(140) 및 저장부(150)의 각 기능을 담당하는 장치는 반드시 물리적으로 인접할 필요는 없으므로, 실시 예에 따라 메모리(110), 프로세서(120), 촬영부(140) 및 저장부(150)가 분산되어 있을 수 있다.

또한, HMD(100)의 기능 중 일부는 하드웨어가 아닌 소프트웨어로 구현될 수도 있다.

본 명세서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 HMD(100)의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, HMD(100)는 본 명세서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 디바이스의(100) 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.

다른 실시예에서 HMD(100)는 분리된 하드웨어 유닛들을 포함할 수 있다. 이러한 실시예에서, 각 하드웨어 유닛은 본 개시 방법의 각 단계 혹은 서브 단계를 실행할 수 있다.

도 2는 본 개시의 일 실시예에 따라 HMD가 영상을 처리하는 방법의 흐름도이다.

단계 S210에서 HMD(100)는 HMD(100)가 착용되는 도중 또는 HMD(100)가 착용되기 이전에 사용자의 형상을 촬영한 초기 영상을 획득할 수 있다. HMD(100)가 착용되는 도중에 촬영된 사용자의 형상은 HMD(100)를 착용 중인 사용자가 해당 HMD(100)를 착용하는 과정에서 포착된 적어도 하나의 형상일 수 있다. HMD(100)가 착용되기 이전에 촬영된 사용자의 형상은 HMD(100) 착용 시점 또는 부분 영상 촬영 시점으로부터 소정 시간 이내에 촬영된 사용자의 형상일 수 있다.

촬영부(140)는 사용자에 의하여 HMD(100)가 착용되는 도중 또는 HMD(100)가 착용되기 이전에 사용자의 형상을 촬영한 초기 영상을 획득할 수 있다.

단계 S220에서 HMD(100)는 초기 영상의 왜곡을 보정하여 제1 영상으로 저장할 수 있다.

일 실시예에서 반사부(130)가 볼록한 형태(convex shape)인 경우, 볼록한 반사경 표면을 통하여 더 넓은 범위의 객체를 촬영하는 것이 가능하지만, 볼록한 모양으로 인하여 영상의 왜곡이 발생할 수 있다.

예를 들어, 반사부(130)는 볼록 거울의 형태일 수 있는데, 이 경우에도 볼록한 거울의 모양으로 인하여 영상의 왜곡(distortion)이 발생할 수 있다.

HMD(100)는 이러한 왜곡 보정을 위하여 다양한 보정 방법을 이용할 수 있는데 이에 대한 자세한 내용은 도5에서 후술한다.

단계 S230에서 HMD(100)는 촬영부(140)는 HMD(100)가 착용된 이후에 사용자의 형상(appearance)의 적어도 일부를 촬영한 적어도 하나의 부분 영상을 획득할 수 있다.

HMD(100) 착용 후의 사용자의 형상(appearance)의 적어도 일부는 HMD(100)의 반사부(130)에 의하여 반사된 광을 HMD(100)의 촬영부(140)가 수광함으로써 촬영될 수 있다.

촬영부(140)는 HMD(100)의 후방으로부터 입사되고, HMD(100)의 반사부(140)에 의하여 반사된 광을 수광할 수 있다.

통상의 HMD(100)는 현실 장면을 획득함에 있어서 프레임의 전면 방향의 영상만을 획득하지만, 본 개시의 HMD(100)는 반사부(130)를 이용함으로써 HMD(100)후방의 영상을 획득할 수 있다.

일 실시예에서 HMD(100)는 HMD(100)를 착용한 사용자의 형상뿐 아니라, 사용자 주변 환경에 관한 영상도 획득할 수 있다.

단계 S240에서 HMD(100)는 적어도 하나의 부분 영상의 왜곡을 보정할 수 있다. 이러한 왜곡 보정은 단계 S220의 왜곡 보정과 동일한 방법으로 이루어질 수 있다.

단계 S250에서 HMD(100)는 제1 영상 및 보정된 적어도 하나의 부분 영상을 재구성하여 사용자의 형상을 나타내는 제2 영상을 생성할 수 있다.

HMD(100)가 착용된 후, 반사부(130)를 통하여 획득되는 적어도 하나의 부분 영상은 짧은 초점 거리로 인하여 사용자의 전체 형상이 촬영된 영상이 아닌 사용자의 일부 형상이 촬영된 영상일 수 있다.

따라서, HMD(100)는 상대적으로 긴 초점 거리로 촬영된 초기 영상에, 착용 후 획득된 사용자의 적어도 하나의 부분 영상을 결합시켜 사용자의 영상을 재구성할 수 있다. 이에 대한 자세한 내용은 도6에서 후술한다.

일 실시예에서 영상 처리 방법은 재구성된 영상 즉, 제2 영상을 외부 디바이스로 송신하는 단계 또는 외부 디바이스로부터 정보를 수신하는 단계를 더 포함할 수 있다. 외부 디바이스는 다른 HMD 혹은 전자 디바이스일 수 있다.

본 실시예에서 단계 S210의 초기 영상 및 단계 S230의 적어도 하나의 부분 영상은 HMD(100)의 반사부(130)에 의하여 반사된 광을 HMD(100)의 촬영부(140)가 수광함으로써 촬영부(140)에 의하여 촬영되는 것일 수 있다.

도3a는 본 개시의 일 실시예에 따른 HMD의 예시를 설명하기 위한 도면이고, 도3b는 본 개시의 일 실시예에 따른 HMD의 예시를 나타내는 도면이다.

도3a에 도시된 바와 같이, 3차원 공간 상에서 X축은 HMD(100)를 좌우로 지나는 기준 축이고, Y축은 HMD(100)를 상하로 지나는 기준 축이며, Z축은 HMD (100)를 전후로 지나는 기준 축일 수 있다. 또한, X축, Y축 및 Z축은 서로 수직을 이룰 수 있다.

본 개시에서 HMD(100)의 전방은 HMD(100)를 기준으로 HMD(100)를 착용한 사용자의 눈이 위치하는 방향의 반대 방향(310)일 수 있다. 예를 들어, HMD(100)의 전방은 HMD(100)의 프레임(102)을 기준으로 도3a의 Z축 화살표 방향인 프레임(102)의 전방을 포함할 수 있다. 또는, 예를 들어, HMD(100)의 전방은 촬영부(140)를 기준으로 Z축 화살표 방향인 촬영부(140) 전방을 포함할 수 있다.

HMD(100)의 후방은 HMD(100)를 기준으로 HMD(100)를 착용한 사용자의 눈이 위치하는 방향일 수 있다. HMD(100)의 후방은, 예를 들어, HMD(100)의 프레임(102)을 기준으로 도3a의 Z축 화살표의 반대 방향인 프레임(102)의 후방을 포함할 수 있다. 또는, 예를 들어, HMD(100)의 후방은, 촬영부(140) 전방의 반대 방향을 포함할 수 있다.

HMD(100)는 사용자의 머리 부분에 착용되어, 사용자에게 증강현실 서비스와 관련된 영상을 제공할 수 있다. 일 실시예에 따르면, HMD(100)는 사용자의 시야각(FoV, field of view)에 대응되는 영역에 적어도 하나의 가상 객체가 겹쳐 보이도록 출력하는 증강 현실 서비스를 제공할 수 있다. 예를 들어, 사용자의 시야각에 대응되는 영역은, 사용자의 시야각 내에 포함되는 영역으로 HMD(100)를 착용한 사용자가 HMD(100)를 통해 인지할 수 있다고 판단되는 영역일 수 있다.

일 실시예에서 HMD(100)의 전방이 촬영된 영상은 프레임(102)의 전방(310)이 촬영된 영상 및 촬영부(140)의 전방(320)이 촬영된 영상을 포함할 수 있다.

일 실시예에서 HMD(100)의 적어도 하나의 촬영부(140)는 프레임(102)에 위치하여 HMD(100) 전방(310)에 대응되는 영상을 획득할 수 있다. 적어도 하나의 촬영부(140)는 사용자의 시야각(FoV, field of view)에 대응되는 영상을 촬영할 수 있다.

일 실시예에서 HMD(100)의 적어도 하나의 촬영부(140)는 안경다리들(103) 중 일부에 위치하여 촬영부(140) 전방(320)에 대응되는 영상을 획득할 수 있다.

HMD(100)는 또한 촬영부(140)를 통하여 반사부(130)로부터 반사된 광(330)을 촬영한 영상을 획득할 수 있다. 반사부(130)로부터 반사된 광(330)을 촬영한 영상은 HMD(100)의 후방에 대응하는 영상일 수 있다. 반사부(130)로부터 반사된 광(330)을 촬영한 영상은 HMD(100)를 착용한 사용자를 촬영한 영상을 포함할 수 있다.

일 실시예에서 HMD(100)는 프레임(102)의 전방(310)이 촬영된 영상, 촬영부(140)의 전방(320)이 촬영된 영상, 반사부(130)에서 반사된 광(330)을 촬영한 영상을 함께 획득할 수 있다.

HMD(100)는 프레임(102)의 전방(310)이 촬영된 영상, 촬영부(140)의 전방(320)이 촬영된 영상 및 반사부(130)에서 반사된 광(330)을 촬영한 영상을 디스플레이 모드에 따라 다양한 방식으로 디스플레이할 수 있다.

HMD(100)는 프레임(102)의 전방(310)이 촬영된 영상, 촬영부(140)의 전방(320)이 촬영된 영상 및 반사부(130)에서 반사된 광(330)을 촬영한 영상을 증강 현실, 가상 현실, 혼합 현실의 형태로 디스플레이 할 수 있다.

도 4는 본 개시의 다른 일 실시예에 따라 HMD의 예시를 나타내는 도면이다.

도 4의 실시예에서 반사부(130)는 HMD(100)의 표면 중 반사 가능한 재질인 일부 표면일 수 있다.

본 실시예에서 HMD(100)는 반사경과 같은 별도의 구조를 포함할 필요가 없다. 일 실시예에서 HMD(100)의 표면 중 반사 가능한 재질인 일부 표면은 복수의 부분에 존재할 수 있다. 일 실시예에서 반사부(130)는 HMD(100)의 프레임(102) 표면 중 반사 가능한 재질인 일부 표면일 수 있다.

일 실시예에서 반사 가능한 재질인 일부 표면은 볼록한 형태로 돌출되어 있을 수 있다.

도 5는 본 개시의 일 실시예에 따라 HMD가 영상을 보정하는 예시를 나타내는 도면이다.

반사부(130)를 통하여 촬영부(140)가 획득한 사용자의 영상(510)은 반사 과정에서의 왜곡을 포함하므로, HMD(100)는 왜곡 보정을 실행하여 보정된 영상(520)을 획득할 수 있다.

반사되는 과정에서의 왜곡은 반사부(130)의 형태나 재질 등에 의하여 발생하는 다양한 종류의 왜곡일 수 있다.

그 중에서 본 실시예의 왜곡은 반사부(130)가 볼록 거울 형태인 경우에 발생하는 왜곡일 수 있다. 이러한 왜곡은 어안 왜곡(fisheye distortion) 혹은 어안 렌즈 왜곡과 동일한 것일 수 있다.

어안 왜곡은 단초점 렌즈를 이용하여 넓은 각도의 시계를 촬영하는 경우 영상의 중심부가 볼록한 모양으로 변경되는 왜곡을 의미할 수 있다.

어안 왜곡 보정 방법은 CCTV 촬영 영상에 대한 왜곡 보정 방법 또는 광각 렌즈를 이용하는 카메라의 왜곡 보정 방법 등과 같이 다양한 분야에서 이미 이용되고 있으며, 수많은 새로운 알고리즘이 연구, 발표되고 있는데, 본 실시예의 반사부(130)로 인하여 발생된 어안 왜곡의 보정에는 이러한 다양한 알고리즘이 이용될 수 있다.

일 실시예에서, 어안 왜곡 보정 방법으로 인공지능 분야의 딥 러닝 알고리즘이 이용될 수 있다.

본 개시에 따른 인공지능과 관련된 기능은 프로세서(120)와 메모리(110)를 통해 동작된다. 프로세서(120)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.

기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.

인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.

딥 러닝 알고리즘을 이용하는 실시예에서, 프로세서(120)는 기 학습된 심층 신경망 모델(pre-trained deep neural network)을 이용하여, 촬영된 영상의 어안 왜곡을 보정할 수 있다. 기 학습된 심층 신경망 모델은 어안 왜곡을 포함하는 하나의 촬영 영상을 입력 값으로 하고, 어안 왜곡의 보정이 완료된 영상을 출력 값으로 하는 학습(learning)을 통해 트레이닝된 인공지능 모델일 수 있다.

심층 신경망 모델은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN)일 수 있다. 그러나 이에 한정되는 것은 아니고, 심층 신경망 모델은 순환 신경망 모델(Recurrent Neural Network; RNN), 제한 볼츠만 머신(Restricted Boltzmann Machine; RBM), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함하는 공지의 인공지능 모델일 수 있다.

구체적으로 딥 러닝 알고리즘은 장면에 대한 시만틱 이해(semantic understanding)를 추출된 이미지 특징(extracted image feature)에 적용하여 어안 왜곡을 보정하기 위해 트레이닝 되는 알고리즘일 수 있다.

일 실시예에서, 이러한 인공지능 모델은, 네 개의 신경망 레이어들로 구성될 수 있다.

먼저, 기본 네트워크 (base network)는 어안 왜곡을 포함하는 하나의 촬영 영상으로부터 이미지 특징을 추출할 수 있다.

　　　본 개시에서 ‘이미지 특징(image feature)’은 영상에서 물체를 추적하거나 인식할 때 이용될 수 있으며, 영상 내에서 주위 배경과 물체들을 구별하기 위한 점들에 대한 데이터를 포함할 수 있다. 예를 들어, 물체의 형태나 크기나 위치가 변해도 쉽게 식별이 가능한 점(point), 또는 카메라의 시점이나 조명이 변해도 쉽게 식별이 가능한 점(point)에 관한 데이터가 이미지 특징에 포함될 수 있다.. 예를 들어, 영상 내의 객체들의 경계선 상에 위치하는 점들이 이미지 특징이 될 수 있다.

이미지 특징을 추출하는 방법 중 하나인 특징점 추출에는, SIFT(Scale Invariant Feature Transform) 기법, Shi-Tomasi 특징점 추출법, Harris Corner 기법, FAST(Features from Accelerated Segment Test) 기법 등, 다양한 특징점 추출 기법들이 적용될 수 있다.

추출된 이미지 특징은 장면 파싱 네트워크(scene parsing network) 및 왜곡 파라미터 예측 네트워크(distortion parameter estimation network)에 입력 값으로 제공될 수 있다.

장면 파싱 네트워크(scene parsing network)는 추출된 이미지 특징을 입력 받아 시만틱 이해를 디코딩하여 장면 파싱 결과를 생성할 수 있다. 예를 들어, 장면에 대한 시만틱 이해는 고층 건물의 바운더리는 왜곡 보정 후 직선이어야 한다는 것일 수 있다. 이러한 이해는 정확한 왜곡 보정 결과를 획득하기 위한 추가 정보(supplementary information)로 이용될 수 있다.

왜곡 파라미터 예측 네트워크는 추출된 이미지 특징 및 시만틱 이해를 이용하여 왜곡 파라미터를 예측할 수 있다. 예측된 파라미터는 입력 이미지 및 장면 파싱 결과와 함께 왜곡 보정 레이어(dirstortion rectification layer)에 제공될 수 있고, 왜곡 보정 레이어는 예측된 파라미터, 입력 이미지, 장면 파싱 결과를 이용하여 최종 보정 이미지를 생성할 수 있다.

이러한 알고리즘은 예시일 뿐, 딥 러닝 알고리즘의 종류가 이에 한정되는 것은 아니다.

다른 실시예에서는 반사부(130)의 형태나 재질 등에 의하여 어안 왜곡 이외에 다른 종류의 왜곡이 발생할 수도 있는데, 이 경우에도 발생한 왜곡의 종류에 맞는 다양한 보정 알고리즘이 이용될 수 있다.

HMD(100)는 보정된 영상(520)을 저장하거나 외부 디바이스로 전송할 수 있다.

HMD(100)는 보정된 영상(520)을 저장하거나 이용하여, HMD(100) 착용 후에 획득된 영상의 재구성에 이용할 수 있는데, 이에 대한 자세한 내용은 도6에서 후술한다.

도 6은 본 개시의 일 실시예에 따라 HMD가 사용자의 초기 영상을 이용하여 영상을 재구성하는 방법을 나타내는 도면이다.

HMD(100)는 사용자에 의하여 착용되는 도중 또는 사용자에 의하여 착용되기 이전에, 사용자의 형상을 촬영한 초기 영상(630)을 획득하여 저장할 수 있다.

HMD(100)는 사용자에 의하여 착용된 이후에 사용자의 형상의 적어도 일부를 촬영한 부분 영상(610 또는 620)을 획득하여 저장할 수 있다.

HMD(100)는 메모리(110) 또는 저장부(150)에 저장된 영상 중에서 적어도 하나의 부분 영상(610 또는 620)에 대응되는 초기 영상을 식별할 수 있다.

일 실시예에서 HMD(100)는 헤어 스타일, 화장 여부, 옷차림 중 적어도 하나에 기초하여, 부분 영상(610 또는 620) 내의 객체와 동일한 객체가 촬영된 초기 영상을 식별할 수 있다.

일 실시예에서 HMD(100)는 부분 영상(610 또는 620)이 촬영된 시각으로부터 소정 시간 내에 생성된 초기 영상 중에서 부분 영상(610 또는 620)에 대응되는 초기 영상을 추출할 수 있다.

사용자의 초기 영상(630)은 HMD(100)가 사용자에 의하여 착용되는 과정HMD(100) 중에 획득되거나 혹은 착용되기 직전에 획득된 영상이므로, 착용 후에 획득된 영상(610, 620)에 비하여 상대적으로 사용자로부터 원거리에서 촬영될 수 있으므로, 촬영 각도 및 촬영 범위가 더 넓을 수 있다.

일 실시예에서 사용자의 초기 영상(630)은 반사부(130)로부터 반사된 광을 촬영부(140)가 획득함으로써 생성된 것일 수 있다.

사용자의 초기 영상(630)은 도2 또는 도5의 왜곡 보정을 거쳐 보정될 수 있다.

일 실시예에서 사용자의 초기 영상(630)은 사용자의 바디 뷰를 포함할 수 있다.

일 실시예에서 사용자의 초기 영상(630)은 사용자의 정면 뷰 혹은 정면 뷰에를 가까운 뷰일 수 있다.

다른 일 실시예에서 사용자의 초기 영상(630)은 두 개의 반사부(130)로부터 반사된 광을 두 개의 촬영부(140)가 획득하고, 각 촬영부(140)가 획득한 영상을 결합시킴으로써 생성될 수 있다.

HMD(100)가 착용된 후, 반사부(130)를 이용하여 촬영부(140)가 사용자를 촬영한 영상은 근접 촬영인 관계로 사용자의 형상 중 일부만 촬영된 부분 영상(610, 620)일 수 있다.

부분 영상은 적어도 하나 획득될 수 있다.

부분 영상은 사용자 얼굴의 일부(610)이거나, 사용자 바디의 일부(620)일 수 있다.

또한, 부분 영상은 정면의 영상이 아닐 수 있다.

일 실시예에서 부분 영상(610)은 HMD(100)의 제1 촬영부가 제1 반사부로부터 획득한 영상이고, 다른 부분 영상(620)은 HMD(100)의 제2 촬영부가 제2 반사부로부터 획득한 영상일 수 있다.

다른 실시예에서 부분 영상(610)은 HMD(100)의 제1 촬영부가 제1 반사부로부터 획득한 영상이고, 다른 부분 영상(620)은 HMD(100)의 제2 촬영부가 제1 반사부로부터 획득한 영상일 수 있다.

HMD(100)가 부분 영상(610, 620)만으로 HMD(100)를 착용한 사용자의 형상을 생성하는 데에는 한계가 있을 수 있다.

이 경우, HMD(100)는 사용자의 초기 영상(630)을 이용하여 사용자의 형상을 재구성할 수 있다.

HMD(100)는 사용자의 초기 영상(630)을 기초로, HMD(100) 착용 후 촬영된 부분 영상(610, 620)을 이용하여 사용자의 영상(640)을 재구성할 수 있다.

HMD(100)는 사용자의 초기 영상(630)을 HMD(100) 착용 후 촬영된 부분 영상(610, 620)과 비교하여 변화된 포인트를 감지할 수 있다.

예를 들어, HMD(100)는 사용자의 초기 영상(630)에, HMD(100) 착용 후 촬영된 부분 영상(610, 620)에서 감지된 사용자의 자세 변화(620)를 반영하여 재구성 영상(640)을 생성할 수 있다.

다른 예를 들어, HMD(100)는 사용자의 초기 영상(630)에 HMD(100), 착용 후 촬영된 부분 영상(610, 620)에서 감지된 사용자의 표정 변화 및 시선 변화(610)를 반영하여 재구성 영상(640)을 생성할 수 있다.

다른 예를 들어, HMD(100)는 사용자의 초기 영상(630)에, HMD(100) 착용 후 촬영된 부분 영상(610)에서 감지된 사용자의 표정 및 시선 변화 및 부분 영상 (620)에서 감지된 사용자의 자세 변화를 반영하여 재구성 영상(640)을 변경할 수 있다.

일 실시예에서 HMD(100)는 계속해서 적어도 하나의 반사부(130) 및 적어도 하나의 촬영부(140)를 이용하여 재구성 영상(640)을 업데이트할 수 있다.

일 실시예에서 HMD(100)는 재구성 영상(640)을 생성하는 절차를 지속적으로 반복하여 재구성 영상(640)을 비디오 스트림으로 생성할 수 있다. HMD(100)는 생성된 비디오 스트림에서 사용자의 움직임을 자연스럽게 재현할 수 있다.

HMD(100)는 생성된 비디오 스트림을 외부 디바이스로 전송할 수 있다.

예를 들어, HMD(100)는 화상 회의 또는 영상 채팅에서 생성된 비디오 스트림을 상대방에게 전송할 수 있다.

다른 일 실시예에서 사용자의 초기 영상(630)은 반사부(130)를 통하지 않고, 촬영부(140) 전방 촬영 혹은 HMD(100) 전방 촬영을 통하여 획득될 수도 있다(320).

다른 일 실시예에서 HMD(100)는 기 학습된 심층 신경망 모델(pre-trained deep neural network)을 이용하여, 재구성 영상(640)을 생성할 수도 있다. 기 학습된 심층 신경망 모델은 사용자의 초기 영상(630) 및 적어도 하나의 부분 영상(610 및/또는 620)를 입력 값으로 하고, 재구성 영상(640)를 출력 값으로 하는 지도 학습(supervised learning)을 통해 트레이닝된 인공지능 모델일 수 있다. 사용자의 초기 영상(630) 및 적어도 하나의 부분 영상(610 및/또는 620)은 도5의 왜곡 보정이 완료된 영상일 수 있다.

심층 신경망 모델은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 순환 신경망 모델(Recurrent Neural Network; RNN), 제한된 볼츠만 머신(Restricted Boltzmann Machine; RBM), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.

도 7은 본 개시의 일 실시예에 따라 HMD가 영상을 디스플레이하는 예시를 나타내는 도면이다.

HMD(100)는 다양한 디스플레이 모드를 가질 수 있다.

본 실시예에서, HMD(100)는 HMD(100) 전방 또는 촬영부(140) 전방을 촬영한 현실 장면 영상(710)에 도2의 프로세스를 통하여 획득한 제2 영상(720)을 중첩(overlay)하여 디스플레이할 수 있다.

예를 들어, HMD(100)를 착용한 사용자는 길을 걸으면서 본인의 모습을 확인하고 싶을 수 있다. 이 경우, HMD(100)는, 현실 장면 영상(710)을 디스플레이하면서 HMD(100)가 반사부(130)를 통하여 획득한 HMD(100) 착용자의 영상(720)을 함께 디스플레이할 수 있다.

HMD(100)가 반사부(130)를 통하여 획득한 HMD(100) 착용자에 대응하는 영상(720)은 도5의 실시예에 따른 왜곡 보정 및 도6의 실시예에 따른 재구성을 마친 후의 영상일 수 있다.

본 실시예에서 반사부(130)를 통하여 획득한 HMD(100) 착용자에 대응하는 영상(720)은 디스플레이의 좌측 하단에 박스 모양으로 디스플레이되는 것으로 도시 되었지만, 이에 한정되는 것은 아니고, 디바이스의 설정에 따라 달라질 수 있다.

다른 일 실시예에서, HMD(100)는 현실 장면 영상(710)에 외부 디바이스로부터 수신한 회의 또는 통화 상대방의 영상(720)을 중첩하여 디스플레이할 수도 있다.

예를 들어, HMD(100)를 착용한 사용자는 길을 걸으면서 누군가와 화상 통화를 할 수 있다. 이 경우, HMD(100)는, HMD(100) 전방의 현실 장면 영상(710)을 디스플레이하면서 화상 통화 상대방의 영상(720)을 함께 디스플레이할 수 있다.

화상 통화 상대방의 영상(720)은 외부 디바이스로부터 수신한 것일 수 있다.

일 실시예에서 화상 통화 상대방의 영상(720)은 도2의 프로세스에 따른 영상 처리 방법을 이용하여 외부 디바이스가 생성한 영상을 HMD(100)가 외부 디바이스로부터 수신한 영상일 수 있다.

외부 디바이스로부터 수신한 회의 또는 통화 상대방의 영상(720)이 디스플레이 되는 위치는 디바이스의 설정에 따라 달라질 수 있다.

도 8은 본 개시의 다른 일 실시예에 따라 HMD가 영상을 디스플레이하는 예시를 나타내는 도면이다.

HMD(100)는 다양한 디스플레이 모드를 가질 수 있다.

본 실시예에서, HMD(100)는 프레임(102) 전방 또는 촬영부(140) 전방의 현실 장면 영상(710)을 디스플레이 하지 않고, 외부 디바이스로부터 수신한 회의 또는 통화 상대방의 영상(810 또는 820)만을 디스플레이할 수 있다.

외부 디바이스로부터 수신한 회의 또는 통화 상대방의 영상(810, 820)은HMD(100)와 동일한 도2의 영상 처리 방법을 이용하는 외부 디바이스로부터 수신한 영상 즉, 외부 디바이스가 외부 디바이스의 반사부를 이용하여 획득된 영상들에 대하여 도5의 실시예에 따른 왜곡 보정 및 도6의 실시예에 따른 재구성을 마친 후의 영상일 수 있다.

HMD(100)는 외부 디바이스로부터 회의 또는 통화 상대방의 영상(830, 840, 850)을 수신하면서 동시에 외부 디바이스로 HMD(100) 착용자의 영상을 송신할 수 있다.

일 실시예에서 HMD(100)는 회의 또는 통화 중에 세 명의 상대방으로부터 동시에 상대방의 영상(830, 840, 850)을 수신하고, 위 세명의 회의 또는 통화 상대방이 임의의 동일한 장소에 있는 것처럼 디스플레이 할 수 있다. 즉, 외부 디바이스로부터 수신한 복수의 회의 또는 통화 상대방의 영상(810)은 제1 상대방(830), 제2 상대방(840) 및 제3 상대방(850)으로부터 각각 수신한 영상을 HMD(100)가 결합시켜 생성한 영상일 수 있다.

이 경우, HMD(100)는 복수의 상대방이 동일한 장소에 있는 것과 같은 효과를 주기 위하여, 복수의 상대방으로부터 수신한 영상을 결합시켜 생성한 결합 영상에, 적어도 하나의 배경 화면 또는 탁자, 의자와 같은 가구 등을 가상 이미지로 결합시킬 수 있다. 또한, HMD(100)는 결합 영상 생성 시 사용자의 선택 혹은 자동 설정에 의하여 복수의 상대방 각각의 위치 및 전체 회의 참석자의 구도를 결정하여 반영할 수 있다.

HMD(100)는 영상의 명도, 채도 등과 같은 그 밖의 디스플레이 포맷도 다양하게 설정하여 적어도 하나의 상대방에 대한 영상을 디스플레이할 수 있다.

다른 일 실시예에서 HMD(100)는 외부 디바이스로부터 수신한 제1 상대방(830), 제2 상대방(840) 및 제3 상대방(850)의 영상 중 하나의 영상만을 디스플레이할 수도 있다.

다른 실시예에서 HMD(100)는 회의 또는 통화 도중에 복수의 상대방으로부터 동시에 상대방의 영상을 수신하고, 위 복수의 회의 또는 통화 상대방이 임의의 동일한 장소에 있는 것처럼 디스플레이 할 수 있다(820).

도 9는 본 개시의 다른 일 실시예에 따라 HMD가 영상을 디스플레이하는 예시를 나타내는 도면이다.

HMD(100)는 다양한 디스플레이 모드를 가질 수 있다.

디스플레이 모드에 따라, HMD(100)는 HMD(100)를 착용한 사용자에게 스마트 미러 뷰를 제공할 수 있다.

본 실시예에서, HMD(100)는 프레임(102) 전방 또는 촬영부(140) 전방을 촬영한 현실 장면 영상(910)에, 도2의 프로세스에 의하여 생성된 제2 영상(920)을 중첩시켜 디스플레이할 수 있다. 예를 들어, HMD(100)의 착용자는 거울이 없는 장소에서 본인의 모습을 확인하고 싶을 수 있다.

반사부(130)를 통하여 획득한 HMD(100)를 착용한 사용자에 대응하는 영상(920)은 도2 또는 도5의 왜곡 보정 및 도6의 재구성이 완료된 후의 영상일 수 있다.

일 실시예에서 HMD(100)를 착용한 사용자에 대응하는 영상(920)은 HMD(100) 전방의 현실 장면 영상(910)의 한 가운데에 HMD(100) 전방의 현실 장면 영상(910)과 중첩되어(overlay) 디스플레이 될 수 있다. 이 경우, HMD(100) 전방의 현실 장면 영상(910)과 HMD(100)를 착용한 사용자에 대응하는 영상(920)의 투과도는 디바이스의 설정에 따라 각각 다르게 조정될 수 있다.

다른 일 실시예에서 HMD(100)를 착용한 사용자에 대응하는 영상(920)은 HMD(100) 전방의 현실 장면 영상(910)을 디스플레이 하지 않은 상태에서 단독으로 디스플레이 될 수 있다.

다른 일 실시예에서 HMD(100)를 착용한 사용자에 대응하는 영상(920)은 HMD(100) 전방의 현실 장면 영상(910)이 아닌 사용자에 의하여 선택된 다른 배경 영상과 함께 디스플레이 될 수 있다.

도 10은 본 개시의 일 실시예에 따라 HMD가 착용자 주변의 위험을 감지하는 예시를 나타내는 도면이다.

HMD(100)의 촬영부(140)는 반사부(130)로부터 반사된 HMD(100) 후방으로부터의 광을 수광하여 HMD(100)를 착용한 사용자 주변 환경을 영상(1010, 1020, 1030)으로 획득할 수 있다.

반사부(130)는 HMD(100)를 착용한 사용자가 위치한 방향으로부터 광을 수광하므로, 촬영부(140)는 HMD(100)를 착용한 사용자의 모습뿐 아니라, 사용자 주변 환경에 대한 영상(1010, 1020, 1030)도 획득할 수 있다.

HMD(100)는 추가적인 센서 없이도 획득된 사용자 주변 환경에 대한 영상(1010, 1020, 1030)을 기초로, HMD(100)를 착용한 사용자가 직접 감지할 수 없는 사각 지역의 위험을 감지할 수 있다.

예를 들어, HMD(100)는 HMD(100)를 착용한 사용자 주변에서 자동차가 사용자를 향하여 오는 것을 감지할 수 있다(1010).

다른 예를 들어, HMD(100)는 HMD(100)를 착용한 사용자 주변에서 아이들이 놀고 있는 것을 감지하고, 사용자와 아이가 부딪힐 수 있는 위험을 감지할 수 있다(1020).

다른 예를 들어, HMD(100)는 HMD(100)를 착용한 사용자 주변에서 도둑, 강도 또는 날치기가 접근하는 위험을 감지할 수 있다(1030).

일 실시예에서 HMD(100)는 HMD(100)를 착용한 사용자 주변의 위험을 감지한 경우(1010, 1020, 1030), 사용자에게 다양한 방식으로 알림을 제공할 수 있다.

도 11은 본 개시의 일 실시예에 따라 HMD가 착용자의 활동을 인식하여 정보를 획득하는 예시를 나타내는 도면이다.

　　　HMD(100)는 HMD(100)를 착용한 사용자의 신체 활동에 관한 정보를 저장할 수 있다. 예를 들어, HMD(100)는 추가적인 센서 없이도 반사부(130)를 통하여 획득된 HMD(100)를 착용한 사용자를 촬영한 영상을 기초로 사용자의 신체 움직임을 감지할 수 있다.

　　　HMD(100)는 감지된 사용자의 신체 움직임을 기초로 사용자의 활동을 인식할 수 있다.

　　　HMD(100)가 인식할 수 있는 사용자의 활동으로는 달리기(1110), 사이클링(1120), 댄스(1130), 등산 또는 악기 연주(1140) 등이 있을 수 있다.

　　　HMD(100)는 인식한 사용자의 활동을 저장함으로써 사용자의 관심사나 취미를 파악할 수 있다.

　　　HMD(100)는 파악된 사용자의 관심사나 취미를 다양한 방식으로 이용할 수 있다.

본 개시에서 설명된 HMD(100)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 개시된 실시예들에서 설명된 HMD(100)는 프로세서, ALU(arithmetic logic unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 마이크로컴퓨터, 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.

소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD, Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 HMD(100)를 포함할 수 있다.

컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 HMD(100) 또는 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.

컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 HMD(100)의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.

컴퓨터 프로그램 제품은, 서버 및 단말(예를 들어, HMD)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.

이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.

예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.

또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.

제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된(pre-loaded) 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 전자 장치, 구조, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

1. HMD(head mounted display)의 후방으로부터 입사된 광을 반사하는 반사부;
   상기 HMD의 전방 및 상기 HMD의 사용자를 촬영하는 촬영부;
   　　　하나 이상의 명령어를 저장하는 메모리; 및
   　　　상기 저장된 하나 이상의 명령어를 실행하는 프로세서를 포함하고,
   　　　상기 프로세서는,
   　　　상기 HMD가 착용되는 도중 또는 상기 HMD가 착용되기 이전에 상기 사용자의 형상을 촬영한 초기 영상 및 상기 HMD가 착용된 이후에 상기 사용자의 형상의 적어도 일부를 촬영한 적어도 하나의 부분 영상을 획득하고, 상기 초기 영상의 왜곡을 보정하여 제1 영상으로 저장하고, 상기 적어도 하나의 부분 영상의 왜곡을 보정하고, 상기 제1 영상 및 상기 보정된 적어도 하나의 부분 영상을 재구성하여 상기 사용자의 형상을 나타내는 제2 영상을 생성하고,
   　　　 상기 초기 영상 및 상기 적어도 하나의 부분 영상은, 상기 HMD의 반사부에 의하여 반사된 광을 상기 HMD의 촬영부가 수광함으로써 상기 촬영부에 의해 촬영되는 것을 특징으로 하는 HMD.
2. 제1항에 있어서, 상기 반사부는 상기 HMD의 프레임 하부에 부착된 반사경의 형태이거나, 상기 HMD의 프레임의 표면 중 일부인 반사 가능한 표면의 형태인 HMD.
3. 제1항에 있어서, 상기 프로세서는 상기 하나 이상의 명령어를 실행하여, 상기 제2 영상을 외부 디바이스로 송신하도록 하는 HMD.
4. 제1항에 있어서, 상기 프로세서는 상기 하나 이상의 명령어를 실행하여,
   디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면을 디스플레이하지 않고 외부 디바이스로부터 수신한 영상만 디스플레이하도록 하는 HMD.
5. 제1항에 있어서, 상기 프로세서는 상기 하나 이상의 명령어를 실행하여,
   디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면에 상기 제2 영상을 중첩(overlay)하여 디스플레이하도록 하는 HMD.
6. 제1항에 있어서, 상기 프로세서는 상기 하나 이상의 명령어를 실행하여,
   디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면을 디스플레이하지 않고 상기 제2 영상만을 디스플레이하도록 하는 HMD.
7. 제1항에 있어서,
   상기 촬영부는 상기 반사부로부터 반사된 광을 수광하여 상기 HMD를 착용한 사용자의 주변 환경을 제3 영상으로 획득하고,
   상기 프로세서는 상기 하나 이상의 명령어를 실행하여 상기 제3 영상을 기초로, 상기 사용자에 대한 위험을 감지하는 HMD.
8. HMD(head mounted display)가 영상을 처리하는 방법에 있어서,
   상기 HMD가 착용되는 도중 또는 상기 HMD가 착용되기 이전에 사용자의 형상을 촬영한 초기 영상을 획득하는 단계;
   상기 초기 영상의 왜곡을 보정하여 제1 영상으로 저장하는 단계;
   상기 HMD가 착용된 이후에 상기 사용자의 형상의 적어도 일부를 촬영한 적어도 하나의 부분 영상을 획득하는 단계;
   상기 적어도 하나의 부분 영상의 왜곡을 보정하는 단계;
   상기 제1 영상 및 상기 보정된 적어도 하나의 부분 영상을 재구성하여 상기 사용자의 형상을 나타내는 제2 영상을 생성하는 단계를 포함하고,
   상기 초기 영상 및 상기 적어도 하나의 부분 영상은, 상기 HMD의 반사부에 의하여 반사된 광을 상기 HMD의 촬영부가 수광함으로써 상기 촬영부에 의해 촬영되는 것을 특징으로 하는 영상 처리 방법.
9. 제8항에 있어서, 상기 반사부는 상기 HMD의 프레임 하부에 부착된 반사경의 형태이거나, 상기 HMD의 프레임의 표면 중 일부인 반사 가능한 표면의 형태인 영상 처리 방법.
10. 제8항에 있어서,
    상기 제2 영상을 외부 디바이스로 송신하는 단계를 더 포함하는 영상 처리 방법.
11. 제8항에 있어서,
    디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면을 디스플레이하지 않고 외부 디바이스로부터 수신한 영상만 디스플레이하는 영상 처리 방법.
12. 제8항에 있어서,
    디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면에 상기 제2 영상을 중첩(overlay)하여 디스플레이하는 영상 처리 방법.
13. 제8항에 있어서,
    디스플레이 모드에 따라, 상기 HMD 전방의 현실 장면을 디스플레이하지 않고 상기 제2 영상만을 디스플레이하는 영상 처리 방법.
14. 제8항에 있어서,
    상기 촬영부가 상기 반사부로부터 반사된 광을 수광하여 상기 HMD를 착용한 사용자의 주변 환경을 촬영한 제3 영상을 획득하는 단계; 및
    상기 제3 영상을 기초로, 상기 사용자에 대한 위험을 감지하는 단계를 더 포함하는 영상 처리 방법.
15. 제 8항 내지 14 항 중, 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    

Images