KR20170044319A - 헤드 마운트 디스플레이의 시야 확장 방법 - Google Patents

Abstract

본 발명은 헤드 마운트 디스플레이의 카메라로부터 실세계(real world)의 실시간(real time) 이미지를 획득하는 단계; 상기 실시간 이미지의 시야(Field of View)를 결정하는 단계; 상기 헤드 마운트 디스플레이의 디스플레이 영역 중 상기 시야를 벗어나는 영역에 표시될 수 있는, 상기 실시간 이미지와 관련된 부가 정보를 결정하는 단계; 상기 시야를 벗어나는 영역에, 이미지 프로세싱(Image Processing)으로 상기 실시간 이미지의 일부분을 확장하는 단계; 하나 이상의 외부 디바이스로부터 상기 실시간 이미지가 속하는 공간의 파노라마 이미지를 획득하고, 상기 파노라마 이미지를 상기 실시간 이미지와 결합하는 단계; 상기 실시간 이미지에 기초하여, 상기 부가 정보를 결정하는 단계, 상기 이미지의 일부분을 확장하는 단계, 및 상기 결합하는 단계를 이용하여 생성된 출력 이미지를 상기 헤드 마운트 디스플레이의 디스플레이에 표시하는 단계; 를 포함하는 헤드 마운트 디스플레이의 시야 확장 방법을 제공한다.

Description

헤드 마운트 디스플레이의 시야 확장 방법{METHOD FOR EXTENDING FIELD OF VIEW OF HEAD MOUNTED DISPLAY}

본 발명은 헤드 마운트 디스플레이의 시야 확장 방법으로, 보다 상세하게는 실시간 영상의 미사용 영역에 부가 정보를 표시하거나, 영상을 확장하거나, 파노라마 이미지와 결합하여, 헤드 마운트 디스플레이에 표시되는 영상의 시야를 확장하는 방법에 관한 것이다.

시스루(See-Through) 헤드 마운트 디스플레이(Mounted Display, HMD)는 증강 현실 및 합성 현실 어플리케이션에서 사용된다. 시스루 HMD는 실세계를 사용자가 볼 수 있게 해주며, 가상 오브젝트로 실세계를 증강하고, 사용자 경험을 향상시킬 수 있다. 시스루 HMD는 옵티컬 시스루 HMD와 비디오 시스루 HMD로 분류될 수 있다.

옵티컬 시스루 HMD는 사용자의 눈에 컴퓨터 생성 이미지를 투사하는 반투명 거울과 마이크로 프로젝터 시스템을 사용함으로써 광학적으로 실세계 뷰 및 가상적인 뷰를 조합할 수 있다. 대중적인 예로는 구글 유리(Google Glasses)가 있다. 대조적으로, 비디오 시스루 HMD는 프론트 마운트 카메라와 결합된 비-시스루 HMD를 사용한다. 카메라는 실세계(real world) 장면을 촬영하여 HMD 내부에 디스플레이 함으로써 시스루 효과를 가질 수 있다.

두가지 시스루 HMD 유형 모두 장단점이있다. 옵티컬 시스루 HMD는 기본적으로 사용자의 육안 자체로 방해받지 않으면서 실시간의 전망을 제공한다. 따라서, 지연을 발생시키지 않으며, 시각 및 고유 감각 정보가 동기화되는 것을 보장한다. 또한 비디오 시스루 HMD보다 더 좋은 깊이 인식과 현실적인 주변 뷰를 제공할 수 있다. 그러나, 옵티컬 시스루 HMD는 매우 좁은 디스플레이의 시야를 가진다. 디스플레이할 수 있는 영역이 글래스에 국한된 작은 정사각 영역이기 때문에, 옵티컬 시스루 HMD는 사용자 시야의 작은 부분만을 커버 할 수 있다. 추가적으로, 옵티컬 시스루 HMD는 폐색 현상을 잘 렌더링할 수 없기 때문에, 증강 현실 응용 프로그램에 적합하지 않다. 또한, 낮은 명도, 채도, 등을 포함하는 문제점이 존재한다.

비디오 시스루 HMD는 상기와 같은 옵티컬 시스루 HMD의 문제점을 가지지는 않지만, 프론트 마운트 카메라의 성능적 한계로 인하여 디스플레이되는 영상의 시야가 제한되어 사용자의 몰입을 방해하는 문제점이 존재한다.

본 발명은 비디오 시스루 HMD가 가지는 문제점을 극복하여 사용자의 몰입을 극대화하는 것을 목적으로 한다.

본 발명은 헤드 마운트 디스플레이의 카메라로부터 실세계(real world)의 실시간(real time) 이미지를 획득하는 단계; 상기 실시간 이미지의 시야(Field of View)를 결정하는 단계; 상기 헤드 마운트 디스플레이의 디스플레이 영역 중 상기 시야를 벗어나는 영역에 표시될 수 있는, 상기 실시간 이미지와 관련된 부가 정보를 결정하는 단계; 상기 시야를 벗어나는 영역에, 이미지 프로세싱(Image Processing)으로 상기 실시간 이미지의 일부분을 확장하는 단계; 하나 이상의 외부 디바이스로부터 상기 실시간 이미지가 속하는 공간의 파노라마 이미지를 획득하고, 상기 파노라마 이미지를 상기 실시간 이미지와 결합하는 단계; 상기 실시간 이미지에 기초하여, 상기 부가 정보를 결정하는 단계, 상기 이미지의 일부분을 확장하는 단계, 및 상기 결합하는 단계를 이용하여 생성된 출력 이미지를 상기 헤드 마운트 디스플레이의 디스플레이에 표시하는 단계; 를 포함하는 헤드 마운트 디스플레이의 시야 확장 방법을 제공한다.

본 발명에 있어서, 상기 파노라마 이미지는 정적인(static) 이미지이다.

본 발명있어서, 상기 영상 확장은 외삽법을 이용하여 수행된다.

본 발명에 의하면, 비디오 시스루 HMD가 갖는 문제점이 해결될 수 잇다. 또한, 본 발명에 의하면 하드웨어 자체에 대한 추가 비용이나 복잡한 변형이 필요한 하드웨어적 접근 방식 대신 소프트웨어적 접근 방식을 채택해 비용이 경감될 수 있다. 또한, 본 발명에 의하면 비디오 시스루 HMD를 사용하는 경우에 사용자의 경험도와 몰입을 증가시킬 수 있다.

도 1 은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 시야 확장 방법을 설명하기 위한 블록도이다.
도 2 는 본 발명의 일 실시예에 따른 컴퓨팅 디바이스와 HMD의 연계 동작을 설명하기 위한 도면이다.
도 3 은 본 발명의 일 실시예에 따라 디스플레이의 미사용 영역에 부가 정보를 표시하는 구성을 설명하기 위한 사진 자료이다.
도 4 는 본 발명의 일 실시예에 따른 영상 확장을 설명하기 위한 사진 자료이다.
도 5 는 본 발명의 일 실시예에 따라 파노라마 이미지와 실시간 이미지의 결합을 설명하기 위한 사진 자료이다.
도 6 은 본 발명의 일 실시예에 따라 본원 발명을 실시하기 위한 순서도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1 은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 시야 확장 방법을 설명하기 위한 블록도이다.

본 발명의 일 실시예에 따른 헤드 마운트 디스플레이(Head Mounted Display, HDM)의 시야(Field of View, FoV) 확장 방법을 구현하기 위한 시스템은 컴퓨팅 디바이스(100), 사용자 HMD(200), 외부 디바이스(300) 및 네트워크(400)를 포함한다.

상술한 바와 같이, HMD는 소비자 단계의 상용화 수준까지 왔음에도 불구하고, 여전히 여러가지 문제점을 가지고 있다. 시스루 HMD의 종류로는 비디오 시스루 HMD외 옵티컬 시스루 HMD가 존재하는데, 본 발명에서는 비디오 시스루 HMD에 관한 방법을 제공한다.

보다 상세히, 본원 발명은 컴퓨팅 디바이스(100)의 제어에 의해 인위적으로 시스루 HMD 인 사용자 HMD(200)의 FoV를 확장시키는 것에 관한 발명으로, 사용자가 사용자 HMD(200)를 사용할 때 실세계(Real World)와 가장 유사한 인식을 가질 수 있도록 FoV를 확장하는 것을 목적으로 하며, 이를 위해 컴퓨팅 디바이스(100)는 HMD 및 외부 디바이스(300)로부터의 데이터를 이용하여 1) 화면의 미사용 영역에 부가 정보 배치하기, 2) 영상 처리(Image Processing)을 통해 영상 확장하기, 3) 파노라마 이미지와 결합하기를 통하여 FoV를 확장할 수 있다.

상기와 같은 본원 발명의 해결수단은, 인간의 시력이 색상과 해상도에 있어 덜 민감하지만 움직임에는 그렇지 않다는 인간의 지각 이론과, 더 넓은 FoV의 이미지가 제공되는 경우 비록 합성된 이미지라도 몰입을 향상시킬 수 있다는 연구 결과에 기초한 것이다.

사용자 HMD(200)는 사용자가 머리에 장착하여 사용하는 영상 장치로, 사용자 HMD(200)에 장착된 카메라로 촬영된 영상을 사용자의 눈쪽에 위치한 디스플레이에 실시간으로 표시하는 동시에, 실시간 영상과 함께 그와 관련된 정보를 표시할 수 있다. 사용자 HMD(200)는 좌안과 우안에 각각 대응하는 디스플레이를 포함함으로써, 사람이 3차원 세계를 인식하는 것과 동일한 원리로 입체 영상을 제공할 수 있다.

본 발명이 일 실시예에 따른 사용자 HMD(200)는 비디오 시스루 게열의 HMD인 것을 특징으로 한다. 또한, 본 발명의 사용자 HMD(200)는 어안 렌즈를 장착하고 있을 수도 있지만, 시야각이 좁은 일반 렌즈를 장착한 사용자 HMD(200)의 문제점을 해결하는 것이 본원 발명의 주 목적에 해당한다. 그러나, 반드시 이에 한정되지 않고, 시스루 HMD와 유사한 기능을 가지는 모든 디스플레이 디바이스에 본원 발명이 적용될 수 있다.

사용자 HMD(200)는 카메라, 디스플레이 외에도 스피커, 통신 모듈 등을 포함할 수 있으며, 이에 대해서는 후술하기로 한다.

또한, 외부 디바이스(300)는 사용자 HMD(200)에 표시되는 정보들을 보충할 수 있는 추가적인 데이터를 생성하여 컴퓨팅 디바이스(100)로 전송하는 디바이스다. 보다 구체적으로, 외부 디바이스(300)는 파노라마 촬영이 가능한 카메라일 수 있다. 카메라인 외부 디바이스(300)는 본 발명의 일 실시예에 따라 사용자 HMD(200)는 직접적으로 획득하지 못하는 실세계의 파노라마 영상을 생성하여 컴퓨팅 디바이스(100)로 전송할 수 있다. 실세계의 파노라마 영상은 실시간 영상에 결합되어 사용자 HMD(200)의 디스플레이에 표시됨으로써 HMD의 FoV를 확장시킬 수 있다.

한편, 네트워크(400)는 사용자 HMD(200) 및 외부 디바이스(300)들과 컴퓨팅 디바이스(100)를 연결하는 역할을 수행한다. 즉, 네트워크(400)는 사용자 HMD(200) 및 외부 디바이스(300)들이 컴퓨팅 디바이스(100)에 접속한 후 패킷 데이터를 송수신할 수 있도록 접속 경로를 제공하는 네트워크를 의미한다. 즉, 본 발명의 일 실시예에 따른 네트워크(400)는 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 네트워크(LAN; Local Area Network), 도시권 네트워크(MAN; Metropolitan Area Network), 광역 네트워크(WAN; Wide Area Network) 등 다양한 네트워크로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 네트워크(400)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다.

이하에서는, 비디오 시스루 HMD가 가지는 문제점과 상기 사용자 HMD(200) 및 컴퓨팅 디바이스(100)의 동작에 의해 제시되는 본원의 해결방법에 대해 보다 상세히 살펴보기로 한다.

상술한 설명과 같이, 비디오 시스루 HMD는 실세계 이미지를 획득하기 위해 카메라를 사용하고, 내부 디스플레이를 이용하여 사용자에게 제공한다. 이와 관련하여, 제한된 카메라의 FoV로 인해, 비디오 시스루 HMD는 종종 “터널”효과(tunnel effect)의 문제점이 발생한다. 터널 효과는 볼 수 있는 실세계 장면이 HMD로 볼 때 정사각형 형태로 제한되는 현상으로, 몰입을 방해할 수 있다. 이러한 터널 효과의 해결책으로 와이드 FoV를 같는 카메라를 사용하는 것으로, 일 예로서 어안 렌즈가 장착된 카메라가 있다. 그러나, 어안 렌즈는 HMD를 제작하는 공정의 비용을 증가시키고, 어안 렌즈 자체의 특성인 낮은 해상도 및 이미지 왜곡 등과 같은 다른 문제점을 가진다.

또한, 비디오 시스루 HMD는 실세계를 촬영하는 카메라에 의존하기 때문에, 카메라의 FoV가 사용자에 의해 무엇이 보여지는지를 궁극적으로 결정한다. 일반적인 카메라는 인간의 시각 (~ 180°)과 비교할 때 50°에서 60°사이의 훨씬 좁은 FoV를 가지고 있다. 따라서, 전체 화면을 캡처하고 인간의 주변 시야를 지원하는 것은 불가능하다. 요즘엔 일부 소비자에게 공급될 수 있는 상용화된 HMD는 약 100°에서 110°의 FoV를 커버할 수 있고, 실험실 등에서 사용되는 고가의 HMD는 최대 180 ° 이상으로 커버할 수 있다. 그러나, 고가의 HMD는 후술하는 어안렌즈 문제와 함께 비용적 한계를 가지므로, 일반적인 소비자가 사용하는 HMD에는 FoV가 작은 카메라를 탑재할 수 밖에 없어 상술한 터널 효과또는 창 효과(Window effect)의 결과가 발생될 수 있다. 이러한 터널 효과와 창 효과는 사용자가 볼 수 있는 영상을 정사각형 크기로 제한하므로, 사용자의 몰입을 방해한다.

이 문제에 대한 한 가지 해결책은 어안 렌즈가 장착 된 것과 같은 넓은 FoV 를 갖는 카메라로 HMD에 내장된 좁은 FoV 카메라를 대체하는 것이다. 그러나 이는 완벽한 해결책이 아니며 다른 문제를 야기할 수 있다. 어안 렌즈를 사용하는 문제점 중 하나는 어안 렌즈는 일반 렌즈보다 유효 분해능이 낮다는 것이다. 이와 같은 어안렌즈의 문제점은, 배럴 왜곡(barrel distortion) 및 영상에서 객체의 위치를 부정확하게 인식하도록 하며, 또한 렌더링 사이즈를 크게 만든다. 이는 실세계를 영상으로 시각화하는 것을 가장 중요한 목적으로 갖는 증강 현실 및 합성 현실 어플리케이션들에서 매우 중요한 단점이다.

따라서, 본 발명에서는 상술한 바와 같은 비디오 시스루 HMD의 문제점을 해결하기 위하여, 비용이 증가하는 하드웨어의 교체 없이, 컴퓨팅 디바이스(100)를 이용한 HMD의 시야 확장 방법을 제안한다. 즉, 본원 발명은 어렵고 비싼 하드웨어적 접근법을 사용하거나, 또는 하드웨어의 기술적 개선을 기다리는 대신, 인위적으로 FoV를 향상시키기 간단한 소프트웨어 접근법을 제안하거나, 적어도 유용한 정보를 시각화하기 위하여 낭비되는 FOV 영역을 채취하여 이용함으로써 사용자 측면에서 유효한 FoV를 확장시킨다.

구체적으로, 이를 위한 방법을 도 2 를 사용하여 설명하기로 한다.

도 2 는 본 발명의 일 실시예에 따른 컴퓨팅 디바이스(100)와 사용자 HMD(200)의 연계 동작을 설명하기 위한 도면이다.

도 2 를 참조하면, 본 발명의 일 실시예에 따른 사용자 HMD(200)는 통신부(210), 카메라(220), 디스플레이(230) 및 스피커(240)를 포함한다. 또한, 본 발명의 일 실시예에 따른 컴퓨팅 디바이스(100)는 실시간 이미지 획득부(110), 미사용 영역 활용부(120), 영상 확장부(130), 파노라마 이미지 결합부(140) 및 영상 출력부(150)를 포함한다.

먼저, 사용자 HMD(200)의 통신부(210)는 컴퓨팅 디바이스(100)와 통신하기 위한 통신 인터페이스를 제공하며, 예를 들어 컴퓨팅 디바이스(100)로부터 최종적으로 생성된 출력 이미지를 수신할 수 있다. 또한, 사용자 HMD(200)의 통신부(210)는 사용자 HMD(200) 내부의 카메라가 촬상한 영상을 컴퓨팅 디바이스(100)로 전송하는 역할을 수행한다. 이 외에도, 통신부(210)는 사용자 HMD(200)와 외부 장치들의 통신이 필요한 모든 상황의 커뮤니케이션을 담당할 수 있다.

다음으로, 사용자 HMD(200)의 카메라(220)는 해당 HMD를 장착한 사용자의 머리 방향이 향하는 곳의 영상을 획득할 수 있다. 이때, 사용자 HMD(200)의 카메라(220)는 시야각 확보를 위해 어안 렌즈를 사용할 수도 있지만, 상술한 바와 같이 일반 단렌즈를 사용하여도 본 발명이 적용될 수 있다. 특히, 본 발명의 일 실시예에 따르면 사용자 HMD(200)의 카메라(220)가 일반 렌즈인 경우에 사용자의 FoV를 확장할 수 있다.

사용자 HMD(200)의 카메라(220)가 획득하는 영상은 실세계의 실시간 영상이다. 사용자 HMD(200)는 사용자의 머리 방향이 향하는 공간의 실시간 영상을 촬영하여 최소한의 지연시간으로 사용자 HMD(200)의 디스플레이(230)에 표시할 수 있도록 해야, 사용자의 영상 인식과 실세계와의 갭을 최소화할 수 있다.

사용자 HMD(200)의 디스플레이(230)는 컴퓨팅 디바이스(100)로부터 통신부(210)가 수신한 출력 영상을 시각적으로 출력하는 역할을 한다. 사용자 HMD(200)의 디스플레이(230)는 양쪽 눈의 바로 앞에 각각 형성되는 2 개의 디스플레이를 포함할 수 있다. 사용자 HMD(200)는 사용자에게 실세계와 가장 유사한 입체 영상을 제공하기 위하여, 2개의 디스플레이(230) 사이의 간격을 사용자의 눈의 간격으로 조정할 수 있다. 이로 인해, 사용자는 비록 2 차원 디스플레이(230)에 출력되는 영상이지만 현실과 마찬가지로 출력 영상을 입체로 인식할 수 있다.

상술한 바와 같이, 사용자 HMD(200)의 카메라(220)가 촬상하는 영상은 FoV의 한계를 가진다. 따라서, 사용자 HMD(200)의 디스플레이(230)에 출력되는 출력 영상은 정사각형 모양일 수밖에 없고, 이로 인해 사용자의 몰입은 방해된다. 즉, 사용자 HMD(200)를 사용하지 않았다면 사용자는 본인의 눈으로 180도에 가까운 FoV를 가질 수 있지만, 사용자 HMD(200)를 사용하면 제한된 FoV를 갖는 것이다. 이는 사용자 HMD(200)를 사용하여 실세계에 대한 추가 정보를 제공하는 것을 목적으로 하는 HMD의 취지에도 어긋나는 일이다.

따라서, 본 발명의 일 실시예에 따른 사용자 HMD(200)의 디스플레이(230)는 컴퓨팅 디바이스(100)로부터 수신한 출력 영상을 디스플레이하여 사용자 FoV를 확장할 수 있다.

한편, 스피커(240)는 본 발명의 일 실시예에 따른 사용자 HMD(200)의 선택적인 구성으로, 실세계 영상에 대한 보다 추가적인 정보를 제공할 수 있다. 즉, 사용자 HMD(200)의 카메라(220)가 취득한 실세계 영상의 부가 정보를 소리로서 제공할 수 있으며, 해당 소리는 컴퓨팅 디바이스(100)로부터 수신할 수 있다.

계속하여, 본 발명의 일 실시예에 따른 컴퓨팅 디바이스(100)의 각 구성에 대해 설명하도록 하겠다.

먼저, 실시간 이미지 획득부(110)는 사용자 HMD(200)로부터 실세계의 실시간 이미지를 획득하고, 이로부터 실시간 이미지의 FoV를 결정한다. 상술한 바와 같이, 사용자 HMD(200)의 카메라는 일반 렌즈로서 사람의 FoV보다 좁을 수 있으며, 정사각형의 영상을 생성한다. FoV를 확장하기 전, 실시간 이미지 획득부는 획득된 이미지들의 FoV를 결정한다. 결정된 FoV는 사용자의 HMD 의 카메라 파라미터로서 저장될 수 있고, 미사용 영역 활용부(120), 영상 확장부(130) 및 파노라마 이미지 결합부(140)가 FoV를 확장하는데 사용될 수 있다.

다음으로, 미사용 영역 활용부(120)는 사용자 HMD(200)로부터 수신한 영상에서 FoV를 벗어난 영역에 표시될 수 있는 부가 정보를 표시한다.

증강 현실 혹은 합성 현실 기술에서, 영상에 대한 추가 정보를 노출하거나 시각화하여 영상에 겹쳐 표현하는 것은 매우 일반적이다. 예를 들어, 도 3 (a) 에 도시된 바와 같이, 길거리를 촬상한 영상에 상점의 정보를 나타내는 인위적 정보를 표시할 수 있다. 그러나, 이와 같은 부가 정보의 표시는 사용자 HMD(200)를 장착하는 사용자의 시야를 많이 가려 위험하게 만들 수 있고, 사용자를 산만하게 하는 문제점이 있다.

따라서, 본 발명의 일 실시예에 따른 미사용 영역 활용부(120)는 사용자 HMD(200)의 디스플레이에서 영상이 표시되지 않은 영역에 부가 정보를 표시하여 FoV를 벗어나는 미사용 영역을 활용하는 방법을 사용한다. 도 3 의 (b) 는 본 발명의 일 실시예에 따라 미사용 영역 활용부(120)가 미사용 영역에 부가 정보를 표시한 예시이다.

보다 상세히, 도 3 의 (b) 에 표시된 좌측 및 우측 화면은 사용자 HMD(200)의 디스플레이에 표시될 수 있는 영상이다. 도 3 의 (b) 에서 나타난 바와 같이, 사용자 HMD(200)의 카메라는 FoV에 제약이 있기 때문에 디스플레이를 다 채우지 못하며, 디스플레이 중 영상이 존재하지 않는 미사용 영역이 주변부에 검정색으로 존재한다.

도 3 의 (b)의 좌측 화면을 살펴보면, 중앙에 사용자 HMD(200)의 카메라(220)가 촬영한 영상이 표시된 것을 알 수 있다. 또한, 영상에는 영상과 관련한 부가 정보가 오버레이되어 표시된다. 좌측 화면과 같은 경우는 상술한 바와 같이 사용자를 산만하게 만드는 문제점이 있다.

따라서, 본원 발명에서는 도 3 의 (b) 의 우측 화면과 같이, 영상이 표시되지 않는 디스플레이의 미사용 영역에 부가 정보를 표시하고, 부가 정보와 영상의 일정 영역을 화살표 선으로 연결한다. 즉, 미사용 영역 활용부(120)는 미사용 영역에 표시되는 부가 정보를 결정 및 표시한다. 이로 인해, 사용자 HMD(200)의 FoV가 영상에 대해서 확장되지 않았지만, 사용자는 카메라(220)의 FoV를 넘어서는 미사용 영역에서도 정보를 획득할 수 있으므로, 실질적으로 HMD 카메라(220)의 FoV가 늘어는 듯한 느낌을 받을 수 있다. 이로인해, 본 발명은 사용자 HMD(200)의 디스플레이에서 영상의 가림을 최소화하고 혼란을 방지할 수 있다.

다음으로, 영상 확장부(130)는 FoV를 벗어나는 영역에, 이미지 프로세싱으로 실시간 이미지의 일부분, 특히 경계 부분을 확장한다. 영상 확장부(130)는 실시간 이미지의 영상을 인위적으로 확장하기 위해 다양한 기존의 방법들을 사용할 수 있다.

다만, 본원 발명에서는 실시간으로 사용자 HMD(200)의 카메라가 촬상한 영상을 획득하여 컴퓨팅 디바이스(100)에 의해 처리된 후 다시 사용자 HMD(200)의 디스플레이에 출력되는 과정까지가 실시간으로 이루어져야 하므로, 과도한 소요시간의 정교한 이미지 프로세싱보다는 가벼운 이미지 프로세싱이 선호될 수 있다.

보다 상세히, 영상 확장부(130)는 사용자 HMD(200)의 카메라의 좁은 FoV에 대하여 인위적으로 영상 처리 기법들을 사용하여 영상의 경계 부분을 확장함으로써, 영상의 FoV를 확장할 수 있다. 예를 들어, 본원 발명의 영상 확장부(130)는 도 4 에 예시된 바와 같이, 단순히 미러링을 통해 좌측의 영상들을 우측의 영상들로 변환시키는, 영상의 FoV를 증가키는 이미지 프로세싱을 수행할 수 있다. 미러링을 위한 파라미터들은 결과를 향상시키기 위해 미세 조정되거나 다른 효과를 달성하기 위해 변경될 수 있다.

또한, 도 4 와 같은 단순한 미러링 이외에도, 패치 기반 페인팅, 이미지 완성 또는 비디오 외삽법(foveated video extrapolation)과 같은 이미지 프로세싱 기법을 다양하게 적용하여 디스플레이에 표시되는 영상의 FoV를 확장할 수 있다. 영상 확장부(130)가 실시하는 영상 확장기법들은 하늘이나 벽과 같은 일반 배경에 있어서는 매우 잘 동작하지만, 사람이나 동물 등의 복잡한 이미지 부분이 경계 영역에 위치하는 경우에는 오류를 일으킬 수도 있다.

사람이나 동물 등의 복잡한 이미지 부분에서 확장이 어려운 문제에 대하여, 본원 발명은 비디오 외삽법(foveated video extrapolation) 기술을 사용하여 문제를 개선할 수 있다. 비록, 원칙적인 외삽법에서는 미래 시간의 프레임이 필요하지만, 본 발명은 실시간 이미지를 대상으로 하기 때문에 미래 이미지를 사용할 수는 없으므로, 실제 외삽법의 적용에서는 그 정확도가 다소 감소할 수 있다. 그럼에도 불구하고, 본원 발명은 단지 이전 프레임과 현재 프레임을 사용하여 외삽법을 적용하는 것 만으로도 높은 정확도의 영상 확장을 달성할 수 있다.

다음으로, 파노라마 이미지 결합부(140)는 하나 이상의 외부 디바이스(300)들로부터 실시간 이미지가 속하는 공간의 파노라마 이미지를 획득하고, 파노라마 이미지를 실시간 이미지와 결합한다. 파노라마 이미지는 일반적으로 와이드 앵글 뷰를 제공하며, 최근 무료 소프트웨어들은 촬영된 영상의 오버랩 영역을 이어 붙이는 방법으로 파노라마 이미지들을 제공하고 있다. 특히, 사용자들이 사용하는 스마트폰의 어플리케이션들은 실시간으로 파노라마 이미지를 구성할 수 있는 단계까지 이르렀다. 또한, 구글 맵(GOOGLE Map)과 같은 공개된 소스로부터 스트리트뷰를 얻어 파노라마 이미지로 사용할 수도 있다.

이에, 본 발명은 파노라마 이미지가 널리 사용되며 용이하게 구성 될 수 있다는 사실을 활용하여, 영상의 좁은 FoV를 보안하기 위하여 좁은 FoV의 영상에 가로로 넓은 FoV를 갖는 파노라마 이미지를 혼합할 수 있다. 이때, 파노라마 이미지는 외부 디바이스(300)로부터 획득할 수 있고, 혹은 구글 스트리트뷰와 같이 미리 생성된 뷰를 이용할 수도 있다.

도 5 는 본 발명의 일 실시예에 따라 넓은 파노라마 이미지에 좁은 카메라 뷰를 혼합한 예이다. 도 5 를 참조하면, 중앙의 작은 화면은 사용자 HMD(200)의 카메라로부터 획득한 것이고, 작은 화면을 제외한 영상의 나머지 부분은 외부 디바이스(300)가 촬상한 영상을 활영하여 제작한 파노라마 영상일 수 있다.

이때, 사용자 HMD(200)의 카메라로부터 획득한 영상은 실시간 영상이고, 파노라마 영상은 미리 만들어진 영상일 수 있다. 즉, 파노라마 영상은 정적인(static) 영상일 수 있다. 실시간 중심 영상 및 파노라마 배경 영상은 서로 다른 알고리즘을 사용하여 경계 없이 블랜딩(blending)될 수 있고, 동일한 뷰에서 촬영한 것처럼 보여질 수 있다. 블랜딩 시 색 보정 등이 하나 이상의 영상을 결합하는 데 있어 동시에 촬영된 것과 같은 현실적인 효과를 달성하기 위해 적용될 수있다. 본원 발명은 비디오 시스루 HMD를 사용하는 경우에 실시간 이미지와 정적인 파노라마 이미질를 결합함으로써, 사용자 HMD(200)의 사용자가 영상에 몰입할 수 있도록 환경을 개선할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 미사용 영역 활용부(120), 영상 확장부(130), 파노라마 이미지 결합부(140)는 함께 적용될 수 있다. 즉, 사용자 HMD(200)의 카메라가 획득한 실시간 영상이 아닌 미사용 영역에 부가 정보를 표시하는 동시에, 외삽을 통한 영상 확장이 파노라마 이미지를 사용하여 수행될 수도 있다.

마지막으로, 영상 출력부(150)는 미사용 영역 활용부(120), 영상 확장부(130) 및 파노라마 이미지 결합부(140)에 의해 생성된 FoV가 확장된 최종 영상을 사용자 HMD(200)로 전송한다. 사용자 HMD(200)는 수신한 최종 영상을 디스플레이(230)에 출력한다.

한편, 도 1 및 도 2 에 따른 실시예에서는 본원의 사용자 HMD(200)와 컴퓨팅 디바이스(100)가 서로 다른 디바이스인 것으로 예시되었으나, 본 발명의 다른 일 실시예에 의하면 컴퓨팅 디바이스(100)는 사용자 HMD(200)에 내장된 디바이스일 수 있다. 즉, 네트워크에 의한 통신이 없이, 사용자 HMD(200)의 내부 모듈 중 하나로 컴퓨팅 디바이스(100)가 작동할 수도 있다.

도 6 은 본 발명의 일 실시예에 따라 본원 발명을 실시하기 위한 순서도이다.

도 6 을 참조하면, 먼저 본원 발명은, 헤드 마운트 디스플레이의 카메라로부터 실세계의 실시간 이미지를 획득한다. (S1)

다음으로, 실시간 이미지의 시야를 결정한다. (S2)

다음으로, 헤드 마운트 디스플레이의 디스플레이 영역 중 시야를 벗어나는 영역에 표시될 수 있는, 실시간 이미지와 관련된 부가 정보를 결정한다. (S3)

다음으로, 시야를 벗어나는 영역에, 이미지 프로세싱으로 실시간 이미지의 일부분을 확장한다. (S4)

다음으로, 하나 이상의 외부 디바이스(300)로부터 실시간 이미지가 속하는 공간의 파노라마 이미지를 획득하고, 파노라마 이미지를 실시간 이미지와 결합한다. (S5)

마지막으로, 실시간 이미지에 기초하여, 부가 정보를 결정하는 단계, 이미지의 일부분을 확장하는 단계, 및 결합하는 단계를 이용하여 생성된 출력 이미지를 헤드 마운트 디스플레이의 디스플레이에 표시한다. (S6)

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 컴퓨팅 디바이스 110: 실시간 이미지 획득부
120: 미사용 영역 활용부 130: 영상 확장부
140: 파노라마 이미지 결합부 150: 영상 출력부
200: 사용자 HMD 210: 통신부
220: 카메라 230: 디스플레이
240: 스피커 300:외부 디바이스
400: 네트워크

Claims (3)

1. 헤드 마운트 디스플레이의 카메라로부터 실세계(real world)의 실시간(real time) 이미지를 획득하는 단계;
   상기 실시간 이미지의 시야(Field of View)를 결정하는 단계;
   상기 헤드 마운트 디스플레이의 디스플레이 영역 중 상기 시야를 벗어나는 영역에 표시될 수 있는, 상기 실시간 이미지와 관련된 부가 정보를 결정하는 단계;
   상기 시야를 벗어나는 영역에, 이미지 프로세싱(Image Processing)으로 상기 실시간 이미지의 일부분을 확장하는 단계;
   하나 이상의 외부 디바이스로부터 상기 실시간 이미지가 속하는 공간의 파노라마 이미지를 획득하고, 상기 파노라마 이미지를 상기 실시간 이미지와 결합하는 단계;
   상기 실시간 이미지에 기초하여, 상기 부가 정보를 결정하는 단계, 상기 이미지의 일부분을 확장하는 단계, 및 상기 결합하는 단계를 이용하여 생성된 출력 이미지를 상기 헤드 마운트 디스플레이의 디스플레이에 표시하는 단계;
   를 포함하는 헤드 마운트 디스플레이의 시야 확장 방법.
2. 제 1 항에 있어서,
   상기 파노라마 이미지는 정적인(static) 이미지인, 헤드 마운트 디스플레이의 시야 확장 방법.
3. 제 1 항에 있어서,
   상기 영상 확장은 외삽법을 이용하여 수행되는, 헤드 마운트 디스플레이의 시야 확장 방법.

Images