KR20180050126A - 양안식 증강현실 뷰어에서 증강현실 제공방법 - Google Patents

Abstract

본 발명의 바람직한 일 실시예로서, 양안식 증강현실 뷰어에서 증강현실 제공방법은 영상촬영장치로부터 들어오는 영상을 스테레오타입으로 나누어 좌측 영상과 우측 영상으로 생성하는 단계; 상기 좌측 영상과 우측 영상을 단말기의 디스플레이에 표시하는 단계;를 포함하고, 상기 표시하는 단계는 상기 좌측 영상과 상기 우측 영상을 상기 디스플레이에 표시할 때 표시하는 위치의 편차를 동적으로 조절하는 단계;를 더 포함한다.

Description

양안식 증강현실 뷰어에서 증강현실 제공방법{Method for providing Binocular Augmented Reality}

본 발명은 증강현실 영상 제공에 관한 것이다. 상세히, 본 발명은 증강현실용 양안식 디스플레이 방법에 관한 것으로, 구체적으로 스마트폰의 카메라를 이용해 사용자가 정보를 얻기 원하는 피사체를 인식하고, 이 인식받은 피사체에 관한 정보를 사용자에게 입체적으로 제공하는 방법에 관한 것이다.

본 발명은 산업자원부 과제인 ICT 기술연계 POC 서비스 지원을 위한 원격존재 로봇 시스템 개발 과제 [과제번호 10063098]및 한국과학기술연구원 플래그쉽 과제인 스마트에이징을 위한 실감 소셜 미디어 기술 개발 과제(2E26450)에서 도출된 것이다.

증강현실(augmented reality)은 현실 세계에 컴퓨터 기술로 만든 가상물체 및 정보를 융합, 보완해 주는 기술을 의미한다. 현실 세계에 실시간으로 부가정보를 갖는 가상 세계를 더해 하나의 영상으로 보여주므로 혼합현실(MR: mixed reality)이라고도 한다. 이러한 증강 현실을 사람이 볼 수 있도록 디스플레이화 하는 방법이 여러 가지 있지만 크게 2가지로 나누어 볼 수 있다.

하나는 스마트폰 카메라 등을 이용하여 촬영된 영상을 스마트폰으로 출력하고, 그 영상 내에서 인식된 사물, 사람 등의 피사체에 관한 정보를 촬영된 영상과 함께 스마트폰 화면에 출력하도록 하는 방법이다. 이를 일반적으로 핸드헬드 증강현실이라고 부른다.

다른 하나의 방법은, 헤드 마운트 디스플레이 장치(예. 오큘러스 Rift(상표명))나 안경형 디스플레이(예. 구글 글래스(상표명))를 이용하는 방법으로, 웨어러블 증강현실로 분류가 된다.

핸드헬드 증강 현실 시스템을 구축할 시, 스마트폰 화면으로만 출력이 된다면 몰입감과 직관성이 떨어지는 문제가 있을 수 있다. 또한 양손이 자유롭지가 못하며 팔에 피로가 발생하는 방법이라고 할 수 있다.

반면에 오큘러스와 같은 헤드 마운트 디스플레이 장치는 출력되는 화면이 바로 눈앞에 있고 오른쪽 왼쪽 출력을 따로 함에 따라 몰입감도 높고 입체적인 효과 또한 줄 수 있다. 하지만 헤드 마운트 디스플레이에 영상을 얻기 위한 카메라가 장착 되어있지 않고 장치 내에 운영체제가 없기 때문에 컴퓨터로부터 독립적이지 않아 휴대성이 떨어져 실생활에 사용하는 데에 한계가 있다.

안경식 웨어러블 디스플레이를 사용하는 방법 또한 협소한 디스플레이 영역으로 인하여 몰입감 있는 증강현실을 보여주기에는 역부족이다.

이러한 문제를 해결하기 위해서는 사용자에게 휴대성이 좋은 스마트폰과 같은 모바일 디바이스를 통해 직관적이고 입체적인 영상을 보여주기 위해 스마트폰의 화면에 스테레오타입으로 출력해주는 기술이 필요하다.

또한, 가상 현실은 모든 환경을 컴퓨터를 통해 가상환경으로 제작하여 사용자와 상호 작용하지만, 증강 현실은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다. 따라서, 증강 현실에서는 사용자가 자신이 위치해 있는 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.

이와 같이, 증강 현실은 현실 영상과 가상의 그래픽을 접목하여 보여주기 때문에 보다 실감있고 정확한 영상이 필요하다.

KR 10-2016-0118859 A KR 10-2013-0089139 A

상기 문제를 해결하기 위해서 본 발명에서는 스마트폰의 카메라로부터 들어오는 영상을 스테레오타입으로 나눠서 왼쪽과 오른쪽에 출력을 하고 피사체를 인식하여 증강되는 모델 또한 영상과 같이 양안으로 나눠서 출력하는 입체적인 증강현실용 디스플레이 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명에서는 증강 현실을 구현할 때 요구되는 실감있고 정확한 영상을 제공하기 위하여, 스마트폰과 촬영객체와의 거리에 따라 양안 영상을 디스플레이 위치를 변경함으로써 보다 현실감 있는 영상을 제공하고자 한다.

또한, 상기 문제를 해결하기 위해서 본 발명에서는 상기한 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것을 목적으로 한다.

본 발명의 바람직한 일 실시예로서, 양안식 증강현실 뷰어에서 증강현실 제공방법은 영상촬영장치로부터 들어오는 영상을 스테레오타입으로 나누어 좌측 영상과 우측 영상으로 생성하는 단계; 상기 좌측 영상과 우측 영상을 단말기의 디스플레이에 표시하는 단계;를 포함하고, 상기 표시하는 단계는 상기 좌측 영상과 상기 우측 영상을 상기 디스플레이에 표시할 때 표시하는 위치의 편차를 동적으로 조절하는 단계;를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 영상촬영장치에서 촬영하는 촬영대상과 상기 영상촬영장치의 거리에 따라 상기 편차를 상이하게 조절하는 것을 특징으로 한다.

바람직하게, 상기 영상촬영장치에서 촬영하는 촬영대상과 상기 영상촬영장치와 가까울수록 상기 좌측 영상을 좌측 방향으로, 상기 우측 영상을 우측 방향으로 이동하여 상기 디스플레이에 표시하여 상기 편차를 동적으로 조절하는 것을 특징으로 한다.

본 발명의 바람직한 일 실시예로서, 양안식 증강현실 뷰어는 현실 세계에 컴퓨터 기술로 만든 가상물체 및 정보를 융합, 보완하여 사용자에게 다양한 정보를 제공할 수 있다. 또한, 본 발명의 바람직한 일 실시예로서, 양안식 증강현실 뷰어는 대상 가상 물체와의 거리에 따라 사용자에게 보여지는 양안 영상의 편차를 동적으로 조절하여 사용자에게 시각적 편안함을 제공할 수 있다. 또한, 증강현실 속에서 가상 물체가 떠보이는 문제를 해결하여 사용자가 보다 현실감있게 증강현실을 이용할 수 있는 이점이 있다.

본 발명의 바람직한 일 실시예로서, 양안식 증강현실 뷰어는 사람이 시각을 인지할 때 눈동자의 위치가 변경되는 것을 반영함으로써, 개선된 증강현실을 제공할 수 있다.

도 1은 본 발명의 바람직한 실시예로서, 양안식 증강현실 뷰어의 내부 구성도를 도시한다.
도 2는 본 발명의 바람직한 실시예로서, 양안식 증강현실 뷰어에서 양안 영상을 생성하는 일 예를 도시한다.
도 3은 본 발명의 바람직한 실시예로서, 양안식 증강현실 뷰어와 촬영객체간의 거리를 측정하는 일 예를 도시한다.
도 4는 본 발명의 바람직한 실시예로서, 양안식 증강현실 뷰어와 촬영객체간의 거리에 따라 양안 영상을 표시하는 편차를 조절하는 일 예를 도시한다.
도 5는 본 발명의 바람직한 실시예로서, 양안식 증강현실 뷰어와 촬영객체간의 거리에 따라 양안 영상을 표시하는 편차를 조절하기 전의 일 예를 도시한다.
도 6은 본 발명의 바람직한 실시예로서, 양안식 증강현실 뷰어에서 증강현실을 제공하는 흐름도를 도시한다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 본 명세서에서 단말기는 예를 들어, 모바일 폰, 스마트 폰, 휴대폰, 태블릿 컴퓨터(Tablet PC),PDA(personal digital assistant), 랩톱 컴퓨터(Laptop computer), 미디어 플레이어, PC, GPS(global positioning system) 장치, 디지털 카메라, 게임 콘솔 장치(game console), 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1은 본 발명의 바람직한 실시예로서, 양안식 증강현실 뷰어의 내부 구성도를 도시한다.

본 발명의 바람직한 일 실시예로서, 양안식 증강현실 뷰어(100)는 단말기가 헤드마운트 디스플레이 장치(HMD, Head Mount Display) 내지 3D TV 등에 연결된 전체를 지칭한다. 바람직한 일 실시예로서, 헤드마운트 디스플레이 장치는 스마트폰 등과 연결이 가능하며, 연결된 경우 스마트폰에 장착된 카메라에서 촬영한 영상을 수신한 후, 영상을 스테레오타입으로 나누어 좌측 영상, 우측 영상으로 분리하고, 양안식 증강현실 뷰어(100)와 촬영객체간의 거리에 따라, 스마트폰에 디스플레이 되는 좌측 영상과 우측영상 각각의 표시 위치의 편차를 동적으로 제어한다.

본 발명의 바람직한 일 실시예로서, 양안식 증강현실 뷰어(100)는 스마트 폰을 앞부분에 장착하고 눈앞에 설치된 스마트 폰의 화면을 통해 촬영되는 영상에 포함된 마커 위에 삼차원 물체가 양안으로 출력되도록 한다. 본 발명의 바람직한 일 실시예로서, 스마트 폰을 이용한 양안식 증강현실 뷰어는 사용자가 착용할 경우 사용자의 보고 있는 방향과 동일한 방향으로 영상을 촬영한다.

양안식 증강현실 뷰어(100)는 카메라(101), 영상 처리부(102), 거리 측정부(103), 표시부(104), 제어부(105) 및 저장부(106)를 포함한다.

본 발명의 바람직한 일 실시예로서, 양안식 증강현실 뷰어는 헤드마운트 디스플레이 장치(HMD, Head Mount Display)에 스마트폰 내지 단말기를 탈착하는 형태로 구현이 가능하다.

본 발명의 바람직한 일 실시예로서, 양안식 증강현실 뷰어에서 사용하는 카메라(101)는 스마트폰에 구비된 카메라일 수 있다. 주의할 것은 이에 제한되는 것은 아니며 단말기에 구비된 카메라를 이용할 수 있다.

영상 처리부(102)는 카메라(101)에서 촬영한 영상을 스테레오타입으로 나누어 좌측영상과 우측영상으로 생성한다. 그리고, 좌측영상과 우측영상 각각에 가상 객체를 렌더링한 최종영상을 생성한다. 이 경우, 최종 영상은 '렌더 텍스처'라고 불리는 이미지로 만든다. 렌더 텍스처로 만들어진 이미지는 임의의 평면에 투사 되어 그려지게 된다. 실제 화면에 나타나는 역할을 하는 배경 카메라는 앞서 좌측 부분 화면과 우측 부분 화면이 나뉜 화면으로 만들어진 이미지가 투사 된 평면을 출력한다.

본 발명의 바람직한 일 실시예에서, 영상 처리부(102)는 가상 객체를 위치시킬 마커(marker)를 현실 세계의 공간에 배치하고 상기 마커를 기준으로 상대적 좌표를 추출하여 가상 객체를 위치시킬 위치 및 자세를 추정하는 마커 기반 인식 기술을 이용할 수 있다. 촬영된 영상에서 마커가 있을 경우 마커에 따라 카메라 위치를 계산하여 삼차원 물체를 출력하는 역할을 한다. 예를 들어, 공룡을 뜻하는 마커를 사용자가 임의로 만들고, 실제 공룡의 모습을 3차원 그래픽 이미지로 형상화한 3차원 가상 영상을 공룡 마커와 매칭시킨다.

도 2 를 참고하면, 영상처리부(도 1, 102)는 스마트폰 카메라에서 촬영한 단일영상을 좌측영상(200a)과 우측영상(200b)로 분리한 양안영상을 생성한다. 그 후, 가상객체(210a, 210b)를 각각 좌측영상(200a)과 우측영상(200b)에 렌더링하여 최종영상(220a, 220b)를 생성한다.

거리 측정부(103)는 측정 대상물과의 거리를 측정하는 역할을 하는 것으로서, 적외선센서 또는 초음파센서 등을 이용할 수 있다. 거리 측정을 위해 측정 대상물에 적외선 또는 초음파를 발사하고 반사되는 신호를 처리하여 거리를 측정한다. 도 3 을 참고하면, 거리측정부(도 1, 103)는 양안식 증강현실 뷰어(300)와 대상 객체와의 거리를 측정한다.

제어부(105)는 거리 측정부(103)에서 측정한 거리 값을 기초로, 영상 처리부(102)에서 생성한 좌측영상 및 우측영상간의 편차를 동적으로 조절하고, 이를 저장부(106)에 저장한 후, 스마트폰 등과 같은 단말기의 디스플레이부와 같은 표시부(107)에 표시한다. 사용자는 표시부(107)에 도시되는 영상을 헤드마운트 디스플레이 장치(HMD, Head Mount Display)에 구비된 렌즈판을 통해 3차원 증강현실로 볼 수 있다.

본 발명의 바람직한 일 실시예로서, 제어부(105)는 좌측 영상과 우측 영상을 표시부(107)에 표시할 때 표시하는 위치의 편차를 동적으로 조절할 수 있다. 도 4(a)내지 (b)는 제어부에서 양안 영상의 표시 위치를 동적으로 조절하는 일 예를 도시한다.

제어부(105)는 스마트폰에서 촬영하는 촬영대상과 스마트폰의 거리에 따라 편차를 상이하게 조절한다. 본 발명의 바람직한 일 실시예에서, 제어부(105)는 스마트폰에서 촬영하는 촬영대상과 스마트폰의 거리가 가까울수록 스마트폰의 디스플레이에 표시되는 좌측 영상을 좌측 방향으로, 우측 영상을 우측 방향으로 이동하여 좌측 영상과 우측영상의 편차를 조절한다.

도 5는 본 발명의 일 실시예와 같이 양안식 증강현실 뷰어와 촬영객체간의 거리에 따라 양안 영상을 표시하는 편차를 조절하는 보정이 없는 경우의 일 예를 도시한다. 이 경우, 3차원 증강현실 영상에서 좌측영상과 우측영상이 조합된 영상이 마커와 떠보이는 현상이 발생하여, 증강현실 영상의 퀄리티가 낮은 것을 확인할 수 있다.

도 6은 본 발명의 바람직한 일 실시예로서, 양안식 증강현실 뷰어에서 증강현실 제공방법의 흐름도를 도시한다.

양안식 증강현실 뷰어는 입력영상을 스테레오타입으로 나누어 좌측영상과 우측영상으로 분리한다(S610). 이 후, 도 4(a)내지(b)와 같이 스마트폰 디스플레이의 좌측에 좌측영상을 표시하고, 우측에 우측영상을 표시한다(S620). 이 경우, 스마트폰과 촬영대상의 거리에 따라 좌측영상과 우측영상의 표시 위치의 간격을 나타내는 편차(도 4, 411)를 동적으로 조절한다(S630).

바람직한 일 실시예로서, 촬영대상과 스마트폰의 위치가 기설정된 간격이상인 경우 도 4(a)와 같이 좌측영상과 우측영상의 편차가 작다. 그러나, 촬영대상과 스마트폰의 위치가 가까울수록 도 4(b)와 같이 좌측 영상을 좌측 방향으로, 우측 영상을 우측 방향으로 이동하여 디스플레이에 표시한다.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

Claims (5)

1. 영상촬영장치로부터 들어오는 영상을 스테레오타입으로 나누어 좌측 영상과 우측 영상으로 생성하는 단계; 및
   상기 좌측 영상과 우측 영상을 단말기의 디스플레이에 표시하는 단계;를 포함하고, 상기 표시하는 단계는
   상기 좌측 영상과 상기 우측 영상을 상기 디스플레이에 표시할 때 표시하는 위치의 편차를 동적으로 조절하는 단계;를 더 포함하는 것을 특징으로 하는 양안식 증강현실 뷰어에서 증강현실 제공방법.
2. 제 1 항에 있어서,
   상기 영상촬영장치에서 촬영하는 촬영대상과 상기 영상촬영장치의 거리에 따라 상기 편차를 상이하게 조절하는 것을 특징으로 하는 양안식 증강현실 뷰어에서 증강현실 제공방법.
3. 제 1 항에 있어서, 상기 영상촬영장치에서 촬영하는 촬영대상과 상기 영상촬영장치와 가까울수록 상기 좌측 영상을 좌측 방향으로, 상기 우측 영상을 우측 방향으로 이동하여 상기 디스플레이에 표시하여 상기 편차를 동적으로 조절하는 것을 특징으로 하는 양안식 증강현실 뷰어에서 증강현실 제공방법.
4. 제 1 항에 있어서, 상기 영상촬영장치는 스마트폰을 포함하고, 상기 영상은 스마트폰에 구비된 카메라를 이용하여 촬영한 영상인 것을 특징으로 하는 양안식 증강현실 뷰어에서 증강현실 제공방법.
5. 제 1 항에 있어서, 상기 영상촬영장치는 헤드마운트 디스플레이 장치(HMD, Head Mount Display)에 탈착이 가능하고, 상기 헤드마운트는 렌즈판을 구비하여 상기 영상촬영장치가 상기 헤드마운트에 장착되면, 상기 렌즈판은 상기 좌측영상과 상기 우측영상을 표시하는 것을 특징으로 하는 양안식 증강현실 뷰어에서 증강현실 제공방법.

Images