KR20230106800A - 증강현실 구현 디스플레이 장치 및 방법 - Google Patents

Abstract

본 발명은 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법에 관한 것이다.
오브젝트 카메라로 오브젝트의 위치를 산출하고,
사용자용 카메라로 사용자의 눈 위치를 산출하고,
상기 산출된 오브젝트의 위치와 사용자의 눈 위치를 기준으로
사용자가 보는 시선에서 투명디스플레이 내에 투영되는 오브젝트 이미지의 위치를 산출하여,
상기 투명디스플레이 화면에 표시되는 증강이미지를 투영되는 오브젝트 이미지에 쉽게 정합되도록 구현하는 장치이다,
이는 보다 간단하고 저렴한 시스템으로 오차를 최소화한 정합을 구현하는 장점이 있다.

Description

증강현실 구현 디스플레이 장치 및 방법 {Augmented reality display device and method}

본 발명은 증강현실 구현 장치 및 그 방법에 관한 것으로, 특히 투명디스플레이를 이용하여 증강현실을 구현하기 위한 장치 및 그 장치에서 증강현실을 구현하기 위한 방법에 관한 것이다.

일반적으로 현재 불투명 디스플레이를 가지는 모바일 단말기들은 사용자에 LCD(Liquid Crystal Display) 및 OLED(Organic Emitting Display)와 또는 LED(Light Emitting Diode) 같은 스크린을 장착하고, 오브젝트에 카메라를 장착하고 있다. 이러한 불투명 단말기에서 증강현실을 구현할 시 오브젝트 카메라를 통해서 영상이 입력되고, 입력된 영상을 분석하여 관심 오브젝트를 인식한다. 이후 모바일 단말기는 인식된 관심 오브젝트에 이미지 또는 텍스트 등과 같은 가상 정보를 합성하여 함께 화면상에 출력한다.

불투명 디스플레이 화면에 표시되는 오브젝트 이미지는 오브젝트 카메라로 촬영된 이미지로서 데이터 처리 과정을 통해 시스템 영상 메모리에 기억되어 있다. 또한 불투명 디스플레이 화면에 표시되는 증강 이미지는 상기 영상 메모리에 기억된 오브젝트 이미지와 정합시키는 영상처리 프로세스를 거쳐 오브젝트 이미지와 증강 이미지를 정합시켜 함께 출력하여 증강 현실을 구현하게 된다.

한편, 최근에는 투명 LCD, 투명 OLED 또는 투명필름 디스플레이 등과 같은 투명 디스플레이를 구비한 장치가 많이 이용되고 있다. 이러한 투명 디스플레이는 화면 내 화소 사이사이에 투과창이 더 배치되어 오브젝트 및 배경이 카메라를 통하지 않고 그대로 투사된다. 이러한 투명 디스플레이를 통해 증강현실을 구현하려는 시도가 진행 중이다.

불투명 디스플레이는 배경 및 오브젝트 이미지가 오브젝트 카메라를 통해 입력 받아 데이터 처리를 통해 디스플레이 화면으로 출력되나, 이와 달리 투명 디스플레이는 오브젝트가 영상 데이터 처리 등을 통하지 않고 투명디스플레이의 내의 투과창을 통하여 바로 사용자에게 투사된다.

그래서 투명 디스플레이를 통해 투사되는 배경 및 오브젝트 이미지는 사용자의 위치에 따라 위치 및 크기가 변화된다. 이 투명 디스플레이를 구비한 장치에서 증강현실을 구현할 경우는 불투명 디스플레이와 달리 사용자 위치에 따라 다르게 직접 투영되는 배경 및 오브젝트 이미지와 제작되어진 증강이미지를 정합시키는 방법이 요구된다.

이에 본 발명에서는 투명디스플레이에서 증강현실을 구현할 때 바로 투영되는 배경 및 오브젝트 이미지와 제작되어진 증강 이미지를 용이하게 정합시키기 위한 방법 및 그 장치를 제공한다.

특히 종래 정합 방법에 비해 본 발명은 보다 간단하고 저렴한 하드웨어 및 소프트웨어 시스템으로 오차를 최소화한 정합을 구현하는 장점을 가진다.

상술한 바를 달성하기 위한 본 발명은 투명 디스플레이를 구비한 증강현실 구현 장치에 있어서,

투명 디스플레이부(120)와,

오브젝트(11) 이미지를 촬영하는 오브젝트 카메라부(2)와

사용자의 얼굴 및 눈 이미지를 촬영하는 사용자 카메라부(3)와

오브젝트 이미지로 오브젝트의 위치 좌표 및 크기를 파악하는 오브젝트 정보 산출부(4)와

사용자의 얼굴 및 눈 이미지로 사용자의 눈(12)의 위치 좌표를 파악하는 사용자 눈 정보 산출부(5)와

오브젝트에 관련하여 제작되거나 생성된 증강 이미지가 저장된 저장부(7)와

상기 파악된 오브젝트의 위치 좌표와 사용자의 눈의 위치 좌표를 기준으로

투명디스플레이상에 출력되는 증강이미지의 위치를 산출하여 정합시키는 증강 이미지 정합부(6)를 가지는 장치 및 그 방법을 제공한다.

본 발명은 고정된 투명 디스플레이를 사용하는 증강현실 시스템에 있어서,

오브젝트와 사용자의 위치 및 크기 정보를 간단하고 저렴한 시스템으로도 구현이 가능한

방법을 제공함으로써 사용자가 투명디스플레이를 통해 투영되어 보이는 실제 오브젝트에 증강현실 이미지가 정확히 매칭 되도록 하는 방법이다.

도 1은 본 발명의 실시 예에 따른 투명 디스플레이를 구비한 장치에 대한 블록도,
도 2는 본 발명의 투명 디스플레이를 구비하는 장치 구성을 설명하기 위한 예시도,
도 3은 본 발명의 실시 예에 따라 투명 디스플레이를 구비하는 장치에서 증강현실을 구현하는 과정을 나타내는 흐름도,
도 4는 디스플레이내 2차원 평면상에 투영되는 오브젝트 이미지의 수평 위치 계산을 위한 상면도,
도 5는 디스플레이내 2차원 수직면상에 투영되는 오브젝트 이미지의 수직 위치 계산을 위한 측면도,
도 6내지 도 7은 오브젝트 위치 및 크기 인식을 용이하게 하는 수단을 나타내는 예시도,
도 8은 사용자 눈의 위치 파악을 용이하게 하는 방법을 나타내는 예시도.
도 9는 복수의 사용자들 중에 적합한 사용자를 파악하는 방법을 설명하기 위한 예시도.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시 예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

도 1은 본 발명의 실시 예에 따른 투명 디스플레이를 구비한 장치에 대한 블록도이다.

본 발명의 투명 디스플레이를 구비한 증강현실 표시장치(10)는 오브젝트 카메라부(2)와 사용자 카메라부(3)를 포함하는 카메라부(110), 오브젝트 정보 산출부(4)와 사용자 눈 정보 산출부(5)와 증강 이미지 정합부(6)과 영상 처리부(8)와 저장부(7)를 포함하는 제어부(100), 투명디스플레이(1)를 포함하는 투명디플레이부(120)를 포함하여 구성된다.

도 2 내지 도 3을 예시로 본 발명의 동작을 설명한다.

투명 디스플레이 화면을 기준으로 사용자가 위치하는 영역을 구획할 수 있으며, 이 영역 내에 사용자가 진입하면 사용자 카메라(3)는 자동 또는 수동으로 사용자 촬영을 시작할 수 있다. 사용자의 관찰 대상인 오브젝트는 투명 디스플레이를 기준으로 사용자의 반대 영역인 오브젝트 카메라(4) 촬영 영역에 위치하게 된다. 사용자는 투명 디스플레이의 사용자에 위치하게 되어 투명디스플레이의 투명창을 통해 투사되는 실제 오브젝트를 관찰할 수 있다. 이는 불투명 디스플레이가 오브젝트카메라로 촬영한 화면에 보여주는 간접적인 방식에 비해서 훨씬 생생한 시각 정보를 제공할 수 있어서 효과적인 디스플레이 방법이다. 특히 사용자는 모바일 디스플레이 기기나 헤드마운트 디스플레이 기기, 증강현실 안경 등을 착용하지 않고서도 증강현실을 체험할 수 있기에 편의성을 높이는 방법이 된다.

그런데 투명디스플레이의 문제점은 사용자의 눈의 위치에 따라 오브젝트의 투영 위치가 변한다는 것이다.

이 변화하는 투영된 실제 오브젝트 이미지에, 영상신호로 표현되는 증강 이미지를 정합시키기 위해서는 먼저 특정한 기준점을 기준으로 오브젝트의 위치 좌표와 사용자의 눈의 위치 좌표를 알아야 한다.

먼저 오브젝트 위치 좌표를 알기 위해서 디스플레이 장치에 오브젝트 카메라(2)를 설치한다. 오브젝트 카메라(2)의 위치는 고객이 투명 디스플레이의 투명창을 통해 오브젝트를 관찰하는데 방해를 받지 않는 위치에 설치하는 것이 좋으며 투명화면 상측이나 하측 중앙부에 설치하는 것이 바람직하다.

다음으로 사용자의 눈 위치 좌표를 알기 위해서 디스플레이 장치에 사용자 카메라(3)를 설치한다. 사용자 카메라(3)의 위치는 고객이 오브젝트를 관찰하는데 방해를 받지 않는 위치에 설치하는 것이 좋으며 투명화면 상측이나 하측 중앙부에 설치하는 것이 바람직하다.

특히 사용자 카메라(2)는 오브젝트 카메라(2)와 근접하거나 거의 동일한 위치에 설치하는 것이 좋다. 왜냐하면 오브젝트(11)와 사용자(12) 간의 상대 거리 및 각도를 계산하기 용이하고 두 카메라 위치 차이에 의한 측정 및 계산 오차도 줄일 수 있기 때문이다.

이 투명 디스플레이를 구비한 증강현실 표시장치장치(10)의 제작 및 운용자는 투명디스플레이에 투영된 오브젝트와 정합되어 보이게 되는 증강 이미지(9)를 미리 만들어 놓을 수 있다.

이 오브젝트 카메라(2) 및 사용자 카메라(3)는 TOF(Time Of Flight) 기능의 카메라를 적용하면 보다 쉽게 위치 좌표 및 크기를 추출할 수 있다.

도 3, 도 4, 도 5를 참조하여 사용자가 보는 시선에서 투명 디스플레이 평면상에 투영된 오브젝트의 위치 좌표를 산출하는 방법을 설명한다.

먼저 오브젝트 카메라(2)를 이용하여 카메라를 기준점으로 하는 오브젝트의 좌표를 산출한다.

예를 들어 도 4. 상면도에서

디스플레이의 수평면에서의 2차원 좌표로 바라보면, 오브젝트는 오브젝트 카메라(2)를 기준점으로 특정한 거리와 방위각을 가지며 이는 TOF(Time Of Flight) 카메라 등을 이용하여 추출할 수 있다. 상기 추출한 오브젝트 카메라(2)와 오브젝트(11)간의 거리와 방위각을 가지고 삼각함수를 이용하여, 카메라를 기준점으로 Ox, Oy 값을 연산한다.

이어서 사용자 카메라(3)를 이용하여 카메라를 기준점으로 하는 눈의 좌표를 산출한다.

사용자는 사용자 카메라(3)를 기준점으로 특정한 거리와 방위각을 가지며 이도 TOF(Time Of Flight) 카메라 등을 이용하여 추출할 수 있다. 상기 추출한 사용자 카메라(3)와 사용자(12)간의 거리와 방위각을 가지고 삼각함수를 이용하여, 카메라를 기준점으로 Ux, Uy 값을 연산한다.

이 Ox, Oy, Ux, Uy 값으로 삼각함수를 이용하여 투명디스플레이 화면 수평선에 직각인 수직 법선을 기준으로 오브젝트와 사용자 눈 사이의 수평 각도 Θx를 계산한다. 상면도 좌측 도면을 기준으로 계산해보면

tan Θx = (Ux - Ox) / (Uy + Oy)

Θx = arctan ((Ux - Ox) / (Uy + Oy))

여기서 투명디스플레이 상에 투영되는 오브젝트 투영이미지의 수평 위치 Ax는 다음과 같다.

tan Θx = Ax / Oy

Ax = Oy * tan Θx

같은 방법으로 도 5. 측면도에서와 같이 오브젝트의 수직위치와 사용자 눈의 수직 위치 및 투명디스플레이 상에 투영되는 오브젝트 투영이미지의 수직 위치 Az도 구할 수 있다.

먼저 삼각함수를 이용하여 투명디스플레이 수직선에 직각인 수평 법선을 기준으로 Oz, Oy, Uz, Uy를 산출하여 오브젝트와 사용자 눈 사이의 수직 각도 Θz를 계산한다.

tan Θz = (Oz - Uz) / (Oy + Uy)

Θz = arctan ((Ux - Ox) / (Uy + Oy))

여기서 투명디스플레이 상에 투영되는 오브젝트 투영이미지의 수직 위치 Az는 다음과 같다.

tanΘz = Az / Oy

Az = Oy * tanΘz

증강현실 시스템을 구현하기 위해서는 보통 증강 이미지(9)를 미리 만들어서 장치 내 저장부에 저장한다.

이 저장해 놓은 증강 이미지(9)를 상기 산출한 오브젝트 투영 좌표를 참조하여 증강 이미지 정합부(6)에서 위치 정합을 실행한 후, 영상 처리부를 거쳐 투명 디스플레이 화면에 증강 이미지를 출력하게 된다.

사용자는 투명디스플레이 창을 통에서 투영되는 생생한 실제 오브젝트와 이와 정합된 증강이미지(8)를 함께 즐길 수 있게 되어 양질의 증강현실을 체험할 수 있게 된다.

한편 오브젝트 뒤 배경과 혼합되어 촬영된 영상으로 오브젝트를 추출할 경우 주변 배경과의 구분이 잘 되지 않아 오브젝트 인식 오류가 발생할 가능성이 있다. 이에 본 발명의 실시 예로서 상기 주변 배경으로부터 오브젝트의 위치 및 크기 인식률을 높이기 위한 개선 방법을 기술한다.

첫 번째 방법은 도 6.의 예시와 같이 오브젝트 일부의 특징적인 형상들을 미리 저장부(7)에 저장시켜 놓는 것이다. 그 후 오브젝트 카메라가 촬영한 오브젝트 전체 이미지와 오브젝트 정보 산출부에서 미리 저장된 특정 형상과의 매칭 과정을 통해 오브젝트의 기본 좌표를 산출 하는 것이다. 이는 오브젝트의 크기가 큰 경우에 좌표 기준 영역을 좁힐 수 있어서 좌표 추출의 정확성을 향상 시킬 수 있다. 특히 이 형상들을 오브젝트 내 다른 부위로 복수 개로 설정하면 오브젝트의 크기 및 회전정보 또한 쉽게 추출해 낼 수 있다.

다른 두 번째 방법은 도 7.의 예시와 같이 오브젝트 인식 TAG를 오브젝트 표면에 부착하거나 근접한 곳에 설치하는 것이다. 이는 상기 오브젝트 전체 형상이나 부분 형상 인식에 비해 훨씬 인식 에러를 줄일 수 있는 수단이다. 만일 오브젝트 인식 TAG를 QR Code 등으로 하면 더욱 편리하게 인식할 수 있다.

이 인식 TAG도 복수 개를 사용하다면 크기정보 뿐 아니라 회전정보도 쉽게 추출해 낼 수 있다.

한편 사람의 몸 전체와 얼굴 크기에 비해서 눈의 크기는 작아 저해상도로 넓은 부위를 촬영하는 사용자용 카메라로는 눈을 식별하려고 할 때 인식 오류가 발생할 가능성이 높아진다.

이를 개선하기 위한 또 다른 본 발명의 실시 예는 도 8.의 예시와 같이 사용자용 카메라로 촬영된 영상으로는 얼굴의 윤곽만을 인식한 후, 눈의 위치는 얼굴 윤곽을 기준으로 표준 얼굴의 데이터를 사용하여 비례 계산으로 설정하는 방법이다. 눈의 위치 기준점은 양쪽 눈의 중앙으로 설정하면 좌표 계산이 더욱 간단해 진다. 비록 얼룩 윤곽을 기준으로 개개인마다 눈의 위치는 약간 다르겠지만 본 장치의 전체 공간 크기(투명 디스플레이 자체 크기, 오브젝트와 투명디스플레이간 거리 크기, 사용자와 투명디스플레이간 거리 크기)에 비하면 개개인 간 눈의 위치 차는 매우 작은 값이므로 무시해도 좋을 것이다.

한편 도 9.와 같이 복수의 사용자들이 투명 디스플레이에 접근하는 경우에는 사용자 카메라(3)의 화각 내에 촬영된 복수의 사용자 얼굴을 인지한 후 그 중에 거리가 가장 가까운 사용자를 파악하고 그 사용자의 얼굴을 기준으로 투영되는 오브젝트에 증강 이미지를 정합하여 표시하도록 하는 것이 좋다. 도 9.의 경우에는 가장 가까운 사용자가 사용자A가 될 것이다.

그런데 좀 더 멀리 있는 사용자가 투명 디스플레이에 투영되는 오브젝트에 증강 이미지를 정합하여 봐야하는 경우가 발생할 수 있다. 이 경우에는 다른 방법으로 사용자를 선택할 수 있다. 예를 들면 좀 더 멀리 있는 사용자C에 정합된 증강 이미지를 보여 주고자 한다면 보고자 하는 사용자의 특정한 제스처 동작을 인식하도록 제어부(100)에 프로그래밍 해놓을 수 있다.

구체적인 실시 예로 손을 흔드는 제스처를 취하는 사용자를 정합 우선순위로 선택하도록 제어부(100)에 프로그래밍 해 놓는다면, 사용자A 보다 좀 더 멀리 있는 사용자C가 손을 흔드는 동작을 취하게 될 때 제어부(100)은 이를 파악하여 증강 이미지 위치를 및 크기를 사용자C에게 적합하도록 변경시키는 처리를 수행할 수 있다.

즉 복수의 사용자가 있을 경우에도 다양한 영상 및 동작인식 알고리즘을 채용하여 가장 적절한 사용자를 선택하고, 이 사용자에 알맞도록 증강 이미지를 정합시켜 디스플레이에 표시하는 것이 가능하다.

1:투명디스플레이
2:오브젝트 카메라
3:사용자 카메라
4:오브젝트 정보 산출 부
5:사용자 눈 정보 산출부
7:저장부
8:영상 처리 부
9:증강 이미지

Claims (5)

1. 증강현실 구현 장치에 있어서,
   투명디스플레이(1)와,
   오브젝트 카메라(2)와,
   사용자 카메라(3)와,
   저장부(7)를 포함하여 이들의 작동을 제어하는 제어부를 포함하고,
   1-1. 오브젝트 카메라로 촬영한 영상으로 오브젝트의 위치를 산출하고,
   1-2. 사용자 카메라로 촬영한 영상으로 사용자의 눈의 위치를 산출하고,
   1-3. 상기 산출된 실제 오브젝트의 위치와 사용자의 눈 위치를 기준으로
   사용자가 보는 시선에서 투명디스플레이 내에 투영되는 오브젝트 이미지의 위치를 산출하여
   1-4. 상기 투명디스플레이 화면에 투영되는 오브젝트 이미지의 위치에 정합 되도록
   증강 이미지(9)를 표시하는 증강현실 구현 장치.
2. 1 항에서
   1-1. 오브젝트 카메라로 오브젝트의 위치를 산출하는 방법으로
   오브젝트의 일부 특정한 형상들을 시스템 저장부에 미리 저장시킨 후
   오브젝트카메라가 이를 인지하고 이를 기준으로 실제 오브젝트의 위치를 산출하는 방법을 가지는 장치.
3. 1 항에서
   1-1. 오브젝트 카메라로 오브젝트의 위치를 산출하는 방법으로
   특정한 인식패턴들을 오브젝트에 부착하거나 근처에 위치시켜
   오브젝트 카메라가 이를 인지하여 이를 기준으로 오브젝트의 위치를 산출하는 장치
4. 1 항에서
   1-2. 사용자 카메라로 사용자의 눈의 위치를 산출하는 방법으로
   사람의 얼굴 형상만 인식한 다음, 눈의 위치는 표준 비례 계산으로 산출하여 사용자의 눈 위치를 파악하는 장치
5. 1 항에서
   오브젝트 카메라와 사용자 카메라는 서로 근접하게 설치된 장치
   

Images