KR102183692B1 - 투영 객체 인식을 통한 미러 디스플레이 기반 증강 현실 영상 서비스 장치 및 방법 - Google Patents

Abstract

본 발명은 미러 디스플레이의 거울에 비춰진 이미지를 촬상하고, 촬상된 이미지로부터 객체의 거울 상의 투영 이미지 및 위치를 파악하고, 상기 투영 이미지 및 위치에 대응되는 상기 디스플레이의 화면 영역을 기준으로 상기 객체의 부가정보를 표시하는 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 관한 것으로서, 미러 패널과 디스플레이 패널이 결합된 미러 디스플레이; 상기 미러 디스플레이의 둘레에 설치되어, 상기 미러 디스플레이의 전면을 촬영하는 카메라; 및, 상기 카메라로부터 상기 미러 디스플레이에 투영된 영상(이하 투영 영상)을 획득하고, 상기 투영 영상에서 사용자의 얼굴을 검출하고, 사용자 관점의 얼굴 영역 및 위치를 검출하여 증강 현실 영상을 생성하고, 상기 증강 현실 영상을 상기 디스플레이 패널에 표시하는 제어 장치로 구성된다.
상기와 같은 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 의하여, 미러 디스플레이를 자체를 촬영함으로써, 미러 디스플레이에 맺힌 상의 물리적인 위치를 보다 정밀하게 인식할 수 있고, 이를 바탕으로 영상을 합성하고 재구성하는 것과 같은 증강현실 기반의 서비스를 보다 정확하게 제공할 수 있다.

Description

투영 객체 인식을 통한 미러 디스플레이 기반 증강 현실 영상 서비스 장치 및 방법{An augmented reality service apparatus for a mirror display by recognizing the reflected images on the mirror and method thereof}

또한, 본 발명은 미러 디스플레이를 이용하여 서비스를 제공하는데 있어서, 미러 디스플레이를 자체를 촬영할 수 있는 카메라를 장착하여 미러 디스플레이에 맺힌 상의 물리적인 위치를 정밀하게 인식하고 이를 바탕으로 영상을 합성하고 재구성하는 것과 같은 증강현실 기반의 서비스를 제공할 수 있는 미러 디스플레이 기반 증강 현실 영상 서비스 장치 및 방법에 관한 것이다.

즉, 본 발명은 미러 디스플레이의 거울에 비춰진 이미지를 촬상하고, 촬상된 이미지로부터 객체의 거울 상의 투영 이미지 및 위치를 파악하고, 상기 투영 이미지 및 위치에 대응되는 상기 디스플레이의 화면 영역을 기준으로 상기 객체에 해당하는 증강 현실의 영상을 합성하는 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 관한 것이다.

디스플레이 2.0 시대에 있어서 주요 사업인 초고화질(UHD), 입체영상(3D, 무안경, 홀로그램)과 더불어 디지털정보디스플레이(DID)가 각광받고 있다. 수동적인 디스플레이의 개념에서 능동적으로 사용자가 정보를 상호작용을 통해 얻을 수 있는 개념의 확장으로 이어지는 시대의 추세이다. UHD로 구현되는 초고화질 화면으로 인해 높은 현실감과 화면 크기의 확장으로 디스플레이의 대형화가 가능하고 이는 입체영상의 입체감 향상으로 이어져 DID(digital information display)가 사용자에게 제공할 수 있는 인터랙티브 콘텐츠의 사용 경험의 확장을 가져 올 것이다.

이러한 차세대 디스플레이의 발전으로 인해 맞이하게 되는 새로운 정보사회의 패러다임을 준비하고, 한 차원의 진보적인 연구가 필요한 시점에서 새롭게 주목받고 있는 기술이 미러 디스플레이에 관한 것이다. 미러 디스플레이 장치는 영상화면을 표시하기 위한 디스플레이부를 거울에 구비하고 있는 디스플레이 장치로 정의할 수 있으며, 별도의 디스플레이를 요구하지 않으므로 비용 및 공간활용 측면에서 유용하다.

특히, 현재 보편화된 개인용 소형 스마트 디바이스의 경우 다양한 콘텐츠를 이용하기 위해 이용자가 해당 콘텐츠를 검색하고 그 내용을 다시 구분해야 하는 불편함이 있다. 또한 이러한 스마트 디바이스는 휴대를 위한 작은 크기와 더불어 콘텐츠가 탑재되는 디바이스가 개인 휴대전화라는 특성상 대단히 개인적인 용도로 활용되고 있다. 이러한 이유에서 주택이나 사업장 등 어디나 설치되어 있는 전통적인 아날로그 디스플레이인 거울을 발전시켜 차세대 디스플레이로 활용하고 스마트 콘텐츠, 나아가 인터랙티브 콘텐츠 디자인을 탑재하여 생활 문화를 개선하는 미러 디스플레이가 요구되고 있다.

미러 디스플레이는 전면에 거울을 구비하고 상기 거울 후면에 디스플레이 장치를 구비하여 개발되고 있다[특허문헌 1]. 이때, 사용하는 거울은 빛의 일부를 반사하고 일부는 투과하는 하프 미러를 사용한다. 즉, 미러 디스플레이는 반사되는 빛에 의해 거울로 작용하고, 후면에 배치된 디스플레이의 발광되는 빛이 거울을 투과함으로써 디스플레이로서 작용한다. 또한, 액정패널의 액정층의 액정 배열을 조절하여 거울 및 디스플레이 겸용 미러 디스플레이가 개시되고 있다[특허문헌 2].

또한, 전면에 투명한 액정소자를, 후면에 반사 기능을 갖는 반사매질를 구비하여 미러 디스플레이를 구성할 수 있다[특허문헌 3]. 투명 액정소자가 디스플레이되지 않고 모든 빛을 투과시키면, 투과된 빛은 반사매질에 반사되어 미러 디스플레이는 통상의 거울로 작용한다. 투명 액정소자가 구동하여 일부 셀들이 들어오는 빛을 차단하고 자체 빛을 발광하면, 해당 셀들은 디스플레이로서 작용한다.

상기와 같은 미러 디스플레이는 다양한 형태로 응용될 수 있다.

화장실에 설치되는 미러형 디스플레이 상품으로는 사이버텍쳐(Cybertecture) 미러(홍콩)가 있다[비특허문헌 1]. 이 제품은 날씨 표시기능, 웹 검색 기능, 체중계 연동 기능이 있으나 소형가전에 사용되는 임베디드 보드 기반의 단순 운영체제를 사용하고 있기에 다양한 안드로이드 운영체제와 같이 다양한 어플리케이션의 기획과 개발이 불가능하다. 이러한 단순 기능을 가진 제품은 오직 화장실에서만 사용이 그치는 원인이기도 하다. 활용성 측면에서도 커뮤니케이션을 위한 카메라나 근접센서, 터치스크린과 같은 인터랙티브 기능을 위한 디지털장비가 없기 때문에 단순히 거울에 단순 디스플레이 기능을 추가했을 뿐, 거울이라는 특성을 활용한 콘텐츠를 제공하지는 못하고 있다.

또한, 미러 디스플레이와 마주하는 사람들을 인식하여 인식 결과에 따라 디스플레이 화면에 관련 정보를 표시하는 기술도 개시되고 있다. 예를 들어, 카메라를 설치하여 사람을 촬영하고, 촬영된 사람을 미러 디스플레이에 표시하는 기술들이 개시되고 있다[특허문헌 4,5].

또한, 검출용 마크 등을 이용하여 거울에 마주하는 사람의 위치를 파악하고, 거울에 비친 사람의 이미지에 가상의 의복을 착용시켜 표시하는 기술이 개시되고 있다[특허문헌 6]. 미러 디스플레이를 바라보는 사람 눈의 위치를 파악하였다가, 거울에 비춰지는 객체가 상기 사람의 눈의 위치를 기준으로 투영되는 위치를 파악하여, 상기 객체의 부가정보를 표시하는 기술이 개시되고 있다[특허문헌 7].

상기와 같은 기술들에 의하여, 스마트 미러 시스템은 도 1과 같이 거울을 활용하여 내부에 초고화질 LED 디스플레이와 안드로이드 운영체제를 기반으로 거울을 사용하기 위해 접근하는 사람을 감지할 수 있는 근접 센서, 인터랙티브를 위한 멀티 터치센서, 콘텐츠 활용을 위한 전면 카메라를 탑재한다.

이러한 기능을 통해서 평소에는 액자, 앨범과 같은 사진 슬라이드 기능 혹은 시간 및 날씨 등의 생활 정보 디스플레이로 활용되다가 사용자가 다가오면 거울로 사용할 수 있게 화면이 변경된다. 또한 사용자가 화면을 터치하면 스마트 기능이 표시되어 자연스러운 사용자 경험(User Experience, UX)을 사용할 수 있다. 스마트미러는 지금까지 스마트폰, 스마트패드 등에서 동작했던 모든 어플리케이션을 모두 활용할 수 있다. 장시간 활용해도 안드로이드 메인보드는 일반 PC와 같이 오류, 오동작을 하지 않으므로 사용자의 전문성과 관계없이 안정적인 동작이 가능하다.

그러나 미러 디스플레이를 이용하여 서비스를 제공하는데 있어서, 미러 디스플레이에 맺힌 상의 물리적인 위치를 정밀하게 인식하고 이를 바탕으로 영상을 합성하고 재구성하는 것과 같은 증강현실 기반의 서비스를 제공하는 기술이 아직 미흡한 실정이다.

[특허문헌 1] 일본공개특허 제2014-032312호 (2014.02.20.공개) [특허문헌 2] 한국공개특허 제2012-0074499호 (2012.07.06.공개) [특허문헌 3] 한국공개특허 제2013-0037600호 (2013.04.16.공개) [특허문헌 4] 미국공개특허 제2013-0229482호 (2013.09.05.공개) [특허문헌 5] 일본공개특허 제2010-087569호 (2010.04.15.공개) [특허문헌 6] 일본공개특허 제2013-0128202호 (2013.11.26.공개) [특허문헌 7] 한국공개특허 제2013-0128202호 (2013.11.26.공개)

[비특허문헌 1] http://www.cybertecturemirror.com/main.php?id=features

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 미러 디스플레이의 거울에 비춰진 이미지를 촬상하고, 촬상된 이미지로부터 객체의 거울 상의 투영 이미지 및 위치를 파악하고, 상기 투영 이미지 및 위치에 대응되는 상기 디스플레이의 화면 영역을 기준으로 상기 객체에 필요한 증강 현실 영상을 표시하는 미러 디스플레이 기반 증강 현실 영상 서비스 시스템을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 관한 것으로서, 미러 패널과 디스플레이 패널이 결합된 미러 디스플레이; 상기 미러 디스플레이의 둘레에 설치되어, 상기 미러 디스플레이의 전면을 촬영하는 카메라; 및, 상기 카메라로부터 상기 미러 디스플레이에 투영된 영상(이하 투영 영상)을 획득하고, 상기 투영 영상에서 사용자의 얼굴을 검출하고, 사용자 관점의 얼굴 영역 및 위치를 검출하여 증강 현실 영상을 생성하고, 상기 증강 현실 영상을 상기 디스플레이 패널에 표시하는 제어 장치를 포함하는 것을 특징으로 한다.

또한, 본 발명은 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 있어서, 상기 카메라는 광각 렌즈를 장착하는 것을 특징으로 한다.

또한, 본 발명은 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 있어서, 상기 제어장치는 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴을 검출하는 것을 특징으로 한다.

또한, 본 발명은 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 있어서, 상기 제어장치는 상기 보정된 투영 영상을 YCbCr의 영상으로 변환하고, Cb와 Cr성분을 이용한 다음 [수식 1]의 피부색 참조맵 B(x,y)를 이용하여 얼굴 영역을 검출하는 것을 특징으로 한다.

[수식 1]

또한, 본 발명은 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 있어서, 상기 제어장치는 미러 디스플레이의 실제 크기(A')-카메라로부터 촬영된 미러 디스플레이의 크기(A), 촬영된 미러 디스플레이의 크기(A)-검출된 얼굴 영역(B) 및 촬영된 미러 디스플레이의 크기(A)-카메라와의 거리 및 각도(C)간의 관계를 이용해서 실제 얼굴의 크기(B')와 위치를 검출하는 것을 특징으로 한다.

또한, 본 발명은 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 있어서, 상기 제어장치는 사용자의 얼굴 영역의 실제 크기를 다음 [수식 1]에 의해 구하는 것을 특징으로 한다.

[수식 2]

단, 얼굴검출영역의 크기는 영상 내에서의 얼굴 검출영역의 크기,

실제 미러 디스플레이의 크기는 사전에 정해진 값.

또한, 본 발명은 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 있어서, 상기 제어장치는 사용자의 얼굴 영역과의 실제 거리를 다음 [수식 2]에 의해 구하는 것을 특징으로 한다.

[수식 3]

단, 기준거리 및 기준크기는 사전에 정해진 값.

상술한 바와 같이, 본 발명에 따른 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 의하면, 미러 디스플레이를 자체를 촬영함으로써, 미러 디스플레이에 맺힌 상의 물리적인 위치를 보다 정밀하게 인식할 수 있고, 이를 바탕으로 영상을 합성하고 재구성하는 것과 같은 증강현실 기반의 서비스를 보다 정확하게 제공할 수 있는 효과가 얻어진다.

도 1은 본 발명에 따른 소제구 마개가 설치된 횡주관 및 소제구 전체에 대한 구성도.
도 2는 본 발명의 일실시예에 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 대한 (a) 정면도 및, (b) 단면도.
도 3은 본 발명의 일실시예에 따른 미러 디스플레이와 미러 촬영을 위한 카메라의 배치도의 예시도로서 (a) 정면도 및 (b) 측면도의 예시도.
도 4는 본 발명의 일실시예에 따른 미러의 촬영을 위한 다양한 카메라 위치를 나타낸 배치도로서, (a) 상하형, (b) 모서리형, (c) 좌우형의 배치 예시도.
도 5는 본 발명의 일실시예에 미러 디스플레이 기반 증강 현실 영상 서비스 시스템의 제어장치의 구성을 나타내는 블록도.
도 6은 본 발명에 따른 미러 디스플레이의 동작 예시로서, (a) 미러에 비친 입방향 객체의 촬영, (b) 영상처리 및 인식, (c) 인식된 정보를 바탕으로 영상의 합성의 예시도.
도 7은 본 발명의 일실시예에 따른 미러 디스플레이 기반 증강 현실 영상 서비스 방법을 설명하는 흐름도.
도 8은 본 발명의 일실시예에 따라 미러 촬영을 이용한 영상의 획득, 처리, 및 보정 과정의 예시도로서, (a) 위쪽 카메라에 의한 촬영 영상, (b) 렌즈 왜곡을 보정한 영상, (c) 기하학적 왜곡을 보정한 영상, (d) 아래쪽 카메라에 의한 촬영 영상, (e) 렌즈 왜곡을 보정한 영상, (f) 기하학적 왜곡을 보정한 영상, (g) 보정된 두 영상의 합성을 통해 획득한 영상의 예시도.
도 9는 본 발명의 일실시예에 따른 얼굴 검출 단계를 설명하는 흐름도.
도 10은 본 발명에 따른 미러 디스플레이의 촬영의 예시도로서, (a) 카메라의 배치, (b) 촬영된 영상의 예시도.
도 11은 본 발명에 따라 얼굴의 추적을 통한 시점의 예측의 예시 영상 이미지로서, (a) 미러 디스플레이 촬영 영상(렌즈 및 기하학적 왜곡 보정 후), (b) 얼굴 추적을 통한 시점 예측 결과의 영상 이미지의 예시도.
도 12는 본 발명에 따른 미러 디스플레이의 크기, 검출된 얼굴의 크기 및 카메라와의 거리를 예시한 도면.
도 13은 본 발명에 따른 촬영된 영상에서의 미러 디스플레이의 크기 및 영상의 크기를 예시한 도면.
도 14는 본 발명에 따라 카메라에 촬영된 영상을 통해 예측한 시점과 합성 영상의 생성하는 과정을 설명한 도면.
도 15는 본 발명에 따라 미러 디스플레이를 통해서 사용자에 의해서 보여지는 영상의 예시도.
도 16은 본 발명에 따른 미러 디스플레이를 이용한 증강 현실의 구현한 영상의 예시도.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명의 일실실예에 미러 디스플레이 기반 증강 현실 영상 서비스 시스템의 구성을 도 2를 참조하여 설명한다.

도 2에서 보는 바와 같이, 본 발명의 일실실예에 미러 디스플레이 기반 증강 현실 영상 서비스 시스템은 미러 디스플레이(10), 카메라부(21), 및, 제어장치(30)로 구성된다. 또한, 근접 센서 등 각종 센서(미도시)를 추가하여 구성될 수 있다.

미러 디스플레이(10)는 미러 역할을 수행하는 특수 코팅된 미러 패널이 결합된 디스플레이 패널이다. 또한, 미러 디스플레이(10)에는 터치 기능이 구비되는 것이 바람직하다.

일실시예로서, 미러 디스플레이(10)는 전면에 거울(11)을 구비하고, 거울(11)의 후면에 디스플레이 장치(12)를 구비한다. 이때, 사용하는 거울(11)은 빛의 일부를 반사하고 일부는 투과하는 하프 미러를 사용하는 것이 바람직하다. 즉, 미러 디스플레이(10)는 반사되는 빛에 의해 거울(11)로 작용하고, 후면에 배치된 디스플레이 장치(12)의 발광되는 빛이 거울을 투과함으로써 디스플레이로서 작용한다. 이때 바람직하게는, 디스플레이 장치(12)는 LCD(Liquid CrystalDisplay) 패널을 구비하여 구성될 수 있고, 그 외에도, 유기EL(Organic Electro Luminescence) 패널이나, PDP(Plasma Display Panel)를 구비하여 구성된 것일 수도 있다.

또한, 다른 실시예로서, 미러 디스플레이(10)는 전면에 투명 디스플레이 장치(12)를 구비하고, 투명 디스플레이 장치(12)의 후면에 거울에 사용하는 광 반사 도료 또는 반사 필름(또는 반사형 편광 필름) 등을 구비할 수도 있다. 즉, 투명 디스플레이 장치(12)의 일부 발광소자가 작동하지 않은 채 빛을 통과시키면 광 반사 필름에 의해 반사되어 거울 역할을 하고, 투명 디스플레이 장치(12)의 나머지 작동하는 발광소자의 부분은 디스플레이로 기능한다. 이때 바람직하게는, 디스플레이 장치(12)는 투명 디스플레이로서, 통상의 투명 유기 전기발광 디스플레이(OLED) 등을 이용할 수 있다.

한편, 미설명 부호 15는 미러 디스플레이 장치(10) 등이 수납될 수 있는 미러 고정부이다.

또한, 카메라부(21)는 미러 디스플레이(10)의 주변(또는 둘레)에 설치되는 카메라 장치로서, 미러 디스플레이(10)의 전면 자체를 촬영할 수 있는 적어도 하나 이상의 카메라로 구성된다. 특히, 카메라(21)는 미러 디스플레이(10)에 밀착하여 장착된다.

도 3은 미러 디스플레이(10)와 미러 디스플레이(10)에 맺힌 상을 촬영하기 위한 카메라(21)의 배치를 나타냈다. 미러 디스플레이(10)에 맺힌 상을 촬영하기 위해서는 다양한 카메라 배치가 가능한데 이를 도 4에 몇 가지 형태로 예시하였다.

바람직하게는, 카메라부(21)는 광각 렌즈를 장착한 카메라로 구성된다. 도 3에서 예시한 것을 살펴보면 카메라를 상단에 위치할 경우에 카메라에 광각 렌즈를 부탁하여 가능한한 넓은 면적의 영상을 촬영할 수 있도록 하고 있다. 이러한 경우에 카메라의 위치에 의해 영상을 획득할 수 있는 음영 영역이 발생한다. 따라서 2개 이상의 카메라를 장착하여 이러한 음영 영역을 제거할 수 있다. 이는 제공하고자 하는 서비스의 형태에 따라서 다양하게 결정될 수 있다.

한편, 근접 센서 등 각종 센서부(미도시)는 객체 및 환경 인지를 위한 센서로 구성된다.

제어장치(30)는 통상의 컴퓨팅 기능을 가진 장치로서, 중앙처리장치(또는 마이크로프로세서), 메모리, 저장장치, 입출력 장치, 통신 장치 등을 구비한다. 바람직하게는 제어장치(30)에는 안드로이드(또는 윈도우, 리눅스) 등 운영체제가 탑재되어, 디스플레이 구동 및, 증강 현실 영상 서비스 프로그램 등이 설치될 수 있다.

구체적으로, 도 5에서 보는 바와 같이, 제어장치(30)는 터치 기능에 의한 터치 좌표, 카메라부(21)에 의한 영상 또는 이미지, 근접 센서 등 각종 센서에 의한 센싱값 등을 입력받는 입력부(31), 미러 디스플레이(10)의 디스플레이 장치에 화면을 표시하는 표시부(32), 유무선 인터넷, 이동통신용 모뎀 등 네트워크와 연결되어 데이터를 송수신하는 통신부(33), 데이터를 저장하는 메모리(35), 중앙처리장치 또는 마이크로프로세서 등으로 구현되는 제어부(34)를 포함하여 구성된다.

다음으로, 본 발명에 따른 미러 디스플레이 기반 증강 현실 영상 서비스 방법의 구체적인 설명에 앞서, 개괄적으로 설명하면 다음과 같다.

센서 및 카메라를 통해 객체 혹은 사용자가 인지되면 카메라를 통해서 미러 디스플레이에 맺힌 상을 촬영하고 이를 다양한 영상처리를 통해서 인지한다. 이때 미러 디스플레이에 맺힌 상과 미러 디스플레이와의 물리적인 공간 정보를 정확하게 추출하기 때문에 이를 기반으로 정확한 합성 영상을 만들 수 있는 특성을 갖는다. 만일 객체 혹은 사용자를 직접 촬영한다면 촬영 환경(거리, 각도, 조명 등)에 따라서 획득된 객체 및 사용자의 정보에 대한 정확한 물리적인 위치 정보를 알 수 없기 때문에 이들과의 정확한 영상 합성이 어렵다.

미러 디스플레이는 미러에 반사된 자신의 형상과 디스플레이에서 제공하는 영상을 동시에 보여주기 때문에 미러에 반사된 자신의 형상에 대한 물리적인 위치 정보를 기준으로 제공된 합성 영상은 뛰어난 효과를 얻을 수 있다.

도 6에 이러한 과정을 예시하였다. 도 6(a)는 미러 디스플레이 앞에 입방형의 객체가 존재하고 있는 경우를 나타내는데 입방형의 객체는 미러에 반사되어 상이 맺힐 것이고 이렇게 미러에 맺힌 상을 촬영한 후에 다양한 영상처리 과정을 거치면 도 6(b)와 같은 영상을 얻는다. 이는 미러 디스플레이에 맺힌 상이기도 하지만 만일 객체가 사용자라면 사용자의 눈에 보이는 상이라고도 할 수 있다는 것이 매우 중요한 점이다. 이 정보를 바탕으로 도 6(c)와 같이 작은 입방형 객체를 만들어서 인위적으로 디스플레이에서 투사를 한다면 도 6(c)와 같이 2개의 영상이 매우 정교하게 합성된 결과를 얻을 수 있다. 도 6(c)에서 위쪽의 객체는 그래픽에 의해서 생성된 것이고 아래쪽의 객체는 현재 미러 앞에 놓여 있는 실제 객체가 비춰진 것이다. 이러한 특징은 미러 디스플레이에 맺힌 상을 직접 촬영한 영상 정보를 바탕으로 영상을 만들었다는 점으로부터 기인한다.

다음으로, 본 발명의 일실시예에 따른 미러 디스플레이 기반 증강 현실 영상 서비스 방법을 도 7을 참조하여 설명한다.

도 7에서 보는 바와 같이, 본 발명의 일실시예에 따른 미러 디스플레이 기반 증강 현실 영상 서비스 방법은 (a) 카메라에 의해 획득된 투영 영상을 입력받는 단계(S10); 입력된 투영 영상을 보정하는 단계(S20); 투영 영상에서 얼굴을 검출하는 단계(S30); 사용자 관점의 얼굴 영역 및 위치를 검출하는 단계(S40); 검출된 얼굴 영역/위치를 기반하여 증강 현실 영상을 생성하는 단계(S50); 증강 현실 영상을 표시하는 단계(S60)로 구성한다.

먼저, 카메라부(21)의 카메라에 의해 획득된 투영 영상을 입력받는다(S10). 앞서 설명한 바와 같이, 카메라(21)에 의해 획득된 투영 영상은 카메라(21)가 미러 디스플레이(10)의 전면을 촬영한 영상(또는 이미지)이다. 또한, 바람직하게는, 카메라(21)는 광각 렌즈를 장착한 카메라이다. 따라서 광각 렌즈에 의해 촬영된 투영 영상은 통상의 이미지에 비하여 왜곡되어 표시된다.

다음으로, 입력된 투영 영상을 보정한다(S20).

미러 디스플레이(10)에 맺힌 상을 촬영하기 위한 카메라(21)는 미러 디스플레이(10)에 밀착하여 장착되고, 광각 렌즈를 사용하여 넓은 면적을 촬영하기 때문에 여러 가지 형태의 왜곡이 발생한다.

첫 번째 왜곡은 광각 렌즈를 사용하기 때문에 나타나는 렌즈 왜곡이고 두 번째는 카메라 렌즈와 촬영하고자 하는 대상 사이의 각도가 수직에 가깝기 때문에 나타나는 왜곡이다.

상하 구조의 카메라 시스템을 이용하여 촬영할 경우에 대한 예시를 도 8에 나타냈다. 도 8(a)와 (d)는 상하에 위치한 카메라를 통해서 촬영된 영상을 나타낸다. 카메라의 물리적인 위치와 렌즈의 사용으로 인해 다양한 왜곡이 발생할 수 있다. 이를 도 8(b)및 (e)와 같이 먼저 렌즈 왜곡을 제거하고 다음으로 영상을 도 8(c) 및 (f)와 같이 복원한다. 두 복원된 영상은 촬영이 되지 않은 음영 지역이 모서리에 각각 발생하고 두 영상을 합성하여 도 8(g)와 같이 최종 결과 영상을 얻는다. 이러한 보정된 영상을 획득하는 과정에 사용되는 다양한 파라미터들은 카메라가 설치된 이후에 한번만 셋팅해 놓고 고정된다.

다음으로, 투영 영상에서 사용자의 얼굴을 검출한다(S30).

객체 혹은 얼굴 검출 기법을 이용하여 객체 혹은 얼굴을 추출한다. 추출된 객체 혹은 얼굴에서 특징점을 검출하고 특징점 기반의 객체 혹은 얼굴 추적 기법을 사용하여 고속으로 객체 혹은 얼굴의 위치를 업데이트한다.

객체 혹은 얼굴 검출 과정은 변형된 아다부스트(Adaboost) 알고리즘을 사용하고, 아다부스트(Adaboost) 알고리즘을 적용할 대상 영상의 크기를 줄여 연산시간을 줄이도록 한다. 먼저, 입력된 영상으로부터 움직임 영역을 검출한다. 이것은 이전 프레임과 현재 프레임간의 차이를 구하여 검출하며, 움직임이 전혀 없는 경우는 움직임이 있을 때까지 차영상을 반복하여 구한다. 일단 차영상이 구해지면 그 차영상을 수평방향과 수직방향으로 각각 누적덧셈을 수행한다. 그 결과는 하나의 행과 하나의 열로 나타나며, 각 화소의 값이 0이 아닌 화소들을 행과 열로 각각 확장하여 두 확장 영역의 교집합을 구한다. 그 결과는 모폴로지(morphology) 필터(erosion 필터와 dilation 필터)를 사용하여 잡음과 같은 작은 영역들을 제거하며, 필터링된 영상은 이진화(binarization)한다.

얼굴검출은 얼굴의 색을 검출하는 방법을 사용하였는데, 일반적으로 얼굴색은 조명에 크게 의존하므로, 본 발명에서는 그 의존도를 낮추기 위해 영상포맷을 RGB에서 YCbCr로 바꾸어 사용하였다. 이 중 Y성분은 조명에 가장 민감하므로 Cb와 Cr성분만 사용한다. 본 발명에서 피부색으로 사용한 색의 범위는 피부색 참조맵 B(x,y) 이며, 수학식 1과 같다.

[수학식 1]

이 식을 만족하는 영역을 추출하고, 그 결과에 모폴로지 필터를 적용하여 잡음과 같은 작은 영역들을 제거하며, 그 결과 역시 이진화한다. 획득된 두 영상에 대한 교집합(AND)을 구하고, 여기에 해당하는 RGB영상을 추출하여 그 결과 영역에 Adaboost 알고리즘을 적용함으로써 객체 혹은 얼굴영역을 검출한다.

도 9는 앞서 설명한 얼굴 검출 단계의 흐름도를 나타낸다.

다음으로, 사용자 관점의 얼굴 영역 및 위치를 추출한다(S40).

구체적인 검출 방법을 설명하기에 앞서, 앞선 단계에서 보정하여 구한 투영 영상을 사용자 관점에서 바라본 영상과 대비하여 그 차이를 알아본다.

카메라의 위치 및 각도를 조절하여 미러 디스플레이로부터 어떤 거리에 있는 피사체를 촬영한다. 이때 촬영되는 영상은 미러 디스플레이 내에 상이 맺힌 영상에 해당한다. 도 10(a)에 미러 디스플레이를 이용하여 피사체를 촬영하기 위한 미러 디스플레이와 카메라 및 피사체간의 관계를 그림으로 나타냈다. 미러 디스플레이와 카메라의 위치 및 각도의 특성으로 인해 카메라로부터 획득된 영상은 도 10(b)와 같은 형태를 보인다.

도 11(a)에는 카메라로부터 촬영된 영상이 보정을 거친 결과를 나타냈고, 도 11(b)는 얼굴 검출 알고리즘을 통해 판별된 얼굴 위치(사각형 내부)를 나타낸다. 얼굴 검출 알고리즘은 다양한 방식의 사용이 가능하고, 검출된 얼굴 영역으로부터 사용자의 눈의 위치를 판별하여 시점을 예측한다.

앞에서 얼굴을 찾기 위해 아다부스트(Adaboost) 알고리즘을 사용하였는데, 이를 통해 얼굴 영역 및 눈의 위치를 검출할 수 있다. 얼굴을 검출했으면 그 얼굴 내에서 눈의 위치가 어디라는 것은 비율적으로 예측할 수 있다. 또한 간단히 눈을 찾는 방법은 얼굴을 검출한 후에 얼굴에서 일정한 간격으로 위치한 검은 색 부분을 찾아서 눈동자를 판별한다.

한편, 도 11에서 보는 바와 같이, 카메라(21)에 의해 촬영된 투영 영상은 사용자 관점에서 바라본 영상에 비하여, 한쪽으로 치우져서 촬영된다. 따라서 투영 영상으로부터 사용자 관점에서 바라본 영상의 영역 및 위치를 추출하여야 한다.

도 12에서 보는 바와 같이, 미러 디스플레이의 실제 크기(A')-카메라로부터 촬영된 미러 디스플레이의 크기(A), 촬영된 미러 디스플레이의 크기(A)-검출된 얼굴 영역(B) 및 촬영된 미러 디스플레이의 크기(A)-카메라와의 거리 및 각도(C)간의 관계를 이용해서 실제 얼굴의 크기(B')와 위치를 검출할 수 있다.

즉, 카메라를 이용하여 미러 디스플레이를 촬영하고, 보정을 한 이후에는 도 13과 같은 영상이 획득된다. 미러 디스플레이와 카메라를 설치할 때에 보정 과정을 거치면서 촬영된 영상에 포함된 실제 공간의 크기와 미러 디스플레이의 크기, 그리고 카메라 간의 거리는 사전에 측정된 값으로 사전에 메모리 등에 저장한다. 아다부스트(Adaboost) 알고리즘을 통해서 얼굴영역이 검출되면 검출된 얼굴영역과 미러 디스플레이의 크기간의 비례식을 통해서 실제 얼굴의 크기를 계산할 수 있다.

실제 얼굴의 크기는 다음 [수학식 2]에 의해 구해진다.

[수학식 2]

또한 실제 얼굴의 크기가 구해지면 미러 디스플레이와 사용자 간의 거리를 예측할 수 있다. 이때 사용되는 비례식은 초기에 미러 디스플레이를 설치할 때 보정 과정을 통해서 설정해 놓을 수 있다. 즉, 얼굴 객체 대한 기준 거리와 기준 크기의 값 또는 이들의 비례식, 비례 관계를 사전에 측정하여 메모리 등에 저장된다.

이미 앞서 수학식 2를 통해 실제 얼굴의 크기를 알고 있기 때문에 초기에 설정된 기준 얼굴의 크기 대비 기준 거리 정보를 바탕으로 실제 사용자가 위치하는 거리를 알 수 있다.

실제 거리는 다음 [수학식 3]에 의해 구해진다.

[수학식 3]

이를 통해서 사용자의 위치를 확인하여, 이하에서 보는 바와 같이, 사용자의 시점에 맞추어 증간현실 서비스를 제공할 수 있다.

다음으로, 검출된 사용자 관점의 얼굴 영역/위치를 기반으로 증강 현실 영상을 생성한다(S50).

미러 디스플레이를 바라보는 사용자의 시점을 예측하고 난 이후에는 사용자의 시점에 맞추어 합성 영상을 미러 디스플레이를 통해서 제공함으로써 증강현실 서비스를 제공할 수 있다. 도 14(a)는 사용자의 시점을 예측한 후에 해당 위치에 합성 영상을 디스플레이하는 형태를 보여주고 있다.

사용자는 미러 디스플레이에 반사된 자신의 모습과 생성된 영상의 합성 영상을 볼 수 있게 된다. 도 15는 이러한 결과를 나타냈다.

마지막으로, 생성된 증강 현실 영상을 미러 디스플레이(10)에 표시한다(S60).

도 16에는 미러 디스플레이를 이용하여 사용자의 위치 및 크기를 판별하고 이를 통해 합성 영상을 생성하여 사용자에게 증강현실 서비스를 제공할 수 있는 시스템을 구현한 후에 간단한 서비스를 제공하는 예를 보이고 있다.

도 16(a)는 생성된 영상이고, 도 16(b)는 카메라를 이용하여 미러 디스플레이를 통해 반사된 사용자와 증강현실 서비스를 위해 생성된 영상이다. 도 16(c)는 사용자와 생성된 영상이 합성되어 증강현실 서비스를 제공하고 있는 모습니다.

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 미러 디스플레이 11 : 거울
12 : 디스플레이 장치 21 : 카메라
30 : 제어장치 31 : 입력부
32 : 표시부 33 : 통신부
34 : 제어부 35 : 메모리

Claims (7)

1. 미러 디스플레이 기반 증강 현실 영상 서비스 시스템에 있어서,
   미러 패널과 디스플레이 패널이 결합된 미러 디스플레이;
   상기 미러 디스플레이의 둘레에 설치되어, 상기 미러 디스플레이의 전면을 촬영하는 카메라; 및,
   상기 카메라로부터 상기 미러 디스플레이에 투영된 영상(이하 투영 영상)을 획득하고, 상기 투영 영상에서 사용자의 얼굴을 검출하고, 사용자 관점의 얼굴 영역 및 위치를 검출하여 증강 현실 영상을 생성하고, 상기 증강 현실 영상을 상기 디스플레이 패널에 표시하는 제어 장치를 포함하고,
   상기 제어장치는 사용자의 얼굴 영역의 실제 크기를 다음 [수식 2]에 의해 구하는 것을 특징으로 하는 미러 디스플레이 기반 증강 현실 영상 서비스 시스템.
   [수식 2]
   

   

   
   단, 얼굴검출영역의 크기는 영상 내에서의 얼굴 검출영역의 크기,
   실제 미러 디스플레이의 크기는 사전에 정해진 값.
   
2. 제1항에 있어서,
   상기 카메라는 광각 렌즈를 장착하는 것을 특징으로 하는 미러 디스플레이 기반 증강 현실 영상 서비스 시스템.
   
3. 제1항에 있어서,
   상기 제어장치는 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴을 검출하는 것을 특징으로 하는 미러 디스플레이 기반 증강 현실 영상 서비스 시스템.
   
4. 제1항에 있어서,
   상기 제어장치는 상기 투영 영상을 YCbCr의 영상으로 변환하고, Cb와 Cr성분을 이용한 다음 [수식 1]의 피부색 참조맵 B(x,y)를 이용하여 얼굴 영역을 검출하는 것을 특징으로 하는 미러 디스플레이 기반 증강 현실 영상 서비스 시스템.
   [수식 1]
   

   

   
   
5. 제1항에 있어서,
   상기 제어장치는 미러 디스플레이의 실제 크기(A')-카메라로부터 촬영된 미러 디스플레이의 크기(A), 촬영된 미러 디스플레이의 크기(A)-검출된 얼굴 영역(B) 및 촬영된 미러 디스플레이의 크기(A)-카메라와의 거리 및 각도(C)간의 관계를 이용해서 실제 얼굴의 크기(B')와 위치를 검출하는 것을 특징으로 하는 미러 디스플레이 기반 증강 현실 영상 서비스 시스템.
   
6. 삭제
7. 제1항에 있어서,
   상기 제어장치는 사용자의 얼굴 영역과의 실제 거리를 다음 [수식 3]에 의해 구하는 것을 특징으로 하는 미러 디스플레이 기반 증강 현실 영상 서비스 시스템.
   [수식 3]
   

   

   
   단, 기준거리 및 기준크기는 사전에 정해진 값.
   

Images