KR20130112578A - 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법 - Google Patents

Abstract

본 발명은 사용자 기반의 증강 현실(Augmented Reality: AR) 정보를 제공하는 방법을 구현한다. 이를 위해 본 발명은 이동 단말기에 서로 반대 방향으로 장착된 두 개의 카메라를 동시에 구동하여, 전면 카메라를 통한 사용자 얼굴 영상으로부터는 얼굴을 인식하여 사용자 정보를 획득하고, 후면 카메라를 통한 영상으로부터는 적어도 하나의 객체를 추출한 후, 상기 사용자 정보를 기반으로 그 객체에 대한 증강 현실 정보를 결정하여, 상기 결정된 증강 현실 정보를 상기 객체에 중첩시켜 표시하는 과정으로 이루어진다. 이때, 그 객체가 움직이는 경우에는 그 객체에 대한 특징점을 추출하여 그 특징점을 추적하고, 추적된 객체에 대해 증강 현실 정보를 중첩시킬 좌표를 계산하여, 그 좌표에 증강 현실 정보가 배치되도록 렌더링하는 과정이 추가된다. 이렇게 함으로써, 증강현실 서비스를 사용자의 정보에 따라 사용자에게 차별화하여 제공해 줄 수 있다.

Description

사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법{APPRATUS AND METHOD FOR PROVIDING AUGMENTED REALITY INFORMATION BASED ON USER}

본 발명은 이동 단말기 및 이를 이용한 증강 현실 정보를 제공하기 위한 방법에 관한 것으로, 특히 이동 단말기에 장착된 카메라 기능을 이용하여 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법에 관한 것이다.

최근 이동 단말기에서 제공하는 다양한 서비스 및 부가 기능들이 점차 확대되고, 그 중에서도 카메라 기능은 필수적인 기능으로 여겨지고 있다. 이러한 이동 단말기의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 카메라를 구비한 이동 단말기와 이러한 이동 단말기의 다양한 서비스 및 부가 기능들을 접목시키는 활용이 필요하다. 이러한 활용의 한 예로써, 사용자에게 카메라 영상 내의 객체에 대한 각종 다양한 정보를 보여주는 방법이 있으며, 이를 위해 증강 현실(Augmented Reality: AR) 기술이 적용될 수 있다.

일반적으로, 증강 현실은 현실 세계를 바탕으로 사용자가 표현하고자 하는 가상 객체를 결합하는 것을 의미한다. 즉, 실제 환경에 가상의 사물을 결합하여 원래의 환경에 존재하는 물체인 것처럼 표현을 하는 것이다. 사용자의 카메라의 위치나 포즈가 변하거나 가상 객체를 입힐 현실 속의 객체가 움직이더라도 가상 객체를 오차없이 정확한 위치에 증강시켜야 하기 때문에 최근에는 실시간 영상 인식 기술이 많이 활용되는 추세이다.

기존의 증강 현실 서비스들은 이와 같은 마커 및 마커리스 인식 방법을 사용하여 현재 촬영 중인 카메라 영상(혹은 처리된 정보)과 미리 저장된 데이터베이스 영상(혹은 처리된 DB 정보)들을 비교함으로써 추출된 증강 정보를 카메라 영상 위에 증강하여 보여 주는 것을 기본으로 하고 있다.

이러한 증강 현실 방법은 서비스 제공자가 준비한 가상 객체 정보를 서비스를 제공받는 모든 사용자에게 동일하게 제공해 준다는 점에서 한계가 있다. 하지만, 사용자별로 서로 다른 가상 객체 정보를 제공할 수 있다면 사용자들에게 차별화된 다양한 증강 정보를 제공할 수 있을 것이다. 예를 들면, 영화 포스터를 인식하여 포스터 위에 영화 예고편을 정합하여 증강한다고 할 때, 사용자가 사용하는 언어에 대한 정보를 알고 있다면 사용자가 사용하는 언어로 된 자막을 함께 보여 주는 것이 가능할 것이다.

이와 같이 이동 단말기의 카메라 활용 방안을 다양화하기 위해 이동 단말기의 소프트웨어적인 부분을 개량하는 것이 요구된다.

따라서 본 발명은 이동 단말기에 장착된 카메라 기능을 이용하여 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법을 제공한다.

상기한 바를 달성하기 위한 본 발명은, 사용자 기반의 증강 현실 정보를 제공하기 위한 장치에 있어서, 사용자 얼굴을 촬영한 제1영상을 출력하는 제1영상 입력부와, 상기 제1영상 입력부와 반대 방향으로 촬영한 제2영상을 출력하는 제2영상 입력부와, 상기 제2영상을 표시하는 표시부와, 상기 제1영상으로부터 상기 사용자 얼굴을 인식하고, 상기 사용자 얼굴을 인식한 결과에 매칭되는 사용자 정보를 획득하는 제1영상 처리부와, 상기 제2영상 내의 적어도 하나의 객체를 추출하며, 상기 사용자 정보에 대응하는 상기 객체에 대한 증강 현실 정보를 획득하는 제2영상 처리부와, 상기 제2영상 내의 상기 객체에 상기 증강 현실 정보를 중첩시켜 상기 표시부 상에 표시하도록 제어하는 제어부를 포함함을 특징으로 한다.

또한 본 발명은, 제1영상 입력부 및 제2영상 입력부를 구비한 이동 단말기에서 사용자 기반의 증강 현실 정보를 제공하기 위한 방법에 있어서, 증강 현실 서비스 어플리케이션이 실행되면, 상기 제1영상 입력부 및 상기 제2영상 입력부를 동시에 구동하는 과정과, 상기 제1영상 입력부를 통해 사용자 얼굴을 촬영한 제1영상을 입력받는 과정과, 상기 제1영상으로부터 상기 사용자 얼굴을 인식하고, 상기 사용자 얼굴을 인식한 결과에 매칭되는 사용자 정보를 획득하는 과정과, 상기 제2영상 입력부를 통해 상기 제1영상 입력부와 반대 방향으로 촬영한 제2영상을 입력받는 과정과, 상기 제2영상 내의 적어도 하나의 객체를 추출하며, 상기 사용자 정보에 대응하는 상기 객체에 대한 증강 현실 정보를 획득하는 과정과, 상기 제2영상 내의 상기 객체에 상기 증강 현실 정보를 중첩시켜 표시하는 과정을 포함함을 특징으로 한다.

본 발명에 따르면, 증강현실 서비스를 사용자의 정보에 따라 사용자에게 차별화하여 제공해 줌으로써, 서비스의 질과 만족도를 향상시킬 수 있는 이점이 있다. 또한, 본 발명은 증강현실 서비스 도중에 사용자가 바뀌더라도 사용자에 따라 해당 컨텐츠의 내용을 실시간으로 바꿔서 제공해 줄 수 있다. 또한, 본 발명은 다양한 인식 기술 및 하드웨어 구성을 기반으로 함으로써, 증강현실 서비스 시나리오를 다양하게 확장할 수 있도록 할 수 있다.

도 1은 본 발명의 실시예에 따른 이동 단말기의 전면 및 후면을 나타낸 도면,
도 2는 본 발명의 실시예에 따른 이동 단말기의 내부 블록구성도,
도 3은 본 발명의 일실시예에 따른 사용자 기반의 증강 현실 정보를 제공하기 위한 이동 단말기에서의 동작 흐름도,
도 4는 본 발명의 다른 실시예에 따른 사용자 기반의 증강 현실 정보를 제공하기 위한 이동 단말기에서의 동작 흐름도,
도 5는 본 발명의 실시예에 따른 카메라 영상 내의 객체에 대한 증강 현실 정보를 중첩하여 나타낸 화면 예시도.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명은 사용자 기반의 증강 현실(Augmented Reality: AR) 정보를 제공하는 방법을 구현한다. 이를 위해 본 발명은 이동 단말기에 서로 반대 방향으로 장착된 두 개의 카메라를 동시에 구동하여, 전면 카메라를 통한 사용자 얼굴 영상으로부터는 얼굴을 인식하여 사용자 정보를 획득하고, 후면 카메라를 통한 영상으로부터는 적어도 하나의 객체를 추출한 후, 상기 사용자 정보를 기반으로 그 객체에 대한 증강 현실 정보를 결정하여, 상기 결정된 증강 현실 정보를 상기 객체에 중첩시켜 표시하는 과정으로 이루어진다. 이때, 그 객체가 움직이는 경우에는 그 객체에 대한 특징점을 추출하여 그 특징점을 추적하고, 추적된 객체에 대해 증강 현실 정보를 중첩시킬 좌표를 계산하여, 그 좌표에 증강 현실 정보가 배치되도록 렌더링하는 과정이 추가된다. 이렇게 함으로써, 증강현실 서비스를 사용자의 정보에 따라 사용자에게 차별화하여 제공해 줄 수 있다.

본 발명에서 이용되는 이동 단말기에서 카메라가 장착되는 경우를 예시하면 도 1에서와 같다. 도 1은 이동 단말기(100)의 사시도이다. 도 1을 참조하면, 이동 단말기(100)의 전면에는 제1영상 입력부(105)가 장착되며, 후면에는 제2영상 입력부(110)가 추가로 장착될 수 있다.

제1영상 입력부(105) 및 제2영상 입력부(110)는 서로 반대되는 촬영 방향을 가진다. 제1영상 입력부(105)는 사용자 방향을 향하므로 셀프 촬영 시 사용자의 얼굴을 촬영하는 역할을 하며, 제2영상 입력부(110)는 외부 방향을 향하므로 일반적인 피사체를 촬영하는 역할을 한다.

이상에서는 제2영상 입력부(110)가 이동 단말기(100)의 후면에 배치되는 것으로 설명하였으나, 반드시 이에 한정되는 것은 아니다.

이하, 이동 단말기의 동작 및 그 구성 요소를 살펴보기 위해 도 2를 참조한다. 본 발명의 이동 단말기는 도 1에서와 같은 휴대폰에 한정되는 것은 아니며, 영상 촬영이 가능하고, 피사체의 얼굴 인식을 수행할 수 있는 촬영 기기이면 어떠한 형태의 장치에도 적용 가능할 것이다. 예를 들면, 이동 단말기에는 스마트폰, 휴대폰, 태블릿(Tablet) PC, 디지털 카메라 등 촬영 기능을 지원하는 장치들이 해당될 것이다.

도 2를 참조하면, 이동 단말기(100)는 크게 제1영상에 대한 인식을 수행하는 부분(205), 제2영상 내의 객체에 증강 현실 정보를 중첩시켜 재현(reproduction)하는 부분(215), 영상 출력부(217), 저장부(219) 및 제어부(220)를 포함한다.

제1영상과 관련된 부분(205)은 제1영상 입력부(105)와, 제1영상 입력부(105)를 통해 촬영된 제1영상에 대한 처리를 수행하는 제1영상 처리부(200)를 포함하며, 제2영상과 관련된 부분(215)은 제2영상 입력부(110)와, 제2영상 입력부(110)를 통해 촬영된 제2영상에 대한 처리를 수행하는 제2영상 처리부(210)를 포함한다. 도 2에서는 제1영상 처리부(200), 제2영상 처리부(210)를 별도로 구성한 경우를 예시하고 있으나 제어부(220)에 포함될 수 있으며, 제1영상 처리부(200) 및 제2영상 처리부(210)의 기능은 제어부(220)에서 담당할 수도 있다.

먼저, 제1영상 입력부(105)는 카메라를 의미하며, 사용자에 대한 이미지 또는 동영상을 촬영한다. 사용자를 촬영한 영상 신호는 제1영상 처리부(200)로 전달되며, 제1영상 처리부(200)는 이러한 영상 신호를 프레임 단위로 처리하여 촬영된 영상에 대한 얼굴 인식을 수행한다. 여기서, 얼굴 인식은 사진 촬영과 같은 정지 화상뿐만 아니라, 동영상에 대해서도 적용될 수 있다. 예를 들어, 동영상의 경우 연속적인 정지 영상 프레임으로 구성되는 것이므로, 얼굴 인식을 위해 정지 영상 프레임이 사용될 수 있다.

이때, 얼굴 인식의 수행은 이동 단말기(100)에 구비된 얼굴 인식 알고리즘에 기반하며, 피사체의 얼굴 전체 윤곽 정보를 이용하여 식별하는 방법을 사용하거나 상기 얼굴에 포함된 각 구성요소 즉, 눈, 코, 입 등을 식별하는 방법들을 사용한다. 또한 얼굴 인식을 위한 전처리 과정으로 영상 내에서 얼굴의 위치를 검출하는 단계를 포함한다.

이를 위해 제1영상 처리부(200)는 얼굴영역 검출부(225), 얼굴 특징 추출부(230), 얼굴 인식부(235) 및 인식결과 매칭부(240)를 포함할 수 있다.

구체적으로, 얼굴영역 검출부(225)는 촬영 영상으로부터 피사체의 얼굴 영역을 검출하면, 얼굴 특징 추출부(230)는 검출된 얼굴 영역으로부터 눈 전체, 눈썹, 코, 입술 등에 대한 특징점들을 추출하거나 얼굴 전체 윤곽으로부터 인식에 사용 가능한 특징정보를 추출한다. 이렇게 함으로써 얼굴 인식부(235)는 피사체의 눈, 코, 입 등을 식별하거나 피사체 얼굴로부터 인식에 사용할 수 있는 특징정보를 획득할 수 있다. 다르게는 얼굴 인식부(235)는 촬영 영상을 저장부(219)에 미리 저장된 얼굴 영상과 비교하여 얼굴 인식을 수행하는 것이다. 여기서 미리 저장된 얼굴 영상은 얼굴의 특징정보 혹은 눈, 코, 입 등의 얼굴 구성요소 등을 포함한다.

이러한 방법을 통해 얼굴 인식이 완료되면, 인식결과 매칭부(240)는 얼굴 인식 결과에 매칭되는 사용자 정보를 결정하는 역할을 한다. 인식결과 매칭부(240)는 저장부(219)에 저장된 정보를 근거로 얼굴 인식 결과로부터 이동 단말기(100)를 사용하는 피사체의 이름, 나이, 성별, 국적 등의 사용자 정보를 결정한다.

이와 같이 제1영상 처리부(200)는 얼굴인식 알고리즘을 기반으로 사용자를 촬영한 영상에 대한 인식을 수행하여, 인식 결과에 기반한 사용자 정보를 추출하는 역할을 한다.

한편, 제2영상 입력부(110)는 제1영상 입력부(105)와 반대 방향으로 촬영한다. 예를 들어, 이동 단말기의 제2영상 입력부(110)에 해당하는 카메라로 주변을 비추면, 인근에 있는 피사체에 대한 영상이 프리뷰 영상으로 표시되는 경우가 해당된다. 이를 위해 제2영상 입력부(110)로부터의 촬영 영상은 제2영상 처리부(210)로 전달되며, 제2영상 처리부(210)는 그 촬영 영상 내의 적어도 하나의 객체를 추출하여 인식하고, 그 객체에 대해 상세 설명, 가상 객체 등이 입체 영상으로 표시될 수 있도록 촬영 영상을 처리한다. 이때, 그 객체에 대해 중첩되는 상세 설명, 가상 객체 등은 사용자 정보를 기반으로 한 것이다.

영상 출력부(217)는 이동 단말기(100)의 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공하는 정보를 표시한다. 특히 영상 출력부(217)는 촬영 영상을 표시할 수 있다. 이러한 영상 출력부(217)는 셀프 촬영이 가능하도록 디스플레이 영역 중 일부를 제1영상 입력부(105)를 통해 촬영한 얼굴 영상 영역으로 설정받아 표시할 수 있다. 이때, 셀프 촬영을 위한 얼굴 영상 영역은 셀프 촬영 중에만 표시되는 것이 바람직하다. 다르게는 영상 출력부(217)는 제2영상 입력부(110)를 통해 촬영한 영상만을 표시할 수 있다. 이러한 경우 셀프 촬영이 용이하도록 얼굴 인식에 사용될 얼굴 영상의 촬영을 위해 별도의 액세서리 예컨대, 거울 등이 이동 단말기(100)에 장착될 수 있다.

저장부(219)는 상기 이동 단말기(100)의 운영 시스템, 다양한 어플리케이션들, 상기 이동 단말기(100)로 입력되는 정보 및 그 내부에서 생성되는 정보 등을 저장한다. 예를 들어, 저장부(219)는 사진, 동영상 등과 같은 영상을 저장하며, 제1영상 입력부(105)를 통해 입력되는 피사체 얼굴을 인식하기 위한 얼굴 인식 알고리즘 및 얼굴 인식에 사용되는 데이터 등을 저장한다. 예를 들어, 얼굴 검출에 사용할 얼굴에 대한 정보와, 얼굴 인식에 사용할 미리 등록된 사용자별 얼굴 특징 정보들을 저장할 수 있다.

또한, 저장부(219)는 증강 현실 서비스를 제공하는데 필요한 각 객체에 대한 증강 현실 정보를 저장한다. 이때, 증강 현실 정보는 외부 통신망을 통해 현재 위치를 기반으로 실시간으로 제공될 수도 있다. 예를 들어, 이동 단말기의 카메라로 주변을 비추면 인근에 있는 피사체의 상세 설명 등의 정보가 입체 영상으로 표시되는 경우가 이에 해당된다.

또한, 저장부(219)는 제2영상 입력부(110)를 통해 실시간으로 입력되는 영상에서 움직이는 객체의 검출 및 추적에 필요한 알고리즘을 저장한다. 예를 들어, 저장부(219)는 영상 정합을 통해 증강 현실 정보를 중첩시킬 대상 객체에 대한 특징점 등을 저장한다.

한편, 입력 영상 내의 각 객체에 대한 움직임 검출 및 추적을 위해 제2영상 처리부(210)는 특징점 추출부(245), 특징점 정합부(250), 특징점 추적부(255), 좌표 계산부(260) 및 렌더링부(265)를 포함한다.

이때, 카메라의 촬영 위치, 포즈 등이 변하거나 증강 현실 정보가 중첩될 현실 속의 객체가 움직일 경우에는 증강 현실 정보를 오차없이 정확한 객체 위치에 증강시켜야 하는 것이 중요하다. 이를 위해 촬영 영상 내의 객체 검출 및 추적을 수행 시, 입력 영상의 특징 정보를 최소화하면서 영상 패턴의 변화가 두드러지게 나타나는 부분에서 특징 정보를 추출하는 것이 바람직하다. 여기서 특징점이란 각 영상 프레임에서 비교 대상이 되는 대표적인 픽셀 또는 픽셀의 집합을 말하며, 주로 영상 프레임에서 검출되기 쉬운 모서리 경계점(corner point), 명암 또는 색상 등의 변동 폭이 큰 경계선(edge) 등이 될 수 있다.

이에 따라 특징점 추출부(245)는 제2영상 입력부(110)를 통한 입력 영상의 특징 정보 즉, 특징점을 추출한다. 이를 위해 일반적인 특징점 추출 및 정합의 방법들을 그대로 또는 적절히 변형하여 사용할 수 있다. 예를 들어, 입력 영상에서 영상 패턴의 프레임 내 공간적인 변화를 나타내는 특징맵을 생성하여 상기 영상의 특징점을 추출하거나, 입력 영상에서 임의의 기준점의 위치를 기준으로 관심영역을 결정한 후, 그 관심 영역 안에 있는 특징점들을 추출하고 다음 단계인 특징점 정합 및 추적 결과에 따라 다음 영상에서의 관심 영역을 갱신하면서 특징점을 추출하는 방법 등이 사용될 수 있다.

특징점 정합부(250)는 추출된 특징점과 저장부(219)에 저장된 특징점을 정합하고, 특징점 추적부(255)는 정합된 특징점을 추적한다. 예를 들어, 적어도 하나의 객체에 대한 특징점 정보가 저장부(219)에 미리 저장되어 있을 경우 특징점 정합부(250)는 미리 저장된 객체에 대한 특징점 정보와 입력 영상 내의 객체에 대한 특징점 정보와 비교하여 정합되는 특징점을 찾는 것이다. 이렇게 함으로써, 카메라의 촬영 위치가 변하거나 입력 영상 내의 피사체가 움직이더라도 입력 영상 내의 객체의 위치, 크기 변화, 포즈 등을 추적할 수 있게 된다.

좌표 계산부(260)는 카메라의 움직임을 계산하여 객체에 대한 증강 현실 정보를 증강시킬 좌표를 계산한다.

렌더링부(265)는 입력 영상 내의 계산된 좌표에 상기 객체에 대한 증강 현실 정보가 배치된 2차원 영상을 만드는 역할을 한다.

제어부(220)는 이동 단말기(100)의 전반적인 동작을 제어한다. 본 발명의 실시예에 따른 제어부(220)는 제1영상 입력부(105)를 통한 얼굴 영상으로부터 사용자 인식을 수행하여 사용자 정보를 결정하도록 제어한다. 이와 동시에 제어부(220)는 제2영상 입력부(110)를 통해 실시간으로 입력되는 영상에서 객체 검출 및 추적을 수행하도록 제어한다. 이를 통해 입력 영상에서 객체가 움직이더라도 그 객체에 대한 증강 현실 정보를 그 움직임에 따른 위치에 중첩시켜 표시하도록 렌더링을 제어한다. 즉, 제어부(220)는 상기 객체의 위치 변화를 추적하여, 상기 추적된 위치에 상기 증강 현실 정보가 중첩되어 표시되도록 제어하는 역할을 한다.

특히, 제어부(220)는 사용자 정보에 대응하여 렌더링부(265)에서 렌더링할 정보들과 영상 출력부(217)에서 출력할 내용들을 결정한다. 구체적으로, 제어부(220)는 인식결과 매칭부(240)에서 정해진 피사체의 이름, 나이, 성별, 국적 등의 사용자 정보를 기반으로 객체에 대한 증강 현실 정보를 결정하며, 결정된 증강 현실 정보를 그 객체에 중첩시켜 표시하도록 제어한다.

이와 같이 본 발명에서는 기존에 이동 단말기의 후면에 장착되는 카메라를 이용하여 외부 피사체를 촬영하거나 전면에 장착되는 카메라를 이용하여 셀프 촬영을 하는 등 어느 하나의 카메라만을 이용할 수 밖에 없었던 한계를 개선할 수 있어, 카메라에 대한 효용성을 증대시킬 수 있다. 게다가 얼굴 인식 결과에 따라 여러 가지 차별화된 증강 현실 정보를 제공할 수 있어, 다양한 사용자의 기호를 만족시킬 수 있다.

이하, 상기와 같은 구성을 가지는 이동 단말기(100)의 동작 과정을 도 3 및 도 4를 참조하여 설명한다. 도 3은 본 발명의 일실시예에 따라 이동 단말기(100)에 장착된 카메라를 동시에 구동하는 경우를 전제로 하며, 도 4는 본 발명의 다른 실시예에 따라 카메라를 순차적으로 구동하는 경우를 전제로 한다.

도 3을 참조하면, 증강 현실 서비스 어플리케이션이 실행되면, 이동 단말기(100)은 300단계에서 제1영상 입력부(105) 및 제2영상 입력부(110)를 동시에 구동하는 모드로 진입할 수 있다. 이러한 모드는 크게 제1영상 입력부(105)에서의 제1영상을 처리하는 제1과정(305) 및 제2영상 입력부(110)에서의 제2영상을 처리하는 제2과정(310)으로 구분된다. 여기서, 제1과정(305)은 제1영상 입력부(105)를 통해 입력된 제1영상 예컨대, 얼굴 영상을 통해 이동 단말기(100)를 사용하는 사용자를 인식하는 과정이고, 제2과정(310)은 제2영상 입력부(110)를 통해 입력된 제2영상 예컨대, 배경 및 객체를 포함하는 영상에서 그 객체를 추적하는 과정이다.

먼저, 제1과정(305)을 살펴보면, 이동 단말기(100)는 제1영상 입력부(105)를 통해 얼굴 영상이 입력되면, 306단계에서 입력된 얼굴 영상에 대한 인식을 수행한다. 이를 위해 얼굴 인식 알고리즘이 사용될 수 있다. 이러한 얼굴 인식 결과가 출력되면 이동 단말기(100)는 307단계에서 인식 결과에 매칭되는 사용자 정보를 검색한다. 이에 따라 이동 단말기(100)에서는 이동 단말기(100)를 현재 사용하고 있는 사용자가 누구인지를 알 수 있게 된다. 예를 들어, 사용자 정보의 검색을 통해 이동 단말기(100)는 사용자의 이름, 나이, 성별, 국적 등의 사용자 정보를 획득할 수 있으며, 다르게는 미리 등록된 사용자들 중 어느 사용자인지를 판단할 수 있다.

제2과정(310)을 살펴보면, 이동 단말기(100)는 제2영상 입력부(110)를 통해 적어도 하나의 객체를 포함하는 주변 영상을 입력 받으면, 311단계에서 그 입력된 주변 영상 내의 객체에 대한 특징점을 추출한다. 이어, 312단계에서 추출된 특징점 과 미리 저장되어 있는 객체에 대한 특징점 정보와의 정합을 통해 상기 객체의 위치, 크기, 포즈 등에 변화가 있는지를 판단한다. 만일 변화가 없는 경우에는 315단계로 진행하며, 상기 객체의 위치, 크기, 포즈 등에 변화가 있는 경우에는 313단계로 진행하여 객체의 위치, 크기, 포즈 등을 갱신한다. 이와 같이 객체의 위치, 크기, 포즈 등을 갱신함으로써 상기 객체의 이동에 따른 객체의 변화를 추적하는 것이다. 이러한 객체 추적을 위해 이전 영상 프레임에서 추출된 특징점의 위치와 현재 영상 프레임에서 추출된 특징점의 위치를 비교하는 방법이 이용될 수 있다.

이어, 이동 단말기(100)는 315단계에서 상기 사용자 정보를 기반으로 상기 객체에 대한 증강 현실 정보를 결정한 후, 320단계에서 증강 현실 정보를 상기 객체에 중첩하여 표시한다. 이렇게 함으로써, 증강 현실 서비스를 사용자 정보에 따라 다르게 구성하여 제공해 줄 수 있게 된다.

한편, 본 발명의 다른 실시예에 따라 카메라를 순차적으로 구동하는 경우를 도 4를 참조하여 설명한다.

도 4를 참조하면, 증강 현실 서비스 어플리케이션이 실행되면, 이동 단말기(100)은 400단계에서 제1영상 입력부(105)를 먼저 구동한다. 그러면 405단계에서 제1영상 입력부(105)를 통해 입력된 얼굴 영상에 대한 인식을 수행한다. 이어, 410단계에서 인식 결과에 매칭되는 사용자 정보를 검색한다. 이러한 405단계 및 410단계에서의 동작은 도 3의 306단계 및 307단계에서의 동작과 동일하다.

다만, 본 발명의 다른 실시예에서는 제1영상 입력부(105)가 구동되고 난 후 415단계에서 제2영상 입력부(110)가 구동된다는 점에서 차이가 있다. 따라서 420단계 내지 445단계에서의 동작은 도 3의 311단계 내지 320단계에서의 동작과 동일하므로, 그 구체적인 설명은 생략하기로 한다.

한편, 도 5는 본 발명의 실시예에 따른 카메라 영상 내의 객체에 대한 증강 현실 정보를 중첩하여 나타낸 화면을 예시하고 있다. 예를 들어, 미술관을 방문한 이동 단말기(100)의 사용자가 미술 작품이 걸려있는 주변을 촬영하면, 그 미술 작품이 포함된 주변 영상이 표시되는 프리뷰 화면을 볼 수 있다.

이동 단말기(100)의 화면(500)에는 제2영상 입력부(110)를 통해 촬영한 주변 영상이 표시되는데, 그 주변 영상에는 사용자 정보 기반의 증강 현실 정보가 함께 표시될 수 있다. 예를 들어, 주변 영상 내에 포함된 객체에는 미술 작품(510, 515)이 해당되며, 그 미술 작품(510, 515)에 대한 증강 현실 정보로써 작품명, 화가, 그림 설명 등의 상세 설명(520, 525)이 중첩되어 표시될 수 있다. 이러한 증강 현실 정보는 이동 단말기(100)의 저장부(219)에 미리 저장된 것일 수 있으며, 다르게는 외부 서버로부터 획득된 것일 수 있다. 예를 들면, 이동 단말기(100)가 미술관으로 진입 시 그 미술관 내의 서버로부터 증강 현실 정보를 다운로드받을 수 있는 것이다.

이때, 사용자를 향한 카메라를 통해 사용자 얼굴을 촬영함으로써 사용자의 국적이 한국인이라는 사용자 정보를 획득하게 되면, 상세 설명은 한국어로써 표시될 수 있다. 만일 사용자의 국적이 영어권이라면 상세 설명은 영어로써 표시될 것이다. 이와 같이 주변 영상에 상세 설명을 중첩하여 표시할 때 증강 현실 기법이 적용된다. 따라서 주변 영상 내 객체의 위치가 변하거나 촬영 방향 등이 변경되면, 변경된 영상에 대응되도록 증강 현실 정보가 표시되는 위치도 변경된다.

한편, 도 5에서는 주변 영상 내의 객체에 중첩되어 표시되는 증강 현실 정보가 상세 설명인 경우를 예시하고 있으나, 동영상, 가상 객체 등으로 구현될 수도 있다. 예를 들어, 사용자가 영화 포스터를 촬영하는 경우에는 이동 단말기(100)는 그 영화 포스터에 포함된 특징점을 추출한 후, 그 영화 포스터 상에 영화 예고편을 증강시켜 표시할 수도 있다. 이때, 영화 예고편은 사용자 얼굴 인식 결과를 바탕으로 사용자의 연령대에 맞는 관람가를 가지는 예고편일 것이다. 이와 같이 본 발명은 사용자의 정보를 바탕으로 하므로, 현재 이동 단말기(100)를 가지고 있는 사용자에게 적합한 증강 현실 정보를 주변 영상과 함께 보여주는 것이 가능하다.

본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계로 읽을 수 있는 저장 매체에 저장될 수 있다. 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한, 상기 이동 단말기는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 이동 단말기가 사용자 정보 기반의 증강 현실 서비스를 제공하기 위한 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 상기 증강 현실 서비스를 제공하기 위한 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 이동 단말기와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 이동 단말기의 요청 또는 자동으로 해당 프로그램을 상기 이동 단말기로 전송하는 제어부를 포함할 수 있다.

Claims (15)

1. 사용자 기반의 증강 현실 정보를 제공하기 위한 장치에 있어서,
   사용자 얼굴을 촬영한 제1영상을 출력하는 제1영상 입력부와,
   상기 제1영상 입력부와 반대 방향으로 촬영한 제2영상을 출력하는 제2영상 입력부와,
   상기 제2영상을 표시하는 표시부와,
   상기 제1영상으로부터 상기 사용자 얼굴을 인식하고, 상기 사용자 얼굴을 인식한 결과에 매칭되는 사용자 정보를 획득하는 제1영상 처리부와,
   상기 제2영상 내의 적어도 하나의 객체를 추출하며, 상기 사용자 정보에 대응하는 상기 객체에 대한 증강 현실 정보를 획득하는 제2영상 처리부와,
   상기 제2영상 내의 상기 객체에 상기 증강 현실 정보를 중첩시켜 상기 표시부 상에 표시하도록 제어하는 제어부를 포함함을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 장치.
   
2. 제1항에 있어서, 상기 제어부는,
   증강 현실 서비스 어플리케이션이 실행되면, 상기 제1영상 입력부 및 상기 제2영상 입력부를 동시에 구동함을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 장치.
   
3. 제1항에 있어서, 상기 제1영상 처리부는,
   상기 제1영상으로부터 사용자 얼굴 영역을 검출하는 얼굴 영역 검출부와,
   상기 검출된 얼굴 영역으로부터 얼굴 특징을 추출하는 얼굴 특징 추출부와,
   상기 추출된 얼굴 특징을 이용하여 상기 사용자 얼굴을 인식하는 얼굴 인식부와,
   상기 사용자 얼굴을 인식한 결과에 대응하는 사용자 정보를 검색하는 인식 결과 매칭부를 포함함을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 장치.
   
4. 제1항에 있어서, 상기 제2영상 처리부는,
   상기 제2영상 내의 적어도 하나의 객체에 대한 특징점을 추출하는 특징점 추출부와,
   상기 추출된 특징점을 이용하여 상기 객체를 추적하는 특징점 추적부를 포함함을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 장치.
   
5. 제4항에 있어서,
   상기 추출된 특징점과 미리 저장되어 있는 특징점을 정합하는 특징점 정합부를 더 포함함을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 장치.
   
6. 제5항에 있어서, 상기 특징점 추적부는,
   상기 정합된 특징점을 추적함으로써 상기 객체를 추적하는 것임을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 장치.
   
7. 제4항에 있어서, 상기 제어부는,
   상기 객체의 위치 변화를 추적하여, 상기 추적된 위치에 상기 증강 현실 정보가 중첩되어 표시되도록 제어함을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 장치.
   
8. 제1항에 있어서, 상기 사용자 정보는,
   상기 사용자에 대한 나이, 이름, 성별, 국적 중 적어도 하나를 포함함을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 장치.
   
9. 제8항에 있어서, 상기 증강 현실 정보는,
   상기 사용자의 국적에 대응하는 언어로 표시되는 것임을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 장치.
   
10. 제1영상 입력부 및 제2영상 입력부를 구비한 이동 단말기에서 사용자 기반의 증강 현실 정보를 제공하기 위한 방법에 있어서,
    증강 현실 서비스 어플리케이션이 실행되면, 상기 제1영상 입력부 및 상기 제2영상 입력부를 동시에 구동하는 과정과,
    상기 제1영상 입력부를 통해 사용자 얼굴을 촬영한 제1영상을 입력받는 과정과,
    상기 제1영상으로부터 상기 사용자 얼굴을 인식하고, 상기 사용자 얼굴을 인식한 결과에 매칭되는 사용자 정보를 획득하는 과정과,
    상기 제2영상 입력부를 통해 상기 제1영상 입력부와 반대 방향으로 촬영한 제2영상을 입력받는 과정과,
    상기 제2영상 내의 적어도 하나의 객체를 추출하며, 상기 사용자 정보에 대응하는 상기 객체에 대한 증강 현실 정보를 획득하는 과정과,
    상기 제2영상 내의 상기 객체에 상기 증강 현실 정보를 중첩시켜 표시하는 과정을 포함함을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 방법.
    
11. 제10항에 있어서, 상기 사용자 정보를 획득하는 과정은,
    상기 제1영상으로부터 사용자 얼굴 영역을 검출하는 과정과,
    상기 검출된 얼굴 영역으로부터 얼굴 특징을 추출하는 과정과,
    상기 추출된 얼굴 특징을 이용하여 상기 사용자 얼굴을 인식하는 과정과,
    상기 사용자 얼굴을 인식한 결과에 대응하는 사용자 정보를 검색하는 과정을 포함함을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 방법.
    
12. 제11항에 있어서, 상기 사용자 정보는,
    상기 사용자에 대한 나이, 이름, 성별, 국적 중 적어도 하나를 포함함을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 방법.
    
13. 제12항에 있어서, 상기 증강 현실 정보는,
    상기 사용자의 국적에 대응하는 언어로 표시되는 것임을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 방법.
    
14. 제10항에 있어서, 상기 제2영상 내의 적어도 하나의 객체를 추출하는 과정은,
    상기 제2영상 내의 적어도 하나의 객체에 대한 특징점을 추출하는 과정과.
    상기 추출된 특징점을 이용하여 상기 객체를 추적하는 과정을 포함함을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 방법.
    
15. 제14항에 있어서, 상기 표시하는 과정은,
    상기 객체의 위치 변화를 추적하여, 상기 추적된 위치에 상기 증강 현실 정보를 중첩시켜 표시하는 과정임을 특징으로 하는 사용자 기반의 증강 현실 정보를 제공하기 위한 방법.

Images