KR20110084748A

KR20110084748A - 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법

Info

Publication number: KR20110084748A
Application number: KR1020100004471A
Authority: KR
Inventors: 조현호; 박선영
Original assignee: (주)엔시드코프
Priority date: 2010-01-18
Filing date: 2010-01-18
Publication date: 2011-07-26
Also published as: KR101083408B1

Abstract

본 발명은 실사영상을 입력받고 영상 내에 포함된 적어도 하나의 마커를 인식하여 해당 마커의 위치에 가상객체를 1차 표출시키며, 사용자의 동작명령 또는 음성명령에 따라 상기 1차 표출된 가상객체에 해당 명령에 대응되는 움직임을 반영시켜 2차 표출시키는 영상 제어부를 포함하는 것을 특징으로 하며, 증강현실 상의 가상객체에 대한 움직임을 마커의 위치 및 자세 변화가 아닌 사용자의 음성 및 손동작에 의해 쉽고 빠르게 제어되도록 하는 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법에 관한 것이다.

Description

인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법{AUGMENTED REALITY APPARATUS AND METHOD FOR SUPPORTING INTERACTIVE MODE}

본 발명은 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법에 관한 것으로, 증강현실 상의 가상객체에 대한 움직임을 마커의 위치 및 자세 변화가 아닌 사용자의 음성 및 손동작에 의해 쉽고 빠르게 제어되도록 하는 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법에 관한 것이다.

증강현실(AR : Augmented Reality, 增强現實)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다.

현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다. 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감을 제공한다. 증강현실을 실외에서 실현하는 것이 착용식 컴퓨터(wearable computer)이다. 특히 머리에 쓰는 형태의 컴퓨터 화면장치는 사용자가 보는 실제환경에 컴퓨터 그래픽 등을 겹쳐 실시간으로 보여줌으로써 증강현실을 가능하게 한다.

이러한 증강현실을 구현하는 방법에는 특정한 마커(marker)를 컴퓨터가 인식하여, 그 마커에 연결된 3차원 그래픽 모델을 모니터에 그려주는 방법이 있다. 여기서의 마커란 실제로 2차원 평면 위에 존재하면서, 그 하나만으로 모니터를 비롯한 출력장치 내에 자신과 연결된 3차원 그래픽 모델이 그려질 크기, 방향 및 위치 정보를 제공하는 것을 말한다. 이 마커와 3차원 가상객체는 사용자의 선택에 따라 다양한 모습으로 나타난다. 예를 들어, 고양이를 뜻하는 마커를 사용자가 임의로 만들고, 실제 고양이의 모습을 3차원 그래픽 이미지로 형상화한 3차원 영상을 고양이 마커와 연결을 시킨다. 이 마커를 컴퓨터에 연결된 카메라 등의 영상 인식 수단으로 인식하면, 컴퓨터 모니터에 고양이의 3차원 영상이 나타나는 것이다.

하지만, 이와 같이 마커에 의해 디스플레이되는 가상객체는 그 움직임이 영상 내의 마커의 위치나 자세에 종속되어 있어서 가상객체에 대한 기본적인 자세변화나 위치이동 이외의 다양한 제어가 불가능하여 실제로 사용자가 가상객체에 영향을 줄 수 없으며 사용자에게는 미리 셋팅된 가상객체의 영상을 실사영상과 합성하여 일방적으로 보여주는데 그치고 있는 실정이다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 그 목적은 증강현실 상의 가상객체에 대한 움직임을 마커의 위치 및 자세 변화가 아닌 사용자의 음성 및 손동작에 의해 쉽고 빠르게 제어되도록 하는 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법을 제공하는 것이다.

본 발명은 전술한 과제를 해결하기 위한 수단으로, 실사영상을 입력받고 영상 내에 포함된 적어도 하나의 마커를 인식하여 해당 마커의 위치에 가상객체를 1차 표출시키며, 사용자의 동작명령 또는 음성명령에 따라 상기 1차 표출된 가상객체에 해당 명령에 대응되는 움직임을 반영시켜 2차 표출시키는 영상 제어부를 포함하는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 장치를 제공한다.

상기 2차 표출시 가상객체의 영상 내 움직임은 마커의 위치에 종속되지 않는 것이 바람직하다.

상기 사용자의 동작명령은 입력되는 실사영상을 통해 인식되거나 별도의 동작명령 인식장치를 통해 인식되는 것이 바람직하다.

상기 영상 제어부는, 입력되는 실사영상을 이진 영상으로 변환하여 마커를 검출하는 마커 검출부; 상기 검출된 마커의 패턴을 인식하고, 기등록된 마커별 템플릿과의 비교연산을 통해 해당 마커에 대한 아이디값을 검출하는 마커패턴 인식부; 및 상기 검출된 마커의 영상 내 위치좌표를 분석하여 해당 좌표값을 검출하는 가상객체 결정부; 를 포함하며, 마커 아이디 및 위치좌표를 전달받은 영상 데이터 처리부가 해당 마커 아이디와 대응되는 가상객체를 추출하여 실사영상의 상기 위치좌표의 영역에 추출된 가상객체를 고정시켜 디스플레이를 통해 1차 표출시키는 것이 바람직하다.

상기 영상 제어부는, 입력되는 실사영상을 이진 영상으로 변환하는 이진화부; 상기 이진 영상에서 사용자의 손에 해당하는 영역을 추출하고 손의 움직임을 패턴 분석하는 손 추출 및 분석부; 및 상기 분석된 손의 움직임 패턴을 전달받아 기등록된 패턴과의 비교연산을 통해 해당 손동작 패턴에 따른 사용자의 동작명령을 검출하는 동작명령 인식부; 를 포함하며, 사용자의 동작명령을 전달받은 영상 데이터 처리부가 현재 표출되고 있는 가상객체에 대하여 해당 동작명령과 대응하는 동작 패턴을 그래픽 처리를 통해 반영시켜 디스플레이를 통해 2차 표출시키는 것이 바람직하다.

상기 영상 제어부는, 입력되는 음향에서 사용자의 음성 명령어를 전기신호로 변환하여 패턴 분석하는 음성 처리부; 및 상기 분석된 음성 명령어에 대한 패턴 정보를 전달받아 기등록된 패턴과의 비교연산을 통해 해당 음성 명령어에 따른 사용자의 음성명령을 검출하는 음성명령 인식부; 를 포함하며, 사용자의 음성명령을 전달받은 영상 데이터 처리부가 현재 표출되고 있는 가상객체에 대하여 해당 음성명령과 대응하는 동작 패턴을 그래픽 처리를 통해 반영시켜 디스플레이를 통해 2차 표출시키는 것이 바람직하다.

한편 본 발명의 다른 측면에 따르면, (a) 실사영상을 입력받고 영상 내에 포함된 적어도 하나의 마커를 인식하는 단계; (b) 상기 인식된 마커의 영상 내 위치에 가상 객체를 1차로 표출시키는 단계; 및 (c) 인터렉티브 모드로서, 입력되는 사용자의 동작명령 또는 음성명령에 따라 상기 1차 표출된 가상객체에 해당 명령에 대응되는 움직임을 반영시켜 2차 표출시키는 단계; 를 포함하는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 방법이 제공된다.

상기 (c) 단계에서의 2차 표출시 가상객체의 영상 내 움직임은 상기 (a) 단계에서 인식된 마커의 위치에 종속되지 않는 것이 바람직하다.

상기 (a) 단계는, (a-1) 입력되는 실사영상을 이진 영상으로 변환하여 마커를 검출하는 단계; (a-2) 상기 검출된 마커의 패턴을 인식하고, 기등록된 마커별 템플릿과의 비교연산을 통해 해당 마커에 대한 아이디값을 검출하는 단계; 및 (a-3) 상기 검출된 마커의 영상 내 위치좌표를 분석하여 해당 좌표값을 검출하는 단계; 를 포함하고, 상기 (b) 단계에서, 상기 마커 아이디와 대응되는 가상객체를 가상객체 DB 에서 추출하여 실사영상의 상기 위치좌표의 영역에 추출된 가상객체를 고정시켜 디스플레이를 통해 1차 표출시키는 것이 바람직하다.

상기 (c) 단계는, (c-1) 입력되는 실사영상을 이진 영상으로 변환하는 단계; (c-2) 상기 이진 영상에서 사용자의 손에 해당하는 영역을 추출하고 손의 움직임을 패턴 분석하는 단계; (c-3) 상기 분석된 손의 움직임 패턴을 기등록된 패턴과의 비교연산하여 해당 손동작 패턴에 따른 사용자의 동작명령을 검출하는 단계; 및 (c-4) 현재 표출되고 있는 가상객체에 대하여 해당 동작명령과 대응하는 동작 패턴을 그래픽 처리를 통해 반영시켜 디스플레이를 통해 2차 표출시키는 단계; 를 포함하는 것이 바람직하다.

상기 (c) 단계는, (c-5) 입력되는 음향에서 사용자의 음성 명령어를 전기신호로 변환하여 패턴 분석하는 단계; (c-6) 상기 분석된 음성 명령어에 대한 패턴 정보를 기등록된 패턴과의 비교연산하여 해당 음성 명령어에 따른 사용자의 음성명령을 검출하는 단계; (c-7) 현재 표출되고 있는 가상객체에 대하여 해당 음성명령과 대응하는 동작 패턴을 그래픽 처리를 통해 반영시켜 디스플레이를 통해 2차 표출시키는 단계; 를 포함하는 것이 바람직하다.

상기 (a) 단계에서 입력되는 실사영상에 다수의 마커가 포함된 경우, 각각의 마커 패턴을 인식해 각각의 마커에 대한 아이디값을 검출하여 하나의 화면에 다수의 가상객체를 1차 표출시키는 것이 바람직하다.

상기 (c) 단계에서 다수의 가상객체가 표출된 경우, 사용자가 손을 통한 객체선택명령을 인식하여 제어대상 개별 객체가 선택되는 것이 바람직하다.

상기 (c) 단계에서 다수의 가상객체가 표출된 경우, 미리 등록된 사용자의 음성패턴과 매칭되어 있는 가상객체가 제어대상 개별 객체로 선택되는 것이 바람직하다.

상기 (c) 단계에서 다수의 가상객체가 표출된 경우, 미리 등록된 사용자의 가상객체에 대한 음성 명칭과 매칭되어 있는 가상객체가 제어대상 개별 객체로 선택되는 것이 바람직하다.

본 발명은 증강현실 상의 가상객체에 대한 움직임을 마커의 위치 및 자세 변화가 아닌 사용자의 음성 및 손동작에 의해 쉽고 빠르게 제어되게 하는 효과가 있다.

특히, 가상객체에 대한 움직임을 마커에 의존하지 않고 사용자가 자유롭게 제어할 수 있어서 사용자와의 상호작용이 이루어질 수 있고 사용자의 흥미를 유발할 수 있게 되어 다양한 형태로의 적용이 가능하게 된다.

도 1은 본 발명의 실시예에 따른 증강현실 구현 장치를 나타내는 구성도.
도 2는 본 발명의 실시예에 따른 증강현실 구현 장치를 나타내는 세부 구성도.
도 3은 사용자의 손동작 명령을 구별하기 위한 손 상태에 대한 예시도.
도 4는 사용자의 손동작 명령을 인식하기 위한 손동작 패턴에 대한 예시도.
도 5는 사용자의 음성 명령을 인식하기 위한 음성명령 패턴에 대한 예시도.
도 6은 본 발명의 실시예에 따른 인터렉티브 모드를 지원하는 증강현실 구현 방법을 나타내는 흐름도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 증강현실 구현 장치를 나타내는 구성도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 증강현실 구현 장치는, 실사의 영상을 촬영하기 위한 영상 촬영부(20), 사용자의 음성을 수집하기 위한 음향 수집부(30), 상기 촬영된 영상 데이터에서 마커(10)를 인지하여 가공된 가상객체를 영상에 처리하며 사용자의 가상객체에 대한 제어에 따라 가상객체를 재처리하여 출력하는 영상 제어부(40), 상기 마커에 대한 정보 및 가상객체에 대한 정보와 가상객체에 대한 동작패턴에 대한 정보가 저장되는 데이터 저장부(50) 및, 상기 영상 제어부(40)에 의해 출력되는 가상객체를 포함하는 증강현실 영상을 표시하는 디스플레이(60)를 포함하여 구성된다.

여기에서 마커란 가상객체를 생성하도록 하기 위한 위치를 지정하는 표시자를 의미한다. 이러한 마커는 일반적으로 특정한 패턴을 가지며, 패턴의 모양에 따라 각각 다른 종류의 객체를 대응시킬 수 있다. 이때, 마커는 사용자에 의해서 사용자가 원하는 위치에 놓여지게 된다.

상기 영상 촬영부(20)는 광학 카메라, 적외선(IR : Infrared Rays) 카메라, 캠(Cam), 스캐너 등 영상을 인식하여 컴퓨터로 전송할 수 있는 모든 형태의 장치를 포함하고, 상기 디스플레이(60)는 컴퓨터 모니터, 휴대장치의 표시 장치, 착용식 컴퓨터의 화면 장치 등 컴퓨터로부터 전송받은 이미지를 표시하는 모든 형태의 장치를 포함한다.

본 발명에 따른 인터렉티브 모드를 지원하는 증강현실 구현 장치는 음성인식 및 손동작 패턴인식을 통하여 증강현실 상의 가상객체의 움직임을 효과적으로 제어하기 위한 것으로, 사용자와 가상객체 간 양방향 상호작용을 구현하며, 결과적으로 마커에 의존하지 않고 가상객체를 보다 쉽고 빠르게 사용자가 제어할 수 있도록 함으로써 효과적인 증강현실의 체험이 가능하게 된다.

이러한 인터렉티브 모드를 지원하는 증강현실 구현 장치의 구체적인 구성이 도 2에 도시되어 있다.

도 2는 본 발명의 실시예에 따른 증강현실 구현 장치를 나타내는 세부 구성도이다.

도 2를 참조하면, 상기 영상 제어부(40)는, 상기 영상 촬영부(20)를 통해 촬영된 실사영상 데이터에서 가상객체로 이용될 마커(10)를 검출해 그 위치를 확정하기 위한 마커 검출부(41a), 마커패턴 인식부(41b) 및 가상객체 결정부(41c)와, 상기 영상 촬영부(20)를 통해 촬영된 실사영상 데이터에서 사용자의 손동작을 인식해 사용자의 가상객체에 대한 동작 제어명령을 전달하기 위한 이진화부(42a), 손 추출 및 분석부(42b) 및 동작명령 인식부(42c)와, 상기 음향 수집부(40)를 통해 수집된 음향에서 사용자의 음성을 처리하여 사용자의 가상객체에 대한 음성 제어명령을 전달하기 위한 음성 처리부(43a) 및 음성명령 인식부(43b)와, 상기 영상 촬영부(20)를 통해 촬영된 실사영상에 가상객체를 합성하여 출력하며 사용자의 제어명령을 가상객체에 반영하여 출력하기 위한 영상 데이터 처리부(44) 및 영상 출력부(45)를 포함하여 구성된다.

상세하게는, 상기 마커 검출부(41a)는 상기 영상 촬영부(20)로부터 입력된 영상을 흑백의 이진 영상으로 변환하고 이진화된 이미지를 기반으로 마커를 검출하게 된다.

상기 마커패턴 인식부(41b)는 검출된 마커(10)의 패턴을 인식하고 상기 데이터 저장부(50)의 마커패턴 DB 에 미리 등록된 마커별 템플릿과의 비교연산을 통해 해당 마커에 대한 아이디값을 검출하게 된다. 이때, 상기 마커패턴 DB 에는 마커패턴별로 대응되는 가상객체의 아이디값이 테이블화되어 있는 것이 바람직하다.

상기 가상객체 결정부(41c)는 상기 검출된 마커(10)의 영상 내 위치좌표를 분석하여 해당 좌표값을 상기 마커 아이디값과 함께 출력하게 된다.

이러한 마커 아이디 및 위치좌표를 전달받은 상기 영상 데이터 처리부(44)는 해당 마커 아이디와 대응되는 가상객체를 데이터 저장부(50)의 가상객체 DB 로부터 추출하며 상기 영상 촬영부(20)로부터 전달받은 실사영상에서 상기 위치좌표의 영역에 해당 가상객체를 고정시켜 영상 출력부(45)를 통해 출력함으로써 디스플레이(60)를 통해 사용자가 가상객체가 포함된 실사영상을 확인할 수 있게 한다.

이때, 상기 가상객체 DB 에는 가상객체에 대한 3차원 가상영상 모델 데이터와 해당 가상객체를 실사영상과 정합하기 위해 필요한 정보가 저장되며, 각각의 가상객체에 대하여 사용자의 제어명령에 대응하는 적어도 하나의 동작 패턴들을 저장하게 된다.

따라서 디스플레이(60)를 통해 표시되는 화면을 통해 사용자는 가상객체를 확인할 수 있게 되며, 이때 이러한 가상객체는 영상 내에서 마커(10)가 제거되더라도 고정된 좌표에 위치하게 된다. 이러한 가상객체의 움직임에 대한 제어는 종전과 같이 마커의 영상 내 이동이나 자세변화를 통해 이루어지지 않고 다음과 같은 사용자의 손동작이나 음성을 통해 이루어지게 된다.

우선, 실사영상 데이터에서 사용자의 손동작을 인식해 사용자의 가상객체에 대한 동작 제어명령이 가능하다.

이때, 이러한 사용자의 손동작 인식을 위해서 이하에서는 마커(10)를 인식했던 영상 촬영부(20)를 통해 해당 사용자의 손동작을 인식하는 것으로 설명되지만, 본 발명이 이에 제한되는 것은 아닌 바, 사용자의 동작명령을 인식하기 위한 동작명령 인식장치로서 별도의 다른 영상 카메라나, 저사양의 카메라 또는 모션 센서 또는 조이스틱 등이 다양하게 사용될 수도 있다.

이를 위한, 상기 이진화부(42a)는 상기 영상 촬영부(20)로부터 입력된 실사영상에서 해당 영상을 흑백의 이진영상으로 변환하여 이진화 처리를 수행하게 된다. 이러한 이진화 과정을 통해 사용자의 손은 흰색이고 배경은 검은색으로만 이루어진 영상을 얻을 수 있다.

상기 손 추출 및 분석부(42b)는 상기 이진화부(42a)를 통해 얻어진 이진화 영상에서 사용자의 손에 해당하는 영역을 추출하고 나머지 영역은 제거한다. 그리고 손 영역이 추출되면 해당 손 영역의 중심을 찾고 그 중심점을 이용하여 손가락의 개수 정보를 구하여 손의 상태를 분석하며, 또한 해당 손 영역의 중심점과 전체 손바닥의 내접원을 이용하여 움직임 속도나 움직임 각도 변화량을 구해 손의 움직임을 분석하게 된다.

여기서, 손을 추출하는 방식은 다양하게 구현이 가능한 바, 이러한 손 추출에는 손 영상과 배경 영상 간의 색상 차이를 이용한 추출방식에 따라 손 모양이 포함된 손영상의 x축과 y 축을 일정한 간격으로 나누고, 서로 교차하는 픽셀의 값을 표본추출하여 행렬화하고, 행렬화된 영상에서 백인, 황인, 또는 흑인 등에 따른 손의 색깔이 분포한 부분을 분리한 후 영상의 색깔을 이용한 손 부분을 추출함으로써 손 부분에서 이진(binary) 영상을 얻을 수 있게 된다. 그리고 이 이진영상에서 잡음을 제거한 후 이진영상 내의 영역에 대한 레이블링(labeling)을 하는 단계를 거쳐 손의 영역을 확정짓는 것이다.

이때, 상기한 표본추출은 영상에서 몇 픽셀마다 건너뛰어 샘플링하는 코얼스샘플링(coarse sampling)으로 구현되는 것이 바람직하다. 여기서, 상기의 손 부분을 추출하는 단계는 손이 위치한 부분의 RGB 컬러를 이진영상으로 만드는 이른바 'RGB방식'이 있으나, 'YUV방식'으로 하는 것이 더욱 바람직할 것이다. 즉, 이러한 YUV방식에 따르면, 손 부분으로 인식이 된 색을 YUV(YCbCr)로 변환하고, 이를 색차 정보(CbCr)의 값으로 모델링하고, 이 모델링 결과를 토대로 색상 발생빈도가 특정영역을 중심으로 밀집되어 있는 것을 확인하고, 확인된 영역 즉, 손 부분을 수학적 계산을 통해 추출하는 것이다. 이의 장점으로는 경험적인 방법이나 전술한 RGB 방식에 비하여 Y값 즉, 휘도(luminance)의 영향없이 원하는 살색을 추출해 낼 수 있다는 것이다.

이와는 다른 방식으로도 손 추출이 가능한 바, 예컨대 입력되는 영상에서 손 부분을 추출하는 단계는 손이 위치한 부분의 RGB 컬러를 그레이 레벨로 바꾸고, 바뀐 그레이 레벨을 미분하여 사용자 손의 윤곽선을 추출하고, 바람직하게는 추출된 전체적인 윤곽선에서 미리 정해진 소정의 특징점(예, 검지나 엄지 끝단)을 추출하는 윤곽선추출방식으로 수행될 수도 있다.

상기 동작명령 인식부(42c)는 상기 손 추출 및 분석부(42b)를 통해 분석된 손동작 패턴을 전달받아 상기 데이터 저장부(50)의 손동작패턴 DB 에 미리 등록된 패턴과의 비교연산을 통해 해당 손동작 패턴에 따른 사용자의 동작명령을 출력하게 된다. 이때, 상기 손동작패턴 DB 에는 손동작패턴별로 대응되는 동작명령이 테이블화되어 있는 것이 바람직하다.

일 예로, 이러한 사용자의 손 상태는 도 3에 도시된 바와 같이 손가락의 개수로 구별될 수 있는 3 가지 상태(주먹, 보자기, 엄지주먹)로 이루어질 수 있으며, 또한 사용자의 손의 방향은 손의 다양한 움직임으로 구별될 수 있다.

이러한 사용자의 손 상태 및 손의 방향을 통해 구현될 수 있는 손동작 패턴의 일 예가 도 4에 도시되어 있다.

도 4를 참조하면, 사용자의 손이 보자기의 상태를 가지고 좌 또는 우 방향으로 움직이게 되면 가상객체를 좌 또는 우 방향으로 이동시키는 좌우 이동 동작명령이 인식되게 된다. 또한, 사용자의 손이 보자기의 상태를 가지고 상 또는 하 방향으로 움직이게 되면 가상객체를 상 또는 하 방향으로 이동시키는 상하 이동 동작명령이 인식되게 된다. 또한, 사용자의 손이 보자기의 상태를 가지고 앞 또는 뒤 방향으로 움직이게 되면 가상객체를 줌인 또는 줌아웃하는 줌 동작명령이 인식되게 된다. 또한, 사용자의 손이 보자기의 상태에서 이동하여 특정 가상객체의 화면 내 위치에서 사용자의 손을 주먹의 상태로 바꾸면 해당 가상객체를 선택하는 객체선택명령이 인식되게 된다. 이러한 객체선택명령은 다수의 가상객체를 하나의 화면에 표출시키는 경우 객체 선택을 위해 사용될 수 있다. 또한, 사용자의 손이 주먹의 상태를 가지고 좌 또는 우 방향으로 움직이게 되면 가상객체를 회전시키는 돌려보기 동작명령이 인식되게 된다. 또한, 사용자의 손이 엄지주먹(엄지만을 편 주먹)의 상태로 되면 메뉴를 화면 상에 노출시키고 엄지주먹 상태에서 이동하여 표출된 메뉴를 활성화시킬 수 있으며 선택하고자 하는 메뉴에서 엄지 손가락을 접어 주먹의 상태로 되면 해당 위치의 메뉴가 선택되게 된다. 또한, 사용자의 손이 보자기의 상태를 가지고 불규칙한 방향으로 흔들리면 가상객체 또는 메뉴에 대한 사용자 명령 또는 선택을 취소하게 된다.

이러한 사용자의 동작명령을 전달받은 상기 영상 데이터 처리부(44)는 현재 표출되고 있는 가상객체에 대하여 해당 동작명령과 대응하는 동작 패턴을 상기 가상객체 DB 로부터 독출하여 그래픽 처리를 통해 반영시키게 되며, 이러한 가상객체의 동작은 상기 영상 출력부(45)를 통해 실시간으로 출력됨으로써 디스플레이(60)를 통해 사용자가 자신의 동작명령이 반영된 가상객체를 확인할 수 있게 된다.

다음으로, 수집되는 음향에서 사용자의 음성을 인식해 사용자의 가상객체에 대한 음성 제어명령이 가능하다.

이를 위한, 상기 음성 처리부(43a)는 상기 음향 수집부(40)를 통해 입력되는 음성 명령어를 전기신호로 변환하고 변환된 전기신호에 따라 음성명령패턴 즉 음성주파수 패턴, 음성크기 패턴 및 음성파형 패턴으로 분류하는 방법이 이용될 수 있다. 음성주파수 패턴, 음성크기 패턴 및 음성파형 패턴은 소리의 3요소로 일컬어지는 주파수, 크기(진폭) 및 파형에 따라 음성 명령어를 분류한 것이다.

그리고, 상기 음성명령 인식부(43b)는 상기 음성 처리부(43a)를 통해 분석된 음성 명령어에 대한 패턴 정보를 전달받아 상기 데이터 저장부(50)의 음성패턴 DB 에 미리 등록된 패턴과의 비교연산을 통해 해당 음성 명령어에 대응되는 음성명령을 출력하게 된다. 여기에서 각 음성명령은 각 음성명령어에 대응되는 음성명령 패턴의 특징부에 대응하여 부여되며, 이로써 음향 수집부(40)로부터 음성 명령어가 입력되면 그 음성명령어에 대응되는 음성명령이 인출되도록 구현된다. 이때, 상기 음성패턴 DB 에는 음성패턴별로 대응되는 음성명령이 테이블화되어 있는 것이 바람직하다.

일 예로, 이러한 사용자의 음성명령은 한국어와 영어로 셋트화하게 되는데, 사용자의 음성을 통해 구현될 수 있는 음성명령의 일 예가 도 5에 도시되어 있다.

도 5를 참조하면, 사용자의 "전진, 앞으로, 앞"과 같은 한국어나 "Go"와 같은 영어로 된 음성은 가상객체를 앞으로 이동시키는 음성명령으로 인식되게 된다. 또한, 사용자의 "정지, 멈춰"와 같은 한국어나 "Stop"과 같은 영어로 된 음성은 가상객체의 움직임을 멈추게 하는 음성명령으로 인식되게 된다. 또한, 사용자의 "좌(좌로), 우(우로)"와 같은 한국어나 "Left, Right"와 같은 영어로 된 음성은 가상객체를 좌우로 이동시키는 음성명령으로 인식되게 된다. 또한, 사용자의 "뒤로"와 같은 한국어나 "Back"과 같은 영어로 된 음성은 가상객체를 뒤로 이동시키는 음성명령으로 인식되게 된다. 또한, 사용자의 "메뉴"와 같은 한국어나 "Menu"와 같은 영어로 된 음성은 메뉴를 화면 상에 노출시키는 음성명령으로 인식되게 된다. 또한, 사용자의 "좌로 돌아, 우로 돌아"와 같은 한국어나 "Turn, Turn Left, Turn Right"와 같은 영어로 된 음성은 가상객체를 좌우로 돌려보기 위한 음성명령으로 인식되게 된다. 또한, 사용자의 "확대, 축소"과 같은 한국어나 "Zoom In, Zoom Out"과 같은 영어로 된 음성은 가상객체 확대 또는 축소시키는 음성명령으로 인식되게 된다. 또한, 사용자의 "취소"와 같은 한국어나 "Cancel"과 같은 영어로 된 음성은 가상객체 또는 메뉴에 대한 사용자 명령 또는 선택을 취소시키는 음성명령으로 인식되게 된다. 또한, 사용자의 "일(하나), 이(둘)"와 같은 숫자와 관련된 한국어나 "One, Two"와 같은 숫자와 관련된 영어로 된 음성은 번호로 구분된 메뉴를 선택하는 음성명령으로 인식되게 된다.

이러한 사용자의 음성명령을 전달받은 상기 영상 데이터 처리부(44)는 현재 표출되고 있는 가상객체에 대하여 해당 음성명령과 대응하는 동작 패턴을 상기 가상객체 DB 로부터 독출하여 그래픽 처리를 통해 반영시키게 되며, 이러한 가상객체의 동작은 상기 영상 출력부(45)를 통해 실시간으로 출력됨으로써 디스플레이(60)를 통해 사용자가 자신의 음성명령이 반영된 가상객체를 확인할 수 있게 된다.

따라서 가상객체에 대한 기본적인 제어명령은 사용자의 음성과 손동작을 모두 사용할 수 있으며, 음성인식으로 부족한 부분은 손동작을 통한 제어로 상호 보완적으로 적용할 수 있다. 이는 가상객체 제어를 사용자의 취향과 편의성에 맞도록 선택권을 사용자에게 주며, 두 가지를 모두 사용할 경우 손동작에 의한 제어가 우선적으로 적용되게 된다. 즉, 손동작에 의한 동작명령이 인식될 경우 음성명령을 적용하지 않는다.

이제 도 6을 참조하여 본 발명의 실시예에 따른 인터렉티브 모드를 지원하는 증강현실 구현 방법에 대하여 상세히 설명한다.

도 6은 본 발명의 실시예에 따른 인터렉티브 모드를 지원하는 증강현실 구현 방법을 나타내는 흐름도이다.

우선, S10 단계로서, 영상 촬영부(20)로부터 촬영된 실사영상이 영상 제어부(40)로 입력된다. 이러한 실사영상에는 적어도 하나 이상의 마커(10)가 포함될 수 있으며, 또한 적어도 하나 이상의 사용자가 포함될 수 있다.

다음으로, 상기 영상 제어부(40)는 실사영상에 합성할 가상객체의 위치를 확정하기 위하여 상기 영상 촬영부(20)로부터 입력된 영상을 이진 영상으로 변환하고 이진화된 이미지를 기반으로 마커를 검출한다(S11).

이후, 상기 영상 제어부(40)는 검출된 마커(10)의 패턴을 인식하고 상기 데이터 저장부(50)의 마커패턴 DB 에 미리 등록된 마커별 템플릿과의 비교연산을 통해 해당 마커에 대한 아이디값을 검출한다(S12).

그리고, 상기 영상 제어부(40)는 상기 검출된 마커(10)의 영상 내 위치좌표를 분석하여 해당 좌표값을 추출한다(S13).

이후, 상기 영상 제어부(40)는 해당 마커 아이디와 대응되는 가상객체를 데이터 저장부(50)의 가상객체 DB 로부터 추출하며 상기 영상 촬영부(20)로부터 전달받은 실사영상에서 상기 위치좌표의 영역에 해당 가상객체를 정합시키고(S14), 영상 출력부(45)를 통해 출력함으로써 디스플레이(60)를 통해 사용자가 마커 위치에 고정되어 있는 가상객체가 포함된 실사영상을 확인할 수 있게 한다(S15).

따라서 디스플레이(60)를 통해 표시되는 화면을 통해 사용자는 가상객체를 확인할 수 있게 되며, 이때 이러한 가상객체는 영상 내에서 마커(10)가 제거되더라도 고정된 좌표에 위치하게 된다. 즉, 디스플레이(56)를 통해 현재 출력되고 있는 가상객체는 해당 마커(10)의 위치에 고정되어 있으며, 이러한 가상객체의 움직임은 이후 기술되는 인터렉티브 모드에서의 사용자의 음성 제어 또는 동작 제어에 의해 이루어진다.

이후, 상기 영상 제어부(40)는 사용자로부터 현재 디스플레이(56)에 표시되고 있는 가상객체에 대하여 직접 제어하고자 하는 인터렉티브 모드를 시작하기 위한 요청이 있는지 여부를 판단하게 된다(S16). 이때, 이러한 인터렉티브 모드의 시작을 위해 사용자는 별도의 입력키를 입력하거나 인터렉티브 모드 메뉴 선택을 통해 이러한 인터렉티브 모드의 시작을 요청할 수 있다.

상기 제 S16 단계의 판단결과, 사용자로부터 인터렉티브 모드에 대한 요청이 있으면, 상기 영상 제어부(40)는 상기 음향 수집부(40)를 활성화시켜 사용자의 음성명령을 수신할 준비를 하고 또한 상기 영상 촬영부(20)로부터 수집되는 영상에서 사용자의 손동작을 식별할 준비를 하게 된다.

이때, 사용자의 선택에 의해 음성에 의한 음성명령 모드나 사용자의 손동작에 의한 동작명령 모드 중 어느 하나가 진행될 수 있으며, 음성명령 모드와 동작명령 모드가 동시에 진행될 수도 있다. 이와 같이 음성명령 모드와 동작명령 모드가 동시에 진행되는 경우에는 보다 다양한 제어가 가능한 동작명령을 우선적으로 시스템에 적용하게 된다.

즉, 상기 영상 제어부(40)는 영상 촬영부(20)를 통해 사용자 손동작이 입력되는지 여부를 판단하고(S17), 사용자의 손동작이 입력되는 경우 동작명령 모드를 진행시키게 되지만, 동시에 음향 수집부(40)를 통해 사용자의 음성이 입력되는 경우에는 우선적으로 동작명령 모드를 진행시키게 된다(S18).

다음으로, 가상객체에 대한 움직임 제어를 위한 동작명령 모드와 음성명령 모드 중 음성명령 모드에 대하여 먼저 살펴보면, 우선 상기 영상 제어부(40)는 상기 음향 수집부(40)를 통해 입력되는 음성 명령어를 패턴 처리하고(S19), 상기 데이터 저장부(50)의 음성패턴 DB 에 미리 등록된 패턴과의 비교연산을 통해 해당 음성 명령어에 대응되는 음성명령을 추출하게 된다(S20).

이후, 상기 영상 제어부(40)는 현재 디스플레이(60)를 통해 표시되고 있는 가상객체에 대하여 사용자의 음성명령과 대응하는 동작 패턴을 상기 가상객체 DB 로부터 독출하여 그래픽 처리를 통해 반영시키게 된다(S21). 이러한 가상객체의 동작은 상기 영상 출력부(45)를 통해 실시간으로 출력됨으로써 디스플레이(60)를 통해 사용자가 자신의 음성명령이 반영된 가상객체를 확인할 수 있게 된다(S25).

다음으로, 가상객체에 대한 움직임 제어를 위한 동작명령 모드와 음성명령 모드 중 동작명령 모드에 대하여 살펴보면, 우선 상기 영상 제어부(40)는 상기 영상 촬영부(20)로부터 입력된 실사영상에서 해당 영상을 흑백영상으로 변환하고 이진화 처리를 수행하며, 이를 통해 얻어진 이진화 영상에서 사용자의 손에 해당하는 영역을 추출하고 나머지 영역은 제거함으로써 사용자의 손 영상을 추출하게 된다(S22).

이후, 상기 영상 제어부(40)는 상기 추출된 손 영상을 분석하여 손의 움직임 속도나 움직임 각도 변화량을 통해 손동작을 패턴 처리하며, 처리된 손동작 패턴을 이용하여 상기 데이터 저장부(50)의 손동작패턴 DB 에 미리 등록된 패턴과의 비교연산을 통해 해당 손동작에 따른 사용자의 동작명령을 추출하게 된다(S23).

그리고, 상기 영상 제어부(40)는 현재 디스플레이(60)를 통해 표시되고 있는 가상객체에 대하여 사용자의 동작명령과 대응하는 동작 패턴을 상기 가상객체 DB 로부터 독출하여 그래픽 처리를 통해 반영시키게 된다(S24). 이러한 가상객체의 동작은 상기 영상 출력부(45)를 통해 실시간으로 출력됨으로써 디스플레이(60)를 통해 사용자가 자신의 동작명령이 반영된 가상객체를 확인할 수 있게 된다(S25).

한편, 이러한 가상객체는 다수의 마커를 통해 다수의 가상객체를 동시에 하나의 화면에 표출시킬 수 있게 된다.

즉, 다수의 마커가 놓여진 실사영상을 영상 촬영부(20)를 통해 촬영하고, 해당 촬영된 실사영상에서 각각의 마커의 패턴을 인식해 각각의 마커에 대한 아이디값을 검출함으로써 하나의 화면에 다수의 가상객체를 표출시키게 된다.

이 경우 다수의 가상객체에 대한 개별 제어를 위해 사용자의 음성이나 사용자의 손동작을 이용할 수 있다.

즉, 사용자의 손동작을 통한 가상객체의 개별 제어는 도 4를 통해 이미 설명한 바와 같이 사용자가 손을 이용해 객체선택명령을 인식시킴으로써 개별 객체를 선택할 수 있게 된다. 이 경우 다수의 가상객체가 존재하고 다수의 사용자가 존재하더라도 각각의 가상객체가 손동작을 통한 명령을 자신을 선택한 손의 동작만을 독립적으로 받아들이도록 함으로써 다수의 사용자에 의한 다수의 가상객체 제어가 가능하게 된다.

또한, 사용자의 음성을 통한 가상객체의 개별 제어는 다수의 사용자의 음성들에 대하여 미리 각각의 사용자에 대한 화자 음성패턴을 등록하고 각각의 화자 음성패턴을 각각의 가상객체에 매칭시켜 등록시킴으로써 구현될 수 있으며, 이 경우 각각의 가상객체가 자신에게 등록된 화자 음성패턴의 음성명령만을 독립적으로 받아들이도록 함으로써 다수의 사용자에 의한 다수의 가상객체 제어가 가능하게 된다.

여기에서 음성을 통한 가상객체의 제어에서 각각의 가상객체에는 별도의 명칭을 사용자가 부여하도록 할 수도 있다. 즉, 표출되는 가상객체에 대하여 사용자가 임의의 명칭을 음성으로 말해 해당 명칭을 가상객체에 매칭시켜 등록시킬 수 다. 이에 따라 사용자는 음성을 통한 가상객체 제어시, 등록된 명칭을 말하고 연이어 음성명령어를 말하는 방식으로 원하는 가상객체에 대한 음성명령을 전달할 수 있게 된다.

이상과 같이 도면과 명세서에서 최적 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

20 : 영상 촬영부 30 : 음향 수집부
40 : 영상 제어부 50 : 데이터 저장부
60 : 디스플레이

Claims

실사영상을 입력받고 영상 내에 포함된 적어도 하나의 마커를 인식하여 해당 마커의 위치에 가상객체를 1차 표출시키며, 사용자의 동작명령 또는 음성명령에 따라 상기 1차 표출된 가상객체에 해당 명령에 대응되는 움직임을 반영시켜 2차 표출시키는 영상 제어부를 포함하는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 장치.
제 1항에 있어서,
상기 2차 표출시 가상객체의 영상 내 움직임은 마커의 위치에 종속되지 않는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 장치.
제 1항에 있어서,
상기 사용자의 동작명령은 입력되는 실사영상을 통해 인식되거나 별도의 동작명령 인식장치를 통해 인식되는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 장치.
제 1항에 있어서,
상기 영상 제어부는,
입력되는 실사영상을 이진 영상으로 변환하여 마커를 검출하는 마커 검출부;
상기 검출된 마커의 패턴을 인식하고, 기등록된 마커별 템플릿과의 비교연산을 통해 해당 마커에 대한 아이디값을 검출하는 마커패턴 인식부;
상기 검출된 마커의 영상 내 위치좌표를 분석하여 해당 좌표값을 검출하는 가상객체 결정부; 및
가상객체를 마커의 영상 내 위치에 1차 표출시키는 영상 데이터 처리부; 를 포함하며,
상기 영상 데이터 처리부가 마커 아이디 및 위치좌표를 전달받고 해당 마커 아이디와 대응되는 가상객체를 추출하여 실사영상의 상기 위치좌표의 영역에 추출된 가상객체를 고정시켜 디스플레이를 통해 1차 표출시키는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 장치.
제 1항에 있어서,
상기 영상 제어부는,
입력되는 실사영상을 이진 영상으로 변환하는 이진화부;
상기 이진 영상에서 사용자의 손에 해당하는 영역을 추출하고 손의 움직임을 패턴 분석하는 손 추출 및 분석부;
상기 분석된 손의 움직임 패턴을 전달받아 기등록된 패턴과의 비교연산을 통해 해당 손동작 패턴에 따른 사용자의 동작명령을 검출하는 동작명령 인식부; 및
가상객체에 동작명령을 반영시켜 2차 표출하는 영상 데이터 처리부; 를 포함하며,
상기 영상 데이터 처리부가 사용자의 동작명령을 전달받고 현재 표출되고 있는 가상객체에 대하여 해당 동작명령과 대응하는 동작 패턴을 그래픽 처리를 통해 반영시켜 디스플레이를 통해 2차 표출시키는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 장치.
제 1항에 있어서,
상기 영상 제어부는,
입력되는 음향에서 사용자의 음성 명령어를 전기신호로 변환하여 패턴 분석하는 음성 처리부; 및
상기 분석된 음성 명령어에 대한 패턴 정보를 전달받아 기등록된 패턴과의 비교연산을 통해 해당 음성 명령어에 따른 사용자의 음성명령을 검출하는 음성명령 인식부; 를 포함하며,
사용자의 음성명령을 전달받은 영상 데이터 처리부가 현재 표출되고 있는 가상객체에 대하여 해당 음성명령과 대응하는 동작 패턴을 그래픽 처리를 통해 반영시켜 디스플레이를 통해 2차 표출시키는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 장치.
(a) 실사영상을 입력받고 영상 내에 포함된 적어도 하나의 마커를 인식하는 단계;
(b) 상기 인식된 마커의 영상 내 위치에 가상 객체를 1차로 표출시키는 단계; 및
(c) 인터렉티브 모드로서, 입력되는 사용자의 동작명령 또는 음성명령에 따라 상기 1차 표출된 가상객체에 해당 명령에 대응되는 움직임을 반영시켜 2차 표출시키는 단계; 를 포함하는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 방법.
제 7항에 있어서,
상기 (c) 단계에서의 2차 표출시 가상객체의 영상 내 움직임은 상기 (a) 단계에서 인식된 마커의 위치에 종속되지 않는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 방법.
제 7항에 있어서,
상기 (a) 단계는,
(a-1) 입력되는 실사영상을 이진 영상으로 변환하여 마커를 검출하는 단계;
(a-2) 상기 검출된 마커의 패턴을 인식하고, 기등록된 마커별 템플릿과의 비교연산을 통해 해당 마커에 대한 아이디값을 검출하는 단계; 및
(a-3) 상기 검출된 마커의 영상 내 위치좌표를 분석하여 해당 좌표값을 검출하는 단계; 를 포함하고,
상기 (b) 단계에서, 상기 마커 아이디와 대응되는 가상객체를 가상객체 DB 에서 추출하여 실사영상의 상기 위치좌표의 영역에 추출된 가상객체를 고정시켜 디스플레이를 통해 1차 표출시키는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 방법.
제 7항에 있어서,
상기 (c) 단계는,
(c-1) 입력되는 실사영상을 이진 영상으로 변환하는 단계;
(c-2) 상기 이진 영상에서 사용자의 손에 해당하는 영역을 추출하고 손의 움직임을 패턴 분석하는 단계;
(c-3) 상기 분석된 손의 움직임 패턴을 기등록된 패턴과의 비교연산하여 해당 손동작 패턴에 따른 사용자의 동작명령을 검출하는 단계; 및
(c-4) 현재 표출되고 있는 가상객체에 대하여 해당 동작명령과 대응하는 동작 패턴을 그래픽 처리를 통해 반영시켜 디스플레이를 통해 2차 표출시키는 단계; 를 포함하는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 방법.
제 7항에 있어서,
상기 (c) 단계는,
(c-5) 입력되는 음향에서 사용자의 음성 명령어를 전기신호로 변환하여 패턴 분석하는 단계;
(c-6) 상기 분석된 음성 명령어에 대한 패턴 정보를 기등록된 패턴과의 비교연산하여 해당 음성 명령어에 따른 사용자의 음성명령을 검출하는 단계; 및
(c-7) 현재 표출되고 있는 가상객체에 대하여 해당 음성명령과 대응하는 동작 패턴을 그래픽 처리를 통해 반영시켜 디스플레이를 통해 2차 표출시키는 단계; 를 포함하는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 방법.
제 9항에 있어서,
상기 (a) 단계에서 입력되는 실사영상에 다수의 마커가 포함된 경우, 각각의 마커 패턴을 인식해 각각의 마커에 대한 아이디값을 검출하여 하나의 화면에 다수의 가상객체를 1차 표출시키는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 방법.
제 12항에 있어서,
상기 (c) 단계에서 다수의 가상객체가 표출된 경우, 사용자가 손을 통한 객체선택명령을 인식하여 제어대상 개별 객체가 선택되는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 방법.
제 12항에 있어서,
상기 (c) 단계에서 다수의 가상객체가 표출된 경우, 미리 등록된 사용자의 음성패턴과 매칭되어 있는 가상객체가 제어대상 개별 객체로 선택되는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 방법.
제 12항에 있어서,
상기 (c) 단계에서 다수의 가상객체가 표출된 경우, 미리 등록된 사용자의 가상객체에 대한 음성 명칭과 매칭되어 있는 가상객체가 제어대상 개별 객체로 선택되는 것을 특징으로 하는 인터렉티브 모드를 지원하는 증강현실 구현 방법.