KR20110132260A

KR20110132260A - 모니터 기반 증강현실 시스템

Info

Publication number: KR20110132260A
Application number: KR1020110050980A
Authority: KR
Inventors: 이문기
Original assignee: 이문기
Priority date: 2010-05-29
Filing date: 2011-05-28
Publication date: 2011-12-07
Also published as: WO2011152634A2; WO2011152634A3

Abstract

본 발명은 동영상을 배경으로 하여 3차원 그래픽 객체를 상기 동영상 위에 합성할 수 있는 증강현실 시스템에 관한 것이다.

Description

모니터 기반 증강현실 시스템{MONITOR BASED AUGMENTED REALITY SYSTEM}

본 발명은 증강 현실 시스템의 개선에 관한 것이다. 증강현실 시스템은 카메라로 촬영한 실제 영상에 가상의 그래픽 이미지를 원근감 있게 정합하여 합성하는 기술이다. 이러한 증강현실 기술은 크게 GPS 기반과 비전 기반으로 나뉜다. 본 발명에의한 모니터 기반 증강현실 시스템은 비전 기반에 의한 것이다.

기존의 비전 기반 증강현실 시스템은 촬영된 실제 영상에서 마커를 인식하여 카메라와 마커 사이의 3차원 거리와 방향을 산출한 후 그 정보를 이용하여 가상 객체를 실제 영상에 원근감 있게 합성하는 기술이다. 마커는 종이에 흑백 사각형 형태의 바코드를 인쇄하여 사용하기도 하고, 사진 또는 임의의 자연의 정지 영상의 이미지를 미리 증강현실 프로그램의 데이타베이스에 이미지 등록(image registration)을 한 후 사용하기도 한다. 인쇄된 2차원 바코드를 배경으로 사용하는 증강 현실 프로그램의 라이브러리에는 예를 들면 에이알툴킷(artoolkit)이 알려져 있다. 그리고 사진 또는 임의의 자연의 정지 영상을 인공적인 마커 대신 배경으로 사용하는 시스템은 마커리스(markerless) 증강현실 시스템이라 하고 Georg Klein 과 David Murray 의 Parallel Tracking and Mapping for small AR Workspaces 라는 논문 ( http://www.robots.ox.ac.uk/~gk/publications/KleinMurray2007ISMAR.pdf ) 에 자세히 설명되어있다. Georg Klein 과 David Murray 이 공개한 증강현실 샘플 코드는 프로그램 시작 직후 카메라를 마커로 사용할 배경 앞에서 평행이동하는 과정을 통해 배경 영상을 등록해야만 증강 현실 영상을 볼 수 있다. 현재 이러한 마커리스(markerless) 증강현실 기술을 응용한 스마트폰용 게임이 출시되고 있다. 예를 들면 제니텀 (http://www.zenitum.com/ )이라는 회사에서 최근(2010년5월)에 출시한 스페이스 인베이더라는 증강현실 게임은 종이에 인쇄된 그림을 스마트폰의 카메라로 촬영하면 스마트폰에서 실행되는 게임 프로그램은 미리 등록된 상기 그림 정보를 참조하여 촬영된 영상에서 그 그림을 인식하여 카메라와 그림 사이의 3차원 상대위치를 알아낸 후 그 그림 위에 그래픽영상으로 3차원 지구와 지구를 공격하는 우주선을 합성하여 출력하게 되어있다. 사용자는 스마트폰을 움직여서 다양한 각도에서 3차원 지구와 우주선을 볼 수 있고 스마트폰의 터치스크린을 터치해서 우주선을 공격하게 되어있다. 또한 이러한 마커리스 증강현실 프로그램을 구현할 수 있도록 2010년 11월부터 퀄컴에서는 이미지 등록과 추적 기능을 포함하는 증강현실용 라이브러리(software development kit)를 무료로 배포하고 있다.

이러한 기존의 증강 현실 시스템의 단점은 배경과 카메라 사이의 3차원 위치와 방향을 결정하는데 사용할 마커나 사진 또는 임의의 자연의 정지 영상과 같은 배경 이미지를 증강현실 프로그램에 미리 이미지 등록을 해야 하기 때문에 증강현실 시스템의 배경이 정지 영상으로 제한된다는 것이다. 즉 기존의 증강현실 시스템의 배경을 정지 영상 뿐만 아니라 동영상도 출력할 수 있는 TV 나 컴퓨터의 화면의 영상으로 한다면 TV 나 컴퓨터 화면에 출력될 모든 동영상을 미리 예측하여 증강현실 프로그램에 등록을 해야 한다. 만약 TV 나 컴퓨터화면에 출력될 동영상을 미리 입수 또는 예측할 수 있어서 그 동영상의 매 프레임을 미리 등록해 놓는다면 등록된 데이타베이스의 크기는 매우 커질 것이고, 등록 시간도 매우 오래 걸릴 것이다. 그리고 그러한 매우 큰 데이타베이스 안의 등록된 무수한 영상과 현재의 촬영된 영상을 비교하는데 시간도 매우 오래 걸려서 실시간 증강 현실 시스템은 거의 불가능할 것이다. 또한 생방송의 영상과 같이 TV 나 컴퓨터화면에 출력될 동영상을 미리 입수하거나 예측할 수 없다면 기존 증강현실 시스템으로는 TV 나 컴퓨터화면을 배경으로 하는 증강현실 시스템을 구현하기는 불가능하다. 본 발명은 상기한 기존의 증강현실 시스템의 배경이 단조로운 정지 영상으로 제한되어있다는 단점을 해결하여 동영상이 출력될 수 있는 컴퓨터 디스플레이나 TV 화면을 배경으로 하는 증강현실 시스템을 제공하는 것을 목적으로 한다.

본 발명의 증강 현실 시스템은 상기한 목적을 달성하기 위하여 증강 현실 시스템의 배경 영상으로 사용될 컴퓨터 화면 또는 TV 화면에 미리 이미지 등록된 패턴영상(마커)을 출력하고 카메라로 컴퓨터 화면 또는 TV 화면을 촬영한 영상에서 상기 마커를 추출하여 카메라와 마커 사이의 3차원 위치와 방향을 산출하여 가상 객체 이미지를 합성함으로써 증강 현실 이미지를 생성하는 증강현실 시스템을 제공한다.

또한 다른 해결 방법으로는 배경 영상으로 사용될 컴퓨터 화면 또는 TV 화면의 매 프레임을 실시간으로 증강 현실 프로그램이 참조하여 카메라로 촬영한 영상과 비교하여 카메라와 배경 영상 사이의 3차원 상대위치를 산출하여 그 위치에 맞게 증강 현실 이미지를 생성하여 출력하는 증강 현실 시스템을 제공한다.

본 발명에 의한 모니터 기반 증강현실 시스템은 동영상 출력이 가능한 TV나 컴퓨터 모니터에 출력되고 있는 임의의 영상을 배경으로 사용하여 좀더 풍부한 증강현실 이미지를 구현할 수 있다. 예를 들면 본 발명의 시스템으로 게임 영상이 출력 중인 모니터 안의 게임 캐릭터가 모니터 밖으로 나와 돌아다니는 효과도 구현할 수도 있다. 또한 기존의 셔터 안경이나 편광 안경과 함께 사용하는 3D모니터 영상과 달리 본 발명의 증강 현실시스템의 배경으로 사용되는 모니터를 보는 사용자의 위치에 따라 보이는 면이 바뀌는 3차원 영상을 제공할 수도 있다. 예를 들어서 도5와 같이 책상 위에 놓인 태블릿 PC 화면(mob)을 스마트폰(mos)의 카메라로 촬영하여 본 발명의 증강 현실 시스템의 배경으로 사용 한다면 사용자가 태블릿 PC를 회전하면 태블릿 PC 화면 위에 표시되는 그래픽 객체인 자동차(vo)의 뒷면도 볼 수 있다. 도5의 태블릿 PC화면 위에는 달려가는 자동차의 3차원 영상(vo)이 증강 현실로 스마트폰(mos)의 디스플레이에 표시되고 태블릿 PC에는 상기 달려가는 자동차의 속도에 맞게 움직이는 도로의 동영상이 출력된다면 사용자는 좀더 현실감 있는 3차원 영상을 즐길 수 있다.

도1은 고정된 마커를 사용하는 본 발명의 제1실시예 구성도
도2는 움직일 수 있는 마커를 사용하는 본 발명의 제2 실시예 구성도
도3은 마커가 스마트폰의 카메라 시선방향으로 따라오는 모습
도4는 마커 크기가 스마트폰의 카메라와 마커 사이의 거리에 비례하게 변하는 모습
도5는 스마트폰과 태블릿 pc를 사용한 실시예
도6은 제2카메라를 사용하는 구성도

실시예1

도1은 움직이는 도로의 동영상이 출력되고 있는 데스크탑 pc의 모니터(mob)를 스마트폰(mos)의 카메라로 촬영하여 도로를 달리는 자동차의 3차원 영상(vo)을 합성하여 스마트폰의 디스플레이에 출력하는 구성을 나타낸 것이다. 여기서 데스크탑 모니터의 영상을 촬영하는 것은 하나의 예일 뿐 실제로는 빔 프로젝터나 태블릿 pc모니터 등 임의의 영상 출력 장치에 의해 출력된 영상을 촬영해서 본 발명을 실시할 수 있다. 도1의 pc의 모니터(mob)에는 임의의 정지 영상 또는 동영상에 미리 등록된 형태의 마커(bm)가 합성되어 출력된다. 도1에서 마커(bm)는 데스크탑 pc의 모니터의 좌우측에 상하로 길게 형성된 점선 형태이다. 마커의 위치는 가능하면 원래 영상이 마커에 의해 최대한 덜 가려지도록 화면 외곽에 위치시키는 것이 바람직하다. 스마트폰에서 실행될 증강현실 프로그램에 미리 그 마커(bm)의 이미지를 등록시킨 후 스마트폰의 카메라에서 촬영한 영상에서 그 마커(bm)를 검출하여 데스크탑 pc 의 모니터와 스마트폰의 카메라사이의 3차원 상대위치를 검출할 수 있다. 마커와 카메라 사이의 상대 위치와 방향을 구하는 것은 증강현실 분야의 공지 기술이다. 마커를 완전히 불투명하게 형성하면 원래 영상을 가리는 문제가 있으므로 반투명하게 형성하여 원래 영상과 마커 영상이 겹쳐 보이게 하는 것이 바람직하다. 이렇게 구한 카메라와 마커 사이의 상대위치에 맞게 그래픽 객체를 촬영된 영상에 원근감 있게 합성하여 증강 현실 영상을 스마트폰의 디스플레이에 출력할 수 있다.

이러한 스마트폰 카메라 대신 컴퓨터에 연결된 웹 카메라를 사용할 수도 있고 안경형 디스플레이에 시선방향을 촬영하게 부착된 카메라를 사용할 수도 있다.

카메라가 부착된 안경형 디스플레이의 예를 들면 뷰직스라는 회사에서 WRAP 920AR 이라는 제품(http://www.vuzix.com/consumer/products_wrap920ar.html)으로 출시하고 있다.

실시예2

상기 실시예1의 위치가 고정된 마커(bm)는 데스크탑의 원래 영상을 가린다는 단점이 있다. 그러한 문제를 해결하기 위하여 마커를 이동 가능하게 하는 것이 바람직하다. 예를 들어서 마우스 커서 아이콘을 도2의 사각형형태의 마커(cu)로 구성하면 마우스를 사용하여 마커(cu)의 위치를 이동시킬 수 있다. 태블릿 pc인 경우에는 손가락으로 마커를 터치한 후 끌어서 이동(Dragging)시킬 수 있다. 도2의 사각형 마커(cu)의 윗변의 중심이 끊어진 이유는 카메라와 마커 사이의 상대 위치(x,y,z)뿐 만 아니라 상대 방향(yaw, pitch, roll)도 검출하기 위함이다. 여기서 사각형 형태는 하나의 예일 뿐 실제로는 충분한 특징점을 포함하는 임의의 이미지를 마커로 사용해도 무방하다. 여기서 충분한 특징점을 포함한다는 뜻은 카메라와 마커 사이의 3차원 상대 위치와 방향을 구하기에 충분한 것을 의미한다. 또한 마커의 크기는 스마트폰의 카메라로 촬영한 영상에서 검출하여 카메라와 마커 사이의 3차원 상대 위치와 방향을 검출하는데 충분할 정도로 크게 하는 것이 바람직하다. 또한 마커를 반투명하게 형성하여 가려진 부분의 원래 영상이 보이게 하는 것이 바람직하다. 사용자는 마우스를 조작하여 마커를 이동시켜서 마커로 가려진 부분을 확실히 볼 수 있다. 이 경우 마커(cu)의 움직임 또는 스크린 위에서의 위치 정보(x,y)를 블루투스와 같은 통신 수단을 이용하여 스마트폰에서 실행되는 증강현실 프로그램에 전송하여 증강현실 프로그램이 카메라와 데스크탑 모니터(mob)사이의 3차원 상대 위치를 구하는데 그 위치 정보를 사용할 수 있어야 한다. 즉 증강현실 프로그램은 스마트폰의 카메라로 촬영된 이미지를 분석하여 마커(cu)를 검출하여 카메라와 마커 사이의 상대 위치를 구하고 수신된 마커의 데스크탑 모니터 안에서의 좌표를 참조하여 카메라와 데스크탑 모니터 사이의 상대위치를 구할 수 있다. 이렇게 구한 상대위치에 맞게 그래픽 객체를 촬영된 영상에 합성하여 증강 현실 영상을 출력할 수 있다.

실시예3

컴퓨터 마우스 커서 아이콘의 경우 마우스 커서의 화면 안에서의 위치에 따라 또는 시간에 따라 그 형태가 바뀔 수 있다. 예를 들면 마우스 버튼을 눌렀을 때와 누르지 않았을 때의 형태가 다를 수 있다. 또한 오래 걸리는 작업중임을 나타내기 위하여 모래시계 아이콘으로 바뀔 수도 있다.윈도우 비스타의 경우 모래시계 대신 회전하는 도너츠 형태로 바뀐다. 마찬가지로 본 발명의 증강현실의 마커도 형태가 바뀔 수 있고 그 경우 증강현실 프로그램에서 그 마커를 검출할 수 있도록 하기 위하여 바뀐 마커의 형태, 크기 또는 색상 정보를 증강현실 프로그램에 전송하는 것이 바람직하다. 증강 현실 프로그램은 촬영된 영상에서 수신한 마커의 정보를 이용하여 형태가 바뀐 마커를 검출하여 마커와 카메라 사이의 상대위치에 맞게 그래픽 객체를 촬영된 영상에 합성하여 증강 현실 영상을 출력할 수 있다.

실시예4

상기 실시예2의 경우 스마트폰의 카메라로 촬영한 영상 안에서의 마커의 위치를 데스크탑 컴퓨터에 전송하고 데스크탑 컴퓨터는 그 정보를 이용하여 마커의 위치를 조정하되 마커가 스마트폰의 카메라의 시야의 중심에 항상 위치하도록 조정하는 것이 바람직하다. 이러한 마커가 카메라 시선 방향을 따라가는 기술은 등록 특허 936816호 '카메라와 마커 출력에의한 포인팅 장치 '에 공개되어있다. 구체적으로 설명하면 도3에서 스마트폰의 카메라의 시선 방향(va)에 있던 마커(cua)는 스마트폰의 카메라의 위치가 pb로 이동하여 스마트폰 카메라의 시선 방향이 vb 로 바뀐다면 마우스 커서 마커 위치도 그 시선 방향쪽(cub)으로 이동시키는 것이 바람직하다. 만약 마커를 한 위치(cua)에 고정시킨다면 스마트폰의 카메라의 시야에서 마커가 사라지지 않게 매우 조심해서 스마트폰을 움직여야 하는 불편함이 있다. 그러나 마커가 스마트폰의 카메라의 시선방향을 따라온다면 사용자는 데스크탑의 모니터 위의 임의 방향으로 스마트폰 카메라를 자유롭게 이동하면서 증강현실 영상을 볼 수 있다.

실시예 5

상기 실시예4에서 데스크탑 컴퓨터는 마우스 커서 마커를 이동시킬 때 마우스 커서 아이콘의 움직임을 띄엄 띄엄하게 제한하여 스마트폰의 카메라와 마우스 커서 아이콘 사이의 상대 위치와 방향을 좀더 정밀하게 산출하여 증강현실 영상의 떨림을 방지할 수 있다. 여기서 마우스 커서 아이콘의 움직임을 띄엄 띄엄하게 제한한다는 뜻은 스마트폰의 카메라로 촬영한 영상의 중심에서 마커가 벗어난 거리가 어느 정도 임계치 이상이 되는 순간에 마우스 커서 아이콘을 카메라 시선 방향으로 점프하게 하는 것을 의미한다.

이처럼 대부분의 순간에는 마우스 커서 마커의 위치가 고정된 상태를 유지함으로써 증강현실 프로그램의 영상처리부에서는 좀더 정확한 마우스 커서 위치를 검출할 수 있다.

실시예6

상기 실시예4에서 증강현실 프로그램에서 산출한 스마트폰의 카메라와 마커 사이의 거리정보를 데스크탑 컴퓨터에 전송하고 데스크탑 컴퓨터는 그 거리에 비례하게 마커의 크기를 변경하는 것이 바람직하다. 즉 도4와 같이 스마트폰의 카메라가 마커를 향해 접근(pc->pd)하면 마커의 크기를 축소(cuc->cud)시키는 것이 바람직하다. 반대로 스마트폰의 카메라가 마커로부터 멀어지면 마커를 확대시켜서 스마트폰으로 촬영된 영상에서 마커의 크기가 항상 일정하게 유지시키는 것이 마커를 검출하는데 편리하다. 데스크탑 컴퓨터는 블루투스와 같은 통신 수단을 통해 스마트폰의 증강현실 프로그램에 변경된 마커의 크기정보를 전송하고 스마트폰의 증강현실 프로그램은 수신된 마커의 크기정보를 이용하여 마커와 카메라 사이의 상대 위치를 구할 수 있다.

실시예7

상기 실시예6에서 카메라와 마커 사이의 거리에 따라 마우스 커서 마커의 크기를 변화시키는 경우 그 변할 수 있는 크기를 띄엄 띄엄하게 제한하여 카메라와 마커 사이의 거리를 좀더 정확하게 구할 수 있다. 예를 들어서 카메라를 마커에 접근 시키는 경우 촬영된 이미지에서 검출된 마커의 크기가 어느 정해진 임계 크기가 될 때까지는 마커의 크기를 그대로 유지하고 임계 크기보다 커지는 순간에 마커를 작게 축소시킨다. 마찬가지로 카메라를 마커로부터 멀어지게 하는 경우 촬영된 이미지에서 검출된 마커의 크기가 어느 정해진 임계 크기보다 작게 될 때까지는 마커의 크기를 그대로 유지하고 임계 크기보다 작아지는 순간에 마커를 크게 변화시킨다. 이렇게 대부분의 순간에는 마커의 크기를 고정시키고 어느 한 순간에만 마커의 크기를 변경시킴으로써 영상처리프로그램은 마커를 좀더 잘 검출할 수 있다.

실시예8

상기 실시예1~7에서 사용한 마커는 원래 화면을 가린다는 단점이 있다. 구체적으로 도2의 경우 데스크탑 모니터에 표시된 마커(cu)는 스마트폰의 카메라로 촬영한 영상(mos)에 표시(cus)된다. 그러나 이러한 마커(cus)는 증강현실 영상이 출력되는 스마트폰 디스플레이(mos)에 표시 되지 않는 것이 바람직하다. 즉 데스크탑의 마커가 없는 원래 영상 또는 데스크탑의 마커(cu)가 가린 부분의 원래 영상과 모니터에서의 그 위치를 증강현실 프로그램에 전송하여 증강 현실 영상을 합성할 때 촬영된 이미지에서 데스크탑 모니터 속의 마커(cu)를 검출 한 후 그 위치에 데스크탑으로부터 수신 받은 원래 영상 또는 마커가 가린 부분 영상을 적당히 투사 변환(perspective projection)하여 합성함으로써 촬영된 마커를 최종 출력 영상에서 제거하는 것이 바람직하다.

실시예9

도5는 태블릿 pc와 스마트폰을 사용한 본 발명에 의한 모니터 기반 증강현실 시스템의 실시예이다. 본 실시예에서는 상기 실시예들에서 사용한 인공적인 도형이나 아이콘과 같은 마커들 대신 태블릿 pc의 모니터(mob)에 출력되는 원래 동영상(예를 들면 달리는 차에서 본 움직이는 도로 동영상)을 증강현실 프로그램에 전송하여 마커 대신 사용하는 구성을 개시한다. 이러한 구성은 인공적인 마커가 원래 화면을 가린다는 상기 실시예들의 단점을 극복할 수 있다. 태블릿 pc의 모니터에 출력되는 동영상은 실시간으로 증강현실 프로그램에 전송되고 그와 병행하여 스마트폰의 카메라는 상기 태블릿 pc의 모니터(mob)의 동영상을 촬영한다. 증강현실 프로그램은 수신 받은 태블릿 pc의 화면 영상과 스마트폰의 카메라로 촬영한 동영상을 프레임마다 차례로 비교하여 스마트폰의 카메라와 태블릿 pc모니터 사이의 3차원 상대 위치와 방향을 산출하여 스마트폰의 카메라로 촬영한 영상 위에 컴퓨터 그래픽 객체(vo)(예를 들면 달리는 자동차의 3차원 모델)를 합성하여 스마트폰의 디스플레이(mos)에 출력한다. 태블릿 pc에서 스마트폰으로 전송하는 정보는 통신의 부담을 줄이기 위해 압축된 동영상을 전송하거나 이미지를 전송하는 대신 이미지에서 추출한 특징점 정보만 전송하는 것이 바람직하다.이러한 매 프레임 영상을 전달해서 촬영된 영상과 비교하는 기술과 유사한 기술로 모니터 화면 전체 또는 일부(마우스 커서 아이콘)정보를 영상 인식하여 카메라와 모니터 사이의 3차원 상대위치를 검출하여 포인팅 신호를 출력하는 기술로 등록 특허 936816호 '카메라와 마커 출력에의한 포인팅 장치 '가 있다. 태블릿 pc에 출력되는 영상과 그 태블릿 pc를 스마트폰의 카메라에 촬영한 영상에서 대응되는 특징점을 구하는 것은 공지기술로 예를 들면 opencv2.2라는 영상처리용 공개 소프트웨어 패키지의 샘플코드 중 find_obj.cpp 에 구현되어있다. 이러한 대응점들을 cvFindExtrinsicCameraParams2 라는 opencv 함수의 입력 파라메터로 사용함으로써 카메라와 태블릿 pc사이의 상대 위치를 구할 수 있다. 구체적으로 설명하면 다음과 같다.즉 태블릿 pc에 출력중인 이미지에서 구한 특징점들의 3차원 좌표값의 x,y 값은 이미지에서의 좌표값으로 하고 z값은 0으로 설정한다. 이러한 좌표값을 위 함수의 오브젝트 포인트로 입력한다. 그리고 스마트폰의 카메라로 촬영된 이미지에서 대응되는 특징점들을 구해서 그 점의 이미지에서의 좌표값을 위 함수의 이미지 포인트값으로 입력하면 된다.

실시예10

최근에 3d 모니터가 대중화되고 있다. 3d 모니터는 시분할 방식과 공간 분할 방식이 있다. 시분할 방식에는 왼쪽 눈에 보여질 영상과 오른쪽 눈에 보여질 영상을 번갈아 순차적으로 빠르게 출력하는 셔터 안경식(shutter glasses)과 액티브 리타더(active retarder) 방식이 있다. 그리고 공간 분할 방식에는 화면을 구성하는 다수의 수평선 중 짝수번째 수평선에는 왼쪽 눈에 보여질 영상을 출력하고 홀수번째 수평선에는 오른쪽 눈에 보여질 영상을 동시에 출력하는 편광 안경식이 있다.(두 개의 서로 다른 방향으로 편광된 빔 프로젝터를 사용해서 좌우측 눈에 보여질 영상을 두 프로젝터가 각각 동시에 한 화면에 투사하여 편광 안경식 디스플레이를 을 구현할 수도 있다. 이러한 3d 프로젝터를 사용해서 본 실시예를 구성할 수도 있다. 이러한 3d 모니터를 사용하여 본 발명에의한 증강 현실 시스템을 구성하는 경우 다음과 같은 방법으로 실시예1의 마커(bm) 또는 실시예2의 마커(cu)를 사람 눈에 보이지 않게 하여 마커를 모니터 변두리뿐 만 아니라 임의 위치에 임의의 크기로 배치할 수 있다. 즉 3d 모니터(3d 빔 프로젝터도 포함한다)에 출력되는 왼쪽 눈에 보여질 영상과 오른쪽 눈에 보여질 영상에 각각 마커(bm)를 합성하여 출력하되 왼쪽 눈에 보여질 영상에 합성할 마커(제1마커)와 오른쪽 눈에 보여질 영상에 합성할 마커(제2마커)가 서로 보색 반전된 관계가 되도록 구성한다. 즉 제1마커를 보색 반전해서 제2마커를 생성한다. 여기서 보색 반전된 마커란 두 마커를 반투명하게 만들어서 겹치게 놓을 경우 마커가 사람 눈에 보이지 않는 것을 말한다. 만약 제1 마커를 흑백 이미지로 만들었다면 제2 이미지는 제1 이미지를 흑백 반전함으로써 제2 마커를 얻을 수 있다. 임의의 칼라로 된 제1 마커는 각 픽셀의 색의 보색(complementary color)을 제2 마커의 색으로 설정함으로써 제2 마커를 얻을 수 있다.여기서 어떤 색의 보색이란 두 색을 합산했을 경우 백색이 되는 관계를 의미한다. 이러한 보색 관계의 마커를 원래 출력할 영상과 반투명하게 합성한 후 출력하는 3d 모니터를 사람의 맨 눈으로 보면 같은 위치에 출력되는 제1 마커와 제2마커가 서로 겹쳐서 보이지 않지만 셔터 안경이나 편광 안경을 쓰면 좌우측 눈에 각각 제1 마커와 제2 마커가 보이게 된다. 여기서 두 이미지를 반투명하게 합성한다는 것은 두 이미지의 평균 이미지를 합성하는 것을 의미한다. 두 이미지의 평균 이미지는 두 이미지의 각각의 대응되는 위치의 픽셀값의 평균값을 새 이미지의 픽셀값으로 함으로써 구할 수 있다. 이러한 제1 마커와 제2마커를 출력하는 모니터를 셔터 안경이나 편광 안경렌즈가 렌즈 앞에 부착된 카메라로 촬영하면 제1 마커 또는 제2마커를 촬영하여 영상처리부에서 인식 할 수 있고 카메라와 마커 사이의 상대위치를 알아내서 증강현실 영상을 생성할 수 있다.

실시예11

도2와 같은 구성의 경우 디스플레이(mob)에 출력중인 마크(cu)를 정면에서 스마트폰의 카메라를 조금씩 좌우로 움직이며 촬영을 하는 경우 마크가 작으면 스마트폰을 움직여도 스마트폰의 카메라로 촬영된 영상에서 마크의 크기나 형태 변화는 매우 작아서 스마트폰의 움직임을 검출하기가 어렵고 그렇기 때문에 합성된 증강현실 영상이 떨리는 문제가 있다. 본 실시예는 상기한 문제를 해결하기 위하여 스마트폰 카메라의 위치를 좀더 안정적으로 검출하는 구성을 개시한다. 즉 상기 실시예1~10의 영상처리부와 디스플레이를 촬영하는 카메라를 각각 제1영상처리부와 제1 카메라라고 하면 상기 제1영상처리부에 제2카메라와 제2 영상처리부를 포함하여 좀더 안정적인 증강현실 영상을 합성할 수 있다. 제2 카메라(cm2)는 도6과 같이 제1카메라(cm1)가 촬영하는 디스플레이(mob) 주변에 설치되어 제1 카메라를 촬영할 수 있다. 제2영상처리부는 제2카메라로 촬영한 영상에서 제1카메라를 검출하고 추적하여 그 위치를 출력하면 제1 영상처리부는 그 정보를 참조하여 제1카메라의 위치를 좀더 정확히 산출할 수 있다. 어두운 환경에서도 제2카메라가 제1카메라를 촬영하기 위하여 제2카메라는 키넥트(kinect)와 같은 깊이 카메라(depth camera)를 사용하는 것이 바람직하다.깊이 카메라는 촬영된 영상의 픽셀 값이 카메라에서 그 픽셀에 대응하는 물체의 점 사이의 거리에 비례하는 카메라이다. 깊이 카메라를 사용하면 제1 카메라의 색상에 무관하게 형태만 분석하여 추적하는 것도 가능하다. 마이크로 소프트에서 최근에 출시한 키넥트는 일반적인 칼라 카메라와 적외선을 이용한 깊이 카메라를 포함하고 있다.키넥트에서 촬영한 깊이 이미지를 분석하여 사람을 추적하는 것은 공지기술이므로 사람이 손에 쥐거나 착용한 안경형 디스플레이에 부착된 카메라를 촬영하는 것은 쉽게 구현될 수 있다. 본 실시예에서 깊이 카메라는 스테레오 매칭에의한 깊이 영상을 출력하는 스테레오 카메라를 포함한다.

mob : 증강현실 영상의 배경으로 사용되는 모니터
mos : 증강 현실 영상이 출력되는 스마트폰 모니터
vo : 증강 현실로 합성된 3차원 그래픽 객체
pa,pb,pc,pd : 스마트폰
cua,cub,cuc,cud : 마우스커서 마커
va,vb,vc,vd : 카메라 시선 방향
cus : 카메라로 촬영된 마커
cm1 : 제1카메라
cm2 : 제2카메라

Claims

증강현실 시스템에 있어서
원래 영상에 마커영상을 합성하여 디스플레이에 출력하는 마커 출력부;
상기 디스플레이에 출력되는 영상을 촬영하는 제1카메라;
상기 제1카메라에서 촬영한 영상에서 마커를 인식하여 카메라와 디스플레이 사이의 상대 위치를 산출하는 제1영상처리부;
상기 제1영상처리부에서 산출한 상대 위치를 이용하여 그래픽 객체를 제1카메라에서 촬영한 영상에 합성하는 영상 합성부;
를 포함하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
상기 1항에 있어서
마커는 마우스 커서 아이콘인 것을 특징으로 하는 모니터 기반 증강현실 시스템.
상기 2항에 있어서
제1영상처리부는 마우스 커서 아이콘의 디스플레이에서의 위치를 참조하여 제1카메라와 디스플레이 사이의 상대위치를 산출하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
상기 2항에 있어서
제1영상처리부는 마우스커서 아이콘이 제1카메라의 시선방향으로 이동하도록 조정하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
상기 4항에 있어서 마우스커서 아이콘이 제1카메라의 시선방향으로 이동하도록 하되 촬영된 영상의 중심에서 마우스 커서가 벗어난 거리가 일정 크기 이상이 되는 순간에 마우스 커서를 촬영된 영상의 중심에 오도록 점프시켜 이동시킴으로써 마우스커서 아이콘의 위치 변화가 띄엄띄엄하게 되도록 하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
상기 2항에 있어서
제1영상처리부는 마우스커서 아이콘의 크기를 제1카메라와 마우스 커서 아이콘 사이의 거리에 비례하게 조정 하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
상기 6항에 있어서
제1영상처리부는 마우스커서 아이콘의 크기를 조정하되 촬영된 영상에서 검출된 마우스 커서 아이콘의 크기가 정해진 일정 크기범위를 벗어나서 작아지거나 커지는 순간에 상기 일정 크기 범위 안에 크기가 들어오도록 크기 변화를 띄엄띄엄하게 조정하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
1항에 있어서 영상 합성부는
영상 출력부에서 출력중인 마커가 가린 영역의 원래 영상을 참조하여 촬영된 영상에서 마커가 가린 부분을 마커가 가리지 않은 형태로 복원하는 영상을 합성하여 출력하는 것을 특징으로 하는 모니터 기반 증강현실 시스템
증강현실 시스템에 있어서
영상을 디스플레이에 출력하는 영상 출력부;
상기 디스플레이에 출력되는 영상을 촬영하는 제1카메라;
상기 제1카메라에서 촬영한 영상과 영상 출력부에서 현재 출력중인 영상을 비교하여 제1카메라와 디스플레이 사이의 상대 위치를 산출하는 제1영상처리부;
상기 제1영상처리부에서 산출한 상대 위치를 이용하여 그래픽 객체를 카메라에서 촬영한 영상에 합성하는 영상 합성부;
를 포함하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
상기 1항에 있어서 디스플레이는 3d 스테레오 영상을 출력할 수 있는 3d 디스플레이이고
마커는 서로 보색 반전 관계에 있는 제1 마커와 제2 마커를 포함하되
제1 마커는 오른쪽 눈에 보여질 영상에 합성되고
제2 마커는 왼쪽 눈에 보여질 영상에 합성되는 것을 특징으로하는
모니터 기반 증강현실 시스템.
상기 10항에 있어서
카메라는 3d 모니터의 좌측 눈에 보여질 영상 또는 우측 눈에 보여질 영상 중 한 영상만 촬영할 수 있는 카메라인 것을 특징으로하는 모니터 기반 증강현실 시스템.
상기 10항에 있어서
카메라는 좌측 눈에 보여질 영상 또는 우측 눈에 보여질 영상 중 한 영상만 통과시키는 편광 필터 또는 셔터가 부착된 것을 특징으로하는 모니터 기반 증강현실 시스템.
1항 또는 9항 중 어느 한 항에 있어서
상기 제1영상처리부는
제1카메라를 촬영하는 제2카메라;
상기 제2카메라에서 촬영한 영상을 분석하여 제1카메라의 위치를 산출하는 제2 영상처리부를 포함하고
제2 영상처리부에서 산출한 제1카메라의 위치를 참조하여 제1카메라의 위치를 좀더 정확히 산출하는 것을 특징으로하는 모니터 기반 증강현실 시스템.
상기 13항에 있어서 제2카메라는 깊이 카메라인 것을 특징으로하는 모니터 기반 증강현실 시스템.
디스플레이에 마커를 출력하는 단계;
상기 마커를 촬영하는 단계;
상기 촬영된 이미지를 영상 처리하여 마커를 인식하여 마커와 카메라 사이의 상대 위치를 산출하는 단계;
상기 상대 위치를 산출하는 단계에서 산출한 상대 위치를 이용하여 그래픽 객체를 카메라에서 촬영한 영상에 합성하는 영상 합성단계를 포함하고,
상기 마커와 카메라 사이의 상대 위치를 산출하는 단계는,
상기 촬영된 이미지에서 상기 디스플레이에 출력중인 마커에 대응하는 부분을 검출하여 상기 대응하는 부분의 특징점들의 대응 관계로부터 상대 위치를 산출 하는 단계를 포함하는 것을 특징으로 하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
15항에 있어서
마커는 마우스 커서 아이콘인 것을 특징으로하는
모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
16항에 있어서
마커를 출력하는 단계는
촬영된 이미지에서 마커가 촬영된 이미지의 중심에서 일정 범위 이내에 위치하도록 마커 출력 위치를 조정하는 단계를 포함하는 것을 특징으로하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
16항에 있어서
마커를 출력하는 단계는
촬영된 이미지에서 마커의 크기가 일정 크기 범위 이내가 되도록 마커 크기를 확대 또는 축소하는 단계를 포함하는 것을 특징으로하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
15항에 있어서
영상 합성 단계는
출력된 마커가 가린 영역의 원래 영상을 참조하여 촬영된 영상에서 마커가 가린 부분을 마커가 가리지 않은 형태로 복원하는 영상을 합성하여 출력하는 것을 특징으로 하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
디스플레이에 출력중인 영상을 촬영하는 단계;
상기 촬영된 이미지를 영상 처리하여 카메라와 디스플레이 사이의 상대 위치를 산출하는 단계;
상기 상대 위치를 산출하는 단계에서 산출한 상대 위치를 이용하여 그래픽 객체를 카메라에서 촬영한 영상에 합성하는 영상 합성단계를 포함하고,
상기 카메라와 디스플레이 사이의 상대 위치를 산출하는 단계는,
상기 촬영된 이미지에서 상기 디스플레이에 출력중인 화면 영상에 대응하는 부분을 검출하여 상기 두 영상 사이의 특징점들의 대응 관계로부터 상대 위치를 산출 하는 단계를 포함하는 것을 특징으로 하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
15항에 있어서
디스플레이에 마커를 출력하는 단계는
좌측눈에 보여질 영상에 제1마커를 합성하여 3d 디스플레이에 출력하는 단계와
우측눈에 보여질 영상에 제2마커를 합성하여 3d 디스플레이에 출력하는 단계를 포함하되 상기 제1마커와 제2 마커는 서로 보색 반전 관계이고
마커를 촬영하는 단계는 좌측눈에 보여질 영상과 우측 눈에 보여질 영상 중 한 영상만 촬영하는 단계를 포함하는 것을 특징으로하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.