KR100387901B1 - 카메라 센서를 이용한 이미지 추적 및 삽입 시스템 - Google Patents

Abstract

본 발명은 카메라 센서를 이용한 이미지 추적 및 삽입 시스템에 관한 것이다. 본 발명에서는 카메라로부터 촬영한 방송 영상으로부터 프레임 그랩버를 이용하여 영상의 현재 프레임을 얻고, 카메라에 부착된 카메라 센서로부터 출력되는 원시데이터를 카메라 센서 모듈을 통해 분석하여 현재 프레임에서의 카메라 변수를 얻는다. 영상 분석 모듈에서는 이렇게 얻어진 영상의 프레임과 카메라 변수를 입력으로 받아서 마커의 위치를 추적하여 획득하고 그 결과를 바탕으로 이미지 삽입 영역의 위치를 산출해 낸다. 이미지 삽입 모듈에서는 산출된 이미지 삽입 영역을 기반으로 삽입 이미지 자체의 크기, 원근 등을 변화시키고 전배경 분리 단계를 거친 후 이미지를 삽입하여 새로운 방송 영상을 출력한다. 이러한 실시간 운영 과정에서 사용자는 사용자 인터페이스를 이용하여 이미지의 삽입 여부, 삽입될 이미지, 삽입 위치 등을 결정할 수 있다. 그리고, 이미지 삽입의 기본 정보인 마커의 위치, 삽입 영역의 위치, 카메라 모델링 정보 등은 수행전 작업을 통해서 데이터베이스에 저장되어 실시간에 사용된다.

이러한 본 발명에 따르면 방송영상에 이미지를 삽입하기 위해서 카메라 센서 값을 이용하기 때문에 카메라가 빠르게 움직이는 환경이나, 마커 추적이 어려운 환경에서도 원하는 위치에 원하는 이미지를 정확하게 삽입할 수 있다. 또한, 고정형 카메라에서 뿐만 아니라 이동형 카메라에서 촬영한 영상에 이미지를 삽입하는 것도 가능해진다. 본 발명은 방송 중계 화면상에 가상 광고 삽입, 기존 광고의 대체, 가상의 이미지를 이용한 정보 제공 등의 용도에 적용 가능하다.

Description

카메라 센서를 이용한 이미지 추적 및 삽입 시스템{image tracking and insertion system using camera sensors}

본 발명은 카메라 센서를 이용한 이미지 추적 및 삽입 시스템에 관한 것으로, 카메라 센서를 이용하여 카메라 변수를 얻고 이를 이용하여 마커의 위치를 추적, 사용자가 원하는 위치에 이미지를 삽입하는 것에 관한 것이다.

종래의 방송 영상에서의 이미지 삽입 방법은 방송 영상에 대한 분석 없이, 화면상에 그대로 삽입했기 때문에 팬, 틸트, 줌 등과 같은 카메라의 움직임에 관계없이 화면의 일정한 영역에 고정되어 표현되었고, 전배경 분리 즉, 앞에 나온 물체에 의해서 가려지는 현상 등을 표현할 수 없었다.

최근에는 이러한 한계를 넘어서 방송 영상의 변화에 따라서 삽입 이미지의 속성을 변화시키는 것과 관련된 발명들이 소개되었으며, 미국 특허 5,264,933호, 미국 특허 5,903,317호, 미국 특허 5,353,392호, 미국 특허 5,491,517호 등이 이와 관련된 것이다. 상기와 같은 특허들은 빠르게 움직이는 카메라를 통해 전송되는 화면에 대해서는 이미지 삽입이 용이하지 않다는 문제점을 갖고 있다. 즉, 야구 경기 중계 중 타구나 선수를 따라서 빠르게 움직이는 카메라 환경에서는 이미지를 삽입할 수 없는 문제점이 있다. 또한 전체적인 환경의 변화가 발생할 경우에 실시간 적응이 어렵다는 문제점이 있다. 예를 들어, 주간에서 야간 경기로 넘어가는 경우나, 갑자기 날씨가 흐려지는 경우 등이 이에 해당할 수 있다.

그러므로 본 발명이 이루고자 하는 기술적 과제는, 사용자가 원하는 이미지를 방송 영상에 삽입시키고자 하는데 있어서 카메라 센서 값을 활용하여 마커 위치를 추적하여 정밀한 위치에 이미지를 삽입하는데 있다.

구체적으로, 카메라 센서로부터 얻어지는 팬, 틸트, 줌, 포커스, 위치, 회전 정보 등을 활용하여 카메라 변수를 얻고, 이를 기반으로 영상 정보를 분석하여 마커영역과 삽입영역의 위치를 신속하고 정확하게 탐색하고 이미지를 삽입함으로써, 카메라의 움직임에 제약을 받지 않는 이미지 삽입 시스템을 구성하는 데 있다. 또한, 인코더와 관성항법장치로 구성되는 카메라 센서를 구성하여 고정형 카메라뿐 만 아니라 핸드헬드 형태의 이동형 카메라 환경에서도 카메라 변수를 획득하고자 한다.

또한, 본 발명에서는 카메라 모션 정보와 현 프래임의 밝기 정보를 기반으로 템플리트 매칭을 적용하여 마커의 위치를 추적하여 밝기의 변화에 따르는 문제점을 해결하고자 한다.

도 1은 카메라 센서를 이용한 이미지 추적 및 삽입 시스템 운영의 예를 나타낸 도이다.

도 2는 본 발명의 실시예에 따른 카메라 센서를 이용한 이미지 추적 및 삽입 시스템의 전체 구조도이다.

도 3은 본 발명에서 사용하는 카메라 변수를 나타낸 도이다.

도 4는 도 2에 도시된 카메라 센서 모듈의 고정형 카메라에의 적용을 나타낸 구조도이다.

도 5는 도 2에 도시된 카메라 센서 모듈의 이동형 카메라에의 적용을 나타낸 구조도이다.

도 6은 이미지 삽입 시스템 운영을 위한 수행전 작업의 구조도이다.

도 7은 본 발명의 실시예에 따른 마커영역과 삽입영역을 나타낸 도이다.

도 8은 본 발명의 실시예에 따른 카메라 센서를 이용한 이미지 추적 및 삽입 방법의 전체 흐름도이다.

도 9는 도 8에 도시된 마커영역 탐색 단계를 상술한 흐름도이다.

도 10은 카메라 변수 정보를 이용하여 구한 마커의 위치와 이에 기반한 마커의 탐색영역 설정의 예를 나타낸 도이다.

도 11은 삽입될 이미지에 대한 처리를 나타낸 도이다.

도 12는 본 발명의 실시예에 따라 방송 영상에 이미지를 삽입한 예를 나타낸 도이다.

이러한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 카메라 센서를 이용한 이미지 추적 및 삽입 시스템은, 방송영상을 촬영하는 카메라, 카메라로부터의 영상을 영상 분석 모듈에 프레임 단위로 전달하는 프레임 그랩버, 카메라에 부착되어 카메라 변수를 추출하는 역할을 하는 카메라 센서, 카메라 센서 값을 입력으로 받아서 카메라 변수 값을 영상 분석 모듈에 전달하는 카메라 센서 모듈, 사용자의 요구를 영상 분석 모듈에 전달하는 사용자 인터페이스, 영상 프레임, 카메라 센서, 사용자 요구 등을 입력으로 받아서 마커의 위치를 탐색하고 이를 바탕으로 삽입될 이미지의 위치를 추적하는 영상 분석 모듈, 삽입될 이미지의 크기, 원근 조정, 전배경 분리 작업을 수행한 후 원 방송영상에 이미지를 삽입하여 송출하는 이미지 삽입 모듈, 마커의 정보, 삽입될 이미지의 정보, 카메라 정보 등을 저장 관리하는 데이터 베이스를 포함한다.

여기서, 프레임 그랩버는 카메라로부터 촬영한 영상을 컴퓨터 시스템에서 처리하기 위해 프레임 단위로 컴퓨터에 전달해 주는 하드웨어 장치로써, 실시간 운영을 위해서 초당 30 프레임의 속도로 이미지를 획득, 전달하는 것을 보장해주어야 한다.

카메라 센서는 관성 항법 장치와 인코더의 조합으로 구성되며, 카메라에 부착되어 실시간 방송 촬영 중에 카메라 변수와 관련된 정보를 생성한다. 카메라 센서 중 관성 항법 장치에서는 카메라의 롤(roll), 피치(pitch), 요(yaw), x축 이동, y축 이동, z축 이동 정보가 생성되고, 인코더 부분에서는 기계적인 회전 움직임으로 추적할 수 있는 요소인 팬(pan), 틸트(tilt), 줌(zoom), 포커스(focus)에 관한 정보가 생성된다.

카메라 센서 모듈에서는 카메라 센서에서 입력받은 값을 이미지 삽입 시스템에서 사용할 수 있는 실질적인 카메라 변수로 변환하여 전달한다. 실제 영상에 이미지를 삽입하기 위해 필요한 카메라 변수는 고정형 카메라와 이동형 카메라 여부에 따라서 다른 값의 조합을 필요로 한다. 삼발이에 고정되어 운영되는 고정형 카메라의 경우, 실시간 운영 중 이미지 추적 및 삽입을 위해 필요한 카메라 변수는 팬, 틸트, 줌, 포커스 이렇게 네 요소로 구성된다. 따라서, 인코더를 통해 입력되는 값만 해석하면 필요로 하는 카메라 변수를 얻을 수 있다. 하지만 삼발이에 의해서 고정되지 않고 위치 이동이 있다든지 카메라 촬영자에 의해서 이동과 회전이 발생하는 이동형 카메라의 경우에는 카메라 자체의 위치나 롤 등과 같이 인코더 적용만으로 획득하기 어려운 카메라 변수가 존재한다. 이러한 때에는 관성 항법 장치와 인코더를 동시에 사용하거나 또는 관성 항법 장치만을 사용하고, 카메라 센서 모듈에서는 이 값을 입력으로 받아서 카메라 변수를 생성한다.

사용자 인터페이스에서는 이미지의 삽입 여부의 결정, 삽입될 이미지의 결정, 삽입될 위치의 결정과 같은 사용자의 요구를 실시간에 받아들여, 시스템에 전달해 주는 역할을 한다. 이를 통해서, 사용자는 어떤 위치에, 어떤 이미지를 삽입할 것인가를 실시간에 선택할 수 있게 된다.

영상 분석 모듈에서는 카메라 변수 정보를 이용하여 현재 프레임에서 어느 정도 신뢰성있는 마커의 위치를 예측하고, 예측된 영역 내에서 마커영역을 템플리트 매칭 방법을 통해 재확인하여 정확성을 높인다. 영역 내에서 매칭이 이루어지지 않을 경우, 즉, 다른 물체에 의해서 마커가 가려져 있는 경우에는 매칭이 이루어진 마커의 위치, 예측된 마커의 위치, 각 마커들 사이의 위치의 상관 관계 등의 정보를 이용하여 위치를 확정짓는다. 각 마커들의 사이의 위치의 상관 관계 정보는 수행전 작업을 통해서 실시간 수행 이전에 획득하게 된다. 이러한 마커영역 탐색 결과 얻은 마커영역과 삽입영역 사이의 상관관계를 적용하여 삽입 영역을 결정한다. 이 과정에서 사용하는 마커영역과 삽입영역 사이의 상관관계 역시 수행전 작업을 통해서 실시간 수행 이전에 획득하게 된다. 이렇게 생성된 삽입영역은 카메라 변수를 통해 예측된 삽입영역과의 비교를 통해 그 정확성을 검증한다.

이미지 삽입 모듈에서는 영상 분석 모듈에서 산출한 삽입 영역 내에 이미지가 존재하도록 크기, 원근의 조절 등의 작업을 수행하고, 데이터베이스의 배경정보를 바탕으로 삽입하고자하는 영상 내부의 전배경 분리를 실시한다. 그 결과에 따라 이미지를 삽입한 후 최종적으로 이미지가 삽입된 프레임을 방송 영상으로 송출한다.

실제 방송영상내의 움직임은 영상자체의 해상도에 비해 정밀한 단위에서 수행되기 때문에, 방송영상 내에 실제로 존재하는 것처럼 이미지를 삽입하기 위해서는 영상의 해상도보다 높은 정밀도에서 삽입될 이미지에 대한 위치연산과 삽입연산이 수행되어야 한다. 따라서, 본 발명의 영상 분석 모듈과 이미지 삽입 모듈에서는 실제 방송영상의 한 픽셀을 보다 작은 단위로 나누어 연산하는 서브픽셀(sub-pixel) 단위에서 모든 연산이 수행된다.

수행전 작업은 실시간 방송이전에 수행하는 작업을 의미하며, 마커영역 설정, 템플리트 정보 추출, 삽입영역 설정, 배경정보 추출, 대상영역 모델링, 카메라 모델링 작업을 포함한다.

마커영역 설정은 영상 분석 모듈에서 추적하여야 할 마커를 방송대상영역에서 선택하고, 마커상호간의 관계를 설정하는 것이다. 마커영역은 템플리트 매칭을 통한 탐색에 용이한 성질을 가져야 하며, 이러한 성질은 원점을 중심으로 비대칭적인 구조를 갖고, 동일한 색으로 구성되지 않아야 한다는 것을 포함한다.

마커영역이 설정되면 마커영역의 내부 이미지 정보를 기본 템플리트 정보로 추출하는 템플리트 정보 추출 과정을 수행한다. 템플리트는 수행전 작업을 통해서 설정되는 기본 템플리트와 실행 중에 매칭 과정에서 얻어지는 실행 템플리트로 구분한다. 기본 템플리트는 마커의 기본적인 이미지로 데이터베이스에 보관되며, 마커를 대표하는 이미지로의 역할을 수행한다. 실행 템플리트는 실제 매칭 과정에서 매칭이 이루어졌을 때의 마커영역의 이미지를 템플리트로 저장한 것으로 매칭이 발생할때마다 매칭된 마커영역의 이미지로 대치된다. 두 종류의 템플리트를 이용하여 실시간 운영 중에 카메라의 움직임이나 전체적인 환경의 변화에 의해 마커영역 자체가 변화하였을 경우, 능동적으로 적응하여 매칭의 정확도를 높인다.

삽입영역 설정은 실제로 이미지가 삽입될 후보영역들을 선택하는 것으로, 이를 통해서 삽입될 영역의 위치 정보 뿐만 아니라 배경 정보도 얻게 된다. 방송 중에 이미지가 삽입될 곳은 이들 후보영역들 중에서 실시간에 사용자에 의해서 선택된다. 만약에 방송 중에 물체나 사람에 의해서 이미지가 삽입될 영역이 가려지게 되면, 가려진 영역에는 이미지가 삽입되어서는 안된다. 이를 위해서 배경정보를 사전에 갖고 있어야 한다. 배경 정보는 이미지가 삽입될 영역의 바탕 정보를 의미하며, 전배경 분리 작업에서 전경 영역을 추출하기 위한 정보로 사용된다.

이렇게 마커영역과 삽입영역이 설정되면 대상영역 모델링 작업에서는 이들 상호간의 위치관계에 대한 처리를 한 후 데이터베이스에 그 결과를 저장한다. 이 정보는 이미지 삽입 시스템에서 실시간 이미지 삽입을 위한 기본 정보로 활용된다.

카메라 보정(calibration)은 설정된 마커 영역과 삽입영역을 기반으로 수행되며, 이를 통해서 카메라 특성에 관한 정보를 파악할 수 있다. 이렇게 생성된 정보를 바탕으로 카메라 모델링 작업을 수행한다. 즉, 카메라 센서로부터 입력된 정보와 실제 카메라 변수 사이의 상호 관계를 규정한다. 실시간 운영 시스템에서는 이 카메라 모델링 정보를 이용하여 카메라 센서로부터 입력된 값을 카메라 변수로 변환시킬 수 있고 마커와 삽입영역의 위치를 추출할 수 있다.

본 발명의 특징에 따른 카메라 센서를 이용한 이미지 추적 및 삽입 방법은, 카메라 센서로부터 입력된 값을 카메라 변수로 변환하는 카메라변수 추출단계, 카메라 변수에 근거하여 삽입영역을 추출하는 단계, 그 영역이 프레임 내부에 존재하는 지 검사하는 단계, 카메라 변수를 바탕으로 입력된 영상을 탐색하여 마커의 위치를 찾아내는 마커영역 탐색단계, 찾아낸 마커영역을 바탕으로 마커영역과 삽입영역의 상관관계를 이용하여 삽입영역을 찾아내는 삽입영역 결정단계, 카메라 변수를 근거로 산출한 삽입영역과 삽입영역 결정단계에서 얻은 삽입영역이 일치하는 지 검사하는 삽입영역 검증단계, 삽입영역의 위치정보와 방송영상 정보를 이용하여 삽입될 이미지의 크기, 원근을 조정하는 단계, 삽입영역의 배경 정보와 방송영역의 이미지 비교를 통해서 삽입될 이미지 위에 다른 물체나 사람, 즉 전경요소가 있는지를 판별하는 단계, 그리고, 최종적으로 이미지를 합성하여 송출하는 단계를 포함한다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명한다.

도 1은 카메라 센서를 이용한 이미지 추적 및 삽입 시스템의 실제 동작의 예를 나타낸 도이다.

카메라 센서(100)가 부착된 카메라(10)로 야구 중계와 같은 현장을 촬영할 경우 원 방송 영상(2)과 카메라 센서(100)로부터 얻은 카메라 변수는 이미지 삽입 시스템(1)에 입력된다. 이미지 삽입 시스템(1)은 카메라 변수, 원 방송영상(2) 등의 입력 정보를 바탕으로 영상을 분석, 이미지를 삽입하여 이미지가 삽입된 방송영상(3)을 출력한다. 시청자는 이렇게 이미지가 삽입된 방송영상(3)을 시청하면서, 촬영 현장 자체에 이미지가 존재하는 것처럼 느끼게 된다.

도 2는 본 발명의 실시예에 따른 카메라 센서를 이용한 이미지 추적 및 삽입 시스템의 전체 구조도이다.

센서를 부착한 카메라(10)로부터 촬영되는 방송 화면은 프레임그랩버(30)에 의해 프레임 버퍼에 저장되며, 이는 이미지가 삽입되는 배경이 된다. 카메라(10)에 부착된 센서에 의해 생성되는 카메라 정보는 데이터베이스(80)에 저장된 카메라 모델링 정보를 바탕으로 카메라 센서 모듈(20)에서 카메라 변수로 변환되어 영상 분석 모듈(40)로 입력된다.

오퍼레이터(60)는 사용자 인터페이스(50)를 통해서 가상 이미지의 삽입 여부, 삽입 위치, 삽입될 이미지 등을 실시간에 제어할 수 있고, 이 정보 역시 영상 분석 모듈(40)의 입력으로 작용한다.

영상 분석 모듈(40)에서는 프레임 그랩버(30)로부터 영상을 입력으로 받아서 마커영역의 탐색, 삽입영역의 결정, 삽입영역의 검증, 삽입 이미지의 크기, 원근요소의 적용 등의 역할을 수행한다. 이 과정에서 카메라 변수를 바탕으로 마커영역을 예측하고, 템플리트 매칭을 적용하여 신뢰성있는 마커영역을 얻어낸다. 그리고, 발견된 마커의 위치 관계를 이용해서 현재 프레임에서 삽입될 이미지의 위치를 결정한다. 마커영역과 삽입영역과의 위치관계는 실시간 수행이전에 대상 영역 모델링 단계에서 어파인(affine) 좌표 상에서의 수학적인 관계로 시스템에 의해 자동적으로 결정된다. 이렇게 결정된 삽입영역은 카메라 변수를 기반으로 산출한 삽입영역과 비교하여 오차가 허용된 범위를 넘지 않을 시에는 유효한 것으로 인정하는 검증과정을 거친다. 삽입영역의 결정과정에서 크기, 원근과 같은 요소를 같이 고려하여 삽입이미지를 변환한다.

이미지 삽입 모듈(70)에서는 데이터베이스(80)에 저장된 배경정보를 바탕으로 삽입될 영역의 전경과 배경을 분리해 내는 겹침 판별 작업을 수행한 후, 그 결과를 반영하여 이미지를 삽입하고, 합성된 방송영상을 출력(90)한다. 전경과 배경의 분리를 위해서 일반적으로 칼라 키 기법을 사용한다. 배경이 한가지 영역의 색이 아닌 여러 가지 색으로 나타날 경우, 임의의 한도(보통 2가지 색) 내에서는 다중 칼라 키 기법을 이용하여 처리한다. 하지만, 그 이상의 색으로 구성되어 있다면, 크로마키 기법으로 처리하는 것은 한계가 있다. 이 경우에는 삽입될 이미지 내에서 패턴 인식 기법을 적용하여 전경과 배경 분리를 수행한다. 전경과 배경 분리 결과 배경 마스크를 생성하고, 이를 바탕으로 배경 영역에 이미지를 삽입한다.

도 3은 본 발명에서 사용하는 카메라 변수를 나타낸 도이다.

카메라 변수는 팬(pan), 틸트(tilt),롤(roll), 줌(zoom), 포커스(focus), 위치정보(x,y,z), 세 축에 대한 회전 정보 등을 포함한다. 일반적인 이미지 삽입 시스템에서는 카메라 변수들 중에서 팬, 틸트, 줌, 포커스 만을 사용하여 왔다. 그리고, 이러한 정보만을 제공하는 하드웨어장치를 메모리헤드라 한다. 이는 고정형 카메라만을 고려한 것으로 카메라의 위치가 변화한다든지 운영자가 카메라를 들고 이동하는 핸드헬드 카메라의 경우, 이미지 삽입이 불가능하다는 문제점이 있다. 본 발명에서는 이러한 문제점을 해결하면서 움직이는 카메라 환경에서도 사용할 수 있도록 하기 위해서 인코더와 관성 항법장치를 결합한 형태의 카메라 센서를 개발하여 사용한다. 즉, 고정형 카메라와 이동형 카메라 모두에서 이미지 삽입 시스템이 동작하도록 하는 것이다.

삼발이에 고정된 고정형 카메라의 경우 도 3에서 각축(x,y,z)에 대한 직선이동은 발생하지 않으며, 좌우의 회전 정보인 팬(pan), 상하 회전 정보인 틸트(tilt)에 대한 움직임만이 발생한다. 그리고 카메라의 고유 특성인 줌(zoom), 포커스(focus) 등이 상황에 따라 변하는 값으로 시스템에서 인지해야할 카메라 변수에 포함된다.

자유롭게 이동하며 촬영할 수 있는 이동형 카메라의 경우 고정형 카메라의 카메라 변수인 팬, 틸트, 줌, 포커스 외에 z축 회전 정보에 해당하는 롤(roll)에대한 움직임과 각축(x,y,z)에 대한 직선이동 값이 카메라 변수에 포함된다.

도 4는 고정형 카메라에서의 도 2에 도시된 카메라 센서 모듈(20)의 구조를 나타낸 도이다. 카메라(10)에는 카메라 센서로 인코더(110)만 있으면 고정형 카메라에서 필요로 하는 카메라 변수를 얻을 수 있다. 인코더(110)는 기계적인 회전수치를 산술적으로 표현하는 기기로, 고정형 카메라에서 필요로 하는 카메라 변수인 팬, 틸트, 줌, 포커스와 관련된 회전값을 수치로 표현하게 된다. 인코더 해석모듈(210)에서는 인코더(110)의 출력결과를 수치적으로 변환하여 카메라 변수 추출 모듈(230)에 전달하는 역할을 한다. 카메라 변수 추출 모듈(230)에서는 수행전 작업으로 데이터베이스(80)에 저장된 카메라 모델링 결과를 바탕으로 영상 분석모듈(40)에서 적용할 수 있는 카메라 변수(팬, 틸트, 줌, 포커스)를 산출한다.

도 5는 이동형 카메라에서의 도 2에 도시된 카메라 센서 모듈(20)의 구조를 나타낸 도이다. 카메라(10)에는 카메라 센서로써, 인코더(110)뿐만 아니라 이동형 카메라의 정보 추출에 유리한 관성 항법 장치(120)를 사용한다. 인코더 해석 모듈(110)에서는 줌과 포커스에 관한 수치적인 변환을 수행하며, INS(관성 항법 장치) 해석 모듈(220)에서는 관성 항법 장치(120)에서 생성하는 축에 대한 가속도 정보와 각속도 정보를 변환하여 각 축에 대한 선형 이동 정보와 회전각 정보를 생성한 후 카메라 변수 추출 모듈(230)에 그 결과를 넘겨준다. 카메라 변수 추출 모듈(230)에서는 데이터베이스(80)에 저장된 카메라 모델링 결과를 바탕으로 영상 분석모듈(40)에서 필요로 하는 카메라 변수(팬, 틸트, 롤, 위치정보, 줌, 포커스)를 산출한다.

실시간에 카메라 센서 정보를 이용하여 이미지를 추적, 삽입하기 위한 준비 단계로써, 실시간 수행이전에 마커영역 설정, 템플리트 정보 추출, 삽입영역 설정, 배경정보 추출, 대상영역모델링, 카메라모델링 작업 등을 수행하여야 한다. 도 6은 이러한 수행전 작업 내용을 도시하고 있다.

먼저 마커영역 설정(300) 과정을 수행한다. 마커영역은 실시간 시스템 운영 중에 삽입영역을 찾기 위해 필요한 것으로, 마커 중심에 대한 위치 정보로 표현된다. 마커영역 설정(300)에서 얻은 마커 위치 정보를 바탕으로 템플리트 정보 추출(310)을 통해서 마커 중심으로부터의 일정 영역 내의 이미지를 기본 템플리트 정보로 데이터베이스(80)에 저장한다. 기본 템플리트는 마커에 대한 이미지 정보로 패턴매칭 알고리즘에 의해서 선별가능한 특성을 지니고 있어야 한다.

다음으로 삽입영역 설정(320) 단계를 수행한다. 삽입영역은 실제적으로 이미지나 동영상이 삽입될 위치를 사각형 형태로 나타낸 것으로, 사각형의 각 꼭지점에 대한 위치정보로 표현된다. 배경 정보는 삽입영역 내부에 대한 이미지 정보로, 실시간에 전배경 분리 작업에 사용된다. 배경 정보는 배경 정보 추출(330) 단계를 거쳐 데이터베이스(80)에 저장된다.

이렇게 마커영역과 삽입영역이 선택되면 다음 작업으로 대상영역 모델링(340)을 하게 된다. 마커영역 상호간의 관계, 마커와 삽입영역사이의 상호관계 등이 이 과정에서 정의된다. 삽입영역(321)은 어파인(affine) 좌표 상에서 마커영역(301)의 위치에 대한 상대적인 위치로 재정의되며, 그 결과는 데이터베이스(80)에 저장된다. 또한 삽입영역 자체에 대한 이미지 정보를 배경정보로 저장하여 겹침 문제 발생을 판단하기 위한 기반 정보로 사용한다.

다음으로 마커영역 설정(300)과 삽입영역 설정(320)의 결과를 이용해서 카메라 모델링(350)을 수행한다. 이는 지정된 마커영역(301)과 삽입영역(321) 정보를 기반으로 카메라 센서(100)로부터 입력되는 카메라 원시 데이터를 카메라 변수로 변환하기 위한 정보를 생성하는 카메라 보정(calibration) 과정과 카메라 변수 정보와 마커의 위치사이의 상호 관계, 그리고 카메라 변수 정보와 삽입영역의 위치사이의 상호 관계를 테이블 형태로 생성하여 데이터베이스(80)에 저장하는 과정으로 구성된다.

도 8은 본 발명의 실시예에 따른 카메라 센서를 이용한 이미지 추적 및 삽입 방법의 전체 흐름도이다.

먼저 카메라 변수 추출(400)과정을 수행한다. 카메라 변수 추출(400) 과정에서는 카메라 센서로부터 입력된 정보들을 통합하여 카메라 변수를 산출해 내어 이미지 삽입 시스템에서 위치 정보를 산출하기 위한 기본 정보로 사용된다. 고정형 카메라인 경우 도 4에 도시된 방법에 의해서, 이동형 카메라인 경우에는 도 5에 도시된 방법에 의해서 카메라 변수를 추출한다.

카메라 변수 추출(400)과정에서 얻은 카메라 변수 값과 수행전 작업에서 산출한 카메라 모델링(340) 정보에 의해서 삽입영역 추출(410)을 수행한다. 삽입영역 추출 정보는 두가지 용도로 사용된다. 첫째, 삽입영역이 현재 프레임 내부인지를 판별(420)하는 과정에서 사용되어, 프레임 내부에 삽입영역이 존재하지 않음을 알게 되면 후의 과정은 생략하고 입력받은 현 프레임을 그대로 방송 영상으로 송출한다. 반대로, 프레임 내부에 삽입영역이 존재할 시에는 마커영역탐색(430)을 비롯한 후의 과정을 수행한다. 둘째, 추후에 삽입영역 검증(450) 단계에서 마커영역을 기반으로 결정된 삽입영역이 정확한 것인지 검증하는 용도로 사용된다.

프레임 내부에 삽입영역이 존재하면, 다음으로 카메라 변수 값을 바탕으로 방송화면상에서 마커영역 탐색(430) 과정을 수행한다. 도 9는 마커영역 탐색(430)과정을 상술한 흐름도이다. 우선, 입력된 카메라 변수 값과 수행전 작업으로 구성한 카메라 모델링(340) 결과를 기반으로 현재 프레임에서의 마커영역을 예측(431)한다. 그리고, 탐색을 시작하는 준비 단계로써, 밝기조정(432)을 수행한다. 현 프레임에서의 밝기의 변화는 예측된 마커영역의 전체 밝기의 평균값과 기본 템플리트의 밝기의 평균값과의 비교를 통한 차이로 정의된다. 이 값을 바탕으로 실행 템플리트의 밝기를 조절하여, 밝기의 변화로 생기는 매칭 문제를 해결한다.

이렇게 마커영역을 예측(431)하고, 밝기 조정(432) 과정을 거친 후 정밀한 마커의 탐색은 템플리트 매칭 기법을 사용한다. 도 10에서 검은 점(302)는 카메라 변수를 기반으로 예측한 마커의 위치이며, 검은 점 주위의 원(303)은 실제적으로 마커영역 탐색(430) 과정에서 매칭 기법을 사용하게 될 마커의 탐색 영역이다. 즉, 카메라 변수 값은 마커를 탐색하기 위한 기본적인 영역을 파악하기 위해 사용되며, 정밀한 마커의 위치는 템플리트 매칭 기법을 통해서 얻게 된다. 템플리트 매칭은 다음과 같은 과정으로 진행된다. 우선, 탐색하지 않은 마커영역이 존재하는 지를 판단(433)하여 모든 마커에 대한 탐색이 끝났으면, 탐색결과 매칭된 마커의 수를 점검하여 4개 이상 매칭된 결과를 얻었다면, 다음 과정인 삽입영역 결정(440)으로이동하고, 그렇지 않을 경우에는 탐색된 마커위치, 예측된 마커위치를 기반으로 수행전 작업에서 얻은 마커사이의 상호관계를 이용하여 매칭되지 않은 마커의 위치를 획득하고 삽입영역 결정(440) 과정으로 이동한다. 즉, 삽입영역 결정(440)에서는 4개 이상의 마커의 위치에 대한 정보를 갖고 작업을 수행하게 된다. 탐색하지 않은 마커영역이 존재하는 지를 판단(433)하여 탐색하지 않은 마커가 존재하면, 먼저 실행 템플리트를 기반으로 현 프레임에서의 예상 마커의 영역에서 매칭(434)을 수행한다. 매칭이 이루어지면 실행 템플리트를 매칭이 이루어진 마커 영역의 이미지로 갱신(436)하는 과정을 거친후 탐색하지 않은 마커영역이 존재하는 지를 판단(433)하는 과정으로 이동한다. 만약에 매칭이 이루어지지 않았으면, 예상 마커의 영역을 기본 템플리트를 기반으로 매칭(435)을 수행한다. 매칭이 이루어지면 실행 템플리트를 매칭이 이루어진 마커 영역의 이미지로 갱신(436)하는 과정을 거친후 탐색하지 않은 마커영역이 존재하는 지를 판단(202)하는 과정으로 이동한다. 여기서도 매칭이 이루어지지 않으면 현 마커영역에 대한 실행 템플리트를 그대로 유지(437)하고, 매칭이 이루어지지 않은 것으로 결론 짓는다. 이러한 경우는 다른 물체나 사람에 의해서 마커 영역이 가려져서 전혀 다른 이미지가 마커영역에 존재할 때 발생한다.

마커영역의 탐색(430) 결과 마커의 위치를 얻게 되면, 이를 바탕으로 삽입영역 결정(440) 과정을 수행한다. 이 과정을 수행하기 위해서 수행전 작업을 통해 데이터 베이스(80)에 저장된 대상 영역 모델링(320) 결과를 활용한다. 즉, 수행 전에 정의된 마커의 위치와 삽입영역의 네 꼭지점 좌표사이의 어파인(affine) 좌표 상에서의 수학적 상관 관계를 활용하여 삽입영역의 위치를 결정한다.

그리고 이렇게 얻은 삽입영역의 위치는 삽입영역 추출(410) 과정에서 얻은 삽입영역 예측 정보와 비교하여 정확성 여부를 검증(450)한다. 이렇게 삽입영역에 대한 검증(450) 과정을 거침으로 해서 보다 정확하고 확실한 이미지 삽입을 보장하고 에러의 발생을 막을 수 있다. 방송 영상용 이미지 삽입 시스템은 대부분 생방송에 실시간으로 운영되어야 하므로 이러한 검증과정의 수행은 시스템의 신뢰성을 높이는 데 중요한 역할을 한다.

삽입영역의 위치가 확정되면 삽입 영역에 맞춰서 삽입할 이미지의 크기, 원근을 조정(460)하는 과정을 거친다. 삽입할 이미지의 원근을 삽입되어질 원 방송영상에서의 원근 속성과 일치시킴으로써 시청자는 시각적으로 자연스러운 영상을 제공받는다. 또한, 계속적으로 변화하는 방송영상 속에서 이에 맞게 위치와 크기가 변경됨으로써 시청자는 삽입된 이미지가 원래 방송영상의 화면 속에 있던 것처럼 느끼게 된다.

삽입될 이미지의 속성에 대한 처리를 수행한 후, 데이터베이스(80)에 저장되어 있는 배경정보를 삽입될 영상의 이미지와 비교하는 겹침 판별 과정(470)을 통해서 배경 마스크를 생성하고 이를 바탕으로 전경과 배경을 분리하여 이미지를 삽입한다.

도 11a-c는 원근 조정, 전배경 분리 등 삽입될 이미지에 대한 처리를 도시하고 있다. 도 11a는 삽입될 이미지로 아무런 처리도 되지 않은 상태이며, 도 11b는 방송영상에서의 원근 속성에 맞도록 크기, 원근 조정(460) 과정을 통해서 이미지를변형시킨 것이고, 마지막으로 11c는 겹침 판별 과정(470)을 거쳐 전경과 배경을 분리하여 이미지를 삽입한 방송 영상이다.

실제 방송영상내의 움직임은 영상자체의 해상도에 비해 정밀한 단위에서 수행되기 때문에, 방송영상 내에 실제로 존재하는 것처럼 이미지를 삽입하기 위해서는 해상도보다 높은 정밀도에서 영상 분석 및 삽입이 수행되어야 한다. 따라서, 본 발명에서는 실제 방송영상의 한 픽셀을 여러 작은 픽셀단위로 나누어 연산하는 서브픽셀(sub-pixel) 단위 분석 및 삽입을 수행한다.

최종적으로 이미지 합성(480) 과정을 통해 이미지가 삽입된 방송 영상을 송출하며, 결과적으로 시청자는 실제 방송 화면속에 이미지가 실제 존재하는 것처럼 느끼면서 방송을 시청하게 된다.

도 12a-c는 본 발명의 실시예에 따라서 사거리 중심부에 동영상을 삽입한 예이다. 도 12a는 사거리를 중심부에 놓고 촬영한 영상에 이미지를 삽입한 것이고, 도 12b는 카메라를 오른쪽으로 팬(pan), 위쪽으로 틸트(tilt)동작을 취한 상태에서 이미지를 삽입한 것이다. 도 12c는 카메라 줌인(zoom-in)상태에서 이미지를 삽입한 것이다.

비록, 본 발명이 가장 실제적이며 바람직한 실시예를 참조하여 설명되었지만, 본 발명은 상기 개시된 실시예에 한정되지 않으며, 후술되는 특허청구범위 내에 속하는 다양한 변형 및 등가물들도 포함한다.

이상에서 설명한 실시예에 따라, 실시간 방송 중계 화면에 사용자가 원하는이미지나 동영상 또는 삼차원 물체를 원하는 위치에 실제로 공간상에 존재하는 것처럼 삽입하여 방송 중계 화면을 변화시킬 수 있다.

본 발명에 따르면 카메라 센서를 활용하여 자유롭오 빠른 카메라 움직임 하에서도 방송영상에 사용자가 원하는 위치에 이미지를 삽입할 수 있다. 영상 추적과 더불어 삽입과정에서 카메라 변수를 활용하여 검증과정을 거치기 때문에 정확하고 신뢰성있는 이미지 삽입과 방송영상 송출을 확보할 수 있다. 기존의 고정된 위치에의 이미지 삽입이 아니고 동적으로 변화하는 카메라와 이를 통해 촬영되는 공간의 탐색을 통한 삽입이기 때문에 시청자는 삽입된 이미지가 원래 영상화면 내에 존재하는 것처럼 느끼는 효과를 제공할 수 있다.

본 발명은 방송 중계 화면상에 가상 광고 삽입 및 대체, 삼차원 가상 물체의 삽입, 삽입 이미지를 이용한 정보 제공 등과 같은 용도에 적용 가능하다.

Claims (9)

1. 카메라 센서로부터 입력된 값을 카메라 변수로 변환하는 카메라변수 추출단계;

   카메라 변수에 근거하여 삽입영역을 추출하는 단계;

   그 영역이 프레임 내부에 존재하는 지 검사하는 단계;

   카메라 변수를 바탕으로 입력된 영상을 탐색하여 마커의 위치를 찾아내는 마커영역 탐색단계;

   찾아낸 마커영역과 삽입영역의 상관관계를 이용하여 삽입영역을 찾아내는 삽입영역 결정단계;

   카메라 변수를 근거로 추출한 삽입영역과 삽입영역 결정단계에서 얻은 삽입영역이 일치하는 지 검사하는 삽입영역 검증단계;

   삽입영역의 위치정보와 영상 프레임 정보를 이용하여 삽입될 이미지의 크기, 원근을 조정하는 단계;

   삽입영역의 배경 정보와 현재 영상 프레임의 이미지 비교를 통해서 삽입될 이미지 위에 다른 물체나 사람, 즉 전경요소가 있는지를 판별하는 전배경 분리단계;

   최종적으로 이미지를 합성하여 송출하는 단계

   를 포함하는 카메라 센서를 이용한 이미지 추적 및 삽입 시스템.
2. 제1항에 있어서,

   카메라 변수 추출 단계에서,

   카메라 센서는 관성 항법 장치와 인코더의 조합으로 구성되며, 카메라에 부착되어 실시간 방송 촬영 중에 카메라 변수와 관련된 정보를 생성하는 것을 특징으로 하는 카메라 센서를 이용한 이미지 추적 및 삽입 시스템.
3. 제1항에 있어서,

   카메라 변수 추출 단계는

   고정형 카메라의 경우에는 카메라 센서로 인코더만을 사용하며,인코더의 출력결과를 수치적으로 변환하는 인코더 해석모듈,데이터베이스에 저장된 카메라 모델링 결과를 바탕으로 카메라 변수인 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt)를 산출하는 카메라 변수 추출 모듈로 구성되며,

   이동형 카메라의 경우에는 카메라 센서로 관성 항법 장치와 인코더의 조합을 사용하며, 카메라 센서값을 수치적으로 변환하는 인코더 해석모듈과 관성 항법 장치 해석모듈,데이터 베이스에 저장된 카메라 모델링 결과를 바탕으로 카메라 변수인 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt), 롤(roll), 그리고, 각 축(x,y,z)에 대한 선형 이동 정보를 산출하는 카메라 변수 추출 모듈로 구성되는 것을 특징으로 하는 카메라 센서를 이용한 이미지 추적 및 삽입 시스템.
4. 제3항에 있어서,

   관성항법 장치는 세 축에 대한 선형 가속도 정보와 회전 각속도정보를 산출하며,관성 항법 장치 해석모듈은 이를 변환하여 각 축에 대한 선형 이동 정보와 회전각 정보를 생성하는 것을 특징으로 하는 카메라 센서를 이용한 이미지 추적 및 삽입 시스템.
5. 제1항에 있어서,

   삽입 여부, 삽입 이미지 선택, 삽입 위치 결정 등의 사용자의 요구를 반영할 수 있는 사용자 인터페이스를 더 포함하는 카메라 센서를 이용한 이미지 추적 및 삽입 시스템.
6. 제1항에 있어서,

   마커의 정보, 마커사이의 상관관계, 기본템플리트정보, 실행템플리트정보, 삽입영역위치정보, 삽입영역배경정보, 마커와 삽입영역과의 상관관계, 카메라 모델링 정보 등을 저장 관리하는 데이터 베이스를 포함하는 카메라 센서를 이용한 이미지 추적 및 삽입 시스템.
7. 제1항에 있어서,

   마커영역 탐색단계는,

   카메라 변수 정보를 활용하여 마커의 위치를 예측하고,

   밝기가 변화하는 환경에서도 마커영역 탐색을 수행하기 위해서, 예측된 마커영역의 밝기 정보를 분석하고 그 결과에 따라 템플리트의 밝기를 보정하고,

   수행전에 저장된 기본 템플리트와 매칭 결과를 저장한 실행 템플리트를 사용하여 매칭을 수행하며,

   카메라 변수에 의해 예측된 마커의 위치와 매칭에 의해 추출된 마커의 위치, 그리고, 데이터베이스에 저장된 마커사이의 상관관계에 의해서 미추적된 마커 위치를 획득하는 것을 특징으로 하는 카메라 센서를 이용한 이미지 추적 및 삽입 시스템.
8. 제1항에 있어서,

   삽입영역 결정단계는,

   4개 이상의 추적된 마커를 기반으로, 어파인(affine) 좌표상에서 수행전에 데이터베이스에 저장된 마커와 삽입영역사이의 상관관계를 활용하여 삽입영역을 결정하는 것을 특징으로 하는 카메라 센서를 이용한 이미지 추적 및 삽입 시스템.
9. 추적의 대상이 되는 마커의 위치를 방송 영상 영역에서 선택하고, 마커 상호간의 관계를 설정하는 마커영역 설정단계;

   마커영역의 내부 이미지 정보로부터 기본 템플리트 정보를 추출하는 템플리트 정보 추출단계;

   이미지가 삽입될 후보영역들을 선택하는 삽입영역 설정단계;

   삽입이 이루어질 삽입영역내의 이미지 정보를 추출하는 배경정보 추출단계;

   마커의 위치와 삽입영역과의 상관관계를 설정하는 대상영역 모델링 단계;

   설정된 마커 영역과 삽입영역을 기반으로 카메라 특성에 관한 정보를 파악하고, 카메라 센서로부터 입력된 정보와 실제 카메라 변수 사이의 상호 관계를 규정하는 카메라 모델링 단계를 포함하는 방송 영상에서의 실시간 이미지 삽입 시스템의 수행전 작업.