KR100306948B1 - 모자이크식이미지처리시스템및이미지처리방법 - Google Patents

Abstract

본 발명은 다수의 입력 이메지로부터 모자이크를 자동적으로 발생하기 위한 시스템(100)에 관한 것이다. 상기 시스템은 이메지 정렬 처리, 편집 처리, 및 결합 처리를 수행하고, 일련의 이메지(902)로부터 상기 시스템은 다양항 응용에 대하여 심 없는 모자이크(904)를 자동적으로 만들어낸다. 상기 모자이크에 대한 설명적인 응용은 이메지 프린팅 시스템, 감시 시스템(108), 모자이크로된 압축 시스템(110)을 포함하는 모자이크로된 디스프레이 시스템(104)을 포함한다. 상기 모자이크로된 디스플레이 시스템(104)는 시스템 사용자가 모자이크를 디스플레이하고, 조작하고 변경하게 한다. 상기 모자이크로된 압축 시스템(110)은 이메지 시퀀스의 시간적인 및 공간적인 나머지 부분을 이용하고 상기 이메지 정보를 효율적으로 압축한다. 상기 압축 시스템(110)은 저장 장치의 저장에 대한 이메지 정보를 압축하기 위하여 사용될 수 있고 또는 대역 제한 없는 전송 채널을 통하여 전송하기 위하여 이메지 정보를 압축하기 위하여 사용될 수 있다. 상기 감시 시스템(108)은 상기 모자이크 구조 시스템, 상기 압축 시스템 및 상기 디스플레이 시스템을 원격 운동 검출을 위하여 압축 시스템으로 결합한다.

Description

모자이크식 이미지 처리 시스템 및 이미지 처리 방법 {MOSAIC BASED IMAGE PROCESSING SYSTEM AND METHOD FOR PROCESSING IMAGES}

최근까지, 이미지 처리 시스템은 일반적으로 비디오의 프레임, 사진 등과 같은 이미지를 개별적인 방법으로 처리하였다. 각각의 개별적인 프레임 또는 사진은 통상적으로 필터링, 워핑(warping), 및 다양한 파라미터 변환을 적용함으로써 처리된다. 처리후에, 개별적인 이미지는 모자이크, 즉 다수의 개별적인 이미지를 포함하는 이미지를 형성하기 위하여 결합된다. 부가적인 이미지 처리는 모자이크가 하나의 큰 이미지 처럼 보이도록 이미지 사이의 접합부가 보이지 않게 상기 모자이크상에서 수행된다. 접합부를 제거하기 위하여 이미지의 정렬 및 부가적인 처리는 컴퓨터 워크스테이션을 사용하여 기술자에 의해 수동으로 이루어진다. 즉, 이미지 정렬 및 결합 공정이 컴퓨터의 도움으로 이루어진다. 이러한 컴퓨터 이용 이미지 처리 시스템에서, 기술자는 수동으로 처리된 이미지를 선택하고, 수동으로 이러한 이미지를 정렬하고, 컴퓨터는 이미지 사이의 어떤 접합부 또는 갭을 제거하기 위하여 이미지에 대해 여러 이미지 결합 공정을 제공한다. 이미지의 조작은 통상적으로 마우스, 트랙볼, 키보드등과 같은 다양한 컴퓨터 입력 장치를 사용하여 이루어진다. 바람직하지 않게, 이러한 수동 모자이크 구성은 많은 시간이 소비되고 비용이 많이 든다. 더욱이, 수동 모자이크 구성은 실시간으로 이루어질수없다. 즉, 모자이크는 이미지가 비디오 카메라와 같은 이미지 소스에 의하여 생성될 때 구성될 수 없다. 결과적으로, 실시간 이미지 생성 시스템에서의 이미지는 추후 컴퓨터 이용 처리를 위해 저장된다.

수동으로 생성된 모자이크는 값이 비싸기 때문에, 그러한 모자이크는 출판 응용 분야 및 이미지 수정 시스템 이외에는 실질적으로 많이 사용되지 않는다. 비록 모자이크식이 많은 장점을 가지지만, 자동 모자이크 구성 시스템의 부족으로 사용상에 제한이 있다.

본 발명은 이미지를 처리하는 시스템 및 방법에 관한 것이고, 특히 개별적인 이미지의 모자이크를 생성하고 상기 모자이크를 처리하기 위한 시스템 및 방법에 관한 것이다.

도 1은 모자이크를 자동적으로 구성하는 시스템 및 이미지 압축, 감시, 및 이미지 디스플레이에 모자이크를 이용하기 위한 다양한 시스템의 블록도;

도 2A, 2B 및 2C는 일괄 모자이크 구성 시퀀싱, 순환적인 모자이크 구성 시퀀싱 및 계층적인 모자이크 구성 시퀀싱을 개략적으로 묘사하는 도면;

도 3은 동적 모자이크 구성 시스템의 블록도;

도 4는 이미지 모자이크에 입력 이미지를 정렬하는 이미지 정렬 처리의 흐름도;

도 5는 모자이크에 포함시키기 위하여 이미지 및 이미지 부분을 선택하는 선택 처리의 흐름도;

도 6은 정렬된 이미지를 모자이크와 결합하는 결합 처리의 흐름도;

도 7은 모자이크식 디스플레이 시스템의 블록도;

도 8은 정적인 모자이크식 압축 시스템의 블록도;

도 9는 도 8의 정적인 모자이크식 압축 시스템에 대한 입력 이미지, 배경 정보 및 리지듀얼 사이의 관계를 개략적으로 나타내는 도면;

도 10은 동적 모자이크식 압축 시스템의 블록도;

도 11은 시간 피라미드를 개략적으로 도시한 도면;

도 12는 감시 시스템의 블록도;

도 13은 도 12의 감시 시스템의 동작 과정의 흐름도;

도 14는 정적 모자이크 구성 시스템의 상세한 블록도.

그러므로, 이미지가 이미지 소스에 의하여 생성될 때 종래 이미지 또는 실시간 이미지 어느 하나로부터 모자이크를 자동으로 생성하는 시스템 및 방법이 요구된다. 본 발명은 다수의 입력 이미지로부터 모자이크를 자동적으로 생성함으로서 이러한 문제를 극복한다. 본 발명은 일련의 이미지로부터 이미지 정렬 처리 및 모자이크 합성 처리를 순차적으로 수행한다. 본 발명은 동적 및 정적인 모자이크 모두를 구성할 수 있다. 동적 모자이크는 가변적인 이미지, 즉 시간에 대하여 새로운 내용으로 갱신되는 이미지를 포함하는 반면, 정적 모자이크의 내용은 시간 불변적이다.

특히, 입력 이미지가 모자이크에 부가되거나, 종래 모자이크가 입력 이미지에 부가되도록, 이미지 정렬 처리는 자동으로 하나의 입력 이미지를 다른 입력 이미지와 정렬하고, 입력 이미지를 종래 모자이크(종래에 생성된 입력 이미지로부터 생성된)와 정렬한다. 이러한 경우에 대하여, 정렬된 이미지 내의 좌표 시스템은 입력 이미지의 좌표 시스템, 모자이크의 좌표 시스템 또는 임의의 기준 좌표 시스템중 어느 하나이다. 상기 임의의 기준 좌표 시스템은 시간 불변 또는 시간 가변중 어느 하나일 수 있다.

더욱이, 입력 이미지 및 모자이크는 이미지 피라미드 프레임워크(framework)내에서 서로 정렬될 수 있다. 이와같이, 상기 시스템은 입력 이미지 및 모자이크를 라플라시안(laplacian) 이미지 피라미드로 전환하고, 정렬 처리는 각 피라미드내의 레벨에서 적용된다. 결과적으로, 상기 시스템은 서브-화소 정렬 정확도를 증가시키는 정밀한 거시적-미시적 이미지 정렬 방법을 사용한다. 정렬 처리의 출력은 동적 모자이크에서, 모자이크가 입력 이미지에 포함된 이미지 정보로 갱신될수있도록 입력 이미지와 모자이크를 정렬하고 정적 모자이크에서, 모자이크를 포함하는 이미지들을 정렬하기 위하여 요구된 변환을 한정하는 정렬 정보이다.

정렬 처리가 완료되면, 본 발명은 모자이크를 구성(갱신하기)하기 위하여 모자이크 합성 처리를 이용한다. 모자이크 합성 처리는 2개의 처리 즉, 선택 처리 및 결합 처리를 포함한다. 선택 처리는 모자이크에 통합하기 위하여 이미지 또는 이미지 부분을 자동적으로 선택하고 마스킹 및 크로핑(cropping) 기능을 포함할 수 있다. 결합 처리는 이미지의 접합부없는 결합을 이룩하기 위하여 머징(merging),퓨징(fusing), 필터링, 이미지 향상 등과 같은 다양한 이미지 처리 기술을 사용하여 모자이크를 형성하도록 여러 이미지를 결합한다. 결과 모자이크는 시간 및 공간적인 정보 리지듀얼(residual)이 모자이크에서 최소이도록 성분 이미지를 결합한 평활 이미지이다.

본 발명은 아래의 도면과 함께 아래에 상세히 기술된 명세서를 참조로 더 쉽게 이해할 수 있을 것이다.

도면에서 공통인 동일 엘리먼트를 나타내기 위하여 가능한 동일 참조 부호가 사용되었다.

일반적으로, 모자이크는 다수의 순간 시간, 뷰포인트(viewpoint) 또는 뷰필드에서 취해진 한 세트의 이미지로부터 시각 정보를 혼합한다. 다양한 이미지는 단일 정적 이미지로서 장면의 파노라마식 화면을 형성하기 위하여 정렬되고 결합된다. 바람직하게, 모자이크는 별개의 이미지들의 결합으로만 제한되는 것이 아니라, 모자이크들의 결합을 포함한다. 본 발명은 다양한 응용 시스템에 의하여 이용되는 다수의 이미지로부터 모자이크를 자동적으로 형성하는 시스템이다. 본 발명은 하나 이상의 이들 응용 시스템을 포함한다.

동적 모자이크 및 정적 모자이크가 있다. 동적 모자이크는 새로운 이미지로 시간에 따라 반복적으로 갱신되는 시간 가변적이다. 이와같이, 일련의 입력 이미지(예를들면 비디오 프레임)는 동적 모자이크를 만들기 위하여 일련의 다른 이미지와 동시에 결합된다. 그후, 시스템은 이전의 모자이크와 새로운 입력 이미지를 정렬하고 결합한다. 즉, 모자이크가 갱신된다.

정적 모자이크에서, 모자이크의 내용은 시간 불변적이다. 예를들면, 일련의 종전 입력 이미지는 서브시퀀스 이미지로 분할된다. 각각의 서브시퀀스에서 개별적인 이미지는 서로 정렬되고 정적인 모자이크로 결합된다. 정적인 모자이크는 새로운 정보로 갱신되지 않는다. 즉, 모자이크의 내용은 정적이다.

이러한 2가지 형태의 모자이크에서, 모자이크는 시간 가변 또는 시간 불변 중 어느 하나일 수 있는 임의의 기준 좌표 시스템을 참조로 구성된다. 다시말해서, 좌표 시스템은 모자이크가 구성되는 동안에 변경될 수 있거나 또는 시간에 대하여 고정될 수 있다. 임의의 기준 좌표 시스템은 동적 모자이크의 최신 입력 이미지의 좌표 시스템, 동적 모자이크에서의 모자이크의 좌표 시스템, 정적인 모자이크에서의 이미지 하나의 좌표 시스템, 이미지 또는 모자이크에 관련되지 않는 임의의 고정 좌표 시스템으로서 선택될 수 있고, 또는 임의의 시간 가변 좌표 시스템일 수 있다. 이후에는, 일반적인 용어인 기준 좌표 시스템이 사용되고, 이러한 일반적인 용어는 임의의 형태의 기준 좌표 시스템을 포함한다.

도 1은 모자이크 구성 시스템(102) 및 모자이크를 위한 하나 이상의 응용 시스템(104, 106, 108, 110)을 포함하는 모자이크식 이미지 처리 시스템(100)의 블록도이다. 특히, 응용 시스템은 모자이크식 프린팅 시스템(106)을 포함할 수 있는 모자이크식 디스플레이 시스템(104), 모자이크식 감시 시스템(108) 및 모자이크식 압축 시스템(110)을 포함한다. 본 상세한 설명은 우선 모자이크 구성 시스템의 개요 및 응용 시스템과의 상호 작용을 제공한다. 그후, 설명은 일련의 개별 서브섹션에서 정적 및 동적 모자이크 및 각각의 응용 시스템을 구성하기 위한 모자이크 구성 시스템을 상세히 기술한다.

모자이크 구성 시스템(102)은 입력으로서 일련의 이미지를 가진다. 이러한 이미지는 서로 정렬될 때, 모자이크를 형성하는 비디오 프레임 시퀀스, 일련의 위성 적외선 또는 가시 광선 사진, 일련의 항공 사진, 또는 임의의 다른 일련의 이미지일 수 있다. 이러한 이미지는 실시간으로 제공될 수 있고, 즉, 이미지는 예를들면 비디오 카메라로부터 직접 제공될 수 있다. 동작중, 모자이크 구성 시스템(102)은 모자이크를 형성하기 위하여 입력 이미지를 자동적으로 정렬하고 입력 이미지들을 결합한다.

특히, 모자이크의 응용에 따라서, 시스템은 동적 모자이크 또는 정적 모자이크중 어느 하나로 구성될 수 있다. 부가하여, 시스템은 모자이크를 구성하는 동안에 임의의 기준 좌표 시스템을 이용할 수 있다. 더욱이, 정렬된 이미지로부터 모자이크를 합성할 때, 시스템은 다수의 이미지 퓨징, 머징, 필터링 및 평균 처리중 어느 하나를 사용하여 접합부없는 가장 우수한 모자이크를 형성할 수 있다. 또한 제 2도에 도시된 바와같이, 시스템은 다양한 입력 이미지를 사용하여 모자이크를 형성하고 모자이크 구성 시퀀싱 처리는 일괄(도 2A), 재순환(도 2B), 및 계층적인(도 2C) 시퀀싱을 포함한다.

도 1에서, 모자이크는 하나 이상의 응용 시스템에 의하여 사용된다. 예를들면, 모자이크식 디스플레이 시스템(104)은 시스템 사용자가 컴퓨터 모니터에 디스플레이된 모자이크를 빨리 갖도록 하고 사용자가 디스플레이된 모자이크를 조작할수 있게 하는 특정 모자이크 저장 및 조작 기술을 사용한다. 모자이크식 디스플레이는 모자이크 이미지로부터 이미지 소스(예를들어, 카메라) 움직임을 제어한다. 즉, 이미지는 안정된다. 사용자는 카메라 움직임을 감지하기 위해 디스플레이된 이미지에서 일부 카메라 움직임을 방치하지만 전체적으로 고주파 지터(jitter)를 제거한다. 이러한 디스플레이는 예를들어, 헬리콥터로부터 얻어진 항공 사진을 디스플레이할 때 특히 유용하다. 이동 디스플레이는 어떤 카메라 지터없이 묘사된 지형에 걸친 움직임을 사용자에게 제공한다. 더욱이, 사용자에게 부가적인 정보를 제공하기 위하여, 이러한 디스플레이 시스템은 다른 데이터를 모자이크 디스플레이와 통합한다. 이러한 다른 데이터는 수적인 또는 그래프적인 지형 고도 정보, 운동 벡터, 가장 최근의 이미지를 나타내는 그래픽 표시기 등일 수 있다. 이러한 시스템의 상세도는 도 7를 참조로 아래에 기술된다.

컴퓨터 모니터상에 모자이크 또는 모자이크 부분을 디스플레이하는 것외에, 이러한 모자이크식 디스플레이 시스템은 이미지 프린팅 시스템(106)과 함께 선택적으로 사용될 수 있다. 프린팅 시스템은 모자이크 또는 상기 모자이크 일부를 고해상도의 컬러 또는 단색으로 생성할 수 있다.

감시 시스템(108)은 움직임 검출, 예를들면 전투장에서의 안전 목적 또는 움직임 검출 목적으로 모자이크를 사용한다. 일반적으로, 중요한 영역의 파노라마뷰는 예를들어 높은 해상도 카메라에 의해 포착된다. 시스템(102)은 전체 파노라마뷰의 단일 고해상도 모자이크를 생성한다. 이러한 모자이크는 기준뷰로서 사용된다. 비디오 카메라에 의해 포착된 추후 프레임은 기준뷰와 비교된다. 기준에서의어떤 움직임은 새로운 이미지와 기준 모자이크의 비교로부터 리지듀얼(residual)로서 검출된다. 감시 시스템의 상세한 설명은 도 12 및 도 13을 참조하여 제공된다.

모자이크식 압축 시스템(110)은 저역 전송 채널을 통하여 전송되는 이미지 정보를 효과적으로 압축하기 위한 기초로서 모자이크를 사용한다. 선택적인 압축 시스템은 디스크 드라이브 또는 압축 디스크같은 저장 매체에 효율적인 저장을 위해 이미지 정보를 압축하기 위하여 사용된다. 효율적인 압축을 달성하기 위하여, 압축 시스템은 일련의 이미지에 존재하는 큰 공간 및 시간적인 상관관계를 이용한다. 모자이크식 압축 시스템의 상세도는 도 8, 도 9, 도 10 및 도 11과 관련하여 아래에 제공된다.

다음, 모자이크 구성 시스템이 상세히 기술된다. 이러한 기술은 모자이크 구성 시스템에 의하여 구성된 모자이크에 대하여 각각의 도시적인 응용의 상세한 설명 다음에 이어진다.

동적 모자이크의 구성 및 정적 모자이크 구성 사이의 차이를 잘 이해하기 위하여, 각 구성 처리는 개별적으로 기술된다. 첫째, 동적 모자이크 구성 처리는 도 3, 도 4, 도 5, 및 도 6에서 설명되고, 정적 모자이크 구성 처리는 도 14에서 기술된다.

도 3은 동적 모자이크 구성 시스템(301)의 동작 흐름도이다. 시스템은 2가지의 연속적으로 실행되는 처리를 포함한다. 즉, 2가지 처리는 이미지 정렬 처리(300) 및 모자이크 합성 처리(303)이다. 모자이크 합성 처리(303)는 두 개의 처리를 더 포함한다 : 즉, 선택처리(302) 및 결합 처리(304). 처리(300)는라인(306)을 통하여 공급된 입력 이미지와 (만약 있다면) 이전에 구성된 모자이크를 정렬한다. 만약 모자이크가 현재 존재하지 않다면, 입력 이미지는 일련의 이미지중 제 1이미지이고, 입력 이미지는 이전에 구성된 모자이크로서 사용된다. 효과적으로, 제 1 이미지는 제 2 이미지에 대한 모자이크가 된다. 동적 모자이크를 생성할 때, 전형적으로 시스템은 순환적인 모자이크 구성 시스템을 사용한다. 그래서, 시퀀스의 다음 이미지는 현재 이미지 (일련의 이미지의 선행 이미지로 구성된 모자이크)와 정렬된다. 정렬은 입력 이미지를 상기 모자이크와 정렬함으로서 이루어진다. 즉, 모자이크 및 입력 이미지는 기준 좌표 시스템을 사용하여 정렬된다. 정렬 처리는 서로에 대하여 이미지를 워핑함으로서 이루어진다. 이미지 정렬 처리는 이미지 정보가 종래 모자이크와 결합될 수 있도록 입력 이미지를 정렬하기 위하여 각각의 이미지에 대해 필요한 정렬 정보를 생성한다. 정렬 정보는 주어진 입력 이미지를 기준 좌표 시스템을 사용하여 정렬하는데 요구된 결합 변환을 한정한다.

만약 계층적인 모자이크 구성 시퀀싱이 사용된다면, 또는 서브모자이크가 요구된다면, 이미지 정렬 처리는 각각의 서브모자이크 및 이러한 서브모자이크의 각각의 성분 이미지에 대한 정렬 정보를 생성한다.

합성 처리(303)에서, 선택 처리(302)는 입력 이미지 및 현재 모자이크의 일부가 갱신된 모자이크를 형성하기 위해 사용될 것인지 선택한다. 갱신된 모자이크는 적어도 일부의 가장 최근의 이미지 및 적어도 일부의 이전 모자이크를 포함하는 모자이크이다. 선택 처리는 모자이크 크기를 제한하기 위하여 마스킹 또는 크로핑을 수행할 수 있다. 궁극적으로 ("오래된") 이미지는 모자이크로부터 제거되는 이미지 선택을 수행할 수 있다.

처리(304)는 갱신된 모자이크를 형성하기 위하여 정렬된 이미지를 결합한다. 결합 처리는 입력 이미지를 모자이크와 접합부없이 결합하기 위하여 하나 이상의 다음 처리, 예를 들어 머징, 퓨징, 내삽법, 외삽법, 강화, 코어링(coring) 및 다른 통상적인 이미지 결합 처리를 수행한다. 출력은 가장 최근 입력 이미지로부터 접합부없이 결합된 이미지 정보를 포함하는 갱신된 동적 모자이크이다.

정렬을 수행하고 궁극적으로 입력 이미지를 모자이크와 결합하기 위하여, 입력 이미지의 해상도는 모자이크의 해상도로 전환되거나 그 역으로 될 수 있다. 그러나, 입력 이미지 및 전체 모자이크의 통상적인 라플라시안 이미지 피라미드를 생성하는 것이 최적이다. 즉, 시스템(102)은 고해상도를 가지게 된다. 이와같이, 정렬은 초기 정렬이 각 피라미드의 상대적으로 낮은 해상도 레벨을 사용하여 수행되고 보다 높은 해상도 피라미드 레벨이 정렬을 완성하는데 사용되도록 거시-미시적으로 수행된다. 이러한 피라미드 프레임워크는 정렬 및 정렬의 정확성이 수행될 수 있는 속도를 개선한다. 모자이크 구성 시스템 및 그 응용의 논의를 통해, 입력 이미지 및 모자이크가 피라미드인 것이 가정된다. 그러나, 당업자는 피라미드 프레임워크가 본 발명을 실행하는데 필수적이지 않고 단순한 해상도 변환이 피라미드 프레임워크 대신에 사용될 수 있다는 것을 인식할 것이다. 더욱이, 가장 최근 이미지, 모자이크 또는 둘다 워핑되는 기준 좌표가 무작위로 선택되기 때문에, 디스플레이 시스템은 가요적이다.

도 4는 처리(300)의 흐름도이다. 일반적으로 말해서, 종래 시스템은 2개의연속적인 비디오 프레임을 정렬하기 위하여 각 프레임에 포함된 이미지 정보를 상관시킴으로서 이미지 정렬을 수행했다. 본 발명은 본 발명에 대한 정렬 시스템이 단일의 이전 입력 이미지 보다는 전체 모자이크에 입력 이미지를 정렬하는 것을 제외하고 명세서에 참조로 삽입된 미국 특허 출원 번호 제 08/071, 814호에 기술된 정렬 시스템과 매우 유사한 비디오 프레임 정렬 정렬 시스템을 사용한다.

특히, 정렬 처리는 종래 모자이크와 최근 이미지를 정렬하기 위하여 거시적 정렬을 수행한다. 그후, 거시-미시 정렬 처리는 (순환적인 모자이크 구성 시퀀싱과 모자이크 좌표 시스템이 기준 좌표 시스템을 형성한다고 가정하여) 현재 모자이크에 대한 피라미드의 유사한 해상도 레벨에 관련하여 입력 이미지에 대한 피라미드의 최저 해상도 레벨을 정렬한다. 유사 해상도의 정렬을 달성하기 위하여, 피라미드의 최저 레벨은 다른 피라미드의 보다 높은 레벨과 정렬될 수 있다.

정렬을 시작하기 위하여, 단계(401)는 입력 이미지 및 모자이크를 거시적으로 정렬한다. 그러므로, 거시적인 정렬은 입력 이미지 및 모자이크의 이미지 피라미드로부터의 정보를 사용하여 달성된다. 그후, 단계(402)에서, 처리는 입력 이미지 및 모자이크 양쪽 다에 대하여 이미지 피라미드를 생성한다. 피라미드로부터의 정보는 라인(403)을 따라서 거시적인 정렬 단계로 전달된다. 전형적으로, 시스템은 현재 입력 이미지에 대한 최초 정렬 위치로서 모자이크에서 이전의 입력 이미지의 위치를 사용함으로서 이러한 거시적인 정렬을 수행한다. 만약 이미지 시퀀스가 비디오 프레임 시퀀스라면, 이런 형태의 거시 정렬은 보다 잘 기능한다. 그러나 현재 입력 이미지가 이전의 이미지를 거의 또는 전혀 포함하지 않을 수 있는 경우가 있고, 모자이크의 어떤 다른 부분의 이미지를 포함할 수 있다. 그 경우에, 거시 정렬을 위해 이전의 이미지를 사용하는 것은 잘 작동하지 않을 것이다.

따라서, 거시 정렬을 개선하기 위하여, 모자이크는 "타일화(tiling)" 된다. 이와같이, 모자이크는 좌표 변화를 통하여 함께 링크되는 타일이라 불리우는 보다 작은 모자이크로 세분된다. 이러한 타일화된 모자이크는 단일 좌표 시스템이 (모든 타일이 함께 취해지는) 전체 모자이크를 통하여 이용되지 않는 장점을 가진다. 결과적으로, 축적된 정렬 에러가 소정 타일에서 작아진다.

예시적으로, 각 타일은 어떤 하나의 입력 이미지의 4배 크기이다. 물론, 다른 크기의 타일이 사용될 수 있다. 입력 이미지는 시퀀스에서의 이전 이미지가 놓여지는 타일과 거시적으로 정렬된다. 현재 입력 이미지내에서, 다수의 서브 윈도우 즉 16 x 16 화소 크기를 가지는 3개 영역은 "랜드마크(landmark)"로서 선택된다. 이러한 랜드마크는 선택된 피라미드 레벨, 즉 레벨(3)에서 계산된다. 랜드마크는 선택된 피라미드 레벨에서 이미지의 모든 다른 영역과 비교할 때 가장 큰 에너지를 가지는 입력 이미지의 3가지 영역으로서 선택된다.

이전의 입력 이미지를 포함하는 타일에 대하여 입력 이미지의 각각의 시프트를 사용하여, 랜드마크는 타일에서 상응한 크기 영역에 대하여 개별적으로 상관된다. 상관값은 단일 측정부, 즉 상관 표면에 통합된다. 상관 표면의 피크 값은 입력 이미지 및 타일에 대해 적절한 정렬 위치를 제공한다. 이러한 적절한 위치(거시적으로 정렬된 위치)로부터, 정확한 정렬이 시작된다.

단계(404)에서, 가장 낮은 해상도 레벨은 상관 관계 처리를 시작하기 위하여양쪽 이미지 피라미드에서 선택된다. 이론적으로, 가장 낮은 레벨은 양쪽 피라미드로부터 사용될 수 있을 것이다. 그러나, 입력 이미지 및 모자이크는 실질적으로 다른 해상도를 가진다. 즉, 모자이크는 "롱 샷(long shot)"의 장면을 묘사하는 반면, 입력 이미지는 적은 부분의 모자이크(확대된 뷰)를 포함할 수 있다. 그래서, 모자이크에 대한 가장 낮은 해상도 레벨은 입력 이미지의 중간 해상도 레벨과 상응하고, 그 역으로 될 수 있다. 이와 같이, 이미지 및 모자이크를 최상으로 정렬하기 위하여, 선택된 피라미드 레벨은 다를 수 있고, 최하의 해상도 레벨이 아닐 수 있다. 전형적으로, 사용하기에 가장 좋은 피라미드 레벨 평가치가 모자이크에 이전의 이미지를 정렬하기 위하여 사용되는 정렬 파라미터에 포함될 수 있다.

단계(406)에서, 영역(예를들면, 3x3 화소)은 입력 이미지에 대한 피라미드의 선택된 해상도 레벨로부터 선택된다. 이러한 영역은 단계(408)에서 모자이크에 대한 선택된 해상도 레벨과 상관된다. 단계(410)에서, 처리는 상관 표면에서의 상관 피크가 이러한 해상도 레벨(임계치)에 대한 소정 최대 상관관계 피크보다 큰지를 질문한다. 만약 질문이 부정적으로 응답된다면, 선택된 영역은 단계(412)에서 모자이크 시스템과 관련하여 이동되고, 단계(408)에서 다시 상관된다. 상기 방법은 단계(410)의 질문이 긍정적으로 응답할때까지 단계(410, 412, 및 408)를 반복한다. 그후에, 처리는 단계(414)에서 이러한 해상 레벨에서 모자이크에 대한 입력 이미지를 정렬하는 정렬 파라미터를 저장한다.

특히, L_c=0은 최고의 해상도를 가지는 공간 해상도를 나타내고, L_LC는 해상도L_C에서 라플라시안 이미지를 나타낸다. 입력 이미지의 거시적인 정렬후에L_LC[t-1]은 모자이크와의 적절한 정렬로 워핑된다. 이와같이, 이미지와 모자이크는 서로에 대하여 이동되고 이미지식으로 곱셈되어 곱 이미지를 만들어낸다. 시프트(i, j)에 대하여, 곱 이미지 I_i,j는 아래와 같이 표시된다.

I_i,j= L_LC[t](x,y)L_cc[t-1](x+i, y+j) (1)

i, j ∈[-N, N]이다. 이미지 I_i,j를 적분하는 것은 시프트(i, j)에서 2개의 전체 라플라시안 이미지(입력 및 모자이크) 사이의 크로스 상관관계 값 C_i,j를 만들어낸다. 국부 크로스 상관관계 값은 크로스 상관관계 이미지의 형태 C_{i, j}(x, y)를 만들어내기 위하여 국부 지역(이미지의 패치)에 대하여 각각의 곱 이미지 I_i,j를 적분함으로서 계산된다. 그러나, 국부 배치의 중앙에서 정보의 경계 효과를 피하고 가장 잘 나타내기 위하여, 가중된 함수 W(x, y)는 국부 적분을 위해 단순히 이웃하는 부분을 평균하는 것이 바람직하다. 그러므로, C_{i, j}(x, y)에 대한 값은 곱셈 이미지 I_i,j로부터 계산되고,

C_i,j(x, y) = I_i,j(x, y)?? W(x, y) (2)

W(x, y)는 적분 가중 함수이고 ??는 컨벌루션(convolution)을 나타낸다.

커넬 W(x, y)를 갖는 컨벌루션(전형적으로 가우시안 함수)은 크로스 상관관계 이미지 C_i,j로 곱 이미지 I_i,j를 평활하게 하는 효과가 있다. 커넬의 크기에 따라서, 결과 C_i,j는 다양한 각도로 오버샘플된다. 그러므로 C_i,j(x, y)의 분석을 근거로 이미지 흐름 필드(즉 다른 이미지와 정렬하기 위하여 필요한 한 이미지의 화소 단위 이동)를 평가하는 것은 상응하는 오버샘플링된 흐름 필드를 야기한다. 곱 계산의 계산 비용을 최소로 하기 위하여, 적분에 대한 파라미드 감소 처리는 상호관계 해상도 레벨(L_C)에서 곱셈 이미지의 컨벌루션을 수행하는 대신에 사용된다. 다른 수의 피라미드 감소 단계는 대응하여 다른 공간 영역을 통해 적분을 달성하기 위하여 사용될 수 있고, 적분 단계에서 적분된 각각의 피라미드 레벨은 4개의 요소에 의해 흐름 필드의 크기( 및 이 흐름 필드와 연관된 계산 비용)를 감소시킨다.

국부 크로스 상관관계 처리에 대한 중요한 파라미터는 (1) 라플라시안 이미지(입력 이미지 및 모자이크)에 대하여 사용되는 공간 해상도 레벨(L_C), (2) 1/2폭 N의 상관관계 검색, 및 (3) 적분을 위하여 선택된 공간적인 해상도(L_i)인데, 여기에서 L_i = L_C + 사용된 적분 단계 수이다.

L_C의 값은 움직임 평가(이미지 및 모자이크를 정렬하기 위한 평가된 전송 파라미터 또는 벡터) 및 반복되는 동안에 검출될 움직임에 사용된 공간 주파수 대역을 나타낸다. 레벨(L_C)에서 단일 화소 시프트는 최고의 해상도 레벨에서 2^Lc의 시프트에 상응한다. 이러한 시프트는 이러한 해상 레벨에서의 분석으로부터 산출된 평가의 전체 범위 및 정확도를 나타낸다.

상관관계 검색 영역(N)의 크기는 공간적인 해상도(L_C)에서 평가될 수 있는 최대 변위 (범위)를 결정한다. 비록 보다 큰 값의 N이 평가될 보다 큰 범위의 움직임을 위해 허용될지라도, 잘못될 잠재성이 증가된다. 부수적인 계산 비용에서 2차적인 증가가 있다. 그러므로 실제적으로 N에 대한 값은 1 또는 2로 제한된다.

적분 레벨(L_i)은 2가지를 결정한다. 첫째, 상관관계 결과상에 수행되는 평활량을 결정한다. 보다 큰 평활은 더 우수한 신호 대 잡음 비 특성을 유도하지만 , 상관관계 피크의 공간적인 위치를 부적절하게 추정하게 한다. 특히, 적분 영역 내의 상관관계 값(및, 흐름 필터)이 국부적으로 평활하다는 것이 가정되고, 그것은 이미지의 어디서나 상기 경우일 수는 없다. 또한 흐름 평가가 경계를 제외한 적분된 상관관계 이미지의 각 위치에 대하여 이루어질 수 있기 때문에,L_i는 결과 흐름 필드의 크기를 결정한다. 그러므로, 적분 레벨(L_i)은 신뢰할 만하고 정확한 흐름 추정에 대한 필요한 지지를 제공하기에 충분하게 선택된다.

라플라시안은 대략 제로 로컬 평균 값을 가진 사인 이미지이기 때문에, 상관관계 표면은 양 및 음 값을 가진다. 이것은 흐릿한 가우시안 이미지상에 전형적인 평균 표준화된 상관관계를 사용하는 것과 유사하다. 상관관계 값의 크기는 표준화 되지 않는 다는 것을 주목하라. 그러한 표준화는 처리 범위내에 있는 반면, 실제적으로, 이것은 계산 상의 부담을 증가시키고 흐름 필드의 정확성 증가는 결국 적다. 이것을 고려하면, 상관관계 표준화는 현 처리에 포함되지 않는다.

정렬에 대한 서브 화소 정확성(서브 화소 흐름 평가)을 얻기 위하여, 상대적으로 적은 영역(N=1은 3x3화소 영역)이 사용되고 영역 내의 상관관계 표면에서의 피크를 찾기 위하여 삽입된다. 피크가 상관관계 표면의 중앙에서 1/2 화소내에서 생성하는 것을 가정하면, 피크의 수평 및 수직 위치는 각각 평가된다. 그래서, 각각의 방향에서 다음 1차원 방정식이 얻어진다.

(3)

P_1,~ P_2~ 및~ P_3는 상관관계 표면에서 3가지 상관관계 값이다. 만약 상관관계 피크가 표면의 중앙으로부터 1/2 화소내에 있다는 가정을 하면, 다른 처리는 서브화소 상관관계 피크를 결정하기 위하여 사용되어야 한다. 만약 상관관계 데이터가 방정식(3)을 사용하는 내삽법에 적절한지를 결정하기 위하여 이산 2차 도함수가 상관관계 표면의 중앙에 대하여 계산된다. 전체 화소보다 큰 이동시 피크는 표면의 중앙에서 최대이도록 검출되지 않는다. 1/2화소보다 크지만 1화소보다 적은 시프트는 2차 도함수 테스트를 통과하고 삽입될 수 있지만, 이 경우 시프트 평가는 1/2화소 시프트보다 적은 화소에 대하여 측정 만큼 정확하지 않다.

이전과 같이 P_1,~ P_2~ 및~ P_3의 방법을 사용하여, 표면을 통과하는 라인중 하나를 따라 표면의 중앙 주위에 2차 도함수를 사용하는 테스트는 T = 2P_2 - P_3 - P_1이다. 만약 T<0라면, 상관관계 표면의 위치 주변에서 검출되는 최대값은 없고 벡터가 이미지 포인트에 대하여 평가되지 않는다. 이와같이, 중앙을 통과하는 3x3 표면상의 대각선 라인은 동일 테스트를 사용하여 검사 되어야한다. 만약 대각선 방향중 하나가 중앙 주위에 피크를 나타내지 않는다면 위치에 대하여 벡터가 평가되지 않는다.

최근에, 정렬 처리는 흐름 필드를 선형, 1차 움직임 모델에 맞춘다. 최소 제곱법 리그레션(regression)은 흐름 필드에서의 벡터를 이들 모델에 적용시키는데사용된다. 벡터 컨피던스(confidence) 값은 벡터가 0값 컨피던스를 가질 때, 각각의 벡터 영향을 리그레션에 가중하기 위하여 사용되고, 이러한 벡터는 리그레션에 영향을 끼치지 않고, 한편 양의 값 컨피던스는 벡터가 가중된 방법으로 리그레션에 기여하게 한다.

이미지 정렬 처리는 요구된 서브화소 정확성이 얻어질때까지 단계(408, 410, 412)를 사용하여 선행 처리를 반복한다. 단계(414)에서, 처리는 모자이크와 정렬되도록 이미지를 변환하는데 사용되는 정렬 파라미터를 저장한다.

처리는 단계(416)에서, 피라미트중 하나의 피라미드에서 최고 해상도 레벨이 처리되는지를 질문한다. 만약 이러한 질문이 부정적으로 대답된다면, 단계(418)에서 처리는 피라미드 각각에서 다음으로 높은 해상도 레벨을 선택한다. 그후에, 처리는 라인(422)을 따라서 단계(406)로 복귀한다. 이러한 해상도 레벨의 각 영역이 처리되고 단계(416)에서 질문이 긍정적으로 대답될때까지 단계(406, 408, 410, 412, 414, 416, 406)를 반복한다. 그 포인트에서, 처리는 단계(420)에서 중단한다. 중단하자마자, 처리는 거시적-미시적 정렬 처리를 사용하여 모자이크에 입력 이미지를 정렬한다. 정렬 파라미터, 예를들면 현재 입력 이미지를 모자이크의 정렬된 위치로 변환하는데 사용될 수 있는 한 세트의 값은 메모리에 저장될 수 있다.

선행 처리는 이미지 및 모자이크를 정확하게 정렬하기 위한 처리 예를 나타낸다. 다른 처리는 언급한 바와같이 이용된다. 다른 정확한 정렬 처리는 버젠 등의 "계층적인 모델식 움직임 추정" 컴퓨터 유럽 회의록 버전-92, PP.1-21, 1992에 기술되어 있고, 본 명세서에 참조로 삽입된다.

도 5는 어떤 모자이크 내용 표준을 충족하기 위하여 모자이크 및/또는 입력 이미지 또는 부분을 선택하기 위한 선택 처리(302)의 흐름도이다. 이러한 선택 기능은 모자이크, 모자이크 가중등으로부터 "오래된" 이미지를 크로핑, 마스킹, 제거 등을 포함할 수 있다. 이러한 선택 기능은 특정 모자이크 요구를 최고로 수행하기 위하여 사용자 선택가능하거나 또는 자동적으로 미리 결정될 수 있을 것이다. 아래의 논의는 선택 기능이 사용자 한정 방식에 대한 것이다.

특히, 처리(302)는 단계(500)에서, 정렬 정보의 입력, 종래 모자이크 및 입력 이미지에서 시작한다. 단계(502)에서, 사용자는 선택 기능 및 상기 선택 기능에 대해 관련된 제어 파라미터를 선택한다. 전형적으로, 그러한 선택은 기능과 파라미터 메뉴로부터 선택될 수 있다. 어떤 가능한 선택 기능을 설명하기 이하여, 처리는 단계(502)로부터 단계(504, 508, 512, 516)로 분기되어 기술된다. 특정 분기부는 선택된 선택 기능에 따라서 사용된다.

예를들면, 만약 사용자가 크로핑 기능을 선택한다면, 처리는 단계(504)로 진행한다. 단계(506)에서 사용자는 크로핑 기능을 제어하기 위하여 즉, 이미지 또는 모자이크에서 관심있는 영역을 선택하기 위하여 어떤 파라미터를 결정한다. 선택적으로, 사용자는 편집 기능으로서 마스킹(단계(508)) 또는 모자이크 절단(단계(512))을 선택할 수 있다. 각각의 경우 단계(510 및 514)에서, 어떤 파라미터는 각 편집 기능을 제어하기 위하여 한정된다. 더욱이, 가중 기능(단계(511 및 513))은 선택된 이미지, 이미지 부분에 할당되어, 이미지의 돌출 형상은 제거되고, 즉 가중은 이동 물체를 제거하고 모자이크와 같은 배경 장면을유지하기 위해 달성된다. 반면, 돌출 형상은 이동 물체가 배경로부터 두드러지게 하도록 가중될 수 있다. 단계(516)는 다른 편집 기능이 수행되고 이러한 기술된 것은 설명적으로 고려할 수 있다는 것을 나타내기 위하여 "OTHER"로 표시된다.

단계(518)에서, 편집 기능은 연관된 제어 파라미터에 따라서 입력 이미지 및 모자이크에 인가된다. 처리는 단계(520)에서 사용자가 추가 편집 기능을 인가하기를 요구하는 지를 단계(420)에서 질문한다. 만약 질문이 긍정적으로 대답한다면, 처리는 라인(522)을 따라서 단계(502)로 수행된다. 만약 질문이 긍정적으로 대답한다면, 처리는 라인(522)을 따라서 단계(502)로 처리한다. 만약 질문이 부정적이면, 처리는 단계(524)에서 중지한다.

도 6은 입력 이미지 및 모자이크를 결합하는 결합 처리(304)를 기술한다. 처리는 선택 처리후, 모자이크 및 입력 이미지를 입력함으로서 단계(600)에서 시작한다. 입력 이미지 및 모자이크의 접합부없는 결합을 이룩하기 위하여, 하나 이상의 다른 결합 기능은 입력 이미지 및 모자이크에 인가될 수 있다. 그래서 단계(602)에서, 결합 기능은 사용자 선택 또는 자동적으로 선택될 수 있다. 이것은 사용자 선택일 수 있지만, 전형적으로 사용될 기능은 시스템의 응용에 의하여 한정되고 모자이크 및 입력 이미지에 자동적으로 인가된다. 임의의 경우에, 단계(604, 606, 608, 610 및 612)는 접합부없이 이미지를 결합하기 위하여 통상적으로 사용될 수 있는 처리의 예를 나타낸다. 예를들면, 단계(604)에서 처리는 이미지 머징 기술을 모자이크 및 이미지에 적용한다. 그러한 머징 기술은 미국 특허 제 08/942, 877호에 기술되어 있고, 그것은 본 명세서에 참조로 삽입된다.

유사하게, 단계(606)에서 처리는 모자이크 및 입력 이미지를 결합하기 위하여 이미지 퓨징 기술을 사용한다. 그러한 퓨징 기술은 미국 특허 제 5, 325, 449호에 기술되어 있고, 본 명세서에 참조로 삽입된다.

단계(608)에서 내삽법 및 외삽법 처리는 통상적인 방법으로 모자이크를 포함하는 이미지 사이에 갭을 채우기 위하여 사용된다. 단계(610)에서 향상 처리는 모자이크를 나타내는 피라미드에서 선택된 레벨의 상대적인 기여를 조정(증폭 또는 감쇄) 하기 위하여 사용된다. 향상은 전체 레벨에 대하여 인가되거나, 또는 레벨에 남아 있는 화소에 대해 상대적으로 향상될 수 있는 일부분의 레벨에 대하여 인가될 수 있을 것이다. 단계(612)에서 코링 처리는 임계치보다 적은 값을 가지는 화소가 갱신된 모자이크로부터 제거될 수 있도록 각각의 화소를 임계치 레벨에서 시작한다.

최종적으로, 단계(614)는 선행 단계가 결합 기능을 나타내는 "OTHER"라는 단계이다. 그들이 사용되는 이미지 및 사용되는 응용 분야에 따라, 다른 기능이 입력 이미지 및 모자이크를 더 잘 결합하기 위하여 사용될 수 있다. 다른 기능은 한정적이지 않고 일시적인 평균, 중간 필터링, 고해상도 처리 및 가중된 평균을 포함할 수 있다. 당업자는 다른 결합 기능이 모자이크 구성 시스템내에 포함될 수 있다는 것을 이해할 것이다.

동적 모자이크 구성 시스템으로부터의 출력은 입력 이미지가 시스템의 입력에 인가될 때 자동적으로 구성된 입력 이미지의 모자이크이다. 이와같이, 동적 모자이크는 예를들면 비디오 프레임이 비디오 카메라에 의하여 생성되듯이 실시간으로 만들어질 수 있다. 이와같이 모자이크는 실시간으로 모자이크를 갱신하기 위하여 사용된 비디오 정보의 각 프레임으로 만들어지고 변경된다. 이러한 모자이크 구성 시스템은 많은 응용에서 사용될 수 있다. 3가지 설명적인 응용 시스템이 아래에 기술된다.

도 14는 동적 모자이크 구성 시스템의 구성요소와 유사한 구성요소를 포함하는 정적인 모자이크 구성 시스템(1401)을 기술한다. 즉, 시스템은 정렬 처리(1400) 및 모자이크 합성 처리(1402)를 포함한다. 그러나, 정렬 처리는 일괄 시퀀스 이미지 처리를 수행한다. 이와같이, 정적인 시스템은 다음 연속적인 이미지의 모든 이미지를 동시에 처리한다. 예를들면 시스템은 일괄 시퀀싱을 사용한다. 비록 모든 이미지가 서로 정렬되었을 지라도, 정렬 처리는 기술된 것과 동일하다. 그러나, 이전의 이미지에 대해 이미지를 거시적으로 정렬하기 보다는, 이러한 정적인 시스템에서 각각의 이미지 초기에는 이웃(인접한 이미지)에 인접한 이미지를 포함하는 타일에 거시적으로 정렬된다. 그후에, 제 4도의 정밀한 정렬 처리는 언급한 바와같이 정확하게 실행된다. 정렬 처리의 출력은 다수의 정렬 파라미터, 즉 각 입력 이미지에 대한 정렬 파라미터이다.

정렬 파라미터는 합성 처리(1402)에 의하여 정렬된 이미지를 정적인 모자이크에 결합하기 위하여 사용된다. 모자이크 합성 처리는 선택 처리(1404) 및 결합 처리(1406)를 포함한다. 이러한 처리 기능은 도 5 및 도 6에 기술된 처리와 유사하다. 그러나, 모자이크가 갱신되지 않았기 때문에, 동적 모자이크를 만들기 위한 시스템과 같이 정렬 처리쪽으로 구성된 모자이크의 피드백이 없다는 것이다.

도 7은 모자이크식 디스플레이 시스템(104)의 블록도이다. 이러한 시스템에서, 입력 이미지는 기술된 모자이크 구조 시스템을 사용하여 기준 모자이크로 형성된다. 이와같이, 각각의 새로운 입력 이미지에 대하여, 2개의 모자이크가 생성된다. 기준 모자이크는 새로운 입력 이미지로 갱신되고 디스플레이 모자이크는 새로운 입력 이미지로 갱신된다. 일반적으로, 이러한 2개의 모자이크는 동일 이미지 정보를 포함한다. 그러나, 디스플레이 시스템은 기준 모자이크에 불필요하거나 원하지 않는 디스플레이 모자이크에 부가적인 정보를 부가할 수 있다.

특히, 입력 이미지 시퀀스(700)는 기준 모자이크 구성 시스템(102), 이미지 선택 처리(702) 및 이미지 결합 처리(704)에 대한 입력을 형성한다. 기준 모자이크 구성 시스템은 이미지 선택 처리(702)에게 기준 모자이크를 포함하는 모든 입력 이미지에 대한 정렬 정보를 제공한다.

선택 처리(702) 및 이미지 결합 처리는 처리(302)(또는 1404) 및 도 3(또는 도 14) 및 언급한 결합 처리(304)(또는 1406)와 기능에서 유사하다. 그러므로, 이러한 처리는 처리(302 및 304)(또는 1404 및 1406)와 다른 처리(702 및 704)를 만드는 어떤 측면을 제외하고 상세히 기술되지 않을 것이다. 하나의 차이는 보조적인 이미지 정보(706)가 디스플레이 모자이크에 삽입될 수 있다는 것이다. 이와같이, 보조 이미지 정보는 이미지 선택 처리 및 이미지 결합 처리 양쪽에 공급된다. 보조적인 이미지 정보는 모자이크상 특정 영역의 하이라이팅, 특정 영역 컬러 향상, 최종 입력 이미지 아웃라이닝, "오래된" 디스플레이 모자이크의 어떤 이미지의 패딩 등을 포함할 수 있다.

더욱이, 처리(704)는 디스플레이 모자이크를 타일화할 수 있을 것이다. 타일화함으로서, 디스플레이 모자이크는 일련의 서브모자이크로서 디스플레이 모자이크 버퍼(705)에 효율적으로 저장될 수 있다. 이들 서브모자이크는 필요할 때 메모리로부터 재호출되고 어떤 디스플레이된 모자이크를 재호출하기 위하여 다른 서브모자이크 또는 입력 이미지와 결합된다. 전체 디스플레이 모자이크 또는 몇몇 부분의 디스플레이 모자이크에 리어셈블리가 단순해지도록 각각의 서브 모자이크에 대한 정렬 정보는 서브 모자이크로서 저장된다. 서브 모자이크는 이전의 센서 위치로부터 모자이크를 나타내거나, 또는 이전에 실제적으로 생성된 현재 디스플레이 모자이크에 이동 물체를 삽입시키기 위하여 전경 폐색을 제거하는데 사용될 수 있다.

디스플레이 모자이크는 블록(706)에 나타낸 바와같이 메모리에 일시적으로 저장된다. 이러한 디스플레이 모자이크는 필요할 때 새로운 입력 이미지 및 종속적인 이미지 정보로 갱신된다. 디스플레이 모자이크는 다수의 형태중 하나로 나타날 수 있다. 예를들면, 배경은 기준 좌표 시스템에 대해 모자이크를 프리징(freezing) 시키거나 또는 제어된 움직임을 통하여 안정화될 수 있다. 그러한 안정된 모자이크에서, 전경 물체는 안정된 배경에 비해 상대적으로 자유롭게 이동하는 것으로 나타난다. 선택적으로, 전경 물체는 안정되고 디스플레이 중앙에 고정될 수 있고, 배경은 전경 물체가 이동중일 때, 전경 물체를 빠르게 이동시키는 것으로 나타날 것이다. 또한 디스플레이 모자이크는 임의의 기준 좌표 시스템(심지어 기준 모자이크에 의하여 사용된 것과 다른 좌표 시스템)에 관련하여 구성된다.

블록(708)에서, 사용자는 디스플레이 뷰포트(viewport) 즉, 컴퓨터 모니터상에 디스플레이될 디스플레이 모자이크의 일부분을 선택한다. 만약 선택된 뷰포트가 전체 디스플레이 모자이크보다 작다면, 뷰포트는 모자이크에 대해 스크롤되거나 및/또는 모자이크 내에서 어떤 영역을 더 잘 나타내기 위하여 줌 또는 줌 아웃하는데 사용된다.

뷰포트가 선택되면, 사용자는 단계(710)에서 하나 이상의 편집 및 향상 기능을 선택할 수 있다. 예를들면, 작동자는 디스플레이 영역을 하일라이트하고, 선택 영역을 필터하고, 문서의 배치를 위해 디스플레이의 절단 영역을 커팅하고, 프린팅하기 위한 특정 디스플레이 영역을 선택할 수 있다.

이미지 향상 및 편집외에, 시스템은 디스플레이 모자이크에 대하여 선택된 오버레이(overlay)를 생성하는 모자이크 분석기(712)를 제공한다. 편집 처리 및 결합 처리의 작동을 모니터링함으로서, 모자이크 분석기(712)는 모자이크에 부가되는 최종 입력 이미지의 위치를 약술하는 오버레이를 생성한다. 분석기는 디스플레이 모자이크내의 전경 물체의 움직임을 약술하는 또는 안정된 디스플레이 모자이크의 센서 움직임을 그래프적으로 나타내는 오버래이를 생성할 수 있다. 부가적으로, 오버래이는 더 이상 정확하지 않거나 적절하지 않은 정보를 포함하는 디스플레이 모자이크의 영역을 나타내기 위하여 생성될 수 있다.

단계(714)에서, 선택된 뷰포트 내의 디스플레이 모자이크 부분은 사용자의 컴퓨터 모니터 또는 다른 디스플레이 장치상에 나타낸다. 사용자는 뷰포트에 대한변화가 실제적으로 순식간에 나타나도록 실시간으로 뷰포트를 조작할 수 있다. 부가적으로, 실시간으로 생성할 수 있는 임의의 갱신된 정보 예를들면, 뷰포트의 새로운 입력 이미지는 실시간으로 갱신된다.

이미지 프린팅 시스템(106)은 모자이크식 디스플레이 시스템에 의하여 한정된 뷰포트내의 디스플레이 모자이크의 일부분의 "하드 카피"를 생성한다. 디스플레이 모자이크가 이미지 피라미드 프레임워크내에서 유도되기 때문에, 디스플레이 모자이크는 컴퓨터 모니터의 해상도와 같은 정도의 해상도를 가진다. 그러나, 디스플레이 모자이크 해상도는 전형적으로 이용가능한 가장 높은 해상도가 아니다. 이와같이, 보다 높은 해상도는 뷰포트내에서 디스플레이된 이미지를 프린트하기 위하여 사용될 수 있다. 이미지가 서브화소 정확도에서 이미지를 정확히 정렬하는 거시-미시 정렬 처리를 사용하여 정렬되기 때문에 높은 해상도 프린팅이 가능하다.

동작할 때, 사용자는 일련의 이미지로부터 디스플레이 모자이크를 생성하고 그 다음 프린트될 모자이크의 요구된 부분을 선택한다. 일단 선택이 컴퓨터 모니터상에 이루어지면, 뷰포트의 디스플레이 모자이크 부분이 프린트된다. 선택적으로, 디스플레이 모자이크의 선택된 부분이 사진 네가티브, 사진 슬라이드 또는 어떤 다른 "하드 카피" 이미지로서 만들어질 수 있다.

모자이크식 압축 시스템은 효율적인 정보 압축을 이룩하기 위하여 일련의 이미지내에서 시간 및 공간적인 여분을 이용한다. 동작할 때, 시스템은 일반적으로 서브시퀀스의 이미지로부터 일련의 모자이크를 생성한다. 전형적으로, 시스템에 대한 입력은 일련의 비디오 프레임이고 모자이크는 모자이크 구성 시퀀싱 처리(도2)중 하나를 통하여 다수의 비디오 프레임으로부터 만들어진다. 그후, 이러한 시스템은 자동적으로 또는 시스템 사용자 제어하에서 직접적으로 인코딩되는 모자이크를 선택하고 다른 모자이크와의 관계를 통하여 모자이크를 인코딩하는데, 예를 들어 기하학적 및 포토메트릭 관계를 둘다 인코딩한다.

모자이크식 압축 시스템은 2개의 분명한 위치에서 유용한 것으로 나타난다. 제 1위치에서, 이미지 정보 저장 시스템으로 공지된 모자이크식 압축 시스템은 이미지 정보가 임의적으로 액세스되거나, 효율적으로 이용되거나, 신속하게 검색되거나 또는 브라이즈되도록 저장 매체의 효율적인 저장을 위한 이미지 정보를 압축한다. 두 번째 위치에서, 실시간 전송 시스템으로 공지된 모자이크식 압축 시스템은 대역 제한 전송 채널을 통한 효율적인 전송을 위해 이미지 정보를 압축한다. 각 시스템이 유사한 원칙을 사용하여 동작할지라도, 저장 및 전송 시스템은 서로 약간 다르다. 그러므로, 아래의 논의는 각각의 시스템을 개별적으로 처리한다. 각 시스템의 아래의 논의로부터, 당업자는 저장 및 전송 시스템의 하이브리드인 시스템으로 설계될 수 있다는 것을 이해할 것이다. 하이브리드 시스템은 저장 및 전송 시스템의 양쪽 측면을 포함할 것이다.

도 8은 디스크 드라이브, CD-롬, 광학 드라이브 등과 같은 저장 장치의 효율적인 저장을 위하여 이미지 정보를 포맷하는데 사용되는 모자이크식 압축 시스템(800)의 블록도이다. 아래의 설명으로부터 명백한 바와같이, 상기 시스템은 사용자가 저장 장치로부터 임의로 액세스하게 한다. 임의의 액세스는 압축이 이미지의 시퀀스를 사용하여 완성되기 때문에, 즉 MPEG 압축 기술은 일련의 비디오 프레임을 압축하고 요구된 프레임까지의 전체 시퀀스가 요구된 프레임에 액세스하기 위하여 재구성되어야 하기 때문에 시간적인 여분을 이용하는 대부분 압축 기술에 일반적으로 이용할 수 없다.

반대로, 본 발명은 일련의 이미지, 예를들면 비디오 프레임 시퀀스를 인접하는 화면 서브시퀀스로 분할하고 모자이크는 이러한 장면 서브시퀀스 각각에 대하여 생성된다. 이와같이, 각각의 모자이크는 비디오 시퀀스내에서 포착된 장면의 "스냅사진" 뷰를 나타낸다. 일반적으로 본 발명은 각각의 모자이크, 리지듀얼 및 변환 파라미터를 코딩하고 그들을 저장 장치에 저장한다. 결과적으로, 저장된 이미지 정보를 재검토할 때, 즉 모자이크가 메모리로부터 선택될 때, 사용자는 모자이크를 쉽게 조사할 수 있고 모자이크내의 어떤 개별적인 프레임을 추출할 수 있다. 이러한 변환 파라미터 및 리지듀얼은 모자이크로부터 어떤 한 프레임을 추출하는데 사용된다. 그래서 본 발명은 임의의 프레임 액세스 및 빠른 검색 능력을 제공한다.

특히, 상기 시스템은 정적 모자이크 구성 시스템(1401), 코딩 시스템(826), 디코딩 시스템(824) 및 저장 장치(812)를 포함한다. 정적 모자이크 구성 시스템은 도 14에 도시된 정적 모자이크 구조 시스템과 같은 방식으로 동작한다. 이런 응용에서, 이미지 시퀀스(서브시퀀스)는 일괄 시퀀스를 사용하여 기준 좌표 시스템에 대해 워핑되어 이미지를 서로 정렬하는 변환은 기준 좌표 시스템에 관련하여 형성된다. 모자이크 구성 시스템의 출력은 정렬 및 결합된 다수의 각각의 이미지를 포함하는 모자이크이다. 게다가, 출력은 모자이크에 포함된 각 이미지에 대한 변환 파라미터를 포함한다. 변환 파라미터 뿐만 아니라 모자이크는 시스템(826)에 대한입력을 형성한다.

시스템(826)은 모자이크, 변환 파라미터 및 리지듀얼을 코드화하여 저장 장치내에 효과적으로 저장한다. 특히, 시스템(826)은 리지듀얼 분석기(806), 중요 분석기(808), 변환 파라미터 코더(802), 모자이크 코더(804) 및 리지듀얼 코더(810)를 포함한다.

리지듀얼 분석기(804)는 피라미드 구조내에서, 모자이크로부터의 이미지와 대응 입력 이미지를 통상적으로 비교함으로써 리지듀얼을 생성한다. 각각의 입력 이미지는 이미지에서 이동 물체를 표현하는 리지듀얼을 생성하기 위하여 모자이크와 비교되고, 물체 조도, 정렬 처리후 이미지 오정렬, 보간 및 노이즈로 인한 세기 에러를 변화시킨다. 전송 시스템에서 물체 이동, 물체 조도 변화 및 오정렬이 코딩되는 것은 중요하다.

리지듀얼 분석기가 물체 움직임, 물체 조도 변화 및 오정렬 뿐만 아니라 세기 에러 및 노이즈에 대한 리지듀얼을 생성하기 때문에, 리지듀얼 분석기에 의해 차이나는 간단한 이미지는 의미적으로 중요한 리지듀얼을 결정하기 위한 허용될 수 있는 방법을 제공하지 않는다. 의미적으로 중요한 리지듀얼을 결정하는 효과적인 방법은 리지듀얼 세기뿐 아니라 로컬 리지듀얼 움직임 크기(즉, 로컬 오정렬)를 고려하는 것이다. 리지듀얼 움직임 보상은 정밀할 필요는 없고, 움직임 보상을 위하여 사용되는 것이 아니라, 코딩을 위하여 리지듀얼의 중요성을 결정하기 위하여 사용된다.

분석기(808)는 로컬 리지듀얼 움직임의 크기 측면에서 리지듀얼을 분석한다.필수적으로, 중요 분석기는 리지듀얼이 저장을 위하여 코딩되고 검색중에 모자이크를 정확하게 재생성할 필요가 없도록 선택한다. 다른 말로, 예측된 모자이크로부터 현재 모자이크까지의 리지듀얼 움직임의 크기는 리지듀얼이 코딩되는 것을 결정한다. 크기 움직임을 가지지 않는 리지듀얼(중요하지 않은)은 영에 의해 곱셈되고 약간의 크기 움직임을 가지는 리지듀얼(중요한)은 0 내지 1 범위의 가중 함수에 의해 곱셈된다. 가중 함수는 크기 움직임에 비례한다.

특히, 리지듀얼 움직임의 크기에 접근하기 위하여, 시간(t)의 각 화소(x, y)에서 일반적인 움직임 흐름 크기의 정밀하지 않은 평가 St(x, y)는 계산된다. 이것은 시간 시퀀스에서 포착된 정적 모자이크를 형성하기 위하여 결합된 이미지를 가정하는 일반적인 방정식이다. 만약 이것이 상기 경우가 아니라면, 변수(t)는 시퀀스(예를들어, t=1,2,3, 등)에서 나타나는 정도의 이미지를 계산하는 변수로서 생각될 수 있다. 일반적인 흐름은 공간 기울기의 방향으로의 광학 흐름의 성분이다. 다음 평가 St(x, y)는 아래와 같다:

(4)

여기서 I_t는 시간 t에서의 이미지이고;

I_t ^Pred는 시간 t에서 이미지이고;

∇I_t(x, y)는 프레임(I_t)에서 화소(x, y)의 공간 세기 기울기이고;

N(x, y)은 화소(x, y)를 둘러싸는 화소의 비교적 작은 지역이고(통상적으로3×3 화소 지역); 및

C는 수치 불안정성을 피하고 노이즈를 억제하기 위하여 사용된다.

x-y 공간에서 S_t의 값은 중요 맵을 함께 형성한다. 측정(St)은 코딩될 관심 지역을 선택하기 위하여 사용되고 또한 지역에서 예측 에러상의 곱셈 가중으로서 사용된다. 작은 값의 St는 영으로 세팅되어, 중요하지 않은 리지듀얼은 전혀 전송되지 않는다. 측정(St)은 화소, 지역 또는 블록형 근거상에 임계값이 된다. 이산 코사인 변환(DCT)식 공간 코딩이 사용될때, St는 만약 전체 블록이 임계값 이하이면 영이 되지만 만약 블록에서 어떤 화소가 임계값 이상이면 변형되지 않는다. 통상적인 임계값은 1 화소 움직임이다. 노이즈 감도를 감소시키기 위하여, 중요 맵은 블록을 영으로 만드는 작업이 수행되기전에 3×3 구조 엘리먼트에 의해 형태학적으로 손상된다. 이것은 전체 블록의 스킵핑(skipping)을 진행시키고, 약간의 절연된 수퍼임계값 화소로 인해 코딩의 비트 비율 결함을 방지한다.

중요 리지듀얼 및 모자이크는 코딩을 위해 각각의 코덱에 보내진다. 코덱은 웨이브리트(wavelet), DCT등 같은 공간 인코딩의 종래 형태를 사용한다. 변환 파라미터는 펄스 코드 변조(PCM) 또는 차동 PCM(DPCM)을 사용하여 공간적으로 코딩될 수 있다.

모자이크식 시스템을 사용하여 실질적으로 모든 잉여의 일시적이고 공간적인 이미지 정보는 저장된 이미지 정보로부터 제거되고 시스템은 효과적으로 이미지 시퀀스를 압축한다. 필수적으로, 정적 시스템은 배경 장면에 관한 정보를 저장하고리지듀얼과 같은 배경 장면내의 어떤 이동을 저장한다. 입력 이미지, 배경 정보 및 리지듀얼 사이의 이런 관계는 도 9에 개략적으로 도시된다.

도 9에 도시된 바와같이, 입력 이미지(902)는 왼쪽으로부터 오른쪽으로 비디오 카메라 팬같은 카메라 관찰면내에 두 개의 집과 두 개의 나무 장면을 포함한다. 관심 장면은 4개의 비디오 프레임에 도시적으로 포착된다. 게다가, 사람은 장면에서 왼쪽으로부터 오른쪽으로 걷고 있다. 일단, 이미지(902)가 일괄 시퀀스를 사용하여 정렬 및 결합되면, 배경을 포함하는 모자이크(904)가 생성된다. 리지듀얼(906)은 배경, 예를들어 스크린상의 걷고있는 사람에 관련한 물체 움직임을 표현한다.

도 8을 다시 참조하여, 저장된 정보로부터 이미지 시퀀스(또는 각각의 이미지)를 재구성하기 위한 정보 검색(디코딩) 시스템(824)은 디코더(814, 816 및 818), 모자이크 구성기(820) 및 디스플레이(822)를 포함한다. 각각의 디코더는 각각 저장 장치(812)로부터 모자이크를 검색하고, 변환 파라미터 및 리지듀얼은 모자이크를 재생성하는 것이 필요하고 거기로부터 어떤 이미지를 검색한다. 모자이크 구성기(820)는 모자이크를 리지듀얼, 모자이크 및 모자이크를 형성하기 위한 변환 파라미터와 결합한다.

디스플레이(822)는 저장 장치로부터 검색된 전체 모자이크를 단순히 디스플레이할 수 있다. 그러나, 통상적으로, 디스플레이는 관찰하기 위하여 모자이크내에 특정 이미지, 또는 그것의 부분을 선택하도록 사용된다. 상기 이미지들은 목표된 이미지를 선택하고 모자이크로부터 상기 이미지를 제거하도록 변환 파라미터를사용하여 간단히 회복된다. 게다가, 도 7과 관련하여 기술된 모자이크식 디스플레이 시스템은 검색된 모자이크 및 그것의 구성 이미지를 조종 및 관찰하기 위하여 사용된다.

도 10은 "동적" 모자이크식 압축 시스템(1000)의 블록 다이어그램이다. 일반적으로, 시스템은 코딩 시스템(1002)(통상적으로 전송기 하드웨어내에 있는), 코딩된 이미지 정보가 전달되는 채널(1004), 및 디코딩 시스템(1006)(통상적으로 수신기 하드웨어내에 있는)을 포함한다.

시스템(1002)에서, 모자이크 구성 시스템(도 3참조)은 압축을 돕기 위하여 예측된 모자이크(1030)의 피드백을 수용하기 위하여 변형된다. 특히, 전체 모자이크와 각각의 새로운 입력 이미지를 정렬하는 것보다 차라리, 각각의 새로운 입력 이미지가 입력 이미지 시퀀스의 이전 이미지와만 정렬된다. 상기와 같이, 지연(1012)은 이미지의 시퀀스에서 제 1이미지를 일시적으로 지연하기 위하여 사용된다. 정렬 프로세서(1010)는 이미지의 시퀀스에서 제 2이미지와 지연된 이미지를 정렬한다. 이런 정렬 처리는 각각의 연속적인 이미지가 선행 이미지, 즉, 두 개의 연속적인 이미지 오버랩을 일반적으로 가지는 몇몇 부분을 가진다는 것을 가정한다. 이것은 일반적으로 입력 이미지 시퀀스가 일련의 비디오 프레임일 때이다. 그러나, 만약 예측된 모자이크가 비교적 양질이면, 입력 이미지는 예측 모자이크와 정렬된다(즉, 지연 1012는 제거되고 예측된 모자이크는 점선(1032)을 따라 프로세서(1010)로 보내진다).

정렬된 입력 이미지(가장 최신의 이미지) 및 예측 모자이크는 갱신된 모자이크를 형성하기 위하여 결합된다. 종래 이미지 워퍼(warper)(1014)는 모자이크 및 이미지를 정렬 및 결합하기 위하여 및 결합 처리를 이룬다. 이런 도시적인 시스템에 대하여, 모자이크 구성 시퀀스는 순환되고 기준 좌표 시스템은 입력 이미지 좌표 시스템에 의해 형성된다. 이런 워핑 처리는 도 3의 모자이크 구성 시스템이 모자이크 및 이미지를 결합하는 동일 방식으로 갱신된 모자이크(기준 모자이크)를 생성하기 위하여 예측된 모자이크와 최신 입력 이미지를 결합한다. 상기와 같이, 용어 "동적"은 모자이크의 양쪽 측면을 말한다; 즉, 모자이크의 좌표 시스템 및 모자이크의 내용.

리지듀얼 분석기(1016)는 피라미드 구조내의 현재 입력 이미지와 기준 모자이크를 통상적으로 비교함으로써 리지듀얼을 형성한다. 분석기(1016) 및 중요 분석기(1020)는 정적 모자이크 압축 시스템(도 8)에서 분석기(806 및 808)와 동일 기능을 한다. 그러나, 만약 임계값이 동적 모자이크 압축 시스템의 중요 분석기에서 사용되면, 동적 시스템의 임계값 레벨은 정적 시스템에서보다 낮게 설정된다.

코덱(1022)은 가중된 중요한 리지듀얼을 인코딩한다. 코덱(1022)은 웨이브리트(wavelet), DCT등과 같은 종래 형태의 공간적인 인코딩을 이용한다. 이후 코딩된 비트는 채널(1004)을 통해 수신기로 전송된다.

코딩 시스템(1002)은 동적 압축 기술을 용이하게 하기 위해 예측된 모자이크(1030)를 생성하는 디코딩 시스템(1024)을 포함한다. 특히, 디코딩 시스템은 디코더(1026)와 모자이크 구성기(1028)를 포함한다. 디코더(1026)는 채널(1004)로부터 수신되는 인코딩된 리지듀얼로부터 리지듀얼을 생성한다. 구성기(1028)는코딩 처리에 이용되는 기준 모자이크와 리지듀얼을 결합하여 예측된 모자이크를 구성한다. 시스템은 워퍼(1014)에 대한 입력으로서 예측된 모자이크를 이용하는 피드 백 루프(즉, 코딩 시스템내의 코딩 및 인코딩)를 포함하기 때문에, 시스템은 시간을 통해 예측된 모자이크를 개선하게된다. 예측된 모자이크(1030)는 수신기에서 생성되는 모자이크와 동일하다. 따라서 예측된 모자이크를 개선시키는 것은 수신된 모자이크를 개선시키는 것이다. 또한, 수신된 모자이크의 개선은 선택적으로 성취될 수 있다. 예를들어, 입력 이미지에서 관심있는 특정 영역이 확대에 의해 선택되면, 시스템은 전체 모자이크가 전송될 때보다 더 높은 해상도로 이미지 변화를 나타내는 일련의 리지듀얼을 전송한다. 이와같이 수신된 모자이크( 및 예측된 모자이크)내에서 선택된 영역은 모자이크의 리지듀얼과 비교하여 개선된 품질을 갖는다.

디코딩 시스템(1006)은 디코더(1034), 모자이크 구성기(1036), 지연(1038) 및 워퍼(1040)를 포함한다. 디코더(1034)는 수신된 정보로부터 리지듀얼을 생성한다. 이러한 리지듀얼은 수신된 모자이크를 구성하고 갱신하기 위해 모자이크 구성기(1036)에 의해 이용된다. 수신된 모자이크는 디코딩 시스템(1006)의 출력을 형성한다. 더욱이, 수신된 모자이크는 지연부(1038)에 의해 (예를들어, 비디오 전송 시스템에서 하나의 비디오 프레임 만큼) 지연된다. 워퍼(1040)는 지연된 모자이크를 다음의 디코딩된 세트의 리지듀얼로 워핑시킨다. 이 워핑된 모자이크는 모자이크 구성기가 계속 수신된 리지듀얼을 갱신하도록 기준 모자이크를 형성한다.

압축 효율을 더욱 개선시키기 위해, 여러 모자이크와 입력 이미지가 처리중에 이미지 피라미드로 분해된다는 사실이 해상도 우선순위 방법을 실행하는데 이용된다. 이와같이 코딩 시스템은 최저 해상도를 갖는 피라미드 레벨로부터 초기에 리지듀얼을 인코딩 할 수 있으며, 그 다음 고 해상도로부터 리지듀얼이 코딩되어 전송될 수 있다. 이러한 방법은 점진적인 전송으로 알려져 있다. 대안으로 모자이크 및 입력 이미지의 고 및 저 해상도 레벨로부터 생성된 리지듀얼은 전송 대역폭의 이용에 따라 전송된다.

입력 이미지는 배경 모자이크 및 독립적인 이동 물체(전경 정보)로 분해되기 때문에, 장면의 분리 부분이 분리 모자이크로 구성될 수 있다. 예를들어, 도 9에서, 배경은 모자이크로 도시되지만, 리지듀얼은 이동 물체의 모자이크와 결합될 수 있다. 개개의 모자이크는 개별적으로 코딩되고 전송될 수 있다. 따라서, 이동 물체 모자이크가 배경 모자이크와 관련하여 이동하는 방법을 기술하는 이동 파라미터만이 코딩되고 전송되는데 필요하다. 이와같이 더 작은 대역폭이 이미지 정보를 전송하는데 필요하다.

3차원 이미지의 표현은 도미넌트(dominant) 표면(예, 배경 장면)의 2차원 정렬이 카메라 회전과 이미지에 대한 카메라 유도 변형(예, 확대, 렌즈 워핑, 카메라 지터등) 뿐만아니라 도미넌트 표면상에서의 카메라 이동 효과로 인한 모든 움직임을 제거한다. 고정 장면내의 리지듀얼 움직임은 순수하게 장면과 관련한 카메라 이동 및 다른 물체의 거리 및 도미넌트 표면으로부터의 장면의 표면 때문이다. 이러한 리지듀얼 움직임은 시차 움직임이다.

일반적으로 3차원 구조는 시간(적어도 몇초 또는 몇분)에 대해 불변이며, 이 구조는 불변 동안 시차 움직임을 예측하는데 이용될 수 있는 단일의 정적인 이미지로 나타낼 수 있다. 이러한 시차식 3차원 표현은 "높이" 맵으로 불리는데, 그 이유는 표현이 물체의 거리 또는 "높이" 및 도미넌트 표면에 대한 표면과 직접 관련되기 때문이다. 연속적인 이미지 사이에서 계산된 카메라의 이동과 함께 높이 맵은 도미넌트 표면을 나타내는 모자이크 표면과 관련하여 이미지 사이의 모든 점의 이동을 예측하는데 이용될 수 있다.

3차원 높이 정보를 더한 2차원 표현의 계산은 다음 단계를 포함한다. 우선, 개개의 이미지는 이미 언급한 2차원 정렬을 이용하는 모자이크 좌표 시스템과 정렬된다. 두번째로, 장면내의 물체와 표면내의 리지듀얼 시차 움직임이 계산된다. 리지듀얼 시차 움직임은 모든 카메라 회전 및 다른 카메라 유도 이미지 변형이 제거된다고 가정(예를들어, 이러한 변형은 도미넌트 표면의 2차원 모자이크에 포함되는 것으로 가정하였음)하는 동안에 계산된다. 이와같이, 이동 효과만이 남는다. 세째로, 리지듀얼 시차 움직임은 "높이"와 카메라 이동으로 분해된다. 네째로 높이 정보는 여러개의 프레임으로부터 장면에 대한 단일 높이 맵 모자이크로 통합된다. 이런 통합은 이미지의 일괄 시퀀싱 또는 순환 시퀀싱을 사용하여 달성된다. 동작시에 이러한 처리는 도미넌트 표면의 모자이크와 높이 모자이크로부터 주어진 이미지 프레임을 예측할 수 있다. 이와같이, 높이 정보는 코딩되고 전송(또는 저장)될 수 있으며, 이후에 카메라 이동이 코딩 및 전송될 필요가 있다. 결과적으로, 이미지는 수신기(또는 검색할 때)에 재저장될 수 있으며 재구성된 이미지내에 시차 움직임을 포함한다.

모자이크식 압축 시스템은 종래의 인터프레임 예측 시스템에 의해 제거되는바와같이 이동 물체의 단기간의 리지듀얼에 의해 제거되지 못한다. 예를들어, 물체가 모자이크에서가 아닌 장면에서 나타날때, 유사한 리지듀얼이 다수의 이미지 프레임에서 반복적으로 코딩된다. 정적 시스템에서 일시적인 리지듀얼 제거를 개선시키기 위해, 시스템은 모자이크의 조직을 처리하기 위해 변경될 수 있으며, 모자이크 레벨은 서로 다른 일시적인 통합 양에 대응한다. 도 11은 모자이크(1100)의 조직의 개략적인 다이어그램이다. 조직내의 가장 정밀한 레벨(1102)은 원레의 이미지를 포함하고, 다른 레벨(1104 및 1106)은 다음의 더 정밀한 레벨의 이미지 또는 모자이크로부터 통합된 정적 모자이크를 포함한다. 레벨사이의 리지듀얼은 코딩되고 저장될 필요가 있다. 그 결과는 공간적인 라플라시안 피라미드와 유사한 방식으로 일시적인 데코레이션을 달성하는 표현이다.

기준 좌표 시스템과 같이 입력 이미지의 좌표시스템을 이용하는 동적 시스템에서는 각각의 입역 이미지의 좌표 시스템에 대해 다시 워핑되어질 모자이크를 포함한다. 그러한 반복된 모자이크의 워핑은 시간이 지나면 모자이크에서 나타나는 이미지의 과도한 흐려짐을 유발한다. 이러한 흐림을 피하기 위해 동적 모자이크는 선택적인 메모리 방법을 사용하여 생성된다. 선택적인 메모리 방법은 반복된 워핑없이 유도되는 흐려짐을 초래하지 않고 가장 최근의 장면 포인트의 생성으로부터 화소를 가진 현재 이미지의 각 화소를 예측한다. 이를 성취하기 위해 개개의 예측원은 원레의 좌표시스템에서 이미 수신된 이미지이다. 모든 이전 입력 이미지가 저장되는것을 막기위해, 디코더(전송기내의)는 가장 최근의 이미지 장면만을 유지하여, 세그먼트된 또는 "타일화된"모자이크 표현을 유지한다. 이와같이, 개개의모자이크 타일은 또 다른 타일이 이동되기 전에 제한된 수만큼 워핑된다. 예를들어 타일은 오래되고 입력 이미지에 대해 이를 워핑시키는데 더 이상 필요 없다.

도 12는 모자이크 구성 시스템(102)과 통합된 예시적인 감시 시스템(108)의 블럭도이다. 감시 시스템의 동작 방법은 도 13의 순서도로 나타내었다. 감시 시스템을 가장 잘 이해하기 위해 독자는 도 12 및 도 13을 동시에 고려해야한다. 시스템(108)은 시스템 사용자로부터 멀리 떨어져 있는 위치에 위치될 수 있다. 예를들어 감시 시스템(도시된)은 모자이크식 압축 시스템(100)과 디스플레이 시스템(102)을 포함한다. 만약 시스템 사용자 ID가 센서 및 감시 시스템과 함께 동일 위치에 있다면, 압축 시스템은 물론 필요 없다.

시스템(108)은 단계(1300)에서 비디오 카메라와 같은 센서(1200)로 부터 일련의 이미지를 수신한다. 일련의 이미지는 센서에 의해 포착된 파노라마 장면을 나타낸다. 단계(1302)에서, 시스템은 파노라마 장면내의 이미지로부터 모자이크를 생성하기 위해 모자이크 구성 시스템(102)을 이용한다. 이러한 구성은 순환 또는 일괄 시퀀싱을 이용하여 성취될 수 있다. 파노라마 모자이크는 매우 높은 해상도의 이미지이다. 단계(1304)에서 센서는 새로운 이미지를 생성한다. 단계(1306)에서, 감시 이미지 처리기(1202)를 이용하여, 새로운 이미지는 어떤 다른 차이가 있는지를 결정하기 위해 현재 모자이크와 비교된다. 모자이크와 입력 이미지가 높은 해상도 이미지이기 때문에, 검출과정이 매우 정확하다. 단계(1308)에서, 시스템은 차이가 검출되었는지를 질문한다. 차이가 발견되지 않으면, 시스템은 센서(1200)로부터 다른 입력 이미지를 수신하고 비교를 반복한다. 그러나, 차이가 검출되면,검출 과정과 차이(새로운 입력 이미지)에 이용되는 모자이크의 낮은 해상도 버젼은 단계(1310)에서 시스템(1000; 전송기의 반쪽)에 의해 코딩된다. 코딩된 정보는 통신 채널(1004, 예; 무선 채널)을 통해 전송된다. 정보의 전송후에, 과정이 모자이크를 갱신하기 위해 모자이크 구성 시스템으로 리턴한다.

압축 시스템(1000)의 디코딩 시스템을 포함하는 수신기는 단계(1314)에서 모자이크식 디스플레이 시스템(104)을 통해 사용자에게 디스플레이 되는 이미지 정보를 단계(1312)에서 디코딩 한다. 그리고 나서 사용자는 적절한 경우(예, 전쟁터에서 적의 이동, 창고에 침입하는 강도등)를 결정하기 위해 서로 다른 이미지 정보를 분석할 수 있다.

파노라마 모자이크가 전송되면, 전송기는 모자이크에 대한 변화, 예를들어 변화 지역만을 전송할 필요가 있다. 수송기는 모자이크를 변화된 모자이크로 갱신하여, 항상 카메라 위치에서 현재 장면을 사용자에게 나타낸다.

본 발명의 교시와 부합하는 여러 실시예를 상세한 설명에 나타내고 기술하였지만, 당업자는 이러한 교시와 여전히 부합하는 여러 다른 변경된 실시예를 용이하게 발명할 수 있다. 자동으로 생성된 모자이크는 여러가지 실무에서 이용된다. 예시적인 용도는 이미지 인쇄시스템, 감시 시스템 및 모자이크 기초 압축 시스템을 포함하는 모자이크식 디스플레이 시스템을 포함한다. 모자이크식 디스플레이 시스템은 시스템 사용자가 모자이크를 디스플레이하고 조종하고 조사하고 변경하도록 한다. 모자이크식 압축 시스템은 이미지 정보를 효과적으로 압축하고 이미지 시스템에 일시적이고 공간적인 리지듀얼을 나타낸다. 압축 시스템은 저장 장치내에 저장을 위한 이미지 정보를 압축하거나 대역-제한 전송 채널을 통해 전송을 위한 이미지 정보를 압축하기 위해 이용될 수 있다. 감시 시스템은 멀리 떨어진 움직임 검출을 위한 종합 시스템을 제공하기 위해 모자이크 구성 시스템, 압축 시스템 및 디스플레이 시스템을 결합한다.

Claims (17)

1. (2회정정) 이미지 시퀀스로부터 모자이크를 자동적으로 생성하는 시스템에 있어서,

   상기 이미지 시퀀스의 각각의 이미지의 이미지 정보를 임의의 좌표 시스템을 사용하여 이미지 시퀀스의 적어도 하나의 다른 이미지의 이미지 정보와 자동적으로 정렬하기 위한 정렬 시스템; 및

   상기 정렬된 이미지를 모자이크로 구성하는 구성 수단을 포함하는 것을 특징으로 하는 모자이크 생성 시스템.
2. (정정) 제 1항에 있어서, 상기 정렬 수단은:

   상기 이미지를 기준 좌표 시스템에 대해 정렬하기 위하여 변환을 한정하는 한정수단; 및

   상기 이미지가 상기 기준 좌표 시스템과 정렬되도록 상기 변환을 수행하는 수행 수단을 추가로 포함하는 것을 특징으로 하는 모자이크 생성 시스템.
3. (2회정정) 제 2항에 있어서, 상기 정렬 수단은:

   상기 각각의 이미지에 대한 이미지 피라미드를 생성하는 수단; 및

   상기 각각의 이미지에 대한 이미지 피라미드를 이용하여 거시-미시 정렬을 수행하는 수단을 추가로 포함하는 것을 특징으로 하는 모자이크 생성 시스템.
4. (2회정정) 동적 모자이크를 생성하기 위한 방법에 있어서,

   (a) 이전에 생성된 모자이크의 이미지 정보와 입력 이미지의 이미지 정보를 정렬하는 단계를 포함하는데, 상기 정렬은 임의의 기준 좌표 시스템에 대하여 수행되고;

   (b) 갱신된 모자이크를 형성하기 위하여 결합될 상기 입력 이미지의 일부와 상기 이전에 생성된 모자이크의 일부를 선택하는 단계; 및

   (c) 갱신된 모자이크를 형성하기 위하여 상기 선택된 입력 이미지의 일부와 상기 이전에 생성된 모자이크의 선택된 일부를 결합하는 단계를 포함하는 것을 특징으로 하는 모자이크 생성 방법.
5. (정정) 제 4항에 있어서, 상기 입력 이미지 시퀀스의 각각의 입력 이미지의 적어도 일부분으로 상기 갱신된 모자이크를 연속적으로 갱신하기 위해 입력 이미지 시퀀스의 각각의 입력 이미지에 대하여 상기 단계(a), (b) 및 (c)를 반복하는 단계를 더 포함하는 것을 특징으로 하는 모자이크 생성 방법.
6. (정정) 제 5항에 있어서, 상기 정렬 단계는:

   상기 이미지를 기준 좌표 시스템에 대해 정렬하기 위하여 변환을 한정하는 단계; 및

   상기 입력 이미지가 상기 기준 좌표 시스템과 정렬되도록 상기 변환을 수행하는 단계를 추가로 포함하는 것을 특징으로 하는 모자이크 생성 방법.
7. (2회정정) 정적 모자이크를 생성하기 위한 방법에 있어서,

   다수의 입력 이미지를 서로 정렬하는 단계를 포함하는데, 상기 정렬은 기준 좌표 시스템 및 이미지내의 이미지 정보에 대하여 수행되고;

   정적 모자이크를 형성하기 위하여 결합될 상기 입력 이미지의 일부를 선택하는 단계; 및

   정적 모자이크를 형성하기 위하여 선택된 입력 이미지의 일부를 결합하는 단계를 포함하는 것을 특징으로 하는 모자이크 생성 방법.
8. (정정) 제 7항에 있어서, 상기 정렬 단계는:

   상기 선택된 입력 이미지 부분을 기준 좌표 시스템에 대해 정렬하기 위하여 변환을 한정하는 단계; 및

   상기 입력 이미지가 상기 기준 좌표 시스템과 정렬되도록 상기 변환을 수행하는 단계를 더 포함하는 것을 특징으로 하는 모자이크 생성 방법.
9. (2회정정) 저장 장치에 저장하기 위하여 이미지 정보를 압축하는 모자이크식 압축 시스템에 있어서,

   다수의 이미지 서브시퀀스로 일련의 이미지를 분할하는 수단;

   상기 분할 수단에 연결되며, 임의의 기준 좌표 시스템을 사용하여 각각의 상기 서브시퀀스의 각각의 이미지를 정렬시키고 각각의 정렬된 이미지의 이미지 정보와 상기 각각의 서브시퀀스의 정렬된 다른 이미지의 이미지 정보를 결합하도록 하여 정적 모자이크, 변환 파라미터 및 리지듀얼을 생성하도록 상기 각각의 이미지 서브시퀀스를 일괄적으로 시퀀싱하는 일괄 시퀀싱 수단;

   상기 일괄 시퀀싱 수단에 연결되며, 상기 정적 모자이크, 정렬 파라미터 및 리지듀얼을 코딩하기 위한 코딩 수단; 및

   상기 코딩 수단에 연결되며, 상기 코딩된 정적 모자이크, 코딩된 변환 파라미터 및 코딩된 리지듀얼을 저장하는 저장 수단을 포함하는 것을 특징으로 하는 모자이크식 압축 시스템.
10. (2회정정) 제 9항에 있어서, 상기 코딩 수단은:

    모자이크의 이미지와 상기 이미지 서브시퀀스의 이미지를 비교하고 상기 비교에 응답하여 리지듀얼을 생성하기 위한 리지듀얼 분석기;

    코딩을 위하여 특정 리지듀얼을 선택하기 위한 중요 분석기;

    상기 변환 파라미터를 코딩하기 위한 변환 파라미터 코더;

    상기 모자이크를 코딩하기 위한 모자이크 코더; 및

    상기 선택된 리지듀얼을 코딩하기 위한 리지듀얼 코더를 더 포함하는 것을 특징으로 하는 모자이크식 압축 시스템.
11. (2회정정) 제 9항에 있어서, 상기 코딩 수단은 이산 코사인 변환 코딩을 이용하여 상기 모자이크 및 상기 리지듀얼을 코딩하고, 공간 코딩을 이용하여 상기 변환 파라미터를 코딩하며,

    상기 이미지 서브시퀀스의 이미지를 재구성하기 위하여 상기 코딩된 모자이크, 상기 코딩된 변환 파라미터 및 코딩된 리지듀얼을 검색하고 디코딩하는 디코딩 수단을 더 포함하는 것을 특징으로 하는 모자이크식 압축 시스템.
12. (2회정정) 통신 시스템을 통한 전송을 위해 이미지 정보를 압축하기 위한 모자이크식 압축 시스템에 있어서,

    입력 이미지의 이미지 정보를 예측된 모자이크의 이미지 정보와 정렬하는 수단;

    기준 모자이크를 생성하도록 상기 정렬된 입력 이미지와 상기 예측된 모자이크를 결합하는 수단:

    상기 결합 수단에 연결되며, 상기 입력 이미지와 기준 모자이크를 비교하고 상기 비교에 따라 리지듀얼을 생성하는 리지듀얼 분석기;

    상기 리지듀얼 분석기와 연결되며, 코딩하기 위하여 특정 리지듀얼을 선택하기 위한 중요 분석기; 및

    상기 중요 분석기에 연결되며, 상기 선택된 리지듀얼을 코딩하는 코덱을 포함하는 것을 특징으로 하는 모자이크식 압축 시스템.
13. (2회정정) 제 12항에 있어서,

    상기 코덱에 연결되어, 상기 코딩되고 선택된 리지듀얼을 디코딩하고 상기 예측된 모자이크를 생성하는 디코더를 더 포함하는 것을 특징으로 하는 모자이크식 압축 시스템.
14. (2회정정) 감시 시스템에 있어서,

    일련의 이미지를 생성하는 센서;

    상기 센서에 연결되며, 모자이크식 압축 기술을 이용하여 상기 일련의 이미지를 압축하는 압축 수단;

    상기 압축 수단에 연결되며, 파노라마 모자이크와 입력 이미지를 비교하고 상기 파노라마 모자이크와 상기 입력 이미지 사이의 차이를 결정하는 감시 이미지 프로세서;

    상기 감시 이미지 프로세서에 연결되며, 상기 차이를 코딩하는 코딩 수단; 및

    상기 코딩된 차이를 수신 수단에 전송하는 전송 수단을 포함하며,

    상기 수신 수단은 상기 코딩된 차이를 디코딩하고 상기 차이를 디스플레이하는 것을 특징으로 하는 감시 시스템.
15. (2회정정) 제 14항에 있어서, 상기 압축 수단은 상기 파노라마 모자이크를 생성하기 위한 정적 또는 동적 모자이크식 압축 수단을 더 포함하는 것을 특징으로 하는 감시 시스템.
16. (2회정정) 모자이크식 감시 시스템에서 감시 센서에 의하여 관측된 장면의 변화를 검출하는 방법에 있어서,

    상기 감시 센서에 의하여 포착된 입력 이미지 시퀀스로부터 파노라마 모자이크를 생성하는 단계;

    상기 감시 센서로 새로운 입력 이미지를 포착하는 단계;

    정렬된 이미지를 형성하도록 상기 새로운 입력 이미지의 이미지 정보를 파노라마 모자이크의 이미지 정보와 정렬하는 단계;

    상기 정렬된 이미지와 상기 파노라마 모자이크를 비교하는 단계;

    상기 파노라마 모자이크와 정렬된 이미지 사이의 임의의 차이를 검출하는 단계; 및

    상기 감시 센서에 의하여 관측된 장면의 변화때 상기 차이를 코딩하는 단계를 포함하는 것을 특징으로 하는 방법.
17. (정정) 제 16항에 있어서, 상기 생성 단계는 파노라마 모자이크를 생성하도록 정적 또는 동적 모자이크 생성 기술을 이용하는 단계를 더 포함하는 것을 특징으로 하는 방법.

Images