KR20040048408A

KR20040048408A - 컬러 부합을 이용한 화상 안정화

Info

Publication number: KR20040048408A
Application number: KR10-2004-7003447A
Authority: KR
Inventors: 수잔 히스 칼빈 플레처; 진 아서 그린드스태프; 써맨 워드 3세 맥케이
Original assignee: 인터그래프 하드웨어 테크놀로지스 캄파니
Priority date: 2001-09-07
Filing date: 2002-09-06
Publication date: 2004-06-09
Also published as: HK1069470A1; US20030048282A1; BR0212377A; KR20040054679A; NZ531974A; CO5580855A2; RU2310289C2; US7477797B2; AU2002327612B2; CN101072364B; NZ531975A; US8233044B2; US20030048947A1; RU2004110722A; CN1593061A; WO2003030103A8; BRPI0212377B1; US6654049B2; CA2459821A1; WO2003024095A1

Abstract

적어도 2개의 디지털 화상의 화상 안정화를 위한 방법이 개시되어 있다. 그러한 실시예에서, 복수의 화소를 갖는 제1 디지털 화상 및 복수의 화소를 갖는 적어도 제2 화상이 제공된다. 각각의 화소는 표시를 위한 관련 어드레스를 갖고 컬러를 표현한다. 시스템의 사용자가 컬러 부합 범위를 제공하거나 또는 시스템이 소정의 컬러 부합 범위를 제공한다. 제1 디지털 화상 내에서 화소가 선택된다. 바람직하게는 이 화소는 화상 내의 아이템을 나타내는 것으로, 해당 아이템의 움직임으로 인해 흐릿해지거나(blurry) 또는 카메라 움직임으로 인해 순간 흐트러지게(jittery) 보이는 화상 내의 아이템을 나타내는 것이다. 이용 가능한 컬러의 수가 막대하기 때문에 제1 화상에서 선택된 화소는 어느 범위 내에서 제2 화상 내의 화소와 부합될 수 있다. 이 범위는 명암 변화(lighting changes)로 인한 보정을 허용한다. 일단 제1 화상 내의 화소가 선택되면 그것은 제2 화상 내의 모든 화소와 비교될 수 있다. 컬러 부합 범위 내에 있는 제2 화상 내의 각각의 화소가 저장(save)되고 제1 화상으로부터의 화소와 가장 근접한 화소 컬러가 선택된다. 그 후 제1 화상 내의 화소와 가장 근접한 컬러를 갖는 제2 화상 내에 위치한 화소의 어드레스가 제1 화상 내의 화소의 어드레스와 동일한 표시 어드레스를 갖도록 제2 화상 내의 화소들의 어드레스가 재차 어드레싱(readdress)된다. 그 후 재배치된 제2 디지털 화상은 메모리에 저장된다.

Description

컬러 부합을 이용한 화상 안정화{IMAGE STABILIZATION USING COLOR MATCHING}

기계적 피드백 시스템 또는 디지털 신호 처리를 통해 카메라 움직임에 의한 화상 지터(jitter)를 최소화하는 비디오 안정화 기술이 종래 기술에 공지되어 있다. 종래의 디지털 처리 기법은 복잡하며 대개 동작 측정치 및 벡터 분석에 근거하고 있다. 이들 기법은, 카메라 움직임 지터를 없애기 위해, 화상 내의 움직임을 최소한으로 방해하면서 화소 블럭들의 움직임을 평가(assess)하도록 설계된다.

포착된 비디오 화상 내에서 피사체가 카메라 움직임과 반대 방향으로 움직일 때, 포착되는 이동 피사체의 세부적인 사항은 종종 식별되기 어렵다. 예를 들면, 자동차에서는 프레임에서 프레임으로의 움직임량이 많기 때문에, 포착된 비디오 화상이 표시될 때 움직이는 자동차의 번호판은 종종 판독되기 어렵다. 이러한 상황에서, 자동차의 움직임에 대해 고려한다면 자동차 번호판을 판독하는 능력이 향상될 것이다.

전술한 바와 같은 전형적인 화상 안정화 기법들은, 자동차 번호판을 보다 쉽게 판독하기 위해 자동차의 움직임과 같은 움직임을 고려하는 방법을 제공하지 못하는데, 그 이유는 이 기법들은, 카메라의 움직임으로 인한 움직임을 제거할 때에만 이러한 움직임이 비디오 화상 시퀀스 내에 보여지도록 설계되기 때문이다.

본 발명은 비디오 화상의 분석에 관한 것으로, 보다 구체적으로는 비디오 화상의 화상 안정화에 관한 것이다.

본 발명의 특징은 첨부된 도면들을 참조하여 기술된 이하의 상세한 설명을 참조하면 보다 용이하게 이해될 것이다.

도 1은 800×600 화소의 해상도를 갖는 화상을 나타낸 도면이다.

도 2는 컴퓨터 시스템과 결합하여 수행되는 컬러 부합을 통한 화상 안정화를 위한 하나의 방법을 나타낸 흐름도이다.

도 3A-C는 스크린 상에 재배치되는 화소들을 나타낸 도면이다.

도 3A는 선택된 화소를 갖는 제1 프레임을 나타낸 도면이다.

도 3B는 도 3A에서 선택된 화소의 컬러 허용도 내의 컬러를 갖는 표시된 화소를 갖는 제2 프레임을 나타낸 도면이다.

도 3C는 도 3A의 제1 프레임 상에 중첩되고 재정렬된 도 3B의 제2 프레임을 나타낸 도면이다.

도 4는 화상 안정화를 위한 다른 실시예를 나타낸 흐름도이다.

도 5는 컬러 부합 및 보간을 이용한 화상 안정화의 다른 실시예를 나타낸 흐름도이다.

도 6은 비디오 시퀀스의 처음 및 끝 프레임에서의 화소 선택을 나타낸 흐름도이다.

도 7A는 모든 화상들이 정렬되는 화상 안정화 전의 비디오 시퀀스를 나타낸 도면이다.

도 7B는 재정렬 후의 도 7A의 비디오 시퀀스를 나타낸 도면이다.

도 8은 본 발명의 일실시예를 하나의 시스템으로 도시한 도면이다.

본 발명의 일실시예에서, 적어도 2개의 디지털 화상의 화상 안정화를 위한 방법이 개시되어 있다. 그러한 실시예에서, 복수의 화소를 갖는 제1 디지털 화상 및 복수의 화소를 갖는 적어도 제2 화상이 제공된다. 각각의 화소는 표시를 위한 관련 어드레스를 갖고 컬러를 표현한다. 시스템의 사용자가 컬러 부합 범위를 제공하거나 또는 시스템이 소정의 컬러 부합 범위를 제공한다. 제1 디지털 화상 내에서 화소가 선택된다. 바람직하게는 이 화소는 화상 내의 아이템을 나타내는 것으로, 해당 아이템의 움직임으로 인해 흐릿해지거나(blurry) 또는 카메라 움직임으로 인해 순간 흐트러지게(jittery) 보이는 화상 내의 아이템을 나타내는 것이다. 이용 가능한 컬러의 수가 막대하기 때문에 제1 화상에서 선택된 화소는 어느 범위 내에서 제2 화상 내의 화소와 부합될 수 있다. 이 범위는 명암 변화(lighting changes)로 인한 보정을 허용한다. 일단 제1 화상 내의 화소가 선택되면 그것은 제2 화상 내의 모든 화소와 비교될 수 있다. 컬러 부합 범위 내에 있는 제2 화상 내의 각각의 화소가 보관(save)되고 제1 화상으로부터의 화소와 가장 근접한 화소 컬러가 선택된다. 그 후 제1 화상 내의 화소와 가장 근접한 컬러를 갖는 제2 화상 내에 위치한 화소의 어드레스가 제1 화상 내의 화소의 어드레스와 동일한 표시 어드레스를 갖도록 제2 화상 내의 화소들의 어드레스가 재차 어드레싱(readdress)된다. 그 후 재배치된 제2 디지털 화상은 메모리에 저장된다.

다른 실시예에서, 제2 화상 내에서 검색될 화상 영역은 이 방법의 사용자에 의해 선택될 수도 있다. 다른 실시예에서, 제1 디지털 화상 및 재배치된 제2 디지털 화상을 정렬하기 위한 정렬 점이 선택되어서, 표시 장치 상에 표시될 때 제1 프레임의 화소가 정렬 점과 정렬되고 제2 디지털 화상 내의 화소가 정렬 점과 정렬될 수 있게 된다.

제2 디지털 화상이 저장되면, 제1 디지털 화상 및 재배치된 제2 디지털 화상은 표시 장치 상에서 순차적으로 표시될 수도 있으며 여기서 아이템의 움직임이 최소화될 것이다.

또다른 실시예에서, 비디오 화상의 시퀀스에서의 비교를 위해 컬러 값을 결정하도록 보간이 이용될 수도 있다. 시퀀스에서, 서브세트 시퀀스를 생성하는 시퀀스로부터 처음 디지털 화상 및 끝 디지털 화상이 선택된다. 처음 디지털 화상에서 하나의 화소가 선택되며 끝 디지털 화상에서 하나의 화소가 선택된다. 처음 디지털 화상 내의 화소의 컬러와 끝 디지털 화상 내의 화소의 컬러 사이에 선형 보간이 수행되어, 처음 디지털 화상 및 끝 디지털 화상 간의 각 화상에 대해 보간된 컬러가 결정된다. 화상과 관련된 각 보간된 컬러에 대해, 소정의 범위의 컬러 내의 그 화상 내에서 하나의 화소가 검색된다. 화소가 검색되면, 각 화상은 재배치되어서 보간된 컬러를 갖는 화소의 어드레스가 처음 화상에서 선택된 화소의 어드레스에 위치된다.

소정의 실시예에서, 컬러 부합 범위는 제로일 수도 있으며 이에 따라 정확한부합이 검출될 필요가 있게 될 수도 있다. 트루 컬러(true color) 또는 16,700,000 컬러와 같은 대표적 컬러들의 수가 많아질수록, 제1 프레임 내의 하나의 화소의 부합이, 동일하거나 혹은 매우 유사한 컬러를 갖는 제2 프레임 내의 화소와 동일한 물리적 위치를 나타낼 가능성이 커진다. 컬러 부합 범위 내에 있는 화상 내에 컬러가 발견되지 않을 경우, 이 방법은 지난(historic) 정보에 근거하여 화상을 재배치하기 위한 표준화된 공식으로 디폴트될 수 있다.

이 방법은 또한 컴퓨터 시스템으로 구현될 수도 있으며, 이 방법이 컴퓨터 판독가능 코드로 구현되는 컴퓨터 시스템에서 사용하기 위한 컴퓨터 프로그램 제품 상에서 구현될 수도 있다. 또한, 이 방법은, 사용자 인터페이스, 프로세서, 및 관련 메모리를 포함하는 시스템으로 구현될 수도 있다. 이 프로세서는 사용자 인터페이스로부터 신호를 수신하기 위한 사용자 인터페이스 모듈을 포함한다. 이러한 구성에서, 사용자는, 처리될 비디오 시퀀스를 나타내는 사용자 인터페이스를 통해 프로세서에 신호를 전송하여, 예를 들어 컬러 부합 범위를 나타내고 화소 값을 선택하며 정렬 위치를 선택하게 된다. 이 프로세서는 또한, 제1 비디오 프레임으로부터의 화소 선택과 관련된 컬러의 컬러 범위 내에 있는 관련 컬러를 갖는 제2 프레임 내의 화소의 위치를 알아내기 위한 위치 확인 모듈을 포함한다. 이 프로세서는 또한, 제2 프레임의 위치 확인된 화소가 제1 비디오 프레임으로부터의 화소 선택과 동일한 어드레스인 어드레스를 갖도록 제2 비디오 프레임을 재차 어드레싱하기 위한 재배치 모듈과, 재차 어드레싱된 제2 비디오 프레임을 저장하기 위한 기억 모듈을 포함한다.

이하에서 사용되는 바와 같이, "비디오 시퀀스"라는 용어는, 표시 장치 상에 일시적으로 표시될 수도 있는 화상의 시퀀스의 디지털 표시임을 암시한다. 전형적으로, 비디오 시퀀스는 복수의 프레임을 포함하는데, 여기서 각 프레임은 개별적인 화상을 나타낸다. 프레임들은 더 세분화되어서, 프레임들이 일련의 화소들로 구성될 수도 있다. 이하의 설명에서 사용되는 바와 같이, "화소"라는 용어는 화상의 단일 점(point)을 의미할 것이다. 화상 내에 포함되는 화소들의 수가 많아질수록, 비디오의 해상도가 더 높아진다. 화상/프레임의 해상도는 전형적으로 다수의 화소들의 길이 및 폭 측정치가 참조되는 것이며, 예를 들어 800×600 해상도에서는, 화상의 길이 방향에 따라 800화소들이 존재하고 화상의 폭 방향에 따라 600화소들이 존재한다. 각 화소와 하나의 어드레스가 관련된다. 예를 들면, 도 1에 도시된 바와 같이, 800×600의 해상도를 갖는 화상이 존재하며 어드레스(200, 300)에서의 화소가 X로 표시되는데, 여기서 원점은 스크린의 상단 좌측 코너에 위치된다. 본 명세서에서 사용되는 바와 같이, 프레임은 완전 화상, 또는 완전 화상의 한쪽 반만 포함하는 필드와 같은 화상 부분일 수도 있다.

본 발명의 실시예에서, 디지털 비디오 시퀀스의 비디오 화상을 안정화하기 위한 방법이 제공되는데, 여기서 디지털 비디오 시퀀스는 다수의 디지털 화상들/프레임들을 포함한다. 컬러 허용치 내에 있는 한 컬러를 갖는 제2 프레임에서 화소를 검색함으로써 제1 프레임에서 선택된 화소 컬러의 컬러 부합을 통해서 안정화가실행된다. 제2 프레임은 이후 제1 프레임과 정렬되어 부합 컬러를 갖는 제2 프레임에 있는 화소가 제1 프레임으로부터 선택된 화소의 어드레스와 동일한 화소 어드레스를 갖도록 한다. 제2 프레임은 이후 메모리에 저장된다. 이 방법론은 표현될 수 있는 가능한 컬러들의 해상도 및 개수가 증가할 때에 특히 유용하다. 비디오가 화소 컬러 값에 대해 16,700,000 및 그 이상의 가능한 컬러를 갖는 HDTV 포맷으로 바뀜에 따라, 화소 컬러 값은 더 유일(unique)하게 되며, 따라서 컬러 추적은 화상들을 부합하고 화상들의 안정화를 제공하고 화상들의 움직임을 고려하는 데에 보다 효울적인 수단이 된다.

컬러 부합을 통한 화상 안정화 방법은 컴퓨터 시스템과 결합하여 실행되는데, 여기서 컴퓨터 시스템은 적어도 표시부, 입력 장치, 관련 메모리 및 프로세서를 포함한다. 이 방법은 도 2를 참조하여 보다 정규의 상세로 설명된다. 먼저 디지털 시퀀스가 메모리 위치(memory location)로부터 컴퓨터 시스템의 프로세서에 의해 검색된다(단계 200). 컬러 허용치는 프로세서에 의해 미리 결정되고 액세스되거나 또는 사용자가 컬러 허용치를 입력하도록 질문을 받는다(단계 210). 컬러 허용치는 컬러 부합이 일어나게 되어 있는 범위를 말한다. 이후 비디오 시퀀스의 제1 프레임이 사용자에게 표시된다. 그러면 사용자는 제1 프레임 내의 화소를 선택한다(단계 220). 양호하게는, 화소는 구별되는 컬러를 가지거나 또는 화소는 비디오 시퀀스 내에서 이동하는 대상체(object)의 일부분이고 비디오 시퀀스가 표시될 때 흐트러지게 나타난다. 화소가 선택된 후에, 프로세서는 화소와 관련된 컬러를 식별한다(단계 230). 프로세서는 이후 제2 프레임을 검색하고 제2 프레임에 대한 검색을 실행하여 컬러 허용치 내에서 제1 프레임으로부터 선택된 화소의 컬러과 동일한 컬러를 갖는 화소를 식별한다(단계 240). 컬러 부합은, 모든 컬러 성분을 갖는 화소에 대한 전체 컬러를 취함으로써, 또는 개별 컬러 성분에 가중치를 줌(weighting)으로써 실행될 수 있다. 예를 들어, 만약 비디오 시퀀스가 R,G,B, 컬러 공간에서 표현된다면, 동일한 컬러 부합(즉, 0%의 컬러 허용치를 갖는 것)이 R,G,B,값들의 각각이 동일한 것을 요구할 것이다. 컬러 허용치는 백분율로 산정된 컬러의 전체 차이일 수 있다. 예를 들어, 컬러 허용치는 0.005%일 수 있는데, 여기서 컬러 공간은 16,700,000 컬러들을 포함하고 또는 컬러 허용치는 각각의 컬러 성분이 선택된 화소의 각각의 R,G 및 B 값에 대해 말하자면 10%의 어떤 허용치 내에 있어야만 한다는 것을 요구할 수 있다. 일단 제2 프레임 내의 화소가 식별되었다면, 제2 프레임으로부터의 화소 어드레스는 제1 프레임의 선택된 화소의 화소 어드레스와 정렬된다(단계 250). 도 3A, 3B 및, 3C는 재배치되는 화소들을 표시하였다. 도 3A는 X로 마킹된 선택된 화소를 갖는 제1 프레임을 도시하였는데, 이것은 표시 장치에서 표시될 것이다. 도 3B는 제1 프레임으로부터의 선택된 화소를 부합하는 화소가 O으로 식별되는 제2 프레임이다. 도 3C는 제2 프레임의 표시된 화소들이 재배치되고 따라서 재차 어드레스되는 것을 도시하였다. 제2 프레임이 재배치되고 그에 따라 프레임의 모든 화소들의 어드레스들이 변화된 후에, 재정렬된 제2 프레임은 프로세서에 의해 메모리에 저장된다(단계 260). 이 처리는 비디오 시퀀스의 각각의 프레임에 대해 계속된다. 이 실시예에서, 제1 프레임으로부터의 선택된 화소의 컬러를 각각의 순차적인 프레임 내에서 검색될 것이다. 재정렬된 제2프레임의 몇몇의 화소 값들은 표시 장치 상에서 보여지지 않을 것이데 이는 이런 화소들의 새로운 어드레스들이 표시 어드레스들을 벗어나기 때문이라는 점을 주의해야 한다. 또한, 제2 재정렬된 프레임의 몇몇 표시 어드레스들은 화소들에 대해 컬러 값들을 갖지 않을 것이다. 일 실시예에서, 이런 화소 어드레스들은 블랙으로 된다. 그외의 실시예에서, 인접 화소 어드레스로부터의 컬러 값과 같은 디폴트 컬러 값들이 부여될 수 있다.

본 방법론은 도 4에 도시된 대로 더 자세히 설명된다. 앞서 표현된 대로, 비디오 시퀀스는 메모리 위치로부터 프로세서에 의해 수신된다. 제1 프레임은 사용자에게 제시된다. 사용자는 비디오 프레임 내의 탐색 영역을 규정한다(단계 401). 예를 들어, 사용자는 마우스 또는 광 펜 등의 입력 장치를 이용하여 탐색 영역을 그래픽적으로 표시할 수 있다. 일 실시예에서, 전체 비디오 프레임은 디폴트 탐색 영역이다. 전체 화상보다 작은 탐색 영역을 규정하는 것은 사용자가 화상 중 특정 부분에만 관심있는 경우일 때의 화상들에 대해 유리할 수 있다. 예를 들어, 비디오 시퀀스가 멀어지는 차량이고 사용자가 차량의 자동차 번호판에 관심이 있는 경우에, 사용자는 비디오 프레임의 하위 부분을 선택할 것이다. 본 예에서, 번호판 또는 차량의 일부분이 화상 중 선택된 서브세트인 것을 사용자는 표시할 것이다. 프레임들의 재정렬 후에 표시된 화상은 전체 비디오 프레임이거나 또는 프레임 중 선택된 서브세트일 수 있다.

정지 화상으로 만들어질 것을 바라게 되는 이동 대상체가 전체 프레임에 걸쳐서 이동하는 경우의 비디오 시퀀스에서, 번호판 등의 화상의 하위 부분의 선택은프레임들의 짧은 시퀀스 상에서 이뤄져야만 한다. 예를 들어, 전체 시퀀스가 120 필드들로 된 비디오(약 2초)이라면, 이 시퀀스는 단지 몇 개의 프레임들(예로 10 필드들)이 사용되도록 하위 분할될 수 있다. 차량 및 번호판은 이후 비교의 목적상 화상의 하위 부분으로 지정될 수 있는데, 이는 차량의 번호판이 10 필드들에 걸쳐서 많은 화소 위치들을 움직이지는 않을 것이기 때문이다. 하위 부분을 선택함으로써, 컬러 부합된 화소들이 실제로 동일한 물리적 지점을 나타내게 되는 가능성을 높이게 된다.

사용자는 또한 앞서 설명한대로 컬러를 부합하는 데에 허용가능한 에러 마진인 컬러 허용치에 대해 컴퓨터 시스템에 의해 프롬프트되는 식으로 문의를 받는다(단계 402). 사용자는 또한 표시 장치의 출력 스크린 상의 한 지점이 되는 정렬 점을 표시할 수 있는데, 이 지점에서 그 컬러의 추적 컬러와 최고로 부합되는 화소를 정렬시킬 수 있다(단계 403). 일 실시예에서, 디폴트는 표시 장치의 스크린의 중심인데, 표시부 상의 그외의 위치들도 선택될 수 있다. 사용자는 또한 추적될 컬러를 제공한다(단계 404). 이는 제 1비디오 프레임을 관측하고 사용자 입력 장치를 사용하여 화소를 선택함으로써 이뤄진다.

각각의 비디오 프레임에 대해(단계 420), 탐색 영역의 각각의 화소에 대한 컬러값들이 제1 비디오 프레임으로부터의 선택된 추적 컬러의 컬러값들과 비교된다(단계 430). 화소의 컬러 공간(예컨대, R,G,B)에 대한 컬러 값들이 입력된 허용치 내에 있다면, 화소는 부합이라고 여겨질 것이다(단계 440). 추적 컬러의 컬러 값들에 대한 적, 녹, 청의 컬러값들 사이의 차이들의 절대값들의 합이 가장 최소인 화소는 컬러 부합 점으로서 식별된다. 컬러 부합 점이 선택된 화소와 관련된 컬러공간 값들의 각각에 대해 입력된 허용치 내에 있다면, 프레임은 시프트되어 최고의 컬러 부합으로 식별된 화소가 스크린 상의 정렬 점에 배치되고 시프트된 프레임은 이후 출력되어 메모리에 기입된다(단계 450). 컬러 부합이 발견되지 않는다면, 화상은 소정의 공식에 따라 시프트된다(단계 460). 예를 들어, 과거의 시프트들을 분석하고 시프트들을 평균하여 비디오 데이터의 프레임을 어떻게 정렬할 지를 결정함으로써 시프트가 결정될 수 있다. 예를 들어, 화상은 x방향으로 미리 시프트된 거리들의 가중 평균에 의해 x방향으로 시프트될 수 있다. 비슷하게, y방향으로의 시프트는 y방향으로 미리 시프트된 거리들의 가중 평균일 수 있다.

그외의 실시예에서, 화상은 다음 공식에 따라서, 시프트될 수 있다.

xdiff=((sx1-sx2)+(sx2-sx3)+(sx3-sx4))/3*(sd), 및

ydiff=((sy1-sy2)+(sy2-sy3)+(sy3-sy4))/3*(sd),

여기서,

sx1 = 이전 횡방향 시프트,sy1= 이전 종방향 시프트,

sx2 = sx1 전의 횡방향 시프트,sy2 = sy1 전의 종방향 시프트,

sx3 = sx2 전의 횡방향 시프트,sy3 = sy2 전의 종방향 시프트,

sx4 = sx3 전의 횡방향 시프트,sy4 = sy3 전의 종방향 시프트,

sd는 저감 인자이다.

본 프레임이 이후 다음 식들에 의해 주어진 양만큼 시프트된다(단계 460).

횡방향 시프트 = sx1+xdiff, 및

종방향 시프트 = sy1+ydiff.

시프트된 프레임은 이후 출력되어 비디오 화상 저장소에 기입된다(단계 465).

입력 스트림이 추가의 프레임들을 포함한다면(단계 470), 다음 프레임이 처리된다(단계 420). 입력 스트림의 모든 프레임들이 일단 처리되었다면, 컬러 추적 동작이 종료된다.

비디오의 모든 프레임들이 컬러 추적을 이용하여 재배치되었다면, 프레임들의 시퀀스는 일시적으로 표시 장치 상에 표시될 수 있고 따라서 카메라 또는 대상체의 이동이 감소된다. 일시적 방식으로 비디오 프레임들을 표시하는 것 외에, 더 높은 해상도의 화상 또는 화상의 일부분을 제공하기 위해 비디오 프레임들은 선형 평균화될 수 있다. 예를 들어, 이동 중인 차량에 있는 것으로 흐트러짐 때문에 판독할 수 없는 번호판은 화상이 일단 안정화되었다면 판독될 수 있다. 그렇지 않다 하더라도, 모든 프레임들은 함께 선형 평균화될 수 있어서 향상된 화상을 제공할 수 있는 더 높은 해상도의 화상을 생성할 수 있는데, 여기서 번호판은 판독 가능하게 된다. 화상들을 하위 화소 해상도에 정밀하게 정렬함으로써 그리고 화상들을 함께 평균화함으로써, 더 높은 해상도의 화상이 생성될 수 있다. 이는 대상체의 몇개의 화상들이 포착될 때에 각각의 화상이 각 프레임에서의 약간씩 다른 대상체의 부분들을 나타낸다는 사실에 기인한 것이다. 일반적으로, 최소 세개에서 다섯개까지의 프레임들이 화상을 개선하는 데에 필요하다.

본 발명의 또 다른 실시예에 있어, 도 5에 설명된 바와 같은 컬러 부합과 결합하여 보간법이 사용된다. 그러한 실시예에 있어, 컴퓨터 시스템에 비디오 시퀀스가 제공된다(단계 500). 시스템의 사용자는 표시 장치에서 비디오 시퀀스를 볼 수 있고, 시작 프레임과 끝 프레임을 선택할 수 있게 된다(단계 501). 시작 프레임과 끝 프레임 모두에서 화소가 선택된다(단계 502). 바람직하게는, 시작 프레임과 끝 프레임에서 화소는 움직임 안정화(motion stabilization)가 요구되는 대상체 부분인 화소이다. 예를 들어, 화소는 이동 중인 차의 비디오 화상으로부터 선택될 수도 있다. 끝 프레임에서 화소는 도 6에 도시된 바와 같은 차 부분인 화소가 선택되어야 한다. 그 다음, 시스템은 시작 프레임에서 선택된 화소의 컬러 값과 끝 프레임에서의 화소의 컬러 값 사이를 보간한다(단계 503). 보간법은 선형(linear) 보간법, 양선형(bi-linear) 보간법, 및 3차(bi-cubic) 보간법과 같은, 당업자에게 공지된 임의의 보간법일 수도 있다. 보간법은 시작 프레임과 끝 프레임 사이에서 각각의 프레임에 대해 보간값을 제공한다. 예를 들어, 거기에 4개의 프레임이 존재한다면, 보간된 컬러 값은 제2 및 제3 프레임에 대해 결정된다. 시작 프레임과 끝 프레임 사이에서 각각의 프레임에 대해 컬러 값이 결정되면, 프로세서는 각각의 개별 프레임에서 컬러 값을 탐색하기 시작한다(단계 504). 프로세서는 컬러 부합 범위/컬러 허용치를 사용하여, 컬러 부합하는 화소의 위치를 알아낼 수 있다. 일 실시예에서, 프로세서는 정확한 컬러를 갖는 제1 화소를 탐색하고 컬러 허용치를 사용하지 않는다. 또 다른 실시예에서, 컬러 값 내에 있는 각 화소는 메모리에 보관되고, 상술된 바와 같은 차이 측정(difference measurement)은 가장 근접한 컬러 부합을 갖는 화소가 결정될 때까지 실행된다(단계 505). 부합된 화소들이 없다면,프로세서는 비디오 시퀀스의 경향 분석 또는 또 다른 속성에 기초한 상기 제공된 것과 동일한 공식이나 다른 공식을 이용한다(단계 506). 각 프레임에 대해 화소가 선택되면, 끝 프레임을 포함하는 시작 프레임 이후의 프레임들이 재정렬된다(단계 507). 재정렬은 각 화소의 관련 어드레스들이 재결정될 것을 요구하여, 비디오 시퀀스가 표시 장치에 표시될 때, 제1 프레임에서 선택된 화소의 화소 위치는 다음 프레임들 중, 컬러 값에 부합하는 화소에 대응한다. 예를 들어, 도 7A에 도시된 바와 같이, 화소는 시작 프레임에서 선택되고, 여기서, 나머지 프레임들은 그들이 정상적으로 표시되도록 정렬된다. 도 7B는 재정렬된 비디오 프레임을 도시하고, 시작 프레임에 이은 모든 프레임들로부터 선택된 컬러 부합된 화소들은 시작 프레임으로부터 선택된 화소와 같이 표시 화면 상의 동일한 지점에 위치된다. 시작 프레임과 끝 프레임 사이에, 전체 비디오 시퀀스보다 적게 포함된다면 이 공정이 반복될 수 있다.

화상 안정화를 위한 방법은 도 8에 도시된 바와 같은 시스템으로서 구현될 수 있다. 시스템(800)은 마우스, 트랙볼, 키보드 등과 같은 입력 장치(801), 비디오 표시부(802), 및 관련 메모리(804)를 구비하는 프로세서(803)를 포함한다. 프로세서는 다양한 모듈을 포함한다. 제1 모듈은 사용자 입력 장치로부터 신호를 수신하도록 동작하는 사용자 인터페이스 모듈(803A)이다. 사용자는 요청을 입력하여, 선택된 비디오 화상 시퀀스에서 화상 안정화를 수행할 수 있다. 사용자는 비디오 시퀀스의 제1 프레임을 볼 수 있고, 시퀀스 내에서 화소를 선택할 수 있으며, 여기서, 사용자 인터페이스 모듈(803A)은 이 정보를 수신하고, 선택된 화소의 컬러를 식별하는 위치 확인 모듈(803B)에 그 정보를 전송하고, 비디오 데이터의 제2 프레임을 액세스한다. 위치 확인 모듈(803B)은 제1 프레임에서 선택된 화소에 가장 근접한 컬러 부합 화소를 식별하기 위해, 제2 프레임의 데이터 값들을 탐색한다. 컬러 범위 내에 있는 화소가 발견되지 않으면, 그 다음 위치 확인 모듈(803B)은 상술한 바와 같은 선정된 공식에 디폴트한다. 화소가 식별되면, 화소는 제2 프레임 내의 모든 화소들을 재차 어드레싱하는 재배치 모듈(803C)에 위치되고, 그 결과 제2 프레임 내에 위치된 화소는 제1 프레임에서 선택된 화소와 동일한 표시 어드레스인 새로운 어드레스를 갖는다. 대응 화소 컬러 값에 따른 어드레스 정보는 기억 모듈(803D)에 의해 메모리에 저장된다.

여기 사용된 순서도는 본 발명의 다양한 양태를 설명하기 위한 것으로, 임의의 특정한 논리 흐름 또는 논리 구현으로 본 발명을 한정하기 위해 구성된 것이 아님에 유의해야 한다. 기술된 논리는, 전체 결과를 변경하지 않거나 본 발명의 실제 범주로부터 이탈하지 않는 한, 다른 논리 블럭들(예컨대, 프로그램들, 모듈들, 기능들, 또는 서브루틴들)로 나뉠 수도 있다. 때때로, 논리 소자들은, 전체 결과를 변경하지 않거나 본 발명의 범주로부터 이탈하지 않는 한, 추가되거나 수정되거나 생략되거나 다른 순서로 수행되거나 다른 논리 구조물(예컨대, 논리 게이트, 루핑 프리미티브, 조건부 논리, 및 그 외 논리 구조물)을 사용하여 구현될 수도 있다.

본 발명은 프로세서용 컴퓨터 프로그램(예컨대, 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서, 또는 범용 컴퓨터), 프로그램가능한 논리 장치용프로그램가능한 논리(예컨대, FPGA(Field Programmable Gate Array) 또는 그 외 PLD), 개별 컴포넌트, 집적 회로(예컨대, ASIC(Application Specific Integrated Circuit)), 또는 그들의 임의의 조합을 포함하는 임의의 다른 수단들을 포함하지만, 이에 한정된 방식이 아닌, 여러 다른 형태로 구현될 수 있다.

여기서 이전에 기술된 기능성의 전체 또는 일부를 구현하는 컴퓨터 프로그램 논리는, 소스 코드 형태, 컴퓨터 실행가능 형태, 및 다양한 중계 형태(예컨대, 어셈블러, 컴파일러, 링커, 또는 로케이터에 의해 생성된 형태들)를 포함하지만, 이에 한정된 방식이 아닌, 다양한 형태로 구현될 수 있다. 원시 코드(source code)는 다양한 운영 체제 또는 운영 환경에서 사용하기 위한 다양한 프로그래밍 언어(예컨대, 목적 코드(object code), 어셈블리 언어, 또는 포트란, C, C++, JAVA 또는 HTML과 같은 하이-레벨 언어) 중 임의의 것으로 구현된 일련의 컴퓨터 프로그램 명령을 포함할 수 있다. 원시 코드는 다양한 데이터 구조 및 통신 메시지를 정의하고 사용할 수 있다. 원시 코드는 컴퓨터 실행가능한 형태(예컨대, 해석기를 통해)일 수 있고, 또는 원시 코드는 컴퓨터 실행가능한 형태로 변환(예컨대, 번역기, 어셈블러, 또는 컴파일러를 통해)될 수도 있다.

컴퓨터 프로그램은, 반도체 메모리 장치(예컨대, RAM, ROM, PROM, EEPROM, 또는 플래시-프로그램가능 RAM), 자기 메모리 장치(예컨대, 디스켓 또는 고정 디스크), 광학적 메모리 장치(예컨대, CD-ROM), PC 카드(예컨대, PCMCIA 카드), 또는 그 외의 메모리 장치와 같은 유형 기억 매체에, 영구적 또는 일시적인 형태 중 하나인 임의의 형태로 고정될 수도 있다. 컴퓨터 프로그램은, 아날로그 기술, 디지털 기술, 광학적 기술, 무선 기술, 네트워킹 기술, 및 인터넷워킹 기술을 포함하지만, 이에 한정된 방식이 아닌, 다양한 통신 기술 중 임의의 것을 사용하는 컴퓨터에 전송가능한 신호에서 임의의 형태로 고정될 수도 있다. 컴퓨터 프로그램은 이동식(removable) 기억 매체와 같은 임의의 형태에, 인쇄된 또는 전자 문서(예컨대, 쉬링크 랩 소프트웨어 또는 자기 테이프)와 함께 배포될 수도 있고, 컴퓨터 시스템(예컨대, 시스템 ROM 또는 고정된 디스크 상에)에 사전 로드될 수도 있고, 또는 통신 시스템(예컨대, 인터넷 또는 월드 와이드 웹)을 거쳐 서버 또는 전자 게시판으로부터 배포될 수도 있다.

여기서 이전에 기술된 기능성의 전부 도는 일부를 구현하는 하드웨어 논리(프로그램 가능한 논리 장치용 프로그램 가능한 논리)는 전통적인 매뉴얼 법을 사용하여 설계될 수 있거나, CAD(Computer Aided Design), 하드웨어 기술 언어(예컨대, VHDL 또는 AHDL), 또는 PLD 프로그래밍 언어(예컨대, PALASM, ABEL, 또는 CUPL)와 같은 다응한 툴을 사용하여 설계, 포착, 시뮬레이트, 또는 전기적으로 문서화될 수도 있다.

본 발명은 본 발명의 실제 범주로부터 이탈하지 않는 한 다른 특정 형태로 구현될 수도 있다. 기술된 실시예들은 단지 예시적인 것으로서 제한적이지 않다는 것에 유의해야 한다.

Claims

복수의 화소를 갖는 제1 디지털 화상 및 복수의 화소를 갖는 적어도 제2 화상의 화상 안정화를 위한 방법 -각각의 화소는 표시(display)를 위한 관련 어드레스를 갖고 컬러(color)를 표현함- 으로서,

컬러 부합 범위(color match range)를 제공하는 단계와;

상기 제1 디지털 화상 내의 화소를 선택하는 단계와;

상기 제1 디지털 화상 내의 상기 선택된 화소와 관련된 컬러를 식별하는 단계와;

상기 제1 디지털 화상으로부터의 상기 화소와 관련된 컬러의 컬러 부합 범위 내에 있는 상기 제2 디지털 화상 내의 화소의 위치를 알아내는(locate) 단계와;

상기 제2 디지털 화상 내의 상기 화소의 어드레스가 상기 제1 디지털 화상 내의 상기 선택된 화소의 어드레스에 위치하도록, 상기 제2 디지털 화상을 재배치(reposition)하는 단계와;

상기 재배치된 제2 디지털 화상을 메모리에 저장하는 단계

를 포함하는 방법.
제1항에 있어서, 상기 제2 디지털 화상 내의 화소의 위치를 알아내기 위해 사용될 화상 영역을 선택하는 단계를 더 포함하는 방법.
제1항에 있어서, 상기 제1 디지털 화상과 상기 재배치된 제2 디지털 화상을 정렬하기 위한 정렬 점(alignment point)을 제공함으로써, 표시 장치 상에 표시될 때 상기 제1 프레임의 상기 화소가 상기 정렬 점과 정렬되고 상기 제2 디지털 화상 내의 상기 화소가 상기 정렬 점과 정렬되도록, 정렬 점을 제공하는 단계를 더 포함하는 방법.
제1항에 있어서, 상기 제1 디지털 화상과 상기 재배치된 제2 디지털 화상을 표시 장치 상에 연속하여 표시하는 단계를 더 포함하는 방법.
화상들의 디지털 시퀀스(digital sequence of images)의 화상 안정화를 위한 방법 -각각의 화상은 복수의 화소를 갖고 각각의 화소는 표시를 위한 관련 어드레스를 갖고 컬러를 표현함- 으로서,

상기 시퀀스로부터 처음(beginning) 디지털 화상과 끝(ending) 디지털 화상을 선택하여 서브세트 시퀀스를 생성하는 단계와;

상기 처음 디지털 화상 내의 화소와 상기 끝 디지털 화상 내의 화소를 선택하는 단계와;

상기 처음 디지털 화상과 상기 끝 디지털 화상 사이의 각각의 화상에 대해 보간(interpolate)된 컬러가 결정되도록, 상기 처음 디지털 화상 내의 상기 화소의 컬러와 상기 끝 디지털 화상 내의 상기 화소의 컬러 사이를 선형적으로 보간하는 단계와;

한 화상과 관련된 각각의 보간된 컬러에 대하여, 해당 화상 내에서, 소정의 컬러 범위 내의 상기 보간된 컬러를 갖는 화소를 탐색하는 단계와;

한 화상 내의 상기 보간된 컬러를 갖는 화소의 어드레스가 상기 처음 디지털 화상에서 선택된 화소의 어드레스에 위치하도록, 상기 처음 디지털 화상과 상기 끝 디지털 화상 사이의 각각의 화상을 재배치하는 단계

를 포함하는 방법.
제5항에 있어서, 표시 장치 상에 적어도 상기 서브세트 시퀀스를 표시하는 단계를 더 포함하는 방법.
제5항에 있어서, 상기 제2 화상 내의 화소의 위치를 알아내기 위해 사용될 화상 영역을 선택하는 단계를 더 포함하는 방법.
제5항에 있어서, 상기 제1 디지털 화상과 상기 재배치된 제2 디지털 화상을 정렬하기 위한 정렬 점을 제공함으로써, 표시 장치 상에 표시될 때 상기 제1 프레임의 상기 화소가 상기 정렬 점과 정렬되고 상기 제2 디지털 화상 내의 상기 화소가 상기 정렬 점과 정렬되도록, 정렬 점을 제공하는 단계를 더 포함하는 방법.
제5항에 있어서, 상기 서브세트 시퀀스는 상기 시퀀스 내의 모든 화상을 포함하는 방법.
제1항에 있어서, 상기 컬러 부합 범위는 동일한 컬러 부합을 필요로 하는 방법.
제5항에 있어서, 상기 소정의 범위는 동일한 컬러 부합을 필요로 하는 방법.
제1항에 있어서, 상기 화소 컬러들을 표현하기 위해 수백만 개의 컬러를 갖는 컬러 공간이 사용되는 방법.
제5항에 있어서, 상기 화소 컬러들은 수백만 개의 컬러를 갖는 컬러 공간에서 표현되는 방법.
제1항에 있어서, 만일 화소가 상기 컬러 부합 범위 내에 위치하지 않으면, 상기 제2 프레임의 화소들을 재배치하기 위한 소정의 공식을 적용하는 단계를 더 포함하는 방법.
제5항에 있어서, 만일 화소가 상기 컬러 부합 범위 내에 위치하지 않으면, 상기 제2 프레임의 화소들을 재배치하기 위한 소정의 공식을 적용하는 단계를 더 포함하는 방법.
제1항에 있어서, 컬러 부합 범위를 나타내는 정보를 포함하는 신호를 수신하는 단계를 더 포함하는 방법.
제5항에 있어서, 컬러 부합 범위를 나타내는 정보를 포함하는 신호를 수신하는 단계를 더 포함하는 방법.
시간적으로 표시된 디지털 비디오 화상들의 시퀀스의 화상 안정화를 위한 방법 -각각의 화상은 다수의 화소를 포함하고 각각의 화소는 관련된 표시 위치를 가짐- 으로서,

상기 디지털 비디오 화상들의 시퀀스의 제1 화상 내에 포함된 화소와 관련된 컬러를 나타내는 정보를 포함하는 신호를 수신하는 단계와;

상기 제1 화상 내에 포함된 컬러로부터 임계 범위 내의 컬러 값을 갖는 제2 화상 내의 화소를 식별하는 단계 -상기 임계치는 0을 포함하는 임의의 값일 수 있음- 와;

시간적으로 표시될 때 상기 임계 범위 내의 컬러 값을 갖는 상기 제2 화상 내의 화소가 상기 제1 화상으로부터의 화소와 동일 위치에 있도록 상기 제2 화상을 재배치하는 단계

를 포함하는 방법.
제18항에 있어서, 컬러 부합 범위를 나타내는 정보를 포함하는 신호를 수신하는 단계를 더 포함하는 방법.
시간적으로 표시된 디지털 비디오 화상들의 시퀀스의 화상 안정화를 위한 방법 -각각의 화상은 다수의 화소를 포함하고 각각의 화소는 관련된 표시 위치를 가짐- 으로서,

상기 디지털 비디오 화상들의 시퀀스의 제1 화상 내에 포함된 화소와 관련된 컬러를 나타내는 정보를 포함하는 신호를 수신하는 단계와;

제3 디지털 화상에 포함된 컬러를 나타내는 신호를 수신하는 단계와;

상기 제1 디지털 비디오 화상 내의 컬러와 상기 제3 디지털 비디오 화상 내의 컬러 사이를 보간하여 제2 디지털 비디오 화상 내의 탐색 가능한 컬러를 결정하는 단계와;

상기 탐색 가능한 컬러로부터 임계 범위 내의 컬러 거리(color distance)를 갖는 상기 제2 디지털 비디오 화상 내의 화소를 식별하는 단계 -상기 임계치는 0을 포함하는 임의의 값일 수 있음- 와;

표시 장치 상에 표시될 때 상기 임계 범위 내의 컬러 거리를 갖는 상기 제2 화상 내의 화소가 상기 제1 화상으로부터의 화소와 동일 위치에 있도록 상기 제2 화상을 재배치하는 단계

를 포함하는 방법.
복수의 비디오 프레임을 갖는 비디오 시퀀스의 화상 안정화를 위한 시스템으로서,

사용자 인터페이스와;

프로세서를 포함하고,

상기 프로세서는 상기 사용자 인터페이스로부터의 신호들을 수신하기 위한 사용자 인터페이스 모듈을 포함하고,

상기 신호들은 제1 비디오 프레임 내의 화소 선택을 나타내는 신호를 포함하고,

상기 프로세서는 또한, 상기 제1 비디오 프레임으로부터의 화소 선택과 관련된 컬러의 컬러 범위 내에 있는 관련 컬러를 갖는 제2 프레임 내의 화소의 위치를 알아내기 위한 위치 확인 모듈(location module)과,

상기 제2 프레임의 위치 확인된 화소(located pixel)가 상기 제1 비디오 프레임으로부터의 화소 선택과 동일 어드레스인 어드레스를 갖도록 상기 제2 비디오 프레임을 재차 어드레싱(readdressing)하기 위한 재배치 모듈(repositioning module)과;

상기 재차 어드레싱된 제2 비디오 프레임을 저장하기 위한 기억 모듈

을 포함하는 시스템.
제21항에 있어서, 메모리를 더 포함하는 시스템.
복수의 화소를 갖는 제1 디지털 화상 및 복수의 화소를 갖는 적어도 제2 화상의 화상 안정화를 위한 컴퓨터 코드를 포함하는 컴퓨터 프로그램을 갖는 컴퓨터 프로그램 제품 -각각의 화소는 표시를 위한 관련 어드레스를 갖고 컬러를 표현함- 으로서, 상기 컴퓨터 코드는,

컬러 부합 범위를 제공하기 위한 컴퓨터 코드와;

상기 제1 디지털 화상 내의 화소를 선택하기 위한 컴퓨터 코드와;

상기 제1 디지털 화상 내의 상기 선택된 화소와 관련된 컬러를 식별하기 위한 컴퓨터 코드와;

상기 제1 디지털 화상으로부터의 상기 화소와 관련된 컬러의 컬러 부합 범위 내에 있는 상기 제2 디지털 화상 내의 화소의 위치를 알아내기 위한 컴퓨터 코드와;

상기 제2 디지털 화상 내의 상기 화소의 어드레스가 상기 제1 디지털 화상 내의 상기 선택된 화소의 어드레스에 위치하도록, 상기 제2 디지털 화상을 재배치하기 위한 컴퓨터 코드와;

상기 재배치된 제2 디지털 화상을 메모리에 저장하기 위한 컴퓨터 코드

를 포함하는 컴퓨터 프로그램 제품.
제23항에 있어서, 상기 제2 디지털 화상 내의 화소의 위치를 알아내기 위해 사용될 화상 영역을 사용자가 선택할 수 있게 하기 위한 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
제23항에 있어서, 사용자가, 상기 제1 디지털 화상과 상기 재배치된 제2 디지털 화상을 정렬하기 위한 정렬 점을 제공함으로써, 표시 장치 상에 표시될 때 상기 제1 프레임의 상기 화소가 상기 정렬 점과 정렬되고 상기 제2 디지털 화상 내의 상기 화소가 상기 정렬 점과 정렬되도록, 정렬 점을 제공할 수 있게 하기 위한 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
제23항에 있어서, 상기 제1 디지털 화상과 상기 재배치된 제2 디지털 화상을 표시 장치 상에 연속하여 표시하기 위한 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
화상들의 디지털 시퀀스의 화상 안정화를 위한 컴퓨터 판독 가능한 코드를 갖는, 컴퓨터와 함께 사용되는 컴퓨터 프로그램 제품 -각각의 화상은 복수의 화소를 갖고 각각의 화소는 표시를 위한 관련 어드레스를 갖고 컬러를 표현함- 으로서, 상기 컴퓨터 판독 가능한 코드는,

사용자가, 상기 시퀀스로부터 처음 디지털 화상과 끝 디지털 화상을 선택하여 서브세트 시퀀스를 생성할 수 있게 하기 위한 컴퓨터 코드와;

사용자가, 상기 처음 디지털 화상 내의 화소와 상기 끝 디지털 화상 내의 화소를 선택할 수 있게 하기 위한 컴퓨터 코드와;

상기 처음 디지털 화상과 상기 끝 디지털 화상 사이의 각각의 화상에 대해 보간된 컬러가 결정되도록, 상기 처음 디지털 화상 내의 상기 화소의 컬러와 상기끝 디지털 화상 내의 상기 화소의 컬러 사이를 선형적으로 보간하기 위한 컴퓨터 코드와;

한 화상과 관련된 각각의 보간된 컬러에 대하여, 해당 화상 내에서, 소정의 컬러 범위 내의 상기 보간된 컬러를 갖는 화소를 탐색하기 위한 컴퓨터 코드와;

한 화상 내의 상기 보간된 컬러를 갖는 화소의 어드레스가 상기 처음 디지털 화상에서 선택된 화소의 어드레스에 위치하도록, 상기 처음 디지털 화상과 상기 끝 디지털 화상 사이의 각각의 화상을 재배치하기 위한 컴퓨터 코드

를 포함하는 컴퓨터 프로그램 제품.
제27항에 있어서, 표시 장치 상에 적어도 상기 서브세트 시퀀스를 표시하기 위한 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
제27항에 있어서, 상기 제2 화상 내의 화소의 위치를 알아내기 위해 사용될 화상 영역을 사용자가 선택할 수 있게 하기 위한 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
제27항에 있어서, 사용자가, 상기 제1 디지털 화상과 상기 재배치된 제2 디지털 화상을 정렬하기 위한 정렬 점을 선택함으로써, 표시 장치 상에 표시될 때 상기 제1 프레임의 상기 화소가 상기 정렬 점과 정렬되고 상기 제2 디지털 화상 내의 상기 화소가 상기 정렬 점과 정렬되도록, 정렬 점을 선택할 수 있게 하기 위한 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
제27항에 있어서, 상기 서브세트 시퀀스는 상기 시퀀스 내의 모든 화상을 포함하는 컴퓨터 프로그램 제품.
제27항에 있어서, 상기 컬러 부합 범위는 동일한 컬러 부합을 필요로 하는 컴퓨터 프로그램 제품.
제23항에 있어서, 상기 소정의 범위는 동일한 컬러 부합을 필요로 하는 컴퓨터 프로그램 제품.
제27항에 있어서, 상기 화소 컬러들을 표현하기 위해 수백만 개의 컬러를 갖는 컬러 공간이 사용되는 컴퓨터 프로그램 제품.
제23항에 있어서, 상기 화소 컬러들은 수백만 개의 컬러를 갖는 컬러 공간에서 표현되는 컴퓨터 프로그램 제품.
제27항에 있어서, 만일 화소가 상기 컬러 부합 범위 내에 위치하지 않으면, 상기 제2 프레임의 화소들을 재배치하기 위한 소정의 공식을 적용하기 위한 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
제23항에 있어서, 만일 화소가 상기 컬러 부합 범위 내에 위치하지 않으면, 상기 제2 프레임의 화소들을 재배치하기 위한 소정의 공식을 적용하기 위한 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
제23항에 있어서, 컬러 부합 범위를 나타내는 정보를 포함하는 신호를 수신하기 위한 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
제27항에 있어서, 컬러 부합 범위를 나타내는 정보를 포함하는 신호를 수신하기 위한 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
시간적으로 표시된 디지털 비디오 화상들의 시퀀스의 화상 안정화를 위한 컴퓨터 판독 가능한 코드를 갖는, 컴퓨터와 함께 사용되는 컴퓨터 프로그램 제품 -각각의 화상은 다수의 화소를 포함하고 각각의 화소는 관련된 표시 위치를 가짐- 으로서, 상기 컴퓨터 코드는,

상기 디지털 비디오 화상들의 시퀀스의 제1 화상 내에 포함된 화소와 관련된 컬러를 나타내는 정보를 포함하는 신호를 수신하기 위한 컴퓨터 코드와;

상기 제1 화상 내에 포함된 컬러로부터 임계 범위 내의 컬러 값을 갖는 제2 화상 내의 화소를 식별하기 위한 컴퓨터 코드 -상기 임계치는 0을 포함하는 임의의 값일 수 있음- 와;

상기 임계 범위 내의 컬러 값을 갖는 상기 제2 화상 내의 화소가 상기 제1 화상으로부터의 화소와 동일 위치에 있도록 상기 제2 화상을 재배치하기 위한 컴퓨터 코드

를 포함하는 컴퓨터 프로그램 제품.
제40항에 있어서, 컬러 부합 범위를 나타내는 정보를 포함하는 신호를 수신하기 위한 컴퓨터 코드를 더 포함하는 컴퓨터 프로그램 제품.
시간적으로 표시된 디지털 비디오 화상들의 시퀀스의 화상 안정화를 위한 컴퓨터 판독 가능한 코드를 갖는, 컴퓨터와 함께 사용되는 컴퓨터 프로그램 제품 -각각의 화상은 다수의 화소를 포함하고 각각의 화소는 관련된 표시 위치를 가짐- 으로서, 상기 컴퓨터 코드는,

상기 디지털 비디오 화상들의 시퀀스의 제1 화상 내에 포함된 화소와 관련된 컬러를 나타내는 정보를 포함하는 신호를 수신하기 위한 컴퓨터 코드와;

제3 디지털 화상에 포함된 컬러를 나타내는 신호를 수신하기 위한 컴퓨터 코드와;

상기 제1 디지털 비디오 화상 내의 컬러와 상기 제3 디지털 비디오 화상 내의 컬러 사이를 보간하여 제2 디지털 비디오 화상 내의 탐색 가능한 컬러를 결정하기 위한 컴퓨터 코드와;

상기 탐색 가능한 컬러로부터 임계 범위 내의 컬러 거리를 갖는 상기 제2 디지털 비디오 화상 내의 화소를 식별하기 위한 컴퓨터 코드 -상기 임계치는 0을 포함하는 임의의 값일 수 있음- 와;

표시 장치 상에 표시될 때 상기 임계 범위 내의 컬러 값을 갖는 상기 제2 화상 내의 화소가 상기 제1 화상으로부터의 화소와 동일 위치에 있도록 상기 제2 화상을 재배치하기 위한 컴퓨터 코드

를 포함하는 컴퓨터 프로그램 제품.