KR100327852B1 - 화상일치검출장치및화상일치검출방법 - Google Patents

Abstract

저정밀도 화상일치 검출수단은 고해상도 화상과 저해상도 화상의 화상 데이터의 위치관계를 카메라 위치를 기준해서 예측한 대응화소 위치, 즉 초기 위치로서 주어지게된다. 블록 매칭 처리수단은 저해상도 화상내에 설정된 임의의 범위의 블록에 대응하는 탐색범위를 상기 초기 위치에 대응해서 설정하고, 상기 임의의 범위의 블록에 대응하는 상기 고해상도 화상상의 블록을 상기 탐색 범위내예서 대역적으로 탐색해서 일치영역의 후보를 찾아내고, 또한 저해상도 화상과 고해상도 화상의 각각의 화소간은 보간하는 것에 의해서 설정한 블록과 탐색범위내의 블록과의 유사성을 고정밀도로써 평가하고, 일치된 화상을 검출한다. 그것을 위해, 다른 포맷 예를 들면, 화각이 다른 화상에 데응해서 쌍방의 화소 위치가 다르게된 화상이어도 화상 또는 화상의 일치를 검출할 수 있다.

Description

화상일치 검출장치 및 화상일치 검출방법

일반적으로 화상의 디지털 신호 처리에 있어서 같은 카메라 시스템으로 촬상된 화상을 사용해서 한편의 촬영 화상과 다른편의 촬영 화상과의 일치를 도모하는 방법이다. 이 방법은 움직임량 검출로 알려지는 블럭 매칭법이다.

이 블럭 매칭법은 먼저 한편의 촬영화상 위에 소정의 크기의 블럭을 설정한다. 또 상기 다른편의 촬영화상 위에는 설정한 블럭을 탐색하기 위한 탐색 범위를 설정한다. 화상 일치의 평가는 상기 블럭과 상기 탐색 범위내의 탐색블럭이 유사성을 갖는가 아니갖는가에 따라 행하고 있다. 블럭 매칭법은 이 일련의 처리를 화면 전체에 행하여 한편의 촬영화상과 다른편의 촬영화상이 일치하느냐 아니하느냐가 검출되고 있다.

이 경우 사용하는 촬영화상이 상술한 바와같은 카메라 시스템에서 촬영한 화상이므로 각 화상은 화각 포맷 즉 종횡비가 일치하여 있고 화상내의 각 화소가 각각 1대 1의 관계로 되어 있다. 이 때문에 각 화상의 신호 특성 특히 휘도 신호에은 차이가 생기지 아니한다. 결과로서 블럭 매칭법에서는 희망하는 각 화상에 대한 일치 검출을 용이하게 행하고 있다.

그런데 동일 피사체를 같은 카메라 시스템에서의 촬영이 아니고 다른 카메라시스템에서 촬영하였을 때 상술한 바와 같은 한편의 화상과 다른편의 화상의 일치검출은 간단하게 행할 수가 없다. 이 원인은 다른 카메라 시스텐의 화각 포맷이 일치하지 아니하기 때문에 즉 한편의 화상의 블럭의 화소 위치에 대한 다른편의 화상의 탐색 범위내의 화소 위치가 일치하지 아니하기 때문에 일어난다.

이밖에 서로 다른 카메라 시스템은 서로 사양이 다르기 때문에 예를 들면 사용하는 카메라의 광학 필터가 다르거나 촬상한 화상의 노이즈 특성에도 차이를 일으켜 버린다. 이와 같은 사양이 다른 카메라 시스템으로 촬영하므로서 각각의 출력 신호 특성의 차이가 현저해진다. 특히 해상도가 다른 카메라 시스템으로 촬열한 화상간에는 정량적으로 휘도 신호의 레벨 분포와 신호간의 동적 범위에 차이가 생긴다. 이 때문에 다른 포맷에서 촬영한 화상간의 일치를 검출하려 해도 화상을 구성하는 화소 위치가 일치하지 아니하는 것과 출력 화상간의 특성이 일치하지 아니하므로서 완전하게 일치한 화상의 검출이 불가능했다.

본 발명은 다른 포맷 예를 들면 화각이 다른 화상에 의해 쌍방의 화상 위치가 달라져 버리는 화상이라도 화상 혹은 화소의 일치를 검출할 수 잇는 화소 일치검출장치 및 화상일치 검출방법의 제공을 목적으로 한다.

발명의 개시

본 발명에 관한 화상검출장치는 제 1 의 화소수로 형성되는 제 1 의 촬상소자가 출력하는 제 1 의 화상과 제 2 의 화소수로 형성되는 제 2 의 촬상소자가 출력하는 제 2 의 화상과의 각 화소간의 일치 관계를 검출하는 화상일치 검출장치에서 상기 제 1 및 제 2 의 화상의 기준위치에 의거해서 저정밀도의 화소 맞춤을 하는 저정밀도 화상일치 검출수단과, 상기 저정밀도 화상일치 검출수단의 검출결과에 의해 제 1 의 화상 위에서의 블럭에 대응하는 탐색 범위를 상기 제 2 의 화상 위에 설정하고 상기 제 1 의 화상 위의 블럭에 매칭하는 제 2 의 화상 위의 블럭을 상기 탐색 범위내에서 탐색하는 블럭매칭 처리를 하는 블럭매칭 처리 수단을 갖춘 것을 특징으로 한다.

이 경우 상기 블럭 매칭 처리수단은 상기 제 1 및 제 2 의 화상의 각 화소간의 데이타를 보간에 의해 생성한 후에 상기 블럭 매칭 처리를 행하는 깃을 특징으로 한다.

또 상기 제 1 의 화상을 저해상도 화상으로 하여 상기 제 2 의 화상을 고해상 화상으로 할 때 상기 블럭 매칭 처리수단은 상기 저정밀도 화상일치 검출수단의 검출결과에 의해 상기 저해상도 화상 위에서의 블럭에 대응하는 탐색 범위를 상기 고해상도 화상 위에 설정하고 상기 저해상도 화상 위의 블럭에 매칭하는 상기 고해상도 화상 위의 블럭을 상기 탐색 범위내에서 대역적으로 탐색해서 후보(candidate)를 찾아내어 다시 상기 저해상도 화상과 상기 고해상도 화상의 각각의 화소간을 보간하므로서 설정한 블럭과 탐색 범위내의 블럭과의 유사성을 고정밀도로 평가하여 일치되는 화상을 검출하는 것을 특징으로 한다.

또 상기 제 1 및 제 2 의 촬상소자는 같은 피사체를 촬상하는 것을 특징으로 한다.

또 상기 피사체에는 기준의 화소 위치를 표시하는 마커가 붙여져 있는 것을 특징으로 한다.

또 본 발명에 관한 화상일치 검출장치는 상기 제 1 의 화소수로 형성되는 제 1 의 촬상소자가 출력하는 제 1 의 화상과 제 2 의 화소수로 형성되는 제 2 의 촬상소자가 출력하는 제 2 의 화상과의 각 화소간의 일치 관계를 검출하는 화상일치 검출장치에서, 상기 제 1 및 제 2 의화상의 기준 위치에 의거해서 저정밀도의 화소맞춤을 행하는 저정밀도 화상일치 검출수단과, 상기 저정밀도 화상일치 검출수단의 검출결과에 의해 상기 제 1 및 제 2 의 화상을 이 제 2 의 화상 위에 탐색범위를 설정해서 대역적으로 탐색(search)해서 각각의 주목점을 선정하고 이 주목점을 포함하는 대응 블럭을 상기 제 1 및 제 2 의 화상에 설정해서 이들의 휘도신호의 평균 레벨 또는 표준편차가 일치하도록 보정한 후에 상기 대응 블럭에 블럭 매칭 처리를 실시하는 블럭 매칭 처리수단을 갖춘 것을 특징으로 한다.

이경우 상기 블럭매칭 처리 수단은 상기 대응 블럭을 n회 계층적으로 적게하면서 휘도신호의 평균 레벨의 차의 검출 및 보정 또는 휘도 신호의 표준편차 비의 검출 및 보정과 블럭매칭 처리를 n 회 반복하는 것을 특징으로 한다.

또 상기 블럭매칭 처리수단은 상기 제 1 및 제 2 의 화상의 각 화소간의 데이타를 보간에 의해 생성한 후에 상기 블럭 매칭 처리를 하는 것을 특징으로 한다.

또 상기 제 1 및 제 2 의 촬상 소자는 같은 피사체를 촬상하는 것을 특징으로 한다.

또 상기 피사체에는 기준의 화소 위치를 표시하는 마커가 붙여있는 것을 특징으로 한다.

또 본 발명에 관한 화상일치 검출장치는 제 1 의 화소수로 형성되는 제 1 의 촬상소자가 출력하는 제 1 의 화상과 제 2 의 화소수로 되는 제 2 의 촬상소자는 출력하는 제 2 의 화상과의 각 화소간의 일치관계론 검출하는 화상일치 검출장치에서, 상기 제 1 및 제 2 의 화상의 기준 위치에 의거해서 저정밀도의 화소 맞춤을 하는 저정밀도 일치 검출 수단과, 상기 저정밀도 화상일치 검출수단의 검출결과에 의해 제 1 및 제 2 의 화상을 대역적으로 탐색(search)해서 각각의 주목점을 선정하고 이 주목점을 포함하는 대응 블럭을 각각 설정한 후에 이 대응블럭을 단계적으로 크게 하면서 상기 제 1 의 화상내의 블럭과 상기 제 2 의 화상내의 블럭의 휘도신호 평균레벨 차 또는 표준편차 비를 구하고 이 차 또는 비가 수렴하였을 때의 차 또는 비의 값을 사용해서 상기 대응블럭내의 휘도신호 평균레벨 또는 표준편차를 보정하여 단계적인 복수의 블럭이 큰 블럭으로부터 적은 블럭으로 차례로 매칭 처리를 실시하여 블럭 매칭 처리수단을 갖춘 것을 특징으로 한다.

이 경우 상기 블럭 매칭 처리수단은 상기 제 1 및 제 2 좌 화상의 각 화소간의 데이타를 보간에 의해 생성한 후에 상기 블럭 매칭 처리를 하는 것을 특징으로 한다.

또 상기 제 1 및 제 2 의 촬상소자는 같은 피사체를 촬상하는 것을 특징으로 한다.

또 상기 피사체에는 기준의 화소 위치를 표시하는 마커가 붙어있는 것을 특징으로 한다.

또 본 발명에 관한 화상일치 검출방법은 해상도가 다른 카메라로 촬영한 각 정지화상의 일치를 검출하는 화상일치 검출방법에서, 저해상도 화상내에 소정의 크기의 블럭을 설정하는 블럭 설정 단계과, 고해상도 화상 위에 상기 블럭에 대응하는 탐색범위를 설정하는 탐색범위 설정단계과, 상기 탐색범위를 대역적으로 탐색해서 후보를 찾아내어 후보 탐색단계과, 이들 고해상도 화상과 저해상도 화상의 각각의 화소간을 보간하므로서 설정한 블럭과 탐색 범위내의 블럭과의 유사성을 고정밀도로 평가하고 일치되는 화상을 검출하는 블럭일치 검출단계를 갖춘 것을 특징으로 한다.

이 경우 상기 화상 일치 검출 처리를 하기 전에 고해상도 화상과 저해상도 화상의 휘도신호레벨의 평균치 또는 표준편차를 화면 전체에서 일치시켜 블럭 단위의 일치 검출을 할 때에 재차 국소적인 대응 블럭 단위에 휘도신호레벨의 평균치 또는 표준편차를 일치시키는 것을 특징으로 한다.

또 상기 블럭일치 검출단계에서 고해상도 화상과 저해상도 화상의 블럭간의 유사성을 평가하는 방법으로서 블럭간의 상관계수를 사용해서 평가하는 것을 특징으로 한다.

또 상기 블럭일치 검출단계에서 고해상도 화상과 저해상도 화상의 블럭간의 유사성을 평가하는 방법으로서 블럭간의 차분의 절대치합을 사용해서 평가하는 것을 특징으로 한다.

또 상기 블럭일치 검출단계에서 고해상도 화상과 저해상도 화상의 블럭간의 유사성을 평가하는 방법으로서 블럭간의 차분의 2 거듭제곱을 사용해서 평가하는 것을 특징으로 한다.

또 본 발명에 관한 화상일치 검출방법은 해상도가 다른 카메라로 촬영한 각 정지 화상의 일치를 검출하는 화상 일치 검출방법에서 저해상도 화상내에 소정의 크기의 블럭을 설정하는 블럭설정 단계과, 고해상도 화상 위에 상기 블럭에 대응하는 탐색범위를 설정하는 탐색범위 설정 단계와 상기 탐색범위를 대역적로 탐색해서 후보를 찾아내는 후보 탐색 단계과, 상기 후보 탐색 단계으로 탐색한 후보를 포함하는 대응 블럭을 저해상도 및 고해상도의 화상에 설정해서 이들의 휘도 신호 평균 레벨 또는 표준편차가 일치하도록 보정한 후에 상기 대응블럭의 유사성을 고정밀도로 평가하고 일치되는 화상을 검출하는 블럭일치 검출단계를 갖춘 것을 특징으로 한다.

이 경우 상기 블럭일치 검출단계는 상기 대응 블럭을 n회 계층적으로 적게하면서 휘도신호의 평균레벨의 차의 검출 및 보정 또는 휘도신호의 표준편차의 비의 검출 및 보정과 블럭매칭 처리를 n회 되풀이 하는 것을 특징으로 한다.

또 상기 블럭일치 검출단계는 각 계층마다 매칭시의 평가치를 종합적으로 판정하여 매칭 후보 화소의 보정을 하는 것을 특징으로 한다.

또 상기 블럭일치 검출단계는 상위 계층의 평가치를 하위 계층의 평가치에 적용할 때 하위 계층의 평가 대상 회소 위치에 대응하는 상위 계층의 평가치가 존재하도록 매칭때의 블럭 크기와 탐색 영역을 조정하는 것을 특징으로 한다.

또 본 발명에 관한 화상일치 검출방법은 해상도가 다른 카메라로 촬영한 각 정지화상의 일치를 검출하는 화상일치 검출방법에서 저해상도 화상내에 소정의 크기의 블럭을 설정하는 블럭 설정단계과, 고해상도 화상 위에 상기 블럭에 대응하는 탐색범위를 설정하는 탐색범위 설정단계과, 상기 탐색범위를 대역적으로 탐색해서 후보를 찾아내는 후보 탐색 단계와 상기 후보 탐색단계예서 탐색한 후보를 포함하는 대응 블럭을 각각 설정한 후에 이 대응 블럭을 단계적으로 크게 하면서 상기 저해상도 화상내의 블럭과 상기 고해상도 화상내의 블럭의 휘도신호 펑균레벨 또는 표준편차의 비를 구하고 이 차 또는 이 비가 수렴하였을 떼의 차 또는 비의 값을 써서 계층적인 복수의 블럭의 크기 블럭에서 적은 블럭으로 차례로 매칭 처리를 하고 일치되는 화상을 검출하는 블럭일치 검출단계를 갖춘 것을 특징으로 한다.

이 경우 상기 블럭일치 검출단계는 상기 제 1 및 제 2 의 화살의 각 화소간의 데이타를 보간에 의해 생성한 후에 상기 후보탐색 단계으로 탐색한 후보를 포함하는 대응블럭을 각각 설정하고 이 대응 블럭을 단계적으로 크게 하면서 상기 저해상도 화상내의 블럭과 상기 고해상도 화상내의 블럭의 휘도신호 평균레벨 또는 표준편차의 비를 구해서 이 차 또는 비가 수렴하였을 때의 차 또는 비의 값을 사용해서 계층적인 복수의 블럭이 큰 블럭으로부터 적은 블럭으로 차례로 매칭 처리를 실시하고 일치되는 화상을 검출하는 것을 특징으로 한다.

도면의 간단한 설명

제 1 도는 본 발명의 제 1 의 실시예의 화상일치 검출장치의 기능 구성을 도시한 기능 블럭도.

제 2 도는 본 발명의 제 1 의 실시예의 화상일치 검출장치의 기능 블럭중의 앞처리부분에 대응하는 회로구성을 도시한 블럭 회로도.

제 3 도는 촬영화상중에서 위치 검출의 기준으로서 사용하는 마커를 도시한 모식도.

제 4a 및 4b 도는 촬영화상중에서 위치검출의 기준으로서, 사용하는 마커의 설치 관계를 도시한 모식도.

제 5 도는 본 발명의 제 1 실시예의 화상일치 검출장치를 사용해서 화상일치 검출화는 순서를 표시한 주요한 흐름도.

제 6 도는 HD 화상과 SD 화상의 화상일치검출에서 주사선의 위상을 맞춘 때의 양화상의 수평 방향의 화소의 위치관계를 표시한 모식도.

제 7 도는 제 5 도에 도시한 주요한 흐름도중의 서브루틴 SUB1 의 순서를 표시한 흐름도.

제 8 도는 제 5 도에 도시한 주요한 흐름도중의 서브루틴 SUB2 의 순서를 도시한 흐름도.

제 9 도는 제 5 도에 도시한 주요한 흐름도중의 서브루틴 SUB3 의 순서를 도시한 흐름도.

제 10 도는 화소 이하의 고정밀도인 블럭 매칭을 할 때에 행하는 HD 화상과 SD 화상에서의 수평 방향의 화소간 보간의 관계를 도시한 모식도.

제 11 도는 본 발명의 제 2 실시예의 화상 일치 검출 장치를 써서 화상 일치 검출하는 순서를 도시한 주요한 흐름도.

제 12 도는 제 11 도에 도시한 주요한 흐름도중의 서브루틴 SUB4의 순서를 도시한 흐름도.

제 13 도는 본 발명의 제 2 의 실시예의 화상일치 검출장치의 평가치 테이블과 최적의 위치의 천이를 도시하는 도면.

제 14a 및 14b 도는 해상도가 다른 화상의 매칭을 설명하기 위한 도면.

제 15 도는 매칭의 구성을 도시하는 도면.

제 16 도는 본 발명의 제 3 의 실시예의 화상일치 검출장치가 행하는 대역매칭 처리의 순서를 도시한 흐름도.

제 17 도는 본 발명의 제 3 의 실시예의 화상일치 검출장치가 행하는 해상매칭 처리의 순서를 표시한 흐름도.

제 18a 및 18b 도는 화상 신호 변환의 예를 도시하는 도면.

제 19a 및 19b 도는 오프세트(offset), 게인(gain)의 변화의 예를 도시하는 도면.

발명을 실시하기 위한 가장 양호한 형태

다음에 본 발명에 관한 화상일치 검출장치 및 화상일치 검출방법의 어느것의 실시예에 대해서 도면을 참조하면서 설명한다.

여기에서 화상일치 검출장치란 예를 들면 제 1 의 화소수로 형성되는 제 1의 촬상소자가 출력하는 제 1 의 화상과 제 2 의 화소수로 형성되는 제 2 의 촬상소자가 출력하는 제 2 의 화상과의 각 화소간의 일치관계를 검출하는 장치이다. 본 발명에서는 구체적으로 상기 제 1 의 화상으로서 표준 텔레비젼 방식의 하나인 예를들면 NTSC 방식의 525 개로 형성되는 화상을 저해상도 화상(이하, SD(표준 해상도) 화상이라 함), 상기 제 2 의 화상으로서 고정세도 방식인 예를 들면 1125 개로 형성되는 고해상도 화상(이하, HD(고정세도) 화상이라 함)을 취급하는 경우를 예로 든다.

본 발명을 적용한 제 1 의 실시예를 이루는 화상일치 검출장치는 예를 들면 제 1 도에 도시하는 바와 같이 제 1 및 제 2 의 화상의 기준위치 및 화소수에 의거해서 저정밀도의 화소 맞춤을 하는 저정밀도 화상 일치수단으로서의 저정밀도 화상블럭 맞춤 기능부(1)와, 저정밀도 화상의 블럭 맞춤기능부(1)의 검출 결과에 의해 각 화소간을 보간한 화상에 대해서 블럭매칭 처리를 실시하는 블럭 매칭 처리수단으로서의 고정밀도 화상블럭 맞춤 기능부(2)를 갖추고 구성된다. 또 화상일치 검출장치는 저정밀도 화상간의 신호 특성의 차를 앞처리부분(3)에 흡수시키고 있다.

입력단자(4, 5)를 거쳐서 각각 SD 화상과 HD 화상이 저정밀도 화상블럭 맞춤기능부(1)와 알처리부(3)에 공급된다. 앞처리부(3)는 제 1 및 제 2 의 화상의 화소로부터 위치 데이타의 관계를 표시하는 정보(기준위치정보) 및 화소수 데이타를 추출하여 저정밀도 화상블럭맞춤 기능부(1)에 공급하고 있다. 저정밀도 화상블럭 맞춤 기능부(1)는 앞처리부분(3)에서 공급된 화소 데이타와 기준 위치 정보에 의해 SD 화상과 HD 화상에 대해서 저정밀도의 화소 맞춤을 한다. 이 저정밀도 화상 블럭맞춤 기능부(1)가 행하는 저정밀도의 화소맞춤이란 화소의 블럭화를 행할 때의 기준 위치로서의 초기 어드레스의 설정을 말하는 것이다. 즉 이 저정밀도 화상 블럭 맞춤 기능부(1)에서는 HD 화상과 SD 화상의 화상 데이타의 위치관계를 마커 위치를기준으로 하고 예측한 대응화소 위치를 초기치로하여 부여하고 있다. 또한, 이 저정밀도 화상블럭 맞춤 기능부(1)의 처리에 대해서는 뒤에서 상세히 기술한다.

고정밀도 화상 블럭 맞춤 기능부(2)는 상술한 바와 같이 저정밀도 화상블럭맞춤 기능부(1)의 검출 결과에 의해 각 화소간을 보간한 화상에 대해서 블럭 대칭처리를 실시한다. 구체적으로는 이 고정밀도 화상 블럭 맞춤 기능부(2)는 SD 화상내에 설정된 임의의 범위의 블럭에 대응하는 탐색범위를 상기 적정밀도 블럭 맞춤 기능부(1)의 검출결과, 즉 초기 어드레스에 의해서 설정하고 상기 SD 화상 위의 블럭에 대응하는 상기 HD 화상 위의 블럭을 상기 탐색범위 내에서 대역적으로 탐색해서 일치 영역의 후보를 찾아 다시 SD 화상과 HD 화상의 각각의 화소간을 보간하므로서 설정한 블럭과 탐색범위내의 블럭과의 유사성을 고정밀도로 평가하고 일치되는 화상을 검출한다. 그래서 고정밀도로 일치가 검출된 각각의 화상을 출력단자(6,7)로부터 출력한다. 또한, 이 고정밀도 화상블럭 맞춤기능부(2)의 처리에 대해서도 뒤에 상세히 기술한다.

다음에 화상일치 검출장치의 처리를 효과적으로 행하도록 하기 위한 앞처리부분(3)의 회로구성에 대해서 설명을 한다.

앞처리부분(3)은 예를 들면 제 2 도에 도시하는 바와 같이 각각의 사양에 의한 촬상장치(11,12)로 촬영한 마커가 부착된 동일 피사체에 대한 SD 화상과 HD 화상의 화상 데이타중에서 피사체내에 기입된 마커를 각각의 화상에 대해서 검출하는 마커 검출부(13)와 이 마커 검출부(13)의 검출 결과를 기초로 마커 위치 판정을 행하는 마커 위치 판정부(14)로 구성된다.

촬상장치(11)는 상기 피사체를 촬상하는 제 1 의 화소수로 형성되는 제 1 의 촬상 소자부분(11a)과, 이 제 1 의 촬상소자부(11a)로 찰상한 제 1 의 화상에 해당하는 SD 화상을 축적하는 SC 화상 축적부(11b)와, 마커 위치 판정부(14)에서 공급되는 제어신호에 의해 촬영장치의 예를 들면 물리적 위치, 각도, 줌(zoom)율 등을 조정하는 카메라 조정부(11c)로 구성된다.

또 촬상장치(12)는 상기 피사체를 촬상하는 제 2 의 화소수로 형성되는 제 2의 촬상소자부(12a)와, 이 제 2 의 촬상 소자부분(12a)으로 촬상한 제 2 의 화상에 해당하는 HD 화상을 축적하는 HD 화상 축적부(12b)와, 마커 위치 판정부(14)로부터 공급되는 제어신호에 의해 카메라의 조정을 하는 카메라 조정부(12c)로 구성된다.

앞처리부분(3)은 촬상장치(11,12)로 촬영된 SD 화상과 HD 화상을 각각 SD 화상 축적부분(11b)과 HD 화상축적부분(12b)을 거쳐서 마커 검출부분(13)에 입력시킨다. 마커 검출부(13)는 동일피사체에 대한 SD 화상과 HD 화상의 화상 데이타에서 기준 화소 위치를 표시하는 마커를 검출한다. 이 마커는 피사체 촬영시에 함께 기록된다. 마커 검출부(13)에서 검출된 마커는 마커 위치 판정부(14)애 공급된다. 이 마커 위치 판정부(14)는 마커 검출부(13)의 검출 결과를 기초로 마커 위치 판정을 한다. 구체적으로는 이 마커 위치 판정부(14)는 상기 검출결과를 기초로 저정밀도 화상 블럭맞춤 기능부(1)에 저정밀도의 화소 맞춤을 행하도록 하기 위해 SD 화상과 HD 화상의 신호 특성의 차를 흡수한다. 이 처리는 각 화상의 휘도 신호의 평균치 및 표준편차를 취하므로서 예를 들면 SD 화상의 휘도 신호를 보정하고 있다. 이 결과를 기초로 하여 설정된 화상틀 조건으로 검출한 마커 위치가 합치하는지 판정을하고 있다. 합치하지 아니하는 경우 마커 위치 판정부(14)는 촬상장치(11,12)가 갖춘 카메라 조정부(11c, 12c)에 각각 제어신호를 공급해서 촬상장치(11,12)의 예를 들면 물리적 위치, 각도, 줌율, 필요에 의해 광량 등을 조절해서 재차 촬영하고 그 화상틀 조건을 만족시킬 수가 있을 때까지 상술한 조작을 반복한다. 여기에서 설정된 화상틀 조건에 대해서는 뒤에서 상세히 기술한다.

이와 같은 처리를 행하므로서 앞처리부분(3)은 SD 화상과 HD 화상과의 신호특성의 차를 흡수함과 함께 종횡비 16:9 의 HD 화상에 대해서 종횡비 4:3 의 SD 화상을 어떻게 조정할 것인가를 화상 데이타나 각 화소의 기준 위치 정보에서 알 수도 있다. 또한 이 앞 처리부(3)의 마커 위치 판정부(14)의 판정 결과애 의한 절환 제어신호를 예를 들면 제 2 도에 도시하는 바와 같이 절환 스위치 SW 로 보내 화상의 채용의 가부를 제어할 수도 있다.

여기에서 화상틀 기준 위치를 표시하는 마커에 대해서 설명을 한다.

마커는 예를 들면 제 3 도에 도시하는 바와 같은 마커 영역(20)에 백색 바탕에 흑선이 + 자로 들어있는 것을 사용하고 있다. 이 마커를 제 4a 도 및 4b 도에 도시하는 바와 같이 피사체 위치 위에서 수평 방향 수직 방향의 4 곳(M1,M2,M3 및 M4)에 첨부시켜 이 마커(M1,M2,M3 및 M4)를 포함한 화상을 각각 촬영한다. 각 마커는 피사체 위의 화상틀(21)내에 설치된다. 마커(M1,M2)가 동일한 높이로 수평방향으로 마커(M3,M4)가 같은 열에 즉 수직 방향으로 각각 설치되어 있다.

HD 화상에서는 예를 들면 제 4a 도에 도시하는 바와 같이 수평 방향의 마커(M1,M2)의 교점간이 w1, 수직 방향의 마커(M3,M4)의 교점간이 h1 로 설정되어있다. 또 SD 화상에서는 예를 들면 제 4b 도에 도시하는 바와 같이 수평 방향의 마커(M1,M2)의 교점간의 w2, 수직 방향의 마커(M3,M4)의 교점간이 h2와 같이 상기 HD 화상과는 화각 포맷이 다르기 때문에 다른 위치에 설정되게 된다.

다음에 제 2 도에 도시한 마커 검출부(13)에서 행해지는 마커의 검출 순서에 대해서 간단히 설명한다. 마커 검출부(13)에서는 흑선의 교점 위치를 계산으로 구하고 있다. 먼저 각 화상 위에 붙여진 마커 근처에서 근처내가 백색 바탕과 흑선만의 화상으로 되도록 마커 영역(20)을 설정한다. 그래서 각 마커 영역(20)내의 좌표를 (x, y), 이 좌표(x, y)에서의 휘도 신호 레벨을 Y... 로 하여 수정 x 방향, 수직 y 방향에 대한 휘도 신호 레벨의 적산치를 각각 구한다.

수평 방향의 휘도 신호 레벨 적산치 S_h, 는 1 주사선에 대해서 일정(즉 y 좌표 y=h 일정)하게 하여 x 좌표로 하여 변수 i를 예를 들면 제로에서 N까지 변화시킨 때의 각 화소의 휘도신호 레벨을 가산하여 구하므로서,

로 나타내어진다.

또 주사선의 라인 방향 즉 수직 방향의 마커 위치 결정에서 휘도 신호레벨 적산치 S_w는 소정의 X 좌표 x=w 로 고정하여 y 좌표로서의 표시하는 변수 j 를 예를 들면 제로에서 N까지 변화시킨 때의 각 화소의 휘도 신호 레벨을 가산해서 구하므로서,

로 나타내어진다. 여기에서 첨자 w는 고정되는 x좌표, 첨자 h는 고정되는 라인 위치, N 는 마커 영역(20)의 수평 방향과 수직 방향의 화소수를 표시하고 있다. 이 관계에서 명백한 바와 같이 이 휘도신호 레벨 적산치 S_h의 최소치 min(S_h)를 표시하는 첨자 h 는 + 자의 마커의 수직 방향의 선과 교차하는 y 좌표 h_m를 표시하고 있다. 또 휘도 신호 레벨 적산치 S_w, 의 최소치 min(S_w)를 표시하는 첨자 h는 + 자의 마커의 수평 방향의 선과 교차하는 x 좌표 w 를 표시하고 있다. 따라서 마커의 교점 좌표는 함수 min( )가 최소 좌표를 출력하는 함수로 하면,

(min(S_w), min(S_h)) = (W_m,h_m)

[조건 : w=0,..., N; h=0,..., N] ... (3)

으로 나타내어진다.

이와 같이하여 마커 영역(20)의 교점좌표(w,h)를 교점으로 하여 검출하고 있다.

다음에 검출된 마커 위치의 판정을 마커 위치 판정부(14)에서 행한다. HD 화상과 SD 화상에는 화상 위에 제 4a 도와 4b 도에 표시하는 마커(M1∼M4)도 촬상해서 내장하고 있다. 여기에서 촬상장치(11,12)의 상대적 위치의 어긋남에 의해 촬상한 화상에 회전 성분이 들어가는 것을 막기 위해 HD 화상과 SD 화상의 수평 수직성이 일치하도록 촬상한다. 미리 피사체에 첨부한 마커의 교점 좌표는 마커(M1,M2)의 y 좌표와 마커(M3,M4)의 x 좌표를 같은 위치에 설치하고 있으므로 각 마커의 상술한 좌표를 포인트로 하여 양화상도 같은 좌표치를 취할 필요가 생긴다. 이들 마커 중심 좌표의 위치관계를 유지해서 촬상하는 일이 각 화상에서 마커 위치에 대한 촬상 조건이다. 상술한 바와 같이 이 촬상 조건을 만족하기 위해 마커 위치 판정부(14)는 촬상장치(11,12)에 설치되어 있는 카메라 조정부(11c,12c)를 제어하고 마커 위치 조정을 하고 있다.

한편 매칭을 취하는 화상이 HD 화상 대 SD 화상의 경우 각 화상의 포맷에서 HD 화상은 SD 화상에 대해서 거의 2 배의 해상도를 갖고 있다. 그러나, 마커간에 포함되는 화소수는 HD 화상과 SD 화상의 종횡비가 다르기 때문에 마커 중심의 수평, 수직 방향에서 벗어나 버린다. 또 SD 화상을 HD 화상에 업컨버트(up convert)할 때나 HD 화상을 SD 화상으로 다운컨버트(down convert)할 때 상기 종횡비의 차이를 고려하여 예를 들면 큰 HD 화상 영역내에 SD 화상을 끼워서 표시시키거나 화상 표시하는 위치를 한편측에 치우쳐서 표시하거나 줌율을 변화시켜서 화면의 일부를 삭제하여 각종의 크기로 화면 표시시킬 수가 있다. 이 양화상의 관계를 화상데이타, 화상 데이타의 위치 관계에서 구할 필요가 생긴다.

여기에서 HD 화상에서 수평 방향의 마리간 화소수를 w1, SD 화상에서 수평방향의 마커간 화소수를 w2, HD 화상에서 수직 방향의 마커간 화소수를 h1, SD 화상에서 수직 방향의 마커간 화소수를 h2 로 하면 HD 화상과 SD 화상의 마커간 화소수 관계는

w1 = 2 × w2 ...(4)

h1 = 2 × h2 ...(5)

라는 관계로 나타내어지나 식(4)와 식(5)를 동시에 만족시키는 일은 상술한 바와같은 종횡비의 차이로 아니된다.

따라서 이 실시예에서는 수직 방향의 마커간 화소수의 관계, 즉 식(5)을 만족시키면 HD 화상과 SD 화상의 마커간 화소수 관계는 화소 종횡비의 관계에서

w1 < 2 × w2 ...(6)

h1 = 2 × h2 ...(5)

로 된다(제 6 도의 관계 참조).

이와같이 HD 화상과 SD 화상의 각 마커의 일치 즉 기준 위치 조건 및 식(6)과 식(5)의 화소 데이타 조건을 동시에 만족시킬 때 화상일치 검출장치는 입력한 HD 화상과 SD 화상을 채용한다.

다음에 상술한 HD 화상과 SD 화상을 써서 이 제 1 의 실시예의 화상일치 검출장치는 각각 대응 화소를 결정하는 처리 동작을 개시한다. 이 순서에 대해서 예를 들면 제 5 도에 도시하는 주요한 흐름도나 제 6 도의 HD 화상과 SD 화상의 마커간 화소수 관계를 표시한 모식도를 참조하면서 설명한다. 여기에서의 순서는 주로 SD 화상을 HD 화상으로 업컨버트시킬 때의 화상일치순서를 설명하고 있다.

여기에서 촬상된 HD 화상과 SD 화상은 양자의 휘도신호 레벨평균이나 신호간의 동적 범위가 다르기 때문에 화소 맞춤이 어렵다. 따라서 최초로 화상일치 앞처리 서브루틴(SUB1)에서는 이 신호 특성이 차이를 흡수하기 위해 예를 들면 각각의화상에서 휘도신호레벨의 평균치 및 표준편차를 보정한다. 즉 화상일치 앞처리 서브루틴(SUS1)에서는 SD 화상을 HD 화상으로의 대응을 가능하게 하는 휘도 신호 레벨의 평균치(적당히 오프세트라 함)와 표준편차(적당히 게인이라 함)의 보정을 한다.

이 화상일치 앞처리 서브루틴(SUB1)의 처리 순서를 제 7 도를 참조하면서 설명한다. 이 제 7 도에서 스텝(S10)에서는 HD 화상에 대한 이 화상의 휘도신호레벨의 평균치 및 표준편차가 1 프레임중의 매칭을 취하는 전체 화소를 대상으로 산출된다.

다음에 스팁(S11)에서는 SD 화상에 대한 이 화상의 휘도신호레벨과 평균치 및 표준편차가 1 프레임중의 매칭을 취하는 전체 화소를 대상으로 산출된다.

스텝(Sl2)에서는 스텝(S10,S11)에서 각각 구한값을 사용해서 SD 화상의 휘도신호레벨의 평균치 및 표준편차를 HD 화상의 휘도신호레벨 및 표준편차로 보정한다. 이 보정 방법으로서는 각 변수를 예를 들면 HD 화상의 휘도신호레벨의 평균치를 Mean_HD, 그것의 휘도신호레벨의 표준편차를 Stdv_HD. SD 화상의 휘도신호레벨의 평균치를 Mean_SD, 그것의 휘도신호레벨의 표준편차를 Stdv_SD라하면 보정된 SD 화상의 휘도신호레벨 Y_SD이

에서 구해진다.

이와같이 해서 SD 화상을 HD 화상의 신호 특성에 근접하도록 보정해서 신호특성의 차이를 흡수하고 있다.

그래서 이 화상일치 앞처리 서브루틴(SUB1)에서의 보정이 종료되면 스텝(S1)으로 진행한다.

스텝(S1)에서는 저정밀도 화상블럭 맞춤 기능부(1)에 대응 화소의 초기 어드레스의 설정을 행하도록 한다. 상기 5,6 식에 표시한 바와 같이 수직 방향의 2 개의 마커간 즉 마커(M3)와 마커(M4)간의 HD 화상의 주사선수가 SD 화상의 주사선수의 꼭 2 배로 되는 경우 수평 방향의 화소 위치관계는 제 6 도에 도시하는 바와 같이 마커(M3 와 M4)의 수직 방향의 마커 중심선 M_CV을 축으로 해서 축대칭에 화소가 설치되는 위상이 어긋나는 관계로 된다. 따라서 마커 중심선 M_CV의 위치에서 수평방향으로 멀어지면 멀어질수록 위상이 어긋나게 된다.

여기에서 제 6 도에서 명백한 바와 같이 HD 화상에서 화소수 w1 와 SD 화상에서 화소수 w2 의 관계가 예를 들면 화소수 w2=2 개로 하면 이 SD 화소 2 개의 사이에 HD 화소수(w1)는 3 개 밖에 들어가지 못한다. 이같은 사실에 따라 화소수관계 w1<2×w2 가 성립하는 것을 알 수 있다.

일반적인 관계를 각 화소수 거리에서 구하면 제 6 도의 수직 방향에 관해서 HD 화소간 거리 h₀₁와 SD 화소간 거리 h₀₂의 관계는 식 5에서 HD 화소간 거리 h₀₁를 기준으로 하면

h₀₂= 2h₀₁

이다. 또 제 6 도의 수평 방향에 관해서 HD 화소간 거리 w₀₁와 SD 화소간 거리 w₀₂의 관계는 식 6에서 HD 화소간 거리 w₀₁를 기준으로 하면

w₀₂< 2w₀₁

로 되어 있다. HD 화소의 화소간 거리에 대한 SD 화소의 화소간 거리의 비율은 w₀₂/w₀₁로 된다.

이와 같은 관계에서 1HD 화소당 SD 화소에 대한 HD 화소의 화소간 거리의 비율을 구하고 화소수로 나타내면 이 비율은 (2 × w2)/w1 로 된다. 제 6 도의 수직방향의 중심 위치 M_CV에서 수평 방향으로 멀어진 화상틀내의 임의의 HD 의 화소수 d_HD는 꼭같이 중심위치 M_CV에서 수평 w향으로 멀어진 SD 의 화소수를 d_SD라 하면.

로 구할 수가 있다. 스텝(S1)에서 이 화소수(d_SD,d_HD)를 사용해서 화소의 블록화를 행할때의 기준 위치로서의 초기 어드레스가 설정된다.

이 초기 어드레스가 저정밀도 화상블럭 맞춤 기능부(1)에서 설정된 후 이 초기 어드레스를 기초로 고정밀도 화상 블록 맞춤 기능부(2)는 대응화소의 블록 매칭처리를 서브루틴(SUB2)과 같이 행한다. 즉 이 서브루틴(SUB2)에서 고정밀도 화상블럭 맞춤 기능부(2)는 SD 화상내에 설정된 임의의 범위의 블록에 대응하는 탐색범위를 상기 저정밀도 블록 맞춤 기능부(1)의 검출결과 즉 초기 어드레스에 의해 설정하고 상기 SD 화상 위의 블록에 대응하는 상기 HD 화상 위의 블록을 상기 탐색범위내에서 대역적으로 탐색해서 일치 영역의 후보를 찾아낸다.

이 대응화소의 블록 매칭을 하는 서브루틴(SUB2)의 처리 슨서를 제 8 도를 참조하면서 설명한다. 먼저 스텝(S20)에서 제 6 도의 중심축 MC 위의 화소를 대상화소로 하여 이 대상화소를 중심으로 근처의 블록을 SD 화상 위에서 설정한다. 제 6 도에서도 명백한 바와 같이 대상화소 근처의 SD 화소와 HD 화소의 수평 방향의 위상의 어긋남은 미소하다.

이 때문에 SD 화상과 HD 화상의 각 화소의 화각, 즉 종횡비의 영향이 무시된다. 따라서 HD 화상측에 설치하는 블록은 1 샘플 간격으로 화소를 취한 블록 구성으로 한다.

다음에 스텝(S21)에서 HD 화상 위에서의 대응 블록의 탐색범위의 설정을 한다.

스텝(S22)에서는 스텝(S20,S21)에서 설정한 SD 화상측의 블록과 HD 화상측의 탐색블럭 사이에서 휘도신호레벨의 평균치 및 표준편차를 블록 단위로 보정 처리한다.

이 보정처리는 서브루틴(SUB1)의 스텝(12)에서 1 프레임의 화면에 대해서 휘도신호레벨의 보정을 하고 있으나 이 보정 처리만으로는 불충분한 경우가 많기 때문에 개개의 블록에 대해서 국소적으로 재보정을 하고 있다. 이 보정 처리는 이 처리에 의해 매칭을 취하기 쉽도록 하는 것을 노리고 있다.

스텝(S23)에서는 상술한 스텝(S22)에서의 결과를 기초로 SD 화상측의 블록과 HD 화상측의 탐색범위내의 탐색블럭에서 이들 양자의 블록을 대응 블록으로 하여평가가 행해진다.

블록 매칭을 행하기 위한 평가함수(NCCF(i, j)는 SD 화상측의 블록 크기를 M × N 화소, 탐색범위를 ±dm 화소, SD 프레임의 휘도신호레벨 Y_SD, HD 프레임의 휘도 신호레벨을 Y_HD로 하면,

로 나타내고 있다. 여기에서 I, j 는 -dm 이상, dm 이하(즉,)의 범위로 변환한다. 또 휘도신호레벨 Y_HD의 변수를 (2m+i), (2n+i)로 한 것은 제 6 도에 도시하는 바와 같이 SD 화상과 HD 화상에서는 대응화소의 추출도가 다르기 때문이다. 이 식(9)은 블록간의 상관계수를 구하고 있고 산출한 NCCF(i, j)가 최대로 되는 블록 끼리를 상관이 있는 최적치로 한다. 또한 이 실시예에서는 평가 함수로서 NCCF(i, j)를 사용하였으나 블록매칭시키는 방법은 평가함수로서 NCCF(i, j)에 한정되는 것이 아니고 통상 블록간의 차분의 절대치합(MAD(i, j))이나 블록간의 차몫의 거듭제곱 MSE(i, j)를 사용하는 경우가 있다. MAD(i, j)와 MSE(i, j)에 대해서는 각각,

로 나타낸다. 이들의 함수의 평가는 최소로 되는 MAD(i, j)나 MSE(i, j)를 최적치로서 사용한다. 통상식(10)의 MAD(i, j)를 사용하는 경우가 일반적이다. 이와 같이 스텝(S23)에서 구한 블록을 후보로서 설정하므로서 블록 매칭 처리가 행해지고 브럭간의 차이가 가장 적은 위치를 확실한 화소로서 잘라낼 수가 있다.

스텝(S24)에서는 모두 매칭 처리를 하여 탐색이 완료하였는가 아닌가의 판단이 행해지고 있다. 모든 탐색이 미완성인때 스텝(S20)으로 되돌아가 상술한 일련의 처리를 되풀이한다. 또 모든 탐색이 완료하였을 때 처리가 모두 완료한 것으로하여 이 서브루틴(SUB2)을 종료하고 제 5 도의 주요한 흐름의 스텝(S2)으로 되돌아간다.

스텝(S2)에서는 서브루틴(SUB2)에서의 후보의 탐색 결과를 써서 HD 화상과 SD 화상의 대응블럭을 대역적으로 탐색해서 가장 적합한 후보를 결정한다.

다음으로 구한 최적인 후보에 대한 고정밀도인 블록매칭 처리가 서브루틴(SUB3)으로 행해진다. 이 고정밀도인 블록매칭 처리에 대해서 제 9 도 및 제 10 도를 참조하면서 다음에 설명한다. 먼저 이 고정밀도인 블록 매칭 처리를 행할 필요성은 제 6 도에 도시한 바와 같이 HD 화상과 SD 화상에서 수직 방향의 주사선의 위상을 일치시켜도 수평 방향의 화소 위치가 기준에서 멀어짐에 따라 커지는 벗어남을 일으키고 있으므로 이 수평방향의 화소의 벗어남이 있어도 화소의 매칭을 취해서 일치를 도모하기 위해서이다. 이에 의해 화소의 위상 맞춤은 대응화소가 없는 위치에 대해서도 예를 들면 보간 처리에 의해 생성한 화소를 사용해서 실제의화소 이하의 정밀도로 매칭을 취해서 행하고 있다.

먼저 고정밀도인 블록매칭 처리를 행하기 때문에 화상이 갖는 화소 이하의 화소를 설정한다. 이 때문에 화소 이하의 화소는 선행 보간한 화소로 나타낸다.

SD 화상과 HD 화상의 각각이 원래 갖는 수평 방향의 화소와 보간 화소와의 관계는 예를 들면 제 10 도에 도시하는 바와 같은 관계에 있다. 화소간 보간에 관계를 설명을 하면 HD 화상의 해상도가 SD 화상의 거의 2 배이기 때문에 SD 화상의 보간 화소수가 HD 화상의 2 배로 되도록 한다. 제 10 도에 도시한 보간 화소의 관계는 SD 화상의 화소간의 원래의 분해능이 4 로 화소 후보 A, B 사이에 3 개의 보간 화소(Q₁,Q₂,Q₃)를 배치하여 보간하고 HD 화상의 화소간의 원래의 분해능이 2 로 화소 후보(a,b)사이에 한 개의 보간 화소 P₁를 설치하여 보간하는 관계의 경우를 표시하고 있다. 이 보간 화소의 생성은 선형 보간 처리에 의해 행하고 있다.

먼저 스텝(S3O)에서는 SD 화상의 예를 들면 제 10 도의 화소 후보(A, B)를 써서 화소 근처의 화소 이하의 화소인 보간 화소(Q₁,Q₂,Q₃)가 계산에 의해 구해진다. 선w보간에 의한 보간화소(Q₁,Q₂,Q₃)는

의 각각(12), (13), (14)에 의해 구해진다.

다음에 스텝(S31)에서 HD 화상의 예를들면 제 10 도의 화소 후보(a, b)를 써서 화소 근처의 화소 이하의 화소인 보간 화소(P₁)가 계산에 의해 구해진다. 선형 보간에 의한 보간 화소 P₁는

의 식(15)에 의해 구해진다.

이 선형 보간 계산을 일반식으로 나타내면 분핸능 n 으로 화소를 보간한 경우 보간화소치 H_i는

로 구할수가 있다. 여기에서 상기 변수 i는 i=1, ... , (n-1)이다.

다음에 행하는 스텝(S32)∼스텝(S36)까지의 5 스텝분은 서브 루틴(SUB2)의 스텝(S2O)∼스텝(S24)까지의 5 스텝분의 처리와 꼭같은 처리를 보간 화소를 포함한 블럭에 대해서 블럭 매칭을 행한다.

이 서브루틴(SUB3)의 결과를 기초로 스텝(S3)에서 매칭 판정을 한다. 즉 스텝(S3)에서는 서브루틴(SUB3)에서 산출한 화소 이하와 정도로 매칭을 조사한 후보 화소를 채용해도 좋은가 아닌가의 판정을 행한다. 이 판정은 매칭의 최적치가 보간화소나 후보화소 이외의 화소 위치가 아닌 후보 화소의 위치일 것과, 그 후보 화소의 평가치가 미리 설정하여둔 임계치보다 좋은 값일 때 채용한다.

이 블럭을 채용할 때에 마크 위치 블럭 매칭 처리부는 절환 스위치(SW)에 블럭의 화소를 출력하도록 절환한다. 이와같이 해서 정밀도가 다른 화상의 대응을 화소마다 행할 수가 있다.

그래서 서브루틴(SUB3)의 결과인 후보의 화소 위치가 가장 적합해지는 화소 위치의 어드레스와 일치하고 다시 그때의 평가치가 타당하다고 판단되었을 때 스텝(S4)으로 진행한다. 또 타당하다고 판단되지 아니한 때 스텝(S5)으로 진행한다. 이와같이 해서 스텝(S3)에서는 설정한 블럭과 탐색범위내의 탐색블럭과의 유사성이 고정밀도로 평가되어 있다. 그래서 스텝(S4)에서는 매칭된 화소 어드레스의 등록이 행해진다.

스텝(S5)에서는 이 화상에서 모든 후보에 대한 매칭 처리가 행해졌는가 아닌가를 판정하고 있다. 모든 후보의 판정이 아직(No)인때 스텝(S1)으로 되돌아고 모든 것에 대해서 종료하였을(Yes)때 화상일치의 처리를 종료한다.

이상으로부터 상기 화상 일치 처리에 의해 SD 화상에 대응하는 HD 화상이 결정되므로 이 관계에 의거해서 예를들면 SD 화상을 HD 화상에 업컨버트하도록 화상일치 검출장치의 출력 결과를 사용할 수가 있다. 예를들면 업컨버트할 때에 화상일치 처리에 의해 미리 SD 화상의 레벨 분포에 의한 후보를 써서 적응적인 클라스(class)의 선택을 하고 있기 때문에 화상의 국소적 성질에 추종한 업컨브트를 가능하게 하고 있다. 따라서 종래의 업컨버트에서 얻어지는 SD 화상의 해상도와 하등 변함이 없는 보간 화상에 비해서 고정밀도인 HD 화상을 생성시킬 수가 있다.

또 상술한 실시예는 수직 방향의 화상들을 일치시킨 경우를 표시하였으나 수평 방향의 화소수를 일치시키는 경우도 있다. 이때의 식(6), 식(5)에 대응하는 조건은 화소수로 나타내면,

w1 = 2 × w2 ... (17)

h1 < 2 × h2 ... (18)

로 된다. 이경우의 고밀정도인 블럭 매칭을 할 때의 선형 보간은 수직 방향에 대해서 행해지고 보간화소를 생성하게 된다.

이밖에 상술한 실시예에서 블럭 매칭은 대응화소 근처에 설정하고 펑가를 1 화소에 대해서 행하고 있으나 상술한 방법에 한정되는 것은 아니고, 매칭을 블럭, 혹은 영역 단위로 행하기도 한다.

다시 이 화상일치 검출장치 및 화상일치 검출방법을 응용해서 적용하면 SD 화상과 HD 화상의 매칭을 행하고, 매칭된 SD 화상을 HD 화상으로 바꾸어 놓으므로서 해상도를 개선할 수가 있게 된다. 또 스테레오 시각을 가능하게 하는 카메라 장치에서 예를들면 카메라 시스템이 다른 화상끼리의 대응에도 적용해서 화상의 대응의 인식을 행하여 사용가능한 카메라 장치의 범위를 넓힐 수가 있다.

다음에 본 발명을 적용한 제 2 의 실시예를 이루는 화상일치 검출장치에 대해서 설명을 한다. 이 화상일치 검출장치도 예를들면 제 1 도에 도시하는 바와같이 저정밀도 화상일치 검출수단으로서의 저정밀도 화상블럭 맞춤 기능부(1)와, 블럭매칭 처리수단으로서의 고정밀도 화상블럭 맞춤 기능부(2)를 갖추고 구성이 된다. 또 이 화상일치 검출장치는 저정밀도 화상과 고정밀도 화상간의 신호 특성의 차를 앞처리부(3)에 흡수시키고 있다.

여기에서 저정밀도 화상블럭 맞춤 기능부(1)는 상기 제 1 의 실시예의 그것과 같으나 고정밀도 화상블럭 맞춤 기능부(2)는 상기 제 1 의 실시예의 그것과 다르다.

상술한 제 1 실시예의 고정밀도 화상블럭 맞춤 기능부(2)는 SD 화상내에 설정된 임의의 범위의 블럭에 대응하는 탐색 범위를 상기 저정밀도 블럭 맞춤 기능부(1)의 검출 결과 즉 초기 어드레스에 의해 설정하고 상기 SD 화상 위의 블럭에 대응하는 상기 HD 화상 위의 블럭을 상기 탐색 범위내에서 대역적으로 탐색해서 일치 영역의 후보를 찾아 다시 SD 화상과 HD 화상의 각각의 화소간을 보간하므로서 설정한 블럭과 탐색범위내의 블럭과의 유사성을 고정밀도로 평가하고 있다. 평가방법은 SD 화상측과 HD 화상측의 블럭(대응블럭)간에서 휘도신호의 평균치와 표준편차의 보정을 하고 블럭간의 다름이 가장 작은 위치를 확실한 대응화소의 후보로 하는 것이다.

그러나 대응화소의 후보는 뒤에 행하는 화소간 보간 매칭시에 사용하는 블럭 크기에 비하면 약간 큰 블럭으로 탐색된 화소이다. 거기에서 후보 화소가 국소적으로 본 경우라도 매칭을 취하는 후보화소인가를 조사하여 벗어남이 생겨있던 경우 후보위치의 보정을 행하는 것이 고려된다.

거기에서 이 제 2 의 실시예의 화상일치 검출장치는 고정밀도 화상블럭 맞춤 기능부(2)에 구체적으로 계층 구조를 갖는 매칭을 행하게 하고 블럭 크기를 차츰 적게 하므로서 화소간 보간 매칭의 블럭 크기에 근접시키는 것이다.

저정밀도 화상블럭 맞춤 기능부(1)가 앞처리부(3)에서 공급된 화소 데이타와 기준 위치 정보에 의해 SD 화상과 HD 화상에 대해서 저정밀도의 화소 맞춤을 하는것은 상기 제 1 의 실시예의 그것과 같으므로 설명을 생략한다. 또 앞처리부(3)의 구성 및 동작도 설명을 생략한다.

고정도 화상 블럭 맞춤 기능부(2)는 SD 화상내에 설정된 임의의 범위의 블럭에 대응하는 탐색범위를 상기 저정밀도 블럭맞춤 기능부(1)의 검출결과 즉 초기 어드레스에 의해서 설정하고, 상기 SD 화상상의 블럭에 대응하는 상기 HD 화상상의 블럭을 상기 탐색범위내에서 대역적으로 탐색해서 일치 영역의 후보를 찾아낸 후 다시 블럭 크기와 탐색 영역을 차례로 절환하여 이 후보를 보정한 후 SD 화상과 HD 화상의 각각의 화소간을 보간하므로서 고정밀도로 상기 블럭과 상기 탐색블럭과의 유사성을 평가하여 일치되는 화상을 검출한다. 그래서 고정밀도로 일치가 검출된 각각의 화상을 출력단자(6,7)로부터 출력한다.

이 제 2 의 실시예의 화상일치 검출장치가 HD 화상과 SD 화상을 써서 각각 대응화소를 결정하는 처리 동작을 제 11 도에 도시하는 주요한 흐름도를 참조하면서 설명한다. 여기에서의 순서는 주로 5D 화상을 HD 화상으로 업 컨버트시킬때의 화상일치 순서를 설명하고 있다.

제 11 도에 도시하는 흐름도에서 서브루틴(SUB1), 스텝(S1), 서브루틴(SUB2), 스텝(S2), 서브루틴(SUB3), 스텝(S3), 스텝(S4) 및 스텝(S5)에서의 처리는 제 5 도에 도시한 처리와 같으므로 여기에서는 설명을 생략한다. 이 제 2 의 실시예의 화상일치 검출장치가 제 1 의 화상일치 검출장치와 다르게 하는 처리는 서브루틴(SUB4)의 처리 순서이다. 이 서브루틴(SUB4)은 스텝(S2)의 뒤 서브루틴(3)의 앞에 행해진다.

이 서브루틴(SUB4)에서는 서브루틴(SUB4), 스텝(S2)에서 결정한 후보를 SUB3 에서 행하는 화소보간 매칭의 블럭 크기에 가까운 영역에 쫓아넣기 위한 계층 매칭을 행하고 매칭 후보를 재결정하고 있다. 즉 후보 화소의 위치에 벗어남이 발생하면 후보 화소의 위치를 보정하고 재차 후보를 결정한다.

이 SUB4 에서 행하는 매칭 후보의 재결정의 처리 순서를 제 12 도의 흐름도를 참조하면서 설명을 한다. 이 제 12 도에서 스틴(S40)에서는 블럭 크기, 탐색 영역의 설정의 변경을 행한다. 계층이 진행함에 따라서 상기 블럭 크기, 탐색영역은 적어지도록 설정된다. 이것은 블럭 크기를 큰 블럭에서 화소 매칭에 가까운 국소 블럭의 크기에 맞출 필요가 있기 때문으로 차츰 블럭을 적게해서 블럭 끼리의 대응이 잡히면 탐색 영역도 적어도 된다.

다음에 스텝(S41)에서 제 6 도의 중심축(M_CV)상의 화소를 대응화소로 하고 이 대응화소를 중심으로 근처의 블럭을 SD 화상 위에서 설정한다. 제 6 도에서도 명백한 바와 같이 대응화소 근처의 SD 화소와 HD 화소의 수평 방향의 위상의 벗어남은 미소하다. 이때문에 SD 화상과 HD 화상의 각 화소의 화각 즉 종횡비의 영향이 무시된다. 따라서 HD 화상측에 설치하는 블럭은 1 샘플 간격으로 화소를 취한 블럭 구성으로 한다. 이 블럭의 크기는 상술한 바와같이 차츰 적게 한다.

다음에 스텝(S42)에서 HD 화상 위에서의 대응블럭의 탐색범위의 설정을 한다.

스텝(S43)에서는 스텝(S41), (S42)에서 설정한 SD 화상측의 블럭과 HD 화상측의 탐색블럭의 사이에서 휘도신호 레벨의 평균치(오프세트) 및 표준편차(게인)를 블럭 단위로 보정 처리한다.

스텝(S44)에서는 상술한 스텝(S43)에서의 결과를 기초로 SD 화상측의 블럭과 HD 화상측의 탐색범위내의 블럭간에서 이들 양자의 블럭을 대응 블럭으로 하여 평가가 행해진다. 블럭 매칭을 행하기 위한 평가함수 NCCF(i, j)는 상기 9 식과 같이 나타내어진다. 또 평가 함수로서는 상기 10 식이나 상기 11 식으로 나타내는 것을 사용해도 좋다.

이와같이 스텝(S44)에서 구한 블럭을후보로서 설정하므로서 블럭 매칭 처리가 행해지고 블럭간의 차이가 가장 적은 위치를 확실한 화소로서 잘라낼 수가 있다.

스텝(S45)에서는 탐색마다 산출되는 평가치를 평가를 위한 메모리인 평가메모리에 가산한다. 탐색을 모두 끝내면 평가치 테이블을 참조해서 가장 적합한 평가치를 선택하여 후보화소의 어드레스를 결정한다.

스텝(S46)에서는 미리 설정된 계층수 이상의 처리를 하도록 반복하거나 끝나는가의 선택을 한다.

그래서 계층 루프를 반복할 때마다 스텝(S47)으로 평가치 테이블에서 가장 적합한 평가치를 선택하고 그것의 화소 위치가 앞의 계층에서의 위치와 다르면 갱신한다.

이상의 처리를 설정된 계층수만큼 행하기 위해 스텝(S48)의 판정이 행해진다.

제 13 도는 계층수(3)를 예로해서 평가치 테이블의 영역과 가장 적합한 위치의 변화의 모양을 도시한 것이다. 가장 적합한 위치는 계층마다 가산된 평가치 테이블에 의해 결정하고 가장 적합한 위치는 변화한다. 그래서 최후의 제 2계층에서 결정된 위치가 가장 적합한 위치로 된다.

평가치 테이블은 계층마다의 평가치를 가중치 가산하므로서 정밀도를 향상시키고 있다. 이 예에서는 제 2 계층의 평가치 테이블에 대응하는 제 1 계층의 평가치를 가산하고 있으나 제 3 계층과 제 2 계층도 같다. 그때 평가치 테이블로의 가산은 대응하는 평가치가 존재할 필요가 있으므로 그것을 고려한 블럭 크기와 탐색 영역의 설정이 필요하다.

예를들면 지금 제 1계층으로서 블럭 크기 13 × 13 탐색 영역 ±4(제한 ±2), 제 2 계층으로서 블럭 크기 9 × 9, 탐색 영역 ±2(제한 ±1), 제 3 계층으로서 블럭 크기 5 × 5, 탐색 영역 ±1 이란 값을 설정한다. 제 1 계층과 제 2 계층에서는 평가치 테이블은 탐색 영역 크기만을 산출하나 검출되는 범위를 제한하므로서 계층마다의 가상을 행할 수 있도록 하고 있다. 그래서 각 계층에서 제한탐색내에서 가장 적합한 위치를 구한다. 또 평가치 테이블의 가중 가산은,

EST = w₁EST1 + w₂EST₂+ w₃EST₃... (19)

로 된다. 여기에서 i=1,2,3 는 계층번호, w 는 가중을 나타낸다.

이 서브루틴(SUB4)에서의 매칭 후보 재결정의 처리가 종료하면 제 11 도애 도시하는 서브루틴(SUB3)으로 진행하고 그후 스텝(S3), 스텝(S4) 및 스텝(S5)으로진행한다.

이때문에 제 2 실시예의 화상일치 검출장치는 서브루틴(SUB4)에 표시한 것과 같은 대칭 후보의 재결정처리를 하고 계층 매칭을 도입하므로서 대역 매칭과 보간에 의한 서브 픽셀 매칭의 블럭 크기의 차이에 중간 역할 작용을 하고 블럭크기의 차이에 의한 대응블럭의 벗어남이 생긴 경우에 대응 화소 위치를 보정할 수가 있다. 더욱이 계층 구조의 평가를 총합적으로 행하므로서 정밀도를 향상시킬 수가 있다.

또 이 제 2 의 실시예인 화상일치 검출장치도 매칭 처리를 블럭 혹은 영역 단위로 행할 수가 있다.

다시 이 제 2 의 실시예에서 행해지는 화상일치 검출 방법을 응용으로서 적용하면 SD 화상과 HD 화상의 매칭을 행하고 매칭된 SD 화상을 HD 화상으로 바꾸어 놓으므로서 해상도를 개선할 수가 있게 된다. 또 스테레오 시각을 가능하게 하는 카메라 장치로 예를들면 카메라 시스템이 다른 화상 끼리의 대응짓는 데에도 적용해서 화상의 대응의 인식을 행해서 사용이 가능한 카메라 장치의 범위를 넓힐 수가 있다.

다음에 본 발명을 적용한 제 3 의 실시예를 이루는 화상일치 검출장치에 대해서 설명을 한다. 이 화상일치 검출장치도 예를들면 제 1 도에 도시하는 바와같이 저정밀도 화상일치 검출수단으로서의 저정밀도 화상블럭 맞춤 기능부(1)와, 블럭 매칭 처리수단으로서의 고정밀도 화상블럭 맞춤 기능부(2)를 갖추고 구성된다. 또 이 화상일치 검출장치는 저정밀도 화상과 고정밀도 화상간의 신호 특성의 차를 앞처리부(3)에 흡수시키고 있다.

여기에서 저정밀도 화상블럭 맞춤 기능부(1)는 상기 제 1 의 실시예 및 상기 제 2 의 실시예의 그것과 동일하나 고정밀도 화상블럭 맞춤 기능부(2)는 상기 제 1 의 실시예 도는 상기 제 2 의 실시예의 그것과 다르다.

상술한 제 2 실시예의 고정밀도 화상 블럭 맞춤 기능부(2)는 해상도가 다른 화상간의 매칭을 취하는 경우 대역적으로 탐색한 후보 화소로부터 다시 계층적인 매칭으로 대응화소를 결정하고 있다. 그때 해상도가 다른점을 고려하면 화소단위에 매칭되었는지 여부의 판정은 화소 이하의 정밀도까지 몰아치므로서 정밀도를 확보하고 판정을 하고 있다.

그러나 화소단위로 매칭을 취하고 있으므로 노이즈 등의 외란의 영향을 받기 쉽고 노이즈로 흔들린 화소간의 화소 이하 데이타는 노이즈의 영향을 직접받은 화소로 구해지기 때문에 매칭 판정이 곤란해질 가능성이 있다.

또 화소 이하 정밀도에서의 매칭 조건은 상당히 엄한 조건으로 되기 때문에 매칭을 행한 전체 화소에 대한 매칭이 잡힌 비율인 매칭율은 4% 정도로 상당히 낮은 것으로 되어버린다. 매칭율이 낮으면 매칭 화소의 경향을 파악하는데에 필요한 데이타수는 많아지기 때문에 처리에 시간을 요할 가능성이 있다.

또 계층적인 매칭에서 휘도신호레벨의 평균치(오프세트) 및 표준편차(게인)의 보상은 매칭의 평가를 할 때의 양블럭마다 보상을 하고 있고 블럭 크기를 적게하였을 때에 화상 형상이 크게 다르면 보상의 정밀도가 블럭 크기나 화상 형상에 의존해버릴 가능성이 있다.

거기에서 이 제 3 의 실시예의 화상일치 검출장치는 화소 이하(서브 픽셀)에서의 매칭을 하지 아니하고 매칭부분에서의 제약 조건을 연구하고 매칭의 정밀도를 잃치 아니하고 매칭율을 향상시키는 것을 목적으로 한다.

먼저 해상도가 다른 매칭의 의미를 제 14 도를 참조하면서 설명해둔다. 제 14a 도에 도시된 SD 화상에는 초기 어드레스인 대응화소(P)를 중싱으로 한 블럭 BSD 을 설정한다. 제 14b 도에 도시된 HD 화상에는 탐색 범위(탐색 영역) E_S를 설정한다. 그래서 블럭 B_SD과 탐색 영역 E_S내의 탐색블럭 E_HD사이에서 매칭을 취한다.

매칭 방법으로서는 제 15 도에 도시하는 바와 같이 전체 화면을 대상으로한 보정을 한 후 대역 매칭을 행하고 가장 적합한 평가를 주는 화소를 후보화소로 하고 이 후보화소에 의해 가까운 영역에서의 매칭을 취하기 때문에 계층 매칭을 행하고 후보 화소의 매칭을 판정하는 방법이었다.

이 매칭 방법으로 행하고 있는 대역 매칭에서는 화소 종횡을 고려한 대응화소의 초기 어드레스 설정을 하고 탐색 루프로 최적화소를 탐색하고 있으나 그것의 평가 즉 매칭의 판정 조건에는 상관 계수를 사용하고 있었다.

이 제 3 실시예는 이 대역 매칭에서 매칭의 판정 방법을 상기 상관 계수를 사용한 상관 평가외에 3 개의 판정을 가한 방법으로 하고 있다. 이 3 개의 판정이란 상관치 판정 게인 판정 및 테이블 형상 판정이다.

이 3 개의 판정을 가한 대역 매칭의 처리의 흐름을 제 16 도의 흐름도를 참조하면서 설명을 한다.

먼저 제 3 의 실시예의 화상 일치 검출 장치는 스텝(S50)에 표시하는 바와 같이 저정밀도 화상 블럭 및 맞춤기능부(1)에 초기 어드레스를 설정시킨다. 그후 스텝(S51)에서는 고정밀도 화상 블럭 맞춤기능부(2)에 상기 초기 어드레스를 기초로 SD 화상내에 임의의 범위로 형성되는 블럭을 설정시키고 HD 화상위에 이 블럭을 탐색시키기 위한 탐색범위와 다시 탐색 블럭을 설정시켜 상기 임의의 범위의 블럭과 상기 탐색 블럭을 대역적으로 탐색시켜서 일치 영역의 후보로 되는 후보가 있는가 없는가를 판정한다. 실제로는 SD 화상측의 블럭과 HD 화상측의 블럭사이에서 휘도 신호 레벨의 평균치(오프세트) 및 표준편차(게인)를 블럭 단위로 보정 처리하여서 행해진다.

다음에 스텝(S52)에서는 스텝(S51)에서의 탐색 영역 탐색으로 후보가 찾아내었다는 결과를 기초로 SD 화상측의 블럭과 HD 화상측의 탐색 범위내에 탐색블럭 사이에서 매칭이 취해졌는가 아닌가의 판정이 행해진다. 이 판정은 블럭간의 상관함수를 사용해서 행해지는 상관 평가에 의해 행해진다. 그래서 스텝(S52)에서의 판정이 종료하면 스텝(S51)로 되돌아간다.

스텝(S51)에서의 탐색 영역의 탐색 결과 일치 영역의 후보가 보이지 아니할 경우 즉 SD 화상측의 블럭과 HD 화상측의 탐색범위내의 탐색블럭 사이에서 매칭이 잡히지 아니한 경우 스텝(S53)의 판정으로 향한다. 이 스텝(S53)은 스텝(S52)에서의 평가치인 상관 계수가 지나치게 적으면 탐색 영역내의 최적치라도 매칭되지 아니한다고 판정하는 것으로 최적 상관치를 R_s라 하면 매칭 조건은,

R_s> TH_g... (20)

로 된다. 여기에서 TH_g는 임계치이다.

이 (20)식에서 최적상관치 R_s이 TH_g보다 크면 스텝(S54)으로 진행한다. 이 스텝(S54)은 최적 위치에서 매칭과 취한 블럭의 게인 즉 표준편차의 비가 지나치게 크면 매칭은 취해지지 아니한 것으로 판정한다. 각각의 표준편차를 σ_sd, σ_hd라 하면 매칭 조건은

σ_hd> σ_sd의 경우

σ_hd/σ_sd> TH_g

로 된다.

또 σ_sd> σ_hd의 경우

σ_sd> σ_hd>TH_g

로 된다. 여기에서 TH_g는 소정의 임계치이다.

상기한 매칭 조건을 만족하는 경우 스텝(S55)으로 진행한다. 이 스텝(S55)에서는 탐색하였을 때의 평가치 테이블의 형상을 판정하여 형상이 하나의 산(山)으로 급경사일수록 매칭은 정확하다고 판정한다. 매칭 조건은 최적 평가치에 대한 비율을 r 로 하여,

TH₁= r × R_s... (23)

로 피는 임계치를 구한다. 테이블 위의 평가치 R 에 대해서,

R > TH₁... (24)

를 만족시키는 평가치에 대해서 금번에는 최적평가치의 위치(x_s. y_s)와의 기준(norm)을 적산한다. 즉 평가치의 위치를(x_i, y_i)로 하여,

단, n 은 (24)식을 만족시키는 수이다.

여기에서 N_r, 이 적을수록 테이블의 형상은 급경사로 판단되므로서 매칭조건은,

N_r< TH₂... (26)

이다. 여기에서 TH₂는 임계치이다.

평가치 테이블의 형상을 판정하는 그밖의 실시예로서 25 식의 기준(norm)을 구하는 대신에 24 식을 만족시키는 평가치로 (x_s, y_s)에서 최원점의 거리에 있는 평가치의 위치를 (x_f, y_f)로서,

를 구해 D_s가 적을수록 형상이 급한 경사로 되는경향이 있으므로 매칭 조건은,

r/D_s> TH₃... (28)

로 한다. 여기에서 TH₃는 임계치이다.

또 24 식을 만족시키는 평가치 R 의 표준편차 σ_R를 구하면 표준편차가 적을수록 형상이 급경사라고 판단되니까 매칭 조건은

σ_R< TH₄... (29)

로 된다. 여기에서 TH₄는 임계치이다.

이상의 판정으로 매칭이 잡혔다고 판단된 화소는후단의 계층 매칭에 건너진다.

계층 매칭은 블럭 크기를 적게하면서 블럭을 화소 근처로 몰아넣고 각계층에서 최적 위치를 총합 판단하여 최종적으로 매칭되었는지를 판정한다. 특히 이 제 3 의 실시예의 화상 일치 검출 장치의 계층 매칭이 상술한 제 2 의 실시예의 화상 일치 검출 장치의 계층 매칭 처리와 다른 것은 정상 오프세트(휘도 신호의 레벨의 평균치) 및 게인(휘도 신호의 표준편차)에 의한 보상을 가한 것이다. 제 2 의 실시에의 화상 일치 검출 장치에서는 매칭의 평가를 할 때의 양블럭마다 보상을 행하고 있었으나 블럭 크기를 적게 하였을 때에 화상 형상이 크게 달라지면 보상의 정밀도가 블럭 크기나 화상 형상에 의존해 버릴 가능성이 있었다. 이 때문에 이 제 3 실시예의 화상 일치 검출 장치에서는 블럭 크기나 화상 형상에 그다지 좌우되지 아니하는 정상치를 구하고 있다.

이 정상 오프세트, 게인에 의한 보상을 더해서 계층 매칭 처리의 흐름을 제 17 도의 블럭도를 참조하면서 설명한다.

고정밀도 화상 블럭 맞춤부(2)는 스텝(S60)에서 블럭 크기, 탐색 영역을 축소한다. 이 축소는 계층이 진행됨에 따라서 진행한다. 이것은 블럭 크기를 큰 블럭에서 화소 매칭에 가까운 국소 블럭의 크기에 물아부칠 필요가 있기 때문이고 차례로 블럭을 적게 하여 블럭끼리의 대응이 잡히면 탐색 영역도 적어도 된다.

다음으로 고정밀도 화상 블럭 맞춤기능부(2)는 스텝(S61)에서 탐색 영역을 탐색해서 일치 영역의 후보를 이루는 대응 블럭이 있는가 없는가를 판정한다. 여기에서 있다고 판정되면 스텝(S62)으로 진행하고 없다고 판정하면 스텝(S64)으로 진행한다.

스텝(S62)에서는 상술한 바와 같이 정상 오프세트, 게인에 의한 보상이 행해진다. 제 18a 도 및 18b 도는 각 신호 변화를 간단히 하기 위해 1 차원으로 나타낸 예이다. 주목화소(흑점)를 중심으로 하여 블럭 크기를 크게 하고 있을 때 각각의 블럭내의 휘도가 제 19a 도 및 19b 도와 같이 변화하였다고 한다. 오프세트 0 이란, 각각의 휘도 평균 M 의 차분으로,

0 = M_hd-M_sd... (30)

로 정의한다. 정상 상태의 판정은 각 블럭 크기에서의 오프 세트를 Ou 로 하면

｜O_u-O_μ-1｜<TH_m... (31)

로 된다. 단 여기에서 u는u-1보다 큰 블럭 크기이다. 이 12 식을 만족시키는 오프세트가 N 가 연속되었을 때에 정상 상태로 판정하고 그때의 정상치 O_f는 연속N 개의 평균으로 구하고,

로 된다.

게인 G 이란, 각 블럭내의 휘도의 표준편차의 비이고,

G = σ_hd/ σ_sd... (33)

로 정의되어 있으므로 각 블럭 크기에서의 게인을 Gv 라 하면,

｜O_v-O_v-1｜<TH_s... (34)

를 만족시키는 게인은 N 개 연속하였을 때 정상 상태로 판정한다. 단 THs 는 임계치이고 v 는 v-1 보다 큰 블럭크기이다.

이때의 정상치 G_r도 꼭같이,

로 구할 수가 있다.

이상으로 구한 오프세트와 게이의 정상치를 써서 매칭의 탐색시의 보상을 한다. 보상이란, 저해상도측의 블럭과 고해상도측의 탐색 영역내의 블럭간에서 매칭 평가를 할 때 저해상도측의 휘도 평균과 표준편차를 고해상도측에 맞춘다. 각각의 휘도치를 Y_sd,Y_hd로 하면,

Y_sd= (Y_hd- Y_sd)G_f+ M_sd+ O_f... (36)

에 의해 행한다. 이 보상을 행하므로서 블럭 크기나 화상 형상에 좌우되지아니하고 정도가 좋은 매칭 판정을 행할 수가 있다.

그래서 스텝(S63)으로 진행하고 절대치차분 평가에 의한 한정을 행하고 그후 스텝(S61)으로 되돌아간다.

스런(S64)에서는 탐색마다 산출되는 평가치를 평가를 위한 메모리인 평가메모리에 가산한다. 탐색을 모두 끝내면 평가치 테이블을 참조해서 최적인 평가치를 선택하고 후보 화소의 어드레스를 결정한다. 즉 이 스텝(S64)에서는 대응 HD 어드레스를 시프트한다.

여기에서 계층 루프를 반복할때마다 평가치 테이블에서 최적인 평가치를 선택하고 그것의 화소 위치가 앞 계층에서의 위치와 다르면 갱신한다.

그래서 이상의 처리를 설정된 계층수만큼 행하기 위해 스텝(S65)의 판정이 행해진다. 여기에서 다음의 계층으로 진행하는 경우 상술한 바와 같이 스텝(S60)에서 블럭 크기, 탐색 영역의 설정의 축소가 행해진다.

최후로 스텝(S66)에서 총합적인 판정이 행해지고 고정밀도 화상 블럭 맞춤기능부(2)의 매칭 처리가 종료한다.

이상으로부터 이 제 3 실시예의 화상 일치 검출 장치는 해상도가 다른 매칭을 취하는 경우 대역 매칭과 게층 매칭을 제약 조건을 가하면서 차례로 행하므로서 매칭의 정밀도를 확보하게 되어 화소 이하(서브픽셀) 매칭을 행하지 아니하기 때문에 매칭률을 형상시킬 수가 있다.

또 계층적인 매칭에서 오프세트, 게인의 보상을 정상치를 써서 행하고 있기 때문에 블럭 크기나 화상형상에 좌우되기 어렵게 되어 있다.

본 발명은 2개의 촬상한 화상의 일치를 화소 또는 블럭 단위로 검출 평가하는 화상일치 검출장치와 화상일치 검출방법에 관한 것으로, 특히 해상도가 다른 촬상장치로 촬영한 저해상도 화상과 고해상도 화상을 일치시킬 때에 사용되기에 가장 적합한 화상일치 검출장치 및 화상일치 검출방법에 관한 것이다.

Claims (25)

1. 제 1 의 화소수로 형성되는 제 1 의 촬상 소자가 출력하는 제 1 의 화상과 제 2 의 화소수로 형성되는 제 2 의 촬상 소자가 출력하는 제 2 의 화상의 각 화소간의 일치관계를 검출하는 화상 일치 검출 장치에 있어서,

   상기 제 1 및 제 2 의 화상의 기준 위치에 의거해서 저정밀도의 화소 맞춤을 행하는 저정밀도 화상 일치 검출 수단과,

   상기 저정밀도 화상 일치 검출 수단의 검출 결과에 따라서 제 1 의 화상위에서의 블럭에 대응하는 탐색 범위를 상기 제 2 의 화상위에 설정하고, 상기 제 1 의 화상위의 블럭에 매칭하는 제 2 의 화상위의 블럭을 상기 탐색 범위 내에서 탐색하는 블럭 매칭 처리를 행하는 블럭 매칭 처리 수단을 구비하는 것을 특징으로 하는 화상 일치 검출 장치.
2. 제 1 항에 있어서,

   상기 블럭 매칭 처리 수단은 상기 제 1 및 제 2 의 화상의 각 화소간의 데이타를 보간에 의해 생성한 후에 상기 블럭 매칭 처리를 행하는 것을 특징으로 하는 화상 일치 검출 장치.
3. 제 1 항에 있어서,

   상기 제 1 의 화상을 저해상도 화상으로 하고 상기 제 2 의 화상을 고해상도화상으로 할때, 상기 블럭 매칭 처리 수단은, 상기 저정밀도 화상 일치 검출 수단의 검출 결과에 따라서 상기 저해상도 화상위에서의 블럭에 대응하는 탐색 범위를 상기 고해상도 화상위에 설정하고, 상기 저해상도 화상위의 블럭에 매칭하는 상기 고해상도 화상위의 블럭을 상기 탐색 범위내에서 대역적으로 탐색해서 후보를 찾아내고, 다시 상기 저해상도 화상과 상기 고해상도 화상의 각각의 화소간을 보간하므로서 설정한 블럭과 탐색 범위내의 블럭과의 유사성을 고정밀도로 평가하여, 일치된 화상을 검출하는 것을 특징으로 하는 화상 일치 검출 장치.
4. 제 1 항에 있어서,

   상기 제 1 및 제 2 의 촬상 소자는 같은 피사체를 촬상하는 것을 특징으로 하는 화상 일치 검출 장치.
5. 제 4 항에 있어서,

   상기 피사체에는 기준의 화소 위치를 표시하는 마커가 붙여져 있는 것을 특징으로 하는 화상 일치 검출 장치.
6. 제 1 의 화소수로 형성되는 제 1 의 촬상 소자가 출력하는 제 1 의 화상과 제 2 의 화소수로 형성되는 제 2 의 촬상 소자가 출력하는 제 2 의 화상의 각 화소간의 일치 관계를 검출하는 화상 일치 검출 장치에 있어서,

   상기 제 1 및 제 2 의 화상의 기준 위치에 의거해서 저정밀도의 화소 맞춤을행하는 저정밀도 화상 일치 검출 수단과,

   상기 저정밀도 화상 일치 검출 수단의 검출 결과에 따라서 상기 제 1 및 제 2 의 화상을 이 제 2 의 화상위에 탐색 범위를 설정해서 대역적으로 탐색해서 각각의 주목점을 선정하고 이 주목점을 포함하는 대응 블럭을 상기 제 1 및 제 2 의 화상에 설정해서 이들의 휘도 신호의 평균 레벨 또는 표준 편차가 일치하도록 보정한 후에 상기 대응 블럭에 블럭 매칭 처리를 실시하는 블럭 매칭 처리 수단을 구비하는 것을 특징으로 하는 화상 일치 검출 장치.
7. 제 6 항에 있어서,

   상기 블럭 매칭 처리 수단은 상기 대응 블럭을 n 회 계층적으로 작게 하면서 휘도 신호의 평균 레벨의 차의 검출 및 보정 또는 휘도 신호의 표준편차의 비의 검출 및 보정과 블럭 매칭 처리를 n 회 되풀이하는 것을 특징으로 하는 화상 일치 검출 장치.
8. 제 6 항에 있어서,

   상기 블럭 매칭 처리 수단은, 상기 제 1 및 제 2 의 화상의 각 화소간의 데이타를 보간에 의해 생성한 후에 상기 블럭 매칭 처리를 행하는 것을 특징으로 하는 화상 일치 검출 장치.
9. 제 6 항에 있어서,

   상기 제 1 및 제 2 의 촬상 소자는 같은 피사체를 촬상하는 것을 특징으로 하는 화상 일치 검출 장치.
10. 제 9 항에 있어서,

    상기 피사체에는 기준의 화소 위치를 표시하는 마커가 붙여져 있는 것을 특징으로 하는 화상 일치 검출 장치.
11. 제 1 의 화소수로 형성되는 제 1 의 촬상 소자가 출력하는 제 1 의 화상과 제 2 의 화소수로 형성되는 제 2 의 촬상 소자가 출력하는 제 2 의 화상의 각 화소간의 일치 관계를 검출하는 화상 일치 검출 장치에 있어서,

    상기 제 1 및 제 2 의 화상의 기준 위치에 의거해서 저정밀도의 화소 맞춤을하는 저정밀도 화상 일치 검출 수단과,

    상기 저정밀도 화상 일치 검출 수단의 검출 결과에 따라서 상기 제 1 및 제 2 의 화상을 대역적으로 탐색해서 각각의 주목점을 선정하고, 이 주목점을 포함하는 대응 블럭을 각각 설정한 후에 이 대응 블럭을 단계적으로 크게 하면서 상기 제 1 의 화상내의 블럭과 상기 제 2 의 화상내의 블럭의 회도 신호 평균 레벨의 차 또는 표준편차의 비를 구해서, 이 차 또는 비가 수렴한때의 차 또는 비의 값을 사용해서 상기 대응 블럭내의 휘도 신호 평균 레벨 또는 표준편차를 보정하고 계층적인 복수의 블럭의 큰 블럭에서 작은 블럭으로 차례로 매칭 처리를 실시하는 블럭 매칭처리 수단을 구비하는 것을 특징으로 하는 화상 일치 검출 장치.
12. 제 11 항에 있어서,

    상기 블럭 매칭 처리 수단은 상기 제 1 및 제 2 의 화상의 각 화소간의 데이타를 보간에 의해 생성한 후에 상기 블럭 매칭 처리를 행하는 것을 특징으로 하는 화상 일치 검출 장치.
13. 제 11 항에 있어서,

    상기 제 1 및 제 2 의 촬상 소자는 같은 피사체를 촬상하는 것을 특징으로 하는 화상 일치 검출 장치.
14. 제 13 항에 있어서,

    상기 피사체에는 기준의 화소 위치를 표시하는 마커가 붙여져 있는 것을 특징으로 하는 화상 일치 검출 장치.
15. 해상도가 다른 카메라로 촬영한 각 정지 화상의 일치를 검출하는 화상 일치 검출 방법에 있어서,

    저해상도 화상내에 소정의 크기의 블럭을 설정하는 블럭 설정 단계,

    고해상도 화상위에 상기 블럭에 대응하는 탐색 범위를 설정하는 탐색 범위설정 단계,

    상기 탐색 범위를 대역적으로 탐색해서 후보를 찾아내는 후보 탐색 단계, 및

    이들 고해상도 화상과 저해상도 화상의 각각의 화소간을 보간하므로서 설정한 블럭과 탐색 범위내의 블럭과의 유사성을 고정밀도로 평가하여 일치되는 화상을 검출하는 블럭 일치 검출 단계를 포함하는 것을 특징으로 하는 화상 일치 검출 방법.
16. 제 15 항에 있어서,

    상기 화상 일치 검출 처리를 하기 전에 고해상도 해상과 저해상도 화상의 휘도 신호 레벨의 평균치 또는 표준 편차를 화면 전체에서 일치시켜 블럭 단위의 일치 검출을 행할 때에 재차 국소적인 대응 블럭 단위에 휘도 신호 레벨의 평균치 또는 표준편차를 일치시키는 것을 특징으로 하는 화상 일치 검출 방법.
17. 제 15 항에 있어서,

    상기 블럭 일치 검출 단계에서 고해상도 화상과 저해상도 화상의 블럭간의 유사성을 평가하는 방법으로서 블럭간의 상관 계수를 이용하여 평가하는 것을 특징으로 하는 화상 일치 검출 방법.
18. 제 15 항에 있어서,

    상기 블럭 일치 검출 단계에서 고해상도 화상과 저해상도 화상의 블럭간의 유사성을 평가하는 방법으로서, 블럭간의 차분의 절대치 합을 이용하여 평가하는 것을 특징으로 하는 화상 일치 검출 방법.
19. 제 15 항에 있어서,

    상기 블럭 일치 검출 단계에서 고해상도 화상과 저해상도 화상의 블럭간의 유사성을 평가하는 방법으로서, 블럭간의 차분의 거듭제곱을 사용해서 평가하는 것을 특징으로 하는 화상 일치 검출 방법.
20. 해상도가 다른 카메라로 촬영한 각 정지 화상의 일치를 검출하는 화상 일치 검출 방법에 있어서,

    저해상도 화상내에 소정의 크기의 블럭을 설정하는 블럭 설정 단계,

    고해상도 화상위에 상기 블럭에 대응하는 탐색 범위를 설정하는 탐색 범위설정 단계,

    상기 탐색 범위를 대역적으로 탐색해서 후보를 찾아내는 후보 탐색 단계, 및

    상기 후보 탐색 단계에서 탐색한 후보를 포함하는 대응 블럭을 저해상도 및 고해상도의 화상에 설정해서 이들의 휘도 신호 평균 레벨 또는 표준편차가 일치하도록 보정한 후에 상기 대응 블록의 유사성을 고정밀도로 평가하여, 일치되는 화상을 검출하는 블럭 일치 검출 단계를 구비하는 것을 특징으로 하는 화상 일치 검출방법.
21. 제 20 항에 있어서,

    상기 블럭 일치 검출 단계는 상기 대응 블럭을 n 회 계층적으로 작게하면서휘도 신호의 평균 레벨의 차의 검출 및 보정 또는 휘도 신호의 표준편차의 비의 검출 및 보정과 블럭 매칭 처리를 n 회 반복하는 것을 특징으로 하는 화상 일치 검출방법.
22. 제 21 항에 있어서,

    상기 블럭 일치 검출 단계는 각 계층마다 매칭때의 평가치를 총합적으로 판정해서 매칭 후보 화소의 보정을 행하는 것을 특징으로 하는 화상 일치 검출 방법.
23. 제 21 항에 있어서,

    상기 블럭 일치 검출 단계는 상위 계층의 평가치를 하위 계층의 평가치에 적용할때 하위 계층의 평가 대상 화소 위치에 대응하는 상위 계층의 평가치가 존재하도록 매칭할때의 블럭 크기와 탐색 영역을 조정하는 것을 특징으로 하는 화상 일치검출 방법.
24. 해상도가 다른 카메라로 촬영한 각 정지 화상의 일치를 검출하는 화상 일치 검출 방법에 있어서,

    저해상도 화상내에 소정의 크기의 블럭을 설정하는 블럭 설정 단계,

    고해상도 화상위에 상기 블럭에 대응하는 탐색 범위를 설정하는 탐색 범위설정 단계,

    상기 탐색 범위를 대역적으로 탐색해서 후보를 찾아내는 후보 탐색 단계, 및

    상기 후보 탐색 단계에서 탐색한 후보를 포함하는 대응 블럭을 각각 설정한 후에 이 대응 블럭을 단계적으로 크게 하면서 상기 저해상도 화상내의 블럭과 상기 고해상도 화상 내의 블럭의 휘도 신호 평균 레벨 또는 표준편차의 비를 구해서 이차 또는 비가 수렴했을때의 차 또는 비의 값을 사용해서 계층적인 복수의 블럭이 큰 블럭에서 작은 블럭으로 차례로 매칭 처리를 실시하고 일치되는 화상을 검출하는 블럭 일치 검출 단계를 구비하는 것을 특징으로 하는 화상 일치 검출 방법.
25. 제 24 항에 있어서,

    상기 블럭 일치 검출 단계는 상기 제 1 및 제 2 의 화상의 각 화소간의 데이타를 보간에 의해 생성한 후에 상기 후보 탐색 단계에서 탐색한 후보를 포함하는 대응 블럭을 각각 설정하여 이 대응 블럭을 단계적으로 크게 하면서 상기 저해상도 화상내의 블럭과 상기 고해상도 화상내의 블럭의 휘도 신호 평균 레벨 또는 표준편차의 비를 구하고 이 차 또는 비가 수렴하였을 때의 차 또는 비의 값을 사용해서 계층적인 복수의 블럭의 큰 블럭에서 작은 블럭으로 차례로 매칭 처리를 실시하고 일치되는 화상을 검출하는 것을 특징으로 하는 화상 일치 검출 방법.