KR920003047B1 - 줌 방식 영상 해상도 향상방법 및 장치 - Google Patents

Abstract

내용 없음.

Description

줌 방식 영상 해상도 향상방법 및 장치

제1a도는 2개의 점 광원으로부터 광선을 수신하는 전형적인 애퍼츄어 및 감지기를 도시한 도면.

제1b도는 제1a도에 대응하는 회절 패턴 또는 점 분산 함수를 도시한 도면.

제2a도는 4개의 다중-기입 비디오 프레임을 도시한 도면.

제2b도는 제2a도의 4개의 다중-기입 비디오 프레임으로부터 합성된 부픽셀 모자이크를 도시한 도면.

제2c도는 다중-기입 비디오 프레임을 발생시키기에 적합한 영상시스템을 도시한 도면.

제3도는 다중-기입 비디오 프레임을 신속히 얻기 위한 구성을 도시한 도면.

제4도는 제2a도, 제2b도 및 제2c도의 다중-기입 기술 대신에 본 발명에 사용될 수 있는 영상 보간 기술을 도시한 도면.

제5도는 예시적인 영상 원색 셋트를 도시한 도면.

제6a도는 해상도가 향상된 영상을 합성하기 위한 영상 원색 정합 필터 상관 기술을 도시한 도면.

제6b도는 간단한 예로서, 단일 영상 원색 정합 필터를 사용하는 제6a도의 기술을 실시하는 예를 도시한 도면.

제6c도는 제6b도에 도시한 함수와 동일한 점 분산 함수를 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

1 : 애퍼츄어 3 : 렌즈

5 : 카메라 7 : 제어기

10 : 비디오 프레임 15 : 다중 영상 발생기

17 및 25 : 메모리 19 : 정합필터

21 : 상관 피크 검출기 23 : 원색 발생기

27 : 어드레스 발생기 30 : 전하 결합장치 직렬 레지스터

32 : 평면 어레이 100 : 영상 원색

100' : 불선명 원색 200 : 점 분산 함수 매트릭스

본 발명은 줌 방식 영상 해상도 향상방법 및 장치에 관한 것이다.

텔레비젼 카메라. 전하 결합장치 영상기(CCD imager), 전방 관측 적외선 감지기, 및 적외선 전하 결합 장치 검출기를 포함하는 영상 시스템은 영상기의 샘플링 비에 의해 제한된 해상도를 갖고 있는 비디오 영상을 발생시킨다.

이러한 장치의 설계자들은 전형적으로 나이퀴스트 판별법(Nyquist criteria)에 따라 샘플링 비를 회절불선명(blur) 영상의 제1제로(zero)들중의 2개 이상의 샘플로 제한하고 있다.(애퍼츄어의 크기 및 광에너지의 파장으로부터 계산된) 레일레이 해상도 (Rayleigh resolution) 한계는 눈으로 볼 수 있는 한계를 나타낸다.

레일레이 한계는 1957년에 멕그로우 힐(McGraw Hill)사가 발행한, 젠킨즈 및 화이트(Jenkins and White)저, 광학의 기초(Fundamentals of Optics), 304페이지에 기술되어 있다.

상세하게 말하자면, 광선 파장(λ)를 감지하는 직경(D)의 원형 애퍼츄어를 갖고 있는 영상기의 경우에, 두 점 사이의 최소 해상도 각은

래디안(radian)이다. 따라서, 주사 영상기 시스템은 전형적으로 인접 샘플들 사이에 대한 주사각이

래디안 미만으로 되도록 설계된다.

본 발명에서, 물체의 해상도는 먼저 애퍼츄어의 점 분산 함수(또는 회절 패턴)에 의해 불선명해진 영상의 더 좋은 추정치를 얻기 위해 레일레이 한계막 미만으로 내려오도록 인접 샘플들 사이에 대한 주사각을 효과적으로 감소시킴으로써 향상된다.

다음 단계는 불선명 영상을 최소한 부분적으로 제거하기 위해 이 불선명 영상을 처리하는 것이다. 선명 처리방법은 불선명 영상의 각각의 작은 세그먼트를 미리 구성된 영상 원색들의 불선명 영상들과 상관시킨 다음, 초기(선명)원색 셋트의 공간적으로 상관된 요소의 모자이크를 포함하는 새로운 그림자(silhouette) 영상을 합성하는 단계로 이루어진다.

원색의 불선명 영상들은 이상적으로 모든 가능한 원색 형태를 포함하는 안전한 영상 원색 셋트로부터 얻어진다. 이 원색들은 영상기의 애퍼츄어의 점 분산 함수와의 콘벌루션(convolution)에 의해 불선명해진다.

본 발명의 한 실시예에서는, 다중 영상 기입 기술을 사용함으로써, 셈플링 비가 레일레이 판별법에 의해 제한된 샘플링비를 갖고 있는 종래의 영상기에서의 레일레이 한계 이상으로 증가된다.

이 기술은 본 발명이 기존 영상 시스템에 사용될 수 있게 한다. 본 발명의 다중 영상 기입 기술에서, 감소된 면적의 다수의 부픽셀(subpixel)로 이루어지는 단일의 다중 -기입 비디오 프레임은 다수의 기본 픽셀을 각각 포함하는 다수의 정상 비디오 프레임으로부터 구성된다.

후속되는 정상 비디오 프레임들 사이의 영상 이동 또는 카메라 지터(jitter)는 다중-기입 비디오 프레임내의 부픽셀 변위를 결정한다. 기존 시스템하드웨어에서의 다중-영상 기입 기술의 구현은 상관 탐지기(tracker), 또는 서어보(servo) 오차를 보상하는 영상 이동 또는 자이로(gyro)오차를 안정화시키는 카메라 플랫포옴(platform)을 사용함으로써 달성될 수 있다. 이 부픽셀 변위는 이 방식으로 결정된다.

본 발명의 다른 실시예에서, 종래의 영상기에서의 소정의 주사각내의 샘플수는 영상 보간 및 줌(zoom) 기술을 사용함으로써 증가될 수 있다. 이 영상 보간 및 줌 기술은 다중-기입 비디오 프레임을 구성하도록 다수의 비디오 프레임을 처리하기에 충분한 시간이 없을때 유용하다.

또 하나의 기술은 단일 프레임내에서 조밀한 샘플링을 이루기 위해 더 작은 크기의 검출기를 사용한다는 것이다. 이제부터, 첨부한 도면을 참조하여 본 발명을 상세히 기술하겠다.

제1a도는 직경이 D인(단면도로 도시한) 원형 애퍼츄어(1)을 통해 본 2개의 점 A,B를 간략하게 도시한 개략도이다. 카메라(5)의 렌즈(3)능 2개의 점 A 및 B로부터 방사되거나 반사된 파장 λ의 방사선을 감지한다. 렌즈(3)에서 2개의 점 A와 B 사이에 대응하는 각 θ는 레일레이 한계 0.244λ/D와 동일하다.

제1b도는 점 A(실선) 및 점 B(점선)으로부터의 방사선에 의해 렌즈(3)에서 발생된 대응하는 회전 패턴을 도시한 그래프인데, 세로 좌표는 광자 세기에 대응하고, 가로 좌표는 제1a도의 x축을 따르는 위치에 대응한다. 점 광원 영상들의 이러한 회절 패턴들은 애퍼츄어의 독특한 특성으로서, 이를 ＂점 분산 함수＂라고 한다.

레인레이 판별법은 애퍼츄어를 통해 본 2개의 점의 해상도 한계를 설정한다. 상세하게 말하자면, 레일레이 판별법은 2개의 점 A와 B 사이의 최소의 인식가능한 간격이 한 점의 회절 불선명의 피크P(A)가 다른 점의 회절 불선명의 제1제로 Z(B)에 대응하는 경우에 생긴다는 것을 설명하여 준다.

이것은 정확히 제1b도에 도시한 상태이다. 이 판별법은, 이 간격 미만에서 피크들 사이의 식별 가능한 회절 골(valley)이 없다는 사실에 기초하는 것이다. 그러나, 본 발명의 원리는 레일레이 판별법이 눈의 반응에 관련되고, 특정한 애퍼츄어를 통해 본 영상의 해상도에 근본적인 한계를 주는 것은 아니고, 실제로 본 발명의 처리방법이 사용되면, 해상도가 더 높아질 수 있다.

상세하게 말하자면, 간격이 정확히 레일레이 한계에 있는 2개의 점들이 불선명 영상의 형태는 단일 점의 불선명 영상의 형태와 다르다. 또한, 2개의 점들의 불선명 영상은 2개의 점들이 실제로 장면내에서 일치할 때까지 레일레이 한계 미만의 포착하기 힘든 변화를 계속하게 된다.(물론, 일치할때 이 변화들은 뚜렷하게 분해될 수 없다).

따라서, 레일레이 판별법의 한계 미만의 거리만큼 떨어진 2개의 점들의 불선명 영상내에는 실현가능한 정보가 포함되어 있다. 이 정보를 추출해내는 것은 본 발명에서 달성된다.

[다중 영상 기입 기술]

제2a도 및 제2b도에는 각각의 측면상에 4개씩, 단지 16개의 픽셀을 갖고 있는 비디오 프레임의 간단한 예로서 본 발명에 사용된 다중 영상 기입 기술이 도시되어 있다. 제2a도에서, 모서리들이 a₁₁, a₁₄, a₄₁및 a₄₄로 표시된 실선으로 경계지어진 비디오 프레임 ＂a＂는 기호 aij로 나타낸 16개의 각각의 점들을 각각 중심으로 한 16개의 픽셀들을 포함한다.

16개의 픽셀의 각각의 중심점 aij의 위치는 제2a도에 도시되어 있고, 대응하는 픽셀 자체의 모자이크는 제2b도에 실선으로 도시되어 있다.

다중 영상 기입 기술은 제2a도에 실선으로 도시된 비디오 프레임을 포함하는 데이타의 16개의 픽셀을 샘플하여 저장시킴으로써 달성된다. 그 다음, 카메라(5)는 16개의 픽셀 bij를 포함하는 점선으로 도시되고 픽셀 b₁₁, b₁₄, b₄₁및 b₄₄로 경계지어진 제2비디오 프레임 b를 샘플하도록 x방향으로 변위된다. 비디오 프레임 a와 b 사이의 x방향 변위량은 중심점 a₁₁과 a₁₂사이의 거리의 1/2과 동일하다.

16개의 중심점 bij에 대응하는 데이타의 16개의 픽셀은 샘플되어 저장된다. 카메라(5)는 제2a도내의 픽셀 c₁₁, c₁₄, c₄₁및 c₄₄에 의해 경계지어진 제3비디오 프레임 c를 샘플하기 위해 다시 변위된다.

비디오 프레임 c는 중심점 a₁₁과 a₂₁사이의 거리의 1/2만큼 y방향으로 초기 비디오 프레임으로부터 변위된다. 이때, 16개의 중심점 cij에 대응하는 16개의 픽셀들이 샘플되어 저장된다.

그 다음, 카메라(5)는 모서리 픽셀들이 d₁₁, d₁₄, d₄₁및 d₄₄로 표시된 제2a도에 점-쇄선으로 도시된 제4 비디오 프레임 d를 감지하기 위해 픽셀 간격의 1/2에 대응하는 거리 만큼 x방향으로 비디오 프레임 c에 대응하는 위치로부터 변위된다.

이때, 비디오 프레임 d의 16개의 중심점 dij에 대응하는 16개의 픽셀들이 샘플되어 저장된다.

그 다음에는, 비디오 프레임 a, b, c 및 d로부터의 저장된 데이타가 제2b도에 도시된 순서로 데이타를 재배열함으로써 합성된다. 상세하게 말하자면, 제2b도에는 이 도면에 쇄선으로 표시된 다중 기입 또는 합성 비디오 프레임내의 픽셀 중심점 a₁₁, b₁₁, c₁₁및 d₁₁에 대응하는 데이타가 도시되어 있다.

각각의 점 a₁₁, b₁₁, c₁₁및 d₁₁은 제2b도에 쇄선으로 도시된 대응하는 부픽셀의 중심으로 된다. 최종 합성 모자이크내의 부픽셀 수는 초기 비디오 프레임들중 어느 한 비디오 프레임내의 픽셀 수 곱하기 샘플 향상도의 제곱과 동일하다(본예에서는 2²×16=64개의 부픽셀). 제2b도의 쇄선 부픽셀들은 실선 픽셀보다 1/2만큼 작은 크기로 되어 있다.

일반적으로, n개의 비디오 프레임을 다중 기입할때, 비디오 프레임들은 픽셀 간격의 분수(1/n)^1/2만큼 서로 변위된다. 그러므로, 제2b도에는 픽셀 크기가 1/2만큼 감소되는 4개의 비디오 프레임의 다중 영상 기입이 도시되어 있지만, 다른 감소 계수가 다중 영상 기입 기술에 의해 달성될 수 있다.

비디오 데이타의 입상(granularity)이 다중 영상 기입 기술에 의해 감소됨에도 불구하고, 데이타에 의해 나타난 영상은 이 영상이 보여지는 애퍼츄어의 점 분산 함수에 따라 불선명해진다.

실제로, 비디오 프레임들 사이의 공간적 변위와 저장된 비디오 데이타의 재배열의 상관 관계는 제2c도에 도시한 바와같이 제어기(7)상에 장착된 카메라 또는 감지기(5)에 의해 이루어질 수 있다.

제어기는 자이로 오차가 자동적으로 감지되어 비디오 프레임 변위로서 사용될 수 있는 카메라 자이로스코프 안정화 플랫포옴으로 될 수 있다. 다르게는, 플랫포옴(7)은 자이로 안정화를 사용하는 영상 이동보상기로 될 수 있다.

또, 자이로 오차는 후속 비디오 프레임들 사이의 변위량을 정할 것이다. 결국, 상관 탐지기는 비디오 프레임들 사이의 카메라 지터로 인한 실제 변위를 탐지하는데 사용될 수 있다. 상관 탐지기로부터의 데이타는 후속 비디오 프레임들 사이의 변위량을 정할 것이다. 각각의 이 기술들은 기존 시스템들과 호환성이 있다.

제3도를 참조하면, 비디오 프레임(10)은 각각 표준 비디오 스크린(screen)상에 모두 표시될 수 없는 약 500개 선의 16개의 기준 비디오 프레임의 다중 영상 기입 기술에 의해 합성된다.

그 대신, 스크린은 다중-기입 비디오 영상의 작은 부분(10')만을 수용할 수 있다. 따라서, 제3도의 비디오 프레임의 이 부분들(10a, 10c 및 10d)내에 있는 데이타는 영상기(5)에 의한 y방향으로의 불필요한 주사 편의에 대응한다.

본 발명에서는, 제3도에(10', 10e 및 10b)로 도시된(10)의 부분만을 덮도록 제2c도의 영상기(5)의 주사를 y방향으로 제한하는 것이 바람직하다. 이 방식으로, 실제로 텔레비젼 스크린상에 나타나는 다중-기입 영상(10')를 포함하는 데이타는 4-절 다중 기입 기술의 경우보다 4배 정도 빠르게 얻어질 수 있다.

다시 제2b도를 참조하면, 각각의 점 aij, bij, cij, dij가 컴퓨터의 메모리내에 저장될 수 있는 비디오 데이타의 워드에 대응한다는 것을 알 수 있다. 각각의 aij, bij, cij, dij에 대응하는 워드는 카메라(5)에 의해 이 지점에서 감지된 방사선 세기의 아날로그 값에 대응하는 값의 범위내의 수를 취할 수 있다.

다르게는, 저성능 시스템에서, 각각의 워드는 간단히 2진 값(흑색 또는 백색, 온 또는 오프)으로 될 수 있다. 그러나, 본 발명에서는, 각각의 워드가 대응하는 중심점 aij, bij 등에서 영상기에 의해 감지된 방사선 세기에 대응하는 아날로그 값을 나타내도록 되어 있다.

[영상 보간 및 줌 기술]

부픽셀 비디오 데이타를 발생시키기 위해 다중 영상 기입 기술을 사용할 수가 없다. 예를들어, 이것은 장면내에 보여질 물체가 후속 비디오 프레임들이 발생되는 속도에 비해 빠르게 이동할때 생기는데, 이 경우에 후속 비디오 프레임들 사이에서 신속히 이동하는 물체의 상관은 불충분하게 이루어진다.

이 특정한 상황에서는, 부픽셀들을 발생시키기 위해 다중 영상 기입 기술 대신에 영상 보간 및 줌 기술이 사용될 수 있다.

제4도를 참조하면, 비디오 데이타의 부픽셀은 단일 비디오 프레임으로부터 발생된다. 제4도의 비디오 프레임의 예시적인 부분은 비디오 데이타의 다수의 저장된 워드를 포함하는데, 여기서, 픽셀 중심점 a₁₂, a₂₁및 a₃₂에 대응하는 워드만이 제4도의 비디오 프레임의 음영 지역에 대응하는, 비제로 세기를 나타낸다.

영상 보간은 픽셀들 사이에 배치된 한점의 값을 추정함으로써 달성된다. 영상 데이타는 제4도의 굵은 실선으로 도시된 바와같이, 3개의 점 a₁₂, a₂₁및 a₃₂사이의 선형 전이를 달성시키기 위해 픽셀들 사이에 보간된다.

최종적인 보간된 영상은 제4도에 사선으로 표시되어 있다. 사선 영역에 대응하는 새로운 보간 영상은 음영 또는 점으로 찍힌 영역에 대응하는 이전의 영상보다 더 많은 정보를 포함한다.

음영 영역내의 부픽셀들중의 아날로그 세기의 보간은 부픽셀 a'ij를 나타내는 데이타 워드의 세기값을 정의하는 다음 식에 따라 보간된다 :

aij가 초기 비디오 프레임 a내의 샘플 픽셀의 중심점인 경우, a'ij=aij이다.

그렇지 않은 경우에, a'ij는 초기 비디오 프레임 a로부터 인접한 aij의 아날로그 값들 사이의 선형 보간값이다.

샘플된 비디오 프레임으로부터의 데이타는 적당한 가중 계수로 조합된 경우에, 이전에 보간된 부픽셀들로부터의 추정치들을 갱신할 수 있다. 상술한 영상 보간 및 줌 기술은 공지되어 있는 것으로, 예를들어, 뉴욕에 소재한 월리 앤드 선즈(Wiley ＆amp; Sons)가 발간한 프래드(Pratt)저 디지탈 영상 처리 방법(Digital Image Processing), 100 내지 116 페이지를 포함한 여러가지 출판물에 기술되어 있다. 따라서, 본 명세서에서는 영상 보간 및 줌 기술에 대해 더 이상 상세히 기술하지 않겠다.

요약해서 설명하면, 다중 영상 기입 기술 또는 영상 보간 및 줌 기술을 사용함으로써 다수의 조밀한 부픽셀들을 포함하는 비디오 영상은 다수의 정상 크기의 픽셀들을 포함하는 다수의 비디오 프레임들로부터 구성될 수 있다.

또한, 많은 수의 소형 검출기들이 샘플링 밀도가 개선시키기 위해 사용될 수도 있다. 그러나, 부픽셀 합성 비디오 프레임내에 포함된 정보는 영상이 보여지는 애퍼츄어의 회절 점 분산 함수에 따라 여전히 불선명하다.

따라서, 영상으로부터 최소한 부분적으로 불선명 영상을 제거시키고, 부픽셀들의 고도로 샘플된 비디오 프레임내에 포함된 정보로부터 선명한 영상을 재구성하는 작업이 남는다.

[정합 필터에 의한 선명 방법]

다수의 부픽셀들을 포함하는 합성 영상은 합성 불선명 영상의 각각은 작은 세그먼트를 동일하게 작은 불선명 영상 원색의 완전한 셋트와 상관시킴으로써 상당히 선명해질 수 있다.

25개의 영상 원색들의 예시적인 셋트는 제5도에 도시되어 있다. 피크 상관이 특정한 영상 원색과 특정한 합성 영상의 세그먼트 사이에서 검출될때마다, 불선명 세그먼트 대신에 동가의 영상 원색으로 대체된다.

이 방식으로, 합성된 재구성 그림자 영상은 대응하는 초기 불선명 영상 세그먼트를 대신에 대체된 공간적으로 상관된 영상 원색 세트로부터 형성된다.

기본 영상 원색들의 셋트를 불선명 합성 영상의 여러 세그먼트들과 상관시키기 전에, 영상 원색들 자치는 우선 초기 장면이 보여지는 애퍼츄어의 점 분산 함수와 회절 제한 영상을 샘플하는 검출기 형태로 구성되는 검지기 열화로 콘벌브(convolve)함으로써 불선명해진다.

따라서, 불선명 합성 영상과 세그먼트들과 비교되는 영상 원색들은 동일한 점 분산 함수에 의해 불선명해지므로, 상관을 향상시키게 한다. 이 점 분산함수는 파장, 및 장면이 보여지는 애퍼츄어의 구성에 의해 정의된 베셀(Bessel)함수이고, 공지된 일반광학 원리에 따라 결정론적인 방식으로 계산될 수 있다.

제5도에 감지기 열화로 도시한 바와같은 영상 원색들은 공지된 콘벌류션 정리(convolution theory)에 따라 불선명해진다.

상술한 처리방법은 제6a도에 개략적으로 도시되어 있다. 카메라(5)는 제2a도, 제2b도, 제2c도에 관련하여 이미 기술한 다중 영상 기입 기술이나 제4도에 관련하여 기술한 영상 보간 기술에 따라 기능하는 다중 영상 발생기(15)에 공급되는 비디오 데이타를 발생시킨다.

그 다음, 이 발생기(15)는 부픽셀들의 합성 영상에 대응하는 비디오 데이타를 부픽셀의 조합된 비디오 프레임을 저장하는 누산식(cumulative) 메모리(17)내로 공급한다. 그 다음 메모리(17)내에 저장된 비디오 프레임 데이타의 세그먼트들은 한 셋트 병렬 정합 필터(19)에 계속 공급된다.

각각의 정합 필터(19)는 제5도에 도시된 것과 가은 완전한 영상 원색 셋트들중의 한 원색의 불선명 버젼에 대응한다. 비디오 프레임의 각각의 세그먼트와 각각의 정합 필터 사이의 상관은 상관 피크 검출기(21)들중의 대응하는 한 검출기에 의해 검출된다.

불선명 원색들중의 특정한 한 원색이 메모리(17)로부터 판독된 비디오 데이타의 특정한 한 세그먼트와 정합되면, 피크 검출기(21)들중의 대응하는 한 검출기는 다수의 원색 발생기(23)들중의 대응하는 한 발생기를 엔에이블(enable)시킨다.

엔에이블된 원색 발생기는 대응하는 초기(또는 선명한) 영상 원색을 메모리 (25)로 공급하고, 선택된 영상 원색은 어드레스 발생기(27)에 의해 결정된 위치에 저장된다.

이 위치는 메모리(17)내에 저장된 초기 비디오 프레임의 정합 세그먼트의 위치에 대응한다. 결과적으로, 메모리(17)로부터 불선명 영상 세그먼트들을 연속적으로 정합 필터(19)를 통해 공급하면, 다수의 정합 영상 원색들을 포함하는 메모리(25)내에서 새로운 그림자 영상이 합성된다.

제6a도의 상관 처리방법은 제6b도에 도시한 바와같은 메모리 및 전하 결합장치 횡 필터 시스템을 사용하여 수행될 수 있다. 제6b도에서, 메모리(17')는 합성 불선명 영상에 대응하는 비디오 데이타의 한 프레임을 나타내는 다수의 픽셀들을 포함한다.

이 픽셀들은 행(row)과 열(column)로 배열된다. 다수의 n개의 병렬 전하 결합장치 직렬 레지스터(30)을 포함하는 전하 결합장치 횡 필터를 사용함으로써, 제5a도에 도시한 형태의 정합 필터 상관이 구현된다. 제6b도의 n=6이다.

CCD 메모리(17')의 상부의 6개의 행들은 병렬 CCD 레지스터(30)을 통해 n개의 행 및 n개의 열로 배열된 전하 감지 게이트 전극의 평면 어레이(array, 32) 아래에서, 메모리(17')로부터 좌측에서 우측으로 연속적으로 이동된다.

이것은 n개의 픽셀씩 비교되거나 정합될 비디오 프레임의 각각의 세그먼트의 크기를 정한다. 어레이(32)내의 감지 게이트 전극의 n개의 행들은 저장된 영상 레지스터 (30)의 n개의 행들과 수직으로 기입된다.

어레이(32)내의 게이트 전극내의 x방향으로의 간격은 각각의 영상 레지스터 (30)내의 전하 패킷(packet)의 직렬 간격에 대응한다.

메모리(17')로부터의 데이타의 상부의 6개의 행들이 CCD 레지스터(30)을 통해 좌측에서 우측으로 클럭되면, 6개의 열 및 6개의 행들을 포함하는 비디오 데이타의 연속 세그먼트들이 판독된다.

특히, 어레이(32) 아래로 통과하는 데이타의 각각의 6×6 세그먼트에서의 각각의 전하 패킷의 크기는 어레이(32)내의 각각의 감지게이트 전극의 전위를 감지함으로써 감지된다. 데이타가 레지스터(32)를 통해 1개의 픽셀씩 좌측에서 우측으로 순차적으로 클럭될때마다, 비디오 데이타의 새로운 세그먼트는 어레이(32)로부터 판독되어 상관 피크 검출기(21)들중의 대응하는 한 검출기(21')로 공급된다.

이것은 각각의 DDC 클럭 주기에서 한번씩 발생한다. 이 처리방법은 전체 영상이 처리될때까지 한 픽셀씩 연속된다. 이러한 종류의 전하 결합장치 횡 필터의 동작은 당해 기술분야에 공지되어 있으므로, 더 이상 설명하지 않겠다.

횡 필터 및 CCD 감지 전극 어레이로 행하는 전하 결합장치 영상 처리방법은, 예를들어, 미합중국 캘리포니아주, 샌 디에고(San Diego)의 광자-광학 기구 엔지니어링 회보(Proceedings of the Society of Photo-Optical Instrumentation Engineering), 1978년, 제155호, 제15 내지 22 페이지에 누드(Nudd) 등이 쓴 ＂스마트 감지기를 응용하기 위한 CCD 영상 처리기＂라는 논문에 기술되어 있다.

[콘벌루션 및 상관 기술]

이제부터, 제6b도를 참조하여 제6a도의 영상 원색들중의 특정한 한 영상 원색의 콘벌루션 및 상관 처리 방법에 대해 간단히 설명하겠다.

제5도의 각각의 영상 원색은 데이타 워드 Vij의 n개의 열과 n개의 행의 어레이로 양자화된다.

제6b도에는 제5도의 영상 원색(100)에 대응하는 어레이가 도식적으로 도시되어 있다. 제6c도에는 예시적인 애퍼츄어 점 분산 함수 Pxy가 도시되어 있다.

이것은 완전한 다중-기입 프레임내의 부픽셀의 행 및 열의 수에 대응하는 데이타 워드의 m개의 행 및 m개의 열의 어레이로 숫자화될 수 있다. 이 결과는 제6b도에 도시한 점 분산 함수 매트릭스(matrix, 200)을 포함하는 데이타 워드의 m개의 행 및 m개의 열의 매트릭스 Pij이다. 다음은 예시적인 점 분산 함수 매트릭스를 부분적으로 나타낸 것이다.

제6b도내의 원색(100)과 같은 각각의 영상 원색의 불선명 ＂버젼＂을 발생시키기 위해, 원색(100)은 점 분산 함수 매트릭스(200)과 콘벌브되어, 제6b도에 도시한 바와같이 불선명 원색(100')를 발생시킨다.

불선명 원색(100')의 i번째 행 및 j번째 열의 각각의 데이타 워드 V'ij는 점 분산 함수 데이타 워드 Pij와 불선명 원색 데이타 워드 Vij로부터 다음과 같이 계산된다.

불선명 원색(100')는 데이타 워드의 n×n개의 부픽셀들의 어레이 또는 정합 필터(19')로서 사용된다. 다수의 정합 필터(19)는 예를들어, 제6b도에 따라 점 분산 함수(200)과 콘벌브된 제5도의 각각의 영상 원색을 포함한다.

n×n개의 정합 필터(19')는 어레이(32)에 의해 감지된 각각의 n×n개의 영상 세그먼트와 상관되는데, 이 상관 표면은 2차원 상관 피크 검출기(21')에 의해 동작된다. 검출기(21')가 피크 상관을 감지하면, 원색 발생기(23')는 선명 영상 원색(100)에 대응하는 데이타 워드의 n행과 n열의 블럭을 발생시키도록 검출기(21')에 의해 인에이블된다.

발생기(23')로부터의 데이타는 어드레스 발생기(27')에 의해 지정된 어드레스로 메모리(25')내에 저장된다. 어드레스 발생기(27')는 메모리(25')내의 데이타의 영상 운색 블럭을 메모리(17')내에 저장된 불선명 비디오 프레임의 상관된 데이타 세그먼트의 초기 위치에 대응하는 위치로 향하게 한다.

검출기(21')에 의한 상관 계산은 신호 처리 이론의 공지된 상관 기술에 따라 수행되므로, 본 명세서에서는 상세히 기술하지 않겠다.

메모리(25)내에 저장된 합성 영상은 선택된 영상 원색의 모자이크를 포함하고, 카메라(5)에 의해 초기에 발생된 비디오 프레임들중의 어느 비디오 포레임보다도 양호한 해상도를 갖는다. 제5도에 도시한 영상 원색 셋트보다 더 완전한 영상 원색 셋트를 사용함으로써 성능이 향상될 수 있다.

Claims (11)

1. 점 분산 함수에 의해 특성화된 에퍼츄어를 통해 장면을 볼 수 있는 영상기 및 제1샘플링 비로 특성화된 비디오 데이타 워드의 연속 프레임을 발생시키기 위해 상기 영상기에 응답하는 수단을 포함하는 영상 시스템에 있어서, 상기 비디오 데이타 워드를 제2의 높은 샘플링 비로 특성화된 비디에 데이타 워드의 합성된 비디오 데이타 프레임으로 변환시키기 위한 수단, 비디오 데이타 워드의 매트릭스를 각각 포함하는 다수의 영상 원색, 불선명 영상 원색 셋트를 발생시키도록 각각의 상기 영상 원색을 상기 점 분산 함수와 콘벌브하기 위한 수단, 각각의 상기 불선명 영상 원색과 상기 합성 비디오 프레임의 각각의 작은 세그먼트 사이의 상관을 계산하여 피크 상관을 검출하기 위한 수단, 선택된 영상 원색들의 모자이크를 저장하기 위한 메모리, 및 상기 상관 수단이 상기 불선명 영상 원색들중의 특정한 한 불선명 영상 원색과 상기 합성 비디오 프레임의 상기 세그먼트들중의 한 세그먼트 사이의 2차원 피크 상관을 검출할때마다 응답하여, 상기 합성 비디오 프레임내의 상기 특정한 합성 비디오 프레임 세그먼트의 초기 위치에 대응하는 위치에서 상기 영상 원색들의 선명 영상 원색들중의 특정한 한 선명 영상 원색을 상기 영상 원색 모자이크 저장 메모리내에 기입하기 위한 수단을 포함하는 것을 특징으로 하는 영상 해상도 향상장치.
2. 제1항에 있어서, 합성 비디오 프레임으로 변환시키기 위한 상기 수단이 상기 영상기에 의해 발생된 후속 비디오 프레임들중의 변위된 비디오 프레임들의 모자이크를 형성하기 위해 다중 영상 기입 수단을 포함하는 것을 특징으로 하는 장치.
3. 제1항에 있어서, 합성 비디오 프레임으로 변환시키기 위한 상기 수단이 상기 후속 비디오 프레임들중의 한 단일 비디오 프레임내에 영상 보간을 수행하기 위한 수단을 포함하는 것을 특징으로 하는 장치.
4. 제1항에 있어서, 나이퀴스트비 보다 큰 검출기 대검출기 샘플링비를 갖고 있는 검출기의 어레이를 더 포함하는 것을 특징으로 하는 장치.
5. 제1항에 있어서, 각각의 상기 작은 세그먼트가 상기 데이타 워드의 n개의 행과 n개의 열을 포함하고, 합성 비디오 프레임을 발생시키기 위한 상기 수단이 상기 합성 비디오 프레임 데이타 워드를 저장시키기 위한 메모리 수단을 포함하며, 상기 상관 수단이 상기 전하 결합장치 메모리로부터 데이타를 수신하는 n개의 병렬 레지스터들을 포함하는 전하 결합장치 횡 필터를 포함하고, 상기 병렬 레지스터들 상에 놓여있는 감지 전극의 n개의 행 및 n개의 열의 평면 어레이와 등가인 어레이를 포함하며, 상기 전극 어레이는 상기 병렬 레지스터를 통해 전달된 비디오 데이타 워드의 각각의 세그먼트를 검출하여, 상기 검출된 비디오 데이타 워드를 상관 계산기로 전송시키기 위한 수단을 더 포함하고, 상기 상관 계산기가 비디오 데이타 워드의 상기 검출된 세그먼트와 상기 불선명 영상 원색들중의 대응하는 한 불선명 영상 원색의 상기 숫자화된 버젼 사이의 상관을 계산하는 것을 특징으로 하는 장치.
6. 영상 시스템에서, 해상도가 촛점, 회절 및 샘플링에 의해 발생된 불선명 영상을 포함하고 있는 시스템 한계에 의해 열화되는 영상을 향상시키도록 원색 셋트를 사용하기 위한 방법에 있어서, 영상이 상기 시스템 한계에 의해 열화되는 것과 같은 방식으로 상기 원색들을 열화시킴으로써 열화된 원색 셋트를 발생시키는 단계, 상기 열화된 영상의 샘플된 세그먼트의 세기 분포를 상기 열화된 원색들의 세기 분포와 상관시키어 가장 많이 상관된 열화 원색을 선택하는 단계, 및 상기 샘플된 열화 영상 세그먼트와 상기 선택된 열화 원색 사이에서 최상의 정합이 생기는 영상 위치에서 상기 선택된 열화 원색의 열화되지 않은 버젼을 표시함으로써 향상된 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 방법.
7. 제6항에 있어서, 열화된 원색의 세기 분포와 상기 열화된 영상의 샘플된 세그먼트를 비교하기 전에 열화된 연상 및 열화된 원색의 샘플링 밀도를 증가시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
8. 제6항에 있어서, 상기 시스템 한계의 열화 효과가 상기 시스템의 출력에서 상기 원색들에 부여되도록 상기 열화된 원색들의 상기 영상 시스템을 통해 상기 원색들을 투사함으로써 발생되는 것은 특징으로 하는 방법.
9. 제6항에 있어서, 세기 분포의 상관이 서로 크기가 유사한 샘플된 열화 영상 세그먼트와 열화 원색들 사이에서 이루어지는 것을 특징으로 하는 방법.
10. 제6항에 있어서, 상기 열화된 원색들이 상기 원색들을 상기 시스템 한계를 나타내는 함수와 콘벌브함으로써 수학적으로 발생되는 것을 특징으로 하는 방법.
11. 제6항에 있어서, 상기 열화된 영상의 상기 샘플된 세그먼트들이 중첩 부분을 갖고 있는 것을 특징으로 하는 방법.

Images