KR920003048B1 - 열화 추정치에 의한 줌 방식 영상 해상도 향상방법 및 장치 - Google Patents

열화 추정치에 의한 줌 방식 영상 해상도 향상방법 및 장치 Download PDF

Info

Publication number
KR920003048B1
KR920003048B1 KR1019840000333A KR840000333A KR920003048B1 KR 920003048 B1 KR920003048 B1 KR 920003048B1 KR 1019840000333 A KR1019840000333 A KR 1019840000333A KR 840000333 A KR840000333 A KR 840000333A KR 920003048 B1 KR920003048 B1 KR 920003048B1
Authority
KR
South Korea
Prior art keywords
image
video data
data word
video
estimate
Prior art date
Application number
KR1019840000333A
Other languages
English (en)
Other versions
KR840007476A (ko
Inventor
즈원 로버트
제이. 드라가본 에드워드
스미드갤 브라이언
Original Assignee
휴우즈 에어크라프트 캄파니
에프. 씨. 맥너트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴우즈 에어크라프트 캄파니, 에프. 씨. 맥너트 filed Critical 휴우즈 에어크라프트 캄파니
Publication of KR840007476A publication Critical patent/KR840007476A/ko
Application granted granted Critical
Publication of KR920003048B1 publication Critical patent/KR920003048B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Glass Compositions (AREA)

Abstract

내용 없음.

Description

열화 추정치에 의한 줌 방식 영상 해상도 향상방법 및 장치
제1a도는 2개의 점 광원으로부터 광선을 수신하는 전형적인 애퍼츄어 및 감지기를 도시한 도면.
제1b도는 제1a도에 대응하는 회절패턴 또는 점 분산 함수를 도시한 도면.
제2a도는 4개의 다중-기입 비디오 프레임을 도시한 도면.
제2b도는 제2a도의 4개의 다중-기입 비디오 프레임으로부터 합성된 부픽셀 모자이크를 도시한 도면.
제2c도는 다중-기입 비디오 프레임을 발생시키기에 적합한 영상장치를 도시한 도면.
제3도는 다중-기입 비디오 프레임들을 신속히 얻기위한 도표를 도시한 도면.
제4도는 제2a도, 제2b도 및 제2c도의 다중-기입 기술 대신에 본 발명에 사용될 수 있는 영상보간(interpolation) 기술을 도시한 도면.
제5a도, 제5b도 및 제5c도는 열화 추정치를 사용하는 선명처리방법을 도시한 도면.
제6도는 제5a도, 제5b도 및 제5c도의 기술을 실행하기 위한 시스템을 도시한 블럭도.
제7도는 제6도의 시스템내에 사용된 콘벌루션 마스크(convolution mask)에 대응하는 표면을 도시한 그래프식 사시도.
* 도면의 주요부분에 대한 부호의 설명
1 : 애퍼츄어 3 : 렌즈
5 : 카메라 7 : 고정대
10 : 비디오 프레임 15 : 다종 영상기입회로
17 : 메모리 40 : 콘벌버
42 : 데이타 워드 매트릭스 44 : 감산기
46 : 가산기
본 발명은 열화 추정치에 의한 줌 방식 영상해상도 향상방법 및 장치에 관한 것이다.
텔레비젼 카메라, 전하 결합장치 영상기, 전방관측 적외선감지기, 및 적외선 전하 결합장치 검출기를 포함하는 영상 시스템은 영상기의 샘플링 비에 의해 제한된 해상도를 갖고 있는 비디오 영상을 발생시킨다. 이러한 시스템의 설계자들은 전형적으로 나이퀴스트 판별법에 따라 회절 불선명(diffraction blur)의 제1제로(zero)들 사이에 2개 이상의 샘플로 샘플링 비를 제한시킨다. 애퍼츄어의 크기 및 광에너지의 파장으로부터 계산된 레일레이(Rayleigh)해상도 한계는 눈으로 볼 수 있는 한계를 나타낸다. 레일이 한계에 대해서는 1957년 맥그로우 힐(McGraw Hill)사가 발행한, 젠칸즈 및 화이트(Jenkins and White)저, ＂광학의 기초(Fundamental of Optics)＂, 304페이지에 기술되어 있다. 상세하게 말하면, 광선 파장(λ)를 감지하는 직경 D의 원형 애퍼츄어를 갖고 있는 영상기의 경우에, 두 점 사이의 최소 해상도 각은
Figure kpo00002
라디안(radian)이다. 따라서, 주사 영상기 시스템은 전형적으로 인접 샘플들 사이에 대한 주사각이
Figure kpo00003
라디안 미만으로 되도록 설계된다.
본 발명에서, 물체의 해상도는 먼저 애퍼츄어의 점 분산 함수(또는 회절패턴)에 의해 불선명해진 영상의 더 좋은 추정치를 얻기 위해 레일레이 한계 각 미만으로 내려오도록 인접 샘플들 사이에 대한 주사각을 효율적으로 감소시킴으로써 향상된다. 다음단계는 불선명 영상을 최소한 부분적으로 제거하기 위해 이 불선명 영상을 처리하는 것이다. 선명 처리방법은 미세하게 샘플된 불선명 영상을 특별히 설계된 콘벌류션 마스크로 콘벌브(convolve)하는 단계를 포함한다.
이 마스크는 콘벌루션의 각각의 단계에서 향상된 픽셀을 효율적으로 출력시킨다.
마스크는 다음 동작과 같은 동일한 동작을 동시에 실시한다.
1) 열상을 다시 불선명하게 함.
2) 열화 추정치를 형성하기 위해 이 다시 불선명해진 영상을 초기 영상에서 감산함.
3) 손실의 추정치를 초기 영상에 다시 가산함.
본 발명의 한 실시예에서, 레일에리 판별법에 의해 제한된 샘플링비를 갖고 있는 종래의 영상기에서의 레일레이 한계에서 보다 샘플비가 다중 영상기입 기술을 사용함으로써 증가된다. 이 기술을 본 발명이 기존영상 시스템에 사용될 수 있게 한다. 본 발명의 다중영상 기입기술에서, 축소된 지역의 다수의 부픽셀로 이루어지는 단일의 다중-기입 비디오 프레임은 다수의 기본 픽셀을 각각 포함하는 다수의 정상 비디오 프레임으로부터 구성된다. 후속되는 정상 비디오 프레임들 사이의 영상 이동 또는 카메라 지터(jitter)는 다중-기입 비디오 프레임 내의 부픽셀 변위를 결정한다. 기존 시스템 하드웨어 내의 다중-영상 기입기술은 상관트랙커(tracker), 또는 서어브 오차를 보상하는 영상 이동 또는 자이로 오차를 안정화시키는 카메라 고정대를 사용함으로써 실시될 수 있다. 부픽셀 변위는 이 방법으로 결정된다.
본 발명의 다른 실시예에서, 종래의 영상기 내의 소정의 주사각 내의 샘플수는 영상 보간 및 줌(zoom)기술을 사용함으로써 증가될 수 있다. 이 영상 보간 및 줌 기술을 다중-기입 비디오 프레임을 구성하도록 다수의 비디오 프레임을 처리하기에 충분한 시간이 없을 때 유용하다. 다른 기술은 단일 프레임 내에서 명암도가 강한 샘플링을 달성하기 위해 더 작은 크기로 된 검출기를 사용하는 것이다.
이제부터, 첨부한 도면을 참조하여 본 발명을 상세히 기술하겠다.
제1a도는 2개의 점 A 및 B로부터 방출되거나 반사된 파장이 λ인 방사선을 감지하는 카메라(5)의 렌즈(3)에 의해 직경이 D인(횡단면으로 도시한)원형 애퍼츄어(1)을 통해 본 2개의 점 A,B를 간략하게 도시한 개략도이다. 렌즈(3)에서 2개의 점 A 및 B 사이에 대한 각 θ는 레일레이 한계 0.244λ/D와 동일하다.
제1b도는 점 A(실선) 및 점 B(점선)으로부터의 방사선에 의해 렌즈(3)에서 발생된 대응하는 회절 패턴을 도시한 그래프인데, 서로 좌표는 광자 세기에 대응하고, 가로 좌표는 제1a도의 X축을 따르는 위치에 대응한다. 점 광원 영상들의 이러한 회절 패턴들은 애퍼츄어의 독특한 특성으로서, ＂점 분산 함수＂라고 부른다.
레일레이 판별법은 애퍼츄어를 통해 본 2개의 점의 해상도 한계를 설정한다. 상세하게 말하자면, 레일레이 판별법은 2개의 점 A와 B사이의 최소의 인지가능한 간격이 한개의 점의 회절 불선명도의 피크 P(A)가 다른 점의 회절 불선명도의 제1제로 Z(B)에 대응하는 경우에 생기게 한다. 이것은 정확히 제1b도에 도시한 상태이다. 이 판별법은, 이 간격 이하에서, 피크들 사이의 식별가능한 회절 골(valley)이 없다는 사실에 기초를 둔다. 그러나, 본 발명의 원리는 레일레이 판별법이 눈의 반응에 관련되고, 특정한 애퍼츄어를 통해 본 영상의 해상도 상의 기본 한계가 아니라는 것인데, 실제로 본 발명의 처리방법이 사용되며, 해상도가 더 커질 수 있다. 상세하게 말하자면, 간격이 정확히 레일레이 한계에 있는 2개의 점들이 불선명 영상의 형태는 단일점의 불선명 영상의 형태와 다르다. 또한 2개의 점들의 불선명 영상은 2개의 점들이 실제로 장면 내에서 일치할 때까지 레일레이 한계 이하의 포착하기 힘든 변화를 계속하게 된다(물론, 일치점 상에서 이 변화들은 확실히 해결할 수 없다). 따라서, 레일레이 판별법의 한계 이하의 거리만큼 떨어진 2개의 점들의 불선명 영상 내에 실현 가능한 정보가 있다. 이 정보를 추출해내는 것은 본 발명에서 달성된다.
[다중영상 기입기술]
제2a도 및 제2b도에는 각각의 측면상에 4개씩, 단지 16개의 픽셀을 갖고있는 비디오 프레임의 간단한 예와 함께 본 발명에 사용된 다중영상 기입기술이 도시되어 있다. 제2a도에서, 비디오 프레임 ＂a＂는 16개의 각각의 점들 aij를 중심으로한 16개의 픽셀들을 포함한다. 16개의 픽셀의 각각의 중심점 aij의 위치는 제2a도에 도시되어 있고, 대응하는 픽셀 자체의 모자이크는 제2b도에 실선으로 도시되어 있다.
다중영상 기입기술은 제2a도에 실선으로 도시된 비디오 프레임을 포함하는 데이타의 16개의 픽셀을 샘플하여 저장시킴으로써 달성된다. 그 다음, 카메라(5)는 16개의 픽셀 bij를 포함하는 점선으로 도시된 제2비디오 프레임 b를 샘플하도록 X방향으로 변위된다. 비디오 프레임 a와 b 사이의 X방향 변위량은 중심점 a11과 a12 사이의 거리의 1/2과 동일하다. 16개의 중심점 bij에 대응하는 데이타의 16개의 픽셀은 샘플되어 기억된다. 카메라(5)는 제2a도 내에 점선으로 표시한 제3비디오 프레임 c를 샘플하기 위해 다시 변위된다. 비디오 프레임 c는 중심점 a11과 a12 사이의 거리의 1/2만큼 Y방향으로 최초 비디오 프레임으로부터 변위된다. 이때, 16개의 중심점 cij에 대응하는 16개의 픽셀들이 샘플되어 기억된다. 그 다음, 카메라(5)는 모서리 픽셀들이 d11, d14, d41 및 d44로 표시된 제2a도에 점선으로 도시된 제4 비디오 프레임 d를 감지하기 위해 픽셀 간격의 1/2에 대응하는 거리만큼 X방향으로 비디오 프레임 c에 대응하는 위치로부터 변위된다. 이때, 비디오 프레임 d의 16개의 중심점 dij에 대응하는 16개의 픽셀들이 샘플되어 기억된다.
그 다음에는, 비디오 프레임 a, b, c 및 d로부터의 저장된 데이타가 제2b도에 도시된 순서로 데이타를 재배열함으로써 합성된다.
상세하게 말하자면, 제2b도에는 이 도면에 점선으로 표시된 다중 기입 또는 합성 비디오 프레임 내의 픽셀 중심점 a11, b11, c11 및 d11에 대응하는 데이타가 도시되어 있다. 각각의 점 a11, b11, c11 및 d11은 제2b도에 점선으로 도시된 대응하는 부픽셀의 중심으로 된다. 최종 합성 모자이크 내의 부픽셀 수는 초기 비디오 프레임들중 어느 한 비디오 프레임 내의 픽셀 수 곱하기 샘플 개략도의 제곱과 동일하다(본 예에서는 22×16=64개의 부픽셀)제2b도의 점선 부픽셀들은 실선 픽셀보다 2만큼 작은 크기로 되어 있다.
일반적으로, n개의 비디오 프레임을 다중 기입할때, 비디오 프레임들은 픽셀 간격의 분수(1/n)1/2만큼 서로 변위된다. 그러므로, 제2b도에는 픽셀 크기가 계수 2만큼 감소되는 4개의 비디오 프레임의 다중영상 기입기술이 도시되어 있지만, 다른 감소 계수가 다중영상 기입기술에 의해 달성될 수 있다.
비디오 데이타의 입도(granularity)이 다중 영상기입기술에 의해 감소되었다 하더라도, 데이타로 표시된 영상은 이 영상이 보이게 하는 애퍼츄어의 점 분산 함수에 따라 불선명해진다.
실제로, 비디오 프레임들 사이의 공간적 변위와 기억된 비디오 데이타의 재배열의 상관 관계는 제2c도에 도시한 바와 같이 제어기(7)상에 장착된 카메라 또는 감지기(5)에 의해 이루어질 수 있다.
제어기는 자이로 오차가 자동적으로 감지되어 비디오 프레임 변위로서 사용될 수 있는 카메라 자이로스코프 안정화 고정대로 될 수 있다.
선택적으로, 고정대(7)은 자이로 안정화를 사용하는 영상 이동보상기로 될 수 있다. 또, 자이로 오차는 후속되는 비디오 프레임들 사이의 변위량을 정하게 된다. 결국, 상관 트랙커는 비디오 프레임들 사이의 카메라 자리로 인한 실제변위를 트랙하는데 사용될 수 있다. 상관 트랙커로부터의 데이타는 후속 비디오 프레임들 사이의 변위량을 정하게 된다. 각각의 이 기술들은 기존 시스템들에 적합하게 사용될 수 있다.
제3도를 참조하면, 약 500개 선의 16개의 표준 비디오 프레임의 다중 영상 기입 기술에 의해 합성된 비디오 프레임(10)은 각각 표준 비디오 스크린 상에 완전히 표시될 수 없다. 그 대신, 스크린은 다중-기입 비디오 영상의 작은부분(10')만을 수용할 수 있다.
따라서, 제3도의 비디오 프레임의 이 부분들(10a, 10c 및 10d)내에 있는 데이타는 영상기(5)에 의한 Y방향으로의 불필요한 주사 편의에 대응한다. 본 발명에서는, 제3도에 10', 10e 및 10b로 도시된 10의 부분만을 덮도록 제2도C의 영상기(5)의 주사를 Y방향으로 제한하는 것이 바람직하다. 이 방법으로, 실제로 텔레비젼 스크린 상에 나타나는 다중-기입 영상(10')를 포함하는 데이타는 4-절 다중 기입기술의 경우 보다 4배정도 빠르게 얻어질 수 있다.
다시 제2b도를 참조하면, 각각의 점 aij, bij, cij, dij가 컴퓨터의 메모리 내에 기억될 수 있는 비데오 데이타의 워드(word)에 대응한다는 것을 알 수 있다. 각각의 aij, bij, cij, dij에 대응하는 워드는 카메라(5)에 의해 이 지점에서 감지된 방사선 세기의 아날로그 값에 대응하는 값의 범위 내의 수를 취할 수 있다.
선택적으로, 저성능 시스템에서, 각각의 워드는 간단히 2짐 값[흑색 또는 백색, 온(on) 또는 오프(off)]으로 될 수 있다. 그러나, 본 발명에서는, 각각의 워드가 대응하는 중심점 aij, bij 등에서 영상기에 의해 감지된 방사선 세기에 대응하는 아날로그 값을 나타내도록 되어 있다.
[영상 보간 및 줌 기술]
부픽셀 비디오 데이타를 발생시키기 위해 다중영상 기입기술을 사용할 수가 없다. 예를들어, 이것은 장면내에 보여질 물체가 후속 비디오 프레임들이 발생되는 속도에 비해 빠르게 이동할때 생기는데, 이때 후속 비디오 프레임들 사이에서 신속히 이동하는 물체의 상관도는 불충분하다. 이 특정한 상황에서는, 부픽셀들을 발생시키기 위해 다중영상 기입기술 대신에 영상보간 및 줌 기술을 사용할 수 있다.
제4도를 참조하면, 비디오 데이타의 부픽셀은 단일 비디오 프레임으로부터 발생된다. 제4도의 비디오 프레임의 예시적인 부분은 픽셀 중심점 a12, a21 및 a32에 대응하는 워드만이, 제4도의 비디오 프레임의 음영지역에 대응하는, 비-제로 세기를 나타내는 비디오 데이타의 다수의 기억된 워드를 포함한다.
영상보간은 픽셀들 사이에 배치된 한 점의 값을 추정함으로써 달성된다. 영상 데이타는 제4도의 굵은 실선으로 도시된 바와 같이, 3개의 점 a12, a21 및 a32사이의 선형전이를 달성하기 위해 픽셀들 사이에 보간된다. 최종적으로 보간된 영상은 제4도에 사선으로 표시되어 있다. 사선 지역에 대응하는 새로운 보간영상은 음영 또는 점으로 찍힌 영역에 대응하는 이전의 영상보다 더 많은 정보를 포함한다.
음영 지역내의 부픽셀들 사이의 아날로그 세기값은 부픽셀 a'ij를 나타내는 데이타 워드의 세기값을 정하는 다음 식에 따라 보간되는데, aij가 초기 비디오 프레임 a내의 샘플 픽셀의 중심점인 경우, a'ij=aij이다.
다시 말하면, a'ij는 초기 비디오 프레임 a로부터 인접한 aij의 아날로그 값들 사이의 선형보간이다.
샘플된 비디오 프레임으로부터의 데이타는 적당한 중량 계수에 의해 결합된 경우에, 이미 보간된 부픽셀들로부터의 추정치들을 갱신할 수 있다. 상술한 영상보간 및 줌 기술은 공지되어 있고, 예를들어, 뉴욕에 소재한 월리 앤드 선즈(Wiley ＆amp; Sons)가 발간하고 프래트(Pratt)가 쓴 ＂디지탈 영상 처리 방법(Digital Image Processing)＂, 110 내지 116 페이지를 포함한 다수의 출판물에 기술되어 있다. 따라서, 본 명세서에서는 영상 보간 및 줌 기술에 대해 더 이상 상세히 기술하지 않겠다.
요약해서 설명하면, 다중 영상기입 기술 또는 영상보간 및 줌 기술을 사용함으로써, 다수의 미세한 부픽셀들을 포함하는 비디오 영상은 다수의 정상 크기의 픽셀들을 포함하는 다수의 비디오 프레임들로부터 구성될 수 있다. 또한, 더 많은 작은 검출기들이 샘플링 밀도를 개량시키기 위해 사용될 수도 있다. 그러나, 부픽셀 합성 비디오 프레임 내에 포함된 정보는 영상이 보이게 되는 애퍼츄어의 회절 점 분산 함수에 따라 계속 불선명해진다. 따라서, 영상으로부터 최소한 부분적으로 불선명을 제거시키고, 부픽셀들의 고도로 샘플된 비디오 프레임 내에 포함된 정보로부터 선명한 영상을 재구성하는 작업이 남는다.
[열화 추정치에 의한 선명기술]
부픽셀 다중-기입 또는 보간영상의 해상도는 제5a도에 도시한 열화추정 처리방법을 사용함으로써 향상될 수 있다.
제5a도에서는 뾰족한 연부를 갖고 있는 초기영상(실선) 및 카메라(5)의 애퍼츄어의 점 분산 함수에 의해 초기영상으로부터 왜곡된 불선명 영상(쇄선)의 X축을 따르는 위치의 함수로서의 세기가 도시되어 있다. 제5a도의 불선명 영상은 이 불선명 영상을 카메라(5)의 애퍼츄어의 점 분산 함수와 콘벌브함으로써 다시 불선명해질 수 있다. 이 콘벌루션의 예시적인 결과는 제5a도에 점선으로 도시되어 있는데, 2회 불선명해진 영상을 나타낸다. 제5a도의 2회 불선명해진 영상(점선)을 불선명 영상(쇄선)으로부터 감산함으로써 애퍼츄어 점 분산 함수로 인한 열화의 추정치가 얻어질 수 있다. 이 감산 결과는 제5b도에 도시되어 있는데, 제2불선명으로 인한 열화의 추정치를 나타낸다. 카메라(5)의 애퍼츄어의 점 분산 함수는 언제나 동일하기 때문에, 제2b도의 제2불선명으로 인한 열화가 제5a도의 초기 영상(실선)과 불선명 영상(점선) 사이의 제1불선명으로 인한 열화의 추정치로서 사용될 수 있다. 따라서, 제5b도의 열화 추정치를 제5a도의 불선명 영상(쇄선)에 가산함으로써, 초기영상의 추정치가 불선명 영상으로부터 얻어질 수 있다. 이 합계는 제5c도에 실선으로 도시되어 있다. 제5c도의 실선 영상 내의 향상된 모서리 해상도 또는 참예도(sharpness)를 주시해야 한다.
제6도에 도시한 시스템은 상술한 제2불선명 추정치 기술을 실행하는 것으로, 애퍼츄어를 통해 초개 영상을 수신하는 카메라 또는 비디오 영상기(5)를 포함한다. 애퍼츄어의 점 분산 함수가 불선명을 발생하기 초기 영상은 비디오 영상기(5)로부터 다중영상 기입회로(15) 내로 전송된 불선명 영상으로 변형된다. 제2a도 및 제2b도에 관련하여 이미 기술한 설명에 따라서, 다중 영상 기입회로(15)는 메모리(17)내에 누적된 불선명한 부픽셀 영상을 발생시킨다. 메모리(17)은 영상기(5)에 의해 발생된 다수의 다중-기입 비디오 프레임들의 모자이크를 포함하는 미세하게 샘플된 비디오 프레임을 나타낼 수 있는 비디오 데이타 워드 매트릭스 Ixy를 기억한다. 각각의 비디오 워드 Ixy는 콘벌버(40)내로 공급된다. 데이타 워드 매트리스 Pxy(42)는 카메라(5)의 애퍼츄어의 점 분산 함수를 정한다. 다음의 콘벌루션에 따라서 비디오 데이타 어드 I'ij에 의해 정해진 2회 불선명해진 영상을 발생시키기 위해, 콘벌버(40)은 불선명 영상 데이타 Ixy를 점 분산 함수 매트릭스 Pxy로 콘벌브시킨다.
(1) I'ij=
Figure kpo00004
(k-1)(1-j)Ikl
다음 식에 따라서 2회 불선명해진 영상 데이타 I'ij를 초기의 1회 불선명해진 영상 데이타 Iij로부터 감산함으로써, 애퍼츄어 불선명으로 인한 열화추정치가 감산기(44)에서 얻어진다.
(2) Dij=Iij-I'ij
rm 다음에, 다음식에 따라서 초기선명 영상의 추정치 I''ij를 얻기 위해, 가산기(46)은 열화 추정치 Dij를 초기선명 영상데이타 Iij에 가산한다.
(3) I''ij=Iij+Dij
콘벌버(40)은 비디오 데이타 워드 I'ij에 의해 정해진 2회 불선명해진 영상과 1회 불선명해지 영상 사이에 차이를 발생시키기 위해 불선명 영상데이타 Ixy를 부(-)의 점 분산 함수 매트릭스 Pxy를 더한 임펄스(impulse)와 콘벌브하고 이것을 1회 불선명해진 영상과 가산한다. 제6도의 형태는 예시적인 것이다. 실제로, 양호한 방법은 콘벌버(40), 감산기(44) 및 가산기(46)을 결합시킴으로써 실행된 콘벌루션 처리방법과 동일한 방법을 실행하는 콘벌루션 마스크를 이용하는 방법이다. 이 콘벌루션 마스크는 제7도에 도시되어 있다. 이 마스크는 부(-)의 감지기 열화 및 중량 2의 중심 픽셀 상의 정(+) 임펄스 함수를 포함하는데, 전체 마스크의 총 중량은 1과 등가로 된다. 요약해서 설명하면, 초기 선명 영상의 추정치를 나타내는 비디오 데이타 워드 매트릭스의 i번째 행 및 j번째 열내의 각각의 비디오 데이타 워드 i''ij에 대한 식이 다음에 같이 주어질 수 있다.
(4) I'ij=2Iij-
Figure kpo00005
(P(k-i)(1-j)Ikl
데이타 워드 I''ij를 포함하는 비디오 데이타 매트릭스는 제5a도, 제5b도, 및 제5c도에 도시한 처리방법에 따라 향상된 해상도를 갖고 있는 영상에 대응한다. 제5a도의 초기영상의 모서리 선명도(definition)는 합성 비디오 데이타 워드 I''ij에 대응하는 제5c도의 향상된 영상(실선)에서 완전히 회복되지 않는다. 그러나, 해상도 또는 모서리 선명도는 제5a도의 불선명 영상(점선)에 비해 매우 향상된다.

Claims (6)

  1. 점 분산 함수에 의해 특성화된 애퍼츄어를 통해 장면을 볼 수 있는 영상기 및 제1샘플링 비로 특성화된 비디오 데이타 워드의 연속 프레임을 발생시키기 위해 상기 영상기에 응답하는 수단을 포함하는 영상 시스템의 영상 해상도 향상 장치에 있어서, 상기 비디오 데이타 워드를 제2의 고 샘플링 비로 특성화된 합성 비디오 프레임을 갖는 비디오 데이타 워드로 변환시키기 위한 수단, 및 2회 불선명해진 영상에 응답하는 비디오 데이타 워드를 발생시키기 위해 상기 합성 비디오 데이타 워드를 상기 점 분산 함수로 콘벌브 하는 수단(40), 열화 추정치에 대응하는 비디오 데이타 워드를 얻기 위해 상기 2회 불선명해진 영상 비디오 데이타 워드를 상기 합성 비디오 데이타 워드들 중의 대응하는 1개의 합성 비디오 데이타 워드로부터 감산하는 수단(44) 및 향상된 영상 비디오 데이타 워드를 얻기위해 상기 열화 추정치 비디오 데이타 워드와 상기 합성 비디오 데이타 워드를 중의 대응하는 1개의 합성 비디오 데이타 워드를 가산하는 수단(46)을 포함하는 상기 합성 비디오 프레임으로 나타난 영상의 해상도를 향상시키기 위한 수단으로 이루어지는 것을 특징으로 하는 영상 해상도 향상장치.
  2. 제1항에 있어서, 합성 비디오 프레임으로 변환시키기 위한 상기 수단이 상기 영상기에 의해 발생된 상기 후속되는 비디오 프레임들 중의 변위된 비디오 프레임의 모자이크를 형성하기 위한 다중영상 기입 수단(15)를 포함하는 것을 특징으로 하는 장치.
  3. 제1항에 있어서, 합성 비디오 프레임으로 변환시키기 위한 상기 수단이 상기 후속되는 비디오 프레임들 중의 한 단일 비디올 프레임 내에서 영상보간기술을 실행하기 위한 수단을 포함하는 것을 특징으로 하는 장치.
  4. 제1항에 있어서, 나이퀴스트비보다 콘 검출기-대-검출기 샘플링 비를 갖고 있는 검출기의 어레이를 포함하는 것을 특징으로 하는 장치.
  5. 제1항에 있어서, 상기 해상도 향상 수단이 단일 콘벌루션 마스크를 사용하여 상기 콘벌브 기능, 감산 기능 및 가산 기능을 실행하는 것을 특징으로 하는 장치.
  6. 점 분산 함수에 의해 특성화된 제한된 애퍼츄어를 갖고있는 장치를 통해 장면을 보는 영상기를 포함하는 영상장치의 영상 해상도를 향상시키기 위한 방법에 있어서, 고 샘플 불선명 영상을 발생시키기 위해 불선명 영상의 샘플링 밀도를 증가시키는 단계, 2회 불선명해진 영상을 발생시키기 위해 상기 고 샘플 불선명 영상을 상기 점 분산함수로 콘벌브하는 단계, 열화 추정치를 얻기 위해 상기 2회 불선명해진 영상을 상기 고 샘플 불선명 영상에서 감산하는 단계, 및 상기 열화추정치를 상기 고 샘플 불선명 영상에 가산하는 단계를 포함하는 것을 특징으로 하는 영상 해상도 향상방법.
KR1019840000333A 1983-01-27 1984-01-26 열화 추정치에 의한 줌 방식 영상 해상도 향상방법 및 장치 KR920003048B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US06/461,354 US4517599A (en) 1983-01-27 1983-01-27 Resolution enhancement and zoom by degradation estimates
US461354 1983-01-27

Publications (2)

Publication Number Publication Date
KR840007476A KR840007476A (ko) 1984-12-07
KR920003048B1 true KR920003048B1 (ko) 1992-04-13

Family

ID=23832233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019840000333A KR920003048B1 (ko) 1983-01-27 1984-01-26 열화 추정치에 의한 줌 방식 영상 해상도 향상방법 및 장치

Country Status (14)

Country Link
US (1) US4517599A (ko)
EP (1) EP0134244B1 (ko)
JP (1) JPH0789373B2 (ko)
KR (1) KR920003048B1 (ko)
AU (1) AU567445B2 (ko)
BR (1) BR8405177A (ko)
DE (1) DE3471778D1 (ko)
EG (1) EG16645A (ko)
ES (2) ES8503914A1 (ko)
IL (1) IL70643A (ko)
IN (1) IN162952B (ko)
IT (1) IT1208666B (ko)
TR (1) TR21766A (ko)
WO (1) WO1984002989A2 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4593311A (en) * 1983-11-30 1986-06-03 Rca Corporation Electrical registration of CCD imagers
US4612575A (en) * 1984-07-24 1986-09-16 E-Systems, Inc. T.V. video image correction
US4683496A (en) * 1985-08-23 1987-07-28 The Analytic Sciences Corporation System for and method of enhancing images using multiband information
CA1311297C (en) * 1986-09-30 1992-12-08 Theodore Stanley Rzeszewski Video signal enhancement by adaptive digital signal processing
US4959736A (en) * 1987-12-29 1990-09-25 Minolta Camera Kabushiki Kaisha Image signal processing method and apparatus with elongated picture elements
US4991020A (en) * 1989-02-17 1991-02-05 Hughes Aircraft Company Imaging system for providing separate simultaneous real time images from a singel image sensor
US5023719A (en) * 1989-10-16 1991-06-11 Hughes Aircraft Company Imaging system for providing multiple simultaneous real time images
US5168375A (en) * 1991-09-18 1992-12-01 Polaroid Corporation Image reconstruction by use of discrete cosine and related transforms
US5838371A (en) * 1993-03-05 1998-11-17 Canon Kabushiki Kaisha Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification
US5767987A (en) * 1994-09-26 1998-06-16 Ricoh Corporation Method and apparatus for combining multiple image scans for enhanced resolution
US6285804B1 (en) 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US6466618B1 (en) 1999-11-19 2002-10-15 Sharp Laboratories Of America, Inc. Resolution improvement for multiple images
JP4389371B2 (ja) * 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
US6925210B2 (en) * 2001-07-09 2005-08-02 Michael Herf Method for blurring images in real-time
US7590306B2 (en) * 2003-11-26 2009-09-15 Ge Medical Systems Global Technology Company, Llc Resolution adaptive image filtering system and method
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
BRPI0707273A2 (pt) * 2006-01-24 2011-04-26 Univ North Carolina Sistemas e métodos para a detecção de uma imagem de um objeto pelo uso de um feixe de raios x que tem uma distribuição policromática
US8433158B2 (en) * 2008-10-17 2013-04-30 Massachusetts Institute Of Technology Optical superresolution using multiple images
CA2745370A1 (en) 2008-12-01 2010-06-10 Brookhaven Science Associates Systems and methods for detecting an image of an object using multi-beam imaging from an x-ray beam having a polychromatic distribution
US8315358B2 (en) * 2009-06-04 2012-11-20 Nextray, Inc. Strain matching of crystals and horizontally-spaced monochromator and analyzer crystal arrays in diffraction enhanced imaging systems and related methods
US8204174B2 (en) * 2009-06-04 2012-06-19 Nextray, Inc. Systems and methods for detecting an image of an object by use of X-ray beams generated by multiple small area sources and by use of facing sides of adjacent monochromator crystals

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1580437A (en) * 1976-06-10 1980-12-03 Emi Ltd Arrangement for producing a stabilised picture
US4330833A (en) * 1978-05-26 1982-05-18 Vicom Systems, Inc. Method and apparatus for improved digital image processing
GB2046051B (en) * 1979-03-29 1983-01-26 Philips Electronic Associated Real time histogram modification system for image processing
JPS568140A (en) * 1979-07-02 1981-01-27 Dainippon Screen Mfg Co Ltd Emphasizing method of sharpness in image scanning and recording apparatus
DE2938349C2 (de) * 1979-09-21 1983-05-26 Aeg-Telefunken Ag, 1000 Berlin Und 6000 Frankfurt Schaltungsanordnung zur kompatiblen Auflösungserhöhung bei Fernsehsystemen
US4463381A (en) * 1980-04-16 1984-07-31 Eastman Kodak Company Image processing apparatus including a partitioned low pass channel
US4402006A (en) * 1981-02-23 1983-08-30 Karlock James A Image enhancer apparatus
DE3139483C2 (de) * 1981-10-03 1985-06-13 Dr.-Ing. Rudolf Hell Gmbh, 2300 Kiel Verfahren und Schaltungsanordnung zur Kontraststeigerung
ATE25453T1 (de) * 1981-10-19 1987-02-15 Hell Rudolf Dr Ing Gmbh Verfahren zur verbesserung der kontrastanhebung.

Also Published As

Publication number Publication date
KR840007476A (ko) 1984-12-07
ES529101A0 (es) 1985-03-01
WO1984002989A3 (en) 1984-08-30
ES537894A0 (es) 1986-04-01
TR21766A (tr) 1985-06-25
IN162952B (ko) 1988-07-23
EG16645A (en) 1993-02-28
BR8405177A (pt) 1984-12-26
ES8503914A1 (es) 1985-03-01
WO1984002989A2 (en) 1984-08-02
DE3471778D1 (en) 1988-07-07
EP0134244B1 (en) 1988-06-01
EP0134244A1 (en) 1985-03-20
AU567445B2 (en) 1987-11-19
IT8447577A0 (it) 1984-01-23
ES8606697A1 (es) 1986-04-01
AU2576884A (en) 1984-08-15
JPS60500237A (ja) 1985-02-21
JPH0789373B2 (ja) 1995-09-27
IL70643A (en) 1987-10-20
IT1208666B (it) 1989-07-10
US4517599A (en) 1985-05-14

Similar Documents

Publication Publication Date Title
KR920003048B1 (ko) 열화 추정치에 의한 줌 방식 영상 해상도 향상방법 및 장치
KR920003047B1 (ko) 줌 방식 영상 해상도 향상방법 및 장치
Burt et al. Enhanced image capture through fusion
Schechner et al. Separation of transparent layers using focus
EP0959433B1 (en) Super resolution apparatus and methods for electro-optical systems
US8390728B2 (en) Image processing apparatus and method
US20070019883A1 (en) Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US4065788A (en) Realtime image processor
JP3342588B2 (ja) 不鮮明ビデオラインの補正方法およびカメライメージャ
WO2014038629A1 (ja) 移動体検出方法
Adorf Hubble space telescope image restoration in its fourth year
US7245742B2 (en) Video surveillance with speckle imaging
Schuler et al. Increasing spatial resolution through temporal super-sampling of digital video
Gural Algorithms and software for meteor detection
Adorf et al. HST image restoration developments at the ST‐ECF
Hardie et al. High-resolution image reconstruction from a sequence of rotated and translated infrared images
Lim et al. Spatially adaptive regularized iterative high-resolution image reconstruction algorithm
Hochman et al. Restoration of images captured by a staggered TDI camera in the presence of mechanical vibrations
NO164068B (no) Opploesningsoekning av zoom ved degraderingsanslag.
Kalevo et al. Sharpening methods for images captured through the Bayer matrix
Gutiérrez et al. Using Super-Resolution
Kuwamura et al. Shift-and-Add Method with Optically Pre-Processed Stellar Specklegrams
Baxley Multiple frame image restoration techniques that employ color constraints and incorporate image distortions
Suzuki et al. High Quality Image Processing Using One-Dot-Movement and Re-sampling Techniques.
Mehringer et al. Combining Undersampled Dithered Data–A Review of the Options

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19840126

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19881007

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 19840126

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 19910730

Patent event code: PE09021S01D

G160 Decision to publish patent application
PG1605 Publication of application before grant of patent

Comment text: Decision on Publication of Application

Patent event code: PG16051S01I

Patent event date: 19920313

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 19920619

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 19920714

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 19920714

End annual number: 3

Start annual number: 1

PR1001 Payment of annual fee

Payment date: 19950403

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 19960327

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 19970328

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 19980330

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 19990402

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20000325

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20010331

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20020321

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20030319

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20030319

Start annual number: 12

End annual number: 12

EXPY Expiration of term
PC1801 Expiration of term