KR20010075115A - 종합적인 이미지 강화 구조 - Google Patents

종합적인 이미지 강화 구조 Download PDF

Info

Publication number
KR20010075115A
KR20010075115A KR1020017003319A KR20017003319A KR20010075115A KR 20010075115 A KR20010075115 A KR 20010075115A KR 1020017003319 A KR1020017003319 A KR 1020017003319A KR 20017003319 A KR20017003319 A KR 20017003319A KR 20010075115 A KR20010075115 A KR 20010075115A
Authority
KR
South Korea
Prior art keywords
image
map
approximated
enhanced
input image
Prior art date
Application number
KR1020017003319A
Other languages
English (en)
Inventor
아챠리야틴쿠
Original Assignee
피터 엔. 데트킨
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 피터 엔. 데트킨, 인텔 코오퍼레이션 filed Critical 피터 엔. 데트킨
Publication of KR20010075115A publication Critical patent/KR20010075115A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

근사화 기술 A(21)에 따라 원래의 입력 이미지(I)로부터 근사화된 이미지 A(I)를 형성하는 단계, 상기 입력 이미지(I)로부터 상기 근사화된 이미지 A(I)를 차분(23)함으로써, 사전-강화 맵(데이터)을 형성하는 단계, 강화된 맵 E(데이터)를 형성하는 이미지 강화 기술 E(25)에 따라 상기 사전-강화 맵(데이터)을 강화하는 단계, 및 강화된 이미지(I')를 생성하기 위해 상기 강화된 맵E(데이터)를 상기 근사화된 이미지 A(I)에 결합시키는 단계를 포함하는 방법이 기재되어 있다.

Description

종합적인 이미지 강화 구조{A GENERAL IMAGE ENHANCEMENT FRAMEWORK}
이미지 강화(image enhancement)의 목표는 처리된(즉, 강화된) 이미지가 요구된 애플리케이션에 보다 알맞게 되도록 하기 위한 방식으로 원래의 이미지(스캐너 또는 디지털 카메라에 의해 포착된 것과 같은)를 처리하는 것이다. 일반적으로, 이미지 강화는 원래 이미지의 시각적 표현을 개선하거나, 또는 원래의 이미지를 휴먼 및 머신 분석에 보다 알맞은 형태로 변환하는 다양한 기술을 포함한다. 예를 들면, 이미지 강화는 포커싱(focusing)으로 인해 희미해진 이미지를 보다 선명하게 하는데 사용될 수 있다. 이미지로부터의 이러한 "노이즈(noise)"의 제거는 종종, 노이즈에 따라 중요한 이미지 정보를 부주의하게 제거하게 되는 부정확한 프로세스가 된다. 최근에, 노이즈 제거 이미지 강화에서의 보다 진보된 접근법은 1997년 12월 8일에 출원된 출원번호 08/986,761, "A New Edge-Detection Based Noise Removal Algorithm,"와 같이 발전되고 있다.
이러한 발전에도 불구하고, 이미지 강화는 부정확한 기술이다. 이미지 강화에서의 중대한 장애물은 정확한 이미지 디테일(detail) 및 잘못된 이미지 디테일의 이미지에서의 특성화(characterization) 또는 예측(prediction)이다. 예를 들어, 하나의 이미지에서 컬러의 번짐(bleeding)으로 검출될 수 있는 것은 다른 이미지에서는 컬러의 자연스러운 진행일 수 있다. 일부 이미지 강화 기술은 그것의 원래의 형태에서 전체 이미지에 대해 작용하지만, 대부분은 이미지의 "컬러 보간된(interpolated)" 버전에 대해 작용한다. 이것은 베이어 패턴(Bayer pattern)으로 포착되는, 디지털적으로 스캔 또는 포착된 이미지에서 특히 그러하다. 베이어 패턴에서, 각 픽셀 위치는 적(Red), 녹(Green) 또는 청(blue)의 3가지 컬러 성분 중의 하나의 세기 레벨을 가진다. 그리고 나서, 베이어 패턴 이미지는, 각 픽셀의 잃어버린(missing) 컬러 성분이 각 픽셀에 완전한 "컬러"(적, 녹 및 청 세기)를 제공하기 위해 근사화되도록 "컬러 보간"된다. 그러나, 이러한 기술은 종종 에러 또는 노이즈를 생성한다. 따라서, 컬러 보간 후의 이미지 강화는, 포착된 이미지에 비해, 왜곡으로 인해 아주 정확한 결과를 산출할 수는 없다. 이에 따라, 기술 효율성을 증가시키기 위해 이미지 강화를 수행하기 위한 일반적인 구조가 요구된다.
본 발명은 일반적으로 이미지 처리 분야에 관한 것으로, 특히 이미지의 강화(enhancing)에 관한 것이다.
본 발명에 대한 방법 및 장치의 목적, 특징 및 장점들은 청부한 도면 및 다음의 상세한 설명으로부터 명확해질 것이다.
도1은 본 발명의 실시예를 도시한 도면.
도2는 본 발명의 실시예의 일례를 도시한 도면.
도3은 원래의 입력 이미지, 근사화된 이미지 및 차분 이미지(사전-강화 맵)를 도시한 도면.
도4는 강화된 맵의 생성을 도시한 도면.
도5는 상기 강화된 이미지의 생성을 도시한 도면.
도6은 본 발명의 실시예에 따라 입력 이미지로부터 강화된 이미지를 생성하기 위한 구조를 기재한 순서도.
도7은 본 발명의 실시예의 시스템 블록도.
발명의 요약
원래의 입력 이미지로부터 근사화된 이미지를 형성하는 단계, 상기 입력 이미지로부터 상기 근사화된 이미지를 차분화함으로써, 사전-강화 맵(pre-enhancement map)을 형성하는 단계, 강화된 맵을 형성하는 이미지 강화 기술에 따라 상기 사전-강화 맵을 강화하는 단계, 및 강화된 이미지를 생성하기 위해 상기 강화된 맵을 상기 근사화된 이미지에 결합시키는 단계를 포함하는 방법이 기재되어 있다.
도1은 본 발명의 실시예를 도시하고 있다. 도1에 따르면,근사화기(approximator)(11)는 입력 이미지를 수신하여, 그 이미지의 근사화된 이미지를 출력에 생성한다. 근사화기(11)는 수행되어질 이미지 강화를 예측하고 있을 수 있다. 예를 들어, 노이즈 감소 이미지 강화의 경우에, 근사화기(11)는 노이즈가 종종 주요 부분에 있는 고주파수 이미지 컨텐츠에 대한 입력 이미지를 필터링하는 저역 통과 필터를 포함할 수 있다. 다른 예에서, 근사화기(11)는 입력 이미지의 "보다 평활화된(smoother)"(또는 덜 흔들리는) 버전을 생성하기 위해, 입력 이미지 상에 이동 윈도우 평균화(moving window averaging)를 적용한 것일 수 있다. 근사화기는, 이미지 강화 동안에 왜곡 또는 잘못 해석되지 않아야 하는 시각적으로 중요한 이미지 디테일을 포함하는, 보다 높은 가능성을 가지는 이미지의 버전을 생성하도록 설계되어야 한다.
이에 따라 생성된 근사화된 이미지를 이용하여, 입력 이미지 및 근사화된 이미지는 사전-강화 맵(pre-enhancement map)을 형성하기 위해 이미지를 이용하는 차분 매핑 블록(13)에 공급된다. 예를 들어, 일실시예에서, 차분 매핑 블록(13)은 사전-강화 맴을 형성하기 위해 입력 이미지로부터 근사화된 이미지(픽셀마다)를 감산하는 감산기를 포함할 수 있다. 사전-강화 맵은 입력 이미지와 근사화된 이미지의 차분 정보를 포함하여, 이에 따라 양쪽에 대해 공통인 특징을 제거하게 된다. 노이즈 감소 이미지 강화의 경우에, 사전-강화 맵은 감소되어질 노이즈에 따라 일부 실재 이미지 정보를 포함할 수 있다. 따라서, 사전-강화 맵에 포함된 노이즈 이외의 실재 이미지 정보 레벨은 근사화기의 효율성에 의존하게 된다. 이상적인 근사화기에 있어서, 차분 매핑은 주로 이미지에서 나타나는 노이즈를 양산한다. 이 설계는통상적으로 주지되어 있기 때문에, 설계 팩터는 파라미터 결정(에지, 노이즈 구별에 대한 임계값 설정과 같은)시에 고려될 수 있다.
강화 엔진(15)은, 이 맵을 강화된 맵으로 처리하기 위해, 그 입력에서 사전-강화 맵을 수신한다. 노이즈 감소에서, 예를 들어, 노이즈는 임의적이고 병리적(pathological)이라는 가정이 만들어질 수 있으므로, 이에 따라 노이즈 맵의 일부분을 차지하고, 그 부분 내의 픽셀의 그룹간의 그래디언트(gradient)를 분석함으로써(즉, 그래디언트가 특정 임계값을 통과했는지의 여부), 그 픽셀이 노이즈로 여겨져야 하는지, 픽셀이 실제 이미지에 속해야 하는지에 대한 분리(segregation)가 이루어질 수 있다. 사전-강화 맵은 많은 실재 이미지 정보를 제거하기 때문에, 이 프로세스는 상당히 더 효과적으로 수행되어, 근사화기가 효과적으로 설계되는 경우, 노이즈를 거의 제거할 수 있게 된다. 따라서, 강화 엔진(15)은 논리적으로 감소된 픽셀의 집합 상에서 동작한다. 근사화된 이미지의 대응 세기값이 원래의 입력 이미지에 매칭되는 픽셀 위치에서, 사전-강화 맵은 제로를 나타낼 것이다. 예를 들어, 이러한 경우에, 강화 엔진(15)에 의해 노이즈가 아닌 것으로 확실하게 식별될 수 있는 제로 픽셀들은 제거되지 않는다. 본 발명의 중요한 특징 하나는, 입력 이미지 상에서가 아니라, 노이즈 감소의 경우에는 대부분의 노이즈 정보 및 소수의 에지 정보를 포함하는, 또는 에지 강화의 경우에는 단지 에지만을 제거하는 사전-처리된 이미지 상에서 강화 기술을 적용하는 것이다.
그리고 나서, 구성기(constructor)(17)는 강화된 이미지를 형성하기 위해 근사화된 이미지를 강화된 맵(강화 엔진(15)으로부터)에 결합시킨다. 구성기(17)는강화된 노이즈 맵을 근사화된 이미지에 가산하는 가산기일 수 있다. 강화가 적절하게 수행되었다면, 입력 이미지에서 노이즈를 제외한 실재 이미지 정보가 근사화된 이미지 내에 유지되어, 입력 이미지 자체에 직접 동작된 강화 엔진에서 보다 좋은 품질의 강화된 이미지를 생성하게 된다.
도2는 본 발명의 실시예의 일례를 도시하고 있다.
도2는 도1에 도시된 구조에 따른 노이즈 감소 강화를 나타내고 있다. 도2에서, 입력 이미지(I)는 근사화 모델기(approximation modeler)A(21)로 전송된다. 근사화 모델기 A(21)는 어떤 이미지 정보를 분리하기 위해, 저역 통과 필터링 또는 이동 윈도우 평균화를 적용할 수 있다. 그리고 나서, 근사화 모델기에 의해 생성된 근사화된 이미지 A(I)는 감산기(23)를 이용하여 입력 이미지로부터 픽셀마다 감산된다. 이것은 △ 또는 차분 이미지("사전-강화된 맵"이라 부르는)를 제공한다. 그리고 나서, △는 강화기(25)에 의해 강화된다. 강화된 △, E(△)(또한, "강화된 맵"이라 부르는)는 가산기(27)에 의해 강화된 이미지(I')를 형성하기 위해 근사화된 이미지 A(I)와 결합된다. 이 강화 기술의 일부 장점은, 이 강화가 많은 제로값을 포함할 수 있는 맵 상에서 수행되기 때문에, 계산상 잠재적인 감소를 포함한다. 이들 제로값이 고려된다고 하더라도, 비트 깊이(depth), 즉 계산적인 관점에서 그값을 취급하는데 사용되는 비트 수가 감소되기 때문에, 계산 속도는 점점 증가한다. 다른 잠재적인 장점은, 동일한 강화 기술이 원래의 이미지에 적용될 때에, 종래의 이미지 강화 구조에 비해, 적용되는 모든 강화 기술의 향상이다. 따라서, 임의의 강화 기술에 대하여, 기재된 방법은 보다 최적화된 강화로 인해 개선된 이미지를 양산할 수 있다.
도3은 원래의 입력 이미지, 근사화된 이미지 및 차분 이미지(사전-강화 맵)를 도시하고 있다.
도3은 스캔, 포착 또는 조합적으로 생성될 수 있는 원래의 입력 이미지(310)를 도시하고 있다. 입력 이미지(310)는 몇몇 독특한 특징을 가진다. 집의 이미지를 표현하기 위해, 입력 이미지(310)는 또한 집 주변에 얼룩진(speckled) 노이즈를 포함한다. 특히, 입력 이미지(310)는 집의 가까운 에지에, 이 에지와 동일한 벡터 방향으로 분포된 얼룩진 노이즈를 보여준다. 통상의 노이즈 감소 강화에서, 이러한 노이즈는 에지 자신으로부터 정확히 구별되기 어렵다. 본 발명에 따르면, 이미지의 평활 버전(smooth version)이 생성된다. 이 "근사화된 이미지"(320)는 에지와 같은 집의 주요 특징을 여전히 보여주고, 에지와, 그 에지에 직접 인접한 에지 및 노이즈를 평활한다. 결과적으로, 근사화된 이미지(320)는 약간 희미해질 수 있다. 즉, 에지 선명도(definition)가 입력 이미지(310)만큼 선명하지는 않을 수 있다. 전술한 바와 같이, 근사화된 이미지(320)는 입력 이미지(310)로부터 매 픽셀마다 감산된다. 이로부터, 그 결과는 근사화로 인해 제거되었던 에지 및 노이즈 정보를 포함하는 사전-강화 맵(△)이 된다. 사전-강화 맵(330)은 근사화된 이미지(320)를 생성하기 위해 수행된 평활화(smoothing)의 효과로 인해, 많은 부분에서 대부분 노이즈를 포함한다. 사전-강화 맵(330)에서, 집 에지의 희미한 윤곽이 보일 수 있다. 이 희미한 에지는 근사화된 이미지에서 나타나지 않는다(전체 입력 이미지에 비해 상대적으로).
도4는 강화된 맵의 생성을 도시한 도면이다. 도3에서 생성된 근사화된 이미지(320)는 원래의 입력 이미지(310)의 노이즈 및 희미한 에지 정보 모두로 구성된다. 본 발명의 실시예에 따르면, 입력 이미지에 대한 노이즈 감소와 같은 강화를 적용하기보다는, 강화된 맵(410)을 생성하기 위해 사전-강화 맵(330)에 강화 기술이 적용된다. 결과적으로, 수행되는 노이즈 제거는 보다 능률적이고 효과적일 수 있다. 사전-강화 맵(330)에 대해 노이즈 감소를 적용함으로써 생성된 강화 맵(410)은 노이즈의 대부분과, 부분적으로 보유한 집의 희미한 에지의 제거를 보여준다. 특히, 집의 바로 인접한 에지의 얼룩진 노이즈가 제거된다.
도5는 강화된 이미지의 생성을 도시한 도면이다.
강화된 이미지(510)를 생성하기 위해, 근사화된 이미지(320)는 강화된 맵(410)에 가산된다. 강화된 이미지(510)는 보다 선명한 에지 특징, 및 노이즈 레벨에서의 현저한 감소를 보여준다. 특히 주목할 것은 집의 에지 특징에 따른 노이즈의 감소이다. 강화된 이미지(510)는 매 픽셀마다의 강화된 맵(410)의 세기값과 근사화된 이미지(320)의 합이다.
도6은 본 발명의 실시예에 따른 입력 이미지로부터 강화된 이미지를 생성하기 위한 구조를 기술한 순서도이다. 블록(61)에서, 입력 이미지의 근사화된 이미지가 설계된 근사화 모델에 따라 형성된다. 2단계 접근법(즉, 근사화 단계 및 강화 단계)이 이루어지기 때문에, 성기게(loosely) 모델링된 근사화 블록은 대개 촘촘하게(tightly) 모델링된 강화 블록을 초래하고, 반대의 경우에도 마찬가지이다. 예를 들어, 노이즈 감소의 목적을 위해, 근사화된 이미지에서 일반적으로 수행되는 강화가 없기 때문에, 근사화된 이미지 내에 최소 노이즈를 유지하기 위해 근사화 모델을 설계하는 것이 바람직하다.
블록(63)에서, 입력 이미지로부터 근사화된 이미지를 차분 감산함으로써, 차분(differential) 이미지가 생성된다. 사전-강화 맵을 생성하는 것은 공통 이미지 특징을 제거하기 때문에, 강화 프로세스에서 분석될 필요가 있는 정보가 거의 없다.
따라서, 블록(65)에서, 사전-강화 맵이 강화된다. 차분화 프로세스에 대해 잃어버린 이미지 정보를 복구하기 위해, 입력 이미지의 강화된 이미지를 생성하도록 근사화된 이미지가 강화된 맵에 결합된다(블록(67)).
도7은 본 발명의 실시예의 시스템 블록도를 도시한 도면이다.
도7은 카메라(730)에 연결된 PC와 같은 일반적 또는 특별한 목적의 데이터 처리 머신일 수 있는 컴퓨터 시스템(710)을 도시하고 있다. 카메라(830)는 디지털 카메라, 디지털 비디오 카메라, 모든 이미지 캡쳐 장치 또는 이미징 시스템일 수 있으며, 객체 또는 장면(740)의 센서 이미지를 포착하는데 사용된다. 필수적으로, 포착된 이미지는 이미지 처리 회로(732)에 의해 압축 및 처리되어, 이미지 메모리 유닛(734)에 효과적으로 저장될 수 있는데, 여기서 이미지 메모리 유닛(734)은 RAM, 또는 고정된 디스크, 메모리 카드 등과 같은 다른 저장 장치일 수 있다. 대부분의 디지털 카메라에서, 센서와 같은 이미지 포착 메커니즘으로부터 획득된 미처리 이미지는 먼저 카메라(730) 상에 저장되고, 나중에 다운로드되어 출력, 디스플레이 또는 조작된다. 이것은 카메라(730)가 추가적인 지연없이 다음의 객체를 빠르게 포착할 수 있게 한다. 미처리 이미지 표현의 편리한 한 방법은 각 픽셀이 3개(R, G, B) 값 중 하나를 갖는 베이어 패턴이다.
일실시예에서, 이미지는 카메라(730)에 의해 미처리 베이어 패턴으로 포착되고 나서, 다른 어떤 포맷으로 압축된다. 본 발명의 일실시예에 따른 이미지 강화는 다음과 같이 동작한다. 먼저, 압축된 이미지는 I/O 포트(717)를 통해 카메라(730)로부터 디스크(718) 또는 컴퓨터 시스템(710) 상의 다른 장치로 다운로드된다. 압축된 이미지는 컴퓨터 시스템(710) 상에서 압축해제된다. 그리고 나서, 컴퓨터 시스템은 본 발명의 다양한 실시예에서의 구조에 따른 명령어를 실행함으로써, 컬러 보간 전에 복구된 베이어 패턴 이미지 상에서 이미지 강화를 수행한다.
본 발명의 다양한 실시예에서 기재된 방법은 PentiumTM(인텔 코퍼레이션사의 제품)과 같은 프로세서(712), 및 명령어, 어드레스 및 결과 데이터를 저장/로딩하는데 사용되는 RAM과 같은 메모리(711)를 이용하여 실행될 수 있다. CFA 이미지 상에서 노이즈 제거를 수행하는데 사용된 애플리케이션은 C++과 같은 언어로 쓰여진 소스로부터 컴파일되는 실행가능 모듈일 수 있다. 원래의 완전한 이미지보다는 차분 맵 상에서 선택된 강화 기술을 적용함으로써, 이미지 강화를 돕는 명령어에 대응하는 상기 실행가능 모듈의 명령어는 디스크(718) 또는 메모리(711)에 저장되어, 일부 컴퓨터-판독가능 매체를 통해 로딩될 수 있다. 컴퓨터 과학 분야에서 통상의 지식을 가진 자에게는, 본 발명의 다양한 실시예에서 기재된 삽입 방법을 수행하도록 판단 머신을 프로그램하는 것은 쉽게 이해될 것이다.
컴퓨터 시스템(710)은 프로세서(712) 및 메모리(711)로/로부터 정보 전송을 도모하는 시스템 버스(713), 및 시스템 버스(713)를 I/O 버스(715)에 연결하는 브릿지(714)를 구비한다. I/O 버스(715)는 디스플레이 어댑터(716), 디스크(718), 및 직렬 포트와 같은 I/O 포트와 같은 여러 I/O 장치를 연결한다. I/O 장치, 버스 및 브릿지의 이러한 많은 조합이 본 발명에 사용될 수 있고, 도시된 조합은 단지 하나의 이러한 가능 조합의 예시일 뿐이다.
객체/장면(740)의 이미지와 같은 이미지가 포착된 경우, 이미지는, 예를 들어, 베이어 패턴으로의 R, G, B 픽셀로 센싱된다. 이들 픽셀 값은 이미지 처리 회로(732)로 전송된다. 이미지 처리 회로(732)는, 카메라(730)와 컴퓨터 시스템(710) 간의 전송 크기를 감소시키기 위한 이미지 압축 구조를 다른 기능들 사이에서 실행하는 집적회로 및 그 밖의 소자들로 구성된다. 유저 또는 애플리케이션이 이미지의 다운로드를 요구/요청하는 경우, 이미지 메모리 유닛에 저장된 압축된 이미지가 이미지 메모리 유닛(734)으로부터 I/O 포트(717)로 전송된다. I/O 포트(717)는, 이미지 데이터를 메모리(711) 또는 선택적으로 디스크(718)에 일시적으로 저장하기 위해, 도시된 버스-브릿지 계층(I/O 버스(715)-브릿지(714)-시스템 버스(713))을 사용한다. 압축된 이미지는 적당한 애플리케이션 소프트웨어(또는 전용 하드웨어)에 의해 압축해제되고, 그렇게 하기 위해 프로세서(712)를 이용할 수 있다. 압축해제된 이미지 데이터는 카메라(730)의 센서에 의해 포착된 이미지 데이터와 유사한 또는 동일한 베이어 패턴 이미지 데이터로 복구되어진다.
따라서, 일단 압축해제된 다운로드 이미지는 그들의 미처리된 픽셀당 컬러성분의 형태로 픽셀을 가진다. 노이즈가 제거되거나 또는 강화된 이미지가 모니터(720) 상에 출력되도록 요구되면, 본 발명의 다양한 실시예에 따른 노이즈 제거 기술 또는 이미지 강화는 컬러 보간을 통해 완전한 컬러 픽셀을 형성하기 전에 수행되어야 하며, 전술된 차분 강화 구조를 사용하여야 한다. 다운로드 및 압축해제된 이미지는 위에서 논의된 기술 중의 하나에 의해 강화되고, 이에 따라, 그 이미지는 강화된 이미지로 변환된다. 강화된 이미지 데이터 집합은 추가의 처리를 위해 메모리(711) 또는 디스크(718)에 저장될 수 있다. 강화가 완전히 수행되고 나면, 데이터 집합은, 컬러 보간 프로세스에 의해 필요에 따라 버려진 원래의(복구된) 이미지에 대해 동작될 수 있다. 이미지 강화후 컬러 보간된 렌더링 이미지(750)는 보다 상세하게(예로, 보다 선명한 에지 및 보다 적은 노이즈) 주어진 알맞은 디스플레이 장치(모니터(720) 및 어댑터(716))에 렌더링되어, 원래의 객체/장면(740)과 보다 유사하게 닮게 된다. 강화 및 컬러 보간된 이미지는 디스크(718), 메모리(711)상에 저장되고, 및/또는 디스플레이 어댑터(716)를 통해 렌더링된 후에 모니터(720)에 직접 출력될 수 있다.
이미지 강화를 위한 컴퓨터 프로그램 코드는 플로피 디스크 또는 CD-ROM과 같은 제거가능 컴퓨터-판독가능 매체 상에 패키징될 수 있고, 카메라(730)로부터 다운로드된 이미지의 압축해제를 수행하는 소프트웨어를 동반할 수 있다. 다른 소프트웨어에 이용함에 있어서, 이것은 네크워크를 통해 통신 시스템 상에 다운로드/분배될 수 있거나, 또는 펌웨어로 이용가능할 수 있다. 이미지가 유저에게 보다 정확하게 시각적으로 표현되도록 하기 위해, 이 다운로드된 이미지가 강화될 수 있다. 이러한 이미지 강화 기술은 대안적으로 카메라(730) 자체의 하드웨어에 구현될 수도 있다.
본 발명의 대안의 실시예에서, 이미지 메모리 유닛(734)에 저장된 이미지가 강화된 이미지가 되도록, 이미지 처리 회로(732)는 노이즈 제거 또는 카메라 상의 다른 이미지 강화를 수행하기 위한 회로를 포함하도록 채택될 수 있다. 이러한 실시예에서, 이미지는 이미지 처리의 어떤 단계에서도 강화될 수 있다. 이러한 하드웨어 실시예에서, 이것이 결정됨에 따라, 각 강화된 이미지 픽셀은 이미지 메모리 유닛(734) 또는 다른 저장 메커니즘에 직접 다시 기록될 수 있다. 또한, 근사화된 맵, 사전-강화 맵 및 다른 중간 결과 데이터는 또한 이미지 메모리 유닛(730)을 이용할 수 있다. 이미지를 강화하기 위한 전술된 방법은 VLSI(Very Large Scale Integration) 또는 다른 집적회로 내에 구현될 수 있다. 본 발명의 다양한 실시예에 나타난 이미지 강화 구조는, 종래의 강화 기술과는 달리, 베이어 패턴 미처리 이미지에 대해 적용 가능하도록 설계되기 때문에, 잠재적인 직접 하드웨어 구현의 장점을 가진다. 이미지 강화 구조는 또한 필요에 따라 컬러 보간 후에 실행될 수 있다. 인공적인 잡음 감소(artifact reduction), 에지 첨예화 컬러 번짐 감소(edge sharpening color bleeding reduction) 등과 같은 많은 이미지 강화 기술이 본 발명에서 논의된 구조를 이용할 수 있으며, 이에 따라, 어떤 형태로 적용된 기술이라도 종래의 이미지 강화보다 보다 효과적으로 동작한다.
여기서 기재된 예시적인 실시예는 단지 본 발명의 원리를 설명하기 위해 제공되고, 본 발명의 범위를 한정하는 것으로 여겨져서는 안될 것이다. 차라리, 본발명의 원리는 여기에 기재된 장점 및 그 밖의 장점을 달성하거나, 다른 목적을 만족시키기 위해 넓은 범위의 시스템에 대해 적용될 수 있다.
앞의 명세서에서, 본 발명이 특정한 예시적인 실시예를 참조하여 설명되었다. 그러나, 첨부된 청구항에서 기술되는 바와 같이, 본 발명의 보다 넓은 사상 및 범위에서 벗어나지 않는 한, 다양한 수정 및 변경이 가능하다는 것은 명백한 사실이다. 따라서, 본 명세서 및 도면은 제한적 관점이라기 보다는 하나의 예시로서 간주되어야 한다. 이에 따라, 본 발명의 범위는 첨부한 청구항에 의해서만 제한되어야 한다.

Claims (14)

  1. 원래의 입력 이미지로부터 근사화된 이미지를 형성하는 단계;
    상기 입력 이미지로부터 상기 근사화된 이미지를 차분화(differentiating)함으로써 사전-강화 맵(pre-enhancement map)을 형성하는 단계;
    이미지 강화 기술에 따라 상기 사전-강화 맵을 강화(enhancing)하여, 이로써 강화된 맵(enhanced map)을 형성하는 단계; 및
    강화된 이미지를 생성하기 위하여 상기 강화된 맵을 상기 근사화된 이미지에 결합시키는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 근사화된 이미지를 형성하는 단계는 상기 입력 이미지를 저역 통과 필터링하는 단계를 포함하는
    방법.
  3. 제1항에 있어서,
    상기 근사화된 이미지를 형성하는 단계는 이동 윈도우(moving window) 방식으로 상기 입력 이미지의 일부분을 평균화(averaging)하는 단계를 포함하는
    방법.
  4. 제1항에 있어서,
    상기 사전-강화 맵을 형성하는 단계는 상기 입력 이미지로부터 상기 근사화된 이미지를 감산하는 단계를 포함하는
    방법.
  5. 제1항에 있어서,
    상기 결합 단계는 상기 강화된 맵을 상기 근사화된 이미지에 가산하는 단계를 포함하는
    방법.
  6. 제1항에 있어서,
    상기 강화 단계는 노이즈 제거를 포함하는
    방법.
  7. 제1항에 있어서,
    상기 강화 단계는 에지 첨예화(sharpening)를 포함하는
    방법.
  8. 입력 이미지의 근사화된 이미지를 생성하도록 구성된 근사화기(approximator);
    상기 근사화기에 연결되고, 상기 입력 이미지 및 상기 근사화된 이미지로부터 사전-강화 맵을 형성하도록 구성된 차분 매핑 모듈(differential mapping module);
    상기 차분 매핑 모듈에 연결되고, 상기 사전-강화 맵을 강화하여, 이로부터 강화된 맵을 형성하도록 구성된 강화 모듈; 및
    상기 강화 모듈에 연결되고, 상기 강화된 맵을 상기 근사화된 이미지에 결합시켜, 상기 입력 이미지의 강화된 버전을 출력하는 구성기(constructor)
    를 포함하는 시스템.
  9. 제8항에 있어서,
    상기 근사화기는 저역 통과 필터인
    시스템.
  10. 제8항에 있어서,
    상기 근사화기는 상기 입력 이미지 상에 이동 윈도우 평균화를 적용하도록 구성된
    시스템.
  11. 제8항에 있어서,
    상기 차분 매핑 모듈은 감산기인
    시스템.
  12. 제8항에 있어서,
    상기 구성기는 가산기인
    시스템.
  13. 제8항에 있어서,
    상기 강화 모듈은 노이즈 제거를 제공하는
    시스템.
  14. 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금,
    입력 이미지로부터 근사화된 이미지를 생성하는 단계;
    상기 입력 이미지로부터 상기 근사화된 이미지를 차분화함으로써 사전-강화 맵을 생성하는 단계;
    강화된 맵을 형성하기 위해 상기 사전-강화 맵을 강화하는 단계; 및
    강화된 이미지를 형성하기 위해 상기 강화된 맵을 상기 근사화된 이미지에 결합시키는 단계
    를 실행하도록 야기시키는 명령어를 가진 컴퓨터 판독가능 매체
    를 포함하는 부품(article).
KR1020017003319A 1998-09-16 1999-09-10 종합적인 이미지 강화 구조 KR20010075115A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/154,176 1998-09-16
US09/154,176 US6108453A (en) 1998-09-16 1998-09-16 General image enhancement framework
PCT/US1999/020676 WO2000016265A1 (en) 1998-09-16 1999-09-10 A general image enhancement framework

Publications (1)

Publication Number Publication Date
KR20010075115A true KR20010075115A (ko) 2001-08-09

Family

ID=22550311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017003319A KR20010075115A (ko) 1998-09-16 1999-09-10 종합적인 이미지 강화 구조

Country Status (8)

Country Link
US (1) US6108453A (ko)
JP (1) JP2002525724A (ko)
KR (1) KR20010075115A (ko)
AU (1) AU6139799A (ko)
DE (1) DE19983560B4 (ko)
GB (1) GB2358982B (ko)
TW (1) TW451581B (ko)
WO (1) WO2000016265A1 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095164B1 (en) 1999-05-25 2006-08-22 Intel Corporation Display screen
US6697534B1 (en) 1999-06-09 2004-02-24 Intel Corporation Method and apparatus for adaptively sharpening local image content of an image
US6625308B1 (en) 1999-09-10 2003-09-23 Intel Corporation Fuzzy distinction based thresholding technique for image segmentation
US6658399B1 (en) 1999-09-10 2003-12-02 Intel Corporation Fuzzy based thresholding technique for image segmentation
US7106910B2 (en) * 1999-10-01 2006-09-12 Intel Corporation Color video coding scheme
US7053944B1 (en) 1999-10-01 2006-05-30 Intel Corporation Method of using hue to interpolate color pixel signals
US7158178B1 (en) 1999-12-14 2007-01-02 Intel Corporation Method of converting a sub-sampled color image
US6628827B1 (en) 1999-12-14 2003-09-30 Intel Corporation Method of upscaling a color image
US6292535B1 (en) * 1999-12-21 2001-09-18 Canon Kabushiki Kaisha Digital X-ray imaging system with automatic display image greyscale enhancement and method
US6961472B1 (en) 2000-02-18 2005-11-01 Intel Corporation Method of inverse quantized signal samples of an image during image decompression
US6748118B1 (en) 2000-02-18 2004-06-08 Intel Corporation Method of quantizing signal samples of an image during same
US6738520B1 (en) * 2000-06-19 2004-05-18 Intel Corporation Method of compressing an image
US7046728B1 (en) 2000-06-30 2006-05-16 Intel Corporation Method of video coding the movement of a human face from a sequence of images
US6775413B1 (en) 2000-09-18 2004-08-10 Intel Corporation Techniques to implement one-dimensional compression
US7474337B1 (en) * 2000-10-24 2009-01-06 Sony Corporation Method and apparatus to provide edge enhancements as part of a demosaicing process
US6636167B1 (en) 2000-10-31 2003-10-21 Intel Corporation Method of generating Huffman code length information
US6563439B1 (en) 2000-10-31 2003-05-13 Intel Corporation Method of performing Huffman decoding
US20020118746A1 (en) * 2001-01-03 2002-08-29 Kim Hyun Mun Method of performing video encoding rate control using motion estimation
US6766286B2 (en) 2001-03-28 2004-07-20 Intel Corporation Pyramid filter
US20020184276A1 (en) * 2001-03-30 2002-12-05 Tinku Acharya Two-dimensional pyramid filter architecture
US6889237B2 (en) * 2001-03-30 2005-05-03 Intel Corporation Two-dimensional pyramid filter architecture
AU2002332706A1 (en) * 2001-08-30 2003-03-18 Faroudja Cognition Systems, Inc. Multi-layer video compression system with synthetic high frequencies
JP4993152B2 (ja) * 2001-09-12 2012-08-08 日本テトラパック株式会社 可撓性ウェプ材料からなる容器へのプラスチック部品のモールド方法、その装置及びプラスチック部品がモールドされた容器
US6944356B2 (en) * 2002-05-13 2005-09-13 Tektronix, Inc. Locating point of interest in an impaired image
US7266151B2 (en) * 2002-09-04 2007-09-04 Intel Corporation Method and system for performing motion estimation using logarithmic search
US20040042551A1 (en) * 2002-09-04 2004-03-04 Tinku Acharya Motion estimation
US7092017B2 (en) * 2002-09-13 2006-08-15 Eastman Kodak Company Fixed pattern noise removal in CMOS imagers across various operational conditions
US20040057626A1 (en) * 2002-09-23 2004-03-25 Tinku Acharya Motion estimation using a context adaptive search
US7116840B2 (en) 2002-10-31 2006-10-03 Microsoft Corporation Decoding and error correction in 2-D arrays
US7133563B2 (en) 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
US20040169748A1 (en) * 2003-02-28 2004-09-02 Tinku Acharya Sub-sampled infrared sensor for use in a digital image capture device
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
US7103227B2 (en) * 2003-03-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality images of naturally illuminated scenes
US7308154B1 (en) * 2003-10-20 2007-12-11 Rockwell Collins, Inc. Method and apparatus for enhancing a degraded digital image
US7424168B2 (en) * 2003-12-24 2008-09-09 Sharp Laboratories Of America, Inc. Enhancing the quality of decoded quantized images
US7583842B2 (en) 2004-01-06 2009-09-01 Microsoft Corporation Enhanced approach of m-array decoding and error correction
US7263224B2 (en) 2004-01-16 2007-08-28 Microsoft Corporation Strokes localization by m-array decoding and fast image matching
US7607076B2 (en) 2005-02-18 2009-10-20 Microsoft Corporation Embedded interaction code document
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US7599560B2 (en) 2005-04-22 2009-10-06 Microsoft Corporation Embedded interaction code recognition
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US7400777B2 (en) 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
CN101185104A (zh) 2005-06-01 2008-05-21 皇家飞利浦电子股份有限公司 在模板保护系统中形成分类边界
US7580576B2 (en) 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
US7412106B1 (en) * 2005-06-25 2008-08-12 Cognex Technology And Investment Corporation Methods for locating and decoding distorted two-dimensional matrix symbols
US7619607B2 (en) 2005-06-30 2009-11-17 Microsoft Corporation Embedding a pattern design onto a liquid crystal display
US7528848B2 (en) * 2005-06-30 2009-05-05 Microsoft Corporation Embedded interaction code decoding for a liquid crystal display
US7622182B2 (en) 2005-08-17 2009-11-24 Microsoft Corporation Embedded interaction code enabled display
US7817816B2 (en) 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US7496240B2 (en) * 2005-08-24 2009-02-24 Brother Kogyo Kabushiki Kaisha Image denoising apparatus and method
US7471319B2 (en) * 2005-10-28 2008-12-30 Hewlett-Packard Development Company, L.P. Lens and CCD correction using singular value decomposition
US7878402B2 (en) * 2005-12-20 2011-02-01 Cognex Technology And Investment Corporation Decoding distorted symbols
KR100780932B1 (ko) * 2006-05-30 2007-11-30 엠텍비젼 주식회사 컬러 보간 방법 및 장치
US20100014777A1 (en) * 2008-07-19 2010-01-21 Headplay (Barbados) Inc. System and method for improving the quality of compressed video signals by smoothing the entire frame and overlaying preserved detail
US20110205227A1 (en) * 2008-10-31 2011-08-25 Mani Fischer Method Of Using A Storage Switch
US20100246688A1 (en) * 2009-03-26 2010-09-30 Apple Inc. Blind noise analysis for video compression

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61112285A (ja) * 1984-11-07 1986-05-30 Hitachi Ltd 対話型画像強調方式
JPS6346880A (ja) * 1986-08-14 1988-02-27 Nec Corp 画像強調回路
JP2655602B2 (ja) * 1987-11-04 1997-09-24 日本電気株式会社 画像強調回路
JPH0236675A (ja) * 1988-07-27 1990-02-06 Nec Corp 画像強調方法及び回路
JP2832954B2 (ja) * 1988-09-09 1998-12-09 日本電気株式会社 画像強調回路
JPH02171873A (ja) * 1988-12-23 1990-07-03 Nec Corp カラー画像強調回路
JPH02171095A (ja) * 1988-12-23 1990-07-02 Nec Corp カラー画像強調回路
JPH02171872A (ja) * 1988-12-23 1990-07-03 Nec Corp カラー画像強調回路
US5012333A (en) * 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
JPH0496877A (ja) * 1990-08-14 1992-03-30 Matsushita Electric Ind Co Ltd 画像復元装置
JP3114208B2 (ja) * 1991-01-08 2000-12-04 日本電気株式会社 適応画像強調回路
JPH06260889A (ja) * 1993-03-05 1994-09-16 Sony Corp フィルタ回路
US5717789A (en) * 1993-09-08 1998-02-10 California Institute Of Technology Image enhancement by non-linear extrapolation in frequency space
JPH08163407A (ja) * 1994-11-30 1996-06-21 Victor Co Of Japan Ltd リンギング低減装置
DE19530095A1 (de) * 1995-08-16 1997-02-20 Martin Engwicht Zugriff-Überwachendes-Hilfsmittel auf Speichereinheiten
JPH0991423A (ja) * 1995-09-28 1997-04-04 Fuji Photo Film Co Ltd 画像処理方法および装置
JPH0993439A (ja) * 1995-09-28 1997-04-04 Fuji Photo Film Co Ltd 画像処理方法および装置
JP3816151B2 (ja) * 1995-09-29 2006-08-30 富士写真フイルム株式会社 画像処理方法および装置
JPH09163144A (ja) * 1995-12-11 1997-06-20 Fuji Photo Film Co Ltd 画像処理方法および装置
KR100206319B1 (ko) * 1995-12-13 1999-07-01 윤종용 비디오 신호의 로컬 콘트라스트 개선을 위한 방법및장치
JP3700798B2 (ja) * 1996-08-19 2005-09-28 富士写真フイルム株式会社 画像処理方法および装置
JP3777672B2 (ja) * 1996-10-08 2006-05-24 松下電器産業株式会社 画像処理方法および画像処理装置

Also Published As

Publication number Publication date
WO2000016265A1 (en) 2000-03-23
TW451581B (en) 2001-08-21
JP2002525724A (ja) 2002-08-13
US6108453A (en) 2000-08-22
DE19983560B4 (de) 2008-11-13
GB2358982A (en) 2001-08-08
GB2358982B (en) 2002-11-27
DE19983560T1 (de) 2001-08-09
AU6139799A (en) 2000-04-03
GB0105847D0 (en) 2001-04-25

Similar Documents

Publication Publication Date Title
KR20010075115A (ko) 종합적인 이미지 강화 구조
Kimmel et al. A variational framework for retinex
US6229578B1 (en) Edge-detection based noise removal algorithm
US7612909B2 (en) Image processing apparatus and method, and image-capturing apparatus based on the difference between a signal detected by a sensor and the real world
JP4858610B2 (ja) 画像処理方法
WO2009141340A2 (en) Image processing to enhance image sharpness
CN110348425B (zh) 去底纹的方法、装置、设备及计算机可读存储介质
CN111462022B (zh) 一种水下图像清晰化增强方法
US6574374B1 (en) Enhancing image compression performance by morphological processing
CN111626912A (zh) 水印去除方法及装置
JP3033967B2 (ja) 画像信号を処理する方法と装置
Tsutsui et al. Halo artifacts reduction method for variational based realtime retinex image enhancement
CN111476736A (zh) 一种图像去雾方法、终端及系统
JPH10228536A (ja) 画像処理方法
JP2005517315A (ja) 色域圧縮
CN104978720A (zh) 一种视频图像雨滴去除方法及装置
Du et al. Recursive image dehazing via perceptually optimized generative adversarial network (POGAN)
Chen et al. An adaptive image dehazing algorithm based on dark channel prior
Wong et al. Turbo denoising for mobile photographic applications
CN115205144A (zh) 图像阴影去除方法、装置、计算设备及存储介质
CN113379629A (zh) 卫星图像去噪方法、装置、计算机设备和存储介质
JPH09270005A (ja) エッジ画像処理装置およびエッジ画像処理方法
JPH02273876A (ja) 画像処理方式
Ishii et al. Denoising via nonlinear image decomposition for a digital color camera
Lehar et al. Image processing system for enhancement and deblurring of photographs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20031118

Effective date: 20051026

J2X1 Appeal (before the patent court)

Free format text: APPEAL AGAINST DECISION TO DECLINE REFUSAL

J302 Written judgement (patent court)

Free format text: JUDGMENT (PATENT COURT) FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20051228

Effective date: 20061115