KR100347202B1 - 이미지스트림을국부적콘트라스트단위들로분해하는방법및장치 - Google Patents

이미지스트림을국부적콘트라스트단위들로분해하는방법및장치 Download PDF

Info

Publication number
KR100347202B1
KR100347202B1 KR1019980707115A KR19980707115A KR100347202B1 KR 100347202 B1 KR100347202 B1 KR 100347202B1 KR 1019980707115 A KR1019980707115 A KR 1019980707115A KR 19980707115 A KR19980707115 A KR 19980707115A KR 100347202 B1 KR100347202 B1 KR 100347202B1
Authority
KR
South Korea
Prior art keywords
temporal
time
contrast
image
filters
Prior art date
Application number
KR1019980707115A
Other languages
English (en)
Other versions
KR19990087654A (ko
Inventor
제프리 루빈
Original Assignee
사르노프 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사르노프 코포레이션 filed Critical 사르노프 코포레이션
Publication of KR19990087654A publication Critical patent/KR19990087654A/ko
Application granted granted Critical
Publication of KR100347202B1 publication Critical patent/KR100347202B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이미지 스트림을 국부적 콘트라스트 단위들로 분해하는 장치(400) 및 그 방법. 시간 콘트라스트 변환기(피라미드)는 공간 필터(410), 직렬 연결된 로우패스 시간 필터들(420), 다수의 감산기(430)와 제산기(440)들을 포함한다. 공간 필터(410)의 다음에는 직렬 연결된 로우패스 시간 필터들(420)이 연결되어, 시간적 로우패스 공간적 로우패스 이미지의 집합을 생성한다. 다음, 인접 필터 출력들이 공제되어 시간적 밴드패스(라플라시안) 이미지들을 생성한다. 마지막으로, 각 라플라시안 이미지가 하위 레벨의 시간 로우패스 이미지로 나누어져 시간적 밴드패스 콘트라스트 이미지들의 집합을 생성한다.

Description

이미지 스트림을 국부적 콘트라스트 단위들로 분해하는 방법 및 장치{METHOD AND APPARATUS FOR DECOMPOSING AN IMAGE STREAM INTO UNITS OF LOCAL CONTRAST}
이미지 처리 시스템의 설계자들은 종종 압축/복원(코덱) 처리에서의 콘트라스트, 해상도 및 비트 속도 효율과 같은 물리적 변수(parameter)로 설계 성능을 평가한다. 이들 변수들은 쉽게 측정될 수는 있지만 성능 평가를 위한 정확한 수단인 것은 아니다. 그 이유는 이미지 처리 시스템의 최종 사용자들이 통상 가시적인 잡음이나 왜곡현상, 그리고 어떤 경우에는 예를 들어 MRI(자기 공명 이미지)나 CAT(컴퓨터 보조 단층 촬영)스캔 이미지와 같이 이미지에서 종양의 존재와 같은 정보를 보여줄 수 있는 이미지의 특징 향상과 같은 주관적이고 시각적인 성능에 더 관심을 두기 때문이다.
수년에 걸쳐 여러 가지의 인간의 시각 기능 수단(지각적 척도 발생기(perceptual metric generator) 또는 시각 판별 측정기(visual discrimination measure)들이 이미징 시스템의 설계를 향상시키는데 사용되었다. 이들 시각 판별 측정기는 "공간적(spatial)"인 것과 "시공적(spatiotemporal)"인 것으로 크게 분류될 수 있다. 공간적 시각 판별 측정기들의 예로는 칼슨과 코헨 발생기(Carlson and Cohen generator) 및 제곱근 적분(SQRI) 발생기 등이 있다. 시공적(spatio-temporal) 시각 판별 측정기(VDM)의 예들은 1996년 6월 17자 출원된 미국 특허 출원 제 08/668,015호와 1997년 3월 28일자 출원된 대리인 번호 DSRC12146의 "두 이미지 시퀀스(sequences) 사이의 가시적 차이의 정도를 평가하는 방법 및 장치"에 개시되어 있다.
한편, 시각 판별 측정기들은 지각적 척도(metric)(충실도 척도)를 신속하게 (예를 들어 실시간으로) 생성하는데 종종 필요하며, 이 지각적 척도는 예를 들어 인코딩 작업 같은 다른 과정을 시각적으로 최적화시키는데 사용된다.
따라서, 예를 들어 하나의 이미지 스트림을 공간적 및 시간적 주파수로 국부화된 콘트라스트 단위들로 분해하기 위해 지각적 척도 발생기에 필요한 계산들을 신속하게 수행하는 장치 및 방법들이 요구된다.
발명의 요약
본 발명은 이미지 스트림을 국부화된 콘트라스트 단위들로 분해하기 위한 장치 및 방법이다. 본 발명인 시간적 콘트라스트 변환(피라미드) 장치는 공간 프리필터(prefilter), 직렬 연결된 로우패스 시간 필터들, 및 다수의감산기(subtractor)와 제산기(divider)를 포함한다. 공간 프리필터에는 직렬 연결된 로우패스 시간 필터들이 연결되어 시간적 로우패스 이미지의 집합을 생성한다. 다음 인접한 필터들의 출력이 공제되어 시간적 밴드패스(라플라시안) 이미지의 집합을 생성한다. 마지막으로, 각 라플라시안 이미지가 하위 레벨의 시간적 로우패스 이미지로 나누어져 시간적 밴드패스 콘트라스트 이미지의 집합을 생성한다.
본 출원은 1996년 3월 29일자 미국 가출원 제 60/014,324호 및 제 60/014,332호에 기초한 우선권을 주장한다.
본 발명은 이미징 시스템의 성능을 향상시키고 평가하기 위한 장치 및 그 방법에 관한 것이다. 더 상세히 말하자면, 본 발명은 이미지 스트림(stream)을 국부적 콘트라스트 단위들(units of local contrast)로 분해시키는 장치 및 그 방법에 관한 것이다.
본 발명의 사상은 첨부 도면과 관련하여 하기의 발명의 실시예들로부터 쉽게 이해될 것이다.
도 1은 본 발명의 신호 처리 시스템의 블록도.
도 2는 시각 판별 측정기 구조의 간략화된 블록도.
도 3은 공간 콘트라스트 피라미드 구조의 상세한 블록도.
도 4는 시간 콘트라스트 피라미드 구조의 상세한 블록도.
도 5는 시간 콘트라스트 피라미드를 발생시키기 위한 방법의 흐름도.
이해를 돕기 위해 각 도면에 공통되는 동일한 요소들에는 동일한 도면 부호를 사용하였다.
도 1은 본 발명의 신호 처리 시스템(100)을 도시하고 있다. 신호 처리 시스템은 신호 수신부(130), 신호 처리부(110) 및 입/출력 장치(120)로 구성된다.
신호 수신부(130)는 이미징 장치로부터의 이미지 시퀀스 같은 데이터 신호들이나, 또는 마이크나 기록 매체로부터의 오디오 신호나 예를 들어 매일의 주가 같은 금융 신호와 같은 시변(time-varying) 신호들을 수신한다. 따라서, 본 발명은 이미지에 관해 설명되지만, 상기 언급된 다른 입력 신호들에도 적용될 수 있다.
신호 수신부(130)는 데이터 수신부(132)와 데이터 저장부(134)를 포함한다. 데이터 수신부(132)는 모뎀, 아날로그-디지털 컨버터와 같은 다수의 장치들을 포함할 수 있다. 모뎀은 잘 알려진 장치로서 전화선이나 다른 통신 채널 상으로 이진 데이터를 송신 및 수신하기 위한 변조기와 복조기를 구비하고 있으며, 아날로그-디지털 컨버터는 아날로그 신호를 디지털 형태로 변환시켜 준다. 그러므로, 신호 수신부(130)는 입력 신호를 "온-라인" 또는 "실시간"으로 수신할 수 있으며, 필요하다면, 이를 디지털 형태로 변환할 수도 있다. 신호 수신부(130)는 컴퓨터, 카메라, 비디오 레코더 또는 여러 의학적 이미징 장치와 같은 하나 이상의 장치로부터 신호를 수신할 수 있다.
데이터 저장부(134)는 데이터 수신부(132)에서 수신된 입력 신호를 저장한다. 데이터 저장부(134)는 디스크 드라이브, 반도체 메모리 또는 다른 저장 매체와 같은 하나 이상의 장치들을 포함하고 있다. 이들 데이터 저장 장치들은 입력 신호에 지연을 가하는 수단을 제공하거나 다음 처리를 위해 단순히 입력 신호를 저장한다.
바람직한 실시예에서는, 신호 처리부(110)는 이미지 처리를 촉진하기 위한 시각 판별 측정기(VDM)(112), 중앙 처리 장치(CPU)(114), 및 메모리(116)를 가진 범용 컴퓨터를 구비하고 있다. 시각 판별 측정기(112)는 통신 채널을 통해 중앙처리장치(CPU)에 연결된 여러 가지 필터들이나 처리기들로 구성된 물리적 장치일 수있다. 대안적으로 시각 판별 측정기(112)는 메모리(116)로부터 불려져 신호 처리부의 CPU에 의해 실행되는 소프트웨어 형태로 구현될 수도 있다.
신호 처리부(110)는 또한 키보드, 마우스, 비디오 모니터나 하드 디스크 드라이브 또는 콤팩트 디스크 드라이브를 포함하는 저장 장치와 같은 다수의 입/출력 장치(120)에 연결된다. 입력 장치는 입력 이미지 처리를 위해 신호 처리부에 입력(제어 신호 및 데이터)을 제공하며, 출력 장치는 결과를 표시 또는 기록한다.
시각 판별 측정기(112)는 두개의 입력 이미지 시퀀스 즉 이미지 스트림 사이의 가시적 차이를 평가하여 객관적인 "알아볼 수 있는 차이"(just-noticeable difference, JND) 이미지 척도를 생성시킨다. 이 척도는 JND 값, 각 입력 이미지 쌍에 대한 JND 맵 또는 예측 확률로 표현될 수 있다. 이어서, CPU가 이 JND 이미지 척도를 사용하여 디지털 이미지 압축, 이미지 품질 측정 및 목표 탐지를 포함하는 여러 처리과정을 최적화한다.
도 2는 시각 판별 측정기(112) 구조의 간략화된 블록도로서, 두개의 입력 이미지 시퀀스(210, 220)가 처리되어 이미지 척도(270)를 생성한다. 시각 판별 측정기는 전처리(pre-processing)부(230), 공간 및/또는 시간 필터(240), 콘트라스트 변환기(250) 및 후처리(post-processing)부(260)를 구비한다.
바람직한 실시예에서는, 자극(stimuli)은 두 개의 디지털화된 이미지 시퀀스, 즉 입력 이미지 시퀀스 A(210)와 입력 이미지 시퀀스B(220)이다. 예를 들어, 시퀀스 A는 원시 이미지(예를 들어, 기준 이미지 시퀀스)를 구비하고, 시퀀스 B는 시퀀스 A의 코덱 처리된 이미지(예를 들어, 테스트 이미지 시퀀스)를 구비할 수 있다. 입력 시퀀스는 샘플링된 휘도의 평면 분포의 시간 프레임, 즉 디스플레이 장치 표면상의 근접한 점들의 균일 간격(uniform grid)을 샘플링하는 광도계로부터 얻어지는 시간 프레임을 나타낸다.
한편, 본 발명이 두 개의 입력 이미지 시퀀스 사이의 색상(chrominance)의 차이도 나타내도록 설계되었기 때문에, 자극에는 색상 성분도 포함될 수 있다. 따라서, 본 발명이 아래에서 입력 이미지 시퀀스의 휘도 성분만을 가지고 설명되더라고, 본 발명이 색상 성분 단독으로 또는 휘도 성분과 함께 색상 성분에 적용될 수 있다는 것을 이해해야 한다.
입력 이미지 시퀀스는 선택적 전처리부(230)에 수신되어 공간 및 시간 필터링에 앞서 전처리된다. 전처리부는 시각 판별 측정기의 (인간의 능력에 비한) 예측 정확성을 향상시키도록 설계되었다.
일반적으로, 전처리부(230)는 인간의 눈의 샘플링 과정(망막 샘플링)에 근접한 기능을 행하는 것으로 최적의 디지털 이미지 처리를 위해 이미지를 개조시킨다. 망막 샘플링은 인간의 눈의 샘플링 과정을 모의(simulate)하기 위해 자극을 다시 샘플링하는 과정이다.
좀 더 상세히 말하자면, 전처리부(230)는 프레임 속도 조절기, 보더 삽입기, 픽셀 대 수용체 비율 보상을 위한 스무딩/보간기(smoother/interpolator), 컨벌루션 처리기(convolver), 이미지/고정 깊이 정합기(matcher) 및 "픽셀 크기"와 "수용체 크기"를 관련시키기 위한 여러 가지 샘플링기를 포함할 수 있다. 이들 전처리 장치 및 방법의 예는 대리인 번호 DSRC12146으로 1997년 3월 28자 출원된 "두 이미지 시퀀스 사이의 가시적 차이의 정도를 평가하는 방법 및 장치"란 명칭의 특허 출원에 개시되어 있으며 본 명세서에도 그 내용이 포함되어 있다.
당업자는 계산 비용을 절감하기 위해 전처리부(230)내의 여러 단계들이 서로 다른 적용상의 필요에 따라 선택적으로 유사한 처리 단계와 함께 구현되거나 또는 유사한 처리 단계로 치환되게 할 수 있다. 따라서, 공간 및/또는 시간 필터(240)의 입력 시퀀스는 단순히 원래의 미처리된 입력 이미지일 수도 있고, 또는 전처리부(230)의 하나 이상의 여러 이미지 처리 단계를 거친 이미지일 수도 있다.
도 2로 다시 돌아가면, 시각 판별 측정기(112)는 각 입력 이미지 시퀀스의 휘도 성분을 다수의 채널, 즉 로우패스 시간 응답과 밴드패스 공간 응답 채널의 집합(지속 채널)(sustained channels)과 로우패스 공간 응답과 밴드패스 시간 응답 채널의 집합(일시 채널)(transient channels)과 같은 다수의 채널로 분리하기 위해 하나 이상의 공간 및/또는 시간 필터(240)를 포함하고 있다. 이러한 지속 및 일시 채널 응답을 발생시키기 위해 여러 분해 형태를 가진 공간 및 시간 필터의 여러 가지 결합이 사용될 수 있다.
지속 및 일시 채널로의 분리는 대리인 번호 DSRC12146에 개시된 바대로 시각 생리학적 모의 실험에 의해 잘 설명된다. 사실상, 지속 채널은 입력 스트림(이미지 시퀀스)을 시간적으로는 흐리게 하지만 비교적 좋은 공간 해상도를 제공한다. 따라서, 이 채널의 출력은 세부 사항과 색상 척도를 관찰하기에 이상적이다. 반대로, 일시 채널은 입력 스트림을 공간적으로 흐리게 하지만 입력 이미지 시퀀스의 움직임이나 색의 변화 감지에는 이상적인 훌륭한 시간 해상도를 제공한다.
대안적으로, 시각 판별 측정기(112)는 분리 가능한 가우시안 필터와 같은 공간 프리필터를 포함할 수 있다. 예를 들어, 가우시안 필터는 예를 들어 원래의 입력 이미지의 (1, 4, 6, 4, 1)/16의 가중치를 가진 5-탭 로우패스필터를 이미지의 각 방향에 연속적으로 인가하여 흐려진 이미지를 생성시킨다.
도 2로 돌아가서, 시간 및/또는 공간 필터의 출력은 국부적 콘트라스트 단위들을 발생시키기 위해 콘트라스트 변환기(250)로 연결된다. 상기 생성된 여러 가지의 서로 다른 공간 또는 시간 주파수 밴드에 콘트라스트 변환기가 인가될 때, 콘트라스트 변환 연산은 콘트라스트 피라미드 연산으로 불리게 된다. 입력 이미지의 밴드 제한 형태가 시간 주파수뿐만 아니라 공간 주파수에서도 얻어질 수 있기 때문에, 콘트라스트 피라미드는 공간 콘트라스트 피라미드와 시간 콘트라스트 피라미드의 두 가지 형태로 구현될 수 있다. 이들 콘트라스트 피라미드는 각각 도 3과 도 4에 도시되어 있다.
이들 두 서로 다른 피라미드들은 시각 판별 측정기(112)에 로우패스 시간-밴드패스 공간 응답과 로우패스 공간-밴드패스 시간 응답을 제공하기 위해 단독 또는 결합형태로 구현될 수 있다. 다시 말해, 각 입력 이미지 시퀀스는 공간 콘트라스트 변환기와 시간 콘트라스트 변환기 모두에 수신된다.
도 2에서, 콘트라스트 변환기(250)로부터의 국부적 콘트라스트 단위들은 후처리부(260)로 향하게 된다. 일반적으로, 후처리부(260)는 인간의 콘트라스트 감도에 대응하도록 기능한다.
더 상세히 말하자면, 후처리부(260)는 지향 튜닝(orientation tuning)을 위한 하나 이상의 지향 필터(oriented filter), 표준화를 위한 표준화기, 시각 한계의 교차 주파 및/또는 교차 지향 마스킹을 위한 이득 제어기, S자형 비선형성을 인가하기 위한 변성기, 인간 망막 감도를 위한 풀러(pooler), 그리고 이미지 척도(270)를 발생시키기 위한 디스턴서(distancer)(도시되지 않음)를 포함할 수 있다. 디스턴서의 출력은 이미지 척도가 된다.
더 상세히 말하자면, 출력은 거리 값 즉 "JND" 값의 공간적 배열인데, 이는 한 쌍의 대응하는 입력 이미지 즉, 입력 시퀀스 A로부터의 입력 이미지와 입력 시퀀스 B로부터의 입력 이미지에 대한 "JND" 맵을 생성하는데 사용된다. 이들 후처리 장치 및 방법의 예는 대리인 번호 DSRC12146으로 1997년 3월 28일 출원된 "두 이미지 시퀀스 사이의 가시적 차이의 정도를 평가하는 방법 및 장치"란 명칭의 특허 출원에 개시되어 있다.
도 3은 공간 콘트라스트 피라미드(300)를 도시하고 있다. 공간 콘트라스트 피라미드에서, 로우패스 필터(310) 다음에는 직렬 연결된 가우시안 공간 필터의 집합(320)이 연결되어 공간적 로우패스(가우시안) 이미지의 집합을 생성한다. 다음, 인접한 필터 출력들이 감산기(330)를 통해 공제되어 공간적 밴드패스(라플라시안) 이미지의 집합을 생성한다. 마지막으로, 각 라플라시안 이미지는 제산기(340)를 통해 하위 레벨 가우시안으로 나누어져 경로(350-352)상에 밴드패스 콘트라스트 이미지를 생성한다. 비록 시간 필터(310)가 공간 콘트라스트 피라미드(300)의 일부로 도시되어 있지만, 시간 필터(310)는 도 2에 도시된 바와 같이 콘트라스트 피라미드 외부에 분리된 시간 필터(240)로 구현될 수도 있다.
바람직한 실시예에서는, 시간 필터(310)가 로우패스 시간 필터의 형태를 가진다. 더 상세히 말하면, 이 시간 필터는 I(x, t)로 나타내어지는 각 입력 이미지 시퀀스에 시간적 필터링을 가하여 필터링된 시퀀스 J(x, t)를 생성할 수 있다. 필터링된 시퀀스 J(x, t)는 다음과 같이 표시된다.
J(x, t) = I(x, t) * h(t)(1)
여기서 "*"는 시간 컨벌루션을 나타낸다.
바람직한 실시예에서는, 로우패스 시간 필터는 다음과 같이 표시될 수 있다.
h(t) = a exp(-at) u(t)(2)
여기서 u(t)는 단위 계단 함수[t<0일 때 u(t)=0이고 이외에는 u(t)=1]이고, "a"는 적절한 변수이다. 바람직한 실시예에서 "a"와 다른 변수들은 시공간 콘트라스트 감도 데이터를 사용하여 구해질 수 있으며, 그 한 예가 Koenderink 와 van Doorn에 의해 "Spatiotemporal Contrast Detection Threshold Surface Is Bimodal", Optics Letters 4, 32-34(1979)에 나와 있다.
시간 필터 구현의 한 예는 신호 s(i)의 이산 시간 샘플들 상에 행해지는 반복적 연산을 포함한다. 여기서, i는 시간 샘플들을 나타내는 것으로,
h(i) = αh(i-1) + (1-α)s(i)(3)
와같이 나타낼 수 있다.
이러한 로우패스 시간 필터의 구현은 시간 필터들(310, 420) 양자에 사용될 수 있다.
도 3에서는 시간 필터링 이후에, 시간 필터(310)로부터 필터링 결과인 각 휘도 신호가 수신되어 국부적 콘트라스트 단위들로 전환된다. 즉, "콘트라스트 피라미드"는 이미지를 가우시안 피라미드와 라플라시안 피라미드로 분해함에 의해 생성된다. 먼저, P. J. Burt and E. H. Adelson이 "The Laplacian Pyramid As A Compact Image Code", IEEE Transaction on Communications(1983)에 개시한 바와 같이 각 이미지가 라플라시안 피라미드로 분해된다.
바람직한 실시예에서는, 입력 이미지의 휘도 성분이 32에서 0.5 사이클/도(cycles/degree) 범위의 피크 주파수를 가진 가우시안 공간 필터(320)를 통해 7개의 공간 주파수 채널 또는 밴드패스(피라미드) 레벨의 집합으로 분해된다. 각 레벨은 이웃하는 레벨과 한 옥타브씩 분리된다. 즉, 32, 16, 8, 4, 2, 1 및 0.5 로 된다. 다음, 각 레벨의 각 점에서, 라플라시안 값은 해상도가 두 레벨 낮은 가우시안 피라미드 레벨로부터 샘플링된 대응점들로 나누어진다. 즉, 피라미드의 각 레벨에서 국부적 콘트라스트를 계산하기 위해, 각 가우시안 레벨에서 감산기(330)로 한 레벨 흐린 가우시안을 공제함에 의해 라플라시안(밴드패스) 피라미드가 생성되며, 이는 제산기(340)에 의해 두 레벨 흐린 가우시안으로 나누어진다. 비록 바람직한 실시예에서 입력 이미지가 7개의 주파수 채널 또는 밴드패스(피라미드) 레벨로 분해되지만, 입력 이미지는 임의적 개수의 주파수 채널로 분해될 수 있다.
도 4는 시간 콘트라스트 피라미드(400)를 도시하고 있다. 공간 콘트라스트 피라미드(300)와 시간 콘트라스트 피라미드(400)의 중요한 차이는 반대로 공간 필터 다음에 시간 필터의 직렬연결이 온다는 것이다. 요컨대, 공간 콘트라스트 피라미드(300)는 로우패스 시간-밴드패스 공간 응답을 생성하지만, 시간 콘트라스트 피라미드(400)는 로우패스 공간-밴드패스 시간 응답을 생성한다는 것이다.
더 상세히 말하면, 공간 필터(410)(로우패스) 다음에 (상기한 바와 같이) 로우패스 시간 필터들의 직렬연결(420)이 이어져, 시간적 로우패스 및 공간적 로우패스 이미지를 생성한다. 다음, 인접한 필터 출력들이 감산기(430)를 통해 공제되어 시간적 밴드패스(라플라시안) 이미지를 생성한다. 마지막으로, 각 라플라시안 이미지가 제산기(440)에 의해 하위 레벨의 시간적 밴드패스 이미지로 나누어져 경로들(450-452)상에 시간적 밴드패스 콘트라스트 이미지의 집합을 생성한다. 비록 공간 필터(410)가 시간 콘트라스트 피라미드(400)의 일부로 도시되어 있지만, 도 2에 도시된 바와 같이 공간 필터(410)가 분리된 공간 필터로서 콘트라스트 피라미드의 외부에 구현될 수도 있다.
비록 바람직한 실시예에서는 시간 콘트라스트 피라미드(400)가 직렬 연결된 로우패스 시간 필터들을 이용하고 있지만, 본 발명이 이런 구체적 실시예에 한정되는 것은 아니다. 예를 들어 모든 넌-네거티브 탭(all non-negative taps)을 가진 시간적 FIR(유한 임펄스 응답)필터와 같은 다른 형태의 로우패스 시간 필터들도 본 발명에 적용되어 유사한 결과를 나타낼 수 있다.
도 5는 시간 콘트라스트 피라미드를 구축하는 방법(500)을 도시하고 있다. 상기 방법(500)은 단계(510)에서 시작하여 시간 로우패스 피라미드가 구축되는 단계(520)로 진행된다. 공간적 로우패스된 원시 입력 이미지 G1은 피라미드의 제 1레벨로 불린다. 이보다 해상도가 낮은 다음 레벨들은 "감소"라 불리는 연산에 의해 얻어진다.
감소 연산은 공간적으로 로우패스된 원시 입력 이미지에 이미지의 각 방향으로 연속적으로 다운-샘플링을 인가하여 흐려진 이미지를 생성시킨다. 다음, 흐려진 이미지가 인자 2로 서브샘플링되어 다음 레벨 G2를 생성시킨다. 방법(500)은 감소 연산을 각 새로운 레벨에 반복적으로 인가하다가, 디폴트값이 7인 톱 레벨에 이르게 될 때 중지한다.
도 5에서, 방법(500)은 시간 라플라시안 피라미드를 단계(530)에서 생성시킨다. 시간 라플라시안 피라미드는 단계(520)의 시간 로우패스 피라미드로부터 생성된다. 시간 라플라시안 피라미드의 k번째 레벨 Lk는,
Lk= Gk- Gk+1
로 계산된다. "확장"이라 불리는 연산을 통해 Gk레벨의 해상도를 맞추기 위해서는 인접 시간 로우패스 피라미드 레벨들을 하나씩 공제하는데 이전의 Gk+1의 업샘플링이 필요하다.
확장 연산은 가우시안-피라미드 레벨 k에서 인자 2에 의해 Gk의 이미지를 업샘플링하고(즉, 원시 샘플들은 그 사이에서 0으로 간격을 둔다), 그 결과인 확대된 이미지는 x와 y방향 양자에서 가중치(1, 4, 6, 4, 1)/16과 컨벌루션된다. 시간 라플라시안 피라미드의 k번째 레벨 Lk를 계산함에 있어, 확장 연산은 하나씩 공제되면서 변경된다. 즉,
Lk= Gk- 확장(Gk+1)
이다. 이 과정은 가장 거친 시간 로우패스 레벨(k=7)에서 가장 미세한 레벨(k=1)까지 계속된다.
단계(540)에서, 상기 방법(500)은 시간 콘트라스트 피라미드를 계산한다. 국부적 콘트라스트 피라미드는 시간 라플라시안 피라미드의 각 레벨에서 각 픽셀 값을 (확장 연산에 의해) 2레벨 높이 보간된 레벨에서 현재의 시간 라플라시안 피라미드 레벨 크기까지 대응되는 가우시안 값으로 나눔에 의해 계산된다. 0으로 나누는 에러는 제수(divisor)에 작은 상수(예를 들어 1e-10)를 더함으로써 피할 수 있다. 시간 콘트라스트 피라미드가 구축되면, 방법(500)은 단계(550)에서 종료된다.
지금까지, 이미지 충실도를 개선하고 시각적 업무 적용을 개선하기 위해 이미지 스트림을 국부적 콘트라스트 단위들로 분해하는 새로운 시간 콘트라스트 피라미드 장치와 그 방법이 개시되었다. 한편, 당업자에게는 본 발명의 실시예들을 개시하고 있는 본 명세서와 첨부 도면을 고려할 때 본 발명의 여러 변형, 수정, 변화 및 사용과 응용이 가능함이 명백할 것이다. 본 발명의 사상과 내용을 벗어나지 않는 그러한 모든 변형, 수정, 변화 및 사용과 응용은 하기의 청구의 범위에 의해서만 제한되는 본 발명의 범위에 포함된다고 할 것이다.

Claims (10)

  1. 다수의 신호들을 가진 입력 시퀀스로부터의 국부적 콘트라스트 단위들을 계산하는 장치(400)에 있어서,
    (a) 상기 입력 시퀀스의 각 신호로부터 다수의 시간 필터링된 신호들을 발생시키는 다수의 직렬 연결된 시간 필터들(420);
    (b) 적어도 두 개의 상기 시간 필터들에 연결되어, 시간 밴드패스 신호를 발생시키는 적어도 하나의 감산기(430); 그리고
    (c) 상기 감산기중의 하나와 상기 시간 필터중의 하나에 연결되어, 시간 밴드패스 콘트라스트 신호를 발생시키는 적어도 하나의 제산기(440)를 포함하는 것을 특징으로 하는 국부적 콘트라스트 단위 계산 장치.
  2. 제 1 항에 있어서,
    상기 다수의 신호들은 이미지들인 것을 특징으로 하는 국부적 콘트라스트 단위 계산 장치.
  3. 제 1 항에 있어서,
    상기 시간 필터중의 하나에 연결되어, 상기 시간 필터링된 신호들을 생성하는데 사용되는 공간 필터링된 이미지를 발생시키기 위해 상기 입력 시퀀스의 이미지에 공간 필터링을 인가하는 공간 필터(410)를 더 포함하는 것을 특징으로 하는국부적 콘트라스트 단위 계산 장치.
  4. 제 1 항에 있어서,
    상기 다수의 직렬 연결된 시간 필터들(420), 상기 감산기(430), 및 상기 제산기(440)는 시간 콘트라스트 피라미드를 형성하는 것을 특징으로 하는 국부적 콘트라스트 단위 계산 장치.
  5. 다수의 신호들을 가진 입력 시퀀스로부터 국부적 콘트라스트 단위들을 계산하는 방법에 있어서,
    (a) 상기 입력 시퀀스의 각 신호로부터 다수의 시간 필터링된 신호를 발생시키기 위해 다수의 직렬 연결된 시간 필터들을 사용하는 단계;
    (b) 인접한 상기 시간 필터링된 신호들의 집합으로부터 시간 밴드패스 신호를 생성하는 단계; 그리고
    (c) 시간 밴드패스 콘트라스트 신호를 발생시키기 위해 상기 시간 밴드패스 신호를 상기 시간 필터링된 신호들 중의 하나로 나누는 단계를 포함하는 것을 특징으로 하는 국부적 콘트라스트 단위 계산 방법.
  6. 제 5 항에 있어서,
    상기 다수의 신호들은 이미지들인 것을 특징으로 하는 국부적 콘트라스트 단위 계산 방법.
  7. 제 5 항에 있어서,
    공간 필터링된 이미지를 발생시키기 위해 상기 입력 시퀀스의 상기 이미지를 공간 필터링하는 단계를 더 포함하며, 상기 공간 필터링된 이미지는 상기 단계(a)에서의 상기 입력 시퀀스의 신호인 것을 특징으로 하는 국부적 콘트라스트 단위 계산 방법.
  8. 제 5 항에 있어서,
    상기 시간 필터들은 로우패스 필터들인 것을 특징으로 하는 국부적 콘트라스트 단위 계산 방법.
  9. 제 5 항에 있어서,
    상기 시간 필터들은 FIR 필터들인 것을 특징으로 하는 국부적 콘트라스트 단위 계산 방법.
  10. 다수의 신호들을 가진 입력 시퀀스로부터 국부적 콘트라스트 단위들을 계산하는 방법에 있어서,
    (a) 상기 입력 시퀀스의 각 신호로부터 다수의 시간 필터링된 신호들을 생성하는 단계;
    (b) 인접한 상기 시간 필터링된 신호들의 집합으로부터 시간 밴드패스 신호를 생성하는 단계; 그리고
    (c) 상기 시간 밴드패스 신호 및 상기 시간 필터링된 신호들로부터 시간 밴드패스 콘트라스트 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 국부적 콘트라스트 단위 계산 방법.
KR1019980707115A 1996-03-29 1997-03-31 이미지스트림을국부적콘트라스트단위들로분해하는방법및장치 KR100347202B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US1433296P 1996-03-29 1996-03-29
US1432496P 1996-03-29 1996-03-29
US60/014,324 1996-03-29
US60/014,332 1997-03-28
PCT/US1997/005225 WO1997037326A1 (en) 1996-03-29 1997-03-31 Method and apparatus for decomposing an image stream into units of local contrast

Publications (2)

Publication Number Publication Date
KR19990087654A KR19990087654A (ko) 1999-12-27
KR100347202B1 true KR100347202B1 (ko) 2002-09-18

Family

ID=26685953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980707115A KR100347202B1 (ko) 1996-03-29 1997-03-31 이미지스트림을국부적콘트라스트단위들로분해하는방법및장치

Country Status (5)

Country Link
US (1) US5909516A (ko)
EP (1) EP0891604A4 (ko)
JP (1) JP2000507726A (ko)
KR (1) KR100347202B1 (ko)
WO (1) WO1997037326A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137904A (en) * 1997-04-04 2000-10-24 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
US6360022B1 (en) * 1997-04-04 2002-03-19 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
US6236742B1 (en) * 1997-07-09 2001-05-22 Peter H. Handel Coherent superscan early cancer detection
GB9803580D0 (en) * 1998-02-21 1998-04-15 Nds Ltd Determining visually noticeable differences between two images
US6421097B1 (en) 1998-07-31 2002-07-16 Intel Corporation Method and apparatus for reducing flicker in a video image sequence
US6285797B1 (en) 1999-04-13 2001-09-04 Sarnoff Corporation Method and apparatus for estimating digital video quality without using a reference video
ATE552572T1 (de) * 2000-12-01 2012-04-15 Imax Corp Verfahren und vorrichtung zum erzeugen hochauflösender bilder
JP2002224982A (ja) * 2000-12-01 2002-08-13 Yaskawa Electric Corp 薄型基板搬送用ロボットおよび薄型基板検出方法
US6556009B2 (en) * 2000-12-11 2003-04-29 The United States Of America As Represented By The Department Of Health And Human Services Accelerated magnetic resonance imaging using a parallel spatial filter
US7155569B2 (en) * 2001-02-28 2006-12-26 Lsi Logic Corporation Method for raid striped I/O request generation using a shared scatter gather list
KR100941209B1 (ko) 2001-08-23 2010-02-10 소니 주식회사 로봇 장치, 얼굴 인식 방법 및 얼굴 인식 장치
US6748338B2 (en) * 2001-11-21 2004-06-08 Winbond Electronics Corporation Method and apparatus for testing eye diagram characteristics
US7098927B2 (en) * 2002-02-01 2006-08-29 Sharp Laboratories Of America, Inc Methods and systems for adaptive dither structures
KR100434162B1 (ko) * 2002-03-13 2004-06-04 학교법인연세대학교 객관적 비디오 화질 평가 장치 및 방법
US7856055B2 (en) * 2002-03-13 2010-12-21 Imax Corporation Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
US7317841B2 (en) * 2003-12-22 2008-01-08 Ge Medical Systems Global Technology Company, Llc System and method for image noise reduction using a minimal error spatiotemporal recursive filter
WO2006127129A2 (en) * 2005-04-19 2006-11-30 University Of Georgia Research Foundation, Inc. Image edge detection systems and methods
EP1977395B1 (en) * 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
CA2884702C (en) 2006-06-23 2018-06-05 Samuel Zhou Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
KR100925419B1 (ko) * 2006-12-19 2009-11-06 삼성전자주식회사 라플라시안 피라미드를 이용한 컬러 영상의 화질 개선 장치및 그 방법
US8824831B2 (en) * 2007-05-25 2014-09-02 Qualcomm Technologies, Inc. Advanced noise reduction in digital cameras
US8731318B2 (en) * 2007-07-31 2014-05-20 Hewlett-Packard Development Company, L.P. Unified spatial image processing
US8687913B2 (en) * 2012-07-17 2014-04-01 Adobe Systems Incorporated Methods and apparatus for image deblurring and sharpening using local patch self-similarity

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4551753A (en) * 1981-12-17 1985-11-05 Nippon Hoso Kyokai Picture signal processing system including spatio-temporal filter
US4675532A (en) * 1985-11-06 1987-06-23 Irvine Sensors Corporation Combined staring and scanning photodetector sensing system having both temporal and spatial filtering
JP2536024B2 (ja) * 1988-02-29 1996-09-18 株式会社島津製作所 Ｘ線画像処理装置
US5109425A (en) * 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
US5119195A (en) * 1991-01-31 1992-06-02 Thomson Consumer Electronics, Inc. Video noise reduction system employing plural frequency bands
DE69214229T2 (de) * 1991-08-14 1997-04-30 Agfa Gevaert Nv Verfahren und Vorrichtung zur Kontrastverbesserung von Bildern
US5260791A (en) * 1992-06-04 1993-11-09 David Sarnoff Research Center, Inc. Method and apparatus for the spatio-temporal coring of images
US5694491A (en) * 1996-03-29 1997-12-02 David Sarnoff Research Center, Inc. Methods and apparatus for assessing the visibility of differences between two image sequences
US5719966A (en) * 1996-03-29 1998-02-17 David Sarnoff Research Center, Inc. Apparatus for assessing the visiblity of differences between two image sequences

Also Published As

Publication number Publication date
EP0891604A4 (en) 2000-04-26
WO1997037326A1 (en) 1997-10-09
EP0891604A1 (en) 1999-01-20
KR19990087654A (ko) 1999-12-27
JP2000507726A (ja) 2000-06-20
US5909516A (en) 1999-06-01

Similar Documents

Publication Publication Date Title
KR100347202B1 (ko) 이미지스트림을국부적콘트라스트단위들로분해하는방법및장치
US6678424B1 (en) Real time human vision system behavioral modeling
US5719966A (en) Apparatus for assessing the visiblity of differences between two image sequences
US5694491A (en) Methods and apparatus for assessing the visibility of differences between two image sequences
KR100378637B1 (ko) 두이미지시퀀스사이의가시적차이의정도를평가하는방법및장치
Sheikh et al. Image information and visual quality
Petrovic et al. Gradient-based multiresolution image fusion
Masry et al. A metric for continuous quality evaluation of compressed video with severe distortions
Lagunas-Hernandez et al. An improved maximum likelihood method for power spectral density estimation
Hill et al. Contrast sensitivity of the wavelet, dual tree complex wavelet, curvelet, and steerable pyramid transforms
Yu et al. Human visual system based objective digital video quality metrics
Osberger et al. A computational model of the human visual system for image quality assessment
Masry et al. CVQE: A metric for continuous video quality evaluation at low bit rates
JP2581136B2 (ja) 画質評価装置
JP4450516B2 (ja) ２つの信号配列間の視程差を評価するための方法及び装置
Halyo et al. Information content in nonlinear local normalization processing of digital images
Tekalp et al. Image modeling using higher-order statistics with application to predictive image coding
KR100574595B1 (ko) 두개의 신호 시퀀스들 사이의 가시성 차이들을 평가하기 위한 방법 및 장치
Daly The role of the visual system's orientation mechanisms in the perception of spatial aliasing
Huang et al. Color image denoising with wavelet thresholding based on human visual system model
JPH0793543A (ja) 画像誤差評価方法
Lai et al. New image compression artifact measure using wavelets
Yu et al. Perceptual blocking distortion measure for digital video
Bajpayee Review of Image Enhancement in Spatial vs. Frequency Domain Anita Pati Mishra
Liang et al. A Contourlet coefficients based image quality metric

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20140623

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20150622

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20160520

Year of fee payment: 15