KR20060111528A - 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출 - Google Patents

비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출 Download PDF

Info

Publication number
KR20060111528A
KR20060111528A KR1020067010122A KR20067010122A KR20060111528A KR 20060111528 A KR20060111528 A KR 20060111528A KR 1020067010122 A KR1020067010122 A KR 1020067010122A KR 20067010122 A KR20067010122 A KR 20067010122A KR 20060111528 A KR20060111528 A KR 20060111528A
Authority
KR
South Korea
Prior art keywords
blocks
space
image
video signal
time
Prior art date
Application number
KR1020067010122A
Other languages
English (en)
Inventor
라두 세르반 자신스치
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060111528A publication Critical patent/KR20060111528A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

본 발명은 TV나 DVD 신호와 같은 비디오 신호 처리에 관한 것이다. 비디오 신호에서 국부적 이미지 공간-시간 상세의 검출 및 분할을 위한 방법 및 시스템이 개시되어 있다. 또한, 비디오 신호 인코더가 개시되어 있다. 개시된 방법은, 이미지를 화소들의 블록들로 분할하는 단계; 각 블록 내에서 공간-시간 특징을 계산하는 단계; 각 공간-시간 특징(들)에 대한 통계 파라미터를 계산하는 단계; 및 통계 파라미터가 미리 결정된 레벨을 초과하는 블록을 검출하는 단계를 포함한다. 바람직하게, 시각적 수직 흐름은 국부적 공간-시간 특징으로서 사용된다. 그외에도, 시각적 수직 가속도가 공간-시간 특징으로서 사용된다. 바람직한 실시예에서 MPEG나 H.26x 인코딩에 의해 발생하는 덩어리와 같은 시각적 가공물은 많은 양의 공간-시간 상세를 나타내는 국부적 이미지 부분들에 보다 많은 양의 비트를 할당함으로써 감소될 수 있다.
공간-시간 특징, 시각적 수직 흐름, 블록

Description

비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출{Detection of local visual space-time details in a video signal}
본 발명은 TV나 DVD 신호와 같은 비디오 신호 처리 분야에 관한 것이다. 보다 상세하게는, 본 발명은 비디오 신호에서 국부적인 시각적 공간-시간 상세를 검출 및 분할하기 위한 방법에 관한 것이다. 또한, 본 발명은 비디오 신호에서 국부적인 시각적 공간-시간 상세를 검출 및 분할하기 위한 시스템에 관한 것이다.
TV 또는 DVD와 같은 디지털 비디오 데이터의 전송시에 대단히 많은 양의 채널이나 저장 용량이 절약될 수 있기 때문에 이미지의 스트림(프레임)을 갖는 비디오 신호의 데이터 압축이 널리 보급되었다. MPEG 또는 H.26x와 같은 지정된 표준들은 블록-기반 움직임 보상 기술을 이용하여 높은 수준의 데이터 압축을 제공한다. 통상적으로, 16x16 화소의 매크로-블록은 움직임 정보의 표현을 위해 사용된다. 많은 통상적인 비디오 신호에 대하여 이러한 보상 기술은 사람의 눈에 의해 인식할 수 있는 어떤 시각적 가공물(artefact)로부터의 손상 없이 높은 데이터 압축 레이트를 제공한다.
그러나, 표준 압축 구성은 시각적 가공물을 초래하는 어떤 비디오 신호에 대하여 명백하지 않게 알려져 있다. 이러한 시각적 가공물은 비디오 신호가 국부적 공간-시간 상세를 포함하는 움직임 화상을 갖는 경우에 발생한다. 국부적 공간-시간 상세는 일정치 않은 방법으로 시간의 국부적 특징이 변화하는 공간 텍스처에 의해 표현된다. 불, 물결치는 물, 올라가는 증기, 바람으로 펄럭이는 잎 등의 움직임 화상들이 예이다. 이러한 경우들에 있어서 압축 구성에 의해 제공된 16x16 화소 매크로 블록에 의한 움직임 화상 정보 표현은 너무 조잡하여 시각적 정보의 손상을 피할 수가 없다. 이것은 비트 레이트 감소에 대하여 MPEG 또는 H.26x의 이점과 아울러 최적의 고품질 비디오 재생을 달성하는 것에 있어서 문제가 된다.
압축하고자 하는 비디오 신호에서의 시각적 가공물을 피하기 위하여, 압축 절차를 적용하기 전에 압축에 의한 시각적 가공물을 초래할 수 있는 국부적 공간-시간 상세를 검출할 필요가 있다. 비디오 신호의 국부적 공간-시간 상세들을 검출하면, 압축 절차에 의해 가공물이 유도되는 것을 피하기 위하여 이들 공간-시간 상세들에 특수 처리를 적용하는 것이 가능하다. 공간-시간 상세를 포함하는 비디오 신호의 이미지 블록을 검출하고 지시하기 위한 방법은 공지되어 있다.
EP 0 571 121 B1호에는 소위 호른-셩크(Horn-Shunk) 방법으로 알려진 이미지 처리 방법이 기술되어 있다. 이 방법은 B.K. Horn, 과 B.G. Schunk 공저의 "광 흐름 결정(Determining Optical Flow)", Artifical Intelligence, Vol. 17, 1981, pp. 185-204에 기술되어 있다. 호른-셩크 방법은 광 흐름으로 불리우는 화소-방식(pixel-wise)의 이미지 속도 정보의 추출을 포함한다. 각각의 단일 이미지에 대하여 광 흐름 벡터가 결정되고 이 벡터를 기초로하여 조건 수(condition number)가 계산된다. EP 0 571 121 B1호에서 국부적 조건 수가 각각의 이미지에 대하여 광 흐름 벡터를 기초로하여 계산되며 목표는 내성(robust) 광 흐름을 얻는 것이다.
EP 1 233 373 A1는 다양한 시각적 속성에 있어서 유사성을 나타내는 이미지의 단편(fragments)의 분할을 위한 방법을 기술하고 있다. 이미지의 작은 영역이 미리 결정된 임계치 내에서 유사한 특징을 나타내는 보다 큰 영역과 결합하기 위하여 다양한 기준이 기술되어 있다. 움직임의 검출과 관련하여 광 흐름의 계산을 함축하는 어파인(affine) 움직임 모델이 사용된다.
US 6,456,731 B1호에는 광 흐름의 추정 방법 및 이미지 합성 방법이 기술되어 있다. 기술된 광 흐름의 추정은 B.D. Lucas와 T. Kanade 공저의 "스테레오 비전에 대한 애플리케이션을 갖는 반복형 이미지 등록 기술(An iterative image registration technique with an application to stereo vision)", Proceedings of the 7th International Joint Conference on Artifical Intelligence, 1981, Vancouver, pp. 674-679에 기술된 공지의 루카스-카나데(Lucas-Kanade) 방법을 기초로하고 있다. 루카스-카나데 방법은 광 흐름이 화소의 근접 지역 내에서 일정하다는 것을 가정하여 광 흐름을 추정한다. 이미지 합성 방법은 공지된 토마시-카나데(Tomash-Kanade) 임시 특징 추적(temporal feature tracking) 방법을 이용하여, 모퉁이 포인트처럼 외관상 돌출한, 구체적으로 추적된 이미지 포인트의 속도 및 추정된 광 흐름의 값을 이용함으로써 시퀀스의 연속적인 이미지를 등록하는 프로세스를 기초로하고 있다. 그러므로, US 5,456,731 B1호에 기술된 방법은 이미지 분할을 수행하는 것이 아니라, EP 0 571 121 B1호에 기술된 방법과 유사하게, 광 흐름을 계산하는 단계와 계속해서 이미지를 등록하는 단계를 수행한다.
본 발명의 목적은 비디오 신호의 국부적 공간-시간 상세들을 검출하는 방법을 제공하는 것이다. 본 방법은 실행하는 것이 간단해야 하고 저가의 장치 내에 응용할 수 있도록 구성되어야 한다. 이미지 영역이 이미지의 공간-시간 상세에 의해 국부 레벨에서 강한 시간적 변화를 나타내는 큰 공간 휘도 변화를 포함하는 것이 이해되며, 이들 공간 부분들의 속도는 시간이 지나면서 약하게 상관된다.
본 발명의 제1 양상은 복수의 이미지들을 표현하는 비디오 신호의 국부적 공간-시간 상세를 검출하는 방법을 제공하며, 상기 방법은 각 이미지에 대하여, A) 상기 이미지를 화소들의 하나 이상 블록들로 분할하는 단계; B)상기 하나 이상의 블록들 각각 내에서 적어도 하나의 화소에 대한 적어도 하나의 공간-시간 특징을 계산하는 단계; C) 상기 블록 내에서 계산된 상기 적어도 하나의 공간-시간 특징들 각각에 대한 적어도 하나의 통계 파라미터를 상기 하나 이상의 블록들 각각에 대하여 계산하는 단계; 및 D) 상기 적어도 하나의 통계 파라미터가 미리 결정된 레벨을 초과하는 블록들을 검출하는 단계를 포함한다.
바람직하게, 적어도 하나의 공간-시간 특징은 시각적 수직 흐름 크기 및/또는 시각적 수직 흐름 방향을 포함한다. 시각적 수직 흐름은 이미지 휘도 공간 기울기에 평행한 광 흐름의 성분을 나타낸다. 적어도 하나의 공간-시간 특징은 시각적 수직 가속도 크기 및/또는 시각적 수직 가속도 방향을 더 포함한다. 시각적 수직 가속도는 수직(이미지 휘도 기울기) 방향을 따라 시각적 수직 흐름의 시간적 변화를 나타낸다.
바람직하게, 상기 방법은 단계C)에서 계산된 적어도 하나의 공간-시간 특징의 수평 및 수직 히스토그램들을 계산하는 단계들을 더 포함한다.
단계 D)의 적어도 하나의 통계 파라미터는 분산, 평균 및 확률 함수의 적어도 하나의 파라미터중 하나 이상을 포함한다. 화소들의 블록들은 바람직하게 비중첩 평방 블록들이며 그들의 크기는 2x2 화소, 4x4 화소, 6x6 화소, 8x8 화소, 12x12 화소 또는 16x16 화소일 수 있다.
상기 방법은 이미지에서 노이즈를 감소시키기 위하여 단계 A)를 적용하기 전에 이미지를 사전 처리하는 단계를 더 포함하며, 이 사전 처리는 바람직하게 이미지를 저역 통과 필터로 콘볼빙하는(convolve) 단계를 포함한다.
상기 방법은 단계 C)와 단계 D) 사이에 중간 단계를 더 포함하며, 상기 중간 단계는 각 블록에 대하여 계산된 통계 파라미터중 적어도 하나를 포함하는 적어도 하나의 블록간 통계 파라미터를 계산하는 단계를 포함한다. 적어도 하나의 블록간 통계 파라미터는 2-D 마코비안 비-인과적 근방 구조(2-D Markovian non-causal neighbourhood structure)를 이용하여 계산될 수도 있다.
상기 방법은 단계 C)에서 계산된 적어도 하나의 통계 파라미터의 각각에 대한 시간적 이볼루션(temporal evolution)의 패턴을 결정하는 단계를 더 포함한다. 상기 방법은 단계 D)에서 검출된 하나이상의 블록으로 이루어진 이미지의 적어도 일부를 인덱싱하는 단계를 더 포함한다. 더욱이, 상기 방법은 단계 D)에서 검출된 하나 이상의 블록들에 대한 데이터 레이트 할당을 증가시키는 단계를 포함할 수 있다. 다른 실시예에서, 상기 방법은 디-인터레이싱(de-interlacing) 시스템에 이미지를 삽입하는 단계를 더 포함할 수 있다.
본 발명의 제2 양상은 복수의 이미지들을 표현하는 비디오 신호의 국부적 공간-시간 상세를 검출하기 위한 시스템을 제공하며, 상기 시스템은 이미지를 화소들의 하나 이상의 블록들로 분할하기 위한 수단; 하나 이상의 블록들 각각 내에서 적어도 하나의 화소에 대한 적어도 하나의 공간-시간 특징을 계산하기 위한 공간-시간 특징 계산 수단; 상기 하나 이상의 블록들 내에서 계산된 적어도 하나의 공간-시간 특징들 각각에 대한 적어도 하나의 통계 파라미터를 상기 하나 이상의 블록들 각각에 대해 계산하기 위한 통계 파라미터 계산 수단; 및 적어도 하나의 통계 파라미터가 미리 결정된 레벨을 초과하는 하나 이상의 블록들을 검출하기 위한 검출 수단을 포함한다.
본 발명의 제3 양상은 제2 양상의 시스템에 따른 시스템을 포함하는 디바이스를 제공한다.
본 발명의 제4 양상은 제1 양상의 방법에 따라 동작하도록 프로그램된 신호 처리 시스템을 제공한다.
본 발명의 제5 양상은 텔레비전(TV) 장치용 디-인터레이싱 시스템을 제공하며, 디-인터레이싱 시스템은 제1 양상의 방법에 따라 동작한다.
본 발명의 제6 양상은 복수의 이미지들을 표현하는 비디오 신호를 인코딩하기 위한 비디오 신호 인코더를 제공하며, 상기 비디오 신호 인코더는, 이미지를 화소들의 하나 이상의 블록들로 분할하기 위한 수단; 하나 이상의 블록들 각각 내에서 적어도 하나의 화소에 대한 적어도 하나의 공간-시간 특징을 계산하기 위한 공간-시간 특징 계산 수단; 상기 하나 이상의 블록들 내에서 계산된 적어도 하나의 공간-시간 특징들 각각에 대한 적어도 하나의 통계 파라미터를 상기 하나 이상의 블록들 각각에 대해 계산하기 위한 통계 파라미터 계산 수단; 양자화 스케일에 따라 상기 하나이상의 블록들에 데이터를 할당하기 위한 수단; 및 상기 적어도 하나의 통계 파라미터에 따라 하나 이상의 블록들에 대한 양자화 스케일을 조절하기 위한 수단을 포함한다.
본 발명의 제7 양상은 복수의 이미지들을 표현하는 비디오 신호를 제공하며, 상기 비디오 신호는 제1 양상의 방법에 따라 사용하기에 적합한 공간-시간 상세를 나타내는 이미지 세그먼트들에 관한 정보를 포함한다.
본 발명의 제8 양상은 제7 양상에 따른 비디오 신호 데이터를 포함하는 비디오 저장 매체를 제공한다.
본 발명의 제9 양상은 컴퓨터 판독가능 프로그램 코드가 구현되는 컴퓨터 사용가능 매체를 제공하며, 상기 컴퓨터 판독가능 프로그램 코드는, 컴퓨터로 하여금, 복수의 이미지들을 표현하는 비디오 신호를 판독하도록 하기 위한 수단; 컴퓨터로 하여금, 판독된 이미지를 화소들의 하나 이상의 블록들로 분할하도록 하기 위한 수단; 컴퓨터로 하여금, 각 블록 내에서 적어도 하나의 화소에 대한 적어도 하나의 공간-시간 특징을 계산하도록 하기 위한 수단; 컴퓨터로 하여금, 상기 하나 이상의 블록들 내에서 계산된 적어도 하나의 공간-시간 특징들 각각에 대한 적어도 하나의 통계 파라미터를 블록들 각각에 대하여 계산하도록 하기 위한 수단; 및 컴퓨터로 하여금, 상기 적어도 하나의 통계 파라미터가 미리 결정된 레벨을 초과하는 블록을 검출하도록 하기 위한 수단을 포함한다.
본 발명의 제10 양상은 복수의 이미지들을 표현하는 비디오 신호를 제공하며, 상기 비디오 신호는 각 이미지의 블록들에 대한 데이터의 지정된 개별 할당을 포함하는, MPEG나 H.26x와 같은 비디오 압축 표준에 따라 압축되며, 공간-시간 상세를 나타내는 이미지들의 하나 이상의 선택된 블록들에 할당된 데이터 레이트는 하나이상의 선택된 블록들에 대한 지정된 데이터의 지정된 할당과 비교하여 증가된다.
본 발명의 제11 양상은 비디오 신호를 처리히는 방법을 제공하며, 상기 방법은 제1 양상의 방법을 포함한다.
본 발명의 제12 양상은 제1 양상의 방법에 따라 비디오 신호를 처리하기 위한 수단을 포함하는 집적 회로를 제공한다.
본 발명의 제13 양상은 제1 양상의 방법을 실행하기 위한 명령들의 프로그램을 인코딩하고, 기계에 의해 판독가능한 프로그램 저장 디바이스를 제공한다.
도1은 균일한 속도로 움직이는 외곽의 2개의 포인트에서 수직 및 접선 흐름을 설명하는 도면.
도2a는 물이 튀는 분수대와 2명의 사람의 이미지의 예를 도시한 도면.
도2b는 수직 흐름 분산의 블록 방식 레벨로 도2a의 이미지를 나타내는 그레이 스케일 플롯을 도시한 것으로, 흰 블록은 높은 레벨의 수직 흐름 분산을 가지도록 계산된 블록을 가르키는 도면.
도3은 본 발명에 따른 시스템의 흐름도를 도시한 도면.
도4는 수직 흐름 분산 히스토그램의 예를 도시한 도면.
이하에서 본 발명은 첨부도면을 참조하여 상세하게 기술될 것이다.
본 발명이 다양한 변형 및 대안 형태를 가질 수 있으나, 특정 실시예들이 첨부도면의 예를 통해 도시되었으며 이하에 상세하게 기술될 것이다. 그러나 본 발명은 개시된 특정 형태에 한정되는 것은 아니다. 본 발명은 첨부된 청구범위에 의해 규정된 바와 같이 본 발명의 범위내에서 모든 변형, 등가 및 대안들을 포함할 수 있다.
본 발명의 실시예에 따라 이미지를 처리하기 위하여 수행될 주요 동작들은 다음과 같은 단계들이 있다:
A) 이미지를 블록들로 분할하는 단계
B) 국부적 특징(들)을 추정하는 단계
C) 블록당 특징 통계를 계산하는 단계
이미지를 처리하는 단계 A)는 이미지를 블록들로 분할하는 것이다. 바람직하게, 블록들은 MPEG 및 H.26x와 같은 표준 압축에 의해 사용된 메크로 블록과 일치한다. 그러므로, 이미지는 바람직하게 8x8 화소나 16x16 화소의 비중첩 블록들로 분할된다. 이미지 블록들은 8x8 화소가 크고 (MPEG) 이미지 그리드로 정렬되어 있는 경우 전형적인 I-프레임 DCT/IDCT 계산과 일치하며 공간 상세 정보를 기술한다. 16x16 화소가 크고 (MPEG) 이미지 그리드로 정렬되어 있는 경우, 이미지 블록들은 MPEG/H.26x 비디오 표준으로 블록-기반 움직임 추정에서 움직임 보상(MC)을 하기 위한 P-프레임(B-프레임) 매크로 블록과 일치하며, 이것은 공간-시간 상세 정보를 기술하는 것을 가능하게 한다.
단계 B)는 적어도 하나의 국부적 특징을 추정하는 단계를 포함하며, 상기 국부적 특징은 이미지의 공간, 시간, 및/또는 공간-시간 상세에 관한 것이다. 바람직하게, 두개의 특징들이 다른 연관된 측정법과 함께 사용된다. 국부적 특징의 추정은 공간 및 시간 이미지 휘도 기울기의 결합을 기초로 한다. 바람직한 특징은 시각적 수직 흐름, 즉 시각적 수직 속도 및 시각적 수직 가속도이다. 국부적 특징은 시각적 수직 속도와 시각적 수직 가속도중 어느 하나 또는 둘 다를 기초로 할 수 있다. 시각적 수직 속도의 경우에 대하여 두개의 연속 프레임(또는 이미지)이 사용되는 반면, 시각적 수직 가속도에 대하여는 3개의 연속 프레임(또는 이미지)이 필요하다. 시각적 수직 속도 및 시각적 수직 가속도의 보다 구체적인 설명은 이하에서 기술될 것이다.
단계 C)는 블록당 특징 통계를 계산하는 단계를 포함한다. 이것은 특징 평균 및 분산의 계산을 포함한다. 또한, 상이한 확률 밀도 함수는 블록당 통계에 매칭된다. 블록당 통계는 공간-시간 상세의 양에 대하여 각 블록의 카테고리화가 가능하도록 임계치나 기준치를 설정하기 위한 정보를 제공한다. 그러므로, 블록당 통계는 높은 양의 공간-시간 상세를 갖는 블록의 검출을 가능하게 하며, 그 이유는 이러한 블록들이 미리 결정된 임계치를 초과하는 블록당 통계 파라미터를 나타내기 때문이다.
시각적 수직 흐름은 이미지 휘도 공간 기울기에 평행한 광 흐름의 성분을 나타낸다. 광 흐름은 두개의 연속 프레임이나 비디오 필드를 처리함으로써 국부적으로 추출될 수 있는 가장 상세한 속도 정보이지만, 계산적으로 추출하는데 비용이 많이 든다. 한편, 수직 흐름은 계산하기 쉬우며, 국부적 공간 및 시간 정보에 있어서 아주 유용하다. 예를 들면 광 흐름의 계산은 전형적으로 7x7x2 공간-시간 근방을 필요로 하는 반면, 수직 흐름은 단지 2x2x2 근방을 필요로 한다. 그외에도, 광 흐름의 계산은 최적화를 필요로하지만, 수직 흐름의 계산은 그렇지 않다.
수직 흐름 크기는 국부적 이미지 휘도 기울기에 평행한 움직임의 양을 결정하며 수직 흐름 방향은 국부적 이미지 휘도 방향을 지정한다. 시각적 수직 흐름은 다음으로부터 계산된다:
Figure 112006036363359-PCT00001
여기서 I는 휘도, x 및y는 공간 변수, 및 t는 시간 변수이다. 수직 흐름 방향은 이미지 휘도 기울기의 공간 변화 그러므로 공간 텍스처 정보를 함축적으로 인코딩한다. 수직 가속도는 제2차 효과로서 수직 흐름이 어떻게 국부적으로 변하는 지를 기술한다.
시각적 수직 흐름은 국부적 이미지 속도 또는 광 흐름의 수직, 즉 공간 이미지 기울기에 평행한 성분으로서 정의된다. 이미지 속도는 각 이미지 화소에서 수직 및 접선 성분으로 분해된다.
도1은 설명을 위해 이미지의 타겟 화소를 통과시키는 잘 정의된 이미지 경계 또는 외곽을 도시한다. 도1의 다이어그램은 균일 속도
Figure 112006036363359-PCT00002
로 움직이는 외곽의 2개의 포인트에서의 수직 및 접선 흐름을 도시한다. 포인트 A에서 B로 가면서 수직 및 접선 이미지 속도(수직 흐름 및 접선 흐름 각각)는 공간 방향이 변화한다. 이것은 실제로 외곽 곡률반경에 기인하여 점마다 발생한다. 수직 흐름과 접선 흐름은 항상 90도 떨어져 있다.
수직 흐름의 중요한 성질은 단지 이미지 속도 성분만이 이미지에서 국부적으로 계산될 수 있다는 것이다. 접선 성분은 계산될 수 없다. 이것을 설명하기 위하여, 시간 t에서의 이미지 포인트 P(x,y)가 시간
Figure 112006036363359-PCT00003
에서
Figure 112006036363359-PCT00004
로 이동할 때 이미지 휘도
Figure 112006036363359-PCT00005
가 일정하다는 것을 가정하며,
Figure 112006036363359-PCT00006
이다. 그러므로,
Figure 112006036363359-PCT00007
(1)
또는
Figure 112006036363359-PCT00008
(2)
는 근사치를 의미하며
Figure 112006036363359-PCT00009
이다.
Figure 112006036363359-PCT00010
이므로, 식(2)는
Figure 112006036363359-PCT00011
(3)
으로 변형된다. 이것은
Figure 112006036363359-PCT00012
(4)
를 의미하며, 여기서
Figure 112006036363359-PCT00013
(5)
이고
Figure 112006036363359-PCT00014
(6)
이다.
이미지 속도와 구별하여, 수직 흐름은 국부적 이미지 휘도 기울기 방향의 측정이며, 이 측정은 예를 들면 곡률 반경, 텍스처 방향 등의 공간 형상 가시성의 양을 함축적으로 포함한다.
바람직하게, 별도의 이미지 [i][j][k]에서 수직 흐름을 계산하기 위하여 2개의 방법이 사용될 수 있다. 한 방법은 B.K.P. Horn, Robot Vision, The MIT Press, Cambridge, Massachusette, 1986에 개시되어 있는 2x2x2 휘도 입방 방법이다. 다른 방법은 특징 기반 방법이다.
2x2x2 휘도 입방 방법에서, 공간 및 시간 미분은 식 (7)-(9)에 따라 근사화된다.
Figure 112006036363359-PCT00015
(7)
Figure 112006036363359-PCT00016
(8)
Figure 112006036363359-PCT00017
(9)
이러한 별도의 미분들은 2x2x2 휘도 입방의 셀 내에서 계산된다.
특징 기반 방법은 다음과 같은 단계들을 기초로한다.
(a) 높은 공간 기울기를 갖는 이미지 포인트를 찾는 단계이다. 이것은 (i) 가우스 함수에 대한 2항 근사치를 이미지
Figure 112006036363359-PCT00018
에 적용함으로써 이미지 I를 매끄럽게 하고; (ii) 별도의 공간 이미지 기울기
Figure 112006036363359-PCT00019
및
Figure 112006036363359-PCT00020
를 계산하고; (iii)
Figure 112006036363359-PCT00021
이 미리 결정된 임계치 TGr 보다 큰 이미지 포인트의 서브세트를 찾음으로써 실행되어진다. 또한, 2개의 연속 프레임 대신에 3개를 포함하는
Figure 112006036363359-PCT00022
를 사용한다.
(b) 수직 흐름은 식(5)와 (6)의 별도 버전을 이용함으로써 각 특징 위치 예를들면 "높은" 공간 기울기를 갖는 포인트에서 상호작용적으로 계산된다. 먼저, 수직 흐름의 초기 계산시에, 국부적 이미지는 수직 흐름값을 미세하기 하기 위하여 상기 계산에 따라 뒤틀려진다. 나머지 임시 미분으로부터 나머지 수직 흐름이 계산되며 초기 수직 흐름 추정치가 갱신된다. 이것은 나머지 수직 흐름이 ε(예를 들면 0001)보다 작을 때 까지 반복된다.
수직 가속도는 수직(이미지 휘도 기울기) 방향에 따른 수직 흐름의 시간적 변화를 설명한다. 그 중요성은 가속도가 수직 흐름이 적어도 세개의 연속 프레임 사이에서 얼마나 많이 변하는지를 측정하고 그러므로 공간-시간 상세가 프레임 쌍들 간에 얼마나 많이 변하는지를 결정할 수 있도록 한다는 사실에 기인한다.
수직 가속도를 정의하는 한가지 방법은 식(3)의 임시 미분을 행하는 것이다:
Figure 112006036363359-PCT00023
(10)
그러므로
Figure 112006036363359-PCT00024
(11)
이며
Figure 112006036363359-PCT00025
(12)
이다.
식(12)에서 제2 임시 미분 때문에, 식(12)를 실행할 때 3개의 연속 프레임 중 최소값을 사용할 필요가 있다. 식(12)에서 미분의 별도 버전들을 계산하기 위하여 3x3x3 화소 방식 입방을 취하면 다음과 같이 나타내어질 수 있다:
Figure 112006036363359-PCT00026
(13)
다른 별도의 미분들은 3x3x3 입방에 의하여 식(7)-(9)에 의거하여 얻어질 수 있다.
특징 통계를 계산하는 목표는 미리 결정된 특징이 대부분 변화하는 공간-시간 영역을 검출(높은 공간-시간 상세의 분할 및 검출)하는 것이다. 이것은 두(세)개의 연속 프레임이 주어질 경우 다음 알고리즘에 따라 실행될 수 있다:
1. 이미지를 비중첩(평방 또는 장방형) 블록으로 분할
2. 각 블록 내에서 국부적 특징 세트를 계산
3. 각 블록에 대하여 2.에서 계산된 특징 세트의 평균을 결정
4. 3.에서 계산된 분산으로부터 각 블록 내의 각 특징의 분산, 평균 변화량을 계산
5. 임계치 Tstat가 주어지면, 4.에서 계산된 분산이 Tstat보다 큰 블록 세트를 선택
알고리즘의 실행에 있어서 평방(8x8x 또는 16x16) 블록을 선택한다. 이것은 이미지를 평방 블록으로 모자이크 처리할 것이며, 그것의 나머지는 모자이크 처리하지 않고 남겨질 것이다. 이러한 나머지 모자이크 처리하지 않은 이미지를 감소시키기 위하여 장방형 모자이크가 사용될 수 있으나, 이것은 시각적 가공물 사전 검출을 위해 이 블록들을 MPEG 8x8(DCT) 또는 16x16(MC) 블록으로 정렬시키기를 원하기 때문에 그렇게 흥미있는 것은 아니다. 각 블록 내의 특징값의 계산은
Figure 112006036363359-PCT00027
가 미리 결정된 임계치 T보다 큰 각각의 화소에서 또는
Figure 112006036363359-PCT00028
가 미리 결정된 임계치 TGr(일반적으로 T<TGr)보다 큰 특징 포인트에서 실행된다. 단계4. 및 5.에 예시된 통계는 단지 설명을 위한 것이다. 보다 상세한 통계가 계산될 수 있다. 또한, 특정 확률분포밀도(pdf) 및 그 통계가 계산될 수 있다.
상기한 또는 관련된 실행에 따라 계산하기 위하여 사전 및 사후 동작이 적용될 수 있다. 사전 처리의 예는 입력 이미지를 저역 통과 필터로 콘볼빙하는 것이다. 사후처리는 예를 들면 특징 분산과 같은 통계에 대하여 인접 블록들을 비교하는 것을 포함할 수 있다.
도 2a는 이미지의 시퀀스로부터 얻어진 이미지의 일 예를 도시한다. 이미지에서 두 사람이 분수대에서 튀는 물을 바라보고 있다. 두 사람중 하나는 일부가 튀는 물 뒤에 있다. 그러므로 이러한 이미지는 혼란한 휘도 패턴 즉 튀는 물을 생성하는데 예상되는 현상의 일 예를 나타내는 국부적 부분을 포함한다. 그러므로, 이미지는 국부적 공간-시간 상세의 높은 양의 포텐샬로 이동 이미지 시퀀스로부터 얻어진다. 이미지는 블록에서 본 발명에 따라 처리되고 각 블록에 대해 수직 흐름 크기의 분산이 공간-시간 상세의 양을 나타내는 측정치로서 계산되었다.
도2b에서 도2d의 이미지의 블록은 수직 흐름 크기 분산을 나타내는 그레이 스케일로 도시되어 있으며 그것에 의해 국부적 공간-시간 상세의 양을 나타낸다. 흰색으로 표시된 블록들은 높은 레벨의 수직 흐름 분산을 갖는 영역을 나타내며 어두운 회색 블록들은 낮은 레벨의 수직 흐름 분산을 갖는 영역을 나타낸다. 도2b에 도시된 바와 같이, 흰색 블록들은 튀는 물을 갖는 이미지의 부분들로 나타나고, 그러므로 이러한 국부적 이미지 영역들은 처리 방법에 따라 많은 양의 국부적 공간-시간 상세를 나타내는 것으로 알게 되었다. 좌측에 있는 사람이나 우측에 있는 분수대와 같은 고정된 이미지 영역들은 어두운 회색으로 보여지며, 이 영역들이 낮은 수직 흐름 분산을 나타내도록 검출되는 것을 가리킨다.
도3은 공간-시간 상세 정보를 처리하기 위한 시스템의 흐름도 구성을 도시한다. 도3에 도시된 시스템은 흐름도에서 지시된 상이한 경로 A,B,C를 이용하여 상이한 응용을 위해 사용될 수 있다. 도3의 요소는 다음과 같다:
VI : 비디오 입력
Pre-P : 사전 처리
STDE : 공간-시간 상세
Post-P : 사후 처리
VQI : 시각 품질 개선
Disp : 디스플레이
St : 저장 매체
도3의 비디오 입력은 이미지의 시퀀스를 나타내는 비디오 신호를 나타낸다. 비디오 입력은 유선이나 무선에 의해서와 같이 직접 인가되거나 또는 도3에 지시된 바와 같이 비디오 신호는 처리되기 전에 저장 매체상에 저장될 수 있다. 저장 매 체는 하드디스크, 기록가능 CD, DVD, 컴퓨터 메모리 등 일 수 있다. 입력은 MPEG이나 H.26x와 같은 압축된 비디오 포맷이거나 또는 압축되지 않은 신호 즉 비디오 신호의 전체 해상도 표시일 수 있다. 아날로그 비디오 신호가 입력이라면, VI 단계는 아날로그-디지털 변환을 포함할 수 있다.
도3의 사전 처리는 선택적이다. 바람직할 경우, 다양한 신호 처리는 공간-시간 검출 처리를 적용하기 전에 비디오 신호에서의 노이즈나 다른 시각적 가공물을 감소시키기 위하여 적용될 수도 있다. 이것은 공간-시간 검출 처리의 효과를 향상시킨다.
공간-시간 상세 추정 및 검출(STDE)은 상기한 방법에 따라 수행된다. 바람직하게 상기 방법은 시각적 수직 흐름의 계산을 포함하며 시각적 수직 가속도의 계산을 더 포함할 수 있다. 필요한 계산 수단은 전용 비디오 신호 처리일 수 있다. 대안적으로, 계산의 양이 본 발명에 따른 방법에 필요하기 때문에, 신호 처리는 TV 세트나 DV 플레이어와 같은 디바이스에 이미 존재하는 신호 처리 파워를 이용하여 실행될 수 있다.
사후 처리는 도3의 시스템의 STDE 단계의 블록의 각각에 대한 통계 결과로 수행된 다양한 블록당 통계 방법을 포함할 수 있다. 사후 처리는 도3의 STDE 단계의 블록의 각각에 대한 통계 결과의 시간에 대한 적분을 더 포함할 수 있다. 그외에도, 사후 처리는 시간에 대한 블록당 통계의 임시 이볼루션의 패턴을 결정하는 것을 포함한다. 이것은 어느 부분이 안정된 통계를 갖는 지를 결정하는데 필요하다.
도3의 경로 A를 이용하여, 비디오 신호는 공간-시간 상세의 검출 후에 저장된다. 바람직하게, 비디오 신호는 인덱싱 정보와 함께 저장되어 이후에 추가 처리를 수행하는 것이 가능하게 된다.
대안적으로, 시각적 품질 개선 수단이 저장 전에 적용될 수 있고, 즉 경로 B가 사용될 수 있다. 시각적 품질 개선 수단은 많은 양의 공간-시간 상세를 포함하는 이미지의 국부적 영역에 관한 제공된 정보를 사용하도록 신호에 제공될 수 있다. 압축되지 않은 비디오 신호에 대하여 이것은 일반적으로 표준 코딩 구성에 의해 예를 들면 I-프레임 및 P-프레임 코딩으로 양자화 스케일을 감소시킴으로써 높은 레벨의 상세에 잘 대처하도록 할당되는 것보다 더 큰 데이터 레이트를 공간-시간 상세를 갖는 블록에 할당함으로써 행해질 수 있다. 이어서 신호는 인코딩된 버전으로 저장되며, 그러나 시각 가공물을 제거하거나 피하기 위하여 처리될 수 있다. 비디오 신호는 인코딩 없이 저장될 수 있으나 공간-시간 상세를 갖는 블록이나 명령을 가리키는 인덱싱 정보가 제공될 수 있으며, 그러므로 검색 기준으로서 공간-시간 인덱스 정보를 사용하거나 추후 인코딩과 같은 추가 처리가 가능하게 된다.
도3의 시스템의 최종 처리 부분은 시각적 출력, 즉 TV 스크린, 컴퓨터 스크린 등에서의 디스플레이이다. 대안적으로, 비디오 신호는 디스플레이되거나 저장되기 전에 다른 디바이스나 처리기에 인가될 수 있다.
본 발명에 따른 원리의 응용(i)은 공간-시간 상세를 나타내기 위하여 검출된 블록에 대해 더 많은 비트를 할당함으로써 가공물 덩어리(blockiness)나 시간적 깜 빡거림과 같은 비디오 신호에서의 시각적 가공물을 제거하거나 최소한 감소시키는 것이다. 어떤 상황에서는 한 번 인코딩된 디지털적으로(MPEG, H.26x) 처리된 비디오에 대한 덩어리, 링잉(ringing) 및 모기 "노이즈"와 같은 시각적 가공물을 포함하는 이미지/비디오 영역의 지시를 단지 얻는 것이 바람직할 수 있다.
다른 응용(ii)은 공간적 예리함 개선으로 이롭게 될 수 있는 TV 시스템에 대한 디-인터레이싱에서의 필드 삽입을 위해 저비용의 움직임 검출 지시기를 실행하는 것이다. 이것은 공간 움직임 보상 정보를 제공하는 본 발명에 따른 원리를 저비용의 디-인터레이서(de-interlacer) 내에 응용하는데 특히 적합하다.
또 다른 응용(iii)은 긴 비디오 데이터베이스에서의 공간-시간 상세를 나타내기 위하여 검출된 이미지 영역들을 검출하고, 분할하고, 인덱싱하고, 검색하는 것이다. 이 방법에서는 폭포, 파도, 바람으로 움직이는 머리카락/잎/풀 등을 포함하는 예를 들면 비디오 필름의 시퀀스의 빠른 인덱싱을 가능하게 하는 검색 설비를 제공하는 것이 가능할 수 있다. 응용이 타겟팅되는 것에 따라, 상이한 처리 블록이 사용된다.
또 다른 가능한 응용(iv)은 선택적으로 예리하게 하는 것, 즉 보다 예리한 이미지가 적정한 이미지의 선택된 영역들을 강조하기 위해 공간적 예리함(뾰족함 및 자름)을 적절하게 변화시키고, 선택되지 않은 영역에서 디지털 가공물의 가시성이 증가할 가능성을 감소시키는 것이다.
예를 들면, 응용(i)은 디스플레이 및 저장 응용에 대한 시각적 품질 개선에 둘 다 사용될 수 있다. 디스플레이 응용에 대해서는 도5의 경로 C가 사용된다. 디스플레이 응용들은 고화질 TV 세트들일 수 있다. 공간-시간 상세의 검출 및 분할은 시각 가공물이 8x8 또는 16x16 이미지 블록당 주문형 비트 레이트 제어와 같은 국부적/지역적 이미지 특징에 응답하여 비트의 적당한 할당에 의해 제거되거나 또는 최소한 감소될 수 있다는 사실에 기인하여 중요하다. 이것은 시각적 가공물에 관하여 중요한데 그 이유는 종종 단지 검출하는 것은 디스플레이되는 경우 움직임 화상의 시각 품질에 대한 가시성 또는 효과를 감소시키기에는 너무 늦을 수 있기 때문이다.
저장 응용에서는 도5의 경로 A 또는 B가 사용될 수 있다. 경로 A를 사용함으로써 비디오 신호는 시각적 품질개선을 수행하기 전에 저장된다. 그러나, 경로 A를 사용하는 것은 많은 양의 공간-시간 상세를 포함하는 8x8 또는 16x16 화소 블록과 같은 영역들의 인덱싱의 저장 및 공간-시간 상세의 검출 및 분할을 포함할 수 있다. 이러한 방법에서 (컨텐츠가 저장된) 긴 비디오 데이터베이스는 이후 단계에서 추가 처리가 가능하도록 처리될 수 있다. 이것은 아주 상세한 컨텐츠 정보에 유용하며 컨텐츠 설명을 위해 어떠한 효과적인 설명도 알려져 있지 않다. 비디오 신호는 압축되거나 압축되지 않고 저장될 수 있다. 압축되지 않은 데이터를 저장함으로써 국부적 공간-시간 상세에 관한 저장된 인덱스를 이용하여 추후 압축이 수행될 수 있다.
경로 B를 이용함으로써 비디오 신호는 검출된 국부적 공간-시간 상세를 기초로 시각적 품질을 증가시키는 것에 대하여 적절하게 처리된 후에 저장된다. 언급한 바와 같이, 시각적 품질 개선은 공간-시간 상세를 나타내는 블록에 더 많은 데 이터를 할당함으로써 수행될 수 있다. 그러므로, 경로 B는 큰 비디오 데이터베이스를 처리하는데 사용될 수 있다. 경로 B를 사용하여 비디오 신호는 압축되어 저장될 수 있는데 그 이유는 공간-시간 상세에 관한 높은 시각적 품질이 압축의 사용에 의해서도 얻어지는 것을 보장하는 적절한 신호 처리가 수행되었기 때문이다.
많은 양의 상이한 디바이스 또는 시스템, 디바이스나 시스템의 일부 중에서, 본 발명에 따른 원리가 TV 세트와 같은 TV 시스템 내에 그리고 DVD 플레이어 또는 DVD 레코더와 같은 DVD+RW 장비 내에 적용될 수 있다. 제안된 방법은 새로운 타입의 디지털 가공물이 발생하거나 및/또는 좀 더 시각적이 되는 디지털(LCD,LCoS) TV세트 내에 적용될 수 있으며 그것에 의해 대체로 높은 비디오 신호 품질이 요구되어진다.
시각적 품질 개선에 관한 본 발명의 원리는 움직임 화상을 나타내도록 구성된 디스플레이를 특징화하는 무선 수동식 소형 디바이스 내에 사용될 수 있다. 예를 들면, 눈으로 보는 것에 가까운 모바일 폰 상의 움직임 화상의 높은 시각적 품질은 적당한 데이터 레이트 요건으로 결합될 수 있다. 아주 좋지 않은 공간 해상도를 갖는 디바이스에 대해서는, 본 발명에 따른 시각적 품질 개선이 덩어리나 관련된 시각적 가공물없이 비디오 신호에 대한 요구된 데이터 레이트를 감소시키는데 사용될 수 있다.
그외에도, 본 발명의 원리는 MPEG 코딩 및 인코딩 장비 내에서 적용될 수 있다. 본 방법은 이러한 인코더나 디코더 내에서 적용될 수 있다. 대안적으로, 기존의 인코더에 앞서 별도의 비디오 처리기 장치가 적용될 수 있다. 본 발명에 따 른 원리는 전문 장비 내에서 뿐만아니라 소비자 장비 내에서도 적용될 수 있다.
본 발명에 따른 비디오 신호 인코더의 실시예에서, 공간-시간 상세 정보에 의존하는 인코더 측에서의 양자화 스케일이 적용된다. 양자화 스케일은 공간-시간 상세 정보에 의해 변조된다. 이 스케일이 더 작아지면(커지면) 양자화기를 갖는 단계들이 더 많아지고(더 적어지고), 그러므로 더 많은(더 적은) 공간 상세가 향상된다(흐려진다). 바람직하게, 본 발명에 따른 비디오 신호 인코더는 MPEG 또는 H.26x 포맷에 따라 신호 포맷을 생성할 수 있다.
바람직한 실시예에서, 매크로 블록 q_sc당 고정된 양자화 스케일이 사용된다. q_sc에 변조가 적용되며, 상기 변조는 공간-시간 상세에 관한 정보를 이용한다. 각 매크로 블록에 대하여 수직 흐름(화소당) 및 그 평균 및 분산 σrn(매크로 블록당)이 계산된다. 실험으로부터 수직 흐름 분산은 감마(Erlang) 함수가 양호한 고정값인 히스토그램을 갖는다. 이 사실로부터 σrn의 히스토그램에
Figure 112006036363359-PCT00029
(이동된 감마 함수)를 적용시키는 것이 가능하다. 이것으로부터 매크로 블록당 양자화 스케일은
Figure 112006036363359-PCT00030
이 된다.
여기서 F()는 라운딩 및 테이블 룩업의 동작을 나타내며, δ 및 λ는 프레임(비디오 시퀀스)당 할당하는데 바람직한 전체 비트양에 따라 조절되는 실수(δ에 대해서는 양이고 λ에 대해서는 양과 음)이다.
도4는 높은 양의 공간-시간 상세를 갖는 이미지 부분들을 나타내는 시퀀스에 대한 히스토그램의 예를 도시한다. 처리된 시퀀스는 전경에서 달리는 소녀의 시퀀스인 반면, 배경 부분은 파도가 바위를 치는 바다이다. 도4의 히스토그램은 수직 흐름 분산의 함수로서 다수의 블록을 도시한다. 흰색 막대모양은 편평한 지역, 즉 하늘과 같은 작은 양의 공간-시간 상세를 갖는 지역을 가리킨다. 검은색 막대 모양은 바위를 치는 파도와 같은 높은 양의 공간-시간 상세를 갖는 지역을 가리킨다. 히스토그램에서 볼 수 있는 바와 같이 공간-시간 상세와 수직 흐름 분산 사이에는 양호한 상관관계가 있는데, 그 이유는 작은 양의 공간-시간 상세를 갖는 지역을 나타내는 막대모양이 낮은 수직 흐름 분산값 쪽으로 그룹화되어 있는 반면, 높은 양의 공간-시간 상세를 나타내는 막대 모양은 높은 수직 흐름 분산값 쪽으로 그룹화되어 있기 때문이다.
상기한 내용과 첨부된 청구범위에서, "포함","구성","가지다"와 같은 표현들은 비-배타적으로 구성되도록, 즉 다른 부분이나 성분들이 구체적으로 지정되지 않고 잠재적으로 존재하는 것으로 의도되어 졌다는 것을 인식할 수 있을 것이다.

Claims (26)

  1. 복수의 이미지들을 표현하는 비디오 신호의 국부적 공간-시간 상세(local space-time details)를 검출하는 방법으로서, 상기 방법은 각 이미지에 대하여,
    A) 상기 이미지를 화소들의 하나 이상의 블록들로 분할하는 단계;
    B) 상기 하나 이상의 블록들의 각각 내에서 적어도 하나의 화소에 대한 적어도 하나의 공간-시간 특징을 계산하는 단계;
    C) 상기 블록 내에서 계산된 상기 적어도 하나의 공간-시간 특징들 각각에 대한 적어도 하나의 통계 파라미터를 상기 하나 이상의 블록들 각각에 대하여 계산하는 단계; 및
    D) 상기 적어도 하나의 통계 파라미터가 미리 결정된 레벨을 초과하는 블록들을 검출하는 단계를 포함하는 국부적 공간-시간 상세 검출 방법.
  2. 제 1 항에 있어서, 상기 적어도 하나의 공간-시간 특징은 시각적 수직 흐름 크기(visual normal flow magnitude) 및 시각적 수직 흐름 방향(visual normal flow direction)으로 이루어진 그룹으로부터 선택되는, 국부적 공간-시간 상세 검출 방법.
  3. 제 1 항에 있어서, 상기 적어도 하나의 공간-시간 특징은 시각적 수직 가속도 크기(visual normal acceleration magnitude) 및 시각적 수직 가속도 방 향(visual normal acceleration direction)으로 이루어진 그룹으로부터 선택되는, 국부적 공간-시간 상세 검출 방법.
  4. 제 1 항에 있어서, 상기 단계 D)의 적어도 하나의 통계 파라미터는 분산, 평균 및 확률 함수의 적어도 하나의 파라미터로 이루어진 그룹으로부터 선택되는, 국부적 공간-시간 상세 검출 방법.
  5. 제 1 항에 있어서, 상기 화소들의 하나 이상의 블록들은 하나 이상의 비중첩 평방 블록들이며, 상기 하나 이상의 평방 블록들의 크기는 2x2 화소, 4x4 화소, 6x6 화소, 8x8 화소, 12x12 화소 및 16x16 화소로 이루어진 그룹으로부터 선택되는, 국부적 공간-시간 상세 검출 방법.
  6. 제 1 항에 있어서, 상기 이미지에서 노이즈를 감소시키기 위하여, 상기 단계 A)를 적용하기 전에 상기 이미지를 사전 처리하는 단계를 더 포함하는 국부적 공간-시간 상세 검출 방법.
  7. 제 6 항에 있어서, 상기 사전 처리 단계는 상기 이미지를 저역 통과 필터로 콘볼빙하는(convolving) 단계를 포함하는, 국부적 공간-시간 상세 검출 방법.
  8. 제 1 항에 있어서, 상기 단계 C)와 상기 단계 D) 사이에 중간 단계를 더 포 함하며, 상기 중간 단계는 각 블록에 대하여 계산된 상기 통계 파라미터중 적어도 하나를 포함하는 적어도 하나의 블록간 통계 파라미터를 계산하는 단계를 포함하는, 국부적 공간-시간 상세 검출 방법.
  9. 제 8 항에 있어서, 상기 적어도 하나의 블록간 통계 파라미터는 2-D 마코비안 비-인과적 근방 구조(2-D Markovian non-causal neighbourhood structure)를 이용하여 계산되는, 국부적 공간-시간 상세 검출 방법.
  10. 제 1 항에 있어서, 상기 단계 C)에서 계산된 상기 적어도 하나의 통계 파라미터 각각에 대한 시간적 이볼루션(temporal evolution)의 패턴을 결정하는 단계를 더 포함하는 국부적 공간-시간 상세 검출 방법.
  11. 제 1 항에 있어서, 상기 단계 D)에서 검출된 하나 이상의 블록들을 포함하는 이미지의 적어도 일부를 인덱싱하는 단계를 더 포함하는 국부적 공간-시간 상세 검출 방법.
  12. 제 1 항에 있어서, 상기 단계 C)에서 계산된 상기 적어도 하나의 공간-시간 특징의 수평 및 수직 히스토그램들을 계산하는 단계들을 더 포함하는 국부적 공간-시간 상세 검출 방법.
  13. 제 1 항에 있어서, 상기 단계 D)에서 검출된 상기 하나 이상의 블록들에 대한 데이터 레이트 할당을 증가시키는 단계를 더 포함하는 국부적 공간-시간 상세 검출 방법.
  14. 제 1 항에 있어서, 디-인터레이싱 시스템(de-interlacing system)에 이미지를 삽입하는 단계를 더 포함하는 국부적 공간-시간 상세 검출 방법.
  15. 복수의 이미지들을 표현하는 비디오 신호의 국부적 공간-시간 상세를 검출하기 위한 시스템으로서,
    - 이미지를 화소들의 하나 이상의 블록들로 분할하기 위한 수단;
    - 상기 하나 이상의 블록들 각각 내에서 적어도 하나의 화소에 대한 적어도 하나의 공간-시간 특징을 계산하기 위한 공간-시간 특징 계산 수단;
    - 상기 하나 이상의 블록들 내에서 계산된 상기 적어도 하나의 공간-시간 특징들 각각에 대한 적어도 하나의 통계 파라미터를 상기 하나 이상의 블록들 각각에 대해 계산하기 위한 통계 파라미터 계산 수단; 및
    - 상기 적어도 하나의 통계 파라미터가 미리 결정된 레벨을 초과하는 하나 이상의 블록들을 검출하기 위한 검출 수단을 포함하는 국부적 공간-시간 상세 검출 시스템.
  16. 제 15 항에 따른 시스템을 포함하는 디바이스.
  17. 제 1 항의 방법에 따라 동작하도록 프로그램된 신호 처리 시스템.
  18. 제 1 항의 방법에 따라 동작하는, 텔레비전(TV) 장치용 디-인터레이싱(de-interlacing) 시스템.
  19. 복수의 이미지들을 표현하는 비디오 신호를 인코딩하기 위한 비디오 신호 인코더로서,
    - 이미지를 화소들의 하나 이상의 블록들로 분할하기 위한 수단;
    - 상기 하나 이상의 블록들 각각 내에서 적어도 하나의 화소에 대한 적어도 하나의 공간-시간 특징을 계산하기 위한 공간-시간 특징 계산 수단;
    - 상기 하나 이상의 블록들 내에서 계산된 상기 적어도 하나의 공간-시간 특징들 각각에 대한 적어도 하나의 통계 파라미터를 상기 하나 이상의 블록들 각각에 대해 계산하기 위한 통계 파라미터 계산 수단;
    - 양자화 스케일에 따라 상기 하나 이상의 블록들에 데이터를 할당하기 위한 수단; 및
    - 상기 적어도 하나의 통계 파라미터에 따라 상기 하나 이상의 블록들에 대한 양자화 스케일을 조절하기 위한 수단을 포함하는 비디오 신호 인코더.
  20. 제 1 항의 방법에 따라 사용하기에 적합한 공간-시간 상세를 나타내는 이미 지 세그먼트들에 관한 정보를 포함하는, 복수의 이미지들을 표현하는 비디오 신호.
  21. 제 20 항에 따른 비디오 신호 데이터를 포함하는 비디오 저장 매체.
  22. 컴퓨터 판독가능 프로그램 코드가 구현되는 컴퓨터 사용가능 매체로서, 상기 컴퓨터 판독가능 프로그램 코드는,
    - 컴퓨터로 하여금, 복수의 이미지들을 표현하는 비디오 신호를 판독하도록 하기 위한 수단;
    - 상기 컴퓨터로 하여금, 판독된 이미지를 화소들의 하나 이상의 블록들로 분할하도록 하기 위한 수단;
    - 상기 컴퓨터로 하여금, 각 블록 내에서 적어도 하나의 화소에 대한 적어도 하나의 공간-시간 특징을 계산하도록 하기 위한 수단;
    - 상기 컴퓨터로 하여금, 상기 하나 이상의 블록들 내에서 계산된 상기 적어도 하나의 공간-시간 특징들 각각에 대한 적어도 하나의 통계 파라미터를 상기 블록들 각각에 대하여 계산하도록 하기 위한 수단; 및
    - 상기 컴퓨터로 하여금, 상기 적어도 하나의 통계 파라미터가 미리 결정된 레벨을 초과하는 블록들을 검출하도록 하기 위한 수단을 포함하는 컴퓨터 사용가능 매체.
  23. 복수의 이미지들을 표현하는 비디오 신호로서, 상기 비디오 신호는 각 이미 지의 블록들에 대한 데이터의 지정된 개별 할당을 포함하는, MPEG나 H.26x와 같은 비디오 압축 표준에 따라 압축되며, 공간-시간 상세를 나타내는 이미지들의 하나 이상의 선택된 블록들에 할당된 데이터 레이트는 상기 하나 이상의 선택된 블록들에 대한 데이터의 지정된 할당과 비교하여 증가되는, 비디오 신호.
  24. 제 1 항의 방법을 포함하는 비디오 신호를 처리하는 방법.
  25. 제 1 항의 방법에 따라 비디오 신호를 처리하기 위한 수단을 포함하는 집적회로.
  26. 제 1 항의 방법을 실행하기 위한 명령들의 프로그램을 인코딩하고, 기계에 의해 판독가능한 프로그램 저장 디바이스.
KR1020067010122A 2003-11-24 2004-11-04 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출 KR20060111528A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03300223 2003-11-24
EP03300223.9 2003-11-24

Publications (1)

Publication Number Publication Date
KR20060111528A true KR20060111528A (ko) 2006-10-27

Family

ID=34610140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067010122A KR20060111528A (ko) 2003-11-24 2004-11-04 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출

Country Status (6)

Country Link
US (1) US20070104382A1 (ko)
EP (1) EP1690232A2 (ko)
JP (1) JP2007512750A (ko)
KR (1) KR20060111528A (ko)
CN (1) CN1886759A (ko)
WO (1) WO2005050564A2 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006072894A2 (en) * 2005-01-07 2006-07-13 Koninklijke Philips Electronics N.V. Method of processing a video signal using quantization step sizes dynamically based on normal flow
US8000533B2 (en) 2006-11-14 2011-08-16 Microsoft Corporation Space-time video montage
US8103090B2 (en) * 2007-01-22 2012-01-24 Honeywell International Inc. Behavior and pattern analysis using multiple category learning
US9628811B2 (en) * 2007-12-17 2017-04-18 Qualcomm Incorporated Adaptive group of pictures (AGOP) structure determination
US9240056B2 (en) * 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
US20140192235A1 (en) * 2011-02-25 2014-07-10 Sony Corporation Systems, methods, and media for reconstructing a space-time volume from a coded image
CN102142148B (zh) * 2011-04-02 2013-02-06 上海交通大学 视频空时特征提取方法
CN102867186B (zh) * 2011-07-04 2015-06-10 袁海东 基于统计特征的数字信号局部相关性分析方法
KR101695247B1 (ko) * 2012-05-07 2017-01-12 한화테크윈 주식회사 주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법
US20140198845A1 (en) * 2013-01-10 2014-07-17 Florida Atlantic University Video Compression Technique
US9934555B1 (en) * 2014-03-20 2018-04-03 Amazon Technologies, Inc. Processing an image to reduce rendering artifacts
CN105956543A (zh) * 2016-04-27 2016-09-21 广西科技大学 一种基于尺度自适应局部时空特征的多运动员行为检测方法
CN116168026B (zh) * 2023-04-24 2023-06-27 山东拜尔检测股份有限公司 基于计算机视觉的水质检测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5134480A (en) * 1990-08-31 1992-07-28 The Trustees Of Columbia University In The City Of New York Time-recursive deinterlace processing for television-type signals
IL104636A (en) * 1993-02-07 1997-06-10 Oli V R Corp Ltd Apparatus and method for encoding and decoding digital signals
US5926226A (en) * 1996-08-09 1999-07-20 U.S. Robotics Access Corp. Method for adjusting the quality of a video coder
US6459455B1 (en) * 1999-08-31 2002-10-01 Intel Corporation Motion adaptive deinterlacing
EP1294194B8 (en) * 2001-09-10 2010-08-04 Texas Instruments Incorporated Apparatus and method for motion vector estimation
US7209883B2 (en) * 2002-05-09 2007-04-24 Intel Corporation Factorial hidden markov model for audiovisual speech recognition

Also Published As

Publication number Publication date
WO2005050564A2 (en) 2005-06-02
WO2005050564A3 (en) 2006-04-20
CN1886759A (zh) 2006-12-27
EP1690232A2 (en) 2006-08-16
US20070104382A1 (en) 2007-05-10
JP2007512750A (ja) 2007-05-17

Similar Documents

Publication Publication Date Title
JP4271027B2 (ja) 動画データストリームで漫画を検出するための方法及びシステム
US8320470B2 (en) Method for spatial error concealment
EP1639829B1 (en) Optical flow estimation method
US7860167B2 (en) Apparatus and method for adaptive 3D artifact reducing for encoded image signal
EP2327219B1 (en) Reducing digital image noise
KR101545005B1 (ko) 이미지 압축 및 압축해제
US8320700B2 (en) Apparatus and method of estimating scale ratio and noise strength of encoded image
US20100303150A1 (en) System and method for cartoon compression
US20130004096A1 (en) Methods, Devices, and Computer Readable Mediums for Processing a Digital Picture
US20110188583A1 (en) Picture signal conversion system
US10013772B2 (en) Method of controlling a quality measure and system thereof
JP2010515362A (ja) 符号化された画像及びビデオにおけるブロックアーチファクトの検出
KR20070116717A (ko) 압축된 디지털 이미지의 ｍｐｅｇ 노이즈 강도 측정 방법및 장치
US8885969B2 (en) Method and apparatus for detecting coding artifacts in an image
US7031388B2 (en) System for and method of sharpness enhancement for coded digital video
KR20040069210A (ko) 코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오신호들의 후처리에서의 선명도 향상
KR20060111528A (ko) 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출
US20110187924A1 (en) Frame rate conversion device, corresponding point estimation device, corresponding point estimation method and corresponding point estimation program
EP2735144B1 (en) Adaptive filtering based on pattern information
US8582882B2 (en) Unit for and method of segmentation using average homogeneity
JP2001346208A (ja) 画像信号復号化装置および方法
WO2006084419A1 (en) Method for reducing bit rate requirements for encoding multimedia data
Hou et al. Reduction of image coding artifacts using spatial structure analysis
Bosch et al. Models for texture based video coding
Hsia et al. Adaptive Segmentation Technique For Object-Base MPEG-4 System

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid