KR101527369B1 - 영상오디오여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치 - Google Patents

영상오디오여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR101527369B1
KR101527369B1 KR1020110083625A KR20110083625A KR101527369B1 KR 101527369 B1 KR101527369 B1 KR 101527369B1 KR 1020110083625 A KR1020110083625 A KR 1020110083625A KR 20110083625 A KR20110083625 A KR 20110083625A KR 101527369 B1 KR101527369 B1 KR 101527369B1
Authority
KR
South Korea
Prior art keywords
signal
texture
unit
space
audio
Prior art date
Application number
KR1020110083625A
Other languages
English (en)
Other versions
KR20120022652A (ko
Inventor
홍성훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/222,597 priority Critical patent/US8842738B2/en
Publication of KR20120022652A publication Critical patent/KR20120022652A/ko
Application granted granted Critical
Publication of KR101527369B1 publication Critical patent/KR101527369B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L19/00—Details of, or accessories for, apparatus for measuring steady or quasi-steady pressure of a fluent medium insofar as such details or accessories are not special to particular types of pressure gauges

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

저전송률에서 영상과 오디오신호를 압축하고 표현할 수 있는 영상오디오여기신호를 이용한 다중 텍스쳐 기반 신호 처리 기술이 개시된다. 이를 위해, 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법은 입력되는 영상신호 및 오디오신호를 포함하는 신호를 신호구성단위 신호로 분류하고, 신호구성단위 신호의 복수개의 프레임 중의 한 프레임을 시드 신호로 선택하는 단계; 시드 신호에서 복수개의 특징점을 검출하는 단계; 신호구성단위 신호의 복수개의 프레임에서, 복수개의 특징점을 추적하여 특징점 각각에 대한 시공간위치변환 변수를 산출하는 단계; 시공간위치변환 변수가 대응되는 특징점들을 이용하여 복수개의 텍스쳐 신호를 정의하는 단계; 및 복수개의 텍스쳐 신호 각각을, 영상오디오여기신호를 입력으로 한 텍스쳐합성필터의 출력인 복수개의 텍스쳐 블록의 합으로 정의하는 단계를 포함한다.

Description

영상오디오여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치{Signal processing method and apparatus based on multiple texture using video audio excitation signal}
본 발명은 영상오디오여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치에 관한 것이다. 더욱 상세하게, 본 발명은 저전송률에서 영상과 오디오신호를 압축하고 표현할 수 있는 영상오디오여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치에 관한 것이다.
일반적인 영상신호와 오디오신호의 신호 처리 및 압축 방식은 통합된 방식이 아닌 영상과 오디오신호를 각각 분리하여 압축하고 표현하는 방식이었다. 영상신호처리 및 압축방식은 영상프레임간 모션추정처리된 신호를 이산코사인변환 등을 이용해서 변환영역처리하는 방식에 기초를 두고 있고, 오디오신호처리 및 압축방식은 변환영역값들로 구분된 신호를 신호특성과 중요도에 따라 압축비트율을 조절하는 방식에 기반하고 있다. 그러나 일반적인 신호 압축 방식은 영상신호와 오디오신호의 특성에 대한 부정확한 추정과 모델링으로 인해서 다양한 실제 신호의 특성을 표현하기 어려운 문제점을 가지고 있었다. 그리고, 영상움직임이 많은 프레임들이나 잡음이 많은 오디오신호구간에서 신호표현모델 추정오류의 값이 커지게 되어 압축시 비트율이 커지는 문제점을 가지고 있었다. 이러한 문제를 해결하기 위하여 MPEG1/2/4와 H.261/3/4으로 대표되는 영상신호 압축표준들이 제안되었지만, 여전히 원본대비 1/1000 저전송율 영상 오디오신호 압축에서의 화질 및 음질저하가 심각한 실정이고, 오디오신호에 대해서는 구체적인 압축방식이 제안되어 있지 않은 상황이다.
본 발명의 목적은 영상신호와 오디오신호를 통합하여 압축한 압축 신호를 제공하는 것을 목적으로 한다.
그리고, 본 발명의 목적은 복수개의 텍스쳐 신호 및 해당 텍스쳐 신호의 시공간위치변환 변수를 통하여 다양한 신호 특성을 표현하는 것을 목적으로 한다.
또한, 본 발명은 원본 신호를 복수개의 텍스쳐 신호 및 이에 대응하는 복수개의 시공간위치변환 변수들만으로 압축 처리하여, 원본 크기 대비 획기적으로 크기가 줄은 압축 신호를 제공하는 것을 목적으로 한다. 더불어, 본 발명은 복수개의 텍스쳐 신호 각각을, 가우시안 함수로 표현되는 영상오디오여기신호 및 텍스쳐합성필터의 출력인 텍스쳐 블록의 합으로 정의하여, 원본 크기 대비 보다 획기적으로 크기가 줄은 압축 신호를 제공하는 것을 목적으로 한다.
또한, 본 발명은 시공간위치변환 변수들의 유사성을 이용하여 기 정하여진 복수개의 텍스쳐 신호를 근사화함으로써, 압축 신호의 크기를 보다 줄이는 것을 목적으로 한다.
또한, 본 발명은 저전송률에서 최적의 화질로 영상을 처리하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법은 입력되는 영상신호 및 오디오신호를 포함하는 신호를 신호구성단위 신호로 분류하고, 상기 신호구성단위 신호의 복수개의 프레임 중의 한 프레임을 시드 신호로 선택하는 단계; 상기 시드 신호에서 복수개의 특징점을 검출하는 단계; 상기 신호구성단위 신호의 상기 복수개의 프레임에서, 상기 복수개의 특징점을 추적하여 특징점 각각에 대한 시공간위치변환 변수를 산출하는 단계; 상기 시공간위치변환 변수가 대응되는 특징점들을 이용하여 복수개의 텍스쳐 신호를 정의하는 단계; 및 상기 복수개의 텍스쳐 신호 각각을, 영상오디오여기신호를 입력으로 한 텍스쳐합성필터의 출력인 복수개의 텍스쳐 블록의 합으로 정의하는 단계를 포함한다.
이 때, 상기 영상오디오여기신호는 2차원 가우시안 함수로 표현될 수 있다.
이 때, 상기 복수개의 텍스쳐 신호를 정의하는 상기 복수개의 텍스쳐 블록 각각의 상기 영상오디오여기신호, 상기 텍스쳐합성필터의 변수 및 상기 복수개의 텍스쳐 신호 각각에 대응하는 시공간위치변환 변수를 압축하는 단계를 더 포함한다.
이 때, 상기 압축하는 단계는, 상기 영상오디오여기신호 및 상기 텍스쳐합성필터의 변수 및 상기 시공간위치변환 변수를 비트스트림 압축 방식으로 압축한다.
이 때, 상기 복수개의 텍스쳐 신호에 있어서, 텍스쳐 신호의 상관관계(correlation) 특성을 얻어냄으로써 계산된 유사성이 기 설정된 임계치 이내의 값들을 가지는 시공간위치변환 변수들을 갖는 텍스쳐 신호들을 하나의 텍스쳐 신호로 합쳐서 근사화하는 단계를 더 포함한다.
이 때, 상기 복수개의 특징점을 검출하는 단계는, 상기 복수개의 프레임에 있어서, 기 설정된 수치 이상의 변화량을 갖는 포인트를 상기 특징점으로 검출한다.
이 때, 압축된 상기 영상오디오여기신호, 상기 텍스쳐합성필터의 변수와 상기 각각의 텍스쳐 신호에 대응하는 상기 시공간위치변환 변수를 압축 해제하는 단계; 상기 영상오디오여기신호 및 상기 텍스쳐합성필터의 변수를 이용하여 상기 복수개의 텍스쳐 블록을 생성하고, 상기 텍스쳐 블록을 합하여 상기 복수개의 텍스쳐 신호를 생성하는 단계; 상기 텍스쳐 신호와 상기 텍스쳐 신호에 대응하는 상기 시공간위치변환 변수를 매칭하는 단계; 상기 텍스쳐 신호와 상기 시공간위치변환 변수를 이용하여 비쥬얼 오디오 텍스쳐를 생성하는 단계; 및 상기 각각의 텍스쳐 신호에 대응하여 생성된 비쥬얼 오디오 텍스쳐들을 결합하는 단계를 더 포함한다.
이 때, 상기 비쥬얼 오디오 텍스쳐들의 결합 경계에서의 결함(Artifact)을 필터링하여 보정하는 단계를 더 포함한다.
이 때, 상기 복원 신호를 복원 영상신호와 복원 오디오신호로 분해하는 단계를 더 포함한다.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 다중 텍스쳐 기반 신호 처리 장치는 입력되는 영상신호 및 오디오신호를 포함하는 신호를 신호구성단위 신호로 분류하고, 상기 신호구성단위 신호의 복수개의 프레임 중의 한 프레임을 시드 신호로 선택하는 시드 신호 선택부; 상기 시드 신호에서 복수개의 특징점을 검출하는 특징점 검출부; 상기 신호구성단위 신호의 상기 복수개의 프레임에서, 상기 복수개의 특징점을 추적하여 특징점 각각에 대한 시공간위치변환 변수를 산출하는 변수 산출부; 상기 시공간위치변환 변수가 대응되는 특징점들을 이용하여 복수개의 텍스쳐 신호를 정의하는 텍스쳐 신호 정의부; 및 상기 복수개의 텍스쳐 신호 각각을, 영상오디오여기신호를 입력으로 한 텍스쳐합성필터의 출력인 복수개의 텍스쳐 블록의 합으로 정의하는 텍스쳐 블록 정의부를 포함한다.
이 때, 상기 영상오디오여기신호는 2차원 가우시안 함수로 표현될 수 있다.
이 때, 상기 복수개의 텍스쳐 신호를 정의하는 상기 복수개의 텍스쳐 블록 각각의 상기 영상오디오여기신호, 상기 텍스쳐합성필터의 변수 및 상기 복수개의 텍스쳐 신호 각각에 대응하는 시공간위치변환 변수를 압축하는 압축부를 더 포함한다.
이 때, 상기 압축부는, 상기 영상오디오여기신호, 상기 텍스쳐합성필터의 변수 및 상기 시공간위치변환 변수는 비트스트림 압축 방식으로 별개로 압축한다.
이 때, 상기 복수개의 텍스쳐 신호에 있어서, 텍스쳐 신호의 상관관계(correlation) 특성을 얻어냄으로써 계산된 유사성이 기 설정된 임계치 이내의 값들을 가지는 시공간위치변환 변수들을 갖는 텍스쳐 신호들을 하나의 텍스쳐 신호로 합쳐서 근사화하는 근사화부를 더 포함한다.
이 때, 상기 특징점 검출부는, 상기 복수개의 프레임에 있어서, 기 설정된 수치 이상의 변화량을 갖는 포인트를 상기 특징점으로 검출한다.
이 때, 압축된 상기 영상오디오여기신호 및 상기 텍스쳐합성필터의 변수와 상기 각각의 텍스쳐 신호에 대응하는 상기 시공간위치변환 변수를 압축 해제하는 압축 해제부; 상기 영상오디오여기신호 및 상기 텍스쳐합성필터의 변수를 이용하여 상기 복수개의 텍스쳐 블록을 생성하고, 상기 복수개의 텍스쳐 블록을 합하여 상기 텍스쳐 신호를 생성하는 텍스쳐 신호 생성부; 상기 텍스쳐 신호와 상기 텍스쳐 신호에 대응하는 상기 시공간위치변환 변수를 매칭하는 매칭부; 상기 텍스쳐 신호와 상기 시공간위치변환 변수를 이용하여 비쥬얼 오디오 텍스쳐를 생성하는 비쥬얼 오디오 텍스쳐 생성부; 및 상기 각각의 텍스쳐 신호에 대응하여 생성된 비쥬얼 오디오 텍스쳐들을 결합하는 비쥬얼 오디오 텍스쳐 결합부를 더 포함한다.
이 때, 상기 비쥬얼 오디오 텍스쳐들의 결합 경계에서의 결함(Artifact)을 필터링하여 보정하는 보정부를 더 포함한다.
이 때, 상기 복원 신호를 복원 영상신호와 복원 오디오신호로 분해하는 분해부를 더 포함한다.
본 발명에 따르면, 영상신호와 오디오신호를 통합하여 압축한 압축 신호를 제공할 수 있다.
그리고, 복수개의 텍스쳐 신호 및 해당 텍스쳐 신호의 시공간위치변환 변수를 통하여 다양한 신호 특성을 표현할 수 있다.
또한, 본 발명은 원본 신호를 복수개의 텍스쳐 신호 및 이에 대응하는 복수개의 시공간위치변환 변수들만으로 압축 처리 가능하여, 원본 크기 대비 획기적으로 크기가 줄은 압축 신호의 제공이 가능하다. 더불어, 본 발명은 복수개의 텍스쳐 신호 각각을, 가우시안 함수로 표현되는 영상오디오여기신호 및 텍스쳐합성필터의 출력인 텍스쳐 블록의 합으로 정의하여, 원본 크기 대비 보다 획기적으로 크기가 줄은 압축 신호를 제공하는 것을 목적으로 한다.
또한, 본 발명은 시공간위치변환 변수들의 유사성을 이용하여 기 정하여진 복수개의 텍스쳐 신호를 근사화함으로써, 압축 신호의 크기를 보다 줄일 수 있다.
또한, 본 발명은 저전송률에서 최적의 화질로 영상을 처리할 수 있다. 즉, 본 발명은 1/500 비트율과 같은 저전송률에서 화질 열화를 최소화할 수 있다.
도 1은 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법에 있어서의, 인코딩의 방법을 설명하기 위한 동작 흐름도이다.
도 2는 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법에 있어서의, 인코딩의 방법을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법에 있어서의, 디코딩의 방법을 설명하기 위한 동작 흐름도이다.
도 4는 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법에 있어서의, 디코딩의 방법을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 다중 텍스쳐 기반 신호 처리 장치의 구성을 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서는 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법에 있어서의 인코딩 방법에 대하여 설명하도록 한다.
도 1은 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법에 있어서의, 인코딩의 방법을 설명하기 위한 동작 흐름도이다. 도 2는 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법에 있어서의, 인코딩의 방법을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법의 인코딩 방법은 먼저, 복수개의 프레임으로 구성된 신호(200)를 입력 받는다(S10). 상기 신호는 영상신호(201) 및 오디오신호(202)를 포함하는 신호이다.
그리고, 입력 받은 신호(200)를 신호구성단위 신호로 분류하고, 신호구성단위 신호의 복수개의 프레임 중의 한 프레임을 시드 신호(210)로 선택한다(S11). 그리고, 신호구성단위 신호의 시드 신호(210)를 제외한 나머지 프레임은 잔여 프레임 신호(220)로 정의한다. 즉, 신호구성단위 신호가 k 개의 프레임으로 구성되어 있을 때, 1 개의 시드 신호가 선택되고, 나머지 k-1 개의 프레임이 잔여 프레임 신호(220)로 정의된다. 이 때, 신호구성단위 신호는 해당 신호를 구성하는 신호를 의미한다. 예를 들어, 영상신호에 있어서는 샷 단위 신호가 신호구성단위 신호이며, 샷 단위 신호는 한 대의 카메라가 연속해서 촬영하는 영상에 해당한다.
단계(S11)에서 선택된 시드 신호(210)에서 복수개의 특징점을 검출한다(S12). 이 때, 신호구성단위 신호의 복수개의 프레임에 있어서, 기 설정된 수치 이상의 변화량을 갖는 포인트를 특징점으로 검출할 수 있다. 즉, 시드 신호(210) 및 잔여 프레임 신호(220)에서 특정 포인트가 기 설정된 수치 이상의 변화를 보인다면, 해당 특정 포인트는 특징점으로 검출될 수 있다.
그리고, 신호구성단위 신호의 복수개의 프레임에서 복수개의 특징점을 추적하여 특징점 각각에 대한 시공간위치변환 변수를 산출한다(S13). 즉, 시드 신호(210) 및 잔여 프레임 신호(220)에서 특징점의 변화를 정의하는 시공간위치변환 변수를 산출한다. 시공간위치변환 변수는 특징점의 시간에 따른 위치의 변화량 등을 나타내는 함수의 형태일 수 있다.
단계(S13)에서 산출된 시공간위치변환 변수(211b, 212b, 213b, 214b, Nb)가 상호 대응되는 특징점들을 이용하여 복수개의 텍스쳐 신호(211a, 212a, 213a, 214a, Na)를 정의한다(S14). 이 때, 시공간위치변환 변수(211b, 212b, 213b, 214b, Nb)가 상호 동일한 특징점들을 연계하여 하나의 텍스쳐 신호를 정의할 수 있다.
그리고, 복수개의 텍스쳐 신호에 있어서, 유사한 시공간위치변환 변수를 갖는 텍스쳐 신호들을 하나의 텍스쳐 신호로 합쳐서 근사화한다(S15). 이 때, 시공간위치변환 변수간의 유사성은 텍스쳐 신호의 상관관계(correlation) 특성을 얻어냄으로써 계산될 수 있다. 그리고, 시공간위치변환 변수간의 유사성이 기 설정된 임계치 이내의 값들을 가지는 텍스쳐 신호들을 하나의 텍스쳐 신호로 합칠 수 있다. 도 2에서는, 시공간위치변환 변수가 유사성이 크다고 가정된 제 1 텍스쳐 신호(211a)와 제 2 텍스쳐 신호(212a)가 합쳐지고, 이에 대응하여 제 1 시공간위치변환 변수(211b)와 제 2 시공간위치변환 변수(212b)가 합쳐짐으로써, 제 1 근사화 텍스쳐 신호(211a')와 제 1 근사화 시공간위치변환 변수(211b')가 생성된다. 그리고, 제 3 텍스쳐 신호(213a)와 제 4 텍스쳐 신호(214a)가 합쳐지고, 이에 대응하여 제 3 시공간위치변환 변수(213b)와 제 4 시공간위치변환 변수(214b)가 합쳐짐으로써, 제 2 근사화 텍스쳐 신호(213a')와 제 2 근사화 시공간위치변환 변수(213b')가 생성된다.
그리고, 복수개의 텍스쳐 신호(211a, 212a, 213a, 214a, Na) 각각을 복수개의 텍스쳐 블록의 합으로 정의한다(S16). 단계(S15)가 진행되었다면, 복수개의 근사화 텍스쳐 신호(211', 213', Na') 각각을 복수개의 텍스쳐 블록의 합으로 정의할 수 있다. 이 때, 텍스쳐 블록은 영상오디오여기신호를 입력으로 한 텍스쳐합성필터의 출력으로 정의될 수 있다. 그리고, 영상오디오여기신호는 2차원 가우시안 함수로 표현될 수 있다. 영상오디오여기신호 즉, 가우시안 함수는 크기변수 G, 평균값 변수 m과 베어리언스 값 a를 모델 변수로 가진다. 그리고, 텍스쳐합성필터는 다음의 수학식 1과 같은 h1,1 내지 hM,M의 값들을 요소로서 갖는 행렬인 변환영역 필터계수 h를 모델 변수로 갖는다.
Figure 112011065062274-pat00001
영상오디오여기신호의 변수 즉, G, m, a 값들과 텍스쳐합성필터의 변수인 변환영역 필터계수 h의 값들은 변환 영역에서 텍스쳐 추정 신호의 값과 원 텍스쳐 신호의 값 간의 차이를 최소화하도록 구해진다. 변환 영역에서 텍스쳐 추정 신호 R은 다음의 수학식 2와 같이 표현된다.
Figure 112011065062274-pat00002
E와 H는 변환영역에서 영상오디오여기신호의 벡터와 텍스쳐합성필터의 변환영역 필터계수의 벡터를 각각 나타내고 '·'은 벡터의 각 성분의 곱을 나타낸다. E는 2차원 가우시안 함수로 근사화되어지고, H는 텍스쳐변환영역특성에 따라 대부분의 변수값이 0이고 일부 영역에서만 변수값들을 가지는 특성을 가진다. 따라서, 본 발명에 따른 신호 처리 방법은 가변길이인코더(Variable Length Encoder)나 연산인코더(Arithmetic Encoder)를 이용해서 매우 낮은 비트율로 압축을 가능케 하며 영상신호(201)와 오디오신호(202)에 같은 구조를 사용하고 있으므로 통합 신호 처리 및 압축을 효율적으로 할 수 있도록 한다.
그리고, 복수개의 텍스쳐 신호(211a, 212a, 213a, 214a, Na) 각각을 정의하는 복수개의 텍스쳐 블록 각각의 영상오디오여기신호, 텍스쳐합성필터의 변수 및 상기 복수개의 텍스쳐 신호 각각에 대응하는 복수개의 시공간위치변환 변수(211b, 212b, 213b, 214b, Nb)를 압축한다(S17). 또한, 단계(S17)에서는 텍스쳐 신호의 근사화 단계(S15)가 진행되었다는 전제하에, 복수개의 근사화 텍스쳐 신호(211a', 213a', Na') 각각을 정의하는 복수개의 텍스쳐 블록 각각의 영상오디오여기신호, 텍스쳐합성필터의 변수 및 상기 복수개의 근사화 텍스쳐 신호에 대응하는 복수개의 근사화 시공간위치변환 변수(211b', 213b', Nb')가 압축될 수 있다. 이 때, 압축은 비트스트림 압축 방식으로 이루어질 수 있다.
이하에서는 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법에 있어서의 인코딩 방법을 수학식을 통하여 설명하도록 한다.
특징점은 다음과 같이 검출될 수 있다. 먼저, k개의 프레임으로 구성된 입력 영상
Figure 112011065062274-pat00003
에 대하여, 자기 상관 매트릭스(Autocorrelation matrix)
Figure 112011065062274-pat00004
를 계산한다. 여기서,
Figure 112011065062274-pat00005
는 {x,y}가
Figure 112011065062274-pat00006
를 만족할 때의 포인트의 주변 윈도우 신호이다. 그리고, x와 y는 각각 x축 방향과 y축 방향의 픽셀 포인트이며,
Figure 112011065062274-pat00007
는 통계적 기대 함수(Statistical expectation operator)로 정의된다.
픽셀 포인트 {x,y}에서
Figure 112011065062274-pat00008
를 통하여 계산된 고유치들 즉,
Figure 112011065062274-pat00009
및
Figure 112011065062274-pat00010
로부터, 텍스쳐 포인트 매트릭스
Figure 112011065062274-pat00011
를 다음의 수학식 3과 같이 구할 수 있다.
Figure 112011065062274-pat00012
여기서,
Figure 112011065062274-pat00013
및
Figure 112011065062274-pat00014
는 기 설정된 임계치에 해당한다. 상기 수학식 3에서 특정 픽셀 위치의
Figure 112011065062274-pat00015
및
Figure 112011065062274-pat00016
가 임계치
Figure 112011065062274-pat00017
및
Figure 112011065062274-pat00018
보다 큰 경우, 해당 특정 픽셀을 1로 정의한다. 그리고, 특정 픽셀 위치의
Figure 112011065062274-pat00019
및
Figure 112011065062274-pat00020
가 임계치
Figure 112011065062274-pat00021
및
Figure 112011065062274-pat00022
보다 작은 경우, 해당 특정 픽셀을 0으로 정의하여 텍스쳐 포인트 매트릭스를 구한다.
그리고, 각 텍스쳐 신호를 정의하는 복수개의 시공간위치변환 변수 및 이에 대한 텍스쳐 신호는 다음의 수학식 4와 같이 정의될 수 있다.
Figure 112011065062274-pat00023
여기서,
Figure 112011065062274-pat00024
는 다음의 수학식 5와 같이 정의될 수 있다.
Figure 112011065062274-pat00025
그리고, k개의 프레임으로 구성된 입력 영상
Figure 112011065062274-pat00026
는 다음의 수학식 6과 같이, N개의 텍스쳐 신호의 합으로써 정의될 수 있다.
Figure 112011065062274-pat00027
또한, 상기의 수학식 6에서 i번째 분할된 텍스쳐 신호는 다음의 수학식 7과 같이 근사화하여 표현될 수 있다.
Figure 112011065062274-pat00028
여기서,
Figure 112011065062274-pat00029
는 변환 함수를,
Figure 112011065062274-pat00030
은 입력 영상의 l번째 프레임의 i번째 분할된 텍스쳐 신호를,
Figure 112011065062274-pat00031
는 x축 방향과 y축 방향의 위치변환 벡터를,
Figure 112011065062274-pat00032
는
Figure 112011065062274-pat00033
에서의 개략적인 추정 오류 신호를 나타낸다. 그리고, 수학식 7에서, 프레임 넘버 k는 k+1부터 l+M의 범위에 속한다. 수학식 5는 Taylor expansion에 의하여 다음의 수학식 8과 같이 근사화될 수 있다.
Figure 112011065062274-pat00034
여기서,
Figure 112011065062274-pat00035
및
Figure 112011065062274-pat00036
각각은
Figure 112011065062274-pat00037
의 x축 방향과 y축 방향의 경사도(Gradient value)의 합을 나타낸다. 그리고, 추정 오류 신호의 제곱합에 대한 정리는 다음의 수학식 9와 같이 나타낼 수 있다.
Figure 112011065062274-pat00038
여기서, 추정 오류 신호의 제곱합인
Figure 112011065062274-pat00039
크기의 최소화를 가정하여,
Figure 112011065062274-pat00040
의 값을 구할 수 있다. 즉, 다음의 수학식 10 및 수학식 11을 계산하여,
Figure 112011065062274-pat00041
의 값을 구한다.
Figure 112011065062274-pat00042
Figure 112011065062274-pat00043
여기서,
Figure 112011065062274-pat00044
가 항등변환(Identity transform)식임을 가정하면, 수학식 9와 수학식 10을 통해, 다음의 수학식 12를 얻을 수 있다.
Figure 112011065062274-pat00045
그리고, 수학식 12를 풀면,
Figure 112011065062274-pat00046
에 대한 다음의 수학식 13을 얻을 수 있다.
Figure 112011065062274-pat00047
그리고, 수학식 13을 통해 얻어진
Figure 112011065062274-pat00048
및 수학식 11을 사용하여 다음의 수학식 13과 같은 변환함수
Figure 112011065062274-pat00049
를 얻을 수 있다.
Figure 112011065062274-pat00050
수학식 10 및 수학식 11을 정리하여,
Figure 112011065062274-pat00051
의 변환함수
Figure 112011065062274-pat00052
으로부터
Figure 112011065062274-pat00053
를 얻을 수 있다. 그리고,
Figure 112011065062274-pat00054
의 변환함수
Figure 112011065062274-pat00055
으로부터
Figure 112011065062274-pat00056
를 얻을 수 있다. 또한, 수학식 3 내지 수학식 14를 통해,
Figure 112011065062274-pat00057
를 시드 신호
Figure 112011065062274-pat00058
및 변환함수
Figure 112011065062274-pat00059
로써 표현할 수 있다. 그리고,
Figure 112011065062274-pat00060
간의 유사성을 계산하여 텍스쳐 신호의 근사화가 이루어질 수 있다.
이하에서는 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법에 있어서의 디코딩 방법에 대하여 설명하도록 한다.
도 3은 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법에 있어서의, 디코딩의 방법을 설명하기 위한 동작 흐름도이다. 도 4는 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법에 있어서의, 디코딩의 방법을 설명하기 위한 도면이다.
도 3 및 도 4를 참조하면, 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법의 디코딩 방법은 먼저, 압축된 신호를 입력받는다(S30). 이 때, 압축된 신호는 복수개의 텍스쳐 신호를 정의하는 복수개의 텍스쳐 블록 각각의 영상오디오여기신호, 텍스쳐합성필터의 변수 및 각각의 텍스쳐 신호에 대응하는 복수개의 시공간위치변환 변수가 압축된 신호일 수 있다. 물론, 압축된 신호는 복수개의 근사화 텍스쳐 신호를 정의하는 복수개의 텍스쳐 블록 각각의 영상오디오여기신호, 텍스쳐합성필터의 변수 및 복수개의 근사화 시공간위치변환 변수가 압축된 신호일 수도 있다. 또한, 압축된 신호에서, 영상오디오여기신호, 텍스쳐합성필터의 변수 및 복수개의 시공간위치변환 변수는 비트스트림 압축 방식으로 압축되어 있을 수 있다.
그리고, 압축된 신호를 압축 해제한다(S31). 즉, 압축된 영상오디오여기신호, 텍스쳐합성필터의 변수와 각각의 텍스쳐 신호에 대응하는 복수개의 시공간위치변환 변수를 압축 해제한다.
그리고, 압축된 영상오디오여기신호 및 텍스쳐합성필터의 변수를 이용하여 복수개의 텍스쳐 블록을 생성하고, 복수개의 텍스쳐 블록을 합하여 텍스쳐 신호를 생성한다(S32). 이 때의 텍스쳐 신호는 인코딩 과정에서 근사화된 텍스쳐 신호일 수 있다.
생성된 복수개의 텍스쳐 신호와 복수개의 시공간위치변환 변수에서, 각 텍스쳐 신호와 해당 텍스쳐 신호에 대응하는 시공간위치변환 변수를 일대일로 매칭한다(S33). 물론, 각 근사화 텍스쳐 신호와 해당 근사화 텍스쳐 신호에 대응하는 근사화 시공간위치변환 변수가 매칭될 수 있다. 도 4에서는, 제 1 근사화 텍스쳐 신호(211a')와 제 1 근사화 시공간위치변환 변수(211b')가 매칭되고, 제 2 근사화 텍스쳐 신호(213a')와 제 2 근사화 시공간위치변환 변수(213b')가 매칭되며, 제 N 근사화 텍스쳐 신호(Na')와 제 N 근사화 시공간위치변환 변수(Nb')가 매칭된다.
단계(S33)에서 매칭된 텍스쳐 신호와 시공간위치변환 변수를 이용하여 비쥬얼 오디오 텍스쳐를 생성한다(S34). 구체적으로, 텍스쳐 신호에 특징점들의 시간 대비 움직임 등을 정의한 시공간위치변환 변수를 적용하여, 해당 텍스쳐 신호에 대한 복수개의 프레임으로 구성된 비쥬얼 오디오 텍스쳐를 생성한다. 물론, 매칭된 근사화 텍스쳐 신호와 근사화 시공간위치변환 변수를 이용하여 비쥬얼 오디오 텍스쳐를 생성할 수도 있다. 도 4에서는 제 1 근사화 텍스쳐 신호(211a')와 제 1 근사화 시공간위치변환 변수(211b')를 이용하여, 복수개의 프레임으로 구성된 제 1 비쥬얼 오디오 텍스쳐(211)를 생성한다. 그리고, 제 2 근사화 텍스쳐 신호(213a')와 제 2 근사화 시공간위치변환 변수(213b')를 이용하여, 복수개의 프레임으로 구성된 제 2 비쥬얼 오디오 텍스쳐(213)를 생성한다. 또한, 제 N 근사화 텍스쳐 신호(Na')와 제 N 근사화 시공간위치변환 변수(Nb')를 이용하여, 복수개의 프레임으로 구성된 제 N 비쥬얼 오디오 텍스쳐(N)를 생성한다.
단계(S34)에서 각각의 텍스쳐 신호에 대응하여 생성된 비쥬얼 오디오 텍스쳐들을 결합한다(S35). 비쥬얼 오디오 텍스쳐들을 결합함으로써, 신호구성단위 신호의 복수개의 프레임이 전체적으로 복원된다. 도 4에서는 제 1 비쥬얼 오디오 텍스쳐(211), 제 2 비쥬얼 오디오 텍스쳐(213), 제 N 비쥬얼 오디오 텍스쳐(N)가 결합된다.
단계(S35)에서 결합된 복수개의 비쥬얼 오디오 텍스쳐들의 결합 경계에서의 결함(Artifact)을 필터링하여 보정한다(S36). 즉, 단계(S35)에서 결합된 복수개의 비쥬얼 오디오 텍스쳐들은 단순합으로 복원된 것으로서, 비쥬얼 오디오 텍스쳐들 간의 경계에서 결함이 발생할 수 있다. 이러한 결함에 대하여 제거 필터링 작업을 수행함으로써 보정된 복원 신호를 생성한다.
그리고, 단계(S36)를 통해 얻어진 신호구성단위의 복원 신호를 분해하여 최종적으로 복원 영상신호(201')와 복원 오디오신호(202')를 생성한다(S37). 본 발명에서는 영상신호 및 오디오신호를 포함하는 신호를 여기신호에 기반한 모델을 이용하여 표현하기 때문에 신호 분해가 가능하며 영상신호 및 오디오신호 간에 교차추정(cross estimation)이 가능해 진다.
이하에서는 본 발명에 따른 다중 텍스쳐 기반 신호 처리 장치의 구성 및 동작에 대하여 설명하도록 한다.
도 5는 본 발명에 따른 다중 텍스쳐 기반 신호 처리 장치의 구성을 나타낸 블록도이다.
도 5를 참조하면, 본 발명에 따른 다중 텍스쳐 기반 신호 처리 장치(500)는 인코딩부(510) 및 디코딩부(520)를 포함하여 구성될 수 있다.
인코딩부(510)는 시드 신호 선택부(511), 특징점 검출부(512), 변수 산출부(513), 텍스쳐 신호 정의부(514) 및 텍스쳐 블록 정의부(516)를 포함하여 구성된다. 또한, 인코딩부(510)는 근사화부(515) 및 압축부(517)를 더 포함하여 구성될 수 있다.
시드 신호 선택부(511)는 입력 받은 신호를 신호구성단위 신호로 분류하고, 신호구성단위 신호의 복수개의 프레임 중의 한 프레임을 시드 신호로 선택한다. 그리고, 시드 신호 선택부(511)는 신호구성단위 신호의 시드 신호를 제외한 나머지 프레임은 잔여 프레임 신호로 정의한다. 즉, 시드 신호 선택부(511)는 신호구성단위 신호가 k 개의 프레임으로 구성되어 있을 때, 1 개의 시드 신호를 선택하고, 나머지 k-1 개의 프레임을 잔여 프레임 신호(220)로 정의한다. 이 때, 신호구성단위 신호는 해당 신호를 구성하는 신호를 의미한다.특징점 검출부(512)는 시드 신호 선택부(511)에서 선택된 시드 신호에서 복수개의 특징점을 검출한다. 이 때, 특징점 검출부(512)는 신호구성단위 신호의 복수개의 프레임에 있어서, 기 설정된 수치 이상의 변화량을 갖는 포인트를 특징점으로 검출할 수 있다. 즉, 특징점 검출부(512)는 시드 신호 및 잔여 프레임 신호에서 특정 포인트가 기 설정된 수치 이상의 변화를 보인다면, 해당 특정 포인트를 특징점으로 검출할 수 있다.
변수 산출부(513)는 신호구성단위 신호의 복수개의 프레임에서 복수개의 특징점을 추적하여 특징점 각각에 대한 시공간위치변환 변수를 산출한다. 즉, 변수 산출부(513)는 시드 신호 및 잔여 프레임 신호에서 특징점의 변화를 정의하는 시공간위치변환 변수를 산출한다. 시공간위치변환 변수는 특징점의 시간에 따른 위치의 변화량 등을 나타내는 함수의 형태일 수 있다.
텍스쳐 신호 정의부(514)는 변수 산출부(513)에서 산출된 시공간위치변환 변수가 상호 대응되는 특징점들을 이용하여 복수개의 텍스쳐 신호를 정의한다. 이 때, 텍스쳐 신호 정의부(514)는 시공간위치변환 변수가 상호 동일한 특징점들을 연계하여 하나의 텍스쳐 신호를 정의할 수 있다.
근사화부(515)는 복수개의 텍스쳐 신호에 있어서, 유사한 시공간위치변환 변수를 갖는 텍스쳐 신호들을 하나의 텍스쳐 신호로 합쳐서 근사화한다. 즉, 근사화부(515)는 복수개의 텍스쳐 신호와 복수개의 시공간위치변환 변수가 근사화된 복수개의 근사화 텍스쳐 신호와 복수개의 근사화 시공간위치변환 변수를 생성할 수 있다. 이 때, 근사화부(515)는 시공간위치변환 변수 간의 유사성을 텍스쳐 신호의 상관관계(correlation) 특성을 얻어냄으로써 계산할 수 있다. 그리고, 근사화부(515)는 시공간위치변환 변수간의 유사성이 기 설정된 임계치 이내의 값들을 가지는 텍스쳐 신호들을 하나의 텍스쳐 신호로 합칠 수 있다.
텍스쳐 블록 정의부(516)는 복수개의 텍스쳐 신호 각각을 복수개의 텍스쳐 블록의 합으로 정의한다. 이 때, 텍스쳐 블록은 영상오디오여기신호를 입력으로 한 텍스쳐합성필터의 출력으로 정의될 수 있다. 그리고, 영상오디오여기신호는 2차원 가우시안 함수로 표현될 수 있다. 물론, 텍스쳐 블록 정의부(516)는 복수개의 근사화 텍스쳐 신호 각각을 복수개의 텍스쳐 블록의 합으로 정의할 수 있다.
압축부(517)는 영상오디오여기신호 및 텍스쳐합성필터의 변수 및 각각의 텍스쳐 신호에 대응하는 복수개의 시공간위치변환 변수를 압축한다. 물론, 압축부(517)는 복수개의 근사화 텍스쳐 신호의 영상오디오여기신호, 텍스쳐합성필터의 변수 및 복수개의 근사화 시공간위치변환 변수를 압축할 수 있다.
디코딩부(520)는 압축 해제부(521), 텍스쳐 신호 생성부(522), 매칭부(523), 비쥬얼 오디오 텍스쳐 생성부(524) 및 비쥬얼 오디오 텍스쳐 결합부(525)를 포함하여 구성된다. 또한, 디코딩부(520)는 보정부(526)를 더 포함하여 구성될 수 있다.
압축 해제부(521)는 인코딩부(510)에서 압축된 신호를 입력받아, 해당 압축된 신호를 압축 해제한다. 압축 해제부(521)는 압축된 복수개의 텍스쳐 신호 각각을 정의하는 영상오디오여기신호 및 텍스쳐합성필터의 변수 그리고, 각각의 텍스쳐 신호에 대응하는 복수개의 시공간위치변환 변수를 압축 해제한다.
텍스쳐 신호 생성부(522)는 영상오디오여기신호 및 텍스쳐합성필터의 변수를 이용하여 복수개의 텍스쳐 블록을 생성하고, 복수개의 텍스쳐 블록을 합하여 텍스쳐 신호를 생성한다.
매칭부(523)는 텍스쳐 신호 생성부(522)에서 생성된 텍스쳐 신호와 복수개의 시공간위치변환 변수에서, 각 텍스쳐 신호와 해당 텍스쳐 신호에 대응하는 시공간위치변환 변수를 일대일로 매칭한다. 물론, 매칭부(523)는 각 근사화 텍스쳐 신호와 해당 근사화 텍스쳐 신호에 대응하는 근사화 시공간위치변환 변수를 매칭할 수 있다.
비쥬얼 오디오 텍스쳐 생성부(524)는 매칭된 텍스쳐 신호와 시공간위치변환 변수를 이용하여 비쥬얼 오디오 텍스쳐를 생성한다. 구체적으로, 비쥬얼 오디오 텍스쳐 생성부(524)는 텍스쳐 신호에 특징점들의 시간 대비 움직임 등을 정의한 시공간위치변환 변수를 적용하여, 해당 텍스쳐 신호에 대한 복수개의 프레임으로 구성된 비쥬얼 오디오 텍스쳐를 생성한다. 물론, 비쥬얼 오디오 텍스쳐 생성부(524)는 매칭된 근사화 텍스쳐 신호와 근사화 시공간위치변환 변수를 이용하여 비쥬얼 오디오 텍스쳐를 생성할 수도 있다.
비쥬얼 오디오 텍스쳐 결합부(525)는 비쥬얼 오디오 텍스쳐 생성부(524)에 의하여 각각의 텍스쳐 신호에 대응하여 생성된 비쥬얼 오디오 텍스쳐들을 결합한다. 비쥬얼 오디오 텍스쳐들을 결합함으로써, 신호구성단위 신호의 복수개의 프레임이 전체적으로 복원된다.
보정부(526)는 결합된 복수개의 비쥬얼 오디오 텍스쳐들의 결합 경계에서의 결함(Artifact)을 필터링하여 보정한다. 즉, 비쥬얼 오디오 텍스쳐 결합부(525)에 의하여 결합된 복수개의 비쥬얼 오디오 텍스쳐들은 단순합으로 복원된 것으로서, 비쥬얼 오디오 텍스쳐들 간의 경계에서 결함이 발생할 수 있다. 보정부(526)는 이러한 결함에 대하여 제거 필터링 작업을 수행함으로써 보정된 복원 신호를 생성한다.
분해부(527)는 보정부(526)에 의하여 얻어진 신호구성단위의 복원 신호를 분해하여 최종적으로 복원 영상신호와 복원 오디오신호를 생성한다. 본 발명에서는 영상신호 및 오디오신호를 포함하는 신호를 여기신호에 기반한 모델을 이용하여 표현하기 때문에 신호 분해가 가능하며 영상신호 및 오디오신호 간에 교차추정(cross estimation)이 가능해 진다.
이상에서와 같이 본 발명에 따른 다중 텍스쳐 기반 신호 처리 방법 및 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
500; 다중 텍스쳐 기반 신호 처리 장치
510; 인코딩부
511; 시드 신호 선택부 512; 특징점 검출부
513; 변수 산출부 514; 텍스쳐 신호 정의부
515; 근사화부 516; 텍스쳐 블록 정의부
517; 압축부
520; 디코딩부
521; 압축 해제부 522; 텍스쳐 신호 생성부
523; 매칭부 523; 비쥬얼 오디오 텍스쳐 생성부
524; 비쥬얼 오디오 텍스쳐 결합부 525; 보정부

Claims (18)

  1. 입력되는 영상신호 및 오디오신호를 포함하는 신호를 신호구성단위 신호로 분류하고, 상기 신호구성단위 신호의 복수개의 프레임 중의 한 프레임을 시드 신호로 선택하는 단계;
    상기 시드 신호에서 복수개의 특징점을 검출하는 단계;
    상기 신호구성단위 신호의 상기 복수개의 프레임에서, 상기 복수개의 특징점을 추적하여 특징점 각각에 대한 시공간위치변환 변수를 산출하는 단계;
    상기 시공간위치변환 변수가 대응되는 특징점들을 이용하여 복수개의 텍스쳐 신호를 정의하는 단계; 및
    상기 복수개의 텍스쳐 신호 각각을 복수개의 텍스쳐 블록의 합으로 정의하는 단계를 포함하고,
    상기 텍스쳐 블록은 영상오디오여기신호가 입력된 텍스쳐합성필터의 출력인 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 방법.
  2. 청구항 1에 있어서,
    상기 영상오디오여기신호는 2차원 가우시안 함수로 표현되는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 방법.
  3. 청구항 1에 있어서,
    상기 복수개의 텍스쳐 신호를 정의하는 상기 복수개의 텍스쳐 블록 각각의 상기 영상오디오여기신호, 상기 텍스쳐합성필터의 변수 및 상기 복수개의 텍스쳐 신호 각각에 대응하는 시공간위치변환 변수를 압축하는 단계를 더 포함하고,
    상기 텍스쳐합성필터의 변수는 상기 텍스쳐합성필터의 변환영역 필터계수인 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 방법.
  4. 청구항 3에 있어서,
    상기 압축하는 단계는,
    상기 영상오디오여기신호, 상기 텍스쳐합성필터의 변수 및 상기 시공간위치변환 변수를 비트스트림 압축 방식으로 압축하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 방법.
  5. 청구항 1에 있어서
    상기 복수개의 텍스쳐 신호에 있어서, 텍스쳐 신호의 상관관계(correlation) 특성을 얻어냄으로써 계산된 유사성이 기 설정된 임계치 이내의 값들을 가지는 시공간위치변환 변수들을 갖는 텍스쳐 신호들을 하나의 텍스쳐 신호로 합쳐서 근사화하는 단계를 더 포함하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 방법.
  6. 청구항 1에 있어서,
    상기 복수개의 특징점을 검출하는 단계는,
    상기 복수개의 프레임에 있어서, 기 설정된 수치 이상의 변화량을 갖는 포인트를 상기 특징점으로 검출하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 방법.
  7. 청구항 3에 있어서,
    압축된 상기 영상오디오여기신호 및 상기 텍스쳐합성필터의 변수와 상기 각각의 텍스쳐 신호에 대응하는 상기 시공간위치변환 변수를 압축 해제하는 단계;
    상기 영상오디오여기신호 및 상기 텍스쳐합성필터의 변수를 이용하여 상기 복수개의 텍스쳐 블록을 생성하고, 상기 복수개의 텍스쳐 블록을 합하여 상기 텍스쳐 신호를 생성하는 단계;
    상기 텍스쳐 신호와 상기 텍스쳐 신호에 대응하는 상기 시공간위치변환 변수를 매칭하는 단계;
    상기 텍스쳐 신호와 상기 시공간위치변환 변수를 이용하여 비쥬얼 오디오 텍스쳐를 생성하는 단계; 및
    상기 각각의 텍스쳐 신호에 대응하여 생성된 비쥬얼 오디오 텍스쳐들을 결합하여 복원 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 방법.
  8. 청구항 7에 있어서,
    상기 비쥬얼 오디오 텍스쳐들의 결합 경계에서의 결함(Artifact)을 필터링하여 상기 복원 신호를 보정하는 단계를 더 포함하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 방법.
  9. 청구항 7에 있어서,
    상기 복원 신호를 복원 영상신호와 복원 오디오신호로 분해하는 단계를 더 포함하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 방법.
  10. 입력되는 영상신호 및 오디오신호를 포함하는 신호를 신호구성단위 신호로 분류하고, 상기 신호구성단위 신호의 복수개의 프레임 중의 한 프레임을 시드 신호로 선택하는 시드 신호 선택부;
    상기 시드 신호에서 복수개의 특징점을 검출하는 특징점 검출부;
    상기 신호구성단위 신호의 상기 복수개의 프레임에서, 상기 복수개의 특징점을 추적하여 특징점 각각에 대한 시공간위치변환 변수를 산출하는 변수 산출부;
    상기 시공간위치변환 변수가 대응되는 특징점들을 이용하여 복수개의 텍스쳐 신호를 정의하는 텍스쳐 신호 정의부; 및
    상기 복수개의 텍스쳐 신호 각각을 복수개의 텍스쳐 블록의 합으로 정의하는 텍스쳐 블록 정의부를 포함하고,
    상기 텍스쳐 블록은 영상오디오여기신호가 입력된 텍스쳐합성필터의 출력인 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 장치.
  11. 청구항 10에 있어서,
    상기 영상오디오여기신호는 2차원 가우시안 함수로 표현되는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 장치.
  12. 청구항 10에 있어서,
    상기 복수개의 텍스쳐 신호를 정의하는 상기 복수개의 텍스쳐 블록 각각의 상기 영상오디오여기신호, 상기 텍스쳐합성필터의 변수 및 상기 복수개의 텍스쳐 신호 각각에 대응하는 시공간위치변환 변수를 압축하는 압축부를 더 포함하고,
    상기 텍스쳐합성필터의 변수는 상기 텍스쳐합성필터의 변환영역 필터계수를 포함하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 장치.
  13. 청구항 12에 있어서,
    상기 압축부는,
    상기 영상오디오여기신호, 상기 텍스쳐합성필터의 변수 및 상기 시공간위치변환 변수를 비트스트림 압축 방식으로 압축하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 장치.
  14. 청구항 10에 있어서,
    상기 복수개의 텍스쳐 신호에 있어서, 텍스쳐 신호의 상관관계(correlation) 특성을 얻어냄으로써 계산된 유사성이 기 설정된 임계치 이내의 값들을 가지는 시공간위치변환 변수들을 갖는 텍스쳐 신호들을 하나의 텍스쳐 신호로 합쳐서 근사화하는 근사화부를 더 포함하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 장치.
  15. 청구항 10에 있어서,
    상기 특징점 검출부는,
    상기 복수개의 프레임에 있어서, 기 설정된 수치 이상의 변화량을 갖는 포인트를 상기 특징점으로 검출하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 장치.
  16. 청구항 12에 있어서,
    압축된 상기 영상오디오여기신호 및 상기 텍스쳐합성필터의 변수와 상기 각각의 텍스쳐 신호에 대응하는 상기 시공간위치변환 변수를 압축 해제하는 압축 해제부;
    상기 영상오디오여기신호 및 상기 텍스쳐합성필터의 변수를 이용하여 상기 복수개의 텍스쳐 블록을 생성하고, 상기 복수개의 텍스쳐 블록을 합하여 상기 텍스쳐 신호를 생성하는 텍스쳐 신호 생성부;
    상기 텍스쳐 신호와 상기 텍스쳐 신호에 대응하는 상기 시공간위치변환 변수를 매칭하는 매칭부;
    상기 텍스쳐 신호와 상기 시공간위치변환 변수를 이용하여 비쥬얼 오디오 텍스쳐를 생성하는 비쥬얼 오디오 텍스쳐 생성부; 및
    상기 각각의 텍스쳐 신호에 대응하여 생성된 비쥬얼 오디오 텍스쳐들을 결합하는 비쥬얼 오디오 텍스쳐 결합부를 더 포함하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 장치.
  17. 청구항 16에 있어서,
    상기 비쥬얼 오디오 텍스쳐들의 결합 경계에서의 결함(Artifact)에 대한 제거 필터링을 수행함으로써 보정된 복원 신호를 생성하는 보정부를 더 포함하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 장치.
  18. 청구항 17에 있어서,
    상기 보정된 복원 신호를 복원 영상신호와 복원 오디오신호로 분해하는 분해부를 더 포함하는 것을 특징으로 하는 다중 텍스쳐 기반 신호 처리 장치.
KR1020110083625A 2010-09-01 2011-08-22 영상오디오여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치 KR101527369B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/222,597 US8842738B2 (en) 2010-09-01 2011-08-31 Signal processing method and apparatus based on multiple textures using video audio excitation signals

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100085607 2010-09-01
KR20100085607 2010-09-01

Publications (2)

Publication Number Publication Date
KR20120022652A KR20120022652A (ko) 2012-03-12
KR101527369B1 true KR101527369B1 (ko) 2015-06-09

Family

ID=46130657

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110083625A KR101527369B1 (ko) 2010-09-01 2011-08-22 영상오디오여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101527369B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040071363A1 (en) * 1998-03-13 2004-04-15 Kouri Donald J. Methods for performing DAF data filtering and padding
US20050226506A1 (en) * 2004-04-09 2005-10-13 Shmuel Aharon GPU multi-label image segmentation
US20060039617A1 (en) * 2003-02-28 2006-02-23 Bela Makai Method and assembly for video encoding, the video encoding including texture analysis and texture synthesis, and corresponding computer program and corresponding computer-readable storage medium
US20090185747A1 (en) * 2008-01-18 2009-07-23 Sharp Laboratories Of America, Inc. Systems and methods for texture synthesis for video coding with side information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040071363A1 (en) * 1998-03-13 2004-04-15 Kouri Donald J. Methods for performing DAF data filtering and padding
US20060039617A1 (en) * 2003-02-28 2006-02-23 Bela Makai Method and assembly for video encoding, the video encoding including texture analysis and texture synthesis, and corresponding computer program and corresponding computer-readable storage medium
US20050226506A1 (en) * 2004-04-09 2005-10-13 Shmuel Aharon GPU multi-label image segmentation
US20090185747A1 (en) * 2008-01-18 2009-07-23 Sharp Laboratories Of America, Inc. Systems and methods for texture synthesis for video coding with side information

Also Published As

Publication number Publication date
KR20120022652A (ko) 2012-03-12

Similar Documents

Publication Publication Date Title
US10425649B2 (en) Method and apparatus for performing graph-based prediction using optimization function
KR101073535B1 (ko) 기술적 모델 매개변수들을 사용하여 향상 계층 데이터를 인코딩하고 디코딩하기 위한 시스템 및 방법
US10034005B2 (en) Banding prediction for video encoding
CN112913237A (zh) 使用深度神经网络的人工智能编码和人工智能解码方法和设备
EP2207358A1 (en) Video decoding method and video encoding method
JP6729170B2 (ja) 画像処理システム及び画像復号装置
US8369417B2 (en) Optimal denoising for video coding
Moorthy et al. Efficient motion weighted spatio-temporal video SSIM index
WO2007030716A2 (en) Bit-rate reduction of multimedia data streams
US10070149B2 (en) Method and apparatus to perform optimal visually-weighed quantization of time-varying visual sequences in transform space
KR101469515B1 (ko) 영상센서여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치
KR101469513B1 (ko) 영상여기신호를 이용한 다중 텍스쳐 이미지 기반 영상 처리 방법 및 장치
KR101527369B1 (ko) 영상오디오여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치
KR101481451B1 (ko) 다중 텍스쳐 이미지 기반 영상 처리 방법 및 장치
US8811477B2 (en) Video processing method and apparatus based on multiple texture images using video excitation signals
US8842738B2 (en) Signal processing method and apparatus based on multiple textures using video audio excitation signals
Al-Salhi et al. New steganography scheme to conceal a large amount of secret messages using an improved-AMBTC algorithm based on hybrid adaptive neural networks
US8848800B2 (en) Signal processing method and apparatus based on multiple textures using video sensor excitation signals
JP2016082395A (ja) 符号化装置、符号化方法及びプログラム
Maalouf et al. A no-reference color video quality metric based on a 3D multispectral wavelet transform
KR101780444B1 (ko) 영상 신호의 노이즈 제거 방법
Jindal et al. Lossless image compression for storage reduction using pollination based optimization
Drynkin et al. Video images compression and restoration methods based on optimal sampling
US8831094B2 (en) Video processing method and apparatus based on multiple texture images
Kaur et al. An Analysis of Relationship Between Image Characteristics and Compression Quality for High-Resolution Satellite

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110822

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20141028

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150527

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150603

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150604

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190314