KR20090045941A

KR20090045941A - 두 개의 정보 신호들을 일시적으로 정렬시키기 위해 정보를결정하는 장치

Info

Publication number: KR20090045941A
Application number: KR1020097005954A
Authority: KR
Inventors: 미카엘 케힐; 크리스티안 쉬미트메르; 롤란트 비토
Original assignee: 옵티콤 게엠베하
Priority date: 2006-09-22
Filing date: 2007-09-21
Publication date: 2009-05-08
Also published as: ES2380643T3; WO2008034632A1; PT2064898E; KR101044160B1; DE102006044929A1; ATE541409T1; EP2064898B1; DE102006044929B4; DK2064898T3; EP2064898A1; US8228385B2; US20100141774A1

Abstract

연속하는 샘플링 시간들에 대해 하나 또는 여러 정보 값들을 각각 포함하는 제1 정보 신호(S_deg(t)) 및 제2 정보 신호(S_ref(t))를 일시적으로 정렬하기 위해 정보를 결정하는 장치(110)는 제1 특징 커브(M _j,deg)를 획득하도록 제1 서치 패턴(S _j,k,deg) 내에서 상기 제1 정보 신호(S_deg(t))로부터 상기 연속하는 샘플링 시간들의 샘플링 시간 마다 또는 샘플링 시간들의 서브시퀀스 마다 특성(M_i,j,deg)을 추출하고, 제2 특징 커브(M _j,ref)를 획득하도록 제2 서치 패턴(S _j,k,ref) 내에서 상기 제2 정보 신호(S_ref(t))로부터 상기 연속하는 샘플링 시간들의 샘플링 시간 마다 또는 샘플링 시간들의 서브시퀀스 마다 특징(M_i,j,ref)을 추출하는 특징 추출 수단(120); 및 상기 특징의 제1 및 제2 특징 커브들 (M _j,ref; M _j,deg)중 하나로부터 서치 패턴(S _j,k,deg)을 위한 제1 서치에 의해 상기 특징의 제1 및 제2 특징 커브들 (M _j,ref; M _j,deg)중 나머지 내에서 상기 특징의 제1 특징 커브(M _j,deg)와 제2 특징 커브(M _j,ref) 간의 유사성에 근거하여 일시적 정렬을 위한 정보를 결정하는 수단(130)을 포함한다.

Description

두 개의 정보 신호들을 일시적으로 정렬시키기 위해 정보를 결정하는 장치{Apparatus for determining information in order to temporally align two information signals}

본 발명은 예컨대, 신호의 품질을 평가하는 소위 객관적 측정(objective measurement)을 수행하기 위해 채용될 수 있는 2개의 정보 신호들 특히, 교란된 정보 신호(disturbed inforamtion signal)와 비교란된 정보 신호(undisturbed information signal)를 일시적으로 정렬시키기 위해 정보를 결정하는 개념에 관한 것이다.

근래, 표준화된 인지-기반 측정 기술(인지적 측정)이 엔코딩된 오디오 또는 비디오 신호들의 품질을 계측학적으로(metrologically) 평가하기 위해 채용된다. 공지된 방법은 예컨대, 표준 문서 ITU-T P.862에 기술되어 있는 소위 PESQ(perceptual evaluation of speech quality) 기술을 포함한다. 오디오 신호의 품질을 평가하는 다른 공지된 측정 기술은 소위 인지된 오디오 품질의 객관적 측정(PEAQ; objective measurement of perceived audio quality) 기술이며, 표준 문 서 ITU-RBS.1387-1에 나타나 있다. 비디오 신호를 평가하는 측정 기술은 A.P. Hekstra et al., "PVQM - A perceptual video quality measure", in Signal Processing: Image Communications, 2002, Vol. 17, pp. 781-798, Elsevier에 기술되어 있다.

오디오 또는 비디오 신호의 품질을 평가하는 이들 방법들 또는 추가적인 방법들은 통상적으로 시스템 또는 네트워크 또는 일반적으로 시험될 엘리먼트의 출력 신호인, 테스트될 또는 평가될 신호는 통상적으로 시험될 엘리먼트로 입력되는 신호인 원래의 신호 또는 기준 신호와 비교된다는 공통점을 갖는다.

과거에는, 테스트는 특정 전송 기술 또는 엔코더를 평가하거나 감정하기 위해 테스트하는 사람들을 활용하여 수행되었다. 어플리케이션에 따라, 이들 테스트들은 예컨대, 히어링-적합한 디지털 엔코딩 기술을 테스트하는 오디오적 테스트들 또는 디지털 비디오 엔코딩 기술을 테스트하는 시각적 테스트들이다. 평균적으로, 이들 테스트들이 상대적으로 신뢰성 있는 결과를 제공하더라도, 주관적인 요소들이 존재한다. 또한, 특정한 수의 테스트하는 사람들에 관련된 이러한 주관적인 테스트들은 비교적 많은 노력을 요구하고 그에 따라 상대적으로 비용이 고가이다. 그러므로, 엔코딩된 음성, 오디오 또는 비디오 신호들의 품질을 평가하기 위한 객관적인 측정 기술들이 발전해왔다.

객관적인 측정 기술의 구성의 일부가 도 7에 도시되어 있다. 원래의 신호 또는 기준 신호 S_ref(t)(104)는 전송 특성 H의 시스템(100)에 공급된다. 시스템(100)에 의해 변경되어진 원래의 신호 S_ref(t)에 비하여 신호 속성들 또는 특성들을 포함하는 신호 S_deg(t)(102)는 시스템(100)의 출력에 제공된다. 제1 정보 신호 S_deg(t) 및 제2 정보 신호 S_ref(t)는 2개의 신호들을 일시적으로 정렬하도록 또는 서로 일시적으로 매칭되도록 블록(110)에 공급된다. 이러한 방식으로 예컨대, 비디오 신호들에서, 이들 이미지들 또는 프레임들만이 서로 일시적으로 대응하는 서로에 대해 비교되는 것을 보장할 수 있다. 2개의 신호들의 일시적 정렬 또는 시퀀스는 예컨대, 지연, 프레임 손실 또는 프레임 반복에 의해 교란될 수도 있다. 교란된 또는 손상된 신호 S_deg(t)의 품질 평가를 위해, S_deg(t)의 일시적 정렬이 높은 정확도 및 정밀도로 수행되는 것이 중요하다. S_deg(t) 및 S_ref(t)의 2개의 비대응하는 프레임들의 이어진 비교는 교란된 신호 S_deg(t)의 비디오 품질의 과소평가를 초래한다. 이러한 객관적인 품질 평가와 예컨대, 사람인 뷰어에 의해 수행되는 주관적인 품질 평가간의 상관은 그에 따라 낮아진다.

예컨대, 비디오, 오디오 또는 음성 신호들을 위한 현대의 전송 기술들은 데이터 스트림 내에 포함된 정보의 일시적인 구조를 자주 변경한다. 종종, 이는 의도적이지만, 이러한 동작은 전송 방해에 의해 더 빈번하게 발생된다. 또한, 신호들은 전송 및 소스 엔코딩에 의해 종종 교란된다. 예컨대, 계측학적인 많은 어플리케이션들이 전송된 신호 S_deg(t)를 비교란된 신호 S_ref(t)와의 비교를 요구한다. 그러나 전술한 바와 같이, 이러한 비교는 비교란된 신호 S_ref(t)와 교란된 신호 S_deg(t)로부터의 개별적인 신호 부분들의 올바른 일시적 연관을 요구한다. 예컨대, 작은 방해 및 음성 신호들과 같이 비교적 간단한 방식으로 구조화된 정보 스트림들에서, 2개의 신호들의 직접 상호-상관에 기초한 간단한 기술이 채용될 수 있다. 비디오 신호들과 같은 더 복잡한 신호들 및 이동 무선 통신 또는 인터넷 전화에서 발생하는 고차원의 방해에서, 상기 방법들은 신뢰성있게 적용될 수 없으며, 또한 방대한 양의 계산 시간을 요구한다.

그러므로, 본 발명의 목적은 제1 정보 신호의 개별적인 신호 부분들을 제2 정보 신호와 일시적으로 연관시키는 진보된 개념을 제공하는 것에 있다.

이 목적은 청구항 1에 청구된 일시적 정렬을 위한 정보를 결정하는 장치, 청구항 27에 청구된 일시적 정렬을 위한 정보를 결정하는 방법 및 청구항 28에 청구된 컴퓨터 프로그램에 의해 달성된다.

본 발명은 제1 정보 신호로부터 개별적인 신호 부분들의 제2 정보 신호와의 일시적 연관이 정보 신호 스트림들을 그 자체로 검사하는 것보다, 정보 신호 스트림들로부터 획득된 특성들이 검사되도록 수행된다.

이를 위해, 제1 단계는 서브유닛들에서의 제1 및 제2 정보 신호 스트림들을 각각 분해하는 단계를 포함한다.

다음 단계는 제1 및 제2 정보 신호들의 각 서브유닛들을 각각 적어도 하나의 특성에 의해 특징지우는 단계를 포함한다. 이에 따라 각 경우에, 특성 벡터들이 발생하며, 특성 벡터의 하나의 개별적인 요소는 정보 신호 스트림의 서브유닛의 특성을 나타낸다. 특성 벡터의 요소들의 개수는 정보 신호 스트림의 서브유닛들의 개수를 기술한다. 본 발명의 실시예들에 따라, 정보 신호 스트림의 각 서브유닛은 복수의 특성들에 의해 특징지워질 수 있다. 이 경우, 복수의 특성 벡터들이 발생하며, 특성 벡터들 각각은 정보 스트림의 복수의 서브유닛들의 다른 특성을 나타낸다.

추가적인 단계는 제1 또는 교란된 정보 신호의 특성 벡터를 교란된 정보 신호의 몇 개의 샘플링 시간들 또는 샘플링 시간들의 몇 개의 시퀀스들을 포함하는 서치 패턴들 또는 비교 시간 윈도우들로 서브분할하는 단계를 포함한다. 본 발명의 일 실시예에 따라, 서치 패턴들 또는 비교 시간 윈도우들은 특성 벡터를 등거리 부분들로 서브분할함으로써 제공될 수 있다.

추가적인 단계는 본 발명의 일 실시예에 따라, 교란된 정보 신호 S_deg(t)의 서치 패턴들 또는 비교 시간 윈도우들의 제2 정보 신호 또는 기준 신호 S_ref(t)의 대응하는 특성 벡터의 개별적인 부분들에 대한 유사성을 상호 상관에 따라 검사한다. 서치 패턴과 특성 벡터 간의 상호-상관 함수의 최고점의 위치는 특성 벡터 내에서 서치 패턴의 시프트를 결정한다. 또한, 최고점의 값은 기준 신호 S_ref(t)의 특성 벡터로부터 서치 패턴과 대응하는 비교 시간 윈도우 또는 서브스페이스의 매칭 또는 유사성의 척도이다.

만약 예컨대, 교란된 정보 신호 S_deg(t)의 특정 특성 벡터로부터 획득된 서치 패턴을 위한 서치가 성공적이지 않으면, 교란된 정보 신호 S_deg(t)의 다른 특성 벡터로부터 서치 패턴을 위한 서치가 본 발명의 다른 실시예에 따라 반복될 수 있다.

본 발명의 다른 실시예에 따라, 서치 패턴은 또한 기준 신호 S_ref(t)의 특성 벡터로부터 형성될 수도 있으며, 이 서치 패턴은 교란된 정보 신호 S_deg(t)의 특성 벡터 내에서 서치될 수 있다.

본 발명의 다른 실시예에 따라, 제1 및 제2 정보 신호들을 일시적으로 정렬하기 위해 정보를 결정하는 것은 서치 패턴의 길이 내에서 일시적 정렬을 관찰하는 것을 포함하는, 일시적 정렬을 위한 더 상세한 정보를 결정하는 추가적인 단계가 후속될 수 있다. 소위 블록 매칭 알고리즘(BMA) 또는 위상 상관 방법과 같은 종래 방법들이 서치 패턴의 길이 내에서 더 상세한 정보를 결정하기 위해 활용될 수 있다.

본 발명의 장점은, 검사되는 일시적 정렬이 정보 신호들 자체가 아닌, 정보 신호들로부터 획득된 특성들이라는 것이다. 복잡한 정보 신호들에 대해, 이는 복잡도의 상당한 감소를 나타내며, 그에 따라 검사를 위해 필효한 계산 시간이 관계되는 한 장점이 달성될 수 있다.

본 발명의 추가적인 장점은 서브유닛 마다 몇 개의 특성들을 사용함으로써 본 발명의 개념의 신뢰도 레벨은 예컨대, 각 서브유닛에 대해, 대부분은 적절한 특성이 각 경우에 선택되는 경우 더 상승하게 된다. 그러므로, 특성들 또는 메타-정보가 2개의 정보 신호들의 직접적인 비교에 의해 가능한 것보다 상당히 더 특정된 방식으로 설정 태스크(set task)에 적합하게 될 수 있기 때문에 정확도에서의 증가가 달성된다.

본 발명의 바람직한 실시예들은 첨부된 도면들을 참조하여 이하 더 상세히 설명된다.

도 1은 본 발명의 일 실시예에 따라 제1 정보 신호와 제2 정보 신호를 일시적으로 정렬하기 위해 정보를 결정하는 장치를 도시한다.

도 2는 본 발명의 일 실시예에 따라 정보 신호의 특성 값들을 추출하는 프로세스 흐름을 개략적으로 나타낸다.

도 3은 본 발명의 일 실시예에 따라 특성 값의 이미지 정보 신호로의 형성을 도시하기 위한 표현을 도시한다.

도 4는 본 발명의 일 실시예에 따라 특성 커브의 개략적인 표현을 도시한다.

도 5는 본 발명의 일 실시예에 따라 제1 특성 커브와 제2 특성 커브간의 상호-상관에 기초하여 일시적 정렬을 위한 정보의 결정을 도시하기 위한 표현을 나타낸다.

도 6은 본 발명의 일 실시예에 따라 제1 정보 신호와 제2 정보 신호를 일시적으로 정렬하기 위해 정보를 결정하는 방법을 나타내기 위한 흐름도를 도시한다.

도 7은 손상된 신호의 품질을 평가하기 위해 전체 기준-기반한, 관입 측정을 나타내기 위한 블록도를 도시한다.

다음 설명을 참조하여, 다양한 실시예들에서, 동일한 또는 동일한 동작을 갖 는 기능적 구성요소들이 동일한 참조 부호를 가지며, 그에 따라 이하 설명되는 다앙한 실시예들에서 상기 기능적 구성요소들의 설명은 상호 교환될 수 있음은 주지되어야 한다.

또한, 제1 및 제2 정보 신호들의 의미는 이하 서로 교환 가능하다. 이하 설명되는 것과 반대로, 제1 정보 신호는 또한 비교란된 기준 신호 S_ref(t)가 될 수 있으며, 이 경우, 제2 정보 신호는 또한 교란된 정보 신호 S_deg(t)가 된다.

도 1은 제1 정보 신호 S_deg(t)(102) 및 제2 정보 신호 S_ref(t)(104)를 시간적으로 정렬하기 위해 정보를 결정하며, 특성 추출 수단(120) 및 일시적 정렬을 위한 정보를 결정하는 수단(130)을 포함하는 장치(110)를 도시한다.

제1 정보 신호 S_deg(t) 및 제2 정보 신호 S_ref(t)는 특성 추출 수단(120)에 공급되고, 특성 추출 수단(120)은 몇 개의 샘플링 시간들 또는 서브시퀀스들을 포함하는 제1 비교 시간 윈도우 내에서 연속적인 샘플링 시간들의 샘플링 시간 i 마다 또는 샘플링 시간들의 서브시퀀스 i 마다 제1 정보 신호 S_deg(t)로부터 적어도 하나의 특성 값 M_i,deg를 제공할 수 있다. 유사하게, 특성 추출 수단(120)은 몇 개의 샘플링 시간들 또는 서브시퀀스들을 포함하는 제2 비교 시간 윈도우 내에서 연속적인 샘플링 시간들의 샘플링 시간 i 마다 또는 샘플링 시간들의 서브시퀀스 i 마다 제2 정보 신호 S_ref(t)로부터 적어도 하나의 특성 값 M_i,ref를 추출한다.

본 발명의 일 실시예에 따라, 제1 정보 신호 S_deg(t)는 교란된 정보 신호에 대응하고 제2 정보 신호 S_ref(t)는 비교란된, 또는 기준 정보 신호에 대응한다. 따라서, 특성 추출 수단(120)은 비교란된 및 교란된 정보 스트림 모두를 서브유닛들 U_i,ref및 U_i,deg로 분해한다. 이 경우, 서브유닛들은 연속하는 샘플링 시간들의 샘플링 시간들 또는 샘플링 시간들의 서브시퀀스에 대응할 수 있으며, 연속하는 샘플링 시간들 각각은 하나 또는 몇 개의 정보 값들을 포함한다.

정보 신호들이 비디오 시퀀스들이면, 예컨대, 서브유닛 U_i,ref은 비교란된 기준 신호 S_ref(t)의 i번째 이미지에 대응하며, i번째 이미지는 i번째 샘플링 시간에 대응한다. 그러나, 전술한 바와 같이, 서브유닛은 또한 복수의 이미지들, 및 그에 따른 복수의 샘플링 시간들을 포함한다.

만약 2개의 정보 신호들이 오디오 신호들(음악 또는 음성 신호들)이면, 서브유닛 U_i,ref은 예컨대, 디지털화된 기준 오디오 스트림의 특정 개수의 샘플들에 대응한다.

각 서브유닛 U_i,xxx("xxx"는 "deg" 또는 "ref"를 각각 나타낸다)은 특성 추출 수단(120)에서, 적어도 하나의 특성 M_i,xxx에 의해 특징지워진다. 본 발명의 일 실시 예에 따라, 특성 추출 수단(120)은 비교란된 또는 교란된 정보 스트림의 각 서브유닛 U_i,xxx에 대해, 하나의 특성 뿐만 아니라 복수의 특성 값들 M_i,j,ref 및 M_i,j,deg를 각각 추출한다. 인덱스 j는 복수의 특성 값들의 각 특성을 나타낸다. 이 커넥션은 도 2를 참조하여 더 상세히 설명된다.

이 경우, 도 2는 2개의 정보 신호들 중 하나의 신호 S_deg(t) 또는 S_ref(t)의 섹션(200)(S_xxx(t)에 의해 지시됨)을 개략적으로 도시한다. 정보 신호 S_xxx(t)는 복수의 서브유닛들 U_i,xxx로 분해된다. 각각의 경우에 서브유닛 U_i,xxx은 샘플링 시간 i 또는 샘플링 시간들의 서브시퀀스 i에 대응하며, 연속하는 샘플링 시간들 각각은 하나 또는 몇 개의 정보 값들을 포함한다.

따라서, 만약 도 2에 도시된 서브유닛 U_i,xxx이 각 경우에서의 샘플링 시간에 대응하면, 각 샘플링 시간은 도 2에 도시된 경우에, 4개의 정보 값들을 포함한다. 그러나, 만약 도 2에 도시된 정보 값들 각각이 정확하게 하나의 샘플링 시간에 대응하면, 4개의 샘플링 시간들의 서브시퀀스는 각각, 도 2에 도시된 경우에, 서브포션 U_i,xxx에 대응한다. 도 2는 본 발명의 개념을 설명하기 위해서만 사용되며, 그에 따라 매우 간략화된 방식으로 도시된 것이다. 실제 어플리케이션에서, 비디오 신호들의 품질 평가와 같이, 샘플링 시간에 대한 정보 신호는 예컨대, 이미지를 나타내는데 필요한 정보 값들의 매그니튜드를 포함한다.

전술한 바와 같이, 하나 또는 복수의 특성 값들 M_i,j,xxx은 개별 서브유닛들 U_i,xxx과 각각 연관될 수 있다. 인덱스 i는 각 서브유닛을 지시하며, 인덱스 j는 각 특성을 지시한다.

본 발명의 일 실시예에 따라, 특성은 에컨대, 서브유닛 U_i,xxx내에 포함된 전체 에너지일 수 있다. 그러므로, 만약 하나의 서브유닛 U_i,xxx이 예컨대, 에너지 E_i,n,xxx (n = 1, ..., N)을 각각 포함하는 N개의 정보 값들을 나타낸다면, 서브유닛 i 당 전체 에너지는

에 따라 결정될 수 있으며, 여기에서 "xxx"는 "deg" 또는 "ref"를 각각 나타낸다. 당연히, 전체 에너지는 예컨대, 기여하는 정보 값들의 수 N으로 분할됨으로써 "평균화된" 형태로 도출될 수도 있다. 비디오에서, 밝기, 색, 색 성분, 콘트라스트, 순도(saturation) 등이 물론 에너지 대신 사용될 수도 있다. 이 경우, N개의 기여하는 정보 값들은 비디오 이미지들의 전체 픽셀들을 도저히 포함하지는 않지만, 인접하는 영역 예컨대, 직사각형 영역과 같이 그들 중 일부만을 포함한다. 이러한 접근은 도 3을 참조하여 예를 들어 밝기의 관점에서 개략적으로 도시된다.

예를 들어, 도 3 은 2개의 디지털화된 이미지들(300-1, 300-2)의 표현이 도시되어 있는데, 2개의 이미지들의 개별 정보 값들 각각은 0 또는 1의 값만을 채용할 수 있다 (0 = 흰색, 1 = 검정색). 만약 각 이미지 i 자체가 아닌, 거기에 포함된, 특성 또는 메타-정보로서 - 평균화된 또는 비평균화된 형태로 - 사용되는 전체 밝기 E_i,xxx 라면, 비교적 낮은 값이 이미지(300-2)의 전체 밝기 E_2,xxx에 대한 것이 아닌, 이미지(300-1)의 전체 밝기 E_1,xxx에 대한 결과가 된다. 그러므로, 2개의 이미지들(300-1, 300-2)은 명료하게 그 정보 값들의 전체 밝기 E_i,xxx에 의해 구분될 수 있으며, 도 3에서 예를 들어, 밝은 픽셀들은 어둡게 표시되어 있으며, 반대로 어두운 픽셀들은 하얗게 표시되어 있다.

본 발명의 추가적인 실시예에 따라, 특성들 M_i,j,xxx는 또한, 예컨대, 이미지영역에서 움직임에서의 공통된 부분(share), 색 값들, 콘트라스트 값들, 밝기 값들, 또는 특정 스펙트럼 범위에서의 에너지 등이 될 수 있다. 각 특성 값들 M_i,j,xxx은 모든 서브유닛들 U_i,ref및 U_i,deg에 대해, 특성 벡터들 M _i,ref=[M_i,1,ref,M_i,2,ref,...,M_i,J,ref ]^T, 및 M _j,ref=[M_1,j,ref,M_2,j,ref,...,M_I,j,ref]^T 로 각각 그리고 M _i,deg=[M_i,1,deg,M_i,2,deg,...,M_i,J,deg]^T, 및 M _j,deg= [M_1,j,deg, M_2,j,deg, ..., M_I,j,deg]^T로 각각 요약될 수 있는데, 여기에서 J는 서브유닛 U_i,xxx 당 서로 다른 특성 값들의 개 수를 나타내며, I는 서브유닛들 U_i,xxx 의 개수를 나타낸다. 이론적으로, 특성 벡터들 M _i,xxx 및 M _j,xxx은 각각 서브유닛 U_i,xxx의 전체 데이터보다는 상당히 작은 양의 정보를 포함한다. 특성 벡터들 M _i,xxx 및 M _j,xxx은 또한 도 2에 도시된 바와 같이 특성 매트릭스 M _i,xxx로 요약될 수 있다,

특성 벡터 M _j,xxx는 다음 단계에서, 비교 시간 윈도우들 또는 서치 패턴들 S _j,k,xxx로 서브분할되는데(subdivided), 인덱스 k는 몇 개의 서브유닛들 U_i,xxx을 포함할 수 있다. 도 2에 도시된 예시적인 표현에서, 비교 시간 윈도우 또는 서치 패턴 S _j,k,xxx은 각각 2개의 서브유닛들 U_i,xxx을 포함한다. 그러나, 이 표현은 예시적인 것이며, 비교 시간 윈도우 S _j,k,xxx 당 실제로 사용되는 서브유닛들 U_i,xxx의 개수는 일반적으로 랜덤하게 선택될 수 있다. 서치 패턴들 S _j,k,xxx의 최적의 길이는 개별 어플리케이션 및 특성 벡터들의 적절성(suitability)에 좌우된다. 비교 시간 윈도우들 또는 서치 패턴들 S _j,k,xxx을 획득하는 하나의 가능한 방법은 도 2의 예에서 도시된 바와 같이, 교란된 정보 신호의 특성 벡터 M_j,deg를 서브분할하는 것이다. 그러나, 본 발명의 다른 실시예에 따라, 서로 다른 크기의 비-등거리의 서치 패턴들로의 서브분할을 수행하는 것이 가능하다. 서치 패턴들은 직접적으로 인접하거나 나란할 필요는 없지만 겹쳐질 수는 있다. 서브분할은 적응적 매칭(adaptive matching)에 의 해 수행될 수 있다. 특히, 특성 벡터 M _j,xxx는 또한 서치 패턴 S _j,k,xxx을 획득하기 위해 반복적으로 나누어질 수 있다.

전술한 바와 같이, 본 발명의 일 실시예에 따라, 서치 패턴 또는 비교 시간 윈도우 S _j,k,deg는 특성 벡터 M _j,deg의 부분 또는 서브스페이스이다. 본 발명의 일 실시예에 따라, 이 서치 패턴은 특성 벡터 M _j,ref에서 서치된다. 본 발명의 일 실시예에 따라, 상호 상관 함수(CCF)가 실제 서치를 위해 채용될 수 있다. 2개의 이산-시간 신호들 x[k] 및 y[k]의 이산 상호 상관 함수

는 일반적으로 샘플들에서 일시적 시프트 λ에 대해 2개의 신호들 x[k]와 y[k]의 유사성(similarity)의 척도(measure)이며, λ는 샘플들에서의 일시적 시프트를 지시한다. 만약 서치 패턴 또는 비교 윈도우 S _j,k,xxx가 길이 L이면, 즉, L개의 서브 유닛들 U_i,xxx을 포함하고, 서브분할이 등거리 방식으로 수행된다면, 서치 패턴은 다음 특성 값들:

로 구성된다.

만약 상호 상관 함수

가 실제 서치를 위해 채용되면, 교란된 신호 S_deg(t)의 코스(course)에서의 불연속성의 식별은 CCF(M _j,ref,S _j,k,deg,λ)의 여러개의 최고점들(maxima)을 분석함으로써 수행될 수 있다. 따라서, 만약 CCF가 하나 이상의 다른 일시적 시프트들 λ의 최고점을 포함하면, 비교 시간 윈도우 또는 서치 패턴 S _j,k,deg내에서의 교란된 신호 S_deg(t)의 불연속성은, S _j,k,deg의 일부가 CCF의 첫번째 최고점의 위치 λ₁에서 발견되고, 다른 부분이 CCF의 두번째 최고점의 위치 λ₂에서 발견되기 때문에 매우 가능성 있다. 또한, 교란된 신호 S_deg(t)의 코스에서 불연속성들의 식별은 상호-상관 함수 CCF(M _j,ref,S _j,k,deg,λ)의 최고점의 값, 또는 상호-상관 함수 CCF(M _j,ref,S _j,k,deg,λ)의 매그니튜드를 분석함으로써 일어날 수 있다. 이들 경우에, 서치 패턴 S _j,k,deg은 바람직하게 본 발명의 일 실시예에 따라 서브분할되며(subdivided), S _j,k,deg은 바람직하게 λ₁과 λ₂ 사이에서 나누어진다. 서치 함수에서 이 결과들은 반복적으로 분할된다. 그러나 이와 관련하여, 서치 패턴들 S _j,k,xxx의 길이 L이 특정 최대 매그니튜드 이하로 떨어지면, 서치는 더이상 성공적으로 수행될 수 없다. 그러나, 이 때 블록 매칭 또는 위상 상관과 같은 전통적인 방법들이 받아들일수 있는 비용에서 다시 적 용될수 있는 범위로 이미 한정된다.

만약 정보 신호들 S_xxx(t)이 비디오 신호들이면, 서치 패턴 S _j,k,xxx은 예컨대, 몇 개의 개별적인 이미지들의 시퀀스가 된다. 불연속성은 전송 방해물로 인해 하나 또는 몇 개의 이미지들이 누락되는 것이다. 전술한, 특성 벡터 M _j,xxx를 서치 패턴들 S _j,k,xxx로 서브분할하는 반복적인 방법에 따라 S _j,k,xxx 는 불연속성 전의 부분으로 구성되어 있는 반면, S _j,k+1,xxx는 불연속성 후의 부분으로 구성되어 있다.

만약 정보 신호들 S_xxx(t)이 오디오 또는 음성 신호들이면, 서치 패턴 S _j,k,xxx은 예컨대, 서브유닛들 U_i,xxx의 시퀀스가 된다. 불연속성은 예컨대, 전송 방해물로 인해 하나 이상의 서브 유닛들 U_i,xxx이 누락되는 것이다. 전술한, 반복적인 분할 방법들에 따라 S _j,k,xxx 는 불연속성 전의 부분으로 구성되어 있는 반면, S _j,k+1,xxx는 불연속성 후의 부분으로 구성되어 있다.

특성 벡터 M _j,xxx를 서치 패턴들 S _j,k,xxx로 서브분할하는 것을 추가로 도시하기 위해, 도 4는 연속하는 서브포션들 U_i,xxx에 대해 특성 값들 M_i,j,xxx의 커브를 개략적으로 나타낸다.

도 4는 12개의 연속하는 서브유닛들 U_i,xxx(i = 1, ..., 12)의 특성 값들의 커 브를 나타내며, 서브유닛들 U_i,xxx은 하나의 샘플링 시간 또는 샘플링 시간들의 서브시퀀스를 나타낸다. 도 4에 도시된 개별적인 특성 값들은 특성 j에 대한 특성 벡터 M _j,xxx로 요약된다. 도 4에 도시된 시나리오에서, 예로서, 특성 벡터 M _j,xxx가 4개의 서브유닛들 즉, L=4를 각각 포함하는 3개의 비교 시간 윈도우들 또는 서치 패턴들 S _j,k,xxx을 획득하기 위해 4개의 서브유닛들의 등거리의 부분들로 서브분할된다. 도 4는 예시적인 표현이며, 특성 벡터 M _j,xxx가 일반적으로 다른 방식으로 서브분할될 수 있음은 주지되어야 한다.

만약 정보 신호들이 예컨대, 비디오 신호들이고, 특성 값들 M_i,j,xxx이 샘플링 시간 i 당 이미지 또는 프레임의 전체 에너지이면, 도 4에 도시된 3개의 서치 패턴들 S _j,k,xxx은 각각 4개의 연속하는 프레임들의 전체-에너지 커브를 갖는다. 전술한 바와 같이, 기준 신호 S_ref(t)의 특성 벡터 M _j,ref에 관련하여, 4개의 연속하는 프레임들의 또는 서치 패턴들 S _j,k,deg의 일시적 위치 또는 일시적 정렬은 상호-상관 함수 CCF(M _j,ref, S _j,k,deg, λ)를 이용함으로써 발견될 수 있다. 그러므로, 이는 4개의 프레임들 또는 4개의 서브유닛들의 조악한(coarse) 일시적 정렬을 각각 나타낸다. 만약 서치 패턴이 일반적으로 L개의 서브유닛들을 포함하면, L개의 서브유닛들의 조악한 일시적 정렬이 물론 발생할 것이다

상호-상관 함수 CCF(M _j,ref, S _j,k,deg,λ)는 특성 벡터 M _j,xxx의 개별적인 서브스페이스들의 유사성의 척도일 뿐이며, 또한 예컨대, 다른 방법들에 의해 대체될 수 있다. 본 발명의 추가 실시예에 따라, 특성 벡터들의 개별적인 서브스페이스의 유사성의 추가적인 척도는 예컨대, 평균 제곱 에러(mean squared error)이다. 따라서, 조악한 일시적인 정렬은 또한 최소 평균 제곱 에러 방법(MMSE)을 사용하여 수행될 수도 있다.

만약 상호-상관 함수 CCF(M _j,ref, S _j,k,deg, λ)가 유사성 척도로서 사용된다면, 상호-상관 함수의 최고점의 위치는 특성 벡터 M _j,ref 내에서 서치 패턴들 S _j,k,deg의 시프트를 결정한다. 상호-상관 함수 CCF(M _j,ref, S _j,k,deg, λ)의 최고점의 값은 S _j,k,deg와 M _j,ref로부터의 해당 서브스페이스 간의 매칭의 척도이다.

도 5는 본 발명의 일 실시예에 따라 제1 특성 커브(510)와 제2 특성 커브(520) 간의 유사성에 근거하여 일시적 정렬을 위한 정보를 결정하는 수단(130)을 도시한다.

제1 특성 커브(510)는 서치 패턴 S _j,k,deg 즉, 특성 벡터 M _j,deg의 섹션에 대응 한다. 제2 특성 커브(520)는 기준 정보 신호 S_ref(t)의 j번째 특성의 특성 벡터 M _j,ref에 대응한다. 2개의 특성 커브들(510, 520)은 일시적 정렬을 위한 정보를 결정하는 수단(130)에 공급된다. 본 발명의 일 실시예에 따라, 일시적 정렬을 위한 정보를 결정하는 수단(130)은 2개의 특성 커브들(510, 520) 또는 S _j,k,deg 와 M _j,ref 간의 유사성의 척도로서 2개의 특성 커브들(510, 520)의 상호 상관 함수 CCF(M _j,ref, S _j,k,deg, λ)을 이용한다.

도 5에 개략적으로 도시된 바와 같dl. 2개의 특성 커브들(510, 520) 또는 S _j,k,deg 와 M _j,ref의 상호-상관 함수는 최고점을 제공할 수 있는데, 그의 위치는 특성 벡터 M _j,ref 내에서 서치 패턴 S _j,k,deg의 일시적 시프트를 결정한다. 또한, 상호-상관 함수의 최고점의 매그니튜드는 서치 패턴 S _j,k,deg와 특성 벡터 M _j,ref의 해당 서브스페이스 간의 매칭의 척도이다. 따라서, 상대적으로 최고점은 매우 좋은 매칭을 나타내는 반면, 최고점의 상대적으로 작은 값은 비교적으로 열악한 매칭을 나타내며, 그에 따라 어느 정도의 비신뢰성을 나타낸다.

만약 특성 벡터 M _j,deg로부터 획득된 서치 패턴 S _j,k,deg을 위한 서치가 성공적이지 않으면 즉, 특성 j에 대한 상호-상관 함수 CCF(M _j,ref, S _j,k,deg, λ)의 최고점의 매그니튜드가 너무 작으면, 서치는 본 발명의 일 실시예에 따라 각 서브유닛 i가 복수의 특성들에 의해 특징지워졌음을 제공되는 추가적인 특성 j'에 대해 다시 반복된다. 그러므로, S _j',k,deg는 M _j',ref에 대해 서치된다.

본 발명의 다른 실시예에 따라, 서치 패턴(510)은 자연적으로 기준 신호 즉, S _j,k,ref의 특성 벡터 M _j,ref로부터 형성될 수도 있으며, 교란된 신호 S_deg(t)의 특성 벡터 M _j,deg에서 서치될 수 있다.

본 발명의 다른 실시예에 따라, 특성 추출 수단(120)은 복수의 특성들로부터 하나의 특성을 추출할 수 있으며, 그에 따라 특성은 다른 특성들의 특성 속성들과 비교하여 제1 및 제2 특성 커브들 중 하나 및/또는 특성들의 특성 벡터들 M _j,xxx 로부터 서치 패턴 S _j,k,xxx을 위한 서치에서 증가된 성공 레벨을 나타낸다. 이 목적을 위해, 특성 추출 수단(120)은 특성 속성으로서, 특성 M_j,xxx 및/또는 특성 벡터 M _j,xxx의 분산 척도(spread measure)를 결정하도록 구성될 수 있다. 분산 척도들의 공통 예들은 예컨대, 분산 또는 표준 편차가 될 수 있지만 다른 분산 척도들이 또한 실행될 수 있다.

만약 특성 커브 또는 특성 벡터 M _j,xxx가 그 평균 값 주위로 비교적으로 큰 분 산 범위(spread range)를 포함한다면, 이는 특성 벡터 M _j,xxx로부터 획득된 서치 패턴 S _j,k,xxx을 위한 서치가 그 평균 값 주위로 더 낮은 분산 범위를 포함하는, 다른 특성 벡터 M' _j,xxx로부터 획득된 서치 패턴 S' _j,k,xxx을 위한 서치보다 더 성공적일 수 있다는 것을 제시하는 증거로서 보여질 수 있다.

제1 정보 신호 및 제2 정보 신호를 일시적으로 정렬하기 위해 정보를 결정하기 위한 몇 개의 특성들을 이용함으로써, 일시적 정렬을 위한 정보가 효율적이고 신속하게 결정될 수 있다. 결과를 획득할 가능성은 일시적 정렬에 대한 정보를 결정하기 위한 하나의 소정 특성만을 이용하는 것에 비하여 상당히 증가할 수 있다.

예컨대, 서치 패턴 S _j,k+1,deg을 위한 서치는, 일시적으로 앞서는 서치 패턴 S _j,k,deg을 위한 서치가 성공적이었거나 또는 가장 높은 상관 값들을 제공한 특성 j에 대해 서치가 시작되도록 수행될 수 있다. 이와 관련하여, 2개의 일시적으로 연속하는 서치 패턴들 또는 비교 시간 주기들 S _j,k,xxx와 S _j,k+1,xxx 사이에서, 특성 j의 통계적인 특성 속성들은 약간 변하거나 변하지 않으며, 특성 j는 그 타당성 및 성공적인 서치의 가능성을 유지함을 가정한다. 더 떨어져 있는 비교 시간 주기들 S _j,k,xxx, S _j,k+Δk,xxx 을 고려할 때, 상기 가정은 더 이상 옳지 않을 수도 있으므로, 최상의 서치 성공을 산출할 것으로 생각된 특성들은 비교 시간 주기의 시간 인덱스 k의 함수로서 변할 수 있다.

일반적으로 말하면, 이는 연속하는 서치 패턴들 또는 비교 시간 주기들에 대해, 서로 다른 특성들이 특성 커브를 획득하기 위해 사용될 수 있다.

전술한 바와 같이, 본 발명의 실시예들에 따라 제1 정보 신호와 제2 정보 신호를 일시적으로 정렬하기 위해 정보를 결정하는 방법은 조악한 일시적 서치를 수행하는 것에 도움을 주며, 일시적 분해는 서치 패턴들 S _j,k,xxx의 길이 L에 좌우된다. 서치 패턴 S _j,k,xxx의 길이 L 내에서 더 상세한 일시적 정렬을 위해, 블록 매칭 알고리즘들 또는 위상 상관과 같은 종래 방법들이 예컨대, 허용가능한 비용으로 채용될 수 있다.

본 발명의 개념에 따라, 만약 교란된 신호와 비교란된 신호 사이에서 모든 서치 패턴들 또는 비교 시간 윈도우들 S _j,k,xxx의 일시적 정렬이 수행되면, 전송된 또는 교란된 신호 S_deg(t)의 일시적 구조를 원래의 또는 비교란된 신호 S_deg(t)로 적응시키는데 요구될, 정보가 결과로서 이용가능하다. 부작용으로서, 이 일시적 정보는 본 발명의 실시예들에 따라 전송 품질을 평가하는 데 사용될 수도 있다. 특히, 만약 본 발명의 방법을 사용함으로써 전송된 또는 교란된 신호 S_deg(t)가 약간 지연될 뿐이거나 거의 결함을 가지지 않음을 발견한다면, 이 경우, 전송 품질은 비교적 높은 것으로 가정할 수 있다. 그러나, 만약 전송된 신호 S_deg(t)가 긴 지연 시간을 나타내거나, 동반하는 많은 수의 프래그먼트들이 손실된다면 즉, 많은 불연속성이 존재한다면 이는 비교적 나쁜 전송 품질을 나타낸다.

요약하면, 도 6은 제1 정보 신호와 제2 정보 신호를 일시적으로 정렬하기 위해 정보를 결정하는 방법의 흐름도를 개략적으로 나타내는데, 이 방법은 본 발명의 일 실시예에 따라, 정보를 결정하는 장치(110)에서 수행된다.

도 6에 도시된 흐름도는 제1 단계 S1, 연속하는 단계 S2, 추가의 단계 S3, 단계 S4 및 선택적 단계 S5를 포함한다.

본 발명의 일 실시예에 따라 일시적 정렬을 위한 정보를 결정하는 방법에서, 제1 단계 S1은 제1 및 제2 정보 신호들 또는 교란된 신호 S_deg(t) 및 비교란된 신호 S_ref(t)를 각각 서브유닛들 U_i,xxx로 서브분할하는 것을 포함하며, 상기 서브유닛들은 샘플링 시간들 i 또는 샘플링 시간들의 서브시퀀스들 i에 대응한다.

제2 단계 S2에서, 각 서브 유닛 U_i,xxx은 적어도 하나의 특성 M_i,j,xxx에 의해 특징지워진다. 따라서, 제1 및 제2 정보 신호들의 각 서브유닛 U_i,xxx은 특성을 가지거나 이와 관련된 복수의 j 특성들을 갖는다. 이와 관련하여, 결과적인 특성 집합들은 특성 벡터들 M _i,xxx 및 M _j,xxx로 각각 요약된다. 따라서, 특성 벡터 M _j,xxx는 제1 및 제2 정보 신호들 각각의 모든 서브유닛들 U_i,xxx에 대해 예컨대, 하나의 특성 j를 각각 포함한다.

제3 단계 S3에서, 2개의 정보 신호들 중 적어도 하나에 관련된, 특성 벡터 M _j,xxx 또는 복수의 특성 벡터들 M _xxx는 서치 패턴들 또는 비교 시간 윈도우들 S _j,k,xxx로 서브분할된다. 이와 관련하여, 하나의 비교 시간 윈도우 S _j,k,xxx는 예컨대, 몇 개의 샘플링 시간들 또는 샘플링 시간들의 서브시퀀스들 i를 포함한다.

그 다음의 단계 S4에서, 하나의 정보 신호의 개별적인 서치 패턴들 S _j,k,xxx은 그런 다음 제1 특성 커브와 제2 특성 커브 간의 유사성에 기초하여 일시적 정렬을 위한 정보를 획득하도록 다른 정보 신호의 대응하는 특성 벡터 M _j,xxx 내에서 서치된다. 이와 관련하여, 2개의 특성 커브들 간의 상호-상관 함수가 예컨대, 전술한 바와 같이 사용될 수 있다.

단계 S4는 제1 특성 커브 S _j,k,xxx와 제2 특성 커브 M _j,xxx 간의 유사성에 기초 한 일시적 정렬을 위한 정보를 제공하였으므로, 이 일시적 정보는 선택적 단계 S5에서, 2개의 정보 신호들을 추가적인 즉, 더 상세한 방식으로 일시적으로 서로 정렬하기 위해 사용될 수 있다. 이것은 예컨대, 블록 매칭이나 위상 상관과 같은 통상적인 방법들을 이용하여 수행될 수 있지만, 바람직하게는, 이 경우, 정렬은 제1 및 제2 정보 신호들의 서치 패턴 또는 특성 커브에 각각 대응하며, 단계 S4에서 획득된 시프트 값 λ 주위의 소정 범위 내에 있는 제1 및 제2 정보 신호들의 부분들 사이의 시프트 범위 내에서 더 세밀하게 수행되어야 한다. 이 경우에 단계 S5에서 세밀한 정렬은 예컨대, 각 이미지들의 픽셀 값들과 같이, 서로 정렬될 2개의 정보 신호들의 정보 값들 간의 유사성을 찾는 것, 또는 프레임과 같이 서브유닛 U_i,xxx당 정보 값들의 적어도 부분을 찾는 것에 기초하며, 후자의 경우에 상기 부분은 서브유닛 U_i,xxx당 특성 값 M_i,j,xxx 보다 더 큰 데이터 량을 가지는 것이 바람직하다. 예컨대, 서치 패턴들의 또는 조악한 시프트 값 λ 주위의 이미지-식(image-wise) 시프트들에 대한 특성 커브의 비디오 시퀀스들 간의 평균 제곱 에러들의 합이 단계 S4로부터 결정되며, 더 미세한 시프트 값이 가장 작은 제곱 에러가 되는 값이 되도록 결정된다. 이와 관련하여 조악한 시프트 값 λ은 예컨대, 2개의 프레임들로부터 서브유닛들 U_i,xxx 및 특성들 M_i,j,xxx에 대응하는, 2개의 프레임들의 입도(granularity)를 포함하는 반면, 더 상세한 시프트 값은 예컨대, 하나의 프레임의 입도를 포함한다.

본 발명의 다른 실시예에 따라, 개별적인 단계들이 도 6에 개략적으로 도시된 방법에서 생략되거나 선택적으로 수행될 수 있다. 예컨대, 단계 S1은 서브유닛들 U_i,xxx로의 서브분할이 S_deg(t) 및/또는 S_ref(t)의 신호 구조에서 이미 고유적이면 선택적인 단계이며, 이는 예컨대, 비디오 시쿼스들에서 각 경우의 개별적인 프레임들 또는 이미지들이 서브유닛들 U_i,xxx에 대응하는 경우가 될 수 있다. 본 발명의 실시예들에 따라, 단계 S3는 또한 특성 벡터들 M _j,deg 및 M _j,ref이 M _j,deg와 M _j,ref 사이의 시간적 시프트 λ을 만들기 위해 이미 서로 직접적으로 상관되었을 때, 또는 M _j,deg 및 M _j,ref이 전술한 바와 같이 적절한 서치 패턴들 S _j,k,xxx을 획득하기 위해 반복적으로 분할될 때 생략될 수도 있다.

그러므로, 본 발명의 개념은 교란된 데이터 스트림 S_deg(t) 및 비교란된 데이터 스트림 S_ref(t)로부터 유사한 부분들을 위한 서치를 2개의 단계들로 서브분할하는데 사용될 수 있다. 첫번째 단계, 즉 조악한 서치 동안, 이는 시험되는 데이터 스트림 자체가 아니고, 데이터 스트림들로부터 획득된 특성들 M_i,j,xxx이 된다. 복잡도에서의 결과적인 감소로 인해, 요구된 계산 시간과 관련하여 큰 이득이 달성될 수 있다. 신뢰도는 하나의 특성이 사용되는 경우보다는 복수의 특성이 사용되는 경우에 더 증가하며, 가장 적절한 특성이 각 부분에 대해 선택되는 경우에도 더 증가한다. 서치 범위가 이 방식에서 분명하게 한정될 수 있기 때문에, 두번째 단계는 상세한 서치를 수행하는 것을 포함할 수 있는데, 블록 매칭 또는 위상 상관과 같은 종래 방법들이 채용될 수 있다. 그러나, 두번째 단계에서 서치 범위는 이제 작기 때문에, 이를 보상하기 위해 요구된 계산 시간은 그리 심각하지 않다.

앞선 실시예들은 비교란된 기준 신호 S_ref(t) 및 교란된 신호 S_deg(t)가 서로 정렬되는 신호들이라는 가정에 근거하였음이 이해를 용이하게 하기 위해 사전에 주지되어야 한다. 그러나, 2개의 교란된 또는 2개의 비교란된 정보 신호들의 정렬이 또한 가능하다. 또한, 전술한 바와 같이, 오디오 신호의 경우 (밴드) 에너지, 및 비디오 신호의 경우 이미지의 밝기, 색, 콘트라스트 또는 에지 정보 즉, 고주파수 부분에 대한 정보와 같은, 다른 특성들이 조악한 정렬을 위해 사용될 수 있다. 비디오 신호의 경우, 이들 특성들은 전체 이미지 영역에서 또는 하나 또는 몇 개의 섹션들에서 획득될 수 있으며, 다른 특성들의 추출 섹션들에 대해, 섹션-방식 갭쳐의 경우 그리고 몇 개의 특성들을 추출하는 경우, 서로 다르게 되는 것이 가능하다. 또한, 조악한 정렬과 관련하여 언급한 유사성 척도의 가능성 즉, 상호 상관 및 RMSE는 유사성 서치의 예시적인 예들일 뿐이며, 자연적으로 SDA(squared absolute difference) 방법들과 같이, 다른 가능성들이 존재한다. 동일한 것이 상세 정렬에적용된다. 상세 정렬 즉, 블록 매칭 및 위상 상관과 연관되어 언급된 유사성 척도의 가능성들은 또한 SDA 방법들과 같은 다른 가능성들에 추가하여 예시적인 예들을 나타낼 뿐이다. 용어 "오디오 신호"는 음향 정보, 즉 음악 조각들 뿐만 아니라 음 성 신호에 관련된 어떠한 신호라도 의미한다는 것이 사전에 주지되어야 한다.

본 발명의 실시예들에 따라, 본 발명의 목적은 임의의 신호로부터 정확하게 규정된 일시적 구조를 생성하는 것이 아니라, 존재하였던 원래의 상태를 복원하기 위해 교란된 신호 S_deg(t)의 일시적 구조를 원래의 비교란된 신호 S_ref(t)의 구조로 적응시키는 것이다. 종래 기술은 공지된 방법들을 갖는데, 모든 방법들은 큰 방해물의 존재시에 적용하지 못하거나 특정 신호들에만 적용될 수 있기 때문에 큰-규모 한계들에 영향을 받는다. 또한, 공지된 방법들에서, 계산 비용이 엄청나게 비싸다. 공지된 개념들과 본 발명의 개념 간의 근본적인 차이는 실제 신호 정보(대량의 데이터)를 분석하는 것에서 메타-정보(특성 벡터들, 작은 데이터량)를 분석하는 것으로의 전이이다. 메타-정보가 2개의 정보 블록들의 직접적인 비교에 의해 인에이블되는 것보다 훨씬 더 특정된 방식으로 태스크 설정(task set)에 적응적일 수 있으므로, 이와 관련된 계산 비용의 감소는 정확도에서의 증가를 또한 수반한다.

다시 말해, 실시예들은 그에 따라 정보 스트림들의 비연속적인 커브들에서 조차 2개 이상의 정보 스트림들의 유사한 부분들을 연관시키는데 적합한 방법을 제공한다. 정보 스트림들은 부분들로 서브분할 되며, 각 부분은 하나 이상의 특성들에 의해 기술될 수 있다. 이에 따라 이후의 분석에 필요한 정보가 감소된다. 하나의 정보 스트림의 부분들은 조악한 서치에 대한 유사성 분석에 의해 다른 정보 스 트림의 비-서브분할된 특성 벡터에서 서치된다. 이와 관련하여, 하나 이상의 특성들은 서치에서 사용될 수 있다. 다르게는, 본 발명의 실시예에 따라, 2개의 정보 스트림들의 2개의 특성 벡터들을 부분들로 서브분할할 수도 있다. 2개의 정보 스트림들의 시간적 연관성이 특성 벡터들의 유사성 분석을 수행함으로써 달성되지만, 종래 방법들은 정밀한 서치를 위해 또는 정보 스트림들의 정밀한 일시적 연관성을 위해 채용될 수 있다.

본 발명의 실시예들에 따라, 전송에 의해 발생한 일시적 연관성에서의 변화에 대한 정보는 전송 품질을 평가하는 데 사용될 수 있다. 이와 관려하여, 본 발명의 개념이 정보의 타입에 관련 없음이 강조된다. 유사한 데이터 스트림 부분들에 대한 서치는 데이터 자체를 사용함으로써 수행되지 않으며 데이터로부터 획득된 메터-정보 또는 특성들을 분석함으로써 수행된다.

주변환경에 따라, 제1 정보 신호 및 제2 정보 신호를 일시적으로 정렬하기 위해 정보를 결정하는 본 발명의 방법은 하드웨어적으로 또는 소프트웨어적으로 구현될 수 있다. 구현은 디지털 저장 매체, 특히 본 발명의 방법이 수행되도록 프로그래머블 컴퓨터 시스템과 연동할 수 있는 전기적으로 판독가능한 제어 신호를 갖는 디스크 또는 CD 상에 구현될 수 있다. 따라서, 본 발명은 컴퓨터 프로그램 제품이 컴퓨터 상에서 동작할 때, 머신-판독가능한 운반체에 저장되며 본 발명의 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램 제품에 존재한다. 다시 말해, 본 발명은 컴퓨터 프로그램이 컴퓨터 상에서 작동할 때 제1 정보 신호와 제2 정보 신호를 일시적으로 정렬하기 위해 정보를 결정하는 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램으로서 실현될 수 있다.

Claims

연속하는 샘플링 시간들에 대해 하나 또는 여러 정보 값들을 각각 포함하는 제1 정보 신호(S_deg(t)) 및 제2 정보 신호(S_ref(t))를 일시적으로 정렬하기 위해 정보를 결정하는 장치(110)에 있어서,

제1 특성 커브(M _j,deg)를 획득하도록 제1 서치 패턴(S _j,k,deg) 내에서 상기 제1 정보 신호(S_deg(t))로부터 상기 연속하는 샘플링 시간들의 샘플링 시간 마다 또는 샘플링 시간들의 서브시퀀스 마다 특성(M_i,j,deg)을 추출하고, 제2 특성 커브(M _j,ref)를 획득하도록 제2 서치 패턴(S _j,k,ref) 내에서 상기 제2 정보 신호(S_ref(t))로부터 상기 연속하는 샘플링 시간들의 샘플링 시간 마다 또는 샘플링 시간들의 서브시퀀스 마다 특성(M_i,j,ref)을 추출하는 특성 추출 수단(120); 및

상기 특성의 제1 및 제2 특성 커브들 (M _j,ref; M _j,deg)중 하나로부터 서치 패턴(S _j,k,deg)을 위한 제1 서치에 의해 상기 특성의 제1 및 제2 특성 커브들 (M _j,ref; M _j,deg)중 나머지 하나 내에서 상기 특성의 제1 특성 커브(M _j,deg)와 제2 특성 커브(M _j,ref) 간의 유사성에 근거하여 일시적 정렬을 위한 정보를 결정하는 수단(130)을 포함하는 정보 결정 장치.
제1항에 있어서, 상기 제1 (S_deg(t)) 및 제2 (S_ref(t)) 정보 신호들은 각각 샘플링 시간 당 상기 복수의 정보 값들로서 비디오 이미지의 픽셀 값들을 포함하는 디지털 비디오 신호인 정보 결정 장치.
제1항에 있어서, 상기 제1 (S_deg(t)) 및 제2 (S_ref(t)) 정보 신호들은 각각 샘플링 시간 당 상기 정보 값으로서 디지털 오디오 신호의 오디오 샘플을 포함하는 디지털 오디오 신호인 정보 결정 장치.
전술한 항들 중 어느 항 한에 있어서, 상기 서치 패턴을 위한 서치는, 상기 서치 패턴과 상기 제2 및 제1 특성 커브의 특성 커브 사이에 상호-상관 함수의 최고점의 매그니튜드가 상기 결정된 특성에 대해 너무 작으면 성곡적이지 않는 정보 결정 장치.
제4항에 있어서, 상기 일시적 정렬을 위한 정보를 결정하는 수단(130)은, 상기 제1 서치가 성공적이지 않다면 추가 특성의 제1 및 제2 특성 커브들 (M _j,ref; M _j,deg)중 하나로부터 서치 패턴(S _j,k,deg)을 위한 추가적인 서치에 의해 상기 추가 특성의 제1 및 제2 특성 커브들 (M _j,ref; M _j,deg)중 나머지 하나 내에서 상기 특성의 제1 특성 커브(M _j,deg)와 제2 특성 커브(M _j,ref) 간의 유사성에 근거하여 일시적 정렬을 위한 정보를 결정하도록 구성된 것인 정보 결정 장치.
전술한 항들 중 어느 한 항에 있어서, 상기 특성 추출 수단(120)은 복수의 특성들 중 상기 특성을 추출하도록 구성되어 상기 특성이, 다른 특성들의 특성 속성들에 비하여, 상기 특성의 제1 및 제2 특성 커브들(M _j,ref; M _j,deg)중 하나로부터 상기 서치 패턴(S _j,k,deg)을 위한 상기 서치에서 증가된 서치 성공을 나타내는 특성 속성들을 포함하는 것인 정보 결정 장치.
제6항에 있어서, 상기 특성 추출 수단(120)은 특성 속성으로서 상기 특성의 분산 척도(spread measure)를 결정하도록 구성된 것인 정보 결정 장치.
전술한 항들 중 어느 한 항에 있어서, 상기 추출된 특성들(M_i,j,deg; M_i,j,ref)은 에너지, 밝기, 색, 콘트라스트 또는 에지 정보에 관련된 것인 정보 결정 장치.
전술한 항들 중 어느 한 항에 있어서, 상기 추출된 특성들(M_i,j,deg; M_i,j,ref)은 샘플링 시간 당 또는 샘플링 시간들의 서브시퀀스 당 상기 제1 (S_deg(t)) 또는 제2 (S_ref(t)) 정보 신호들 내에 각각 포함된 전체 에너지에 대응하는 것인 정보 결정 장치.
전술한 항들 중 어느 한 항에 있어서, 상기 추출된 특성(M_i,j,deg; M_i,j,ref)은 샘플링 시간 당 또는 샘플링 시간들의 서브시퀀스 당 소정의 스펙트럼(spectral) 범위 내에서 상기 제1 (S_deg(t)) 및 제2 (S_ref(t)) 정보 신호들 내에 각각 포함된 에너지에 대응하는 것인 정보 결정 장치.
전술한 항들 중 어느 한 항에 있어서, 상기 제1 (S_deg(t)) 및 제2 (S_ref(t)) 정보 신호들 각각은 샘플링 시간 당 상기 복수의 정보 값들로서 비디오 이미지의 픽셀 값들을 포함하는 디지털 비디오 신호이며, 상기 추출된 특성(M_i,j,deg; M_i,j,ref)은 2개의 연속하는 비디오 이미지들 간의 이미지 영역의 움직임에서의 공통된 부분(share)에 대응하는 것인 정보 결정 장치.
제1항 내지 제10항 중 어느 한 항에 있어서, 상기 제1 (S_deg(t)) 및 제2 (S_ref(t)) 정보 신호들 각각은 샘플링 시간 당 상기 복수의 정보 값들로서 비디오 이미지의 픽셀 값들을 포함하는 디지털 비디오 신호이며, 상기 추출된 특성(M_i,j,deg; M_i,j,ref)은 이미지 섹션 내에서 또는 전체 비디오 이미지들에 대한 밝기, 색, 콘트라스트, 또는 에지 정보에 기초하는 정보 결정 장치.
전술한 항들 중 어느 한 항에 있어서, 상기 특성 추출 수단(120)은, 샘플링 시간 또는 샘플링 시간들의 서브시퀀스 당 전체 특징들(M_i,j,deg; M_i,j,ref)이, 샘플링 시간 또는 샘플링 시간들의 서브시퀀스 당 추출이 행해진 상기 제1 (S_deg(t)) 및 제2 (S_ref(t)) 정보 신호들의 전체 정보 값들보다 덜 포괄적이 되도록 설정된 정보 결정 장치.
전술한 항들 중 어느 한 항에 있어서, 상기 특징 추출 수단(120)은 특징 커브를 획득하기 위해 연속하는 서치 패턴들(S _j,k,xxx 및 S _j,k+1,xxx)에 대해 다른 특징들을 사용하도록 구성된 정보 결정 장치.
전술한 항들 중 어느 한 항에 있어서, 상기 특징의 2개의 일시적으로 연속하는 서치 패턴들 각각은 동일한 개수의 샘플링 시간 또는 샘플링 시간들의 서브시퀀스를 포함하는 것인 정보 결정 장치.
제1항 내지 제14항 중 어느 한 항에 있어서, 상기 특징의 2개의 일시적으로 연속하는 서치 패턴들은 서로 다른 개수의 샘플링 시간 또는 샘플링 시간들의 서브시퀀스를 포함하는 것인 정보 결정 장치.
전술한 항들 중 어느 한 항에 있어서, 상기 일시적 정렬을 위한 정보를 결정하는 수단(130)은, 상기 제1 특징 커브와 제2 특징 커브 간의 상호-상관 함수에 따라 상기 특징의 제1 (M _j,deg; S _j,k,deg) 및 제2 (M _j,ref; S _j,k,ref) 특징 커브들 간의 유사성을 결정하도록 구성된 정보 결정 장치.
제17항에 있어서, 상기 특징의 제1 (M _j,deg; S _j,k,deg) 및 제2 (M _j,ref; S _j,k,ref) 특징 커브들 간의 상기 상호-상관 함수의 최고점의 위치는 상기 2개의 특징 커브들의 상호 일시적 시프트를 나타내는 것인 정보 결정 장치.
제17항 또는 제18항에 있어서, 상기 특징의 제1 (M _j,deg; S _j,k,deg) 및 제2 (M _j,ref; S _j,k,ref) 특징 커브들 간의 상기 상호-상관 함수의 최고점의 매그니튜드는 상기 2개의 특징 커브들의 유사성의 척도인 정보 결정 장치.
제17항 내지 제19항 중 어느 한 항에 있어서, 상기 일시적 정렬을 위한 정보를 결정하는 수단(130)은, 상기 제1 특징 커브와 제2 특징 커브 간의 상호-상관 함수의 복수개의 최고점들이 발생하는 것에 의해 상기 특징의 제1 (M _j,deg; S _j,k,deg) 또는 제2 (M _j,ref; S _j,k,ref) 특징 커브의 불연속성을 결정하도록 구성되며, 불연속성은 2개의 연속하는 샘플링 시간들 사이에서, 제2 정보 신호에 비해 제1 정보 신호의 정보 값들의 손실 또는 그 반대에 대응하는 것인 정보 결정 장치.
제17항 내지 제19항 중 어느 한 항에 있어서, 상기 일시적 정렬을 위한 정보를 결정하는 수단(130)은, 상기 제1 특징 커브와 제2 특징 커브 간의 상호-상관 함수의 최고점의 값 또는 상기 상호-상관 함수의 매그니튜드에 의해 상기 특징의 제1 (M _j,deg; S _j,k,deg) 또는 제2 (M _j,ref; S _j,k,ref) 특징 커브의 불연속성을 결정하도록 구성되며, 불연속성은 2개의 연속하는 샘플링 시간들 사이에서, 제2 정보 신호에 비해 제1 정보 신호의 정보 값들의 손실 또는 그 반대에 대응하는 것인 정보 결정 장치.
제20항 또는 제21항에 있어서, 상기 일시적 정렬을 위한 정보를 결정하는 수단(130)은 또한, 상기 결정된 불연속성 대신에, 제1 (M _j,deg; S _j,k,deg) 또는 제2 (M _j,ref; S _j,k,ref) 서치 패턴들을 2개의 더 작은 서치 패턴들로 각각 서브분할하고, 다시 상기 더 작은 서치 패턴들에 대해 정렬을 다시 수행하도록 구성된 정보 결정 장치.
제1항에 있어서, 상기 일시적 정렬을 위한 정보를 결정하는 수단(130)은, 상기 제1 및 제2 특징 커브들 간의 평균 제곱 에러들(mean square errors)에 기초하 여 상기 특징의 제1 (M _j,deg; S _j,k,deg) 및 제2 (M _j,ref; S _j,k,ref) 특징 커브들 간의 유사성을 결정하도록 구성된 정보 결정 장치.
전술한 항들 중 어느 한 항에 있어서,

상기 특징의 제1 (M _j,deg)와 제2 (M _j,ref) 특징 커브들 간의 유사성에 근거하여 일시적 정렬을 위한 정보에 따라 상기 제1 또는 제2 (S _j,k,ref) 서치 패턴 내에서 상기 제1 (S_deg(t)) 및 제2 (S_ref(t)) 정보 신호들을 일시적으로 더 상세히 정렬하는 수단을 더 포함하는 정보 결정 장치.
제24항에 있어서, 상기 일시적으로 더 상세히 정렬하는 수단은 블록 매칭, SAD 알고리즘 또는 상관 알고리즘에 의해 또는 일시적 정렬을 위한 정보에 의해 미리 설정된 시간 주기 내에서의 위상 상관에 의해 더 상세한 일시적 정렬을 수행하도록 구성된 정보 결정 장치.
전술한 항들 중 어느 한 항에 있어서, 상기 일시적 정렬을 위한 정보는 상기 제1 (S_deg(t)) 및 제2 (S_ref(t)) 정보 신호들 사이에서 전송의 전송 품질의 평가와 더불어 추가로 채용될 수 있는 정보 결정 장치.
연속하는 샘플링 시간들에 대해 하나 또는 몇 개의 정보 값들을 각각 포함하는 제1 정보 신호(S_deg(t)) 및 제2 정보 신호(S_ref(t))를 일시적으로 정렬하기 위해 정보를 결정하는 방법(110)에 있어서,

제1 특징 커브(M _j,deg)를 획득하도록 제1 서치 패턴(S _j,k,deg) 내에서 상기 제1 정보 신호(S_deg(t))로부터 상기 연속하는 샘플링 시간들의 샘플링 시간 마다 또는 샘플링 시간들의 서브시퀀스 마다 특징(M_i,j,deg)을 추출하고, 제2 특징 커브(M _j,ref)를 획득하도록 제2 서치 패턴(S _j,k,ref) 내에서 상기 제2 정보 신호(S_ref(t))로부터 상기 연속하는 샘플링 시간들의 샘플링 시간 마다 또는 샘플링 시간들의 서브시퀀스 마다 특징(M_i,j,ref)을 추출하는 단계; 및

상기 특징의 제1 및 제2 특징 커브들 (M _j,ref; M _j,deg)중 하나로부터 서치 패턴(S _j,k,deg)을 위한 제1 서치에 의해 상기 특징의 제1 및 제2 특징 커브들 (M _j,ref; M _j,deg)중 나머지 하나 내에서 상기 특징의 제1 특징 커브(M _j,deg)와 제2 특징 커브(M _j,ref) 간의 유사성에 근거하여 일시적 정렬을 위한 정보를 결정하는 단계를 포 함하는 정보 결정 방법.
컴퓨터 상에서 동작할 때 청구항 27에 청구된 바와 같이 제1 정보 신호 및 제2 정보 신호를 일시적으로 정렬하기 위해 정보를 결정하는 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램.