KR100875592B1 - 영상 장치에서의 영상 신호와 음성 신호와의 동기 제어방법 및 장치 - Google Patents

영상 장치에서의 영상 신호와 음성 신호와의 동기 제어방법 및 장치 Download PDF

Info

Publication number
KR100875592B1
KR100875592B1 KR1020077020112A KR20077020112A KR100875592B1 KR 100875592 B1 KR100875592 B1 KR 100875592B1 KR 1020077020112 A KR1020077020112 A KR 1020077020112A KR 20077020112 A KR20077020112 A KR 20077020112A KR 100875592 B1 KR100875592 B1 KR 100875592B1
Authority
KR
South Korea
Prior art keywords
signal
video
audio
voice
output
Prior art date
Application number
KR1020077020112A
Other languages
English (en)
Other versions
KR20070116807A (ko
Inventor
하루야스 니시야마
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20070116807A publication Critical patent/KR20070116807A/ko
Application granted granted Critical
Publication of KR100875592B1 publication Critical patent/KR100875592B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Receiver Circuits (AREA)

Abstract

영상 신호 및 음성 신호 중 어느 것에 대해서도 어떠한 신호 처리가 행해지는 경우에, 그에 의한 신호의 지연을 보정하여 동기를 취하는 것을 목적으로 한다. 입력되는 영상 신호 및 음성 신호에 대하여 신호 처리를 가하는 영상 신호 처리부(12, 16)와, 입력되는 영상 신호 또는 음성 신호에 대한 신호 상태를 기억하는 입력 신호 검출부(NS)와, 영상 신호 처리부(12, 16)에서 신호 처리된 영상 신호 또는 음성 신호에 대한 신호 상태를 기억하는 출력 신호 검출부(SS)와, 입력 신호 검출부(NS)에 기억된 영상 신호 및 음성 신호와 출력 신호 검출부(SS)에 기억된 그들을 비교하여 각각의 지연 시간 n, k를 구하는 영상 지연 검출부(25) 및 음성 지연 검출부(26)와, 지연 시간 n, k의 차에 기초하여 영상 신호 또는 음성 신호에 대한 지연 보정량 HRV, HRA를 구하는 지연 보정량 검출부(27)와, 구한 지연 보정량에 따라서, 출력할 영상 신호 또는 음성 신호를 지연 보정하는 지연 보정부(13, 17)와, 영상을 출력하는 영상 출력부(14)와, 음성을 출력하는 음성 출력부(18)를 갖는다.
영상 신호 처리부, 입력 신호 검출부, 출력 신호 검출부, 지연 시간, 지연 보정량 검출부, 영상 출력부, 음성 출력부

Description

영상 장치에서의 영상 신호와 음성 신호와의 동기 제어 방법 및 장치{METHOD AND DEVICE FOR CONTROLLING SYNCHRONIZATION BETWEEN VIDEO AND AUDIO SIGNALS OF VIDEO DEVICE}
본 발명은, 텔레비전, DVD 재생 장치, AV 장치, 또는 그들을 위한 디스플레이 장치 등의 영상 장치에서의 영상 신호와 음성 신호와의 동기 제어 방법 및 장치에 관한 것이다.
최근에, 텔레비전이나 AV 기기 등에서, 영상 신호 및 음성 신호에 디지털 처리를 실시한 후, 영상을 표시하여 음성을 출력하는 경우가 많아져 왔다. 디지털 처리에서, 영상 신호에 대해서는 인터레이스의 프로그레시브로의 변환이 행해지거나, 각종의 화질 향상을 위한 처리가 행해지고, 그 처리를 위해 프레임 메모리 등을 사용하는 경우도 많다. 이와 같은 경우에, 영상이 출력될 때까지 수 프레임의 시간 지연이 발생하므로, 영상과 음성에 시간 차가 생겨, 유저(시청자)에게 있어서 위화감이 있었다.
이에 대해, 데이터 처리의 종류마다, 영상에 대한 음성의 지연량을 데이터베이스로서 기억해 두고, 데이터 처리의 종류에 따라서 데이터베이스로부터 지연량을 읽어내어 보정을 행하는 것이 제안되어 있다(특허 문헌 1).
또한, 텔레비전의 디지털 방송에 대응하여 셋톱 박스를 이용하는 경우에, 음성 신호가 외부 기기에서 디코드에 따른 시간만큼 지연되는 것이 지적되고, 그 대책이 제안되어 있다(특허 문헌 2). 특허 문헌 2에 따르면, 셋톱 박스로부터 출력되는 음성 신호에 대한, 셋톱 박스로부터 출력되는 스트림 출력을 외부 기기에서 디코드한 음성 신호의 지연량을 측정한다. 측정한 지연량의 분만큼 영상 신호를 지연시킴으로써 립싱크를 맞춘다.
특허 문헌 1 : 일본 특허 공개 제2002-290932호 공보
특허 문헌 2 : 일본 특허 공개 제2003-46901호 공보
그러나, 위에 설명한 특허 문헌 1에 의한 경우에는, 데이터베이스에 미리 기억시킨 데이터 처리의 종류 이외의 데이터 처리를 행하는 경우에는 대응할 수 없다. 또한, 특허 문헌 2의 장치는, 셋톱 박스로부터 출력되는 음성 신호 및 스트림 출력을 외부 기기에서 디코드하는 경우에 유효하지만, 그와 같은 스트림 출력을 받아 디코드하는 일이 없는 영상 장치에는 적용할 수 없다.
즉, 특허 문헌 1 및 2에서는, 영상 신호 및 음성 신호 중 어느 것에 대해서도 어떠한 신호 처리가 행해지는 경우에, 그에 의한 신호의 지연을 어떻게 보정하여 동기를 취할지라고 하는 문제가 있다.
본 발명은, 상술한 문제를 감안하여 이루어진 것으로, 영상 신호 및 음성 신호 중 어느 것에 대해서도 어떠한 신호 처리가 행해지는 경우에, 그에 의한 신호의 지연을 보정하여 동기를 취하기 위한 동기 제어 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명에 따른 방법은, 입력되는 영상 신호에 대하여 신호 처리를 가하는 영상 신호 처리부 및 신호 처리된 영상을 출력하는 영상 출력부, 및 입력되는 음성 신호에 대하여 신호 처리를 가하는 음성 신호 처리부 및 신호 처리된 음성을 출력하는 음성 출력부를 갖는 영상 장치에서의 영상 신호와 음성 신호와의 동기 제어 방법으로서, 입력된 상기 영상 신호 및 상기 음성 신호에 대해, 신호 상태를 각각 입력 영상 기억부 및 입력 음성 기억부에 기억하고, 상기 영상 신호 처리부에서 신호 처리된 영상 신호 및 상기 음성 신호 처리부에서 신호 처리된 음성 신호에 대해, 신호 상태를 각각 출력 영상 기억부 및 출력 음성 기억부에 기억하고, 상기 입력 영상 기억부에 기억된 영상 신호와 상기 출력 영상 기억부에 기억된 영상 신호를 비교하여 영상 신호의 지연 시간을 구하고, 상기 입력 음성 기억부에 기억된 음성 신호와 상기 출력 음성 기억부에 기억된 음성 신호를 비교하여 음성 신호의 지연 시간을 구하고, 구한 영상 신호의 지연 시간과 음성 신호의 지연 시간과의 차에 기초하여 영상 신호 또는 음성 신호에 대한 지연 보정량을 구하고, 구한 지연 보정량에 따라서, 출력할 영상 신호 또는 음성 신호를 지연 보정한다.
본 발명에 따른 장치는, 입력되는 상기 영상 신호에 대한 신호 상태를 기억하는 입력 영상 기억부와, 입력되는 상기 음성 신호에 대한 신호 상태를 기억하는 입력 음성 기억부와, 상기 영상 신호 처리부에서 신호 처리된 영상 신호에 대한 신호 상태를 기억하는 출력 영상 기억부와, 상기 음성 신호 처리부에서 신호 처리된 음성 신호에 대한 신호 상태를 기억하는 출력 음성 기억부와, 상기 입력 영상 기억부에 기억된 영상 신호와 상기 출력 영상 기억부에 기억된 영상 신호를 비교하여 영상 신호의 지연 시간을 구하는 영상 지연 시간 검출부와, 상기 입력 음성 기억부에 기억된 음성 신호와 상기 출력 음성 기억부에 기억된 음성 신호를 비교하여 음성 신호의 지연 시간을 구하는 음성 지연 시간 검출부와, 구한 영상 신호의 지연 시간과 음성 신호의 지연 시간과의 차에 기초하여 영상 신호 또는 음성 신호에 대한 지연 보정량을 구하는 지연 보정량 검출부와, 구한 지연 보정량에 따라서, 출력할 영상 신호 또는 음성 신호를 지연 보정하는 지연 보정부를 갖는다.
바람직하게는, 상기 영상 지연 시간 검출부는, 상기 입력 영상 기억부에 기억된 영상 신호의 변화량 및 상기 출력 영상 기억부에 기억된 영상 신호의 변화량을 구하고, 그들 변화량의 상관이 가장 큰 위치로부터 영상 신호의 지연 시간을 구하고, 상기 음성 지연 시간 검출부는, 상기 입력 음성 기억부에 기억된 음성 신호의 변화량 및 상기 출력 음성 기억부에 기억된 음성 신호의 변화량을 구하고, 그들 변화량의 상관이 가장 큰 위치로부터 음성 신호의 지연 시간을 구한다.
또한, 상기 입력 영상 기억부 및 상기 출력 영상 기억부는, 상기 영상 신호에 대한 신호 상태로서, 휘도 신호를 일정한 주기로 샘플링하여 기억한다. 또한, 각 프레임의 주파수 성분, 또는 소정 시간마다의 주파수 성분을 기억한다. 또한, 휘도 신호의 변화분을 일정한 주기로 샘플링하여 기억한다.
또한, 상기 입력 음성 기억부 및 상기 출력 음성 기억부는, 상기 음성 신호에 대한 신호 상태로서, 음성 신호의 변화분을 일정한 주기로 샘플링하여 기억한다.
<발명의 효과>
본 발명에 따르면, 영상 신호 및 음성 신호 중 어느 것에 대해서도 어떠한 신호 처리가 행해지는 경우에, 그에 의한 신호의 지연을 보정하여 동기를 취할 수 있다.
도 1은, 본 발명의 실시 형태에 따른 디스플레이 장치의 구성을 도시하는 블록도이다.
도 2는, 영상 신호에 대한 처리 및 제어를 행하는 부분의 기능을 도시하는 블록도이다.
도 3은, 음성 신호에 대한 처리 및 제어를 행하는 부분의 기능을 도시하는 블록도이다.
도 4는, 입력측의 신호 상태와 출력측의 신호 상태와의 관계의 예를 도시하는 도면이다.
도 5는, 도 4에 도시한 신호 상태에 관한 상관 관계를 도시하는 도면이다.
도 6은, 동기 제어 방법을 도시하는 플로우차트이다.
도 1은 본 발명의 실시 형태에 따른 디스플레이 장치(1)의 구성을 도시하는 블록도이다.
도 1에서, 디스플레이 장치(1)는, 입력부(11), 영상 신호 처리부(12), 지연 보정부(13), 영상 출력부(14), 표시 패널(15), 음성 신호 처리부(16), 지연 보정 부(17), 음성 출력부(18), 스피커(19), 영상 기억부(21), 음성 기억부(22), 영상 기억부(23), 음성 기억부(24), 영상 지연 검출부(25), 음성 지연 검출부(26), 및 지연 보정량 검출부(27) 등으로 이루어진다.
입력부(11)는, 외부 기기로부터 영상 신호 SV1 및 음성 신호 SA1을 입력받는다. 입력되는 영상 신호 및 음성 신호는 모두 시간의 함수이다. 외부 기기로서, 예를 들면 각종 텔레비전 튜너, DVD 장치, 비디오 테이프 재생 장치, 퍼스널 컴퓨터 등이 접속된다.
영상 신호 처리부(12)는, 입력되는 영상 신호 SV1에 대하여 신호 처리를 가하고, 영상 신호 SV2를 출력한다. 여기서의 신호 처리에는, 예를 들면 화질 보정 처리, 색 보정 처리, 프로그레시브 변환 처리, 그 밖의 처리 등이 있다.
지연 보정부(13)는, 지연 보정량 검출부(27)로부터 출력되는 지연 보정량 HRV에 따라서 영상 신호 SV2를 지연 보정하여, 영상 신호 SV3을 출력한다.
영상 출력부(14)는, 신호 처리된 영상을 출력한다. 영상 출력부(14)는, 예를 들면 액정 패널이나 PDP 패널 등의 표시 패널(15)을 위한 구동 회로이다. 또한, 영상 출력부(14)를 영상 신호를 외부에 출력하기 위해 이용하여도 된다.
음성 신호 처리부(16)는, 입력되는 음성 신호 SA1에 대하여 신호 처리를 가하여, 음성 신호 SA2를 출력한다. 여기서의 신호 처리에는, 예를 들면 음질 보정 처리, 서라운드 처리, 그 밖의 처리 등이 있다.
지연 보정부(17)는, 지연 보정량 검출부(27)로부터 출력되는 지연 보정량 HRA에 따라서 음성 신호 SA2를 지연 보정하여, 음성 신호 SA3을 출력한다.
음성 출력부(18)는, 신호 처리된 음성을 출력한다. 음성 출력부(18)는, 예를 들면 스피커(19)를 위한 전력 증폭 회로이다. 또한, 음성 출력부(18)를 음성 신호를 외부에 출력하기 위해 이용하여도 된다.
영상 기억부(21)는, 입력되는 영상 신호 SV1에 대한 신호 상태 f(t)를 기억한다.
음성 기억부(22)는, 입력되는 음성 신호 SA1에 대한 신호 상태 p(t)를 기억한다.
영상 기억부(23)는, 영상 신호 처리부(12)에서 신호 처리된 영상 신호 SV2에 대한 신호 상태 g(t)를 기억한다.
음성 기억부(24)는, 음성 신호 처리부(16)에서 신호 처리된 음성 신호 SA2에 대한 신호 상태 q(t)를 기억한다.
또한, 영상 기억부(21) 및 영상 기억부(23)는, 영상 신호의 신호 상태 f(t), g(t)로서, 휘도 신호를 일정한 주기로 샘플링하여 기억하여도 된다. 그 경우에, 휘도 신호로서, 어느 특정한 화소의 휘도 신호, 어느 특정한 영역 또는 모든 영역의 평균의 휘도 신호 등을 이용하여도 된다. 또한, 영상 신호의 신호 상태 f(t), g(t)로서, 각 프레임의 주파수 성분(주파수 특성)을 기억하여도 된다. 그 경우에, 예를 들면 스펙트럼 애널라이저에 의해 1 프레임마다 주파수 성분의 히스트그램을 구하여 기억한다.
또한, 영상 신호의 신호 상태 f(t), g(t)로서, 휘도 신호의 변화분을 일정한 주기로 샘플링하여 기억하여도 된다.
또한, 음성 기억부(22) 및 음성 기억부(24)는, 음성 신호의 신호 상태 p(t), q(t)로서, 그 진폭을 일정한 주기로 샘플링하여 기억하여도 된다. 또한, 음성 신호의 신호 상태 p(t), q(t)로서, 소정 시간 ts마다의 주파수 성분(주파수 특성)을 기억하여도 된다.
또한, 음성 신호의 신호 상태 p(t), q(t)로서, 음성 신호의 변화분을 일정한 주기로 샘플링하여 기억하여도 된다.
영상 지연 검출부(25)는, 입력측의 영상 기억부(21)에 기억된 영상 신호(의 신호 상태) f(t)와 출력측의 영상 기억부(23)에 기억된 영상 신호(의 신호 상태) g(t)를 비교하여 영상 신호의 지연 시간 n을 구한다.
영상 지연 검출부(25)는, 예를 들면 영상 기억부(21)에 기억된 영상 신호 f(t)의 변화량 Df, 및 영상 기억부(23)에 기억된 영상 신호 g(t)의 변화량 Dg를 구하고, 그들 변화량 Df, Dg의 상관이 가장 큰 위치로부터 영상 신호의 지연 시간 n을 구한다.
음성 지연 검출부(26)는, 입력측의 음성 기억부(22)에 기억된 음성 신호(의 신호 상태) p(t)와 출력측의 음성 기억부(24)에 기억된 음성 신호(의 신호 상태) q(t)를 비교하여 음성 신호의 지연 시간 k를 구한다.
음성 지연 검출부(26)는, 예를 들면 음성 기억부(22)에 기억된 음성 신호 p(t)의 변화량 Dp 및 음성 기억부(24)에 기억된 음성 신호 q(t)의 변화량 Dq를 구하고, 그들 변화량 Dp, Dq의 상관이 가장 큰 위치로부터 음성 신호의 지연 시간 k를 구한다.
지연 보정량 검출부(27)는, 영상 지연 검출부(25)에서 구한 영상 신호의 지연 시간 n과 음성 지연 검출부(26)에서 구한 음성 신호의 지연 시간 k와의 차에 기초하여, 영상 신호 SV2 및 음성 신호 SA2에 대한 지연 보정량 HRV, HRA를 구한다.
또한, 영상 기억부(21, 23), 음성 기억부(22, 24)에서의 기억, 및 영상 신호 처리부(12) 및 음성 신호 처리부(16)에서의 신호 처리 등은, 리얼타임으로 행해진다.
입력측의 영상 기억부(21) 및 음성 기억부(22)에 의해 입력 신호 검출부(NS)가 구성되고, 출력측의 영상 기억부(23) 및 음성 기억부(24)에 의해 출력 신호 검출부(SS)가 구성된다. 또한, 영상 지연 검출부(25), 음성 지연 검출부(26), 및 지연 보정량 검출부(27)에 의해 지연 시간 연산부 TH가 구성된다.
이와 같은 디스플레이 장치(1)의 각 부의 기능은, 적당한 하드웨어 소자를 이용하고, 또는 적당한 프로그램을 CPU가 실행함으로써 소프트웨어적으로, 또는 이들의 조합에 의해 실현하는 것이 가능하다. 이 디스플레이 장치(1)는, 본 발명에서의 영상 장치, AV 장치, 및 동기 제어 장치에 상당한다.
다음에, 디스플레이 장치(1)의 구성에 대해, 도 2 내지 도 5를 참조하여 더욱 상세하게 설명한다.
도 2는 영상 신호에 대한 처리 및 제어를 행하는 부분의 기능을 도시하는 블록도, 도 3은 음성 신호에 대한 처리 및 제어를 행하는 부분의 기능을 도시하는 블록도, 도 4는 입력측의 신호 상태와 출력측의 신호 상태와의 관계의 예를 도시하는 도면, 도 5는 도 4에 도시한 신호 상태에 관한 상관 관계를 도시하는 도면, 도 6은 동기 제어 방법을 도시하는 플로우차트이다.
또한, 도 2 및 도 3에 도시한 블록도는, 도 1에 도시한 블록도와 공통의 부분도 있고, 그것을 변형한 부분도 있다. 즉, 도 2 및 도 3에 도시한 블록도는 도 1에 도시한 블록도의 부분적인 변형예로 생각하여도 된다.
도 2에서, 입력 신호 검출부 NSV에서는, 입력된 영상 신호 SV1에 대해, 그 휘도 신호의 변화 상태, 주파수의 변화 상태, 진폭의 변화 상태 등이 검출되고, 일정한 주기 ts로, 즉 시간 t0, t1, t2, t3 …마다 샘플링된다. 샘플링에 의해 얻어진 영상 신호 f(t)(t = 0, 1, 2 …)는, 영상 기억부(입력부 메모리)(21)에 기억된다. 연산부(21b)에서, 영상 기억부(21)로부터 읽어내어진 영상 신호 f(t)로부터, 변화량 Df가 구해진다. 즉, 변화량 Df는 다음 식 (1)로 표현된다.
Df = f(t) - f(t-1) …… (1)
영상 신호 처리부(12)에서 신호 처리된 영상 신호 SV2에 대해서도, 출력 신호 검출부 SSV에서, 입력 신호 검출부 NSV의 경우와 마찬가지로, 그 휘도 신호의 변화 상태, 주파수의 변화 상태, 진폭의 변화 상태 등이 검출되고, 일정한 주기 ts로 샘플링된다. 샘플링에 의해 얻어진 영상 신호 g(t)(t = 0, 1, 2, …)는, 영상 기억부(출력부 메모리)(23)에 기억된다. 그러나, 영상 신호 SV2는, 영상 신호 처리부(12)에서의 처리에 의해, 영상 신호 SV1에 대하여 샘플링 주기의 n회분 지연되고 있으므로, 영상 기억부(23)에 기억되는 영상 신호 g(t)(t = 0, 1, 2, …)는, 실제로는「t」대신에「t+n」을 이용하고, g(t+n)으로 표현된다. 연산부(23b)에서, 영상 기억부(23)로부터 읽어내어진 영상 신호 g(t+n)으로부터, 변화량 Dg가 구해진 다. 즉, 변화량 Dg는 다음 식 (2)로 표현된다.
Dg = g(t+n) - g(t+n-1) …… (2)
또한，식 (2)로 표현되는 변화량 Dg는, Dg(t+n)이다.
그리고, 영상 지연 검출부(25)에서, 이들 변화량 Df, Dg의 상관이 가장 큰 위치로부터, 영상 신호의 지연 시간 n이 구해진다.
도 4에서, 어느 입력 신호(영상 신호) f(t)의 그래프가 도시되어 있다. 그 그래프의 하방에는, t = 0, 1, 2, …에서의, 입력 신호의 크기 (f(t)), 및 그 변화량 Df가 수치로 나타내어져 있다. 예를 들면, t = 1, 2, 3, 4에서의 입력 신호 f(t)는, 5, 1, 3, 2이고, 변화량 Df는, 3, -4, 2,―1이다.
또한, 그 하방에 출력 신호(영상 신호) g(t)의 그래프가, 샘플링 주기의 n회분 지연되어 나타내어져 있다. 그 그래프의 하방에는, t = 0+n, 1+n, 2+n, …에서의, 출력 신호의 크기 (g(t+n)), 및 그 변화량 Dg가 수치로 나타내어져 있다. 예를 들면, t = 10, 11, 12, 13에서의 출력 신호 g(t)는, 3, 7, 1, 5이고, 변화량 Dg는, 4,―6, 4,―1이다. 또한, 도 4에서는, 입력 신호 f(t)가 0인 t = 9에서, 그때의 n이 0(n = 0)으로 되어 있다.
도 5에서，t = 9 즉 n = 0일 때의 입력 신호 f(t)의 변화량 Df인 0을 기준으로 하여, 그와 n = 0, 1, 2, 3, …에서의 출력 신호 g(t)의 변화량 Dg와의 차(Df-Dg)가 수치로 나타내어져 있다. 그 하방에, 차(Df-Dg)의 제곱의 값, 즉 (Df-Dg)2가, 표 내에서 수치로 나타내어져 있다.
도 5의 표 내에서, 차의 제곱 값 (Df-Dg)2가 최소로 되는 위치는, n = 8의 위치이며, 그 값은 0이다. 즉, t = 17, n = 8의 위치에서, 입력 신호 f(t)의 변화량 Df(=0)와 출력 신호 g(t)의 변화량 Dg(=0)가 일치하고, 그 차의 제곱 값 (Df-Dg)2가 최소 값 0으로 된다. 따라서, 영상 신호 처리부(12)에서의 처리에 의한 영상 신호 SV2의 지연 시간 n이 「8」로서 구한다.
이와 같이, 영상 지연 검출부(25)에서는, 상관 판정 회로(25a)에서, 입력 신호의 변화량 Df와 출력 신호의 변화량 Dg와의 상관이 가장 큰 위치가 구해지고, 그 위치에 기초하여 지연 시간 n이 구해진다.
도 3에 도시한 바와 같이, 입력 신호 검출부 NSA 및 출력 신호 검출부 SSA에서, 음성 신호 SA에 대해서도, 위에 설명한 영상 신호 SV와 마찬가지로，식 (3), (4)에 의해 변화량 Dp, Dq가 구해진다.
Dp = p(t) - p(t-1) …… (3)
Dq = q(t+n) - q(t+n-1) …… (4)
그리고, 음성 지연 검출부(26)에서, 이들 변화량 Dp, Dq의 상관이 가장 큰 위치로부터, 음성 신호의 지연 시간 k가 구해진다.
구해진 지연 시간 n, k에 기초하여, 지연 보정량 검출부(27V, 27A)에 의해, 각각에 지연 보정량 HRV, HRA가 구해진다.
즉, 도 2에 도시한 지연 보정량 검출부(27V)에서, 지연 시간 n과 k가 비교되고, n > k의 경우에는, 지연 보정량 HRV가 0으로 설정된다. 지연 보정량 HRV가 0 이라고 하는 것은, 지연시키지 않는다라고 하는 것이다. 그 이외의 경우, 즉 n ≤ k의 경우에는, 지연 보정량 HRV가 (k-n)으로 설정된다. 즉, 지연 시간 n과 k와의 차의 절대 값이 지연 보정량 HRV로 설정된다.
또한, 도 3에 도시한 지연 보정량 검출부(27A)에 있어서도, 지연 시간 n과 k가 비교되고, n > k의 경우에는, 지연 보정량 HRA가 (n-k)로 설정된다. 즉, 지연 시간 n과 k와의 차의 절대 값이 지연 보정량 HRA로 설정된다. 그 이외의 경우, 즉 n ≤ k의 경우에는, 지연 보정량 HRA가 0으로 설정된다.
지연 보정부(13)는, 지연 보정량 HRV로서 얻어진 값에 따라서 영상 신호 SV2를 지연 보정하여, 영상 신호 SV3을 출력한다. 지연 보정부(17)는, 지연 보정량 HRA로서 얻어진 값에 따라서 영상 신호 SA2를 지연 보정하여, 영상 신호 SA3을 출력한다.
이와 같이, 영상 신호 SV2 또는 음성 신호 SA2 중，보다 지연되어 있는 쪽을 기준으로 하고, 다른 쪽에 대해 2개의 지연 시간 n, k의 차(｜n-k｜)만큼 더 지연되고, 이에 의해 서로 동기한 영상 신호 SV3과 음성 신호 SA3이 얻어지게 된다.
또한, 입력 신호 검출부(NS) 및 출력 신호 검출부(SS)에서의 신호의 기억, 영상 지연 검출부(25) 및 음성 지연 검출부(26)에서의 지연 시간 n, k의 산출, 지연 보정량 검출부(27)에서의 지연 보정량 HRV, HRA의 산출은, 디스플레이 장치(1)가 동작하고 있는 동안의 적당한 타이밍에서 행하면 된다. 예를 들면, 디스플레이 장치(1)의 전원을 온하였을 때, 또는 그 직후의 초기 설정 시에 1회만 행한다. 또한, 그때에 복수회, 예를 들면 3회 행하여, 3회 행한 결과인 3개의 지연 보정량 HRV, HRA가 각각 일치하고 있는 경우에, 그 값으로 설정한다. 일치하지 않은 경우에는 3회 더 행한다. 또한, 디스플레이 장치(1)가 동작하고 있는 동안에, 지연 보정량 HRV, HRA의 산출을, 적당한 시간 간격으로 행한다.
또한, 영상 신호 처리부(12) 또는 음성 신호 처리부(16)의 처리 내용이 변경된 경우에, 지연 보정량 HRV, HRA를 다시 산출한다. 예를 들면, 영상 신호 처리부(12) 또는 음성 신호 처리부(16)의 처리 내용이 전송로의 변경에 수반하여 변경된 경우, 또한 전송로의 변경에 따라서 지연 시간 n, k가 변경된 경우 등에, 그때마다 지연 보정량 HRV, HRA를 다시 산출한다. 또한, 영상 신호 처리부(12) 또는 음성 신호 처리부(16)의 처리 내용이 변경되는 것이 예상되는 경우에, 소정의 시간 간격으로, 예를 들면 10분마다, 지연 보정량 HRV, HRA를 다시 산출한다.
산출된 지연 보정량 HRV, HRA는, 지연 보정량 검출부(27) 또는 지연 보정부(13, 17)에서 유지해 두면 된다.
다음에, 플로우차트를 참조하여 동기 제어의 대략적인 흐름을 설명한다.
도 6에서, 입력된 영상 신호 SV1 및 음성 신호 SA1의 신호 상태를 각각 기억한다(#11). 그와 병행하여, 영상 신호 SV1 및 음성 신호 SA1에 대한 신호 처리를 행한다(#12). 신호 처리가 행해진 영상 신호 SV2 및 음성 신호 SA2에 대해, 그 신호 상태를 각각 기억한다(#13). 영상 신호 및 음성 신호에 대해, 각각 입력 신호에 대한 출력 신호의 지연 시간 n, k를 구한다(#14). 지연 시간 n, k로부터, 지연 보정량 HRV, HRA를 구한다(#15). 지연 보정량 HRV, HRA에 기초하여, 영상 신호 또는 음성 신호를 지연시킨다(#16).
위에 설명한 실시 형태의 디스플레이 장치(1)에 의하면, 영상 신호 SV 및 음성 신호 SA 중 어느 것에 대해서도, 어떠한 신호 처리가 행해지는 경우에, 그에 의한 신호의 지연을 보정하여, 영상 신호와 음성 신호와의 동기를 취할 수 있다. 그 결과, 표시 패널(15)에 표시되는 영상과 스피커(19)로부터 출력되는 음성에 시간 차가 생기지 않아, 시청자는 위화감이 없는 자연스러운 영상과 음성을 즐길 수 있다.
지연 시간 n, k를 구하는 경우, 입력 신호와 출력 신호간의 변화량을 구하고, 양자의 변화량의 상관이 가장 큰 위치로부터 지연 시간 n, k를 구하므로, 각각의 지연 시간 n, k를 정확하게 구할 수 있다. 즉, 신호의 레벨(진폭)은 변화되지만, 신호의 변화량은 그 정도 변화되지 않으므로, 변화량의 상관을 취함으로써 지연 시간 n, k가 정확하게 구해진다.
또한, 도 4 및 도 5에 도시한 예에서는, 변화량의 차의 제곱 (Df-Dg)2를 구하여 상관 관계를 나타냈지만, 반드시 제곱을 구할 필요는 없다. 또한, 신호 f(t), g(t), p(t), q(t)가 각각 1 종류인 경우를 예로 하여 설명하였지만, 그들 신호가 복수 종류인 경우에는, 각 신호에 대한 변화량의 차에 대해 최소 제곱법에 의해 차가 최소로 되는 위치를 구하면 된다. 예를 들면, 영상 신호 f(t)로서 휘도 신호를 이용하는 경우에, 화상 내에서의 복수의 서로 다른 특정의 점(화소)에 대한 복수의 휘도 신호를 이용하는 것으로 하고, 그들 복수의 휘도 신호의 변화량의 차에 대해 최소 제곱법에 의해 최소로 되는 위치를 구한다.
또한, 지연 보정부(13, 17)에서, 어느 한쪽은 지연 보정량 HR을 0으로 하였으므로, 지연 시간을 최소로 할 수 있어, 신호의 왜곡 등도 최소한으로 억제할 수 있다. 그러나, 필요에 따라서, 지연 보정부(13, 17)에서 각각 지연 보정량 HRV, HRA를 유의한 값으로서 지연 보정을 행할 수 있다. 어느 쪽이든, 영상 또는 음성 중 어느 하나에 또는 양쪽에 지연이 생기는 경우라도, 그것을 보정하여 동기를 취할 수 있다.
위에 설명한 실시 형태에서, 입력 신호 검출부(NS), 출력 신호 검출부(SS), 영상 지연 검출부(25), 음성 지연 검출부(26), 지연 보정량 검출부(27), 및 디스플레이 장치(1)의 전체 또는 각 부의 구성, 구조, 회로, 형상, 개수, 처리의 내용 또는 순서, 처리의 타이밍 등은, 본 발명의 취지를 따라서 적절하게 변경할 수 있다.
본 발명은, 위에 설명한 디스플레이 장치(1) 이외에, 컴퓨터 시스템, 텔레비전, DVD 재생 장치, AV 장치 등, 여러 가지의 영상 장치에 적용할 수 있다.
본 발명은, 텔레비전, DVD 재생 장치, AV 장치, 또는 그들을 위한 디스플레이 장치 등에 이용할 수 있다.

Claims (11)

  1. 서로 동기가 취해진 상태로 입력되는 영상 신호와 음성 신호에 대해, 상기 영상 신호에 대하여 신호 처리를 가하는 영상 신호 처리부 및 신호 처리된 영상을 출력하는 영상 출력부, 및 상기 음성 신호에 대하여 신호 처리를 가하는 음성 신호 처리부 및 신호 처리된 음성을 출력하는 음성 출력부를 갖는 영상 장치에서의 영상 신호와 음성 신호의 동기 제어 방법으로서,
    입력된 상기 영상 신호 및 상기 음성 신호에 대해, 신호 상태를 각각 입력 영상 기억부 및 입력 음성 기억부에 기억하고,
    상기 영상 신호 처리부에서 신호 처리된 영상 신호 및 상기 음성 신호 처리부에서 신호 처리된 음성 신호에 대해, 신호 상태를 각각 출력 영상 기억부 및 출력 음성 기억부에 기억하고,
    상기 입력 영상 기억부에 기억된 영상 신호와 상기 출력 영상 기억부에 기억된 영상 신호를 비교하여 영상 신호의 지연 시간을 구하고,
    상기 입력 음성 기억부에 기억된 음성 신호와 상기 출력 음성 기억부에 기억된 음성 신호를 비교하여 음성 신호의 지연 시간을 구하고,
    구한 영상 신호의 지연 시간과 음성 신호의 지연 시간의 차에 기초하여 영상 신호 또는 음성 신호에 대한 지연 보정량을 구하고, 구한 지연 보정량에 따라서, 출력할 영상 신호 또는 음성 신호를 지연 보정하는
    것을 특징으로 하는, 영상 장치에서의 영상 신호와 음성 신호의 동기 제어 방법.
  2. 서로 동기가 취해진 상태로 입력되는 영상 신호와 음성 신호에 대해, 상기 영상 신호에 대하여 신호 처리를 가하는 영상 신호 처리부 및 신호 처리된 영상을 출력하는 영상 출력부, 및 상기 음성 신호에 대하여 신호 처리를 가하는 음성 신호 처리부 및 신호 처리된 음성을 출력하는 음성 출력부를 갖는 영상 장치에서의 영상 신호와 음성 신호의 동기 제어 장치로서,
    입력되는 상기 영상 신호에 대한 신호 상태를 기억하는 입력 영상 기억부와,
    입력되는 상기 음성 신호에 대한 신호 상태를 기억하는 입력 음성 기억부와,
    상기 영상 신호 처리부에서 신호 처리된 영상 신호에 대한 신호 상태를 기억하는 출력 영상 기억부와,
    상기 음성 신호 처리부에서 신호 처리된 음성 신호에 대한 신호 상태를 기억하는 출력 음성 기억부와,
    상기 입력 영상 기억부에 기억된 영상 신호와 상기 출력 영상 기억부에 기억된 영상 신호를 비교하여 영상 신호의 지연 시간을 구하는 영상 지연 시간 검출부와,
    상기 입력 음성 기억부에 기억된 음성 신호와 상기 출력 음성 기억부에 기억된 음성 신호를 비교하여 음성 신호의 지연 시간을 구하는 음성 지연 시간 검출부와,
    구한 영상 신호의 지연 시간과 음성 신호의 지연 시간의 차에 기초하여 영상 신호 또는 음성 신호에 대한 지연 보정량을 구하는 지연 보정량 검출부와,
    구한 지연 보정량에 따라서, 출력할 영상 신호 또는 음성 신호를 지연 보정하는 지연 보정부
    를 갖는 것을 특징으로 하는, 영상 장치에서의 영상 신호와 음성 신호의 동기 제어 장치.
  3. 서로 동기가 취해진 상태로 입력되는 영상 신호와 음성 신호에 대해, 상기 영상 신호에 대하여 신호 처리를 가하는 영상 신호 처리부와,
    상기 음성 신호에 대하여 신호 처리를 가하는 음성 신호 처리부와,
    입력되는 상기 영상 신호에 대한 신호 상태를 기억하는 입력 영상 기억부와,
    입력되는 상기 음성 신호에 대한 신호 상태를 기억하는 입력 음성 기억부와,
    상기 영상 신호 처리부에서 신호 처리된 영상 신호에 대한 신호 상태를 기억하는 출력 영상 기억부와,
    상기 음성 신호 처리부에서 신호 처리된 음성 신호에 대한 신호 상태를 기억하는 출력 음성 기억부와,
    상기 입력 영상 기억부에 기억된 영상 신호와 상기 출력 영상 기억부에 기억된 영상 신호를 비교하여 영상 신호의 지연 시간을 구하는 영상 지연 시간 검출부와,
    상기 입력 음성 기억부에 기억된 음성 신호와 상기 출력 음성 기억부에 기억된 음성 신호를 비교하여 음성 신호의 지연 시간을 구하는 음성 지연 시간 검출부와,
    구한 영상 신호의 지연 시간과 음성 신호의 지연 시간의 차에 기초하여 영상 신호 또는 음성 신호에 대한 지연 보정량을 구하는 지연 보정량 검출부와,
    구한 지연 보정량에 따라서, 출력할 영상 신호 또는 음성 신호를 지연 보정하는 지연 보정부와,
    신호 처리된 영상을 출력하는 영상 출력부와,
    신호 처리된 음성을 출력하는 음성 출력부
    를 갖는 것을 특징으로 하는 AV 장치.
  4. 서로 동기가 취해진 상태로 입력되는 영상 신호와 음성 신호에 대해, 상기 영상 신호에 대한 신호 상태를 기억하는 입력 영상 기억부와,
    상기 음성 신호에 대한 신호 상태를 기억하는 입력 음성 기억부와,
    신호 처리된 상기 영상 신호에 대한 신호 상태를 기억하는 출력 영상 기억부와,
    신호 처리된 상기 음성 신호에 대한 신호 상태를 기억하는 출력 음성 기억부와,
    상기 입력 영상 기억부에 기억된 영상 신호와 상기 출력 영상 기억부에 기억된 영상 신호와의 각각의 변화분을 비교하여 영상 신호의 지연 시간을 구하는 영상 지연 시간 검출부와,
    상기 입력 음성 기억부에 기억된 음성 신호와 상기 출력 음성 기억부에 기억된 음성 신호와의 각각의 변화분을 비교하여 음성 신호의 지연 시간을 구하는 음성 지연 시간 검출부와,
    구한 영상 신호의 지연 시간과 음성 신호의 지연 시간의 차에 기초하여 영상 신호 또는 음성 신호에 대한 지연 보정량을 구하는 지연 보정량 검출부와,
    구한 지연 보정량에 따라서, 출력할 영상 신호 또는 음성 신호를 지연 보정하는 지연 보정부
    를 갖는 것을 특징으로 하는, 영상 신호와 음성 신호의 동기 제어 장치.
  5. 제2항에 있어서,
    상기 영상 지연 시간 검출부는,
    상기 입력 영상 기억부에 기억된 영상 신호의 변화량 및 상기 출력 영상 기억부에 기억된 영상 신호의 변화량을 구하고, 그들 변화량의 상관이 가장 큰 위치로부터 영상 신호의 지연 시간을 구하고,
    상기 음성 지연 시간 검출부는,
    상기 입력 음성 기억부에 기억된 음성 신호의 변화량 및 상기 출력 음성 기억부에 기억된 음성 신호의 변화량을 구하고, 그들 변화량의 상관이 가장 큰 위치로부터 음성 신호의 지연 시간을 구하는, 영상 장치에서의 영상 신호와 음성 신호의 동기 제어 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
KR1020077020112A 2005-03-18 2005-03-18 영상 장치에서의 영상 신호와 음성 신호와의 동기 제어방법 및 장치 KR100875592B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/004987 WO2006100727A1 (ja) 2005-03-18 2005-03-18 映像装置における映像信号と音声信号との同期制御方法および装置

Publications (2)

Publication Number Publication Date
KR20070116807A KR20070116807A (ko) 2007-12-11
KR100875592B1 true KR100875592B1 (ko) 2008-12-23

Family

ID=37023424

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077020112A KR100875592B1 (ko) 2005-03-18 2005-03-18 영상 장치에서의 영상 신호와 음성 신호와의 동기 제어방법 및 장치

Country Status (5)

Country Link
US (1) US20080049139A1 (ko)
JP (1) JPWO2006100727A1 (ko)
KR (1) KR100875592B1 (ko)
CN (1) CN101142817B (ko)
WO (1) WO2006100727A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4065961B2 (ja) * 2005-10-27 2008-03-26 国立大学法人 千葉大学 映像と音声のずれ時間を、高精度かつ簡便に計測する方法および計測装置
CN102362510A (zh) * 2009-03-24 2012-02-22 松下电器产业株式会社 声音图像再生系统、助听器、以及声音图像处理装置
US8436939B2 (en) * 2009-10-25 2013-05-07 Tektronix, Inc. AV delay measurement and correction via signature curves
CN104954727B (zh) * 2014-03-25 2018-08-07 南宁富桂精密工业有限公司 音视频同步控制设备及方法
CN104902317A (zh) * 2015-05-27 2015-09-09 青岛海信电器股份有限公司 音视频同步方法及装置
CN105187688B (zh) * 2015-09-01 2018-03-23 福建富士通信息软件有限公司 一种对手机采集的实时视频和音频进行同步的方法及系统
CN106851259B (zh) * 2017-01-17 2021-03-12 中国科学院上海高等研究院 监控系统中的视频延时测试装置
CN110290411A (zh) * 2019-07-05 2019-09-27 四川长虹电器股份有限公司 视频播放过程中自动校正音画不同步的方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4313135B1 (en) * 1980-07-28 1996-01-02 J Carl Cooper Method and apparatus for preserving or restoring audio to video
JPH0738771A (ja) * 1993-07-22 1995-02-07 Nippon Television Network Corp 時間差調整装置
JP3154905B2 (ja) * 1994-12-13 2001-04-09 株式会社東芝 映像／音声記録再生装置
US5844600A (en) * 1995-09-15 1998-12-01 General Datacomm, Inc. Methods, apparatus, and systems for transporting multimedia conference data streams through a transport network
JP3693393B2 (ja) * 1995-10-26 2005-09-07 池上通信機株式会社 擬似雑音信号を用いた位相差調整装置
JPH09284726A (ja) * 1996-04-12 1997-10-31 Sony Corp 信号遅延装置及び信号処理装置
JPH11150444A (ja) * 1997-11-17 1999-06-02 Sharp Corp デジタル映像およびデジタル音声復号システム
JPH11308613A (ja) * 1998-04-22 1999-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像音響同期方法および装置および映像音響同期プログラムを記録した記録媒体
US6496221B1 (en) * 1998-11-02 2002-12-17 The United States Of America As Represented By The Secretary Of Commerce In-service video quality measurement system utilizing an arbitrary bandwidth ancillary data channel
JP3377463B2 (ja) * 1998-12-29 2003-02-17 日本放送協会 映像／音声ずれ補正システム、方法および記録媒体
JP2002223415A (ja) * 2001-01-26 2002-08-09 Sony Corp Ｍｐｅｇ信号の記録再生装置
JP2002290932A (ja) * 2001-03-27 2002-10-04 Toshiba Corp デジタル放送受信装置とその制御方法
JP2002290767A (ja) * 2001-03-27 2002-10-04 Toshiba Corp 映像及び音声の時間合わせ装置及び時間合わせ方法
US6753925B2 (en) * 2001-03-30 2004-06-22 Tektronix, Inc. Audio/video processing engine
JP4313522B2 (ja) * 2001-07-30 2009-08-12 日本放送協会 リップシンク制御装置
JP2003158643A (ja) * 2001-11-20 2003-05-30 Shibasoku:Kk 信号処理方法及び信号処理装置
JP3629253B2 (ja) * 2002-05-31 2005-03-16 株式会社東芝 音声再生装置および同装置で用いられる音声再生制御方法
WO2004045197A2 (en) * 2002-11-07 2004-05-27 Thomson Licensing S.A. A system and method for determining lip synchronization between audio and video in a digitized environment using buffer calculation
EP1450555A1 (en) * 2003-02-18 2004-08-25 Thomson Licensing S.A. Video device and method for synchronising time bases of video devices
JP2004260641A (ja) * 2003-02-27 2004-09-16 Shibasoku:Kk 信号処理装置
KR100499037B1 (ko) * 2003-07-01 2005-07-01 엘지전자 주식회사 디지털 텔레비젼 수신기의 립 싱크 테스트 방법 및 장치
JP3738018B2 (ja) * 2003-07-08 2006-01-25 アイベックステクノロジー株式会社 信号遅延測定装置、信号遅延測定方法および信号遅延測定プログラム

Also Published As

Publication number Publication date
KR20070116807A (ko) 2007-12-11
US20080049139A1 (en) 2008-02-28
CN101142817A (zh) 2008-03-12
JPWO2006100727A1 (ja) 2008-08-28
CN101142817B (zh) 2011-05-11
WO2006100727A1 (ja) 2006-09-28

Similar Documents

Publication Publication Date Title
KR100875592B1 (ko) 영상 장치에서의 영상 신호와 음성 신호와의 동기 제어방법 및 장치
US9489980B2 (en) Video/audio synchronization apparatus and video/audio synchronization method
US8363161B2 (en) Systems, methods, and apparatus for synchronization of audio and video signals
US7692724B2 (en) Method and apparatus to synchronize audio and video
US7787578B2 (en) Method and apparatus for synchronizing multimedia data stream
KR20190087875A (ko) 영상 표시 장치, 및 그것의 신호 처리 방법
US8154654B2 (en) Frame interpolation device, frame interpolation method and image display device
US8519928B2 (en) Method and system for frame insertion in a digital display system
US7983454B2 (en) Image processing apparatus and image processing method for processing a flesh-colored area
JP2008141392A (ja) 字幕検出装置及び字幕検出方法並びにプルダウン信号検出装置
US20090135301A1 (en) Multi-slicing Horizontal Synchronization Signal Generating Apparatus and Method
KR100564639B1 (ko) 디스플레이 상태 조절용 기능블록 및 조절방법
US20110103524A1 (en) Signal receiving apparatus and signal transmitting system
US20080285888A1 (en) Image resizing device and parameter adjusting method thereof
US7778789B2 (en) Digital phase calibration method and system
US8432488B2 (en) Video processing apparatus and video processing method
JPH04282689A (ja) 階調補正装置
US8279340B2 (en) Image signal processing apparatus and method thereof
EP2018051A2 (en) Signal processing apparatus for applying AVC to delayed signals and a method thereof
US7250981B2 (en) Video signal processor and video signal processing method which interpolate a video signal using an interpolation factor based on phase information of a selected clock
US8432498B2 (en) Automatic frequency selection for peaking
KR100929137B1 (ko) 영상표시기기의 신호처리장치 및 방법
JP2005184442A (ja) 画像処理装置
KR100667297B1 (ko) 메인 영상 신호 및 서브 영상 신호의 노이즈를 개별적으로감쇄시키는 디스플레이 장치 및 그 방법
KR20100019715A (ko) 디스플레이 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee