KR20060050680A

KR20060050680A - 음향 생성 방법, 음향 생성 장치, 음향 재생 방법 및 음향재생 장치

Info

Publication number: KR20060050680A
Application number: KR1020050078606A
Authority: KR
Inventors: 가즈히꼬 오자와
Original assignee: 소니 가부시끼 가이샤
Priority date: 2004-08-27
Filing date: 2005-08-26
Publication date: 2006-05-19
Also published as: CN100481921C; JP4629388B2; JP2006067295A; CN1741601A; EP1651008A2; US20060044419A1; US8150061B2; KR101150575B1; EP1651008A3

Abstract

본 발명은 영상 신호와 관련한 음향 신호를 생성하는 음향 생성 방법을 제공한다. 상기 음행 생성 방법은 영상의 수평 방향 및 수직 방향에 맞춘 음향 신호를 각각 독립해서 생성하는 단계와, 상기 생성한 수평 방향 및 수직 방향의 각 음향 신호를, 수평 방향 음향 출력 수단 및 수직 방향 음향 출력 수단에서 각각 독립해서 재생시키는 단계를 포함한다.

스피커, 어레이 마이크로폰, 액정 디스플레이, 줌 렌즈

Description

음향 생성 방법, 음향 생성 장치, 음향 재생 방법 및 음향 재생 장치{SOUND GENERATING METHOD, SOUND GENERATING APPARATUS, SOUND REPRODUCING METHOD, AND SOUND REPRODUCING APPARATUS}

도 1은 본 발명의 실시예에 따른 음향 재생 장치(100)의 개략 구성도.

도 2는 본 발명의 실시예에 따른 음향 생성 장치(101)의 기능 블록도.

도 3은 화각(畵角)과 마이크 지향 특성을 설명하는 도면.

도 4는 마이크 지향성 생성 예를 설명하는 도면.

도 5는 어레이 마이크로폰의 원리 설명도.

도 6은 어레이 마이크로폰의 원리 설명도.

도 7은 지연차 T를 갖는 2개의 정현파의 합성파의 진폭과 주파수와의 관계를 설명하는 도면.

도 8은 본 발명의 마이크로폰 지향성 생성 처리 예를 설명하는 도면.

도 9는 본 발명의 마이크로폰 지향각/지연 변환 원리를 설명하는 도면.

도 10은 본 발명의 마이크로폰 지향각/지연 변환 원리를 설명하는 도면.

도 11은 본 발명의 마이크로폰 지향각/지연 변환예를 나타내는 표.

도 12는 본 발명의 마이크로폰 지향성 생성 처리 예를 설명하는 도면.

도 13은 본 발명의 다른 실시예를 설명하는 음향 재생 장치의 개략 구성도.

도 14는 본 발명의 또 다른 실시예를 설명하는 음향 재생 장치의 개략 구성도.

<도면의 주요 부분에 대한 부호의 설명>

1 : 디스플레이

2~9 : 스피커

10 : 줌 렌즈

11 : 촬상 소자

12 : 카메라계 신호 처리부

13 : 기록계 화상/음성 인코드 처리부

14 : 스위치

15 : 기록 재생 수단

17 : 마이크로폰(수평 방향),

18 : 마이크로폰(수직 방향)

19 : 마이크로폰 지향성 생성 처리부

21 : 재생계 화상/음성 디코드 처리부

31~34 : 마이크

40 : 지향성 생성 처리 회로

41, 44 : 가변 지연기

45 : 지향각/지연 변환 연산부

46 : 가산기

52, 53, 56, 57 : 가변 지연기

54 : 수평 지향각 산출부

55 : 수직 지향각 산출부

61 : 가산기

100 : 음향 재생 장치

101 : 음향 생성 장치.

본 발명은, 영상 신호에 관련한 좌우 방향 및 상하 방향의 음향 신호를 생성, 재생할 수 있는 음향 생성 방법, 음향 생성 장치, 음향 재생 방법 및 음향 재생 장치에 관한 것이다.

최근, 가정용 TV(텔레비전)의 디스플레이 장치가 박형화, 평면화됨에 따라서 화면도 대형화하고 있고, 이에 따라 수평 방향뿐만 아니라, 수직 방향(높이 방향)으로도 크기가 증가하고 있다.

종래의 일반적인 TV에서는, 화면이 대형화되어도, 음성이나 음향은, 화면의 좌우에 구비된 스피커 등의 재생장치로부터 발생되기 때문에, 스테레오 2채널 재생인 것이 많았다.

또한, 최근에는, DVD(Digital Versatile Disk) 소프트 등에서 360°의 재생을 가능하게 하는 멀티 채널의 서라운드 재생이 알려져 있지만, 이것에 대해서도 화면 수평 방향에 위치하는 음상(音像; sound image)를 복수의 스피커로 재현하는 경우가 대부분이고, 수직 방향으로 화면과 맞추어 음향 음장을 재현하는 기기는 없었다.

[특허 문헌 1] 일본 공개특허(KOKAI) 2000-299842호 공보

[특허 문헌 2] 일본 공개특허(KOKAI) 평성 6-327090호 공보

그런데, 본 출원인은 먼저, 음장 공간의 전체 주위방향으로부터 입력하는 음성을, 영상과 함께 멀티 채널 기록/재생하는 비디오 카메라를 제안하고 있다(상기 특허 문헌 1). 이 기술에 의해, 서라운드 재생에 대응하는 화상 음성 기록/재생이 가능하게 되지만, 화면의 수직 방향으로는 음장을 기록 재생할 수 없다고 하는 문제가 있다.

상술한 바와 같이, 가정 내에 있어서의 TV 등의 디스플레이 화면은 점점 대형화되고 있어, 종래와 같은 스테레오 음장이나, 전체 주위 방향의 서라운드음장과 같은 수평 방향의 음장 생성에서는, 디스플레이 화면 상의 화상에 맞춘 임장감이 얻어지지 않는다고 하는 문제가 있다.

본 발명은 상술한 문제를 감안하여 이루어진 것으로, 디스플레이 화면의 대형화에 맞추어, 보다 임장감이 있는 음향 음장을 화면의 좌우 방향 및 상하 방향에 맞추어 생성할 수 있는 음향 생성 방법 및 음향 생성 장치를 제공하는 것을 과제로 한다.

또한, 본 발명은, 디스플레이 화면의 대형화에 맞추어, 보다 임장감이 있는 음향 음장을 화면의 좌우 방향 및 상하 방향에 맞추어 재현할 수 있는 음향 재생 방법 및 음향 재생 장치를 제공하는 것을 과제로 한다.

이상의 과제를 해결하는 데 있어서, 본 발명의 음향 생성 방법은, 영상 신호에 관련한 음향 신호를 생성하는 음향 생성 방법으로서, 영상의 수평 방향 및 수직 방향에 맞춘 음향 신호를 각각 독립해서 생성하고, 상기 생성한 수평 방향 및 수직 방향의 각 음향 신호를, 수평 방향 음향 출력 수단 및 수직 방향 음향 출력 수단으로 각각 독립해서 재생시키는 것을 특징으로 한다.

또한, 본 발명의 음향 생성 장치는, 영상 신호에 관련한 음향 신호를 생성하는 음향 생성 장치로서, 영상의 수평 방향에 맞춘 음향 신호를 생성하는 수평 방향 음향 생성 수단과, 영상의 수직 방향에 맞춘 음향 신호를 생성하는 수직 방향 음향 생성 수단과, 이들 수평 방향 및 수직 방향 음향 생성 수단의 각 지향 특성을 가변으로 하는 지향성 생성 수단을 구비한 것을 특징으로 한다.

한편, 본 발명의 음향 재생 방법은, 영상 신호에 관련한 음향 신호를 재생하는 음향 재생 방법으로서, 영상의 수평 방향 및 수직 방향에 맞추어 생성한 수평 방향 음향 신호 및 수직 방향 음향 신호를, 영상을 표시하는 표시 화면의 주위 부근을 둘러싸도록 배치한 수평 방향 음향 출력 수단 및 수직 방향 음향 출력 수단으로 각각 독립해서 재생하는 것을 특징으로 한다.

또한, 본 발명의 음향 재생 장치는, 영상 신호에 관련한 음향 신호를 재생하는 음향 재생 장치로서, 영상을 표시하는 표시 화면과, 이 표시 화면의 주위 부근 을 둘러싸도록 배치된 수평 방향 음향 출력 수단 및 수직 방향 음향 출력 수단을 구비하고, 영상의 수평 방향 및 수직 방향에 맞추어 생성한 수평 방향 음향 신호 및 수직 방향 음향 신호를, 상기 수평 방향 음향 출력 수단 및 수직 방향 음향 출력 수단으로 각각 독립해서 재생하는 것을 특징으로 한다.

본 발명에 따르면, 영상의 표시 화면의 대화면화에 수반하여, 종래의 좌우(수평) 방향의 음장 생성에 대하여, 상하(수직) 방향의 음장을 더 부가함으로써, 피사체의 상하 방향의 움직임이 명확하게 됨과 함께, 상하 좌우방향으로부터의 음향을 공간 상에서 벡터 합성하여 피사체와 음원 방향을 일치시킬 수 있어, 보다 리얼한 입체 음장을 재현하여 임장감 넘치는 영상을 시청자에게 제공하는 것이 가능하게 된다. 또한, 본 발명은, 비디오 카메라에 응용할 수 있을 뿐만 아니라, 게임 등에서 컴퓨터 그래픽에 의해 합성된 영상의 움직임에 맞춘 음향을 생성함으로써, 마찬가지의 효과를 얻을 수 있다.

상술한 바와 같이, TV 화면의 대형화에 수반하여, 수평 방향뿐만 아니라 수직 방향(높이 방향)에도 음상을 생성하는 것은, 이하와 같은 장점을 가져온다.

1. 상하 방향의 음상의 움직임이 명확해진다. 예를 들면, 비행기 등의 이착륙 신, 상하 이동이 있는 미끄럼대, 제트 코스터 등의 놀이기구, 불꽃 등의 이동음이 명확해진다.

2. 대화면화에 수반하여 발생하는, 좌우 스피커의 상하 위치에 의존하는 화상과 음상의 불일치의 문제를 개선할 수 있다.

3. 촬상계의 렌즈 화각 정보를 얻음으로써, 한층 더 화상이 발하는 소리의 위치에, 음상을 일치시킬 수 있기 때문에, 예를 들면, 사람이 이야기할 때에, 그 음성이 발하는 「입」의 위치에 음상이 정위하는 등, 실제에 가까운 음장이 만들어진다.

(실시예)

도 1a, 도 1b는 본 발명의 실시예에 따른 음향 재생 장치(100)의 개략 구성을 나타내고 있다. 도 1a에 있어서, 디스플레이(1)의 표시 화면의 주위를 둘러싸도록 음향 출력 수단인 스피커(2, 3, 4 및 5)가 배치되어 있다. 스피커(2~5)는, 디스플레이(1)의 좌측 가장자리 대략 중앙부, 우측 가장자리 대략 중앙부, 상측 가장자리 대략 중앙부 및 하측 가장자리 대략 중앙부에 각각 배치되어 있다.

디스플레이(1)는, 액정 디스플레이, 플라즈마 디스플레이, 유기 일렉트로루미네센스 디스플레이 등, 대화면 박형 평면 디스플레이 등이 적용되지만, 물론, CRT(Cathode-Ray Tube)나, 소형 화면 디스플레이에도 적용 가능하다.

스피커(2)는 L(LEFT) 채널의 음장을 재생하고, 스피커(3)는 R(RIGHT) 채널의 음장을 재생한다. 이들 스피커(2) 및 스피커(3)에 의해 좌우 방향(수평 방향)의 음장을 재생하도록 하고 있다. 또한, 스피커(4)는 U(UP) 채널의 음장을 재생하고, 스피커(5)는 D(DOWN) 채널의 음장을 재생한다. 이들 스피커(4) 및 스피커(5)에 의해 상하 방향(수직 방향)의 음장을 재생하도록 하고 있다. 또한, 이들 스피커(2~5)에 의해, 본 발명의 "수평 방향 음향 출력 수단" 및 "수직 방향 음향 출력 수단"이 구성된다.

각 스피커(2~5)로부터 재생되는 음장은, 후술하는 음향 생성 장치에 의해서 생성된다. 이 음향 생성 장치에서는, 영상 음향에 맞추어 좌우 방향 및 상하 방향의 각각의 음장을 복수의 마이크로폰(이하 「마이크」라고도 한다.)을 이용하여 생성하고, 생성한 음장을 스피커(2~5)로부터 각각 독립해서 재생한다. 예를 들면, L 채널용, R 채널용, U 채널용 및 D 채널용의 마이크로폰에서 각 채널용의 음장을 각각 독립하여 수음하고, 이것을 대응하는 각 채널의 스피커에서 재생하도록 하고 있다.

이와 같이, 본 실시예의 음향 재생 장치(100)에서는, 스피커(2~5)에 의해, 디스플레이(1)에 표시되는 영상에 맞추어 상하, 좌우 방향의 음장을 재생함으로써, 시청자에 대하여 임장감이 있는 서라운드 효과를 제공하여, 보다 리얼감을 갖게 한 입체 음장의 재현을 가능하게 하고 있다.

또한, 스피커의 배치예는 도 1a의 예에 한정하지 않고, 예를 들면 도 1b에 도시하는 바와 같이, 디스플레이(1)의 4 코너 위치에 스피커(6~9)를 배치하는 것도 가능하다. 이 경우, 스피커(6)는 L 및 U 채널용, 스피커(7)는 R 및 U 채널용, 스피커(8)는 L 및 D 채널용, 그리고, 스피커(9)는 R 및 D 채널용으로 하고, 각 스피커(6~9) 각각으로 상하 방향 및 좌우 방향의 음장 재생을 행하게 한다.

다음으로, 본 실시예에 있어서의 음향 생성 장치(101)에 대하여 설명한다. 도 2는 음향 생성 장치(101)의 구성을 도시하는 블록도로서, 예를 들면, 가정용 비디오 카메라 등의 화상/음성 기록 장치에 적용된다.

우선, 본 발명의 "촬상 수단"에 대응하는 CCD(Charge Coupled Device) 등의 촬상 소자(11)로부터의 영상 신호는, 카메라계 신호 처리부(12)에 의해 소정의 화 상 변환 처리가 이루어져, 기록계 화상/음성 인코드 처리부(13)에 입력된다. 또한, 마이크로폰(17)과 마이크로폰(18)로부터의 음성 신호는, 마이크로폰 지향성 생성 처리부(19)에 의해 각 지향성 음성 신호로 변환되고, 기록계 화상/음성 인코드 처리부(13)에 입력되어, 영상신호와 함께 소정의 기록 스트림 신호로 인코드 처리된다. 그리고, 기록 스트림 신호는, 도면에 있어서 간략적으로 도시하는 스위치(14)를 기록시 측으로 절환하여, 비디오 디스크, 비디오 테이프 등의 기록 재생 수단(15)에 기록된다.

또한, 줌 렌즈(10) 및 줌 위치 신호의 상세에 대해서는, 후술한다.

또한, 재생 시에는, 스위치(14)를 재생시 측으로 절환하여 기록 재생 수단(15)으로부터 재생된 재생 스트림 신호를, 재생계 화상/음성 디코드 처리부(21)에 입력하고, 디코드된 화상 신호는 디스플레이(1)로 출력되고, 음성 신호는 복수의 앰프(22)를 통하여 도 1에 도시한 배치의 스피커(2~5)(또는 6~9)로 출력된다.

계속해서, 마이크로폰(17, 18) 및 마이크로폰 지향성 생성 처리부(19)의 상세에 대하여 설명한다.

한쪽의 마이크로폰(17)은, 본 발명의 「수평 방향 음향 생성 수단」에 대응하여, 촬상 소자(11)의 수평 방향과 일치한 방향에 지향성을 생성하는 마이크이고, 다른쪽의 마이크로폰(18)은, 본 발명의 「수직 방향 음향 생성 수단」에 대응하여, 촬상 소자(11)의 수직 방향과 일치한 방향에 지향성을 생성하는 마이크이다. 본 실시예에서는, 수평 방향 및 수직 방향의 각 지향성 신호를 생성하기 위해, 어레이 마이크로폰 방식을 일례로서 설명하지만, 이 이외에도, 카디오이드 특성이나 초지 향성을 갖는 마이크 등을 사용해도 좋다.

이들 마이크로폰(17) 및 마이크로폰(18)은, 예를 들면, 비디오 카메라의 표시 패널 이면측의 케이스 패널에 면하여 십자 형상 혹은 T자 형상 등으로 부착할 수 있다. 또한, 각 마이크로폰(17, 18)을 X자 형상으로 부착하고, 각 마이크로폰에 각각 수평, 수직 방향의 지향성을 갖게 하도록 해도 좋다. 이 경우에는, 도 1b에 도시한 배치의 스피커(6~9)에 대응한 각 지향성 신호를 생성한다.

도 3a, 도 3b는, 화각과 마이크 지향성의 관계를 나타내고 있다. 일반적인 비디오 카메라에 있어서는, 촬상 광학계에 줌 렌즈가 채용되어 있고, 이 줌 변화에 의해 용이하게 화면 사이즈가 가변되어, 예를 들면, 광각측과 망원측에서는 화각차가 발생한다.

그래서, 본 실시예에서는, 도 2에 도시하는 바와 같이, 줌 렌즈(10)로부터 줌 위치 신호를 마이크로폰 지향성 생성 처리부(19)에 입력하고, 이 때의 줌 위치에 있어서의 렌즈 화각에 맞춘 마이크로폰(17(18))의 지향성을, 광각측과 망원측에서 서로 다르게 변화시키도록 하고 있다. 이 마이크로폰 지향성 생성 처리부(19)는, 본 발명의 「지향성 생성 수단」에 대응하고 있다.

도 4는, 도 1a에 도시한 스피커(2~5)의 위치에 상당하는 지향 방향 A, B, C, D를 향하여 마이크로폰(17, 18)의 지향성을 생성한 예를 나타내고 있다. 그리고, 줌잉에 의해 촬상 화면 사이즈가 변화해도, 항상 그 광학 화각 정보로부터, 촬상 화면 사이즈에 대하여 각 지향 방향이 일정하게 되도록, 마이크로폰(17, 18)의 지향 특성을 가변으로 하고 있다(도 3b).

또한, 상술한 바와 같이, 반드시 줌잉시의 화각에 맞추어 마이크로폰(17, 18)의 지향성을 가변으로 할 필요는 없고, 예를 들면, 항상 광각측에 마이크로폰(17, 18)의 지향성을 고정해 두어도 좋다. 이 경우에는, 줌잉에 관계없이, 항상 상하 좌우에서 최대의 임장감을 얻을 수 있다.

도 5 및 도 6은, 마이크로폰(17, 18)을 구성하는 어레이 마이크로폰의 원리도이다. 여기서는, 4개의 마이크(31, 32, 33 및 34)를 이용하는 예에 대하여 설명한다.

각 마이크(31~34)는, 간극 d로 직선적으로 나열되어 있다. 그리고, 마이크(31, 32 및 33)의 출력은 각각 지연기(35, 36 및 37)을 통하여 가산기(38)에 입력된다. 가산기(38)는, 지연기(35~37)의 출력과 마이크(34)로부터의 출력을 모두 가산해서 출력한다. 지연기(35)에서는 지연 3T가 실시되고, 지연기(36)에서는 지연 2T가 실시되고, 지연기(37)에서는 지연 T가 실시되고 있다.

여기서, 간극 d에 대하여 충분히 멀고, 각각의 마이크(31~34)로부터 대략 등거리에 있는 음원 SA로부터 진폭 A의 정현파가 입력된 경우를 고려하면, 각각의 마이크 출력은 모두 Asinωt로 되고, 또한 지연기(35~37)에서 각각의 지연이 실시되어 가산기(38)에서 가산된다. 따라서, 가산기(38)에서는, 각각의 입력이 지연차 T를 가지고 가산되게 된다.

그런데, 지연차 T를 갖는 2개의 정현파가 가산된 경우의 합성파를 (1)식에 나타낸다. 단, 간단히 하기 위해 진폭 A=1로 한다.

sinωt+sin(t-T)=2cos(πfT)·sin(ωt-πfT) ……(1)

(1)식에 있어서, 진폭항 2cos(πfT)의 절대값을 종축으로 하고, 횡축의 주파수 f를 지연차 T로 정규화한 주파수 특성예를 도 7의 실선으로 나타낸다.

도 7에 도시한 바와 같이, 주파수가 1/(2T)에서 게인 최소값인 제로로 되고, 주파수가 제로와 1/T에서 게인 최대값인 2로 되고, 이후 이것을 반복한다. 예를 들면, T=50[μS(마이크로초)]라고 하면, 이것은 음속에서의 거리차로 약 17mm에 상당하고, 주파수를 제로에서부터 높여 가면 진폭이 감소하여, 10kHz에서 진폭이 제로로 되고, 20kHz에서는 재차 최대값으로 된다. 즉, 음성 대역의 대부분에 있어서 진폭 A의 신호를 가산해도, 진폭은 A의 2배로는 되지 않고 감소하게 된다. 또한, (1)식에서는 2신호를 가산했지만, 가산하는 신호 수가 많을수록 그 감소율은 더욱 커진다.

한편, 도 6에 도시한 예는, 음원 SB로부터 소정 각도를 가지고 진폭 A의 정현파가 입력된 경우를 나타내고 있다. 이 경우, 마이크(31)로부터는 Asinωt가 출력되고, 지연기(35)에 의해 지연 3T가 실시된다. 또한, 마이크(32)에는 마이크(31)보다 지연 T분만큼 지연되어 음파가 도달하기 때문에, Asinω(t-T)가 출력되고, 지연기(36)에 의해 지연 2T가 실시된다. 마찬가지로, 마이크(33)에는 마이크(31)보다 지연 2T분만큼 지연되어 음파가 도달하기 때문에, Asinω(t-2T)가 출력되고, 지연기(36)에 의해 지연 T가 실시된다. 또한, 마이크(34)에는 마이크(31)보다 지연 3T분만큼 지연되어 음파가 도달하기 때문에, Asinω(t-3T)가 출력된다. 따라서, 가산기(38)의 입력은, 모두가 Asinω(t-3T)와 동상 신호로 된다.

그런데, 2개의 정현파가 동상으로 가산된 경우의 진폭은, 도 7의 파선으로 나타내는 바와 같이, 전체 둘레 파수 대역에서 2배로 된다. 따라서, 도 6의 예에서는, 가산기(38)에 있어서 모두 동상으로 가산되기 때문에, 진폭은 A의 4배로 된다.

이와 같이, 도 5 및 도 6에 나타낸 어레이 마이크로폰에서는, 음원 SB 방향으로부터의 음파에 지향 선택성을 갖게 할 수 있고, 지연 T를 가변으로 하는 것에 의해 임의의 지향각에 지향 특성을 갖게 할 수 있다. 또한, 설명한 어레이 마이크로폰에 있어서의 마이크 개수, 마이크 배치 방법은 일례이며, 이 원리를 일탈하지 않는 범위에서 변경 가능하다.

그런데, 상술한 바와 같이, 어레이 마이크로폰(17, 18)에 있어서는, 도 4에 도시한 지향 방향 A, B, C, D에 지향성을 생성하고, 또한 줌잉에 의한 화각에 대응하는 지향 방향으로 지향성을 변화시키기 위해서는, 마이크로폰 지향성 생성 처리부(19)에 있어서, 도 5 및 도 6에 있어서의 지연기에 최적인 지연을 설정할 필요가 있다. 이하, 그 구체예에 대하여 설명한다.

도 8은 마이크 지향성 생성예를 나타내고 있다. 마이크(31~34)는, 도 2에 도시한 수평 방향 및 수직 방향의 각 마이크로폰(17, 18)을 구성하는 어레이 마이크로폰에 상당하고, 지향성 생성 처리 회로(40)는, 마이크로폰 지향성 생성 처리부(19)에 상당한다.

지향성 생성 처리 회로(40)는, 가변 지연기(41, 42, 43 및 44)와, 지향각/지연 변환 연산부(45)와, 가산기(46)를 구비하고 있다. 마이크(31~34)는 각각 간격 d를 두고 직선적으로 배치되어 있다. 마이크(31~34)의 출력은, 각각 가변 지연기 (41~44)에 공급된다. 각 가변 지연기(41~44)에 있어서, 마이크(31~34)의 출력 신호에 후술하는 지연 처리가 실시된 후, 가산기(46)에 있어서 모두 가산되어 출력된다.

가변 지연기(41~44)는, 지향각/지연 변환 연산부(45)에 의해 각각 독립적으로 지연량이 설정되도록 구성되어 있다. 지향각/지연 변환 연산부(45)는, 줌 렌즈(10)로부터의 줌 위치 신호를 받고, 이 줌 위치 신호에 기초하여 산출되는 지향각 신호로부터 각각의 가변 지연기(41~44)에 최적인 지연량으로 변환한다. 또한, 지향각을 줌잉 조작에 의해 가변하지 않고 소정 위치에 고정하는 경우, 지향각/지연 변환 연산부(45)는, 가변 지연기(41~44)를 소정의 지연량에 고정한다.

지향각/지연 변환 연산부(45)의 상세에 대하여 도 9 및 도 10을 참조하여 설명한다.

라인 형상으로 나열된 마이크(31~34)를 모두 포함하는 평면에 있어서, 마이크 정면 방향을 0°로 하고, 도 9의 예에서는 마이크(31)측의 임의의 지향각 θ 방향에 지향각을 생성하는 경우를 나타내고 있고, 지향각 θ는 0°에서 최대 90°까지 가변으로 한다. 마찬가지로, 도 10의 예에서는 마이크(34)측의 임의의 지향각 -θ 방향에 지향각을 생성하는 경우를 나타내고 있고, 지향각 -θ는 0°에서 최대 -90°까지 가변으로 한다.

여기서, 도 9에 있어서, 마이크(31)에 대한 마이크(32)의 상대 거리차를 tc, 마이크(31)에 대한 마이크(33)의 상대 거리차를 2tc, 마이크(31)에 대한 마이크(34)의 상대 거리차를 3tc로 하면, 마이크(31~34)의 후단에 있는 가변 지연기 (41~44)에서 각각에 설정되는 지연량 T1~T4는, d를 마이크간 거리, c를 음속으로 하면, 이하와 같이 된다.

T1=(d·sinθ)/c

T2=(d·sinθ)/2c

T3=(d·sinθ)/3c

T4=0

마찬가지로, 도 10에 있어서, 마이크(34)에 대한 마이크(31)의 상대 거리 차를 3tc, 마이크(34)에 대한 마이크(32)의 상대 거리차를 2tc, 마이크(34)에 대한 마이크(33)의 상대 거리차를 tc로 하면, 마이크(31~34)의 후단에 있는 가변 지연기(41~44)에서 각각에 설정되는 지연량 T1~T4는, 이하와 같이 된다.

T1=0

T2=(d·sinθ)/3c

T3=(d·sinθ)/2c

T4=(d·sinθ)/c

일례를 들면, 상온에 있어서, 마이크 간격 d를 10mm로 하면, 대표적인 지향각(90°, 60°, 30°, 0°, -30°, -60°, -90°)에 있어서 설정되는 지연량 T1~T4는, 도 11과 같이 된다.

따라서, 이상과 같이 구성된 어레이 마이크로폰에 있어서, 상술한 바와 같이 지연량을 설정하면, 임의의 지향각 θ에 대하여 지향성을 얻을 수 있고, 1조의 어레이 마이크로폰에 대하여, 도 8의 지향성 생성 처리 회로(40)를 2조씩 접속하고, 각각을 소정의 지향각을 갖도록 지연량을 설정하면, 어레이 마이크로폰의 라인 방향에 지향성이 생성되고, 또한 수평 방향과 수직 방향의 각각에 어레이 마이크로폰을 사용하면, 수평 방향과 상하 방향에 지향성이 생성되어, 본 발명의 목적이 달성되게 된다. 또한, 본 예에 있어서 설명한 마이크 수, 마이크간 거리, 마이크 배치는 일례이고, 본 발명의 목적을 일탈하지않는 범위에서 적절하게 변경하는 것이 가능하다.

다음으로, 도 2를 참조하여 설명한 마이크로폰 지향성 생성 처리부(19)의 일 구성예를 도 12에 도시하는 마이크로폰 지향성 생성 처리예와 아울러 설명한다.

어레이 마이크로폰(17)은 수평 방향에 어레이 형상으로 배열된 복수의 마이크로 이루어지고, 각 마이크로부터의 출력 신호는, R 채널 가변 지연기(52)와 L 채널 가변 지연기(53)에 입력되고, 각각 수평 지향각 산출부(54)에 의해, 촬상 화각에 맞춘 지향각으로 되도록 지연량이 설정된다. 수평 지향각 산출부(54)는, 줌 렌즈(10)로부터의 줌 위치 신호에 의해 줌잉에 맞춘 지향각이 가변으로 되어 있다. 그리고, 각각에 지연 처리가 실시된 신호는, 가산기(58)와 가산기(59)에서 가산되어, R 채널 출력(63) 및 L 채널 출력(64)으로서 출력된다.

마찬가지로, 어레이 마이크로폰(18)은 수직 방향에 어레이 형상으로 배열된 복수의 마이크로 이루어지고, 각 마이크로부터의 출력 신호는, U 채널 가변 지연기(56)와 D 채널 가변 지연기(57)에 입력되고, 각각 수직 지향각 산출부(55)에 의해, 촬상 화각에 맞춘 지향각으로 되도록 지연량이 설정된다. 수직 지향각 산출부(55)는, 줌 렌즈(10)로부터의 줌 위치 신호에 의해 줌잉에 맞춘 지향각이 가변으로 되 어 있다. 그리고, 각각에 지연 처리가 실시된 신호는, 가산기(61)와 가산기(62)에서 가산되어, U 채널 출력(65) 및 D 채널 출력(66)으로서 출력된다.

이상과 같이 하여 생성된 R 채널, L 채널, U 채널 및 D 채널의 각 출력(63~66)은, 도 4에 도시한 지향 방향 B, A, C, D의 각각으로부터 수음된 영상 신호에 관련된 좌우 방향 및 상하 방향의 음향 신호로 되고, 이들 각 출력을 도 2(도 1a)에 도시한 음향 재생 장치(100)의 각 스피커(3, 2, 4, 5)로부터 각각 독립해서 재생함으로써, 디스플레이(1)에 표시되는 영상에 관련된 좌우 방향 및 상하 방향의 음향 재생을 실현할 수 있다.

또한, 본 실시예에 있어서는, 수평 방향 및 수직 방향 음향 생성 수단으로서, 어레이 마이크로폰(17, 18)을 채용하고 있기 때문에, 마이크로폰 지향성 생성 처리부(19)와 병용함으로써, 지연량으로 지향 방향을 선택하여 용이하게 최적의 지향성을 생성할 수 있음과 함께, 마이크 개수에 의해 지향 특성을 최적으로 할 수 있기 때문에, 비교적 자유롭게 지향성을 변화시킬 수 있다.

이상, 본 발명의 실시예에 대하여 설명했지만, 물론, 본 발명은 이것에 한정되지 않고, 본 발명의 기술적 사상에 기초하여 여러 가지의 변형이 가능하다.

예를 들면, 이상의 실시예에서는, 디스플레이(1)의 주위 또는 그 부근을 둘러싸도록 배치한 복수의 스피커(2~5(6~9))를 이용하여 영상 신호에 관련한 수평 방향 및 수직 방향의 음장을 재현하도록 했지만, 이에 부가하여, 전cp 주위 방향의 서라운드 시스템을 본 발명에 적용하는 것도 가능하다.

예를 들면, 도 13a에 도시하는 입체 음장 재생 시스템 예에서는, 시청자의 전방의 디스플레이(1)의 주위에 좌우 방향의 FL(Front L 채널) 및 FR 스피커(2, 3)와, 상하 방향의 FU 및 FD 스피커(4, 5)를 배치한 음향 재생 장치(100)(도 1a)에 부가해서, 시청자의 후방에, RL(Rear L 채널) 및 RR 스피커(68, 69)를 배치함과 함께, 저음용의 SW(Sub Woofer) 스피커(70)를 임의의 위치에 배치한 예를 나타내고 있다.

또한, 도 13b에 도시하는 입체 음장 재생 시스템 예에서는, 시청자의 전방의 디스플레이(1)의 주위에 FLU(Front Left Up 채널) 스피커(6), FRU 스피커(7), FLD 스피커(8) 및 FRD 스피커(9)를 배치한 음향 재생 장치(100)(도 1b)에 부가해서, 시청자의 후방에, RL(Rear L 채널) 및 RR 스피커(68, 69)를 배치함과 함께, 저음용의 SW(Sub Woofer) 스피커(70)를 임의의 위치에 배치한 예를 나타내고 있다.

이에 의해, 용이하게 5.1 채널 등의 서라운드에 대응한 음향 신호를 얻을 수 있어, 본 발명에 따른 화면 상의 피사체 방향과 일치한 음장과 서라운드 음장에 의해, 한층 더한 임장감을 시청자에게 제공할 수 있다. 또한, 이러한 멀티 채널 신호를 비디오 카메라 등에 탑재된 마이크에 의해 수음하는 경우에는, 유지향성 마이크로폰을 각 지향 방향을 향하여 수음해도좋고, 어레이 마이크로폰과 서라운드 마이크로폰을 조합하도록 해도 좋다. 또한, 각 방향으로부터의 멀티 채널 신호를 기록하는 오디오 포맷으로서는, 7.1 채널까지 대응하는 MPEG2/AAC(Advanced Audio Coding) 부호화 방식 등을 들 수 있다.

또한, 이상의 실시예에서는, 음향 재생 장치(100)로서, 디스플레이(1)의 주위에 4개의 스피커(2~5) 혹은 스피커(6~9)를 배치한 예를 각각 설명했지만(도 1a, 도 1b), 스피커의 설치 수나 부착 위치 등은 상기한 예에 한정되지 않는다.

예를 들면, 도 14에 디스플레이(1)의 주위에 3개의 스피커(71, 72 및 73)를 부착한 예를 나타낸다. 이 예에서는, 스피커(71~73)는, 디스플레이(1)의 상측 가장자리 대략 중앙부, 좌측 가장자리 하방부 및 우측 가장자리 하방부에 각각 1개씩 설치되고, 전체 스피커(71~73)에서 상하 방향의 음장을 재생하고, 스피커(72) 및 스피커(73)에서 좌우 방향의 음장을 재생하도록 하고 있다. 이 예에 의해서도, 상술한 것과 마찬가지의 효과를 얻을 수 있다.

한편, 본 발명의 다른 실시예로서, 이들의 멀티 채널 음장 생성 기능을 비디오 카메라에 내장하여, 기록시 및 재생시에 리얼타임으로 실시해도 좋고, 또한 영상과 멀티 채널 음성을 개별로 수록하여, 컴퓨터 내의 어플리케이션 소프트웨어로서 실시하고, 비디오/오디오 파일의 편집시나, 파일 변환시, 그리고 DVD 기입시에 비 리얼타임 처리로서 실시해도 좋다.

또한, 본 발명은, 게임 용도에도 응용할 수 있다. 이 경우, 컴퓨터 그래픽(CG) 화면 상의 음원 위치에 맞추어, 화면 주위에 있어서의 각 방향의 음향 신호를 생성함으로써, 마찬가지의 음향 효과를 얻을 수 있다.

또한, 최근에 있어서는, 예를 들면, 디스플레이 화면의 앞면에 투명 진동판을 부착하고, 이 진동판을 음향 신호로 진동시킴으로써, 디스플레이 주변의 스피커를 이용하지 않고 음장을 재생하는 기술이 개발되어 있지만, 본 발명은 이러한 음향 출력 수단을 이용하여 실시하는 것도 가능하다.

본 명세서는 2004년 8월 27일에 일본 특허청에 제출된 일본특허출원 제2004- 248249호의 특허 대상을 포함하며, 그 전체 내용은 본 명세서에 참조로 합체된다.

당업자는, 첨부된 청구항 및 그 등가물의 번주를 벗어나지 않는 한, 다양한 변형, 조합, 하부 조합 및 변경이 디자인 요구 및 다른 요소에 따라 발생할 수 있다는 것을 이해할 것이다.

Claims

영상 신호에 관련한 음향 신호를 생성하는 음향 생성 방법으로서,

영상의 수평 방향 및 수직 방향에 맞춘 음향 신호를 각각 독립적으로 생성하는 단계와,

생성한 상기 수평 방향 및 상기 수직 방향의 음향 신호를, 수평 방향 음향 출력 수단 및 수직 방향 음향 출력 수단으로 각각 독립적으로 재생하도록 하는 단계

를 포함하는 음향 생성 방법.
제1항에 있어서,

상기 수평 방향 및 상기 수직 방향에 맞춘 상기 음향 신호를, 지향 특성이 제공된 어레이 마이크로폰을 이용하여 생성하는 음향 생성 방법.
제2항에 있어서,

상기 어레이 마이크로폰의 상기 지향 특성을, 상기 영상의 화면 사이즈에 맞추어 가변으로 하는 음향 생성 방법.
영상 신호에 관련한 음향 신호를 생성하는 음향 생성 장치로서,

영상의 수평 방향에 맞춘 음향 신호를 생성하는 수평 방향 음향 생성 수단 과,

상기 영상의 수직 방향에 맞춘 음향 신호를 생성하는 수직 방향 음향 생성 수단과,

상기 수평 방향 및 상기 수직 방향 음향 생성 수단의 각 지향 특성을 가변하는 지향성 생성 수단

을 포함하는 음향 생성 장치.
제4항에 있어서,

피사체상을 촬상하는 촬상 수단과,

상기 촬상 수단에 의해 생성된 상기 영상 신호와, 상기 수평 방향 및 상기 수직 방향 음향 생성 수단에 의해 생성된 상기 음향 신호를 기록 및 재생하는 기록 재생 수단을 더 포함하는 음향 생성 장치.
제4항에 있어서,

상기 수평 방향 음향 생성 수단 및/또는 상기 수직 방향 음향 생성 수단은, 복수의 마이크를 선형적으로 배치한 어레이 마이크로폰인 음향 생성 장치.
제4항에 있어서,

상기 지향성 생성 수단은, 상기 촬상 수단로부터의 광학 화각 정보에 기초하여, 상기 수평 방향 음향 생성 수단 및 상기 수직 방향 음향 생성 수단 각각의 지 향각을 가변하는 음향 생성 장치.
영상 신호에 관련한 음향 신호를 재생하는 음향 재생 방법으로서,

영상의 수평 방향 및 수직 방향에 맞추어 생성한 수평 방향 음향 신호 및 수직 방향 음향 신호를, 상기 영상을 표시하는 표시 화면의 주위 부근을 둘러싸도록 배치한 수평 방향 음향 출력 수단 및 수직 방향 음향 출력 수단으로 각각 독립적으로 재생하는 단계를 포함하는 음향 재생 방법.
영상 신호에 관련한 음향 신호를 재생하는 음향 재생 장치로서,

영상을 표시하는 표시 화면과,

상기 표시 화면의 주위 부근을 둘러싸도록 배치된 수평 방향 음향 출력 수단 및 수직 방향 음향 출력 수단을 포함하고,

상기 영상의 수평 방향 및 수직 방향에 맞추어 생성한 수평 방향 음향 신호 및 수직 방향 음향 신호를, 상기 수평 방향 음향 출력 수단 및 상기 수직 방향 음향 출력 수단으로 각각 독립적으로 재생하는 음향 재생 장치.
제9항에 있어서,

상기 수평 방향 음향 출력 수단 및 상기 수직 방향 음향 출력 수단은, 상기 표시 화면의 주위 부근을 둘러싸도록 배치된 적어도 3개의 스피커로 이루어진 음향 재생 장치.
제10항에 있어서,

상기 수평 방향 음향 출력 수단 및 상기 수직 방향 음향 출력 수단은, 상기 표시 화면의 좌측 가장자리부, 우측 가장자리부, 상측 가장자리부 및 하측 가장자리부의 각각의 대략 중앙 위치에 배치된 4개의 스피커로 이루어진 음향 재생 장치.
제10항에 있어서,

상기 수평 방향 음향 출력 수단 및 상기 수직 방향 음향 출력 수단은, 상기 표시 화면의 4 코너의 위치에 배치된 4개의 스피커로 이루어진 음향 재생 장치.
영상 신호에 관련한 음향 신호를 생성하는 음향 생성 장치로서,

영상의 수평 방향에 맞춘 음향 신호를 생성하는 제1 마이크로폰과,

상기 영상의 수직 방향에 맞춘 음향 신호를 생성하는 제2 마이크로폰과,

상기 수평 방향 및 상기 수직 방향 음향 생성 수단의 각 지향 특성을 가변하는 마이크로폰 지향성 생성 프로세서

를 포함하는 음향 생성 장치.
영상 신호에 관련한 음향 신호를 재생하는 음향 재생 장치로서,

영상을 표시하는 표시 화면과,

상기 표시 화면의 주위 부근을 둘러싸도록 배치된 수평 방향 스피커 및 수직 방향 스피커를 포함하고,

상기 영상의 수평 방향 및 수직 방향에 맞추어 생성한 수평 방향 음향 신호 및 수직 방향 음향 신호를, 상기 수평 방향 스피커 및 상기 수직 방향 스피커로 각각 독립적으로 재생하는 음향 재생 장치.