KR100891544B1 - 영상 음성 기록 장치 및 방법과, 영상 음성 재생 장치 및방법 - Google Patents

Abstract

영상 음성 기록 재생 장치(101)는 내장 스테레오 마이크(21a, 21b)와 외부 마이크 접속 단자(32)를 구비한다. 외부 마이크 접속 단자(32)에는 촬영자(300)의 귀에 장착하는 바이노럴 마이크(3)가 접속되어 있다. 바이노럴 마이크(3)로 주위음을 집음할 경우는 기록 매체에 기록하는 음성 신호를 내장 스테레오 마이크(21a, 21b)로부터의 음성 신호로부터 바이노럴 마이크(3)로부터의 바이노럴 음성 신호로 절환한다. 촬영자(300)는 바이노럴 마이크(3(31a, 32b))를 귀에 장착하여 피사체로부터 발생된 음을 포함하는 촬영자(300)의 주위음을 집음한다. 카메라부(11)는 피사체를 촬상한다. 기록 매체에 바이노럴 음성 신호와 촬상한 영상 신호와 바이노럴 플래그 신호를 기록한다.

바이노럴, 기록, 재생

Description

영상 음성 기록 장치 및 방법과, 영상 음성 재생 장치 및 방법 {VIDEO/AUDIO RECORDING APPARATUS AND METHOD, AND VIDEO/AUDIO REPRODUCING APPARATUS AND METHOD}

본 발명은, 피사체를 촬상한 영상 신호와 피사체로부터 발생된 소리를 포함하는 촬영자의 주위음을 집음(集音)한 음성 신호를 기록하는 영상 음성 기록 장치 및 방법, 및, 기록 매체에 기록한 영상 신호와 음성 신호를 재생하는 영상 음성 재생 장치 및 방법에 관련되고, 특히 촬상한 영상과 아울러 현장감이 있는 음성을 재생할 수 있는 영상 음성 기록 장치 및 방법과 영상 음성 재생 장치 및 방법에 관한 것이다.

피사체를 촬상한 영상 신호와 피사체로부터 발생된 소리를 포함하는 촬영자의 주위음을 집음한 음성 신호를 기록하는 영상 음성 기록 재생 장치(소위 비디오 카메라)가 보급되고 있다. 이 종류의 영상 음성 기록 재생 장치는 음성을 스테레오 녹음하기 위한 스테레오 마이크를 구비하고 있다. 근년, 영상 음성 기록 재생 장치는 소형화가 한층 진행되고 있고, 소형화된 영상 음성 기록 재생 장치에 탑재한 스테레오 마이크로는 현장감이 있는 음성을 기록하기 어렵다는 문제가 있다. 그래서, 보다 현장감이 있는 음성을 기록할 수 있는 영상 음성 기록 재생 장치가 요망되고 있다.

국제 공개 제96/10884호 팸플릿에는, 영상 음성 기록 재생 장치 본체의 양측에 귀 구조체를 배치함으로써, 피사체를 촬상한 영상 신호와 아울러 촬영자의 주위의 음장(音場)을 바이노럴(binaural) 집음한 음성을 기록할 수 있는 영상 음성 기록 재생 장치가 개시되어 있다.

그러나, 상기 문헌에 개시되어 있는, 바이노럴 마이크를 장치 본체에 부착한 영상 음성 기록 재생 장치에서는, 장치 본체의 횡폭, 즉 좌우의 마이크의 간격이 사람 머리와 같은 정도가 아니면 현장감이 있는 음성을 기록할 수 없다. 근년 제품화되고 있는 영상 음성 기록 재생 장치 본체는, 고밀도 기록 기술, 디지털 신호 기록 기술 및 영상 압축 처리 기술의 진보에 따라 소형화되고 있기 때문에, 영상 음성 기록 재생 장치 본체에 바이노럴 집음을 목적으로 하는 마이크를 탑재해도 기대하는 만큼의 효과가 얻어지지 않는다. 또한, 장치의 형상이 사람 머리와는 크게 다르기 때문에, 상기 문헌에 개시되어 있는 바와 같은 효과를 얻는 것은 곤란하다고 생각된다.

(발명의 개시)

본 발명은 이와 같은 문제점을 감안하여 이루어진 것이며, 장치 본체의 크기나 형상에 관계없이, 촬상한 영상과 아울러 현장감이 있는 음성을 재생할 수 있는 영상 음성 기록 장치 및 방법, 및, 영상 음성 재생 장치 및 방법을 제공하는 것을 목적으로 한다.

또한, 피사체를 줌업(zoom up) 하여 촬영하는 경우에, 피사체의 줌업에 연동하여 더욱 현장감이 있는 음성을 재생할 수 있는 영상 음성 기록 장치 및 방법, 및, 영상 음성 재생 장치 및 방법을 제공하는 것을 목적으로 한다.

그리고, 재생 신호를 시청하는 시청자와 바이노럴 집음한 촬영자가 다른 경우와 같이, 임의의 촬영자가 촬영하여 임의의 시청자가 시청할 경우라도, 위화감이 거의 없는 현장감이 있는 음성을 수청(受聽)할 수 있는 영상 음성 재생 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명은, 상술한 종래 기술의 과제를 해결하기 위해, 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자의 주위음을 집음한 음성 신호를 기록하는 영상 음성 기록 장치에 있어서, 상기 피사체를 촬상하는 카메라부와, 상기 주위음을 집음하는 마이크로서, 상기 촬영자의 귀에 장착하는 바이노럴 마이크를 사용할지 바이노럴 마이크 이외의 마이크를 사용할지를 절환하는 절환부와, 상기 카메라부로부터 출력된 영상 신호를 처리하는 비디오 처리부와, 상기 주위음을 집음하는 마이크로부터 출력된 음성 신호를 처리하는 오디오 처리부와, 상기 절환부에 의해 상기 주위음을 집음하는 마이크로서 상기 바이노럴로 절환한 경우에, 상기 주위음을 집음할 때의 음성 모드를 바이노럴 모드로 하여, 바이노럴 모드인 것을 나타내는 바이노럴 플래그 신호를 생성하는 플래그 정보 생성부와, 상기 절환부에 의해 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크로 절환한 경우에, 상기 비디오 처리부에 의해 처리된 영상 신호와, 상기 오디오 처리부에 의해 처리된 음성 신호로서, 상기 촬영자의 두부와 상기 바이노럴 마이크와의 위치 관계에 의한 바이노럴 음향이 주어진 주위음을 집음한 상기 바이노럴 마이크로부터 출력된 음성신호와, 상기 바이노럴 플래그 신호를 기록 매체에 기록하는 기록부를 구비하여 구성한 것을 특징으로 하는 영상 음성 기록 장치를 제공한다.

본 발명에 의하면, 장치 본체의 크기나 형상에 관계없이, 촬상한 영상과 아울러 현장감이 있는 음성을 재생할 수 있다. 또한, 피사체를 줌업 하여 촬영하는 경우, 피사체의 줌업에 연동하여 더욱 현장감이 있는 음성을 재생할 수 있다. 또한, 재생 신호를 시청하는 시청자와 바이노럴 집음한 촬영자가 다른 경우와 같이, 임의의 촬영자가 촬영하여 임의의 시청자가 시청하는 경우에도, 위화감이 거의 없는 현장감이 있는 음성을 수청할 수 있다.

이 구성에 있어서, 상기 영상 음성 기록 장치에 내장되어 있는 내장 마이크와, 외부 마이크 접속 단자와, 상기 외부 마이크 접속 단자에 접속하여 사용하는 외부 마이크로서, 상기 바이노럴 마이크인지 바이노럴 마이크 이외의 마이크인지를 설정하는 설정부와, 상기 외부 마이크 접속 단자에 외부 마이크가 접속되어 있는지 아닌지를 검출하는 접속 검출부와, 상기 오디오 처리부에 공급하는 음성 신호로서, 상기 내장 마이크로부터 출력된 음성 신호와 상기 외부 마이크로부터 출력된 음성 신호를 절환하는 스위치와, 상기 설정부에 의해 상기 외부 마이크가 바이노럴 마이크로 설정되고, 상기 접속 검출부에 의해 상기 외부 마이크 접속 단자에 외부 마이크가 접속되어 있는 것이 검출되었을 때, 음성 모드를 상기 바이노럴 모드로 하는 제어부를 구비하고, 상기 제어부는, 음성 모드가 상기 바이노럴 모드일 때, 상기 스위치가 상기 외부 마이크로부터 출력된 음성 신호를 상기 오디오 처리부에 공급하도록 상기 스위치를 절환 제어하고, 상기 플래그 정보 생성부가 상기 바이노럴 플래그 신호를 생성하도록 상기 플래그 정보 생성부를 제어하는 것이 바람직하다.

또한, 상기 카메라부로부터 출력된 영상 신호를 표시하는 표시부를 구비하고, 음성 모드가 상기 바이노럴 모드일 때, 상기 표시부에 상기 바이노럴 모드인 것을 나타내는 바이노럴 마이크를 표시하게 하는 표시 제어부를 구비하는 것이 바람직하다.

그리고, 상기 카메라부는 상기 피사체를 확대하여 촬상하는 줌 기능을 가지고, 상기 바이노럴 마이크에 의해 집음된 음성 신호를 상기 카메라부에 있어서의 확대율에 따라 증폭되는 음성 줌 처리부를 구비하는 것이 바람직하다.

그리고 또한, 상기 카메라부는 상기 피사체를 확대하여 촬상하는 줌 기능을 가지고, 상기 바이노럴 마이크가 집음하는 음성 신호의 음원(音源)을 가상적으로 수청자에 접근시켜 가상 음원을 형성하기 위한 두부(頭部) 전달 함수를 상기 가상 음원과 상기 수청자와의 복수의 거리에 대응시켜 기억하는 전달 함수 메모리와, 이 전달 함수 메모리에 기억된 복수의 두부 전달 함수 중 어느 하나를 상기 카메라부에 있어서의 확대율에 따라 선택적으로 취득하는 함수 취득기와, 상기 바이노럴 마이크에 의해 집음된 음성 신호에 대하여 상기 함수 취득기로 취득된 두부 전달 함수를 컨벌루션하는 컨벌루션 연산기를 가지는 음성 줌 처리부를 구비하는 것이 바람직하다.

본 발명은, 상술한 종래 기술의 문제를 해결하기 위해, 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자의 주위음을 집음한 음성 신호를 기록하는 영상 음성 기록 방법에 있어서, 상기 피사체를 촬상하는 촬상 스텝과, 상기 주위음을 집음하는 마이크로서, 상기 촬상자의 귀에 장착하는 바이노럴 마이크를 사용할지 바이노럴 마이크 이외의 마이크를 사용할지를 절환하는 절환 스텝과, 상기 피사체를 촬상한 영상 신호를 처리하는 비디오 처리 스텝과, 상기 주위음을 집음하는 마이크로부터 출력된 음성 신호를 처리하는 오디오 처리 스텝과, 상기 절환 스텝에서 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크로 절환한 경우에, 상기 주위음을 집음할 때의 음성 모드를 바이노럴 모드로 하여, 바이노럴 모드인 것을 나타내는 바이노럴 플래그 신호를 생성하는 플래그 정보 생성 스텝과, 상기 절환 스텝에서 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크로 절환한 경우에, 상기 비디오 처리 스텝에서 처리된 영상 신호와, 상기 오디오 처리 스텝에서 처리된 음성 신호로서, 상기 촬영자의 두부와 상기 바이노럴 마이크와의 위치 관계에 의한 바이노럴 음향 특성이 주어진 주위음을 집음한 상기 바이노럴 마이크로부터 출력된 음성 신호와, 상기 바이노럴 플래그 신호를 기록 매체에 기록하는 기록 스텝을 가지는 것을 특징으로 하는 영상 음성 기록 방법을 제공한다.

본 발명은, 상술한 종래 기술의 과제를 해결하기 위해, 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자의 주위음을 집음한 음성 신호가 기록된 기록 매체를 재생하는 영상 음성 재생 장치에 있어서, 상기 기록 매체에 기록된 기록 신호를 재생하는 재생부와, 상기 재생부에 의해 재생된 상기 기록 신호로부터 상기 영상 신호와 상기 음성 신호를 분리하는 분리화부와, 상기 분리화부에 의해 분리된 상기 영상 신호를 처리하는 비디오 처리부와, 상기 분리화부에 의해 분리된 상기 음성 신호를 처리하는 오디오 처리부와, 상기 기록 매체에, 상기 주위음을 집음하는 마이크로서 상기 촬영자의 귀에 장착하는 바이노럴 마이크를 사용한 것을 나타내는 바이노럴 플래그 신호가 기록되어 있을 때, 상기 바이노럴 플래그 신호를 취득하는 플래그 정보 취득부와, 상기 플래그 정보 취득부가 상기 바이노럴 플래그 신호를 취득했을 때, 상기 오디오 처리부에 의해 처리된 상기 음성 신호를 스피커에 의해 발음(發音)한 경우에 발생하는 크로스 토크(cross talk) 신호를 없애도록 상기 음성 신호를 처리하는 크로스 토크 캔슬러(cross talk canceler)를 구비하고, 상기 크로스 토크 캔슬러는 상기 음성 신호에 대하여 미리 구한 필터 특성을 컨벌루션하는 필터를 가지고, 상기 필터 특성은, 측정 신호를 원통형 구조체의 표면부에 장착한 한 쌍의 마이크로 집음한 음성 신호를 이용하여 계측한 두부 전달 함수에 기초한 필터 특성인 것을 특징으로 하는 영상 음성 재생 장치를 제공한다.

또한, 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자의 주위음을 집음한 음성 신호가 기록된 기록 매체를 재생하는 영상 음성 재생 방법에 있어서, 상기 기록 매체에 기록된 기록 신호를 재생하는 재생 스텝과, 상기 재생 스텝에서 재생된 상기 기록 신호로부터 상기 영상 신호와 상기 음성 신호를 분리하는 분리화 스텝과, 상기 분리화 스텝에서 분리된 상기 영상 신호를 처리하는 비디오 처리 스텝과, 상기 분리화 스텝에 의해 분리된 상기 음성 신호를 처리하는 오디오 처리 스텝과, 상기 기록 매체에, 상기 주위음을 집음하는 마이크로서 상기 촬영자의 귀에 장착하는 바이노럴 마이크를 사용한 것을 나타내는 바이노럴 플래그 신호가 기록되어 있을 때, 상기 바이노럴 플래그 신호를 취득하는 플래그 정보 취득 스텝과, 상기 플래그 정보 취득 스텝에서 상기 바이노럴 플래그 신호를 취득했을 때, 상기 오디오 처리 스텝에서 처리된 상기 음성 신호를 스피커에 의해 발음한 경우에 발생하는 크로스 토크 신호를 없애도록 상기 음성 신호를 처리하는 크로스 토크 캔슬 스텝을 가지고, 상기 크로스 토크 캔슬 스텝은 상기 음성 신호에 대하여 미리 구한 필터 특성을 컨벌루션하는 스텝이며, 상기 필터 특성은, 측정 신호를 원통형 구조체의 표면부에 장착한 한 쌍의 마이크로 집음한 음성 신호를 이용하여 계측한 두부 전달 함수에 기초한 필터 특성인 것을 특징으로 하는 영상 음성 재생 방법을 제공한다.
본 발명은, 상술한 종래 기술의 과제를 해결하기 위해, 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자의 주위음을 집음한 음성 신호를 기록하고 재생하는 영상 음성 기록 재생 장치에 있어서, 상기 피사체를 촬상하는 카메라부와, 상기 주위음을 집음하는 마이크로서, 상기 촬영자의 귀에 장착하는 바이노럴 마이크를 사용할지 바이노럴 마이크 이외의 마이크를 사용할지를 절환하는 절환부와, 상기 카메라부로부터 출력된 영상 신호를 처리하는 제1 비디오 처리부와, 상기 주위음을 집음하는 마이크로부터 출력된 음성 신호를 처리하는 제1 오디오 처리부와, 상기 절환부에 의해 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크로 절환된 경우에, 상기 주위음을 집음할 때의 음성 모드를 바이노럴 모드로서, 바이노럴 모드인 것을 나타내는 바이노럴 플래그 신호를 생성하는 플래그 정보 생성부와, 상기 절환부에 의해 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크로 절환된 경우에, 상기 제1 비디오 처리부에 의해 처리된 영상 신호와, 상기 제1 오디오 처리부에 의해 처리된 음성 신호로서, 상기 촬영자의 두부와 상기 바이노럴 마이크와의 위치 관계에 의한 바이노럴 음향 특성이 주어진 주위음을 집음한 상기 바이노럴 마이크로부터 출력된 음성 신호와, 상기 바이노럴 플래그 신호를 기록 매체에 기록하는 기록부와, 상기 기록 매체에 기록된 기록 신호를 재생하는 재생부와, 상기 재생부에 의해 재생된 상기 기록 신호로부터 상기 영상 신호와 상기 음성 신호를 분리하는 분리화부와, 상기 분리화부에 의해 분리된 상기 음성 신호를 처리하는 제2 비디오 처리부와, 상기 분리화부에 의해 분리된 상기 음성 신호를 처리하는 제2 오디오 처리부와, 상기 기록 매체에 상기 바이노럴 플래그 신호가 기록되어 있을 때, 상기 바이노럴 플래그 신호를 취득하는 플래그 정보 취득부와, 상기 플래그 정보 취득부가 상기 바이노럴 플래그 신호를 취득했을 때, 상기 제2 오디오 처리부에 의해 처리된 상기 음성 신호를 스피커에 의해 발음한 경우에 발생되는 크로스 토크 신호를 없애도록 상기 음성 신호를 처리하는 크로스 토크 캔슬러를 구비하고, 상기 크로스 토크 캔슬러는 상기 음성 신호에 대하여 미리 구한 필터 특성을 컨벌루션하는 필터를 가지고, 상기 필터 특성은, 측정 신호를 원통형 구조체의 표면부에 장착한 한 쌍의 마이크로 집음한 음성 신호를 이용하여 계측한 두부 전달 함수에 기초한 필터 특성인 것을 특징으로 하는 영상 음성 기록 재생 장치를 제공한다.
본 발명은, 상술한 종래 기술의 과제를 해결하기 위해, 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자의 주위음을 집음한 음성 신호를 기록하고 재생하는 영상 음성 기록 재생 방법에 있어서, 상기 피사체를 촬상하는 촬상 스텝과, 상기 주위음을 집음하는 마이크로서, 상기 촬영자의 귀에 장착하는 바이노럴 마이크를 사용할지 바이노럴 마이크 이외의 마이크를 사용할지를 절환하는 절환 스텝과, 상기 피사체를 촬상한 영상 신호를 처리하는 제1 비디오 처리 스텝과, 상기 주위음을 집음하는 마이크로부터 출력된 음성 신호를 처리하는 제1 오디오 처리 스텝과, 상기 전단 스텝에서 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크로 절환한 경우에, 상기 주위음을 집음할 때의 음성 모드를 바이노럴 모드로 하여, 바이노럴 모드인 것을 나타내는 바이노럴 플래그 신호를 생성하는 플래그 정보 생성 스텝과, 상기 절환 스텝에서 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크로 절환된 경우에, 상기 제1 비디오 처리 스텝에서 처리된 영상 신호와, 상기 제1 오디오 처리 스텝에서 처리된 음성 신호로서, 상기 촬영자의 두부와 상기 바이노럴 마이크와의 위치 관계에 의한 바이노럴 음향 특성이 주어진 주위음을 집음한 상기 바이노럴 마이크로부터 출력된 음성 신호와, 상기 바이노럴 플래그 신호를 기록 매체에 기록하는 기록 스텝과, 상기 기록 매체에 기록된 기록 신호를 재생하는 재생 스텝과, 상기 재생 스텝에서 재생된 상기 기록 신호로부터 상기 영상 신호와 상기 음성 신호를 분리하는 분리화 스텝과, 상기 분리화 스텝에서 분리된 상기 영상 신호를 처리하는 제2 비디오 처리 스텝과,상기 분리화 스텝에 의해 분리된 상기 음성 신호를 처리하는 제2 오디오 처리 스텝과, 상기 기록 매체에 상기 바이노럴 플래그 신호가 기록되어 있을 때, 상기 바이노럴 플래그 신호를 취득하는 플래그 정보 취득 스텝과, 상기 플래그 정보 취득 스텝에서 상기 바이노럴 플래그 신호를 취득했을 때, 상기 제2 오디오 처리 스텝에서 처리된 상기 음성 신호를 스피커에 의해 발음된 경우에 발생하는 크로스 토크 신호를 없애도록 상기 음성 신호를 처리하는 크로스 토크 캔슬 스텝을 가지고, 상기 크로스 토크 캔슬 스텝은 상기 음성 신호에 대하여 미리 구한 필터 특성을 컨벌루션하는 스텝으로서, 상기 필터 특성은, 측정 신호를 원통형 구조체의 표면부에 장착한 한 쌍의 마이크로 집음한 음성 신호를 이용하여 계측한 두부 전달 함수에 기초한 필터 특성인 것을 특징으로 하는 영상 음성 기록 재생 방법을 제공한다.

도1 은, 본 발명의 제1 실시형태에 관련된 영상 음성 기록 재생 장치를 나타내는 외관 사시도이다.

도2 는, 본 발명의 제1 실시형태에 관련된 영상 음성 기록 재생 장치를 이용하여 피사체를 촬영하고 있는 상태를 나타내는 도면이다.

도3 은, 본 발명의 도1 의 실시형태에 관련된 영상 음성 기록 재생 장치의 내부 구성예를 나타내는 블록도이다.

도4 는, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서 음성 모드의 초기 설정을 행하는 표시 화면을 나타내는 도면이다.

도5 는, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 바이노럴 마이크의 표시예를 나타내는 도면이다.

도6 은, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에서 이용하는 바이노럴 마이크의 변형예를 나타내는 도면이다.

도7 은, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에서 이용하는 바이노럴 마이크의 변형예를 나타내는 도면이다.

도8 은, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에서 이용하는 바이노럴 마이크의 변형예를 나타내는 도면이다.

도9 는, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 바이노럴 플래그 신호의 기술(記述) 포맷의 일 예를 나타내는 도면이다.

도10 은, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 바이노럴 플래그 신호의 기술 포맷의 다른 예를 나타내는 도면이다.

도11 은, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 바이노럴 플래그 신호의 기술 포맷의 또 다른 예를 나타내는 도면이다.

도12 는, 본 발명의 제1 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 기록 동작을 설명하기 위한 플로우 차트이다.

도13 은, 본 발명의 제1 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 재생 동작을 설명하기 위한 플로우 차트이다.

도14 는, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에서 이용하는 크로스 토크 캔슬러의 구성예를 나타내는 블록도이다.

도15 는, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에서 이용하는 크로스 토크 캔슬러에서 이용하는 두부 전달 함수 특성을 구하기 위한 두부 전달 함수 측정 장치를 나타내는 도면이다.

도16 은, 도15 에 나타내는 두부 전달 함수 측정 장치에서 이용하는 마이크 유닛을 부착한 원통형 구조체와 비교하기 위한 더미 헤드 마이크를 나타내는 도면이다.

도17 은, 도15 에 나타내는 두부 전달 함수 측정 장치에서 측정한 임펄스 응답 파형을 나타내는 파형도이다.

도18 은, 도15 에 나타내는 두부 전달 함수 측정 장치에서 측정한 주파수 특성을 나타내는 파형도이다.

도19 는, 더미 헤드 마이크를 이용하여 측정한 임펄스 응답 파형을 나타내는 파형도이다.

도20 은, 더미 헤드 마이크를 이용하여 측정한 주파수 특성을 나타내는 파형도이다.

도21 은, 마이크 유닛을 부착한 원통형 구조체를 이용하여 측정한 두부 전달 함수에 기초하는 필터 특성에 의한 크로스 토크 캔슬 특성을 설명하기 위한 도면이다.

도22 는, 더미 헤드 마이크를 이용하여 측정한 두부 전달 함수에 기초하는 필터 특성에 의한 크로스 토크 캔슬 특성을 설명하기 위한 도면이다.

도23 은, 마이크 유닛을 부착한 원통형 구조체를 이용하여 측정한 두부 전달 함수에 기초하는 필터 특성에 의한 크로스 토크 캔슬 특성을 설명하기 위한 도면이다.

도24 는, 더미 헤드 마이크를 이용하여 측정한 두부 전달 함수에 기초하는 필터 특성에 의한 크로스 토크 캔슬 특성을 설명하기 위한 도면이다.

도25 는, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에서 이용하는 크로스 토크 캔슬러의 다른 구성예를 나타내는 블록도이다.

도26 은, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에서 이용하는 크로스 토크 캔슬러의 또 다른 구성예를 나타내는 블록도이다.

도27 은, 본 발명의 각 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 헤드폰에서의 재생 동작을 나타내는 플로우 차트이다.

도28 은, 본 발명의 제2 실시형태에 관련된 영상 음성 기록 재생 장치의 내부 구성예를 나타내는 블록도이다.

도29 는, 본 발명의 제2 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 음성 줌 처리부의 구성예를 나타내는 블록도이다.

도30 은, 본 발명의 제2 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 음성 줌 처리를 행하는 경우의 동작을 설명하기 위한 플로우 차트이다.

도31 은, 본 발명의 제2 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 음성 줌 처리부의 다른 구성예를 나타내는 블록도이다.

도32 는, 도31 의 음성 줌 처리부의 다른 구성예에서 이용하는 두부 전달 함수를 구하기 위한 두부 전달 함수 측정 장치를 나타내는 도면이다.

도33 은, 도32 의 두부 전달 함수 측정 장치로 이용하는 더미 헤드 마이크를 나타내는 단면도이다.

도34 는, 도32 의 두부 전달 함수 측정 장치에서 측정하여 얻어진 두부 전달 함수의 특성을 나타내는 도면이다.

도35 는, 도32 의 두부 전달 함수 측정 장치에서 측정하여 얻어진 두부 전달 함수의 특성을 나타내는 도면이다.

도36 은, 도32 의 두부 전달 함수 측정 장치에서 측정하여 얻어진 두부 전달 함수의 특성을 나타내는 도면이다.

도37 은, 도32 의 두부 전달 함수 측정 장치에서 측정하여 얻어진 두부 전달 함수의 특성을 나타내는 도면이다.

도38 은, 도32 의 두부 전달 함수 측정 장치에서 측정하여 얻어진 두부 전달 함수의 특성을 나타내는 도면이다.

도39 는, 도32 의 두부 전달 함수 측정 장치에서 측정하여 얻어진 두부 전달 함수의 특성을 나타내는 도면이다.

도40 은, 본 발명의 제2 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서 도31 에 나타내는 음성 줌 처리부의 다른 구성예를 이용하여 음성 줌 처리를 행하는 경우의 동작을 설명하기 위한 플로우 차트이다.

도41 은, 본 발명의 제3 실시형태에 관련된 영상 음성 기록 재생 장치의 내부 구성예를 나타내는 블록도이다.

도42 는, 본 발명의 제3 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 음성 줌 처리부의 구성예를 나타내는 블록도이다.

도43 은, 본 발명의 제3 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 음성 줌 처리부의 다른 구성예를 나타내는 블록도이다.

도44 는, 본 발명의 제4 실시형태에 관련된 영상 음성 기록 재생 장치의 내부 구성예를 나타내는 블록도이다.

도45 는, 본 발명의 제4 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 음성 줌 처리부의 구성예를 나타내는 블록도이다.

도46 은, 본 발명의 제4 실시형태에 관련된 영상 음성 기록 재생 장치에 있 어서의 뉴얼 음성 줌 처리를 설명하기 위한 플로우 차트이다.

도47 은, 본 발명의 제5 실시형태에 관련된 영상 음성 기록 재생 장치의 내부 구성예를 나타내는 블록도이다.

도48 은, 본 발명의 제5 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 음성 줌 처리부의 구성예를 나타내는 블록도이다.

도49 는, 본 발명의 제6 실시형태에 관련된 영상 음성 기록 재생 장치를 나타내는 외관 사시도이다.

도50 은, 본 발명의 제6 실시형태에 관련된 영상 음성 기록 재생 장치의 내부 구성예를 나타내는 블록도이다.

도51 은, 본 발명의 제6 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 코드 수납부의 구성예를 나타내는 평면도이다.

도52 는, 본 발명의 제7 실시형태에 관련된 영상 음성 기록 재생 장치를 나타내는 외관 사시도이다.

도53 은, 본 발명의 제7 실시형태에 관련된 영상 음성 기록 재생 장치의 내부 구성예를 나타내는 블록도이다.

도54 는, 본 발명의 제7 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 무선형 바이노럴 마이크와 무선 송수신부의 구체적 구성예를 나타내는 블록도이다.

도55 는, 본 발명의 제7 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서 무선형 바이노럴 마이크가 통신 가능권을 넘은 경우의 경고를 설명하기 위한 도면이다.

도56 은, 본 발명의 제7 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서 무선형 바이노럴 마이크가 통신 가능권을 넘은 경우에 표시부에 표시시키는 경고 마크의 예를 나타내는 도면이다.

도57 은, 본 발명의 제7 실시형태에 관련된 영상 음성 기록 재생 장치에 있어서의 동작을 설명하기 위한 플로우 차트이다.

(발명을 실시하기 위한 최량의 형태)

이하, 본 발명의 영상 음성 기록 장치 및 방법, 및, 영상 음성 재생 장치 및 방법의 실시형태에 대하여 도면을 참조하면서 설명한다.

<<제1 실시형태>>

도1 은, 제1 실시형태인 영상 음성 기록 재생 장치(101)의 외관 구성예를 나타내는 사시도이다.

도1 에 나타내는 영상 음성 기록 재생 장치(101)는, 카메라부(11), 표시부(17), 내장 스테레오 마이크(21a, 21b), 외부 마이크 접속 단자(32)를 구비하여 구성되어 있다. 외부 마이크 접속 단자(32)에는 무(無)지향성의 좌우의 마이크(31a 및 31b)를 가지는 이어폰형의 바이노럴 마이크(3)가 착탈이 자유롭게 접속된다. 여기에서는, 바이노럴 마이크(3)를 외부 마이크 접속 단자(32)에 접속한 상태를 도시하고 있다. 마이크(31a, 31b)는 내부에 진동판을 구비한다. 영상 음성 기록 재생 장치(101)는 다음에 상술하는 바와 같이, 내장 스테레오 마이크(21a, 21b)를 이용한 촬영(음성 수록)과 바이노럴 마이크(3)를 이용한 촬영(음성 수록)을 선택적으로 행할 수 있도록 이루어져 있다. 또한, 촬영이란, 단순히 피사체의 영상을 촬상할 뿐만 아니라, 피사체의 영상을 촬상하는 것과 피사체로부터 발생된 음을 포함하는 촬영자의 주위음을 집음하는 것의 쌍방을 의미하는 경우가 있다.

도2 는, 촬영자(300)가 영상 음성 기록 재생 장치(101)를 이용하여 도시하지 않는 피사체를 촬영하고 있는 상태를 나타내고 있다. 바이노럴 마이크(3)를 이용하여 집음하면서 피사체를 촬영하는 경우에는, 도2 에 나타내는 바와 같이, 촬영자(300)는 좌우의 귀(302)에 좌우의 마이크(31a, 31b)를 장착한다. 이에 따라, 촬영자(300)의 두부(30)와 마이크(31a, 31b)와의 위치 관계에 의해 주어지는 바이노럴 음향 특성으로 피사체로부터 발생된 음을 포함하는 촬영자(300)의 주위음이 집음된다. 촬영자(300)는, 표시부(17)에 표시되는 피사체의 모니터 영상을 눈으로 보면서, 피사체를 카메라부(11)로 촬영함과 함께 주위음을 바이노럴 마이크(3)로 집음한다. 다음에 상술하는 바와 같이, 카메라부(11)로 촬상한 영상 신호와 바이노럴 마이크(3)로 집음한 음성 신호가 여기에서는 도시하고 있지 않은 기록 매체에 기록된다. 또한, 다음에 상술하는 바와 같이, 기록 매체에 기록된 영상 신호는, 시청자가 마치 촬영자(300)와 동일한 촬영 환경에서 시청하고 있는 것 같은 현장감을 가지는 음성과 함께 재생된다.

도3 은, 영상 음성 재생 기록 재생 장치(101)의 구체적인 내부 구성예를 나타내는 블록도이다.

영상 음성 기록 재생 장치(101)는, 카메라부(11), 비디오 부호화부(12), 다 중화부(13), 기록·재생부(14), 분리화부(分離化部; 15), 비디오 복호화부(16), 표시부(17), 내장 스테레오 마이크(21(21은, 21a, 21b의 총칭)), 오디오 부호화부(22), 오디오 복호화부(26), 크로스 토크 캔슬러(27), 외부 마이크 접속 단자(32), 플래그 정보 취득부(36), 영상 출력 단자(37a), 음성 출력 단자(37b), 접속 검출부(41), 플래그 정보 생성부(42), 기록 매체(44), 제어부(47), 조작부(48), 스위치(Sw1, Sw2, Sw3)를 구비하여 구성되어 있다. 또한, 기록 매체(44)로서는, 디스크 형상 기록 매체나 테이프 카세트와 같은 착탈이 자유로운 기록 매체라도 좋고, 하드 디스크와 같이 영상 음성 기록 재생 장치(101) 내에 미리 장착되어 있는 기록 매체라도 좋다.

영상 출력 단자(37a)에는, 텔레비젼 수상기 등의 모니터(52)가 접속된다. 음성 출력 단자(37b)에는 앰프(51)를 통하여 스피커(53, 53)가 접속된다. 스피커(53, 54)로부터 발음된 음성은 시청자(59)에 의해 수청된다. 또한, 도3 에서는 편의상, 촬영자(300)와 시청자(59)를 동시에 도시하고 있지만, 통상은 촬영자(300)에 의한 촬영과 시청자(59)에 의한 재생 영상·음성의 시청은 별개로 행해지는 것은 말할 필요도 없다.

<기록 동작>

영상 음성 기록 재생 장치(101)에 있어서의 기록 동작에 대하여 설명한다.

먼저, 촬영자(300)가 조작부(48)에 의해 음성 모드의 초기 설정 화상(윈도우)을 표시시키는 조작을 행하면, 제어부(47)는 일 예로서 도4 에 나타내는 바와 같은 초기 설정 화상(170)을 표시부(17)에 표시시킨다. 외부 마이크 접속 단 자(32)에는, 외부 마이크로서, 도1, 도2 에서 설명한 바와 같은 바이노럴 마이크(3)와 통상의 외부 마이크 모두 접속할 수 있다. 조작부(48)에 의한 소정의 조작에 의해, 촬영자(300)은 바이노럴 마이크(3)를 이용하여 집음하는 경우에는, 도4 에 나타내는 바와 같이 "바이노럴"을 선택하고, 통상의 외부 마이크를 이용하여 집음하는 경우에는 "노멀"을 선택한다. 제어부(47)는, 외부 마이크 접속 단자(32)에 접속하여 사용하는 외부 마이크로서, 바이노럴 마이크(3)인지 바이노럴 마이크 이외의 마이크인지를 설정하는 설정부로 되어 있다. 외부 마이크 입력으로서 "바이노럴"이 선택되고, 또한, 접속 검출부(41)가 외부 마이크 접속 단자(32)에 외부 마이크의 플래그가 삽입되어 있는 것을 검출한 경우에, 제어부(47)는, 영상 음성 기록 재생 장치(101)가 바이노럴 마이크(3)를 이용한 촬영에 대응한 기록 동작을 행하도록 회로 각부를 제어한다. 바이노럴 마이크(3)를 이용하여 주위음을 집음하고, 집음한 음성 신호를 기록하는 음성 모드를 바이노럴 모드로 칭하기로 한다. 내장 스테레오 마이크(21) 또는 통상의 외부 마이크를 이용하여 주위음을 집음하고, 집음한 음성 신호를 기록하는 음성 모드를 노멀 모드(Normal mode)라고 한다.

또한, 바이노럴 마이크(3)의 플래그를 통상의 외부 마이크와는 다른 바이노럴 마이크(3) 전용의 형상으로 하고, 외부 마이크 접속 단자(32)를 바이노럴 마이크(3) 전용의 접속 단자로 하면, 전술한 음성 모드의 초기 설정을 생략할 수 있다.

구체적으로는, 도3 에 있어서, 접속 검출부(41)는 외부 마이크 접속 단자(32)에 외부 마이크가 접속되어 있는 것을 검출하면, 검출 신호를 제어부(47)로 공급한다. 제어부(47)는 외부 마이크가 "바이노럴"에 설정된 상태에서 외부 마이 크가 접속되어 있는 것을 나타내는 검출 신호가 입력되면, 스위치(Sw1)를 내장 스테레오 마이크(21)로부터의 음성신호를 입력하는 단자(a)로부터, 바이노럴 마이크(3)로부터의 음성 신호를 입력하는 단자(b)로 절환(switch)한다. 이에 따라, 바이노럴 마이크(3)로부터의 음성 신호가 오디오 부호화부(22)로 공급된다. 스위치(Sw1)는 주위음을 집음하는 마이크로서, 촬영자(300)의 귀(302)에 장착하는 바이노럴 마이크를 사용할지 바이노럴 마이크 이외의 마이크를 사용할지를 절환하는 절환부로 되어있다.

또한, 제어부(47)는, 플래그 정보 생성부(42)가 바이노럴 모드인 것을 나타내는 플래그 정보(바이노럴 플래그 신호)를 생성하여 출력하도록 제어한다. 바이노럴 플래그 신호는 다중화부(13)에 입력된다.

이와 같이 바이노럴 모드의 설정이 된 경우, 제어부(47)는 표시부(17)에 바이노럴 모드로 되어 있는 것을 나타내는 마크를 표시시키는 것이 바람직하다. 도5 에 마크의 예를 나타낸다. 도5(A) 에 나타내는 마크(171)는 바이노럴 마이크(3)를 사용하는 촬영자(300)를 모식적으로 나타내는 마크이며, 도5(B) 에 나타내는 마크(172)는 바이노럴 음성의 스피커 재생을 모식적으로 나타내는 마크이다. 바이노럴 모드를 나타내는 마크로서는 도5(A),(B) 중 어느 마크를 이용해도 좋고, 물론 이것 이외의 마크를 이용해도 좋다. 이들의 마크는, 전술한 초기 설정 종료 후나 외부 마크 접속 단자(32)에 바이노럴 마크(3)가 접속된 경우에 카메라부(11)로 촬영한 영상에 중첩하여 표시부(17)에 표시시키면 좋다. 이와 같은 마크 표시에 의해 촬영자(300)는 바이노럴 마이크(3)를 사용할 때에, 음성 모드가 바이노럴 모드 에 설정되어 있는지 아닌지를 확인할 수 있다. 제어부(47)는, 음성 모드가 바이노럴 모드일 때, 표시부(17)에 바이노럴 모드인 것을 나타내는 바이노럴 마크(마크(171, 172))를 표시시키는 표시 제어부로 되어 있다.

바이노럴 마이크(3)의 좌우의 마이크(31a, 31b)를 좌우의 귀(302)에 장착한 촬영자(300)는 피사체를 카메라부(11)로 촬상한다. 카메라부(11)로부터 출력된 영상 신호는 비디오 부호화부((비디오 처리부)12) 및 스위치(Sw3)의 단자(g)에 입력된다. 영상 음성 기록 재생 장치(101)로 촬영(기록)을 행하고 있을 경우에는, 스위치(Sw3)는 단자(g)로 절환되어 있고, 카메라부(11)로부터의 영상 신호가 표시부(17)에 공급되어 피사체의 화상이 표시된다. 이와 동시에, 촬영자(300)의 두부(30)와 마이크(31a, 31b)와의 위치 관계에 의해, 마이크(31a, 31b)로부터는 피사체를 정중면 방향으로 하는 바이노럴 집음한 음성 신호가 얻어진다. 이 음성 신호는 스위치(Sw1)를 통하여 오디오 부호화부((오디오 처리부)22)로 입력된다.

여기에서는 기록 매체(44)가 DV 카세트인 경우에 대하여 설명하면, 비디오 부호화부(12)는 입력된 영상 신호를 A/D 변환시킴과 함께 DV 압축 방식에 의해 부호화하여 부호화 영상 신호를 생성한다. 오디오 부호화부(22)는 입력된 음성 신호를 A/D 변환시킴과 함께 비(非)압축의 음성 신호의 데이터 위치를 셔플링에 의해 재병열하여 부호화 음성 신호를 생성한다.

다중화부(13)는, 입력된 부호화 영상 신호와 부호화 음성 신호와 바이노럴 플래그 신호를 민생용 디지털 VCR 사양으로 정해진 신호 포맷에 따라 시분할 다중하여 다중화 신호를 생성한다. 다중화부(13)로부터 출력된 다중화 신호는 기록· 재생부(14)에 입력된다. 기록·재생부(14)는 입력된 다중화 신호를 민생용 디지털 VCR 사양으로 정해진 기록 포맷에 따라 기록 매체(44)에 기록한다. 바이노럴 플래그 신호의 구체적인 기록 방법은 다음에 상술한다.

여기서, 바이노럴 마이크(3)의 변형예에 대하여 설명한다.

<바이노럴 마이크(3)의 변형예>

도6(A) 는 마이크(31a, 31b)의 제1 변형예인 마이크(31c)를 나타내고 있고, 도6(B) 는 마이크(31a, 31b)의 제2 변형예인 마이크(31d)를 나타내고 있다. 도6(A) 에 나타내는 마이크(31c)는, 촬영자(300)의 귀(302)에 삽입하는 마이크 유지부(312)와, 마이크 유지부(312)의 상부에 연결되어 설치되어 있고, 진동판 등의 마이크 유닛을 수납하는 마이크 수납부(311)를 구비하고 있다. 바이노럴 마이크(3)를 마이크 수납부(311)와 마이크 유지부(312)로 분리한 구조의 마이크(31c)로 함으로써, 촬영자(300)는 바이노럴 마이크(3)를 장착해도 외부로부터 도래하는 음을 양호하게 들을 수 있다. 도6(B) 에 나타내는 마이크(31d)는, 마이크 유지부(312)의 하부에 연결되어 마이크 수납부(311)를 설치한 것이다. 마이크(31d)에서도 마이크(31c)와 마찬가지의 효과가 있다.

도7 은 마이크 유지부(312)의 구체적 구성예를 나타내는 사시도이다. 여기에서는 마이크 유지부(312)의 상부에 마이크 수납부(311)를 설치한 도6(A) 의 마이크(31c)에 대하여 나타내고 있다. 도7(A) 에 나타내는 마이크 유지부(312)는, 유지부 본체(312a)에, 귀(302)의 내부를 향함에 따라 지름이 작아지는 테이퍼 형상의 통음 구멍(313a)을 형성한 것이다. 도7(B) 에 나타내는 마이크 유지부(312)는, 유 지부 본체(312a)에 원주 형상의 음 구멍(313b)을 형성한 것이다. 도7(A) 의 유지부 본체(312a)는 촬영자(300)의 귀(302)에 삽입이 용이하며, 도7(B) 의 유지부 본체(312b)는 장착시의 외음의 감쇠가 작다는 특장을 가진다.

도8 은, 도6(A) 의 마이크(31c)의 마이크 유지부(312)의 외형을 다르게 한 예를 나타내고 있다. 도8 에 있어서, (A)는 큰 외형을 가지는 마이크 유지부(312), (B)는 중간 외형을 가지는 마이크 유지부(312), (C)는 작은 외형을 가지는 마이크 유지부(312)이다. 이와 같이 마이크 유지부(312)로서 복수의 크기의 것을 준비하면 촬영자(300)는 자신의 귀(302)의 크기에 맞는 것을 선택할 수 있다. 또한, 도8(A)∼(C)는 마이크 수납부(311(마이크 유닛))의 형상 및 크기는 동일하며, 마이크 유닛의 감도 및 응답 주파수 특성도 동일하다.

<바이노럴 플래그 신호의 기록>

촬영자(300)가 바이노럴 마이크(3)를 장착하여 집음한 바이노럴 음성과 내장 스테레오 마이크(21)로 집음한 스테레오 음성을 식별하기 위해, 바이노럴 음성 집음시에는 바이노럴 음성과 함께 바이노럴 플래그 신호를 기록 매체(44)에 기록한다. 바이노럴 플래그 신호는 플래그 정보 생성부(42)에서 생성된다.

먼저, 기록 매체(44)가 DV 카세트인 경우의 바이노럴 플래그 신호의 구체적인 기록 방법에 대하여 설명한다.

도9 는 DV 카세트에 오디오 데이터를 기록하는 경우의 데이터 포맷이다. 0∼89 바이트의 오디오 데이터를 기록함에 있어, 제0, 1 바이트는 동기(同期) 코드를, 제2∼4 바이트는 ID(식별) 코드를, 제5∼9 바이트는 오디오용 보조 데이 터(AUX)를, 제10∼81은 오디오 데이터를, 그리고 제82∼89는 오류 데이터 검출 및 정정용의 내부호 패리티(inner code parity) 데이터를 기록한다. 플래그 정보 생성부(42)는 일 예로서 바이노럴 모드이면 바이노럴 플래그 신호로서 1을 출력하고, 바이노럴 모드가 아니면(노멀 모드이면) 0을 출력한다. 다중화부(13)는 도9 에 나타내는 데이터 포맷의 신호를 생성한다.

다음으로, 기록 매체(44)가 기록용의 디스크인 경우의 바이노럴 플래그 신호의 구체적인 기록 방법에 대하여 설명한다. 기록용의 디스크로서는, DVD-RAM, DVD-RW, DVD-R과 같은 적색 레이저 빛을 이용하여 기록 재생하는 디스크와, Blu-ray Disc나 HD-DVD와 같은 청색 레이저 빛을 이용하여 기록 재생하는 디스크가 있다. 여기에서는 이들의 기록용의 디스크 전반에 적용할 수 있는 DVD 비디오 규격을 이용하여 바이노럴 플래그 신호를 중첩하는 경우에 대하여 설명한다.

DVD 비디오 규격을 이용하여 바이노럴 플래그 신호를 중첩하는 제1 방법으로서는, DVD 비디오 규격에 있어서의 DVD-Video zone에 바이노럴 플래그 신호를 중첩하는 방법이 고려된다.

도10 에 나타내는 바와 같이, DVD 규격의 볼륨 공간(Volume space)은, Volume and File structure와 DVD-Video zone과 DVD others zone으로 이루어진다. DVD-Video zone은 VMG(Video Manager)와 VTS(Video Title Set)#1∼DVTS#n을 포함한다. n은 2이상의 소정의 정수이다. 각각의 VTS는 제어 데이터(Control Data)와 VOBS(Video Object Set)를 포함한다. VOBS는 복수의 VOB(Video Object)를 포함한다. VOBS는 복수의 CELL을 포함한다. CELL은 복수의 VOBU(Video Object Unit)를 포함한다. VOBU는 네비게이션 팩(NV_PACK), 오디오 팩(A_PACK), 비디오 팩(V_PACK)을 포함한다. 본 실시형태에서는, VOBU 내에 바이노럴 플래그 신호를 포함하는 데이터 팩(D_PACK)을 설치한다.

데이터 팩(D_PACK)은, 팩 헤더, 패킷 헤더, 서브 스트림 ID, 오디오 프레임 정보, 오디오 데이터 정보, 바이노럴 플래그 신호를 포함한다. 바이노럴 플래그 신호는 복수의 오디오 플레임 레이어로 이루어진다.

이와 같이 DVD 비디오 규격에 준거한 형식으로 바이노럴 플래그 신호를 포함하는 정보를 데이터 팩(D_PACK)으로서 팩화하고, MPEG 다중화한다. 이에 따라, DVD 비디오 규격과의 호환성을 유지하면서, 오디오 신호의 어느 오디오 프레임 부분이 바이노럴 음성 신호이며, 어느 오디오 프레임 부분이 통상의 스테레오 음성인지를 알 수 있다. 따라서, 크로스 토크 캔슬 처리를 어느 오디오 프레임 부분에서 시행하면 좋은지를 간단하게 판별할 수 있다.

DVD 비디오 규격을 이용하여 바이노럴 플래그 신호를 중첩하는 제2 방법으로서는, DVD 비디오 규격에 있어서의 DVD others zone에 바이노럴 플래그 신호를 중첩하는 방법이 고려된다. DVD others zone은 영상이나 음성의 본체의 데이터에 관련되는 보조 데이터를 기록하는 영역이며, 유저(user) 데이터 기록 영역이기도 하다.

도10 과 도11 을 비교하면 알 수 있는 바와 같이, 본 실시형태에서는 유저 데이터 기록 영역인 DVD others zone의 데이터 구조를 DVD-Video zone의 데이터 구조와 유사한 구조로 하고 있다. 도11 에 나타내는 바와 같이, DVD others zone도 VMG, VTS, VOBS, VOB, CELL, VOBU인 각 정보를 포함하고 있다. 도11 에 나타내는 DVD others zone에 있어서의 그들의 각 정보를 도10 의 그것과 구별하기 위해, 앞에 D를 붙인 명칭으로 하고 있다.

도11 에 나타내는 바와 같이, DVD others zone은 DVMG와 DVTS#1∼DVTS#n을 포함한다. 각각의 DVTS는 DVTSI(Video Title Set Information)와 DVOBS를 포함한다. DVOBS는 복수의 DVOB를 포함한다. DVOBS는 복수의 DCELL을 포함한다. DCELL은 복수의 DVOBU를 포함한다. DVOBU는 복수의 오디오 프레임 레이어를 포함한다. 오디오 프레임 레이어는 오디오 신호의 부호화 파라미터 등의 오디오 프레임 데이터를 기록하는 영역이며, 이 오디오 프레임 레이어의 일부 영역을 바이노럴 플래그 신호의 기록 영역으로 한다.

이와 같이 DVD 비디오 규격에 준거한 형식으로 DVD others zone에 바이노럴 플래그 신호를 기술(記述)함으로써, DVD-Video zone에 포함되는 오디오 신호(바이노럴 음성 신호 또는 통상의 스테레오 음성)와 바이노럴 플래그 신호가 서로 관련되어진다. DVD 비디오 규격과의 호환성을 유지하면서, 오디오 신호의 어느 오디오 프레임 부분이 바이노럴 음성 신호이며, 어느 오디오 프레임 부분이 통상의 스테레오 음성인지를 알 수 있다. 따라서, 크로스 토크 캔슬 처리를 어느 오디오 프레임 부분에서 시행하면 좋을지를 간단하게 판별할 수 있다.

도10, 도11 의 경우, 예를 들면, 스타트 버튼을 조작하여 촬영을 개시하여 스톱 버튼을 조작하여 촬영을 종료하는 사이에 집음된 오디오 신호를 1 또는 복수의 오디오 프레임 레이어로 하고, 각각의 오디오 프레임 레이어에 대하여 음성 모 드 정보를 부가한다. 그리고, 음성 모드 정보 내에 바이노럴 플래그 신호를 기술하고, 바이노럴 정보 패킷으로서 관리한다. 바이노럴 플래그 신호를 바이노럴 정보 패킷으로서 관리함으로써, 오디오 프레임마다 음성 모드 정보를 용이하게 취득할 수 있다. 이에 따라, 기록 매체(44)를 재생할 때에, 바이노럴 음성 신호와 통상의 스테레오 음성 신호가 혼재되어 기록되어 있는 경우라도, 음성 모드에 따라 다음에 기술하는 크로스 토크 캔슬러(27)의 절환을 적절하게 행할 수 있다.

음성 모드 정보의 기록은 적어도 촬영을 개시하는 조작때마다 행하는 것이 필요하며, 소정 시간마다 기록하는 것은 보다 바람직하다.

또한, 기록 매체(44)로서 예를 들면 반도체 메모리를 이용하는 경우라도, 상기와 마찬가지로 바이노럴 플래그 신호의 기록 영역을 정의하고, 기록되는 음성 신호의 음성 모드를 지정함으로써, 바이노럴로 기록된 음성 신호를 식별하고, 크로스 토크 캔슬러(27)의 동작·부동작을 적절하게 절환하면서 음성 신호를 재생시킬 수 있다.

또한, MPEG 등의 부호화 방식의 다중화 레이어의 유저 데이터 내에 바이노럴 플래그 신호를 기술하는 것도 고려된다. 일 예로서, 영상 및 음성의 통신 기능을 가지는 휴대전화를 이용하여, 송신측의 휴대전화로부터 바이노럴 마이크(3)로 집음한 음성 신호와 함께 촬영한 영상 신호를 수신측의 휴대전화로 전송하는 경우를 상정한다. 이러한 경우에도, 송신측의 휴대전화로부터 수신측의 휴대전화로 바이노럴 플래그 신호를 전송할 수 있다. 음성 신호에 대하여 바이노럴 플래그 신호를 붙여서 전송함으로써, 바이노럴 음성의 경우에 현장감이 있는 음성을 재생하는 것 이 가능하게 된다. 이 경우, 휴대전화로 전송하는 영상 및 음성 패킷 데이터의 소정의 개소에 바이노럴 플래그 신호를 기술하여 패킷 데이터로서 전송한다. 예를 들면, MPEG-4로 규정되는 전송 방식을 이용하는 경우에는, 엘리멘터리 스트림(Elementary Stream)의 유저 데이터 기록 영역에서, 도9 에 나타내는 바와 같은 바이노럴 플래그 신호를 전송할 수 있다. MPEG-4 표준으로 규정되는 트랜 스폿 스트림을 이용하는 경우에는, 프라이빗 데이터 영역(private_date_type)에 바이노럴 플래그 신호를 기술할 수 있다.

또한, 영상 데이터 및 음성 데이터를 첨부 파일의 형식으로 파일화된 데이터로서 전송하는 경우는, 그 파일 헤더의 부분에 바이노럴 플래그 신호를 기술하도록 해도 좋다.

영상 음성 기록 재생 장치(101)에 있어서의 기록 동작에 대하여 도12 에 나타내는 플로우 차트를 이용하여 좀 더 설명한다.

먼저, 제어부(47)는, 스텝 S151에서, 도4 에서 설명한 초기 설정이, 외부 마이크 접속 단자(32)에 접속하는 외부 마이크를 바이노럴 마이크(3)에 설정되어 있는지 아닌지를 판정한다. 스텝 S151에서 초기 설정이 바이노럴에 설정되어 있다고 판정되면(YES), 스텝 S152로 이동한다. 바이노럴에 설정되어 있다고 판정되지 않으면(NO), 제어부(47)는 스위치(Sw1)를 단자(a)로 절환하고, 스텝 S154에서, 영상 음성 기록 재생 장치(101)는 내장 스테레오 마이크(21)로부터의 음성 신호를 취득한다. 제어부(47)는, 스텝 S152에서, 접속 검출부(41)가 외부 마이크 접속 단자(32)에 외부 마이크의 플래그가 삽입되어 있는 것을 검출하고 있는지 아닌지를 판정한다. 스텝 S152에서 외부 마이크 접속 단자(32)에 외부 마이크가 접속되어 있다고 판정되면(YES), 제어부(47)는, 스위치(Sw1)를 단자(b)로 절환하고, 스텝 S153에서, 영상 음성 기록 재생 장치(101)는 바이노럴 마이크(3)로부터의 음성 신호를 취득한다. 스텝 S152에서 외부 마이크 접속 단자(32)에 외부 마이크가 접속되어 있다고 판정되지 않으면(NO), 제어부(47)는, 스위치(Sw1)를 단자(a)로 절환하고, 스텝 S154에서, 영상 음성 기록 재생 장치(101)는 내장 스테레오 마이크(21)로부터의 음성 신호를 취득한다.

다음으로, 스텝 S155에서, 카메라부(11)로부터의 영상 신호를 비디오 부호화부(12)내의 도시하지 않은 메모리에 일시 기억하고, 바이노럴 마이크(3) 또는 내장 스테레오 마이크(21)로부터의 음성 신호를 오디오 부호화부(22) 내의 도시하지 않은 메모리에 일시 기억한다. 스텝 S156에서, 비디오 부호화부(12)는 영상 신호를 부호화하고, 오디오 부호화부(22)는 음성 신호를 부호화한다. 스텝 S157에서, 부호화 영상 신호를 비디오 부호화부(12) 내의 도시되지 않은 버퍼(buffer)에 일시 기억하고, 부호화 음성 신호를 오디오 부호화부(22) 내의 도시하지 않은 버퍼에 일시 기억한다. 또한, 스텝 S158에서, 플래그 정보 생성부(42)는 바이노럴 모드일 때 제어부(47)의 지시에 기초하여 바이노럴 플래그 신호를 생성한다.

그리고, 다중화부(13)는, 스텝 S159에서, 부호화 영상 신호와 부호화 음성 신호와 바이노럴 플래그 신호를 다중화하고, 스텝 S160에서, 패킷화 스트림 신호를 생성한다. 기록·재생부(14)는, 스텝 S161에서, 매체 기록(44)에 스트림 신호를 기록한다. 스텝 S162에서, 비디오 부호화부(12)와 오디오 부호화부(22)는 부호화 해야 할 영상 신호와 음성 신호가 있는지 판정하고, 부호화해야 할 영상 신호와 음성 신호가 아직 있다고 판정되면(YES) 스텝 S152로 되돌아오고, 이상의 동작을 반복한다. 스텝 S162에서 부호화해야 할 영상 신호와 음성 신호가 아직 있다고 판정되지 않으면(NO), 처리를 종료한다.

<재생 동작>

도3 으로 되돌아와서, 영상 음성 기록 재생 장치(101)에 있어서의 재생 동작에 대하여 설명한다. 도3 에 있어서, 조작부(48)의 도시하지 않은 재생 버튼이 조작되면, 기록·재생부(14)는 제어부(47)의 제어에 의해, 기록 매체(44)에 기록된 기록 신호인 다중화 신호를 재생한다. 기록·재생부(14)에서 재생된 다중화 신호는 분리화부(15)에 공급되고, 분리화부(15)는 입력된 다중화 신호를 부호화 영상 신호와 부호화 음성 신호와 바이노럴 플래그 신호로 분리한다.

부호화 영상 신호는 비디오 복호화부(비디오 처리부)(16)에 공급되고, 부호화 음성 신호는 오디오 복호화부(오디오 처리부)(26)에 공급되고, 바이노럴 플래그 신호는 플래그 정보 취득부(36)에 공급된다. 비디오 복호화부(16)는 입력된 부호화 영상 신호를 복호화하여 영상 신호를 얻는다. 재생 버튼이 조작에 따라, 제어부(47)의 제어에 의해 스위치(Sw3)가 단자(h)로 절환된다. 비디오 복호화부(16)로부터 출력된 영상 신호는 표시부(17)에서 표시됨과 함께, 영상 출력 단자(37a)를 통하여 모니터(52)에 공급되어 표시된다. 오디오 복호화부(26)는 입력된 부호화 음성 신호를 복호화하여 음성 신호를 얻는다. 음성 신호는 크로스 토크 캔슬러(27)와 스위치(Sw2)의 단자(c)로 공급된다.

크로스 토크 캔슬러(27)는, 바이노럴 집음된 음성 신호를 스피커(53, 54)에서 재생할 때에 발생하는, 좌측의 스피커(54)로부터 발음된 신호가 수청자(受聽者; 59)의 우측의 귀로 수청되는 제1 크로스 토크 성분과, 우측의 스피커(53)로부터 발음된 신호가 수청자(59)의 좌측의 귀로 수청되는 제2 크로스 토크 성분을 없애기 위한 신호를 생성하여 음성 신호에 부가함으로써 크로스 토크 처리 신호를 생성한다. 플래그 정보 취득부(36)는 분리화부(15)에서 얻어진 바이노럴 플래그 신호를 유지한다. 제어부(47)는 플래그 정보 취득부(36)가 바이노럴 플래그 신호를 유지하고 있는지 아닌지에 따라 스위치(Sw2)를 절환 제어한다. 즉, 플래그 정보 취득부(36)가 바이노럴 플래그 신호를 유지하고 있으면, 스위치(Sw2)가 단자(d)에 접속되어 크로스 토크 캔슬러(27)로부터의 크로스 토크 처리 신호를 음성 출력 단자(37b)에 대하여 출력하도록 제어하고, 바이노럴 플래그 신호를 유지하고 있지 않으면, 스위치(Sw2)가 단자(c)에 접속되어 오디오 복호화부(26)로부터의 크로스 토크 처리하고 있지 않은 음성 신호를 음성 출력 단자(37b)에 대하여 출력하도록 제어한다.

음성 출력 단자(37b)로부터 출력되고, 앰프(51)에서 증폭된 음성 신호는 좌우의 스피커(53, 54)로부터 발음된다. 음성 출력 단자(37b)로부터 출력되는 음성 신호가 크로스 토크 캔슬러(27)로부터 출력된 크로스 토크 처리 신호의 경우에는, 시청자(59)는, 모니터(52)에 표시된 영상을 보면서, 촬영자(300)가 촬영을 행했을 때의 촬영자(300)의 주위음을 현장감이 있는 음성으로서 수청할 수 있다. 이 때, 크로스 토크 캔슬러(27)는, 다음에 상술하는 두부 전달 함수를 이용하여 크로스 토 크 성분을 없애고 있기 때문에, 촬영자(300)와 시청자(59)가 다른 경우라도, 임의의 촬영자(300)가 촬영하여 임의의 시청자(59)가 시청하는 경우라도, 위화감이 거의 없는 현장감이 있는 음성을 수청할 수 있다.

영상 음성 기록 재생 장치(101)에 있어서의 재생 동작에 대하여 도13 에 나타내는 플로우 차트를 이용하여 좀 더 설명한다.

도13 에 있어서, 스텝 S181에서, 기록·재생부(14)는 기록 매체(44)를 재생하고, 다중화 신호에 기초한 스트림 신호를 얻는다. 스텝 S182에서, 기록·재생부(14)는 스트림 신호를 복호하여 패킷 신호를 생성한다. 스텝 S183에서, 분리화부(15)는 패킷 신호를 비디오 신호, 오디오 신호, 바이노럴 플래그 신호로 분리한다. 스텝 S184에서, 비디오 복호화부(16)는 비디오 신호를 복호하고, 오디오 복호화부(26)는 오디오 신호를 복호한다. 스텝 S185에서, 비디오 복호화부(16)와 오디오 복호화부(26)는 복호한 비디오 신호와 오디오 신호를 도시하지 않은 버퍼에 일시 기억한다. 스텝 S186에서, 플래그 정보 취득부(36)는 바이노럴 플래그 신호를 취득한다.

그리고, 제어부(47)는, 스텝 S187에서, 플래그 정보 취득부(36)가 취득한 바이노럴 플래그 신호에 기초하여, 재생한 오디오 신호가 통상의 스테레오 음성 신호인지 바이노럴 음성 신호인지를 판정한다. 스텝 S187에서 바이노럴 음성 신호라고 판정한 경우에는(YES), 스텝 S188로 이동한다. 스텝 S187에서 바이노럴 음성 신호가 아니라고 판정한 경우에는(NO), 스텝 S191로 이동하고, 제어부(47)는, 스위치(Sw2)를 단자(c)로 절환하고, 비디오 신호와 오디오 신호를 동기 재생하도록 회 로 각부를 제어한다.

바이노럴 음성 신호이면, 스텝 S188에서, 제어부(47)는, 스위치(Sw2)를 단자(d)로 절환함으로써 크로스 토크 캔슬러(27)에 의한 크로스 토크 캔슬러 처리를 유효한 상태로 한다. 스텝 S189에서, 제어부(47)는, 비디오 신호와 크로스 토크 캔슬러(27)에 의해 크로스 토크 캔슬 처리한 오디오 신호를 동기 재생하도록 회로 각부를 제어한다. 스텝 S190에서, 재생해야 할 비디오 신호와 오디오 신호가 아직 있다고 판정되면(YES), 스텝 S182로 되돌아가고, 이상의 동작을 반복한다. 스텝 S190에서 재생해야 할 비디오 신호와 오디오 신호가 아직 있다고 판정되지 않으면(NO), 처리를 종료한다.

<크로스 토크 캔슬>

여기서, 도14 를 이용하여 크로스 캔슬러(27)의 구체적 구성과 동작에 대하여 설명한다. 도14 에 나타내는 바와 같이, 크로스 캔슬러(27)는, 필터(272a∼272d), 가산기(274a, 274b), 필터(275a, 275b)를 구비하여 구성되어 있다.

도14 에 있어서, 바이노럴 음성 신호 중 왼쪽 채널의 신호 P_L(t)는 필터(272a, 272b)에, 오른쪽 채널의 신호 P_R(t)는 필터(272c, 272d)에 입력된다. 필터(272a∼272d)는 순서대로, 후술하는 두부 전달 함수 h_rs(t), h_lo(t), h_ro(t), h_ls(t)에 기초하여 작성한 필터 특성(필터 계수)을 기억하고 있다. 필터(272a, 272d)는 두부 전달 함수 h_rs(t), h_ls(t)와 동등한 필터 특성을 가지고 있고, 필 터(272b, 272c)는 두부 전달 함수 h_lo(t), h_ro(t)를 반전한 것과 동등한 필터 특성을 가진다. 편의상, 필터(272a∼272d)의 필터 특성을 h_rs(t), -h_lo(t), -h_ro(t), h_ls(t)로 표기한다. 필터(272a∼272d)는, 입력되는 신호 P_L(t), P_R(t)에 각각의 필터 특성을 부여하여 출력한다.

가산기(274a)는 필터(272a, 272c)로부터 출력되는 신호를 가산하고, 필터(275a)는 가산된 신호에 d(t)인 필터 특성을 부여한다. 가산기(274b)는, 필터(272b, 272d)로부터 출력되는 신호를 가산하고, 필터(275b)는 가산된 신호에 d(t)인 필터 특성을 부여한다.

여기서, 필터(275a, 275b)에 기억되어 있는 필터 특성 d(t)은 다음의 (1)식이다.

d(t)={h_ls(t)×h_rs(t)-h_lo(t)×h_ro(t)}^-1 … (1)

필터(275a, 275b)로부터 출력되는 신호는, 스피커(53, 54)로부터 발음될 때에 크로스 토크가 캔슬되도록, 크로스 토크 캔슬 처리가 시행된 크로스 토크 처리 신호이다. 필터(275a, 275b)로부터 출력된 크로스 토크 처리 신호는, 앰프(51)의 좌 채널 앰프(51a)와 우 채널 앰프(51b)에서 각각 증폭되고, 스피커(53, 54)로부터 발음된다.

스피커(53)로부터 발음된 신호(음성)는 시청자(59)의 왼쪽 귀에서 수청됨과 함께, 발음된 신호의 일부는 파선으로 나타내는 제1 크로스 토크 신호로서 시청 자(59)의 오른쪽 귀로 수청된다. 크로스 토크 캔슬러(27)는 시청자(59)의 오른쪽 귀로 수청되는 제1 크로스 토크 신호를 없애기 위한 제1 크로스 토크 소거 신호를 생성하여 스피커(54)로부터 발음시킨다. 제1 크로스 토크 소거 신호에 의해 제1 크로스 토크 신호는 없어진다(감쇠된다). 마찬가지로, 스피커(54)로부터 발음된 신호(음성)는 시청자(59)의 오른쪽 귀로 수청됨과 함께, 발음된 신호의 일부는 파선으로 나타내는 제2 크로스 토크 신호로서 시청자(59)의 왼쪽 귀로 수청된다. 크로스 토크 캔슬러(27)는 시청자(59)의 왼쪽 귀로 수청되는 제2 크로스 토크 신호를 없애기 위한 제2 크로스 토크 소거 신호를 생성하여 스피커(53)로부터 발음시킨다. 제2 크로스 토크 소거 신호에 의해 제2 크로스 토크 신호는 없어진다(감쇠된다). 결과로서, 시청자(59)는 왼쪽 귀로 크로스 토크가 캔슬된 음성 신호 P_l(t)를 수청하고, 오른쪽 귀로 크로스 토크가 캔슬된 음성 신호 P_r(t)를 수청한다.

<두부 전달 함수의 측정>

도15 를 이용하여, 필터(272a∼272d, 275a, 275b)에 격납하는 두부 전달 함수 특성을 구하기 위한 두부 전달 함수 측정 장치(6)에 대하여 설명한다. 도15 에 나타내는 바와 같이, 두부 전달 함수 측정 장치(6)는, 퍼스널 컴퓨터(61), 증폭기(62), 스피커(63), 마이크 유닛(65a, 65b), 원통형 구조체(65e), 증폭기(66a, 66b)를 구비하여 구성되어 있다.

두부 전달 함수의 측정 방법에 대하여 설명한다.

먼저, 퍼스널 컴퓨터(61)에 의해 예를 들면 임펄스음으로 이루어지는 측정 신호를 생성한다. 측정 신호는 증폭기(62)에서 증폭된다. 좌측의 스피커(63)로부터 발음(發音)된 측정 신호는 좌우의 마이크 유닛(65a, 65b)에서 수음(受音)된다. 수음하여 얻어진 좌우의 신호는 증폭기(66a, 66b)에서 증폭되어 퍼스널 컴퓨터(61)에 입력된다. 이 입력 신호는 스피커(63)로부터 발음된 음성을 원통형 구조체(65e)에 부착된 좌우의 마이크 유닛(65a, 65b)으로 수음한 신호의 두부 전달 함수 h_ls(t), h_lo(t)이다. 두부 전달 함수 h_ls(t)는 좌측의 스피커(63)로부터 발음된 신호가 좌측의 마이크 유닛(65a)으로 수청되는 특징이며, 두부 전달 함수 h_lo(t)는 좌측의 스피커(63)로부터 발음된 신호가 우측의 마이크 유닛(65b)으로 수청되는 크로스 토크 성분의 특성이다.

마찬가지로, 우측의 스피커(64)로부터 발음된 측정 신호는 좌우의 마이크 유닛(65a, 65b)으로 수음된다. 수음하여 얻어진 좌우의 신호는 증폭기(66a, 66b)에서 증폭되어 퍼스널 컴퓨터(61)에 입력된다. 퍼스널 컴퓨터(61)는 생성한 측정 신호와 수음한 신호를 비교함으로써, 스피커(64)로부터 발음된 음성을 원통형 구조체(65e)에 부착된 좌우의 마이크 유닛(65a, 65b)으로 수음한 신호의 두부 전달 함수 h_rs(t), h_ro(t)를 구한다. 두부 전달 함수 h_rs(t)는 우측의 스피커로부터 발음된 신호가 우측의 마이크 유닛(65b)으로 수청되는 특성이며, 두부 전달 함수 h_ro(t)는 우측의 스피커(64)로부터 발음된 신호가 좌측의 마이크 유닛(65a)으로 수청되는 크로스 토크 성분의 특성이다.

도16 를 이용하여 원통형 구조체(65e)에 대하여 설명한다. 도16 에 있어서, (A)는 원통형 구조체(65e)의 상면도, (B)는 원통형 구조체(65e)의 사시도이며, (C)는 비교하기 위한 소위 더미 헤드 마이크의 단면도이다.

도16(A),(B) 에 나타내는 바와 같이, 원통형 구조체(65e)의 표면에는 마이크 유닛(65a, 65b)이 180°이간된 상태로 장착되어 있다. 도시하는 바와 같이, 마이크 유닛(65a, 65b)은 이개(耳介) 및 외이도(外耳道)를 가지고 있지 않다. 마이크 유닛(65a, 65b)의 도시하지 않은 진동판은 원통형 구조체(65e)의 표면과 거의 일치하는 위치에 배치되어 있다. 한편, 도16(C) 에 나타내는 더미 헤드 마이크(69)는, 인공 머리(691)의 양측부에 이개형 부재(692a, 692b)와 이도(耳道; 693a, 693b)를 구비하고, 이도(693a, 694b)의 안쪽부에 마이크 유닛(694a, 694b)을 구비한 것이다. 마이크 유닛(694a, 694b)은 사람의 고막의 위치에 상당하는 위치에 설치되어 있고, 사람이 청취하는 음에 근사한 음성 신호를 집음하는 것이다.

도16(A),(B) 에 나타내는 원통형 구조체(65e)에 부착된 마이크 유닛(65a, 65)의 수음 특성은, 사람 각각으로 크기나 형상이 다른 이개나 외이도에 의해 부여되는 특성 차이의 영향을 받지 않고, 두부 전달 함수를 계측할 수 있는 특성이다. 스피커(63, 64)로부터 발음된 음파는 원통형 구조체(65e)에 의해 차폐되지만, 원통형 구조체(65e)를 따라 회절되어 마이크 유닛(65a, 65b)에 도달한다. 마이크 유닛(65a, 65b)은 스피커(63, 64)로부터 발음되어 직접 도달하는 음파와 원통형 구조체(65e)를 따라 회절하여 도달하는 음파로 이루어지는 특성을 계측하게 된다. 원통형 구조체(65e)를 이용함으로써, 평균적인 두부 차폐 특성을 가지는 두부 전달 함수를 얻을 수 있다. 따라서, 두부의 크기나 형상이 다르고 두부 차폐 특성이 다 른 다양한 시청자가 바이노럴 음성 신호를 수청해도, 위화감이 거의 없는 현장감이 있는 음성을 수청할 수 있다.

도17(A)∼(D) 는, 전술한 음향 신호 전달 특성 측정 장치(6)가 발생된 임펄스음에, 음향 신호 전달 특성 측정 장치(6)에 의해 측정된 원통형 구조체(65e)의 두부 전달 함수 h_ls(t), h_lo(t), h_rs(t), h_ro(t)가 컨벌루션(convolution)된 임펄스 응답 파형을 나타내고 있다. 도17(D) 는 전술한 (1)식에 나타내는 필터 특성d(t)를 나타내고 있다. 도17(A)∼(E) 에 있어서, 종축은 소정의 출력 전압으로 정규화된 신호 전압의 진폭을 나타내고, 횡축은 측정된 신호를 48kHz로 표본화한 경우의 샘플의 개수로 표시한 시간을 나타내고 있다.

도18(A)∼(E) 는, 도17(A)∼(E) 에 나타내는 신호를 푸리에 해석하여 얻어지는 주파수 특성을 나타내고 있다. 도18(A)∼(E) 에 있어서, 100Hz, 1kHz, 10kHz의 주파수 위치를 파선의 종선으로 나타내고 있고, 종축의 응답 특성에 있어서의 2개의 파선의 횡선간의 이득 차이는 10dB이다.

도14 의 필터(272a∼272d)에는, 이상과 같이 하여 얻어진 두부 전달 함수 h_rs(t), h_lo(t), h_ro(t), h_ls(t)에 기초한 필터 특성이 부여된다. 전술한 바와 같이, 필터(272a, 272b)에는 두부 전달 함수 h_rs(t), h_ls(t)에 상당하는 필터 특성이 부여되고, 필터(272b, 272c)에는 두부 전달 함수 h_lo(t), h_ro(t)를 극성 반전한 -h(t), -h_ro(t)에 상당하는 필터 특성이 부여된다.

비교를 위해, 원통형 구조체(65e)에 부착한 마이크 유닛(65a, 65b) 대신에 도16(C) 에 나타내는 더미 헤드 마이크(69)를 이용하여 측정한 특성을 도19, 도20 에 나타낸다. 도19 는 도17 과 동일하게 측정하여 얻어진 특성이다. 도17 과 도19 를 비교하면 알 수 있는 바와 같이, 원통형 구조체(65e)에 부착한 마이크 유닛(65a, 65b)을 이용하여 측정한 임펄스 응답 파형은, 더미 헤드 마이크(69)를 이용하여 측정한 임펄스 응답 파형보다도, 측정용 입력 신호인 임펄스음에 가까운 파형이다.

도20 은, 더미 헤드 마이크(69)를 이용하여 측정한 주파수 응답 특성이다. 도18 과 도20 을 비교하면 알 수 있는 바와 같이, 원통형 구조체(65e)에 부착한 마이크 유닛(65a, 65b)을 이용하여 얻은 특성 쪽이 주파수 특성의 혼란이 작고 평탄에 가깝다. 도20(A)∼(E) 에 나타내는 각각의 특성은, 1.5∼7kHz의 주파수에 있어서 응답 특성이 증강되거나 감쇠되거나 하고 있다. 도18(A)∼(E) 에 나타내는 특성 쪽이 응답 특성의 증강 및 감쇠의 정도가 작다. 이것은 원통형 구조체(65e)에 부착한 마이크 유닛(65a, 65b)을 이용한 경우에는 이개나 외이도에 의해 생기는 특성의 혼란이 없기 때문이다. 더미 헤드 마이크(69)에서는, 스피커(63, 64)로부터 발음된 음파의 일부가 이개에서 반사하고, 반사한 음파와 직접 도래하는 음파가 동상(同相)으로 합성되어 증강되거나, 역상(逆相)으로 합성되어 감쇠하거나 한다. 또한, 외이도의 공진이나 반공진 등의 영향에 의해 특정의 주파수로 증강되거나 감쇠하거나 한다. 원통형 구조체(65e)에 부착한 마이크 유닛(65a, 65b)을 이용함으로써 더미 헤드 마이크(69)를 이용한 경우와 같은 악영향을 억제할 수 있다.

크로스 토크 캔슬러(27)의 필터(272a∼272d) 및 필터(275a, 275b)에, 원통형 구조체(65e)에 부착한 마이크 유닛(65a, 65b)을 이용하여 측정한 두부 전달 함수에 기초한 필터 특성(제1 조건으로 한다)과, 더미 헤드 마이크(69)를 이용하여 측정한 두부 전달 함수에 기초한 필터 특성을 부여하고(제2 조건으로 한다), 복수의 시청자에 의한 양자의 비교 시청 테스크를 행했다. 시청자의 이도에 세심한 소형 마이크를 삽입하고, 그 소형 마이크로 수음되는 음이 시청자에 의해 수청되는 음인 것으로 하여 수음 특성을 측정했다.

도21 은, 제1 조건에서, 어느 시청자에 의해 측정된 특성을 나타내고 있다. 도21 에 있어서, (A)는 좌측의 입력 신호 P_L(t)를 임펄스 신호, 우측의 입력 신호 P_R(t)를 무신호로 하여 스피커(53, 54)로부터 발음시키고, 시청자의 왼쪽 귀에 장착한 소형 마이크로 수음된 임펄스 응답신호의 파형이다. (B)는 (A)와 동일한 조건으로 발음시키고, 시청자의 오른쪽 귀에 장착한 소형 마이크로 수음된 크로스 토크 성분의 파형이다. 도21(A) 에서는 큰 레벨의 임펄스 응답 파형이 얻어지고, 도21(B) 에서는 작은 레벨의 파형이 얻어지고 있다. 도21(C) 는 응답 파형의 주파수 분석 결과이며, Ca는 (A)의 응답 파형을 주파수 분석한 응답 특성이며, Cb는 (B)의 응답 파형을 주파수 분석한 응답 특성이다. 100Hz∼2kHz로 20dB를 초과하는 크로스 토크 캔슬 효과가 얻어지고 있다.

그리고, 도21 에 있어서, (D)는 왼측의 입력 신호 P_L(t)를 무신호, 우측의 입력 신호 P_R(t)를 임펄스 신호로 하여 스피커(53, 54)로부터 발음시키고, 시청자의 왼쪽 귀에 장착한 소형 마이크로 수음된 크로스 토크 성분의 파형이다. (E)는 (D)와 동일한 조건으로 발음시키고, 시청자의 오른쪽 귀에 장착한 소형 마이크로 수음된 임펄스 응답의 파형이다. 도21(D) 에서는 작은 레벨의 파형이 얻어지고, 도21(E) 에서는 큰 레벨의 임펄스 응답 파형이 얻어지고 있다. 도21(F) 는 응답 파형의 주파수 분석 결과이며, Fd는 (D)의 응답 파형을 주파수 분석한 응답 특성이며, Fe는 (E)의 응답 파형을 주파수 분석한 응답 특성이다. 100Hz∼2kHz로 16dB 정도의 크로스 토크 캔슬 효과가 얻어지고 있다.

도22 는, 제2 조건에서, 도21 과 동일한 시청자에 의해 측정한 특성을 나타내고 있다. 측정 조건은 도21 과 동일하다. 도22(C) 의 크로스 토크 캔슬 효과는 약14dB이며, 도22(F) 의 크로스 토크 캔슬 효과는 약11dB이다. 제2 조건에서는 제1 조건과 비교하여 효과가 떨어지고 있는 것을 알 수 있다.

도23 은, 도21, 도22 와는 다른 시청자로 하여, 제1 조건에서 도21 과 동일한 측정 조건으로 측정한 특성을 나타내고 있다. 도23(C) 의 크로스 토크 캔슬 효과는 약22dB이며, 도23(F) 의 크로스 토크 캔슬 효과는 약18dB이다. 다른 시청자라도 양호한 효과가 얻어지고 있다.

도24 는, 도23 과 동일한 시청자로, 제2 조건에서 도22 와 동일한 측정 조건으로 측정한 특성을 나타내고 있다. 도24(C) 의 크로스 토크 캔슬 효과는 약14dB이며, 도24(F) 의 크로스 토크 캔슬 효과는 약10dB이다. 다른 시청자라도, 제2 조건에서는 제1 조건과 비교하여 효과가 떨어지고 있는 것을 알 수 있다. 또한 다른 시청자에 의해 마찬가지의 측정을 행하고, 제1 조건과 제2 조건 각각에서 상기와 마찬가지의 효과가 얻어지는 것을 확인했다.

이상의 측정 결과에서, 크로스 토크 캔슬러(27)의 필터(272a∼272d) 및 필터(275a, 275b)에 주는 필터 특성은, 더미 헤드 마이크(69)를 이용하여 측정한 두부 전달 함수에 기초한 필터 특성보다도 원통형 구조체(65e)에 부착한 마이크 유닛(65a, 65b)을 이용하여 측정한 두부 전달 함수에 기초한 필터 특성 쪽이, 좌측의 스피커로부터 발음되어 우측의 귀로 수청되는 크로스 토크 성분과 우측의 스피커로부터 발음되어 좌측의 귀로 수청되는 크로스 토크 성분을 없애는 효과가 큰 것이 확인되었다.

원통형 구조체(65e)에 부착한 마이크 유닛(65a, 65b)을 이용하여 측정한 두부 전달 함수에 기초한 필터 특성에서는, 고음역에서의 주파수 특성의 혼란이 적다. 즉, 원통형 구조체(65e)를 이용함으로써, 특정의 주파수 부분에서 주파수 특성이 크게 떨어지거나 상승하거나 하는 것을 적게 할 수 있고, 음질의 열화를 가능한 억제할 수 있다. 이에 따라 시청자는 거의 위화감을 느끼지 않고 현장감이 있는 음성을 수청하는 것이 가능하게 된다.

크로스 토크 캔슬러(27)의 필터(272a∼272d) 및 필터(275a, 275b)에 부여하는 필터 특성을 원통형 구조체(65e)에 부착한 마이크 유닛(65a, 65b)을 이용하여 측정한 두부 전달 함수에 기초한 필터 특성으로 한 경우에는, 크로스 토크 캔슬을, 바이노럴 음성 신호를 수청할 때의 구조체인 시청자(59)의 외이도 입구 근방에서 행하게 된다. 따라서, 이개나 외이도의 음향 특성이 다른 복수의 시청자(59)에 대하여 크로스 토크 성분의 소거가 효과적으로 이루어지게 된다.

또한, 원통형 구조체(65e)는 완전한 원통형에 한정되는 것은 아니고, 원통형을 약간 변형시킨 형상이라도 좋다. 이개나 외이도 등이 부여하는 바와 같은 응답 특성의 변화를 부여하는 요철 부분을 가지지 않는 형상으로 하는 것이 바람직하고, 원통형 구조체(65e)에 마이크 유닛(65a, 65b)을 부착한 상태로 응답 특성의 혼란이 가능한 적은 것이 바람직하다.

크로스 토크 캔슬러(27)는, 도14 에 나타내는 구성에 한정되는 것은 아니고, 저역 주파수 대역(帶域)에서 생기는 역상감을 더욱 감소시킬 수 있는 대역 분할형의 크로스 토크 캔슬러로 해도 좋다. 대역 분할형의 크로스 토크 캔슬러는, 전체 주파수 대역의 신호로서 입력되는 바이노럴 음성 신호를 저역 주파수 대역의 신호와 중고역 주파수 대역의 신호로 분할하고, 중고역 주파수 대역의 바이노럴 음성 신호에 대해서만 크로스 토크 캔슬 처리를 행하는 것이다.

도25 에 대역 분할형의 크로스 토크 캔슬러(27a)를 나타내고, 그 구성과 동작에 대하여 설명한다. 도14 에 나타낸 크로스 토크 캔슬러(27)와 동일한 기능을 가지는 구성 부분에는 동일 부호를 붙이고, 그 설명을 생략한다.

도25 에 나타내는 바와 같이, 크로스 토크 캔슬러(27a)는, 도14 의 크로스 토크 캔슬러(27)와 비교하여, 로우패스 필터(LPF(271a, 271d)), 하이패스 필터(HPF(271b, 271c)), 지연기(273a, 273b), 게인 콘트롤 앰프(GC(276a∼276d)), 가산기(277a, 277b)가 추가되어 있는 점에서 상이하다.

크로스 토크 캔슬러(27a)에 입력된 바이노럴 음성 신호 중, 좌 채널의 신호 P_L(t)는 LPF(271a)와 HPF(271b)에 입력되고, 우 채널의 신호 P_R(t)는 LPF(271d)와 HPF(271c)에 입력되어, 저역 주파수대와 중고역 주파수대로 분할된다. LPF(271a, 271d)와 HPF(271b, 271c)의 컷 오프 주파수는 100∼200Hz 정도로 설정된다.

HPF(271b, 271c)로부터 출력된 중고역 주파수대의 신호는, 크로스 토크 캔슬러(27)와 동일하게 구성되는 필터(272a∼272d)와 가산기(274a, 274b)와 필터(275a, 275b)로 이루어지는 회로 부분에서 크로스 토크 캔슬 처리가 시행된다. 크로스 토크 캔슬 처리가 시행된 중고역 주파수대의 신호는 게인 콘트롤 앰프(276b, 276c)에 입력되고, 게인이 조정된다.

LPF(271a, 271d)로부터 출력된 저역 주파수대의 신호는 지연기(273a, 273b)에 입력되고, 중고역 주파수대의 신호에 대한 크로스 토크 캔슬 처리에 필요하는 시간과 거의 동일한 시간만큼 지연된다. 지연기(273a, 273b)로부터 출력된 저역 주파수대의 신호는 게인 콘트롤 앰프(276a, 276d)에 입력되고, 중고역 주파수대의 신호와의 레벨 차이가 없어지도록 게인이 조정된다.

그리고, 가산기(277a, 277b)는 게인 콘트롤 앰프(276a∼276d)로부터 출력된 저역 주파수대의 신호와 중고역 주파수대의 신호를 가산한다. 가산기(277a, 277b)로부터 출력된 신호는, 중고역 주파수대의 신호에 대해서만 크로스 토크 캔슬 처리가 시행된 크로스 토크 처리 신호이다. 가산기(277a, 277b)로부터 출력된 크로스 토크 처리 신호는, 앰프(51)의 좌 채널 앰프(51a)와 우 채널 앰프(51b)에서 각각 증폭되고, 스피커(53, 54)로부터 발음된다.

이 도25 의 구성에서는, 저역 주파수대의 신호에 대해서는 크로스 토크 캔슬 처리가 시행되지 않기 때문에, 저역 주파수대에서 역상감이 없는 신호로서 재생된다.

도14 에 나타내는 크로스 토크 캔슬러(27)에서는, 전술한 도21∼도24 에서 설명한 바와 같이, 크로스 토크 캔슬러(27)에 의한 크로스 토크 캔슬 효과는 100Hz 이하에서는 충분히 얻어지지 않는다. 100Hz 이하의 저역 주파수대는 음원의 정위에 부여하는 영향이 적은 대역이다. 크로스 토크를 취소하지 않은 신호는 역상의 신호로서 위화감을 가지고 수청되어 버린다.

도25 에 나타내는 크로스 토크 캔슬러(27a)에서는, 100∼200Hz 이하의 저역 주파수대에서 크로스 토크 캔슬을 행하지 않도록 하고, 저역 주파수대에서 역상 신호가 생기지 않도록 한 크로스 토크 캔슬러를 실현하고 있다.

도26 에, 도25 와는 필터의 구성 방법이 다른 주파수대역 분할형의 크로스 토크 캔슬러(27b)를 나타내고, 그 구성과 동작에 대하여 설명한다. 도25 에 나타낸 크로스 토크 캔슬러(27a)와 동일한 기능을 가지는 구성 부분에는 동일 부호를 붙이고, 그 설명을 생략한다.

도26 에 나타내는 크로스 토크 캔슬러(27b)는, 도25 의 크로스 토크 캔슬러(27a)와 비교하여, 필터(272a∼272d) 및 필터(275a, 275b) 대신에 필터(278a, 278b) 및 필터(279a, 279b)를 구비하는 점에서 상이하고, 결선 방법도 다르다. 크로스 토크 캔슬러(27a)는 필터 특성을 피드 포워드형의 FIR(finite impulse response: 유한 임펄스 응답)형으로 구성하고 있는 것에 대하여, 크로스 토크 캔슬 러(27b)는 필터 특성을 피드 백형의 FIR형으로 구성하고 있다.

도26 에 있어서, HPF(271b, 271c)로부터 출력된 중고역 주파수대의 신호는, FIR형의 필터(278a, 278b, 279a, 279b) 및 가산기(274a, 274b)에 의해 크로스 토크 캔슬 처리가 시행된다. 두부 전달 함수 측정 장치(6)에서 구해진 필터 특성은, 필터(278a, 278b, 279a, 279b) 내의 도시하지 않은 기억 영역에 격납되고, 필터(278a, 278b, 279a, 279b)는 입력되는 신호에 각각의 필터 특성을 컨벌루션하여 출력한다. 크로스 토크 캔슬러(27b)에 의하면, 저역 주파수대에서 역상 신호가 생기지 않도록 하여 위화감을 경감한다는 점에서 크로스 토크 캔슬러(27a)와 마찬가지의 작용 효과를 가져온다. 도26 에 나타내는 크로스 토크 캔슬러(27b) 쪽이 도25 에 나타내는 크로스 토크 캔슬러(27a)보다도 사용하는 필터의 차수를 적게 할 수 있고, 구성을 간략화 할 수 있다. 또한, FIR형의 필터 대신에 IIR형(infinite impulse response: 무한 임펄스 응답)의 필터를 이용해도 좋다.

도3 에 나타내는 구성에 있어서는, 크로스 토크 캔슬러(27(또는 27a, 27b))를 제어부(47)와는 다른 구성으로 하고 있지만, 제어부(47)가 DSP(Digital signal processor)를 구비한 마이크로 프로세서의 경우에는, 크로스 토크 캔슬러(27, 27a, 27b)의 기능을 제어부(47)에 실행시켜도 좋다. 또한, 크로스 토크 캔슬러(27, 27a, 27b)는 하드웨어에 한정되지 않고, 소프트웨어에 의해 실현할 수 있다.

<헤드폰 재생>

그런데, 도3 에 나타내는 영상 음성 기록 재생 장치(101)에 있어서는, 오디오 복호화부(26)로부터 출력되는 음성 신호를 헤드폰으로도 수청할 수 있도록 하고 있다. 바이노럴 음성 신호를 헤드폰으로 수청하는 경우에는, 상술한 크로스 토크 성분은 생기지 않는다. 크로스 토크 캔슬러(27)에서 처리한 크로스 토크 처리 신호를 헤드폰으로 수청하면 바이노럴 음성 신호의 역상 성분이 좌우의 귀로 수청되어 버린다. 역상 성분은 자연계에 없는 음향 신호 성분이며, 수청상 바람직하지 않기 때문에, 바이노럴 음성 신호를 헤드폰으로도 수청하는 경우에는 크로스 토크 캔슬 처리를 행하지 않는다.

그런데, 도3 에 나타내는 바와 같이, 오디오 복호화부(26)로부터 출력된 음성 신호를, 크로스 토크 캔슬러(27)를 통하지 않고 음성 출력 단자(37c)로 출력하도록 하고 있다. 음성 출력 단자(37c)로부터 출력된 음성 신호는 헤드폰(55)으로 공급된다. 시청자(59)는 전술한 바와 같이 크로스 토크 캔슬러(27)로부터 출력된 크로스 토크 처리 신호를 스피터(53, 54)에 의해 수청할 수도 있고, 크로스 토크 캔슬러(27)에 의한 처리를 시행하지 않은 음성 신호를 헤드폰(55)에 의해 수청할 수도 있다.

도27 을 이용하여 바이노럴 음성 신호의 헤드폰(55)에서의 재생 순서에 대하여 설명한다. 도13 에 나타내는 플로우 차트와 동일한 처리에는 동일한 부호를 붙이고, 그 설명을 생략하는 것으로 한다.

도27 에 있어서, 스텝 S181∼S186까지는 도13 에서 설명한 대로이며, 스텝 S192에서, 헤드폰(55)에서의 재생인지 아닌지를 판정한다. 헤드폰(55)의 접속 단자인 음성 출력 단자(37c)에 플래그가 삽입되어 있는지를 도시하고 있지 않은 접속 검출부에 의해 검출하면 좋다. 스텝 S192에서 헤드폰 재생이라고 판정되면(YES), 스텝 S193에서, 비디오 신호에 동기하여 크로스 토크 캔슬 처리를 행하지 않은 바이노럴 음성 신호를 헤드폰(55)에서 재생하여, 스텝 S190으로 이동한다. 또한, 재생한 음성 신호가 바이노럴 음성 신호가 아닌 통상의 스테레오 음성의 경우도 마찬가지로 오디오 복호화부(26)로부터 출력된 음성 신호를 헤드폰(55)으로 공급하면 좋다.

스텝 S192에서 해드폰 재생이라고 판정되지 않으면(NO), 도13 과 마찬가지의, 스텝 S187∼S190의 처리를 행한다. 스텝 S189에서의 처리는, 스텝 S193에서의 헤드폰(55)에 의한 재생 처리와는 다르며, 바이노럴 음성 신호를 스피커(53, 54)에 의해 재생하는 처리이다.

<<제2 실시형태>>

촬영자(300)는 좌우의 귀(302)에 바이노럴 마이크(3)를 장착하여 집음하면서 피사체의 촬영 및 기록 매체(44)로의 기록을 행함으로써, 시청자(59)는 촬영자(300)가 촬영을 행했을 때의 전체 방향의 주위음을 수청할 수 있다. 그런데, 통상의 영상 음성 기록 재생 장치(비디오 카메라)에 의해 촬영되는 영상은 카메라 전방 약60도의 범위의 영상이다. 줌 촬영을 행하는 경우에 더욱 좁은 시야각으로 촬영된다. 그래서, 줌 촬영을 행할 경우에는, 줌업 된 피사체의 근방에서 발음되는 음성을 증강시켜 집음할 수 있는 것이 바람직하다. 제2 실시형태는, 피사체의 줌업에 병행하여, 피사체 근방의 음성을 증강시켜 집음하여 기록하도록 구성한 것이다.

도28 에 제2 실시형태인 음성의 줌 처리부를 구비한 영상 음성 기록 재생 장 치(102)를 나타내고, 그 구성과 동작에 대하여 설명한다. 도3 에 나타낸 제1 실시형태의 영상 음성 기록 재생 장치(101)와 동일한 기능을 가지는 구성 부분에는 동일 부호를 붙이고, 그 설명을 생략한다. 영상 음성 기록 재생 장치(102)는 영상 음성 기록 재생 장치(101)와 비교하여 음성 줌 처리부(33)를 구비하는 점이 상이하다. 또한, 도28 에서는, 헤드폰(55)과 헤드폰(55)의 접속 단자인 음성 출력 단자(37c)의 도시를 생략하고 있다.

도28 에 있어서, 외부 마이크 접속단자(32)를 통하여 입력되는 바이노럴 마이크(3)로부터의 음성 신호는 음성 줌 처리부(33)에 입력된다. 카메라부(11)는 복수의 렌즈(도시하지 않음)을 구비하고, 하나 또는 복수의 렌즈를 이동시켜 렌즈간 거리를 가변함으로써 피사체를 줌업/다운하는 줌 기능을 가지고 있다. 조작부(48)에 의해 줌업 조작이 이루어지면, 제어부(47)로부터 줌업 제어 신호가 카메라부(11)에 입력되어 피사체가 줌업 되어 촬상됨과 함께, 줌업 제어 신호가 음성 줌 처리부(33)에 입력되어 입력된 음성 신호에 대하여 음성의 줌업 처리가 시행된다.

음성 줌 처리부(33)는, 줌업 제어 신호에 기초하여, 바이노럴 음성 신호 중 피사체 근방에서 발생되는 음성 신호를 많이 포함하는 촬영자(300)의 정중면에서 집음되는 음성 신호를 증강하여 줌업 음성 신호를 생성한다. 줌업 음성 신호는 스위치(Sw1)를 통하여 오디오 부호화부(22)에 입력된다. 줌업 촬상된 피사체의 영상 신호는 비디오 부호화부(12)에서 부호화되고, 줌업 음성 신호는 오디오 부호화부(22)에서 부호화되고, 제1 실시형태와 마찬가지로 기록 매체(44)에 기록된다.

도29 는 음성 줌 처리부(33)의 구체적인 구성예이다. 도29 에 나타내는 바 와 같이, 음성 줌 처리부(33)는, 줌 배율 검출기(331), 계수 산출기(332), 가산기(335), 가변 증폭기(337), 가산기(338a, 338b)를 구비하여 구성되어 있다.

도29 에 있어서, 줌 배율 검출기(331)는 제어부(47)로부터 공급되는 줌업 제어 신호를 기본으로 줌 배율을 검출한다. 계수 산출기(332)는 검출된 줌 배율에 따라 피사체 근방에서 발생되는 음성의 증강도를 나타내는 계수 α를 산출한다. 가산기(335)는 외부 마이크 접속 단자(32)에서 입력된 좌우 채널의 바이노럴 음성 신호를 가산한다. 가변 증폭기(337)는 가산기(335)의 출력 신호를 계수 산출기(332)로부터의 계수 α에 따라 증폭한다. 가산기(338a, 338b)는, 가변 증폭기(337)의 출력 신호에 각각, 좌, 우 채널의 바이노럴 음성 신호를 가산한다. 바이노럴 마이크(3)의 마이크(31a, 31b)를 촬영자(300)의 좌우의 귀(302)에 장착한 상태에서 마이크(31a, 31b) 내의 진동판은 거의 평행이 된다. 촬영자(300)의 좌우 방향으로부터의 음성은 서로 역상의 성분을 포함하는 것이 있기 때문에, 가산기(335)에서의 좌우 채널의 가산의 결과, 좌우 방향으로부터의 음성은 부분적으로 상쇄되어 감쇠한다. 따라서, 음성 줌 처리부(33)로부터는, 촬영자(300)의 정중면에서 집음되는 음성이 증강된 줌업 음성 신호가 출력되게 된다.

도30 을 이용하여, 음성 줌 처리부(33)에서의 동작을 포함하는 영상 음성 기록 재생 장치(102)의 동작에 대하여 좀 더 설명한다. 도30 에 있어서, 스텝 S201에서, 가산기(335)는 바이노럴 마이크(3)로부터의 좌우 채널의 바이노럴 음성 신호를 가산하여 가산 신호 S를 얻는다. 스텝 S202에서, 줌 배율 검출기(331)는 조작부(48)의 조작에 따라 제어부(47)에서 얻어지는 줌 배율을 검출한다. 줌 배율을 카메라부(11)의 렌즈를 구동하는 모터로의 인가 전압과 구동 시간과의 관계로부터 구하도록 해도 좋다. 스텝 S203에서, 계수 산출기(332)는 줌 배율에 따라 증강도를 나타내는 계수 α를 산출한다. 스텝 S204에서, 가변 증복기(332)는 가산기(335)의 출력 신호에 계수 α를 곱하여 aS를 구한다. 스텝 S205에서, 가산기(338a, 338b)는, 좌, 우 채널의 바이노럴 음성 신호와 가변 증폭기(337)의 출력 신호(αS)를 가산한다. 그리고, 스텝 S206에서, 줌업 음성 신호를 기록 매체(44)에 기록한다. 스텝 S207에서, 제어부(47)는 기록이 종료했는지를 판정하고, 종료하지 않았으면(NO), 스텝 S201부터 반복한다. 스텝 S207에서 기록이 종료했으면(YES), 음성 줌 처리부(33)에서의 처리를 종료한다.

도31 은, 음성 줌 처리부(33)의 다른 구성예를 나타내는 음성 줌 처리부(33a)를 나타내고 있다. 정중면의 음성 신호에 대하여 음원이 수청자에게 접근한 바와 같은 효과를 부여하는 듯한 두부 전달 함수를 컨벌루션하면, 카메라부(11)에서의 피사체의 줌업에 연동하여 음원이 마치 수청자에게 접근한 바와 같이 느껴지고, 더욱 현장감을 가지는 음성 신호를 수청할 수 있다. 도31 에 나타내는 음성 줌 처리부(33a)는, 정중면의 음성 신호에 음원을 접근시키는 바와 같은 효과를 부여하는 두부 전달 함수를 컨벌루션하도록 구성한 것이다.

도31 에 나타내는 음성 줌 처리부(33a)는, 도29 의 음성 줌 처리부(33)와 비교하여, 함수 취득기(333), 전달 함수 메모리(334), 컨벌루션 연산기(336)가 추가되어 있는 점에서 상이하다.

도31 에 있어서, 전달 함수 메모리(334)에는 음원을 가상적으로 근접하여 정 위시킨 가상 음원을 형성하기 위한 두부 전달 함수를 기억해 둔다. 그 두부 전달 함수는 가상 음원으로부터 발생된 음의 수청 특성을 얻기 위한 함수이며, 수청 특성은 가상 음원과 수청자와의 거리에 의해 결정된다.

함수 취득기(333)는, 계수 산출기(332)에서 산출되는 계수 α에 따라 상정되는 음원의 정위 위치에 대응하는 두부 전달 함수를 전달 함수 메모리(334)로부터 취득한다. 또한, 도29 에 있어서의 계수 α와 도31 및 다른 도에 있어서의 계수 α와는 반드시 동일한 것은 아니지만, 편의상 동일한 부호를 붙인다. 컨벌루션 연산기(336)는, 가산기(335)에서 생성된 바이노럴 음성의 가산 신호에 함수 취득기(333)에서 취득된 두부 전달 함수를 컨벌루션한다. 가변 증폭기(337)는, 두부 전달 함수가 컨벌루션된 가산 신호를 계수 산출기(332)에서 얻어진 계수 α에 따라 증폭된다. 가산기(338a, 338b)는, 좌, 우 채널의 바이노럴 음성 신호와 가변 증폭기(337)의 출력 신호를 가산한다. 여기에서는, 가변 증폭기(337)를 구비하는 구성으로 했지만, 음원을 가상적으로 근접하여 정위되는 것만으로도 충분히 효과적이며, 가변 증폭기(337)를 생략하는 것도 가능하다. 또한, 함수 취득기(333)가 두부 전달 함수를 선택하기 위한 계수 α와, 가변 증폭기(337)에 있어서의 증폭의 정도를 결정하는 계수 α를 다른 계수로 해도 좋다.

도32 를 이용하여, 가상 음원을 형성하기 위한 두부 전달 함수의 측정 방법에 대하여 설명한다.

도32 에 나타내는 두부 전달 함수 측정 장치(6a)는, 퍼스널 컴퓨터(61), 증폭기(62), 스피커(63), 증폭기(66a, 66b), 더미 헤드 마이크(68)를 구비하여 구성 되어 있다. 더미 헤드 마이크(68)는, 인공머리(681)에 마이크 유닛(684a, 684b)을 장착하고 있다. 두부 전달 함수 측정 장치(6a)는, 도15 에 나타낸 두부 전달 함수 측정 장치(6)와 비교하여, 원통형 구조체(65e)에 장착한 마이크 유닛(65a, 65b) 대신에 더미 헤드 마이크(68)를 이용하고 있는 점, 및 스피커를 좌우의 스피커(63, 64)의 한쪽만으로 하여(여기에서는 스피커(63)를 사용) 더미 헤드 마이크(68)의 정중면에 배치하고 있는 점에서 상이하다.

도33 에 더미 헤드 마이크(68)의 단면도를 나타낸다. 더미 헤드 마이크(68)는, 이개형 부재(682a, 682b)를 구비하는 인공머리(681)의 이도(683a, 683b)의 입구 근방에 마이크 유닛(684a, 684b)을 배치한 것이다. 도16(C) 에 나타낸 더미 헤드 마이크(69)는, 이도(693a, 693b)의 안쪽부의 사람의 고막의 위치에 상당하는 위치에 마이크 유닛(694a, 694b)을 배치한 것이며, 더미 헤드 마이크(68)에서는 이도(683a, 683b)의 입구 근방에 마이크 유닛(684a, 684b)을 배치하고 있는 점에서 더미 헤드 마이크(69)와 상위하다. 또한, 통상, 더미 헤드 마이크란, 도16(C) 에 나타내는 바와 같이 이도(693a, 693b)의 안쪽부의 사람의 고막에 위치에 상당하는 위치에 마이크 유닛(694a, 694b)을 배치하는 것을 말하지만, 이개형 부재(682a, 682b)를 구비하는 인공머리(681)의 이도(683a, 683b)의 입구 근방에 마이크 유닛(684a, 684b)을 배치한 도33 의 것도 편의상 더미 헤드 마이크로 칭하고 있다.

더미 헤드 마이크(68)를 이용함으로써, 스피커(63)로부터의 음성을 이도(683a, 683b)에 의한 영향이 제외된 바이노럴 음성으로서 집음할 수 있다.

도32 로 돌아가, 퍼스널 컴퓨터(61)에 의해 예를 들면 임펄스음으로 이루어 지는 측정 신호를 생성한다. 측정 신호는 증폭기(62)에서 증폭된다. 스피커(63)로부터 발음된 측정 신호는 더미 헤드 마이크(68)의 좌우의 마이크 유닛(684a, 684b)에서 수음된다. 수음하여 얻어진 좌우의 신호는 증폭기(66a, 66b)에서 증폭되어 퍼스널 컴퓨터(61)에 입력된다. 퍼스널 컴퓨터(61)는 생성한 측정 신호와 수음한 신호를 비교함으로써, 더미 헤드 마이크(68)의 두부 전달 함수 h_l(t), h_r(t)를 구한다. 두부 전달 함수 h_l(t)는 좌측의 마이크 유닛(684a)에서의 수음 신호에 의해 구한 두부 전달 함수, 두부 전달 함수 h_r(t)는 우측의 마이크 유닛(684b)에서의 수음 신호에 의해 구한 두부 전달 함수이다. 스피커(63)와 더미 헤드 마이크(68)과의 거리(D)를, 예를 들면 0.5m, 1m, 2m 등과 같이 설정하고, 각각의 거리(D)에 있어서의 두부 전달 함수를 순차 구한다.

도34∼도39 에, 도32 에 나타낸 두부 전달 함수 측정 장치(6a)에서 측정하여 얻어진 두부 전달 함수의 특성을 나타낸다.

도34(A) 에 나타내는 임펄스 응답 파형은, 스피커(63)와 더미 헤드 마이크(68)와의 거리(D)가 50cm의 경우에 좌측의 마이크 유닛(684a)에서 수음된 파형이다. 종축은 정규화된 진폭(전압)이다. 횡축은 시간이며, 표본화 주파수가 48kHz인 신호의 표본점의 수로 나타내고 있다. 도34(B) 는 도34(A) 에 나타내는 임펄스 응답 파형을 퍼스널 컴퓨터(61)로 푸리에 해석하여 얻어진 주파수 응답 특성이다. 횡축이 주파수(Hz)이며, 종축은 응답 특성이다.

도35(A) 는 거리(D)가 50cm인 경우에 우측의 마이크 유닛(684b)에서 수음된 임펄스 응답 파형이다. 도35(B) 는 도35(A) 에 나타내는 임펄스 응답 파형을 푸리에 해석하여 얻어진 주파수 응답 특성이다. 측정 조건은 도34 와 동일하다.

이하, 동일하게 하여, 도36(A) 는 거리(D)가 1m인 경우에 좌측의 마이크 유닛(684a)에서 수음된 임펄스 응답 파형, 도36(B) 는 그 주파수 응답 특성이다.

도37(A) 는 거리(D)가 1m인 경우에 우측의 마이크 유닛(684b)에서 수음된 임펄스 응답 파형, 도37(B) 는 그 주파수 응답 특성이다.

도38(A) 는 거리(D)가 2m인 경우에 좌측의 마이크 유닛(684a)에서 수음된 임펄스 응답 파형, 도38(B) 는 그 주파수 응답 특성이다.

도39(A) 는 거리(D)가 2m인 경우에 우측의 마이크 유닛(684b)에서 수음된 임펄스 응답 파형, 도39(B) 는 그 주파수 응답 특성이다.

그들의 특성을 비교하면, 도34∼도39 의 (A)에 나타내는 임펄스 응답 파형은 거리(D)의 값을 0.5m, 1m, 2m로 증가시키면 파형의 진폭은 감소한다. 도34∼도39 의 (B)에 나타내는 주파수 응답 특성은, 거리(D)가 0.5m인 경우는 파선의 타원으로 둘러싼 1kHz∼4kHz의 주파수 부분에서 약400Hz의 간격의 규칙적인 요철 특성(피크디프)이 생기고, 거리(D)가 1m인 경우에서는 약간 불규칙한 요출 특성으로 되며, 거리(D)가 2m인 경우에서는 주파수 간격이 다른 복수의 요철 특성이 조합된 특성으로 되어 있다. 또한, 거리(D)가 동일한 경우는 좌우로 거의 동일한 특성이 얻어지고 있다.

퍼스널 컴퓨터(61)는, 생성한 임펄스음의 측정 신호와 증폭기(66a, 66b)로부터 입력되는 임펄스 응답 신호의 파형을 비교하여, 거리(D)마다의 두부 전달 특성 을 구한다. 거리(D)마다 구한 두부 전달 특성이 음원을 가상적으로 거리(D)의 위치에 정위시키고, 그 가상적인 음원으로부터의 음성 신호를 수청자에게 수청시키기 위한 특성이다. 또한, 본 실시형태에서는 거리(D)를 0.5m, 1m, 2m로 했지만, 좀더 많은 거리에 있어서 각각의 특성을 구해도 좋고, 거리(D)의 간격을 0.5m보다도 좁게 해도 좋다.

이상과 같이 하여 얻어진 두부 전달 특성은 도31 의 전달 함수 메모리(334)에 기억된다. 줌 배율 검출기(331)에서 검출된 줌 배율에 대하여, 기억된 전달 함수의 어느 것을 이용할지는, 일 예로서, 카메라부(11)에 있어서의 도시하지 않은 자동 초점 측정 기능에 의해 계측되는 피사체까지의 거리를 줌 배율로 제거하여 얻어지는 계수 α를 이용한다. 예를 들면 피사체까지의 거리가 10m로 줌 배율이 5인 경우, 계수 α는 2가 된다. 피사체까지의 거리가 10m로 줌 배율이 10인 경우, 계수 α는 1이 되며, 줌 배율이 20인 경우에는 계수 α는 0. 5가 된다.

도40 을 이용하여, 음성 줌 처리부(33a)에서의 동작을 포함하는 영상 음성 기록 재생 장치(102)의 동작에 대하여 좀 더 설명한다. 도40 에 있어서, 스텝 S211에서, 가산기(335)는 바이노럴 마이크(3)로부터의 좌우 채널의 바이노럴 음성 신호를 가산하여 가산 신호(S)를 얻는다. 스텝 S212에서, 줌 배율 검출기(331)는 조작부(48)의 조작에 따라 제어부(47)에서 얻어지는 줌 배율을 검출한다. 스텝 S213에서, 계수 산출기(332)는 줌 배율에 따라 전달 함수 메모리(334)에 기억된 복수의 전달 함수 내의 어느 것을 선택할지를 결정하거나, 가변 증폭기(337)에서의 증강도를 나타내는 계수 α를 산출하거나 한다. 또한, 계수 α로서는 피사체까지 의 거리를 줌 배율로 제거하여 얻어지는 수를 그대로 이용해도 좋고, 피사체까지의 거리를 줌 배율로 제거하여 얻어지는 수에 기초하여 생성한 값이어도 좋다.

스텝 S214에서, 함수 취득기(333)는 계수 α에 따라 전달 함수 메모리(334)에서 전달 함수를 취득하고, 컨벌루션 연산기(336)는 가산기(335)로부터 출력된 가산 신호에 전달 함수를 컨벌루션한다. 스텝 S215에서, 가변 증폭기(337)는 컨벌루션 연산기(336)의 출력 신호에 계수 α를 곱하여 증강시킨다. 스텝 S216에서, 가산기(338a, 338b)는, 좌, 우 채널의 바이노럴 음성 신호와 가변 증폭기(337)의 출력 신호를 가산한다. 그리고, 스텝 S216에서, 줌업 음성 신호를 기록 매체(44)에 기록한다. 스텝 S218에서, 제어부(47)는 기록이 종료했는지 판정하고, 종료하지 않았으면(NO), 스텝 S211부터 반복한다. 스텝 S218에서 기록이 종료되어 있으면(YES), 음성 줌 처리부(33a)에서의 처리를 종료한다.

<<제3 실시형태>>

제2 실시형태는 음성의 줌업 처리를 기록측에서 행하는 것이지만, 제3 실시형태는 음성의 줌업 처리를 재생측에서 행하는 것이다. 도41 에 나타내는 제3 실시형태의 영상 음성 기록 재생 장치(103)에 있어서, 도3 에 나타낸 제1 실시형태의 영상 음성 기록 재생 장치(101)와 동일한 기능을 가지는 구성 부분에는 동일 부호를 붙이고, 그 설명을 생략한다. 영상 음성 기록 재생 장치(103)는 영상 음성 기록 재생 장치(101)와 비교하여, 음성 줌 처리부(33b)를 분리화부(15)의 후단에 설치하고 있고, 줌 배율 검출기(331)를 다중화부(13)의 전단에 설치하고 있는 점이 상이하다. 또한, 도41 에서는, 헤드폰(55)과 헤드폰(55)의 접속 단자인 음성 출력 단자(37c)의 도시를 생략하고 있다.

영상 음성 기록 재생 장치(103)의 동작에 대하여 설명한다. 조작부(48)가 조작되고, 제어부(47)에서 생성되는 카메라부(11)의 렌즈 구동용 신호는 카메라부(11)와 줌 배율 검출기(331)에 공급된다. 줌 배율 검출기(331)는, 렌즈 구동용 신호의 줌 방향, 줌 속도, 렌즈 구동 시간을 해석하여 줌 배율을 검출한다. 검출된 줌 배율을 나타내는 줌 배율 정보는 다중화부(13)에 공급된다. 다중화부(13)는 부호화 영상 신호와 부호화 음성 신호와 바이노럴 플래그 신호에 병행하여 줌 배율 정보도 다중화한다. 기록·재생부(14)는 줌 배율 정보도 포함하는 다중화 신호를 기록 매체(44)에 기록한다.

기록·재생부(14)는 기록 매체(44)에 기록된 다중화 신호를 재생하고, 분리화부(15)는 부호화 영상 신호와 부호화 음성 신호와 바이노럴 플래그 신호에 병행하여 줌 배율 정보도 분리한다. 줌 배율 정보는 음성 줌 처리부(33b)에 입력된다.

도42 는 음성 줌 처리부(33b)의 구체적인 구성예이다. 도42 에 나타내는 바와 같이, 음성 줌 처리부(33b)는 도29 의 음성 줌 처리부(33)과 비교하여, 줌 배율 검출기(331)가 생략되어 있는 점과 가산기(338a, 338b)에 입력되는 신호가 크로스 토크 캔슬러(27)의 출력 신호인 점에서 상이하다.

도42 에 있어서, 계수 산출기(332)는 분리화부(15)에서 분리되어 입력된 줌 배율 정보를 이용하여 가변 증폭기(337)에서 입력 신호를 증폭할 때에 이용하는 계수 α를 산출한다. 가산기(335)는 오디오 복호화부(26)로부터 입력되는 바이노럴 음성 신호를 가산한다. 가산 증폭기(337)는 가산기(335)로부터의 출력 신호를 계 수 산출기(332)로부터 입력된 계수 α에 따라 증폭한다. 가산기(338a, 338b)는 크로스 토크 캔슬러(27)로부터의 출력 신호와 가변 증폭기(337)로부터의 증폭 신호를 가산한다.

그런데, 카메라부(11)에 있어서의 줌 처리를 예를 들면 DSP를 이용하여 소프트웨어에 의해 연산 처리하여 실행시키는 경우가 있다. 음성 줌 처리를 재생시에 행하는 경우에는 줌 처리에 필요한 DSP의 신호 처리 시간을 확보할 필요는 없다. 그 때문에, 기록시에 DSP에 의해 촬영한 영상 신호의 최적화 처리나 영상 신호의 부호화, 또는 기록 제어 등의 신호 처리를 충분히 행할 수 있다. 음성 줌 처리를 재생시에 행함으로써, DSP에서의 연산 공수(工數)가 줌 처리를 위한 연산 처리에 할당되어, 기록을 행하기 위한 연산 시간이 부족한다는 문제점이 발생하는 우려를 회피할 수 있다.

도43 은, 도42 의 음성 줌 처리부(33b)에 대하여, 도31 과 마찬가지로, 정중면의 음성 신호에 근접 효과를 부여하는 두부 전달 함수를 컨벌루션하도록 구성한 음성 줌 처리부(33c)를 나타내고 있다. 음성 줌 처리부(33c)는 음성 줌 처리부(33b)와 비교하여, 함수 취득기(333), 전달 함수 메모리(334), 컨벌루션 연산기(336)가 추가되어 있는 점에서 상이하다. 함수 취득기(333), 전달 함수 메모리(334), 컨벌루션 연산기(336)의 동작은 도31 과 마찬가지이며, 설명을 생략한다.

<<제4 실시형태>>

도44 에 나타내는 제4 실시형태의 영상 음성 기록 재생 장치(104)는, 음성의 줌업 처리를 기록 매체(44)의 재생시에 외부 조작에 의해 수동으로 행하도록 구성 한 것이다. 즉, 줌 배율 정보가 기록 매체(44)에 기록되어 있지 않는 경우에, 시청자(59)가 모니터(52)에서 재생한 영상 신호를 보면서 음성의 줌업 처리를 행하는 것이다. 시청자(59)에 의한 수동으로 행하는 음성의 줌업 처리를 매뉴얼 음성 줌 처리로 칭하기로 한다.

도44 에 나타내는 영상 음성 기록 재생 장치(104)는, 영상 음성 기록 재생 장치(103)와 비교하여, 줌 배율 검출기(331)가 생략되고, 음성 줌 처리부(33b) 대신에 음성 줌 처리부(33d)를 구비하고 있는 점에서 상이하다.

시청자(59)가 조작부(48)를 조작하여 메뉴얼 음성 줌을 행하도록 지시하면, 제어부(47)는 줌업 제어 신호를 음성 줌 처리부(33d)에 입력된다. 음성 줌 처리부(33d)는 줌업 제어 신호에 따라 오디오 복호화부(26)에서 복호된 바이노럴 음성 신호에 대하여 줌업 처리를 시행한다.

도45 는 음성 줌 처리부(33d)의 구체적인 구성예이다. 도45 에 나타내는 바와 같이, 음성 줌 처리부(33d)는, 도42 의 줌 처리부(33b)와 비교하여, 제어부(47)로부터의 줌업 제어 신호가 입력되는 줌 배율 검출기(331a)가 설치되고, 계수 산출기(332)에는 분리화부(15)로부터의 줌 배율 정보가 아닌 줌 배율 검출기(331a)에서 생성한 줌 배율 정보를 입력하고 있는 점에서 상이하다. 그 외의 부분은 줌 처리부(33b)와 마찬가지의 동작이며, 설명을 생략한다.

도46 을 이용하여 제4 실시형태에 있어서의 메뉴얼 음성 줌 처리에 대하여 좀 더 설명한다. 도46 에 있어서, 스텝 S221에서, 가산기(335)는 재생하여 얻어진 바이노럴 음성 신호의 좌우의 신호를 가산하여 가산 신호(S)를 얻는다. 스텝 S222 에서, 제어부(47)는 조작부(48)에 의해 음성 줌 배율이 가변되었는지 아닌지를 판정한다. 스텝 S222에서 음성 줌 배율이 가변된 경우는(YES), 스텝 S223으로 이동하고, 가변되지 않은 경우는(NO), 스텝 S226으로 이동한다.

음성 줌 배율이 가변된 경우에는 스텝 S223에서, 줌 배율 검출기(331a)는 줌업 제어 신호에 기초하여 줌 배율을 산출한다. 스텝 S224에서, 계수 산출기(332)는 줌 배율 검출기(331a)로부터 입력된 줌 배율에 기초하여 계수 α를 산출한다. 계수 α는, 음원을 시청자의 전방에 정위시키기 위한 두부 전달 함수의 특성을 포함하고 있어도 좋다. 스텝 S225에서, 계수 α의 값을 새로 산출된 값으로 갱신한다.

그리고, 스텝 S226에서, 가변 증폭기(337)는 가산 신호(S)에 계수 α를 승산하여 αS를 생성한다. 또한, 스텝 S223∼S225를 거치지 않은 경우는, 계수 α는 음성 줌 배율이 가변하기 전의 값이다. 스텝 S227에서, 가산기(338a, 338b)는 크로스 토크 캔슬러(27)에 의해 크로스 토크 캔슬 처리가 시행된 바이노럴 음성 신호에 신호 αS를 가산한다. 스텝 S228에서, 스위치(Sw2) 및 음성 출력 단자(37b)를 통하여 스텝 S227에서 얻어진 음성 신호를 출력한다. 스텝 S229에서, 제어부(47)는 재생이 종료했는지 아닌지를 판정하고, 종료하지 않았으면(NO), 스텝 S221로 되돌아가고, 종료하였으면(YES), 처리를 종료한다.

<<제5 실시형태>>

도47 에 나타내는 제5 실시형태의 영상 음성 기록 재생 장치(105)는, 줌업 음성 신호를 헤드폰(55)으로 수청하기에 호적한 구성을 나타내고 있다. 도47 에 나타내는 영상 음성 기록 재생 장치(105)는, 도41 의 영상 음성 기록 재생 장치(103)와 비교하여, 음성 줌 처리부(33b) 대신에 음성 줌 처리부(33e)를 구비하고 있고, 음성 줌 처리부(33e)로부터 출력된 음성 신호를 음성 출력 단자(37c)를 통하여 헤드폰(55)으로 공급하고 있는 점에서 상이하다. 헤드폰(55)에는, 크로스 토크 캔슬러(27)에 의해 크로스 토크 캔슬 처리를 시행하지 않고, 음성 줌 처리부(33e)에 의해 줌업 처리를 시행한 바이노럴 음성 신호를 공급한다.

도48 은 음성 줌 처리부(33e)의 구체적인 구성예이다. 음성 줌 처리부(33e)는 도42 의 음성 줌 처리부(33b)와 비교하여, 가산기(338c, 338d)가 추가되고 있는 점에서 상이하다. 가산기(338c, 338d)는, 오디오 복호화부(26)에서 복호하여 얻어진 바이노럴 음성 신호에 가변 증폭기(337)로부터 출력된 줌업 음성 신호를 가산한다. 가산기(338c, 338d)에 의해 가산된 헤드폰 수청용 음성 신호는 음성 출력 단자(37c)를 통하여 헤드폰(55)으로 공급된다.

이상 설명된 제2∼제5 실시형태에 의한 줌업 음성 신호의 재생 효과는 이하와 같다.

카메라부(11)의 시야각이 와이드하게 설정되고, 줌 배율이 작은 경우에는 가산기(335)에서 가산된 신호는 가변 증폭기(337)에서 증강되지 않기 때문에, 시청자(59)는, 모니터(52)에 표시된 영상 신호와 촬영자(300)를 둘러싸는 360도의 음성 신호를 스피커(53, 54)로 재생한 현장감을 가지는 음성 신호를 시청하게 된다. 시야각을 와이드하게 설정한 경우라도 시야각은 60도 정도이다. 시청자(59)는, 영상의 시야각과 음성 신호를 집음했을 때의 각도 범위와의 차이에 의해, 모니터(52)에 표시되는 피사체로부터 발생하는 음이 부족하는 소위 중간에 끊기는 음성이라고 인식하는 경우가 있다. 이에 대하여, 전술과 같은 음성 줌업 처리가 시행된 음성 신호는, 촬영자(300)에 대하여 정중면으로부터의 신호 성분을 증강하고 바이노럴 음성 신호에 가산하기 때문에, 중간에 끊김이 보상된 음성 신호가 된다. 따라서, 시청자(59)가 중간에 끊기는 음성이라고 인식하는 것을 방지하고, 시청자(59)는 제1 실시예와 비교하여 더욱 위화감이 적은 현장감이 있는 음성을 수청하는 것이 가능하게 된다.

<<제6 실시형태>>

도49, 도50 에 나타내는 제6 실시형태의 영상 음성 기록 재생 장치(106)는, 제1∼제5 실시형태와 같이 내장 스테레오 마이크(21)와 바이노럴 마이크(3)를 별개로 설치한 것은 아니며, 통상의 스테레오 집음용의 마이크와 바이노럴 마이크를 공용시킨 구성을 나타내고 있다. 도49 는 제6 실시형태도 영상 음성 기록 재생 장치(106)의 외관 구성예를 나타내는 평면도이며, 도50 은 영상 음성 기록 재생 장치(106)의 구체적인 내부 구성예를 나타내는 블록도이다. 도49, 도50 에 있어서, 도1, 도3 과 동일한 기능을 가지는 구성 부분에는 동일 부호를 붙이고, 그 설명을 생략한다.

도49 에 나타내는 바와 같이, 영상 음성 기록 재생 장치(106)는 상면에 마이크(31e, 31f)를 올려놓기 위한 마이크 재치부(35a, 35b)와 마이크(31e, 31f)에 접속된 마이크 코드(310e, 310f)를 수납하는 코드 수납부(34)를 구비하고 있다.

도49 에 있어서, 마이크(31e, 31f)를 이용하여 통상의 스테레오 음성으로 집 음하는 경우는, 촬영자(300)는 마이크(31e, 31f)를 마이크 재치부(35a, 35b)에 올려 놓고 집음한다. 바이노럴 음성의 집음을 행하는 경우는, 촬영자(300)는 코드 수납부(34)로부터 마이크 코드(310e, 310f)를 인출하여 마이크(31e, 31f)를 귀(302)에 장착하여 집음한다. 영상 음성 기록 재생 장치(106)는 마이크 재치부(35a, 35b)에 올려놓여지는 마이크(31e, 31f)를 검출하는 도시하지 않은 돌기형상 검출부를 가진다. 돌기형상 검출부에 연동하여 동작하는 스위치(도50 의 스위치(Sw4)에 상당)의 온/오프에 의해, 영상 음성 기록 재생 장치(106)는 마이크(31e, 31f)가 마이크 재치부(35a, 35b)에 올려놓여져 있는지 아닌지를 검출한다. 마이크 재치부(35a, 35b)에 올려놓여져 있는지 아닌지의 검출은 이에 한정되지 않고, 예를 들면, 마이크(31e, 31f)에 내장되어 있는 영구 자석으로부터 발생하는 자계를 홀 소자나 자기 저항 소자를 이용하여 검출하도록 해도 좋다.

구체적으로는, 도50 에 있어서, 스위치(Sw4)는, 마이크(31e, 31f)가 마이크 재치부(35a, 35b)에 올려놓여져 있지 않으면 단자(e)에 접속되어 오프 상태가 되고, 마이크(31e, 31f)가 올려놓여져 있으면 단자(f)에 접속되어 온 상태가 된다. 재치 검출부(41a)는, 스위치(Sw4)가 단자(e)에 접속되어 있는지 단자(f)에 접속되어 있는지에 의해 마이크(31e, 31f)가 마이크 재치부(35a, 35b)에 올려놓여져 있는지 아닌지를 검출한다. 재치 검출부(41a)에 의한 검출 신호는 제어부(47)로 공급된다.

재치 검출부(41a)가, 마이크(31e, 31f)가 올려놓여져 있는 것을 검출한 경우에는, 마이크(31e, 31f)는 통상의 스테레오 집음을 행하고, 제어부(47)는, 영상 음 성 기록 재생 장치(106)가 노멀 모드에서의 촬영에 대응한 기록 동작을 행하도록 회로 각부를 제어한다. 이 경우, 마이크(31e, 31f)의 역할은 도3 에 있어서의 내장 스테레오 마이크(21)와 등가(等價)이며, 플래그 정보 생성부(42)는 바이노럴 모드인 것을 나타내는 바이노럴 플래그 신호를 생성하지 않는다. 한편, 재치 검출부(41a)가, 마이크(31e, 31f)가 올려놓여져 있지 않는 것을 검출한 경우에는, 촬영자(300)가 마이크(31e, 31f)를 귀(302)에 장착하여 바이노럴 집음하는 바이노럴 모드라고 간주하고, 제어부(47)는, 영상 음성 기록 재생 장치(106)가 바이노럴 모드에서의 촬영에 대응한 기록 동작을 행하도록 회로 각부를 제어한다. 이 경우, 플래그 정보 생성부(42)는 제어부(47)에 의한 제어에 기초하여 바이노럴 플래그 신호를 생성한다.

제6 실시형태에서는, 마이크(31e, 31f), 마이크 재치부(35a, 35b), 재치 검출부(41a), 제어부(47)가 전체로서, 주위음을 집음하는 마이크로서, 촬영자의 귀에 장착하는 바이노럴 마이크를 사용할지 바이노럴 마이크 이외의 마이크를 사용할지를 절환하는 절환부로서 동작하고 있다.

여기서, 도51 을 이용하여 코드 수납부(34)의 구조의 일 예에 대하여 설명한다. 도51(A) 는 코드 수납부(34)를 상면측에서 본 내부 구조이며, 마이크 코드(310e, 310f)는 회전축(343)을 가지는 릴(341)에 감겨져 있다. 도51(B) 는 코드 수납부(34)를 하면측에서 본 내부 구조이며, 릴(341)의 내부에는 소용돌이 형상의 스프링(342)이 구비되어 있다. 마이크(31e, 31f)가 마이크 재치부(35a, 35b)에 올려놓여져 있는지 아닌지를 검출하는 대신에, 또는 이에 더하여, 릴(341)의 회전각 을 검출함으로써 바이노럴 모드인지 아닌지를 검출해도 좋다.

<<제7 실시형태>>

도52 에 나타내는 제7 실시형태의 영상 음성 기록 재생 장치(107)는, 집음하여 얻어진 음성 신호를 장치 본체에 무선 전송하는 무선형 바이노럴 마이크를 이용한 구성을 나타내고 있다. 도52 에 있어서, 도1 과 동일한 기능을 가지는 구성 부분에는 동일 부호를 붙이고, 그 설명을 생략한다.

도52 에 있어서, 영상 음성 기록 재생 장치(107)는, 도1 의 외부 마이크 접속 단자(32) 대신에 무선 송수신부(39)를 구비하고, 바이노럴 마이크(3) 대신에 무선형 바이노럴 마이크(38)를 이용하여 음성 수록을 행한다. 촬영자(300)는, 장치 본체와 무선 결합되는 무선형 바이노럴 마이크(38)를 두부에 장착하고 좌우의 마이크(38a, 38b)를 귀(302)에 삽입하여 집음함으로써, 마이크 코드에 방해되지 않고 촬영을 행할 수 있다. 또한, 촬영자(300)와, 도시하지 않은 집음자의 2인에 의한 촬영도 가능하게 된다.

도53 을 이용하여 영상 음성 기록 재생 장치(107)의 내부 구성에 대하여 설명한다. 도53 에 있어서, 도3 과 동일한 기능을 가지는 구성 부분에는 동일 부호를 붙이고, 그 설명을 생략한다. 도53 에 나타내는 영상 음성 기록 재생 장치(107)는, 도3 의 영상 음성 기록 재생 장치(101)와 비교하여, 외부 마이크 접속 단자(32) 및 접속 검출부(41) 대신에 무선 송수신부(39)를 구비하고 있는 점에서 상이하다.

제어부(47)는, 무선형 바이노럴 마이크(38)가 장치 본체로부터 소정의 거리 에 있다고 판단하고, 무선 송수신부(39)가 무선형 바이노럴 마이크(38)로부터 바이노럴 음성 신호를 수신하는 경우에, 스위치(Sw1)를 단자(b)에 접속시켜 무선형 바이노럴 마이크(38)로부터 바이노럴 음성 신호를 오디오 부호화부(22)에 공급시킨다. 이 경우, 제어부(47)는, 플래그 정보 생성부(42)가 바이노럴 플래그 신호를 생성하도록 제어한다. 또한, 제어부(47)는, 무선형 바이노럴 마이크(38)가 장치 본체로부터 소정의 거리를 넘는다고 판단한 경우에는, 스위치(Sw1)를 단자(a)에 접속시키고, 내장 스테레오 마이크(21)로부터의 스테레오 음성 신호를 오디오 부호화부(22)에 공급시킨다. 이 경우, 플래그 정보 생성부(42)는 바이노럴 플래그 신호를 생성하지 않는다.

도54 에 무선형 바이노럴 마이크(38) 및 무선 송수신부(39)의 내부 구성예를 나타내고, 그들의 동작에 대하여 설명한다.

도54 에 나타내는 바와 같이, 무선형 바이노럴 마이크(38)의 마이크(38a)는, 마이크 유닛(381), 마이크 앰프(382), 송수신 유닛(383), 안테나(384), 경고 신호 발신부(385)를 구비하여 구성되어 있다. 도시를 생략하고 있지만, 마이크(38b)는, 경고 신호 발신부(385)를 구비하고 있지 않는 점 이외는 마이크(38a)와 동일한 구성이다. 무선 송수신부(39)는, 송수신 유닛(391), 마이크 측정부(392), 거리 측정부(393), 통신 가능권내 판정부(394), 경고 신호 발신부(395), 안테나(396)를 구비하여 구성되어 있다.

마이크(38a(38b))의 마이크 유닛(381)은 바이노럴 음성 신호를 생성한다. 마이크 앰프(382)는 마이크 유닛(381)으로부터의 바이노럴 음성 신호를 증폭한다. 송수신 유닛(383)은 마이크 앰프(382)로부터의 증폭된 바이노럴 음성 신호를 소정의 변조 방식에 의해 변조하여 안테나(384)를 통하여 송신한다. 경고 신호 발신부(385)는 후술하는 무선 송수신부(39)의 경고 신호 발신부(395)에서 생성되고, 송수신 유닛(391) 및 송수신 유닛(383)을 통하여 전송된 경고 신호를 바탕으로 경고 신호를 발생한다.

무선 송수신부(39)의 안테나(396)는 좌우의 마이크(38a,38b)로부터 송신되는 변조 신호를 수신한다. 송수신 유닛(391)은 수신한 변조 신호를 복조하여 바이노럴 음성 신호를 생성함과 아울러, 변조 신호의 수신 전력의 강도를 측정한다. 거리 측정부(393)는 측정된 수신 전력의 강도를 바탕으로 무선 송수신부(39)로부터 무선형 바이노럴 마이크(38)까지의 거리를 추정한다. 통신 가능권 내 판정부(394)는 추정된 거리가 통신 가능한 소정의 거리 이내인지 아닌지를 판정한다. 통신 가능권 내 판정부(394)의 판정 결과는 제어부(47)에 공급된다. 제어부(47)는, 추정된 거리가 통신 가능한 소정의 거리 이내이면 스위치(Sw1)를 단자(b)에 접속시키고, 플래그 정보 생성부(42)가 바이노럴 플래그 신호를 생성하도록 제어한다. 제어부(47)는, 추정된 거리가 통신 가능한 소정의 거리를 넘는 경우에는 스위치(Sw1)를 단자(a)에 접속시킨다.

경고 신호 발신부(395)는, 통신 가능권 내 판정부(394)에서 추정된 거리가 통신 가능한 소정의 거리를 초과한다고 판정된 경우에 경고 신호를 생성한다. 경고 신호는 제어부(47)에 공급된다. 제어부(47)는 경고 마크를 생성하여 표시부(17)에 공급하고, 표시부(17)에 소정의 경고 마크를 표시시킨다. 마이크 판정 부(392)는 경고 신호 발신부(395)에서 경고 신호를 생성하지 않는 경우는 정상으로 바이노럴 음성 신호가 얻어지고 있다고 판정하고, 송수신 유닛(391)에서 복조하여 얻어진 바이노럴 음성 신호를, 스위치(Sw1)를 통하여 오디오 부호화부(22)에 공급한다.

도55 에, 무선형 바이노럴 마이크(38) 및 영상 음성 기록 재생 장치(107)로 이루어지는 경고 표시의 예를 나타낸다. 마이크(38a)에는 발광 다이오드(LED(386))를 선단부에 장착한 봉 형상 부재가 설치되어 있다. LED(386)에는 경고 신호 발신부(385)에서 생성된 경고 신호가 공급되고, 경고 신호에 기초하여 LED(386)가 점멸(또는 점등)한다. LED(386)가 점멸에 더하여, 또는 LED(386)이 점멸 대신에 경고음을 발생시켜도 좋다. 이 경우에는, 경고음이 마이크 유닛(381)에서 수청되지 않도록(수청되기 어렵도록), 경고음의 레벨을 작게 하거나, 경고음의 주파수를 예를 들면 수십Hz 이하의 저주파수로 하거나 하는 것이 바람직하다.

경고 신호 발신부(395)는, 무선형 바이노럴 마이크(38)가 파선의 원으로 나타내는 통신 가능권을 초과했다고 판정한 경우에 경고 신호를 생성한다. 도55 에 나타내는 바와 같이, 무선형 바이노럴 마이크(38)가 통신 가능권을 초과하고 있으면, 표시부(17)에 소정의 경고 마크가 표시된다.

도56 은 표시부(17)에 표시되는 경고 마크의 예를 나타내고 있다. 도56(A) 에 나타내는 경고 마크(171a)는, 도5(A) 에 나타낸 바이노럴 마크(171) 위에 ×표시를 겹쳐서 표시한 것이다. 도56(B) 에 나타내는 경고 마크(172a)는, 도5(B) 에 나타내는 마크(172)를 회색 표시한 것이다. 경고 마크로서는 도56(A), (B) 중 어 느 하나의 마크를 이용해도 좋고, 물론 이것 이외의 마크를 이용해도 좋다. 경고 표시를 행했음에도 불구하고 무선 송수신부(39)에서의 수신 전력이 수신 한계 이하가 된다고 상정되는 경우에는, 제어부(47)는 무선형 바이노럴 마이크(38)로부터 내장 스테레오 마이크(21)로 절환한다.

도57 을 이용하여 영상 음성 기록 재생 장치(107)의 동작에 대하여 좀 더 설명한다. 도57 에 있어서, 스텝 S251에서, 제어부(47)는 바이노럴 모드인지 아닌지를 판정한다. 스텝 S251에서 바이노럴 모드라고 판정되지 않으면(NO), 스텝 S253로, 기록·재생부(14)는 내장 스테레오 마이크(21)에서 집음하여 통상의 스테레오 음성 신호를 기록 매체(44)에 기록한다. 스텝 S251에서 바이노럴 모드라고 판정되면(YES), 스텝 S252에서 무선 송수신부(39)는 무선형 바이노럴 마이크(38)로부터의 송신 신호를 수신한다. 스텝 S254에서, 거리 판정부(393)는 수신 전력의 강도(수신 강도)에 기초하여 무선 송수신부(39)로부터 무선형 바이노럴 마이크(38)까지의 거리를 검출한다. 스텝 S255에서, 통신 가능권 내 판정부(394)는 검출한 거리가 소정의 거리 이내인지 아닌지를 판정한다.

스텝 S255에서 소정의 거리 이내라고 판정되지 않으면(NO), 스텝 S257에서, 제어부(47)는, 경고 표시 시간(t)이 0(비 제시)인지 아닌지 판정하고, 경고 표시 시간(t)이 0이면 스텝 S300에서 경고 신호를 발생하도록 경고 신호 발신부(395)를 제어한다. 경고 신호의 발생 후, 스텝 S254에 되돌아가 동일한 처리를 반복한다. 스텝 S257에서, 경고 표시 시간(t)이 0이 아니면(NO), 스텝 S258에서, 제어부(47)는, 경고 표시 시간(t)이 미리 정한 최대 시간(tmax)을 넘었는지 아닌지를 판정하 고, 최대 시간(tmax)을 넘고 있지 않으면(NO), 스텝 S300으로 이동하고, 동일하게 스텝 S254로 되돌아간다. 최대 시간(tmax)을 넘고 있으면(YES), 스텝 S259에서, 제어부(47)는, 무선형 바이노럴 마이크(38)로부터 내장 스테레오 마이크(21)로 절환하도록 스위치(Sw1)를 제어하고, 경고 신호의 발생을 정지하도록 경고 신호 발신부(395)를 제어한다. 그리고, 스텝 S253으로 이동한다.

스텝 S255에서 소정의 거리 이내라고 판정되면(YES), 스텝 S256에서, 제어부(47)는, 경고 신호 발신부(395)가 경고 신호를 발생중이면, 경고 신호의 발생을 정지하도록 경고 신호 발신부(395)를 제어한다. 그리고, 스텝 S301에서, 기록·재생부(14)는 무선형 바이노럴 마이크(38)에서 집음하여 바이노럴 음성 신호를 기록 매체(44)에 기록한다. 스텝 S302에서, 제어부(47)는, 기록 종료의 조작이 이루어졌는지 아닌지 판정하고, 기록 종료의 조작이 이루어지지 않고 있으면(NO), 스텝 S251로 되돌아가고, 기록 종료의 조작이 이루어지고 있으면(YES), 처리를 종료한다.

본 발명은, 민생용의 비디오 카메라 뿐만 아니라, 업무용의 비디오 카메라에 있어서도, 촬상한 영상과 아울러 현장감이 있는 음성을 재생하는 것이 필요한 영상 음성 기록 재생 장치에 적용할 수 있다. 또한, 동화(動畵) 촬영 기능을 가지는 디지털 카메라나 휴대전화에도 적용할 수 있다. 그리고, 본 발명은 영상 신호와 음성 신호와의 쌍방을 기록 재생하는 영상 음성 기록 재생 장치에 이용하여 적합하지만, 음성 신호만을 기록 재생하는 음성 기록 재생 장치를 이용해도 충분히 효과적 이다.

Claims (10)

1. 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자(300)의 주위음을 집음(集音)한 음성 신호를 기록하는 영상 음성 기록 장치(101, 102, 103, 104, 105, 107)에 있어서,

   상기 피사체를 촬상하는 카메라부(11)와,

   상기 주위음을 집음하는 마이크로서, 상기 촬영자(300)의 귀에 장착하는 바이노럴 마이크(binaural microphone; 3)를 사용할지 바이노럴 마이크(3) 이외의 마이크를 사용할지를 절환(switch)하는 절환부(Sw1)와,

   상기 카메라부(11)로부터 출력된 영상 신호를 처리하는 비디오 처리부(12)와,

   상기 주위음을 집음하는 마이크로부터 출력된 음성 신호를 처리하는 오디오 처리부(22)와,

   상기 절환부(Sw1)에 의해 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크(3)로 절환한 경우에, 상기 주위음을 집음할 때의 음성 모드를 바이노럴 모드로 하여, 바이노럴 모드인 것을 나타내는 바이노럴 플래그 신호를 생성하는 플래그 정보 생성부(42)와,

   상기 절환부(Sw1)에 의해 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크(3)로 절환한 경우에, 상기 비디오 처리부(12)에 의해 처리된 영상 신호와, 상기 오디오 처리부(22)에 의해 처리된 음성 신호로서, 상기 촬영자(300)의 두부(頭部)와 상기 바이노럴 마이크(3)와의 위치 관계에 의한 바이노럴 음향이 부여된 주위음을 집음한 상기 바이노럴 마이크(3)로부터 출력된 음성 신호와, 상기 바이노럴 플래그 신호를 기록 매체에 기록하는 기록부(14)

   를 구비하는 것을 특징으로 하는 영상 음성 기록 장치(101, 102, 103, 104, 105, 107).
2. 제1항에 있어서,

   상기 영상 음성 기록 장치(101, 102, 103, 104, 105, 107)에 내장되어 있는 내장 마이크(21)와,

   외부 마이크 접속 단자(32)와,

   상기 외부 마이크 접속 단자(32)에 접속하여 사용하는 외부 마이크로서, 상기 바이노럴 마이크(3)인지 바이노럴 마이크 이외의 마이크인지를 설정하는 설정부(48, 47)와,

   상기 외부 마이크 접속 단자(32)에 외부 마이크가 접속되어 있는지 아닌지를 검출하는 접속 검출부(41)와,

   상기 설정부(47, 48)에 의해 상기 외부 마이크가 바이노럴 마이크(3)로 설정되고, 상기 접속 검출부(41)에 의해 상기 외부 마이크 접속 단자(32)에 외부 마이크가 접속되어 있는 것이 검출되었을 때, 음성 모드를 상기 바이노럴 모드로 하는 제어부(47)를 구비하고,

   상기 절환부(Sw1)는, 상기 오디오 처리부(22)에 공급하는 음성 신호로서, 상기 내장 마이크(21)로부터 출력된 음성 신호와 상기 외부 마이크로부터 출력된 음성 신호를 절환하며,

   상기 제어부(47)는, 음성 모드가 상기 바이노럴 모드일 때, 상기 절환부(Sw1)가 상기 외부 마이크로부터 출력된 음성 신호를 상기 오디오 처리부(22)에 공급하도록 상기 절환부(Sw1)를 절환 제어하고, 상기 플래그 정보 생성부(42)가 상기 바이노럴 플래그 신호를 생성하도록 상기 플래그 정보 생성부(42)를 제어하는 것을 특징으로 하는 영상 음성 기록 장치(101, 102, 103, 104, 105, 107).
3. 제1항에 있어서,

   상기 카메라부(11)로부터 출력된 영상 신호를 표시하는 표시부(17)를 구비하고,

   음성 모드가 상기 바이노럴 모드일 때, 상기 표시부(17)에 상기 바이노럴 모드인 것을 나타내는 바이노럴 마이크를 표시하게 하는 표시 제어부(47)를 구비한 것을 특징으로 하는 영상 음성 기록 장치(101, 102, 103, 104, 105, 107).
4. 제1항에 있어서,

   상기 카메라부(11)는 상기 피사체를 확대하여 촬상하는 줌(zoom) 기능을 갖고,

   상기 바이노럴 마이크(3)에 의해 집음된 음성 신호를 상기 카메라부(11)에 있어서의 확대율에 따라 증폭되는 음성 줌 처리부(33)를 구비한 것을 특징으로 하는 영상 음성 기록 장치(102).
5. 제1항에 있어서,

   상기 카메라부(11)는 상기 피사체를 확대하여 촬상하는 줌 기능을 갖고,

   상기 바이노럴 마이크(3)가 집음하는 음성 신호의 음원을 가상적으로 수청자(受聽者)에 접근시켜 가상 음원을 형성하기 위한 두부(頭部) 전달 함수를 상기 가상 음원과 상기 수청자와의 복수의 거리에 대응시켜 기억하는 전달 함수 메모리(334)와, 이 전달 함수 메모리(334)에 기억된 복수의 두부 전달 함수 중 어느 하나를 상기 카메라부(11)에 있어서의 확대율에 따라 선택적으로 취득하는 함수 취득기(333)와, 상기 바이노럴 마이크(3)에 의해 집음된 음성 신호에 대하여 상기 함수 취득기(333)에 의해 취득된 두부 전달 함수를 컨벌루션(convolution)하는 컨벌루션 연산기(336)를 갖는 음성 줌 처리부(33a, 33c)를 구비하는 것을 특징으로 하는 영상 음성 기록 장치(102, 103).
6. 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자(300)의 주위음을 집음한 음성 신호를 기록하는 영상 음성 기록 방법에 있어서,

   상기 피사체를 촬상하는 촬상 스텝(S155)과,

   상기 주위음을 집음하는 마이크로서, 상기 촬영자(300)의 귀에 장착하는 바이노럴 마이크(3)를 사용할지 바이노럴 마이크 이외의 마이크를 사용할지를 절환하는 절환 스텝(S151)과,

   상기 피사체를 촬상한 영상 신호를 처리하는 비디오 처리 스텝(S156)과,

   상기 주위음을 집음하는 마이크로부터 출력된 음성 신호를 처리하는 오디오 처리 스텝(S156)과,

   상기 절환 스텝(S151)에서 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크(3)로 절환한 경우에, 상기 주위음을 집음할 때의 음성 모드를 바이노럴 모드로 하여 바이노럴 모드인 것을 나타내는 바이노럴 플래그 신호를 생성하는 플래그 정보 생성 스텝(S158)과,

   상기 절환 스텝(S151)에서 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크(3)로 절환한 경우에, 상기 비디오 처리 스텝(S156)에서 처리된 영상 신호와, 상기 오디오 처리 스텝(S156)에서 처리된 음성 신호로서, 상기 촬영자(300)의 두부와 상기 바이노럴 마이크(3)와의 위치 관계에 의한 바이노럴 음향 특성이 부여된 주위음을 집음한 상기 바이노럴 마이크(3)로부터 출력된 음성 신호와, 상기 바이노럴 플래그 신호를 기록 매체(44)에 기록하는 기록 스텝(S161)

   을 가지는 것을 특징으로 하는 영상 음성 기록 방법.
7. 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자(300)의 주위음을 집음한 음성 신호가 기록된 기록 매체(44)를 재생하는 영상 음성 재생 장치(101, 102, 103, 104, 105, 106, 107)에 있어서,

   상기 기록 매체에 기록된 기록 신호를 재생하는 재생부(14)와,

   상기 재생부(14)에 의해 재생된 상기 기록 신호로부터 상기 영상 신호와 상기 음성 신호를 분리하는 분리화부(分離化部; 15)와,

   상기 분리화부(15)에 의해 분리된 상기 영상 신호를 처리하는 비디오 처리부(16)와,

   상기 분리화부(15)에 의해 분리된 상기 음성 신호를 처리하는 오디오 처리부(26)와,

   상기 기록 매체(44)에, 상기 주위음을 집음하는 마이크로서 상기 촬영자(300)의 귀에 장착하는 바이노럴 마이크를 사용하는 것을 나타내는 바이노럴 플래그 신호가 기록되어 있을 때, 상기 바이노럴 플래그 신호를 취득하는 플래그 정보 취득부(36)와,

   상기 플래그 정보 취득부(36)가 상기 바이노럴 플래그 신호를 취득했을 때, 상기 오디오 처리부(26)에 의해 처리된 상기 음성 신호를 스피커(53, 54)에 의해 발음한 경우에 발생하는 크로스 토크 신호를 없애도록 상기 음성 신호를 처리하는 크로스 토크 캔슬러(crosstalk canceler; 27)

   를 구비하며,

   상기 크로스 토크 캔슬러(27)는 상기 음성 신호에 대하여 미리 구한 필터 특성을 컨벌루션하는 필터(272a-272d)를 가지고, 상기 필터 특성은, 측정 신호를 원통형 구조체의 표면부에 장착한 한쌍의 마이크로 집음한 음성 신호를 이용하여 계측한 두부 전달 함수에 기초한 필터 특성인 것을 특징으로 하는 영상 음성 재생 장치(101, 102, 103, 104, 105, 106, 107).
8. 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자(300)의 주위음을 집음한 음성 신호가 기록된 기록 매체(44)를 재생하는 영상 음성 재생 방법에 있어서,

   상기 기록 매체(44)에 기록된 기록 신호를 재생하는 재생 스텝(S181)과,

   상기 재생 스텝에서 재생된 상기 기록 신호로부터 상기 영상 신호와 상기 음성 신호를 분리하는 분리화 스텝(S183)과,

   상기 분리화 스텝(S183)에서 분리된 상기 영상 신호를 처리하는 비디오 처리 스텝(S184)과,

   상기 분리화 스텝(S183)에 의해 분리된 상기 음성 신호를 처리하는 오디오 처리 스텝(S184)과,

   상기 기록 매체(44)에, 상기 주위음을 집음하는 마이크로서 상기 촬영자(300)의 귀에 장착하는 바이노럴 마이크(3)를 사용한 것을 나타내는 바이노럴 플래그 신호가 기록되어 있을 때, 상기 바이노럴 플래그 신호를 취득하는 플래그 정보 취득 스텝(S186)과,

   상기 플래그 정보 취득 스텝(S186)에서 상기 바이노럴 플래그 신호를 취득했을 때, 상기 오디오 처리 스텝(S184)에서 처리된 상기 음성 신호를 스피커(53, 54)에 의해 발음한 경우에 발생되는 크로스 토크 신호를 없애도록 상기 음성 신호를 처리하는 크로스 토크 캔슬 스텝(S188)을 가지며,

   상기 크로스 토크 캔슬 스텝(S188)은 상기 음성 신호에 대하여 미리 구한 필터 특성을 컨벌루션하는 스텝이며, 상기 필터 특성은, 측정 신호를 원통형 구조체의 표면부에 장착한 한쌍의 마이크로 집음한 음성 신호를 이용하여 계측한 두부 전달 함수에 기초한 필터 특성인 것을 특징으로 하는 영상 음성 재생 방법.
9. 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자(300)의 주위음을 집음한 음성 신호를 기록하고 재생하는 영상 음성 기록 재생 장치(101, 102, 103, 104, 105, 107)에 있어서,

   상기 피사체를 촬상하는 카메라부(11)와,

   상기 주위음을 집음하는 마이크로서, 상기 촬영자(300)의 귀에 장착하는 바이노럴 마이크(3)를 사용할지 바이노럴 마이크(3) 이외의 마이크를 사용할지를 절환하는 절환부(Sw1)와,

   상기 카메라부(11)로부터 출력된 영상 신호를 처리하는 제1 비디오 처리부(12)와,

   상기 주위음을 집음하는 마이크로부터 출력된 음성 신호를 처리하는 제1 오디오 처리부(22)와,

   상기 절환부(Sw1)에 의해 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크(3)로 절환한 경우에, 상기 주위음을 집음할 때의 음성 모드를 바이노럴 모드로 하여, 바이노럴 모드인 것을 나타내는 바이노럴 플래그 신호를 생성하는 플래그 정보 생성부(42)와,

   상기 절환부(Sw1)에 의해 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크(3)로 절환한 경우에, 상기 제1 비디오 처리부(12)에 의해 처리된 영상 신호와, 상기 제1 오디오 처리부(22)에 의해 처리된 음성 신호로서, 상기 촬영자(300)의 두부와 상기 바이노럴 마이크(3)와의 위치 관계에 의한 바이노럴 음향 특성이 부여된 주위음을 집음한 상기 바이노럴 마이크(3)로부터 출력된 음성 신호와, 상기 바이노럴 플래그 신호를 기록 매체에 기록하는 기록부(14)와,

   상기 기록 매체에 기록된 기록 신호를 재생하는 재생부(14)와,

   상기 재생부(14)에 의해 재생된 상기 기록 신호로부터 상기 영상 신호와 상기 음성 신호를 분리하는 분리화부(15)와,

   상기 분리화부(15)에 의해 분리된 상기 음성 신호를 처리하는 제2 비디오 처리부(16)와,

   상기 분리화부(15)에 의해 분리된 상기 음성 신호를 처리하는 제2 오디오 처리부(26)와,

   상기 기록 매체(44)에 상기 바이노럴 플래그 신호가 기록되어 있을 때, 상기 바이노럴 플래그 신호를 취득하는 플래그 정보 취득부(36)와,

   상기 플래그 정보 취득부(36)가 상기 바이노럴 플래그 신호를 취득했을 때, 상기 제2 오디오 처리부(26)에 의해 처리된 상기 음성 신호를 스피커(53, 54)에 의해 발음한 경우에 발생하는 크로스 토크 신호를 없애도록 상기 음성 신호를 처리하는 크로스 토크 캔슬러(27)를 구비하며,

   상기 크로스 토크 캔슬러(27)는 상기 음성 신호에 대하여 미리 구한 필터 특성을 컨벌루션하는 필터(272a-272d)를 갖고, 상기 필터 특성은, 측정 신호를 원통형 구조체의 표면부에 장착한 한 쌍의 마이크로 집음한 음성 신호를 이용하여 계측한 두부 전달 함수에 기초한 필터 특성인 것을 특징으로 하는 영상 음성 기록 재생 장치(101, 102, 103, 104, 105, 106, 107).
10. 피사체를 촬상한 영상 신호와, 상기 피사체로부터 발생된 음을 포함하는 촬영자(300)의 주위음을 집음한 음성 신호를 기록하고 재생하는 영상 음성 기록 재생 방법에 있어서,

    상기 피사체를 촬상하는 촬상 스텝(S155)과,

    상기 주위음을 집음하는 마이크로서, 상기 촬영자(300)의 귀에 장착하는 바이노럴 마이크(3)를 사용할지 바이노럴 마이크 이외의 마이크를 사용할지를 절환하는 절환 스텝(S151)과,

    상기 피사체를 촬상한 영상 신호를 처리하는 제1 비디오 처리 스텝(S156)과,

    상기 주위음을 집음하는 마이크로부터 출력된 음성 신호를 처리하는 제1 오디오 처리 스텝(S156)과,

    상기 절환 스텝(S151)에서 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크(3)로 절환한 경우에, 상기 주위음을 집음할 때의 음성 모드를 바이노럴 모드로 하여, 바이노럴 모드인 것을 나타내는 바이노럴 플래그 신호를 생성하는 플래그 정보 생성 스텝(S158)과,

    상기 절환 스텝(S151)에서 상기 주위음을 집음하는 마이크로서 상기 바이노럴 마이크(3)로 절환한 경우에, 상기 제1 비디오 처리 스텝(S156)에서 처리된 영상 신호와, 상기 제1 오디오 처리 스텝(S156)에서 처리된 음성 신호로서, 상기 촬영자(300)의 두부와 상기 바이노럴 마이크(3)와의 위치 관계에 의한 바이노럴 음향 특성이 부여된 주위음을 집음한 상기 바이노럴 마이크(3)로부터 출력된 음성 신호와, 상기 바이노럴 플래그 신호를 기록 매체(44)에 기록하는 기록 스텝(S161)과,

    상기 기록 매체(44)에 기록된 기록 신호를 재생하는 재생 스텝(S181)과,

    상기 재생 스텝에서 재생된 상기 기록 신호로부터 상기 영상 신호와 상기 음성 신호를 분리하는 분리화 스텝(S183)과,

    상기 분리화 스텝(S183)에서 분리된 상기 영상 신호를 처리하는 제2 비디오 처리 스텝(S184)과,

    상기 분리화 스텝(S183)에 의해 분리된 상기 음성 신호를 처리하는 제2 오디오 처리 스텝(S184)과,

    상기 기록 매체(44)에 상기 바이노럴 플래그 신호가 기록되어 있을 때, 상기 바이노럴 플래그 신호를 취득하는 플래그 정보 취득 스텝(S186)과,

    상기 플래그 정보 취득 스텝(S186)에서 상기 바이노럴 플래그 신호를 취득했을 때, 상기 제2 오디오 처리 스텝(S184)에서 처리된 상기 음성 신호를 스피커(53, 54)에 의해 발음한 경우에 발생하는 크로스 토크 신호를 없애도록 상기 음성 신호를 처리하는 크로스 토크 캔슬 스텝(S188)을 가지며,

    상기 크로스 토크 캔슬 스텝(S188)은 상기 음성 신호에 대하여 미리 구한 필터 특성을 컨벌루션하는 스텝이며, 상기 필터 특성은, 측정 신호를 원통형 구조체의 표면부에 장착한 한 쌍의 마이크로 집음한 음성 신호를 이용하여 계측한 두부 전달 함수에 기초한 필터 특성인 것을 특징으로 하는 영상 음성 기록 재생 방법.

Images