KR20070068138A

KR20070068138A - 동영상 방식 음향카메라

Info

Publication number: KR20070068138A
Application number: KR1020050129909A
Authority: KR
Inventors: 홍종희; 목임수; 김광일; 이기범
Original assignee: 재단법인 포항산업과학연구원
Priority date: 2005-12-26
Filing date: 2005-12-26
Publication date: 2007-06-29

Abstract

본 발명은 동영상 방식 음향카메라에 관한 것이다.

본 발명에 관련된 음향카메라는, 직접 촬영되어 입력되는 실제 동영상과, 입력된 음향의 실시간 분석 및 변환에 의하여 생성되는 음향 동영상을 함께 합성하여 출력할 수 있는 음향카메라에 있어서, 실제 동영상을 받아들이는 영상촬상수단과; 이로부터 영상데이터를 입력받는 영상입력수단과; 음향을 받아들이는, 적어도 3개의 음향수취수단과; 이로부터 음향을 입력받는 음향입력수단과; 이로부터 음향을 전달받아 음향의 발생 중심점 위치를 분석하는 음향분석수단과; 이로부터 분석결과를 전달받아 음향파형의 물리적 특성에 따라 미리 정해져 있는 다단계 기준에 의거하여 음향정보를 영상정보로 대응시켜서 영상데이터를 생성시키는 영상변환수단과; 상기 영상입력수단과 상기 영상변환수단으로부터 각각 영상데이터를 전달받아서, 이들을 합성하여 합성영상데이터를 생성하기 위한 합성메모리수단과; 이로부터 합성영상데이터를 전달받아 영상출력수단에 전달하기 위한 출력메모리수단;을 포함하여 이루어지는 영상합성수단;을 구비한다.

동영상, 합성, 음향, 카메라

Description

동영상 방식 음향카메라{Moving picture type acoustic camera}

도 1은, 본 발명의 음향카메라의 외형도로서, (a)는 정면도, (b)는 사시도이다.

도 2는, 본 발명의 음향카메라의 사용상태도이다.

도 3은, 본 발명의 음향카메라의 블럭구성도이다.

도 4는, 본 발명의 음향카메라에 있어서의 음향원 위치 결정을 설명하는 도면으로서, (a)는 사시도, (b)는 등거리면을 나타낸 도면, (c)는 (a)의 평면도, (d)는 (a)의 좌측면도이다.

도 5는, 음향수취수단의 다른 배치예를 나타낸 도면이다.

도 6은, 음파의 영상변환의 예시도이다.

* 도면의 주요부분에 대한 부호의 설명 *

100 : 음향카메라

110 ~ 114 : 음향수취수단

120 : 영상촬상수단

122 : 영상입력수단

132 : 음향입력수단

134 : 음향분석수단

136 : 영상변환수단

140 : 영상합성수단

142 : 합성메모리수단

144 : 출력메모리수단

200 : 영상출력수단

210 : 동영상

220 : 음파영상

본 발명은 동영상 방식 음향카메라에 관한 것으로서, 보다 상세히는, 음향을 동영상으로 변환한 영상과 실제의 동영상을 합성하여, 영상출력하도록 하는 동영상 방식의 음향 카메라 시스템에 관한 것이다.

일반적으로, 음향은 청각에 의하여 인지되는 것이지만, 청각만으로는 음향의 다양한 특성을 인지하기 곤란하거나, 아예 불가능한 경우가 있다. 따라서, 음향을 시각적으로 표현하여, 이 시각화된 데이터에 의하여 음향을 보다 인식하기 용이하게 할 필요가 있는 경우가 있다. 이와 같이, 음향을 시각화하는 장치를 음향카메라라고 부르기로 한다.

종래에, 스틸 카메라 형식의 음향카메라가 개발되어 있다. 이는 어느 순간의 음향의 형태를 정지화상으로 캡쳐하는 기능을 가진다.

그런데, 이 스틸 카메라 형식의 음향카메라는, 특정 순간의 음향의 형태만을 보여주기 때문에, 예컨대 노래를 하고 있는 가수를 촬영한 경우에도, 특정 순간의 영상만을 보여주게 된다. 따라서, 음향의 변화를 실시간으로 볼 수 있는 기능이 존재하지 않는다는 문제점이 있었다.

또한, 종래의 음향카메라는, 음향의 처리에 사용되는 대부분의 기능이 로직화되어 있지 못하여, 사용되는 부품수가 많았으며, 이에 따라 소모전력과 제조비용이 과다하고, 고장이 빈번히 발생한다는 문제점이 있었다.

본 발명은, 상기와 같은 종래기술의 문제점을 해소하기 위하여 안출된 것으로서, 카메라로 직접 촬영되는 실제 동영상과, 입력된 음향의 실시간 분석 및 변환에 의하여 생성되는 음향 동영상을 함께 합성하여 출력할 수 있는 음향카메라를 제공하고자 하는 것이다.

또한, 대부분의 기능을 로직화하여, 부품수를 저감시켜서, 소모전력과 제조비용이 낮고, 고장의 우려가 적은 음향카메라를 제공하고자 하는 것이다.

상기와 같은 기술적 과제를 달성하기 위한, 본 발명에 관련된 음향카메라는, 직접 촬영되어 입력되는 실제 동영상과, 입력된 음향의 실시간 분석 및 변환에 의하여 생성되는 음향 동영상을 함께 합성하여 출력할 수 있는 음향카메라에 있어서, 실제 동영상을 받아들이는 영상촬상수단과; 이로부터 영상데이터를 입력받는 영상입력수단과; 음향을 받아들이는, 적어도 3개의 음향수취수단과; 이로부터 음향을 입력받는 음향입력수단과; 이로부터 음향을 전달받아 음향의 발생 중심점 위치를 분석하는 음향분석수단과; 이로부터 분석결과를 전달받아 음향파형의 물리적 특성에 따라 미리 정해져 있는 다단계 기준에 의거하여 음향정보를 영상정보로 대응시켜서 영상데이터를 생성시키는 영상변환수단과; 상기 영상입력수단과 상기 영상변환수단으로부터 각각 영상데이터를 전달받아서, 이들을 합성하여 합성영상데이터를 생성하기 위한 합성메모리수단과; 이로부터 합성영상데이터를 전달받아 영상출력수단에 전달하기 위한 출력메모리수단;을 포함하여 이루어지는 영상합성수단;을 구비함을 특징으로 한다.

여기서, 상기 음향수취수단은, 상기 영상촬상수단을 중심으로 점대칭으로 배치되어 있음을 특징으로 한다.

[실시예]

이하, 첨부된 도면을 참조하면서, 본 발명의 동영상 방식 음향카메라의 실시예에 대하여, 보다 구체적으로 설명한다.

도 1은, 본 발명의 음향카메라의 외형도로서, (a)는 정면도, (b)는 사시도이고, 도 2는, 본 발명의 음향카메라의 사용상태도이다.

도 2에 도시된 바와 같이, 본 발명의 음향카메라(100)는, 음향원, 예컨대 노래하는 가수를 향하여 작동시키는 기기이다. 즉, 음향원(20)을 향하여 음향카메라(100)를 맞춘 후 영상촬영과 음향입력을 행하면, 그 결과가 모니터(200) 화면에, 촬영된 동영상(210)과, 음향이 변환된 영상(220)의 합성으로 나타나게 되는 것이 다.

이때, 음향카메라(100)는 동영상데이터를 촬상하는 수단과 음향데이터를 수취하는 수단을 가지고 있다. 상기 음향데이터를 수취하는 수단은, 적어도 3개 구비되어야 음향원의 위치를 확정할 수 있다. 그리고, 상기 동영상데이터를 수취하는 수단을 기준으로 하여, 점대칭의 형상으로 배치됨이 바람직하다. 따라서, 상하좌우로 하나씩 총 4개, 또는 60°간격으로 총 6개, 또는 45°간격으로 총 8개 등등의 여러가지 구성예를 가질 수 있다.

또한, 상기 동영상데이터의 수취수단의 위치에 대응시켜 맞춰서 중앙의 기준음향을 수취하는 음향데이터 수취수단을 더욱 가지도록 구성할 수도 있다. 이 중앙의 음향데이터 수취수단은, 예컨대 상기 동영상데이터 촬상수단을 에워싸는 형태로 형성 또는 설치되어도 좋다. 이 중앙의 기준음향을 수취하는 음향데이터 수취수단 하나를 포함하면, 총 5개, 7개, 9개를 가지는 배치구성이 가능하다.

특히, 도 5에 도시된 바와 같이, 큰 원을 음향수취수단의 고정용 프레임이라고 할 경우에, 음향수취수단이 어느 일측으로 치우친 구조로 설치되어도 좋다. 도 5는, 2개의 음향수취수단이 프레임상에 90°의 각도를 두고 구비되고, 프레임의 원의 중심에 하나의 음향수취수단이 구비된 것을 나타내고 있다.

이하, 도 1에 도시된 바와 같이, 중앙의 영상촬상수단(120), 예컨대 카메라 렌즈 부분을 중심으로 하여, 그 주위에 에워싸듯이 설치된 중앙의 음향수취수단(110), 그리고, 이로부터 등거리에 등간격으로, 즉 중앙 음향수취수단(110)을 원의 중심으로 하여 원주를 등간격으로 나눈 거리에 하나씩 배치되는 상하좌우의 음향수 취수단(111~114)이 구비된 실시예를 위주로 설명한다. 그러나, 본 발명의 범위는 이 실시예에 한정되는 것이 아니고, 중앙 음향수취수단(110)이 없는 경우나, 또는 주변의 음향수취수단(예컨대 111~114)이 2개인 경우, 6개인 경우, 8개인 경우, 10개인 경우 등에 있어서도 동일한 논리로 성립함은, 당업자에게 있어서 자명하다고 할 것이다. 음향수취수단(111~114)은, 영상으로 표현하고자 하는 해상도에 따라 수십 개까지 구비될 수 있다.

본 발명의 음향카메라(100)는, 음향과 영상의 입력을 받아 처리하며, 음향이 입력되는 부분이 예컨대 마이크 등의 음향수취수단(110~114)이고, 영상이 입력되는 부분이 예컨대 렌즈와 CCD 촬상소자 등으로 이루어지는 영상촬상수단(120)이다. 상기 음향수취수단과 영상촬상수단은, 그 후단의 증폭, 디지털화 등의 수단을 더 포함하여도 좋다.

실제 동영상, 예컨대 가수의 노래하는 모습은 상기 영상촬상수단(120)을 통하여 받아들여진다. 이 촬상된 영상데이터는, 영상입력수단(122)에 입력된다.

한편, 음향, 예컨대 가수의 노래는 상기 음향수취수단(110~114)을 통하여 받아들여진다. 이 수취된 음향데이터는, 음향입력수단(132)에 입력된다.

그리고, 상기 음향데이터는, 음향분석수단(134)에 전달된다. 여기서, 상기 음색의 물리량은, 음향원으로부터의 거리와 관련이 있다. 따라서, 상기 음향분석수단(134)은 음향의 발생 중심점을 알기 위하여, 각 음향수취수단(110~114)과 음향원 사이의 거리를 알아야 한다. 이에 의하여, 음향으로부터 변환된 영상데이터가 후술 할 모니터 등의 영상출력수단(200)에 표시될 좌표가 결정될 수 있다.

도 4는, 본 발명의 음향카메라에 있어서의 음향원 위치 결정을 설명하는 도면이다.

(a)는, 음향원(10)과 영상원(20)을 xy평면에 도시하고, z축 방향으로 음향카메라(100)를 향한 모습을 사시도로 표현한 것인데, xy평면의 원점에 영상원(10)이 존재한다. 이때, 음향카메라(100)는 어떤 경우라도 영상원(10)을 향하도록 되어 있으므로, 실제 동영상은 영상원(10)을 중심으로 하여 촬상된다.

그러나, 음향원(20)은, 예시된 바와 같이, 영상원(10)과 어긋나 있다. 이 경우에는, 음향원(20)과 음향카메라(100)에 구비된 다수의 음향수취수단(110~114) 간에 거리의 차이가 존재하게 되고, 이에 따라서 음향도달시간의 차이가 발생한다. 상기 음향도달시간의 차이로부터 거리의 차이를 계산하는 것은, 음파의 속도인 대략 340m/s를 고려할 때, 용이한 작업이 된다.

(b)는, x축, 또는 y축 상에, 그 원점에 하나, 이로부터 상하로 R만큼 떨어진 위치에 각각 하나씩 총 3개의 음향수취수단(110~114)이 존재할 때, z축에서 벗어난 위치에 있는 어떤 음향원(20)이, 이들 음향수취수단과 이루는 거리(l₀, l₁, l₂)와, 원점상의 음향수취수단을 중심으로 할 때, 다른 음향수취수단에 입력되는 음향의 도달시간 또는 음향원으로부터의 거리가 동일하게 되는 가상면(S₁, S₂, S₃)의 관계를 보여주는 도면이다.

(c)는, (a)의 상황을 평면도로 나타낸 것인데, 거리 a가 거리 b보다 짧으므 로, 도달시간을 고려하여, 음향데이터를 영상데이터로 변환할 때 지연시간을 고려할 필요가 있음을 알 수 있다.

(d)는, (a)의 상황을 좌측면도로 나타낸 것인데, 마찬가지로 거리 c가 거리 d보다 짧으므로, 도달시간을 고려하여, 음향데이터를 영상데이터로 변환할 때 지연시간을 고려할 필요가 있음을 알 수 있다.

상기 도달지연시간을 고려한 변환을 위한 연산은, 마이크로프로세서를 중심으로 하는 연산수단에 의하여 용이하게 구현될 수 있다.

상기 음향분석수단(134)에 의하여 분석된 음향데이터의 분석결과는, 상기 영상변환수단(136)에 전달된다. 여기서는, 그 음향데이터를 구성하는 각 음향 세그먼트의 물리적 특성이 분석된다. 상기 분석되는 물리적 특성으로서는, 음향의 세기, 색조, 주파수, 이들의 변화율 등을 들 수 있다. 음향 세그먼트라 함은, 분석의 대상이 되는 음향의 단위를 말하며, 예컨대 분석이 가능할만큼 짧은 시간동안의 음향데이터의 절편을 의미할 수 있다. 그리고, 상기 분석을 위하여, 음향데이터를 소정 시간간격으로 샘플링할 수 있다.

도 6은, 음파의 영상변환의 예시도이다.

시스템의 후단에 있는 영상의 합성부분에서 샘플링하는 속도가 일정하므로, 이 속도를 기준으로 하여 음향 데이터를 샘플링하여 저장하고, 저장된 음과 곡선으로부터 영상변환을 수행하도록 할 수도 있다. 이때, 음파의 세기에 따라 색상을 배 분하며, 저장된 음과 곡선을 일정 시간으로 나누어, 이 분할된 부분의 평균레벨에 해당하는 색상을 바깥쪽부터 원으로 그리도록 할 수도 있다.

즉, 음향정보, 또는 그 분석결과정보를 영상정보, 예컨대 색채나 휘도 등 시각적 정보로 대응시켜서 영상데이터를 생성시킨다. 이때, 상기 영상정보로서의 색채나 휘도 등은, 음향분석결과와 대응시켜서 미리 정해져 있는 다단계 기준에 의거하여 행할 수 있고, 특히 그러한 정보를 기억해두는 대응 맵을 이용함이 바람직하다. 예컨대, 음향세기가 256단계 중 220인 경우에는, 8비트 표현에 의하여 220에 해당되는 색채와 휘도를 지정하도록 할 수 있다. 또한, 예컨대, 음색이 256단계 중 45인 경우에는, 이와 상기 음향세기의 정보를 XOR 연산한 값을 색채와 휘도값으로 지정하도록 할 수 있다.

다음으로, 상기 영상입력수단(122)으로부터의 영상데이터와, 상기 영상변환수단(136)으로부터의 영상데이터는, 상기 영상합성수단(140)에 전달된다. 상기 영상합성수단(140)은, 합성메모리수단(142)과 출력메모리수단(144)으로 구성된다.

상기 합성메모리수단(142)은, 이들 두 루트의 영상데이터를 전달받아서, 이들을 합성하여 합성영상데이터를 생성하기 위한 수단이다. 상기 합성의 방법은, 예컨대 두 영상데이터의 동기를 맞추고, 각 좌표픽셀마다의 OR 연산에 의하여 구현될 수 있다.

상기 출력메모리수단(144)은, 상기 합성메모리수단(142)으로부터 합성영상데이터를 전달받아, 후단의 영상출력수단(200)에 전달하기 위한 수단이다. 출력영상의 주파수는 초당 60프레임으로 하여, 부드러운 표현이 되도록 함이 바람직하다. 이를 위하여, 상기 음향분석수단(134)에서의 샘플링이나 영상합성수단(140)에서의 샘플링이 초당 60프레임을 기준으로 설정됨이 바람직하다.

상기 출력을 위하여 듀얼프레임 메모리 관리기법을 이용하여도 좋다. 또는 시스템 메모리 내에 4개의 프레임 메모리 영역을 관리하여, 정확한 동기가 이루어지도록 할 수 있다.

보다 상세히 설명한다면, 1/60 초에 한 프레임의 합성된 영상을 시스템에서는 출력하게 되며, 이를 지속적으로 출력하는 출력 프레임 메모리 영역이라 하고, 카메라로부터 입력되는 영상을 저장하는 실영상 프레임 메모리 영역을 두고, 마이크로폰의 입력된 음향 신호를 1/60 초만큼 잘라서 영상화하는 음향영상 프레임 메모리 영역이 있어야 하며, 마지막으로 음향 영상 메모리 영역과 실영상 프레임 메모리 영역이 합성된 합성 프레임 메모리 영역이 있게 된다. 순서대로 나열한다면, 음향영상 프레임과 실영상 프레임이 완성되면, 실영상 프레임을 합성 프레임에 쓰고, 그 위에 음향영상 프레임을 덮어쓰는 형태로 합성하고, 이 작업이 완료되면 출력 프레임 메모리 영역으로 전송하는 흐름을 가지게 된다.

상기 영상출력수단(200)은, 예컨대 브라운관이나 LCD, PDP 등을 말한다. 상기 영상출력수단(200)에는, 도 2에 도시된 바와 같이, 실제의 동영상(210)과 음향으로부터 영상으로 변환된 동영상(220)이 함께 출력된다.

이상, 하나의 실시예에 의하여 본 발명을 설명하였으나, 본 발명은 이에 한정되는 것이 아니고, 다양한 변형예가 당업자에 의하여 본 발명의 범위 내에서 용 이하게 이루어질 수 있음은 자명하다.

상기와 같은 구성을 가지는 본 발명에 의하면, 카메라로 직접 촬영되는 실제 동영상과, 입력된 음향의 실시간 분석 및 변환에 의하여 생성되는 음향 동영상을 함께 합성하여 출력할 수 있는 음향카메라가 제공된다.

또한, 대부분의 기능을 로직화하여, 부품수를 저감시켜서, 소모전력과 제조비용이 낮고, 고장의 우려가 적은 음향카메라가 제공된다.

Claims

직접 촬영되어 입력되는 실제 동영상과, 입력된 음향의 실시간 분석 및 변환에 의하여 생성되는 음향 동영상을 함께 합성하여 출력할 수 있는 음향카메라에 있어서,

실제 동영상을 받아들이는 영상촬상수단과; 이로부터 영상데이터를 입력받는 영상입력수단과;

음향을 받아들이는, 적어도 3개의 음향수취수단과; 이로부터 음향을 입력받는 음향입력수단과; 이로부터 음향을 입력받는 음향입력수단과; 이로부터 음향을 전달받아 음향의 발생 중심점 위치를 분석하는 음향분석수단과; 이로부터 분석결과를 전달받아 음향파형의 물리적 특성에 따라 미리 정해져 있는 다단계 기준에 의거하여 음향정보를 영상정보로 대응시켜서 영상데이터를 생성시키는 영상변환수단과;

상기 영상입력수단과 상기 영상변환수단으로부터 각각 영상데이터를 전달받아서, 이들을 합성하여 합성영상데이터를 생성하기 위한 합성메모리수단과; 이로부터 합성영상데이터를 전달받아 영상출력수단에 전달하기 위한 출력메모리수단;을 포함하여 이루어지는 영상합성수단;

을 구비함을 특징으로 하는, 동영상 방식 음향카메라.
제1항에 있어서,

상기 음향수취수단은, 상기 영상촬상수단을 중심으로 점대칭으로 배치되어 있음을 특징으로 하는, 동영상 방식 음향카메라.