KR20120065758A

KR20120065758A - 촬영장치 및 이를 이용한 촬영방법

Info

Publication number: KR20120065758A
Application number: KR1020100127043A
Authority: KR
Inventors: 정수만; 강대규
Original assignee: 삼성전자주식회사
Priority date: 2010-12-13
Filing date: 2010-12-13
Publication date: 2012-06-21
Also published as: US20120147204A1; US8854496B2; US8570397B2; US20140022404A1; KR101753715B1

Abstract

촬영장치가 개시된다. 본 촬영장치는, 복수의 촬상부를 통해 입력된 영상을 처리하는 영상 처리부, 서로 이격되어 배치된 복수의 마이크, 복수의 마이크를 이용하여 촬영자의 음성을 감지하는 음성 처리부, 및, 음성 처리부를 통하여 촬영자의 음성이 감지되면 촬영자의 위치에 대응하는 촬상부의 영상과 기촬상 중인 촬상부의 영상이 합성되도록 영상 처리부를 제어하는 제어부를 포함한다.

Description

촬영장치 및 이를 이용한 촬영방법{IMAGE PICKUP DEVICE AND METHOD FOR PICKUP IMAGE SAME IN}

본 발명은 촬영장치 및 이를 이용한 촬영방법에 관한 것으로, 더욱 상세하게는 복수의 마이크를 이용하여 촬영자의 음성을 감지하고, 촬영자의 음성이 감지되면 복수의 촬상부를 이용하는 촬영을 수행할 수 있는 촬영장치 및 이를 이용한 촬영방법에 관한 것이다.

일반적으로, 촬상장치는 빛을 전기로 변화시키는 장치를 의미한다. 이러한 촬상장치의 예로는 디지털 카메라, 캠코더 등을 들 수 있다.

최근의 촬상장치는 듀얼 렌즈를 구비함으로써, 동영상 촬영시에 촬영자와 피촬영자의 영상을 하나의 화면 형태로 촬영하는 것을 지원하였다.

그러나 듀얼(dual) 렌즈 구조를 이용하여 촬영자와 피촬영자의 영상을 한 화면으로 촬영하는 경우에도, 종래의 촬상장치는 하나의 스테레오 마이크만을 이용하여 음성 신호를 이용 기존 스테레오 마이크 입력만을 사용하므로 단일 렌즈로 촬영시와 동일한 음성 신호만이 기록되는 한계점이 있었다.

따라서, 본 발명의 목적은, 복수의 마이크를 이용하여 촬영자의 음성을 감지하고, 촬영자의 음성이 감지되면 복수의 촬상부를 이용하는 촬영을 수행할 수 있는 촬영장치 및 이를 이용한 촬영방법을 제공하는 데 있다.

이상과 같은 목적을 달성하기 위한 본 실시 예에 따른 촬상장치는, 상기 복수의 촬상부를 통해 입력된 영상을 처리하는 영상 처리부, 서로 이격되어 배치된 복수의 마이크, 상기 복수의 마이크를 이용하여 촬영자의 음성을 감지하는 음성 처리부, 및 상기 음성 처리부를 통하여 촬영자의 음성이 감지되면 촬영자의 위치에 대응하는 촬상부의 영상과 기촬상 중인 촬상부의 영상이 합성되도록 상기 영상 처리부를 제어하는 제어부를 포함한다.

이 경우, 상기 음성 처리부는, 상기 복수의 마이크를 통하여 감지된 음성의 위상차를 이용하여 촬영자의 음성을 감지하는 것이 바람직하다.

한편, 상기 음성 처리부는, 현재 촬상 중인 촬상부에 대응되는 마이크로부터 입력된 음성과 다른 마이크로부터 입력된 음성을 비교하여, 상기 촬상 중인 촬상부에 대응되는 마이크로부터 입력된 음성에서 노이즈를 제거하는 것이 바람직하다.

한편, 상기 음성 처리부는, 상기 복수의 마이크를 통하여 입력된 음성을 텍스트로 변환하고, 상기 영상 처리부는, 상기 변환된 텍스트를 상기 합성된 영상에 자막으로 추가하는 것이 바람직하다.

한편, 상기 영상 처리부는, 상기 촬영자의 위치에 대응하는 촬상부의 영상과 기촬상 중인 촬상부의 영상을 PIP(Picture-In-Picture) 형태로 합성하는 것이 바람직하다.

한편, 본 촬상장치는, 상기 영상 처리부에서 합성된 영상과 상기 복수의 마이크 중 적어도 하나의 마이크를 통하여 입력된 음성을 병합하는 먹스, 및, 상기 병합된 영상 및 음성을 저장하는 저장부를 더 포함할 수 있다.

한편, 상기 복수의 촬상부는, 제1 촬상부 및 제2 촬상부를 포함하고, 상기 복수의 마이크는, 제1 촬상부에 대응되는 제1 마이크 및 제2 촬상부에 대응되는 제2 마이크를 포함하며, 상기 음성 처리부는, 상기 제1 마이크보다 제2 마이크로부터의 음성이 먼저 감지되면 촬영자의 음성이 감지된 것으로 판단하고, 상기 제어부는, 제2 촬상부를 통하여 촬상된 영상과 제1 촬상부를 통하여 촬상된 영상이 병합되도록 상기 영상처리부를 제어하는 것이 바람직하다.

이 경우, 상기 영상 처리부는, 상기 제1 촬상부에서 촬상된 영상 위에 상기 제2 촬상부에서 촬상된 영상을 PIP(Picture-in-picture) 형태로 합성하는 것이 바람직하다.

이 경우, 본 촬상장치는, 상기 영상 처리부에서의 합성 형태를 변경하는 명령을 입력받는 조작부를 더 포함하고, 상기 영상 처리부는, 상기 명령에 따라 상기 제1 촬상부의 영상과 제2 촬상부의 영상의 배치 순서를 변경하는 것이 바람직하다.

한편, 본 촬상장치는, 상기 제1 촬상부에서 촬상된 영상이 주(main) 영상인 경우, 상기 제1 마이크로부터의 음성과 상기 영상 처리부에서 합성된 영상을 병합하고, 상기 제2 촬상부에서 촬상된 영상이 주(main 영상인 경우, 상기 제2 마이크로부터의 음성과 상기 영상 처리부에서 합성된 영상을 병합하는 먹스, 및, 상기 병합된 영상 및 음성을 저장하는 저장부를 더 포함할 수 있다.

한편, 본 실시 예에 따른 촬영방법은, 상기 복수의 촬상부 중 적어도 하나의 촬상부를 통하여 촬상을 수행하는 단계, 서로 이격되어 배치된 복수의 마이크를 통하여 촬영자의 음성을 감지하는 단계, 및, 촬영자의 음성이 감지되면, 촬영자의 위치에 대응하는 촬상부의 영상과 기촬상 중인 촬상부의 영상을 합성하는 단계를 포함한다.

이 경우, 상기 촬영자의 음성을 감지하는 단계는, 상기 복수의 마이크를 통하여 감지된 음성의 위상차를 이용하여 촬영자의 음성을 감지하는 것이 바람직하다.

한편, 본 촬영방법은, 현재 촬상 중인 촬상부에 대응되는 마이크로부터 입력된 음성과 다른 마이크로부터 입력된 음성을 비교하여, 상기 촬상 중인 촬상부에 대응되는 마이크로부터 입력된 음성에서 노이즈를 제거하는 단계를 더 포함할 수 있다.

한편, 본 촬영방법은, 상기 복수의 마이크를 통하여 입력된 음성을 텍스트로 변환하는 단계, 및, 상기 변환된 텍스트를 상기 합성된 영상에 자막으로 추가하는 단계를 더 포함할 수 있다.

한편, 상기 영상을 합성하는 단계는, 상기 촬영자의 위치에 대응하는 촬상부의 영상과 기촬상 중인 촬상부의 영상을 PIP(Picture-in-picture) 형태로 합성하는 것이 바람직하다.

한편, 본 촬영방법은, 상기 영상 처리부에서 합성된 영상과 상기 복수의 마이크 중 적어도 하나의 마이크를 통하여 입력된 음성을 병합하는 단계 및 상기 병합된 영상 및 음성을 저장하는 단계를 더 포함할 수 있다.

한편, 상기 복수의 촬상부는, 제1 촬상부 및 제2 촬상부를 포함하고, 상기 복수의 마이크는, 제1 촬상부에 대응되는 제1 마이크 및 제2 촬상부에 대응되는 제2 마이크를 포함하며, 상기 촬영자의 음성을 감지하는 단계는, 상기 제1 마이크보다 제2 마이크로부터의 음성이 먼저 감지되면 촬영자의 음성이 감지된 것으로 판단하고, 상기 영상을 합성하는 단계는, 제2 촬상부를 통하여 촬상된 영상과 제1 촬상부를 통하여 촬상된 영상을 병합하는 것이 바람직하다.

이 경우, 상기 영상을 합성하는 단계는, 상기 제1 촬상부에서 촬상된 영상 위에 상기 제2 촬상부에서 촬상된 영상을 PIP(Picture-in-picture) 형태로 합성하는 것이 바람직하다.

이 경우, 본 촬영방법은, 합성 형태를 변경하는 명령을 입력받는 단계를 더 포함하고, 상기 영상을 합성하는 단계는, 상기 명령에 따라 상기 제1 촬상부의 영상과 제2 촬상부의 영상의 배치 순서를 변경하는 것이 바람직하다.

한편, 본 촬영방법은, 상기 제1 촬상부에서 촬상된 영상이 주(main 영상인 경우, 상기 제1 마이크로부터의 음성과 상기 영상 처리부에서 합성된 영상을 병합하고, 상기 제2 촬상부에서 촬상된 영상이 주(main 영상인 경우, 상기 제2 마이크로부터의 음성과 상기 영상 처리부에서 합성된 영상을 병합하는 단계 및 상기 병합된 영상 및 음성을 저장하는 단계를 더 포함할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 촬영장치의 구성을 나타내는 블록도,
도 2는 본 실시 예에 따른 촬영장치(100)의 형상을 설명하기 위한 도면,
도 3은 도 1의 영상 처리부 및 먹스의 동작을 설명하기 위한 도면,
도 4 및 도 5는 본 실시 예에 따라 마이크로부터 입력된 음성을 텍스트로 변환하고, 변화된 텍스트를 영상에 자막형태로 추가하는 동작을 설명하기 위한 도면, 그리고,
도 6은 본 실시 예에 따른 촬영방법을 설명하기 위한 흐름도이다.

이하 첨부된 도면들을 참조하여 본 발명의 실시 예를 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시 예에 따른 화상형성장치의 구성을 나타내는 블록도이다.

도 1을 참고하면, 촬영장치(100)는 복수의 촬상부(110), 영상 처리부(120), 복수의 마이크(130), 음성 처리부(140), 영상 출력부(150), 디스플레이(160), 조작부(165), 먹스(170), 저장부(180) 및 제어부(190)를 포함한다.

복수의 촬상부(110)는 입사된 빛을 영상 신호로 출력한다. 구체적으로, 복수의 촬상부(110) 각각은 렌즈, 화소 및 AD 컨버터를 구비한다. 렌즈는 피사체의 빛을 모아서 촬상 영역에 광학상이 맺히게 하며, 화소는 렌즈를 통해 입상되는 빚을 아날로그 형태의 영상 신호로 출력한다. 그리고 AD 컨버터는 아날로그 형태의 영상 신호를 디지털 형태의 영상 신호로 변환하여 출력한다. 이하에서는 설명의 편의를 위하여 본원의 복수의 촬상부(110)는 제1 촬상부(111) 및 제2 촬상부(112)로 구현된 경우를 가정하여 설명한다.

영상 처리부(120)는 촬상부(110)로부터 입력되는 영상 신호에 대한 신호처리를 수행하여, 촬영된 영상을 디스플레이하기 위해 처리된 영상 신호를 영상 출력부(150)로 전송한다.

그리고 영상 처리부(120)는 복수의 영상을 합성할 수 있다. 구체적으로, 후술할 음성 처리부(140)로부터 촬영자의 음성이 감지되거나, 조작부(165)를 통하여 사용자의 명령이 입력되면, 영상 처리부(120)는 복수의 촬상부(111)로부터 입력된 영상 신호를 합성할 수 있다. 예를 들어, 제1 촬상부(111)에서 촬상된 영상 위에 제2 촬상부(112)에서 촬상된 영상을 PIP(Picture-In-Picture) 형태로 합성할 수 있다.

그리고 영상 처리부(120)는 텍스트를 영상에 추가할 수 있다. 구체적으로, 영상 처리부(120)는 후술할 음성 처리부(140)에서 생성된 텍스트를 영상에 추가할 수 있다. 예를 들어, 도 4에 도시된 바와 같이 후술한 음성 처리부(140)에서 촬영자의 음성에 대응하는 텍스트가 검출된 경우, 영상 처리부(120)는 제2 촬상부(112)에서 촬상된 영상 영역에 촬영자의 텍스트를 추가할 수 있다. 한편, 도 4에는 촬영자에 대응하는 텍스트만을 추가하는 실시 예에 대해서만 도시하였지만, 음성 처리부(140)에서 피촬영자의 음성에 대응하는 텍스트가 검출된 경우에는, 제2 촬상부(111)에서 촬상된 영상 영역에 피촬영자의 텍스트를 추가할 수도 있다.

한편, 음성 처리부(140)에서 주체를 달리하는 복수의 텍스트가 생성된 경우, 영상 처리부(120)는 텍스트 각각에 대응되는 영상 위치에 해당 텍스트를 추가할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 영상 처리부(120)는 피촬영자의 텍스트는 제1 촬상부(111)에서 촬상된 영상 영역에 추가할 수 있으며, 촬영자의 텍스트는 제2 촬상부(112)에서 촬상된 영상 영역에 추가할 수 있다. 한편, 도 1을 설명함에 있어서, 복수의 영상을 합성한 이후에 텍스트를 추가하는 실시 예를 설명하였지만, 영상 각각에 텍스트를 추가한 이후에 '텍스트가 추가된 영상'을 합성하는 형태로도 구현될 수 있다.

그리고 영상 처리부(120)는 촬영된 영상을 저장하기 위해 코덱으로 처리된 영상 신호를 출력한다. 구체적으로, 영상 처리부(120)는 영상 처리된 영상 신호에 MPEG 4, H.264 등 시스템에 적합한 비디오 코덱을 이용하여 영상 처리된 영상 신호를 압축할 수 있다.

복수의 마이크(130)는 흡음된 소리를 음성신호로 출력한다. 구체적으로, 각각의 마이크(130)는 스테레오 마이크로 구성될 수 있으며, 다른 방향의 지향성을 가질 수 있다. 이하에서는 설명의 편의를 위하여 복수의 마이크(130)는 제1 마이크(131) 및 제2 마이크(132)로 구현된 경우를 가정하여 설명한다.

음성 처리부(140)는 복수의 마이크(130) 각각으로부터 입력되는 음성 신호에 대한 신호처리를 수행하며, 신호 처리된 복수의 음성 신호를 먹스(180)로 전송한다. 구체적으로, 음성 처리부(140)는 특정 마이크로부터 입력되는 음성 신호와 다른 마이크로부터 입력되는 음성 신호를 비교하여, 특정 마이크로부터 입력되는 음성 신호에 포함된 노이즈 및 검출된 음성을 제거할 수 있다. 예를 들어, 제1 마이크(131)를 통하여 입력된 음성 신호와 제2 마이크(132)를 통하여 입력된 음성 신호를 비교하여, 노이즈를 검출하고, 제1 마이크(131)를 통하여 입력된 음성 신호에서 검출된 노이즈를 제거할 수 있다. 그리고 제1 마이크(131)를 통하여 입력된 음성 신호에서 후술할 동작에서 검출된 촬영자의 음성을 제어할 수도 있다.

그리고 음성 처리부(140)는 촬영자의 음성을 감지한다. 구체적으로, 본 실시 예에 따른 촬영장치(100)는 이격되어 배치된 복수의 마이크(130)를 구비하는바, 하나의 소리에 대해서 복수의 마이크는 다른 타이밍에 감지할 수 있다. 따라서, 통상적으로 촬영자가 위치하는 후면에 위치하는 마이크로부터 소리가 먼저 감지되고, 그 소리가 음성인 경우, 음성 처리부(140)는 촬영자의 음성이 감지된 것으로 파악할 수 있다.

그리고 음성 처리부(140)는 감지된 음성을 텍스트로 변환한다. 구체적으로, 음성 처리부(140)는 음성 인식 방법을 이용하여 감지된 음성을 텍스트로 변환할 수 있다. 이때, 음성 처리부(140)는 변환된 텍스트를 마이크 위치에 대응하여 구분할 수 있다. 구체적으로, 제1 마이크(131)가 먼저 음성을 감지한 경우, 음성 처리부(140)는 감지된 음성을 피촬영자의 텍스트로 변환할 수 있다. 그리고 제2 마이크(132)가 먼저 음성을 감지한 경우, 음성 처리부(140)는 감지된 음성을 촬영자의 텍스트로 변환할 수 있다.

음성 처리부(140)는 음성을 저장하기 위해 코덱으로 처리된 음성신호를 출력한다. 구체적으로, 음성 처리부(140)는 노이즈 등이 제거된 음성신호에 AAC, AC3, MP3 등 시스템에 적합한 오디오 코덱을 이용하여 음성신호를 압축할 수 있다.

영상 출력부(150)는 영상 처리부(120)로부터 수신된 영상 신호를 내부 디스플레이(160) 또는 외부 출력 단자로 출력한다.

디스플레이(160)는 촬영된 영상을 화면에 표시한다.

조작부(165)는 사용자의 조작을 통해 명령을 입력받는다. 조작부(165)는 촬영장치(100)의 표면에 버튼의 형태로 마련될 수 있으며, 디스플레이(160) 상에서 터치스크린 형태로 마련될 수도 있다. 또한, 조작부(165)는 영상 처리부에서의 합성 형태를 변경하는 명령을 입력받는다. 여기서 합성 형태를 변경하는 명령은, 복수의 촬상부의 동작 및 영상 처리부의 합성 레이아웃을 변경하게 하는 명령이다. 예를 들어, 제1 촬상부만을 이용한 촬영, 제2 촬상부만을 이용한 촬영, 제1 촬상부 및 제2 촬상부를 이용하여 촬영하되 제1 촬상부에서 촬상된 영상을 메인 영상으로 하는 명령, 제2 촬상부에서 촬상된 영상을 메인 영상으로 하는 명령 등을 포함할 수 있다.

먹스(170, MUX)는 영상과 음성을 병합한다. 구체적으로, 먹스(170)는 영상 처리부(120)를 통하여 입력된 영상과 음성 처리부(140)를 통해 입력된 음성을 병합하고, 부가 데이터를 포함하여 동영상 파일을 생성할 수 있다.

보다 구체적으로, 사용자가 제1 촬상부(111)만을 이용하여 촬영을 수행하는 경우, 먹스(170)는 영상 처리부(120)의 출력 영상(제1 촬상부(111)의 영상 신호)과 음성 처리부(140)의 출력 음성 중 제1 마이크(131)의 음성 신호를 병합할 수 있다.

그리고 사용자가 제2 촬상부(112)만을 이용하여 촬영을 수행하는 경우, 먹스(170)는 영상 처리부(120)의 출력 영상(제2 촬상부(112)의 영상 신호)과 음성 처리부(140)의 출력 음성 중 제2 마이크(132)의 음성 신호를 병합할 수 있다.

그리고 사용자가 제1 촬상부(111) 및 제2 촬상부(112) 모두를 이용하여 촬영을 수행하는 경우, 먹스(170)는 어떠한 촬상부의 영상이 주(main) 영상인지를 판단하고, 주 영상에 대응되는 음성 신호와 영상 처리부(120)의 출력 영상을 병합할 수 있다. 예를 들어, 제1 촬상부(111)의 영상이 주 영상인 경우, 먹스(170)는 영상 처리부(120)의 출력 영상(PIP 영상)과 음성 처리부(140)의 출력 음성 중 제1 마이크(131)의 음성 신호를 병합할 수 있다.

그리고 제2 촬상부(112)의 영상이 주 영상인 경우, 먹스(170)는 영상 처리부(120)의 출력 영상(PIP 영상)과 음성 처리부(140)의 출력 음성 중 제2 마이크(132)의 음성 신호를 병합할 수 있다. 한편, 이러한 음성 신호의 선택은 음성 처리부(140)에서 선행적으로 수행되는 형태로도 구현될 수 있다.

한편, 먹스(170)는 영상 처리부(120)의 출력 영상과 복수의 음성 신호를 병합할 수 있다. 구체적으로, 복수의 음성 신호를 다른 채널로 하여 병합할 수 있는바, 사용자가 제1 촬상부(111) 및 제2 촬상부(112) 모두를 이용하여 촬영을 수행하는 경우, 먹스(170)는 영상 처리부(120)의 출력 영상과 음성 처리부(140)의 복수의 출력 음성을 병합할 수 있다.

저장부(180)는 병합된 영상 및 음성을 저장한다. 구체적으로 저장부(180)는 먹스(180)에서 생성된 동영상 파일을 저장할 수 있다. 한편, 저장부(180)는 플레쉬 메모리, 하드디스크, DVD 등을 이용하여 구현될 수 있다.

제어부(190)는 촬영장치(100) 내의 각 구성을 제어한다. 구체적으로, 제어부(190)는 음성 처리부(140)로부터 촬영자의 음성이 감지되면, 촬영자의 위치에 대응하는 촬상부(112)가 동작하도록 제어하고, 해당 촬상부(112)에서 촬상된 영상과 기 동작중인 촬상부(111)에서 촬상된 영상이 합성되도록 영상 처리부(120)를 제어할 수 있다.

상술한 바와 같이 본 실시 예에 따른 촬영장치(100)는 복수의 마이크를 이용하여 촬영자의 음성을 검출할 수 있으며, 촬영자의 음성이 검출되면 촬영자에 대응되는 촬상부를 이용하여 촬영자를 촬상할 수 있는바, 복수의 촬상부를 용이하게 제어할 수 있다. 또한, 영상에 대응되는 마이크의 음성을 이용하는바, 더욱 생생한 음원을 기록할 수 있게 된다.

도 2는 본 실시 예에 따른 촬영장치(100)의 형상을 설명하기 위한 도면이다.

도 2를 참고하면, 본 발명의 일 실시 예에 따른 촬영장치(100)는 복수의 촬상부(111, 112)를 포함한다.

구체적으로, 제1 촬상부(111)는 촬영장치(100)의 전면 방향으로 배치되며, 전면 방향의 영상을 촬상한다. 제1 촬상부(111)를 통하여 피촬영자 또는 사물이 촬상될 수 있다.

그리고 제2 촬상부(112)는 촬영장치(100)의 후면 방향으로 배치되며, 촬영장치(100)의 후면 방향의 영상을 촬상한다. 제2 촬상부(112)를 통하여 촬영자를 촬상될 수 있다.

그리고 본 발명의 일 실시 예에 따른 촬영장치(100)는 복수의 마이크(111, 112)를 포함한다. 구체적으로, 제1 마이크(131)와 제2 마이크(132)는 도시된 바와 같이 서로 이격되어 배치된다. 이와 같이 복수의 마이크(131, 132)가 이격되어 배치되는바, 두 마이크에서의 감지 시간 차이에 기초하여 음원의 위치를 파악할 수 있게 된다. 예를 들어, 촬영장치(100)의 후방에 위치하는 촬영자가 말을 하는 경우, 거리상 가까운 제2 마이크(132)가 먼저 촬영자의 음성을 감지할 것인바, 제2 마이크(132)를 통해 음성이 먼저 감지되면 이를 촬영자의 음성인 것으로 판단할 수 있다.

한편, 도 1 및 도 2를 설명함에 있어서, 두 개의 촬상부를 이용하는 형태에 대해서만 설명하였지만, 촬영장치(100)는 세 개 이상의 촬상부를 구비할 수 있다. 또한, 제1 촬상부(111)가 피촬영자 또는 사물을 촬상하고, 제2 촬상부(112)가 촬영자를 촬상하는 것으로 설명하였지만, 그 동작은 서로 변경될 수 있다.

도 3은 도 1의 영상 처리부 및 먹스의 동작을 설명하기 위한 도면이다.

도 3a를 참고하면, 사용자가 주(main) 렌즈(제1 촬상부)만을 이용하여 촬상하는 경우, 영상 처리부(120)는 제1 촬상부(111)에서 촬상된 영상만을 영상 처리하며, 먹스(170)는 영상 처리부(120)의 출력 영상(제1 촬상부(111)의 영상 신호)과 음성 처리부(140)의 출력 음성 중 제1 마이크(131)의 음성 신호를 병합할 수 있다.

도 3b를 참고하면, 사용자가 부(sub) 렌즈(제2 촬상부)만을 이용하여 촬상하는 경우, 영상 처리부(120)는 제2 촬상부(112)에서 촬상된 영상만을 영상 처리하며, 먹스(170)는 영상 처리부(120)의 출력 영상(제2 촬상부(112)의 영상 신호)과 음성 처리부(140)의 출력 음성 중 제2 마이크(132)의 음성 신호를 병합할 수 있다.

도 3c를 참고하면, 사용자가 주 렌즈(제1 촬상부)에서 촬상된 영상을 주(main) 영상으로 하는 PIP 촬영을 수행하는 경우, 영상 처리부(120)는 제1 촬상부(111)에서 촬상된 영상 위에 제2 촬상부(112)에서 촬상된 영상을 PIP 형태로 합성하고, 먹스(170)는 영상 처리부(120)의 출력 영상(PIP 영상)과 음성 처리부(140)의 출력 음성 중 제1 마이크(131)의 음성 신호를 병합할 수 있다.

도 3d를 참고하면, 사용자가 보조 렌즈(제2 촬상부)에서 촬상된 영상을 주(main) 영상으로 하는 PIP 촬영을 수행하는 경우, 영상 처리부(120)는 제2 촬상부(112)에서 촬상된 영상 위에 제1 촬상부(111)에서 촬상된 영상을 PIP 형태로 합성하고, 먹스(170)는 영상 처리부(120)의 출력 영상(PIP 영상)과 음성 처리부(140)의 출력 음성 중 제2 마이크(132)의 음성 신호를 병합할 수 있다.

도 4 및 도 5는 본 실시 예에 따라 마이크로부터 입력된 음성을 텍스트로 변환하고, 변화된 텍스트를 영상에 자막형태로 추가하는 동작을 설명하기 위한 도면이다.

도 4를 참고하면, 본 실시 예 따른 영상 처리부(120)는 음성 처리부(140)에서 생성된 텍스트를 영상에 추가할 수 있다. 구체적으로, 제2 마이크(132)로부터 촬영자의 음성이 검출되고, 검출된 음성을 통하여 텍스트가 생성되면, 영상 처리부(120)는 제2 마이크(132)에 대응되는 제2 촬상부(112)에서 촬상된 영상 영역에 해당 텍스트를 추가함을 확인할 수 있다.

도 5를 참고하면, 피촬영자의 음성에 대응하는 텍스트는 제1 촬상부(111)에서 촬상된 영상 영역에 추가되며, 촬영자의 음성에 대응하는 텍스트는 제2 촬상부(112)에서 촬상된 영상 영역에 추가됨을 확인할 수 있다.

도 6은 본 실시 예에 따른 촬영방법을 설명하기 위한 흐름도이다.

도 6을 참고하면, 먼저 복수의 촬상부 중 하나의 촬상부를 이용한 촬상이 수행된다(S610).

그 다음, 촬영자의 음성을 감지한다(S620). 구체적으로, 이격되어 배치된 복수의 마이크(130)를 이용하여, 통상적으로 촬영자가 위치하는 후면에 위치하는 마이크로부터 음성이 감지되면, 촬영자의 음성이 감지된 것으로 파악할 수 있다.

그리고 복수의 촬상부를 이용하여 촬상을 수행한다(S630). 구체적으로, 촬영자에 대응하는 촬상부의 촬상 동작을 온하여, 복수의 촬상부를 이용한 촬상 동작을 수행할 수 있다.

그리고 촬상된 복수의 영상을 합성한다(S640). 구체적으로, 촬영자의 위치에 대응하는 촬영부의 영상과 기촬상 중인 촬상부의 영상을 합성할 수 있다. 예를 들어, 제1 촬상부(111)에서 촬상된 영상 위에 제2 촬상부(112)에서 촬상된 영상을 PIP(Picture-In-Picture) 형태로 합성할 수 있다. 그리고 합성된 영상에 대해서 신호 처리 및 인코딩 동작을 수행할 수 있다.

그리고 복수의 마이크 중 촬상된 영상에 대응되는 마이크가 선택되면, 선택된 마이크에서의 음성에 대한 음성 처리가 수행된다(S650). 구체적으로, 특정 마이크(촬상된 영상에 대응되는 마이크)로부터 입력되는 음성 신호와 다른 마이크로부터 입력되는 음성 신호를 비교하여, 특정 마이크로부터 입력되는 음성 신호에 포함된 노이즈를 제거하는 등의 음성 처리를 수행할 수 있다.

그리고 복수의 마이크 중 하나의 음성과 합성된 영상을 병합한다(S660). 음성 신호와 영상 신호를 병합하는 동작에 대해서는 먹스(170) 구성과 관련하여 앞서 설명하였는바, 중복 설명은 생략한다.

그리고 병합된 음성과 영상을 저장한다(S670).

따라서, 본 실시 예에 따른 촬영방법은, 복수의 마이크를 이용하여 촬영자의 음성을 검출할 수 있으며, 촬영자의 음성이 검출되면 복수의 촬상부를 이용하는 촬영을 수행할 수 있는바, 복수의 촬상부를 용이하게 제어할 수 있다. 또한, 영상에 대응되는 마이크의 음성을 이용하는바, 더욱 생생한 음원을 기록할 수 있게 된다. 도 6과 같은 촬영 방법은, 도 1의 구성을 가지는 촬영장치(100) 상에서 실행될 수 있으며, 그 밖의 다른 구성을 가지는 화상형성장치 상에서도 실행될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100: 촬영장치 110: 촬상부
120: 영상 처리부 130: 마이크
140: 음성 처리부 150: 영상 출력부
160: 디스플레이 165: 조작부
170: 먹스 180: 저장부
190: 제어부

Claims

복수의 촬상부를 포함하는 촬영장치에 있어서,
상기 복수의 촬상부를 통해 입력된 영상을 처리하는 영상 처리부;
서로 이격되어 배치된 복수의 마이크;
상기 복수의 마이크를 이용하여 촬영자의 음성을 감지하는 음성 처리부; 및
상기 음성 처리부를 통하여 촬영자의 음성이 감지되면 촬영자의 위치에 대응하는 촬상부의 영상과 기촬상 중인 촬상부의 영상이 합성되도록 상기 영상 처리부를 제어하는 제어부;를 포함하는 촬영장치.
제1항에 있어서,
상기 음성 처리부는,
상기 복수의 마이크를 통하여 감지된 음성의 위상차를 이용하여 촬영자의 음성을 감지하는 것을 특징으로 하는 촬영장치.
제1항에 있어서,
상기 음성 처리부는,
현재 촬상 중인 촬상부에 대응되는 마이크로부터 입력된 음성과 다른 마이크로부터 입력된 음성을 비교하여, 상기 촬상 중인 촬상부에 대응되는 마이크로부터 입력된 음성에서 노이즈를 제거하는 것을 특징으로 하는 촬영장치.
제1항에 있어서,
상기 음성 처리부는,
상기 복수의 마이크를 통하여 입력된 음성을 텍스트로 변환하고,
상기 영상 처리부는,
상기 변환된 텍스트를 상기 합성된 영상에 자막으로 추가하는 것을 특징으로 하는 촬영장치.
제1항에 있어서,
상기 영상 처리부는,
상기 촬영자의 위치에 대응하는 촬상부의 영상과 기촬상 중인 촬상부의 영상을 PIP(Picture-In-Picture) 형태로 합성하는 것을 특징으로 하는 촬영장치.
제1항에 있어서,
상기 영상 처리부에서 합성된 영상과 상기 복수의 마이크 중 적어도 하나의 마이크를 통하여 입력된 음성을 병합하는 먹스; 및
상기 병합된 영상 및 음성을 저장하는 저장부;를 더 포함하는 것을 특징으로 하는 촬영장치.
제1항에 있어서,
상기 복수의 촬상부는,
제1 촬상부 및 제2 촬상부를 포함하고,
상기 복수의 마이크는, 제1 촬상부에 대응되는 제1 마이크 및 제2 촬상부에 대응되는 제2 마이크를 포함하며,
상기 음성 처리부는,
상기 제1 마이크보다 제2 마이크로부터의 음성이 먼저 감지되면 촬영자의 음성이 감지된 것으로 판단하고,
상기 제어부는,
제2 촬상부를 통하여 촬상된 영상과 제1 촬상부를 통하여 촬상된 영상이 병합되도록 상기 영상처리부를 제어하는 것을 특징으로 하는 촬영장치.
제7항에 있어서,
상기 영상 처리부는,
상기 제1 촬상부에서 촬상된 영상 위에 상기 제2 촬상부에서 촬상된 영상을 PIP(Picture-in-picture) 형태로 합성하는 것을 특징으로 하는 촬영장치.
제8항에 있어서,
상기 영상 처리부에서의 합성 형태를 변경하는 명령을 입력받는 조작부; 를 더 포함하고,
상기 영상 처리부는,
상기 명령에 따라 상기 제1 촬상부의 영상과 제2 촬상부의 영상의 배치 순서를 변경하는 것을 특징으로 하는 촬영장치.
제7항에 있어서,
상기 제1 촬상부에서 촬상된 영상이 주(main) 영상인 경우, 상기 제1 마이크로부터의 음성과 상기 영상 처리부에서 합성된 영상을 병합하고,
상기 제2 촬상부에서 촬상된 영상이 주(main) 영상인 경우, 상기 제2 마이크로부터의 음성과 상기 영상 처리부에서 합성된 영상을 병합하는 먹스; 및
상기 병합된 영상 및 음성을 저장하는 저장부;를 더 포함하는 것을 특징으로 하는 촬영장치.
복수의 촬상부를 포함하는 촬영장치의 촬영방법에 있어서,
상기 복수의 촬상부 중 적어도 하나의 촬상부를 통하여 촬상을 수행하는 단계;
서로 이격되어 배치된 복수의 마이크를 통하여 촬영자의 음성을 감지하는 단계; 및
촬영자의 음성이 감지되면, 촬영자의 위치에 대응하는 촬상부의 영상과 기촬상 중인 촬상부의 영상을 합성하는 단계; 를 포함하는 촬영방법.
제11항에 있어서,
상기 촬영자의 음성을 감지하는 단계는,
상기 복수의 마이크를 통하여 감지된 음성의 위상차를 이용하여 촬영자의 음성을 감지하는 것을 특징으로 하는 촬영방법.
제11항에 있어서,
현재 촬상 중인 촬상부에 대응되는 마이크로부터 입력된 음성과 다른 마이크로부터 입력된 음성을 비교하여, 상기 촬상 중인 촬상부에 대응되는 마이크로부터 입력된 음성에서 노이즈를 제거하는 단계;를 더 포함하는 것을 특징으로 하는 촬영방법.
제11항에 있어서,
상기 복수의 마이크를 통하여 입력된 음성을 텍스트로 변환하는 단계; 및
상기 변환된 텍스트를 상기 합성된 영상에 자막으로 추가하는 단계;를 더 포함하는 것을 특징으로 하는 촬영방법.
제11항에 있어서,
상기 영상을 합성하는 단계는,
상기 촬영자의 위치에 대응하는 촬상부의 영상과 기촬상 중인 촬상부의 영상을 PIP(Picture-In-Picture) 형태로 합성하는 것을 특징으로 하는 촬영방법.
제11항에 있어서,
상기 영상 처리부에서 합성된 영상과 상기 복수의 마이크 중 적어도 하나의 마이크를 통하여 입력된 음성을 병합하는 단계; 및
상기 병합된 영상 및 음성을 저장하는 단계;를 더 포함하는 것을 특징으로 하는 촬영방법.
제11항에 있어서,
상기 복수의 촬상부는,
제1 촬상부 및 제2 촬상부를 포함하고,
상기 복수의 마이크는, 제1 촬상부에 대응되는 제1 마이크 및 제2 촬상부에 대응되는 제2 마이크를 포함하며,
상기 촬영자의 음성을 감지하는 단계는,
상기 제1 마이크보다 제2 마이크로부터의 음성이 먼저 감지되면 촬영자의 음성이 감지된 것으로 판단하고,
상기 영상을 합성하는 단계는,
제2 촬상부를 통하여 촬상된 영상과 제1 촬상부를 통하여 촬상된 영상을 병합하는 것을 특징으로 하는 촬영방법.
제17항에 있어서,
상기 영상을 합성하는 단계는,
상기 제1 촬상부에서 촬상된 영상 위에 상기 제2 촬상부에서 촬상된 영상을 PIP(Picture-in-picture) 형태로 합성하는 것을 특징으로 하는 촬영방법.
제18항에 있어서,
합성 형태를 변경하는 명령을 입력받는 단계;를 더 포함하고,
상기 영상을 합성하는 단계는,
상기 명령에 따라 상기 제1 촬상부의 영상과 제2 촬상부의 영상의 배치 순서를 변경하는 것을 특징으로 하는 촬영방법.
제17항에 있어서,
상기 제1 촬상부에서 촬상된 영상이 주(main) 영상인 경우, 상기 제1 마이크로부터의 음성과 상기 영상 처리부에서 합성된 영상을 병합하고,
상기 제2 촬상부에서 촬상된 영상이 주(main) 영상인 경우, 상기 제2 마이크로부터의 음성과 상기 영상 처리부에서 합성된 영상을 병합하는 단계; 및
상기 병합된 영상 및 음성을 저장하는 단계;를 더 포함하는 것을 특징으로 하는 촬영방법.