KR20150066455A

KR20150066455A - 오디오 정보 처리 방법 및 장치

Info

Publication number: KR20150066455A
Application number: KR1020140168761A
Authority: KR
Inventors: 하이팅 리
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2013-12-06
Filing date: 2014-11-28
Publication date: 2015-06-16
Also published as: CN104699445A; EP2882170B1; JP6023779B2; EP2882170A1; JP2015115952A; US20150163587A1

Abstract

본 출원은 오디오 정보 처리 방법 및 장치를 제공한다. 상기 방법은, 상기 제1 카메라를 결정하는 단계; 상기 제1 오디오 수집 유닛에 의해 수집되는 제1 오디오 정보를 획득하는 단계; 상기 제2 오디오 수집 유닛에 의해 수집되는 제2 오디오 정보를 획득하는 단계; 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계 - 상기 제3 오디오 정보에 있어서, 상기 제1 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 제1 이득이고, 제3 오디오 정보에 있어서, 촬영 방향의 반대 방향으로부터 나오는 음 신호의 이득은 제2 이득이며, 상기 제1 이득은 상기 제2 이득보다 큼 - ; 및 상기 제3 오디오 정보를 출력하는 단계를 포함한다. 본 출원의 방법 또는 장치를 채택하면, 동기적으로 출력되는 오디오 정보에서, 최종 비디오 이미지에서의 목표 음원의 음량은 비디오 이미지 외측에서의 잡음 또는 간섭하는 음원의 음량보다 높다.

Description

오디오 정보 처리 방법 및 장치{AUDIO INFORMATION PROCESSING METHOD AND APPARATUS}

본 출원은 정보 처리 분야에 관한 것이며, 특히 오디오 정보 처리 방법 및 장치에 관한 것이다.

과학과 기술이 계속 발전함에 따라, 전자제품의 기능은 그 수가 늘어가고 있다. 현재, 주요 포터블 전자제품은 오디오 정보 수집 기능을 갖추고 있고 수집된 오디오 정보를 출력할 수 있다. 이동전화가 하나의 예이다. 이동전화를 사용하여 전화를 걸고 비디오를 녹화하는 것과 같은 동작을 수행할 때, 이동전화의 수집 기능을 사용한다.

그렇지만, 종래기술에서는, 전자제품을 사용하여 오디오 정보를 수집할 때, 기본적으로, 전자제품에 의해 수집된 오디오 정보를 추가의 처리 없이 직접적으로 출력하거나 저장하는데, 이는 전자제품에 의해 수집된 오디오 정보에 있어서, 잡음 또는 간섭 음원의 음량이 목표 음원의 음량보다 많을 수 있다.

예를 들어, 이동전화를 사용하여 비디오를 녹화할 때, 촬영을 수행하는 사용자는 이동전화에 가까이 있기 때문에, 녹화된 비디오에서 사용자가 내는 소리가 통상적으로 촬영 피사체에서 내는 소리보다 크고, 이로 인해 전자제품에 의해 수집된 오디오 정보에서, 목표 음원의 음량이 잡음 또는 간섭하는 음원의 음량보다 낮게 된다.

본 출원의 목적은 오디오 정보 처리 방법 및 장치를 제공하여, 오디오 수집 유닛에 의해 수집된 오디오 정보를 처리함으로써, 음원의 음량이 잡음의 음량보다 낮은 문제를 해결할 수 있다.

전술한 목적을 달성하기 위해, 본 출원은 이하의 솔루션을 제공한다.

본 출원의 제1 관점의 제1 가능한 실행 방식에 따라, 본 출원은 오디오 정보 처리 방법을 제공하며, 상기 방법은 전자 기기에 적용되며, 상기 전자 기기는 적어도 하나의 전면 카메라(front-facing camera) 및 하나의 후면 카메라(rear-facing camera)를 구비하며; 상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며; 상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 방법은,

상기 제1 카메라를 결정하는 단계;

상기 제1 오디오 수집 유닛에 의해 수집되는 제1 오디오 정보를 획득하는 단계;

상기 제2 오디오 수집 유닛에 의해 수집되는 제2 오디오 정보를 획득하는 단계;

상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계 - 상기 제3 오디오 정보에 있어서, 상기 제1 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 제1 이득이고, 제3 오디오 정보에 있어서, 촬영 방향의 반대 방향으로부터 나오는 음 신호의 이득은 제2 이득이며, 상기 제1 이득은 상기 제2 이득보다 큼 - ; 및

상기 제3 오디오 정보를 출력하는 단계

를 포함한다.

제1 관점의 제2 가능한 실행 방식을 참조하여, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛은 전방향 오디오 수집 유닛(omnidirectional audio collecting unit)이고, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계는 구체적으로,

차동 어레이 처리 기법을 사용함으로써, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계

를 포함하고,

여기서, 상기 차동 어레이 처리 기법을 사용함으로써 상기 획득하는 단계가 수행된 후, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔은 카디오이드(cardioid)이며,

상기 카디오이드의 최댓값의 방향은 상기 촬영 방향과 동일하며, 최솟값의 방향은 상기 촬영 방향의 반대 방향과 동일하다.

제1 관점의 제3 가능한 실행 방식을 참조하여, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛 모두는 전방향 오디오 수집 유닛이고, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계는 구체적으로,

제1 처리 모드에서, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제4 오디오 정보를 획득하는 단계;

제2 처리 모드에서, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제5 오디오 정보를 획득하는 단계 - 제1 처리 모드에서, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔이 제1 빔이며, 제2 처리 모드에서, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔이 제2 빔이며, 상기 제1 빔 및 상기 제2 빔은 다른 방향을 가짐 - ; 및

사전설정된 가중 계수에 따라, 상기 제4 오디오 정보 및 상기 제5 오디오 정보를 합성하여 상기 제3 오디오 정보를 획득하는 단계

를 포함한다.

제1 관점의 제4 가능한 실행 방식을 참조하여, 상기 제1 오디오 수집 유닛은 전방향 오디오 수집 유닛이고, 상기 제2 오디오 수집 유닛은 카디오이드 오디오 수집 유닛이며, 상기 카디오이드의 최댓값의 방향은 상기 촬영 방향의 반대 방향과 동일하며, 최솟값의 방향은 상기 촬영 방향과 동일하며,

상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계는 구체적으로,

상기 제1 오디오 정보를 목표 신호로 사용하고 상기 제2 오디오 정보를 기준 잡음 신호로 사용하며, 상기 제1 오디오 정보 및 상기 제2 오디오 정보에 대해 잡음 억제 처리를 수행하여 제3 오디오 정보를 획득하는 단계

를 포함한다.

제1 관점의 제5 가능한 실행 방식을 참조하여, 상기 제1 오디오 수집 유닛은 제1 카디오이드 오디오 수집 유닛이고, 상기 제2 오디오 수집 유닛은 제2 카디오이드 오디오 수집 유닛이며, 상기 제1 카디오이드의 최댓값의 방향은 상기 촬영 방향과 동일하고, 최솟값의 방향은 상기 촬영 방향의 반대 방향과 동일하며, 상기 제2 카디오이드의 최댓값의 방향은 상기 촬영 방향의 반대 방향과 동일하고, 최솟값의 방향은 상기 촬영 방향과 동일하며,

를 포함한다.

본 출원의 제2 관점의 제1 가능한 실행 방식에 따라, 본 출원은 다른 오디오 처리 방법을 제공하며, 상기 방법은 전자 기기에 적용되며, 상기 전자 기기는 적어도 하나의 전면 카메라 및 하나의 후면 카메라를 구비하며; 상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며; 상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 방법은,

상기 제1 카메라를 결정하는 단계;

상기 제1 오디오 수집 유닛을 작동 가능하게 하는 단계;

상기 제2 오디오 수집 유닛을 작동 가능하지 않게 하는 단계;

상기 제1 오디오 수집 유닛에 의해 수집된 제1 오디오 정보를 획득하는 단계; 및

상기 제1 오디오 정보를 출력하는 단계

를 포함한다.

본 출원의 제3 관점의 제1 가능한 실행 방식에 따라, 본 출원은 오디오 정보 처리 장치를 제공하며, 상기 장치는 전자 기기에 적용되며, 상기 전자 기기는 적어도 하나의 전면 카메라(front-facing camera) 및 하나의 후면 카메라(rear-facing camera)를 구비하며; 상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며; 상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 장치는,

상기 제1 카메라를 결정하도록 구성되어 있는 결정 유닛;

상기 제1 오디오 수집 유닛에 의해 수집되는 제1 오디오 정보를 획득하도록 구성되어 있고, 상기 제2 오디오 수집 유닛에 의해 수집되는 제2 오디오 정보를 획득하도록 추가로 구성되어 있는 획득 유닛; 및

상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하도록 구성되어 있는 프로세싱 유닛 - 상기 제3 오디오 정보에 있어서, 상기 제1 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 제1 이득이고, 제3 오디오 정보에 있어서, 촬영 방향의 반대 방향으로부터 나오는 음 신호의 이득은 제2 이득이며, 상기 제1 이득은 상기 제2 이득보다 큼 - ; 및

상기 제3 오디오 정보를 출력하도록 구성되어 있는 출력 유닛

을 포함한다.

제3 관점의 제2 가능한 실행 방식에 따라,

상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛 모두는 전방향 오디오 수집 유닛이고,

상기 프로세싱 유닛은 구체적으로, 차동 어레이 처리 기법을 사용함으로써, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하도록 구성되어 있고,

여기서 상기 차동 어레이 처리 기법을 사용함으로써 상기 획득하는 과정이 수행된 후, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔은 카디오이드이며, 그리고

제3 관점의 제3 가능한 실행 방식에 따라, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛 모두는 전방향 오디오 수집 유닛이고, 상기 프로세싱 유닛은 구체적으로,

제1 처리 모드에서, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제4 오디오 정보를 획득하고;

제2 처리 모드에서, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제5 오디오 정보를 획득하고 - 제1 처리 모드에서, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔이 제1 빔이며, 제2 처리 모드에서, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔이 제2 빔이며, 상기 제1 빔 및 상기 제2 빔은 다른 방향을 가짐 - ; 그리고

사전설정된 가중 계수에 따라, 상기 제4 오디오 정보 및 상기 제5 오디오 정보를 합성하여 상기 제3 오디오 정보를 획득하도록 구성되어 있다.

제3 관점의 제4 가능한 실행 방식에 따라, 상기 제1 오디오 수집 유닛은 전방향 오디오 수집 유닛이고, 상기 제2 오디오 수집 유닛은 카디오이드 오디오 수집 유닛이며, 상기 카디오이드의 최댓값의 방향은 상기 촬영 방향의 반대 방향과 동일하며, 최솟값의 방향은 상기 촬영 방향과 동일하며,

상기 프로세싱 유닛은 구체적으로,

상기 제1 오디오 정보를 목표 신호로 사용하고 상기 제2 오디오 정보를 기준 잡음 신호로 사용하며, 상기 제1 오디오 정보 및 상기 제2 오디오 정보에 대해 잡음 억제 처리를 수행하여 제3 오디오 정보를 획득하도록 구성되어 있다.

제3 관점의 제5 가능한 실행 방식에 따라, 상기 제1 오디오 수집 유닛은 제1 카디오이드 오디오 수집 유닛이고, 상기 제2 오디오 수집 유닛은 제2 카디오이드 오디오 수집 유닛이며, 상기 제1 카디오이드의 최댓값의 방향은 상기 촬영 방향과 동일하고, 최솟값의 방향은 상기 촬영 방향의 반대 방향과 동일하며, 상기 제2 카디오이드의 최댓값의 방향은 상기 촬영 방향의 반대 방향과 동일하고, 최솟값의 방향은 상기 촬영 방향과 동일하며,

상기 프로세싱 유닛은 구체적으로,

본 출원의 제4 관점의 제1 가능한 실행 방식에 따라, 본 출원은 다른 오디오 정보 처리 장치를 제공하며, 상기 장치는 전자 기기에 적용되며, 상기 전자 기기는 적어도 하나의 전면 카메라 및 하나의 후면 카메라를 구비하며; 상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며; 상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,

상기 장치는,

상기 제1 카메라를 결정하도록 구성되어 있는 결정 유닛;

상기 제1 오디오 수집 유닛을 작동 가능하게 하도록 구성되어 있는 인에이블링 유닛;

상기 제2 오디오 수집 유닛을 작동 가능하지 않게 하도록 구성되어 있는 디스에이블링 유닛;

상기 제1 오디오 수집 유닛에 의해 수집된 제1 오디오 정보를 획득하도록 구성되어 있는 획득 유닛; 및

상기 제1 오디오 정보를 출력하도록 구성되어 있는 출력 유닛

을 포함한다.

본 출원의 제4 관점의 제1 가능한 실행 방식에 따라, 본 출원은 전자 기기를 제공하며, 상기 전자 기기는 적어도 하나의 전면 카메라 및 하나의 후면 카메라를 구비하며; 상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며; 상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 전자 기기는 제3 관점 및 제4 관점에 따른 오디오 정보 처리 장치를 더 포함한다.

본 출원의 제4 관점의 제1 가능한 실행 방식에 따라, 본 출원은 전자 기기를 제공하며, 상기 전자 기기는 적어도 하나의 전면 카메라 및 하나의 후면 카메라를 구비하며; 상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며; 상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 전자 기기는 제4 관점에 따른 오디오 정보 처리 장치를 더 포함한다.

본 출원에 개시된 오디오 정보 처리 방법 또는 장치에 따르면, 제1 카메라가 결정되고; 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛에 의해 수집되는 오디오 정보를 처리하여 제3 오디오 정보를 획득하며, 상기 제3 오디오 정보에 있어서, 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 큰 이득 값을 가지는 제1 이득이고, 촬영 방향의 반대 방향으로부터 나오는 음 신호의 이득은 작은 이득 값을 가지는 제2 이득이고, 이에 따라, 전자제품은 비디오 촬영 및 오디오 수집에 동시에 사용되며, 비디오 촬영 방향에서의 목표 음원의 음량은 증가할 수 있고, 비디오 촬영 방향의 반대 방향에서의 잡음 또는 간섭하는 음원의 음량은 감소할 수 있으며; 그러므로 동기적으로 출력되는 오디오 정보에서, 최종 비디오 이미지에서의 목표 음원의 음량은 비디오 이미지 외측에서의 잡음 또는 간섭하는 음원의 음량보다 높다.

본 출원의 실시예 또는 종래기술의 기술적 솔루션을 더 명확하게 설명하기 위해, 이하에서는 본 발명의 실시예를 설명하는 데 필요한 첨부된 도면에 대해 간략하게 설명한다. 당연히, 이하의 실시예의 첨부된 도면은 본 발명의 일부의 실시예에 지나지 않으며, 당업자라면 창조적 노력 없이 첨부된 도면으로부터 다른 도면을 도출해낼 수 있을 것이다.
도 1은 본 출원에 따른 오디오 정보 처리 방법의 실시예 1의 흐름도이다.
도 2는 본 출원에 따른 오디오 정보 처리 방법의 실시예 2 및 실시예 3에서의 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛의 빔 방향성에 대한 개략도이다.
도 3은 본 출원에 따른 오디오 정보 처리 방법의 실시예 2의 흐름도이다.
도 4는 본 출원에 따른 오디오 정보 처리 방법의 실시예 2에서 차동 어레이 처리 기법이 사용된 후 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔 방향성에 대한 개략도이다.
도 5는 본 출원에 따른 오디오 정보 처리 방법의 실시예 3의 흐름도이다.
도 6은 본 출원에 따른 오디오 정보 처리 방법의 실시예 3에서 제1 처리 모드가 사용된 후 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 제1 빔의 빔 방향성에 대한 개략도이다.
도 7은 본 출원에 따른 오디오 정보 처리 방법의 실시예 3에서 제2 처리 모드가 사용된 후 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 제2 빔의 빔 방향성에 대한 개략도이다.
도 8은 본 출원에 따른 오디오 정보 처리 방법의 실시예 4에서의 제1 오디오 수집 유닛의 제1 빔 방향성에 대한 개략도이다.
도 9는 본 출원에 따른 오디오 정보 처리 방법의 실시예 4에서의 제1 오디오 수집 유닛의 제2 빔 방향성에 대한 개략도이다.
도 10은 본 출원에 따른 오디오 정보 처리 방법의 실시예 4에서의 제2 오디오 수집 유닛의 빔 방향성에 대한 개략도이다.
도 11은 본 출원에 따른 오디오 정보 처리 방법의 실시예 4의 흐름도이다.
도 12는 본 출원에 따른 다른 오디오 정보 처리 방법의 실시예 1의 흐름도이다.
도 13은 본 출원에 따른 오디오 정보 처리 장치의 실시예 1의 흐름도이다.
도 14는 본 출원에 따른 다른 오디오 정보 처리 장치의 실시예 1의 구조도이다.
도 15는 본 출원에 따른 컴퓨팅 노드의 구조도이다.
도 16은 본 출원의 실시예에 따른 전자 기기의 개략적인 전면 구조도이다.
도 17은 본 출원의 실시예에 따른 전자 기기의 개략적인 후면 구조도이다.
도 18은 본 출원의 실시예에 따른 전자 기기의 개략적인 전면 구조도이다.
도 19는 본 출원의 실시예에 따른 전자 기기의 개략적인 후면 구조도이다.

이하에서는 본 출원의 실시예에 첨부된 도면을 참조하여 본 발명의 실시예의 기술적 솔루션에 대해 분명하게 설명한다. 당연히, 설명된 실시예는 본 발명의 모든 실시예가 아닌 일부에 지나지 않는다. 당업자가 창조적 노력 없이 본 발명의 실시예에 기초하여 획득하는 모든 다른 실시예는 본 발명의 보호 범위 내에 있게 된다.

본 출원의 전술한 목적, 특징, 및 이점을 더 분명하고 더 이해하기 쉽게 하기 위해, 이하에서는 첨부된 도면 및 특정한 실시예를 참조하여 본 출원을 더 상세히 설명한다.

본 출원의 오디오 정보 처리 방법은 전자 기기에 적용되며, 여기서 전자 기기는 적어도 하나의 전면 카메라(front-facing camera) 및 하나의 후면 카메라(rear-facing camera)를 구비하며; 상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 제1 카메라가 위치하는 한 측면 상에 적어도 하나의 제1 오디오 수집 유닛이 존재하고, 반대 측면 상에 적어도 하나의 제2 오디오 수집 유닛이 존재한다.

전자 기기는 이동전화, 태블릿 컴퓨터, 디지털 카메라, 디지털 비디오 레코더 등일 수 있다. 제1 카메라는 전면 카메라일 수도 있고 후면 카메라일 수도 있다. 오디오 수집 유닛은 마이크로폰일 수 있다. 본 출원의 전자 기기는 적어도 2개의 오디오 수집 유닛을 구비한다. 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며; 상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며, 상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성된다.

도 1은 본 출원에 따른 오디오 정보 처리 방법의 실시예 1의 흐름도이다. 도 1에 도시된 바와 같이, 상기 방법은 이하의 단계를 포함한다:

단계 101: 제1 카메라를 결정한다.

일반적으로 전자 기기의 카메라는 내내 시작된 상태에 있지 않다. 카메라를 사용하여 이미지를 촬영해야 할 때, 전자 기기의 카메라가 시작될 수 있다.

카메라가 시작되면, 카메라의 회로의 신호 변화에 따라, 시작된 상태에 있는 카메라가 전면 카메라인지 후면 카메라인지를 결정할 수 있다. 당연히, 전면 카메라 및 후면 카메라가 동시에 시작된 상태에 있을 수도 있다. 카메라의 상태를 나타내는 데 사용되는 버튼 역시 구체적으로 전자 기기에 구성될 수 있다는 것을 유의해야 한다. 사용자가 버튼의 동작을 수행한 후, 카메라가 시작된 상태에 있는 것으로 결정될 수 있다. 일부의 특별한 경우에 있어서는, 버튼의 동작을 수행한 후, 사용자는 카메라의 상태를 전환만 할 수 있고, 카메라를 물리적 레벨로 반드시 실제로 시작하지 않아도 된다는 것도 유의해야 한다.

전자 기기가 복수의 카메라를 구비하고 있을 때, 이 단계에서는 시작 상태에 있는 카메라가 제1 카메라인 것으로 결정될 수 있다는 것도 유의해야 한다.

예를 들어, 전자 기기는 전면 카메라 및 후면 카메라를 구비한다. 전면 카메라가 시작된 상태에 있으면, 이 단계에서는 전면 카메라가 제1 카메라가 제1 카메라이고, 상기 전자 기기의 전면 카메라가 위치하는 측면 상에 제1 오디오 수집 유닛이 있고, 상기 전자 기기의 후면 카메라가 위치하는 측면 상에 제2 오디오 수집 유닛이 있는 것으로 결정될 수 있다. 후면 카메라가 시작된 상태에 있으면, 이 단계에서는 후면 카메라가 제1 카메라가 제1 카메라이고, 상기 전자 기기의 후면 카메라가 위치하는 측면 상에 제1 오디오 수집 유닛이 있고, 상기 전면 카메라가 위치하는 측면 상에 제2 오디오 수집 유닛이 있는 것으로 결정될 수 있다.

전면 카메라 및 후면 카메라가 모두 시작된 상태에 있으면, 전자 기기의 모든 오디오 수집 유닛에 의해 실시간으로 수집되는 오디오 정보에 있어서, 본 출원의 오디오 정보 처리 방법은 전면 카메라를 제1 카메라로 사용함으로써 수행되어, 전면 카메라를 제1 카메라로 사용하는 한 편의 제3 오디오 정보를 획득할 수 있고, 한편, 본 출원의 오디오 정보 처리 방법은 후면 카메라를 제1 카메라로 사용함으로써 수행되어, 후면 카메라를 제1 카메라로 사용하는 한 편의 제3 오디오 정보를 획득할 수 있으며, 이러한 2편의 제3 오디오 정보는 동시에 출력된다. 전면 카메라가 제1 카메라로 사용될 때는, 전자 기기의 전면 카메라가 위치하는 측면 상에 제1 오디오 수집 유닛이 있고, 전자 기기의 후면 카메라가 위치하는 측면 상에 제2 오디오 수집 유닛이 있다. 후면 카메라가 제1 카메라로 사용될 때는, 전자 기기의 후면 카메라가 위치하는 측면 상에 제1 오디오 수집 유닛이 있고, 전자 기기의 전면 카메라가 위치하는 측면 상에 제2 오디오 수집 유닛이 있다.

단계 102: 제1 오디오 수집 유닛에 의해 수집되는 제1 오디오 정보를 획득한다.

제1 오디오 수집 유닛에 전원이 들어오고 적절하게 작동하면, 제1 오디오 수집 유닛에 의해 수집된 오디오 정보가 제1 오디오 정보이다.

단계 103: 제2 오디오 수집 유닛에 의해 수집되는 제2 오디오 정보를 획득한다.

제2 오디오 수집 유닛에 전원이 들어오고 적절하게 작동하면, 제2 오디오 수집 유닛에 의해 수집된 오디오 정보가 제2 오디오 정보이다.

단계 104: 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하고, 여기서 상기 제3 오디오 정보에 있어서, 상기 제1 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 제1 이득이고, 제3 오디오 정보에 있어서, 촬영 방향의 반대 방향으로부터 나오는 음 신호의 이득은 제2 이득이며, 상기 제1 이득은 상기 제2 이득보다 크다.

음 처리 기법을 사용함으로써, 상이한 방향으로부터의 오디오 정보를 상이하게 조정할 수 있으며, 이에 따라 조정된 오디오 정보는 상이한 방향에서 상이한 이득을 가진다. 처리된 후, 큰 이득이 있는 방향으로부터 수집된 오디오 정보는 높은 음량을 가지고, 처리된 후, 작은 이득이 있는 방향으로부터 수집된 오디오 정보는 낮은 음량을 가진다.

카메라가 전면 카메라이면, 카메라의 촬영 방향은 전자 기기의 전면이 마주하는 방향이다. 카메라가 후면 카메라이면, 카메라의 촬영 방향은 전자 기기의 후면이 마주하는 방향이다.

촬영을 위해 카메라를 사용할 때, 전자 기기가 수집해야 하는 사람의 음성과 같은 오디오 정보는 일반적으로 촬영 범위로부터 나온다. 그러므로 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 이득 값이 큰 제1 이득이 되도록 조정되는데, 이것은 촬영 범위로부터의 오디오 정보의 음량을 증가시킬 수 있어서, 말하는 사람의 음성의 음량이 더 높게 기록될 것으로 예상할 수 있다. 또한, 촬영 방향의 반대 방향에서 나오는 음 신호의 이득은 이득 값이 작은 제2 이득이 되도록 조정되는데, 이것은 비촬영 범위로부터 나오는 오디오 정보의 음량을 억제할 수 있어서, 배경에서의 잡음 또는 간섭하는 음원의 음량이 더 낮게 기록될 것으로 예상할 수 있다.

단계 105: 제3 오디오 정보를 출력한다.

제3 오디오 정보를 출력하는 것은 이 제3 오디오 정보가 저장을 위해 비디오 파일로 출력되는 것일 수 있으며, 여기서 비디오 파일은 전자 기기에 의해 기록되며; 또한 제3 오디오 정보가 직접 실시간 재생을 위해 전자 기기와 통신하는 전자 기기에 직접적으로 출력되고 전송되는 것일 수도 있다.

결론적으로, 본 실시예의 방법에 따르면, 제1 카메라가 결정되고; 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛에 의해 수집된 오디오 정보를 처리하여 제3 오디오 정보를 획득하고, 여기서 제3 오디오 정보에 있어서, 제1 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 이득 값이 큰 제1 이득이고, 촬영 방향의 반대 방향으로부터 나오는 음 신호의 이득은 이득 값이 작은 제2 이득이며, 이에 따라 전자 기기를 사용하여 비디오 촬영 및 오디오 수집을 동시에 할 때, 비디오 촬영 방향에서의 음원의 음량이 증가할 수 있고, 비디오 촬영 방향의 반대 방향에서의 잡음 또는 간섭하는 음원의 음량은 감소할 수 있으며; 그러므로 동기적으로 출력되는 오디오 정보에서, 최종 비디오 이미지에서의 목표 음원의 음량은 비디오 이미지 외측에서의 잡음 또는 간섭하는 음원의 음량보다 높다.

이하에서는 오디오 수집 유닛의 물리적 속성 및 오디오 수집 유닛이 전자 기기에 설치되는 방향을 참조하여 본 출원의 방법에 대해 설명한다.

도 2는 본 출원에 따른 오디오 정보 처리 방법의 실시예 2 및 실시예 3에서의 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛의 빔 방향성에 대한 개략도이다. 빔 방향성의 개략도에서, 좌표 축이 없는 폐곡선을 빔이라 한다. 빔 상의 한 점과 원점 간의 거리는 그 한 점과 원점의 연결 선의 방향에서 음의 이득 값을 나타내고, 이 이득 값은 오디오 수집 유닛에 의해 픽업된다.

도 2에서, 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛 모두는 전방향 오디오 수집 유닛(omnidirectional audio collecting unit)이다. 소위 "전방향"이란 모든 방향에서 오디오 정보의 픽업된 이득이 같다는 것을 말한다.

도 3은 본 출원에 따른 오디오 정보 처리 방법의 실시예 2의 흐름도이다. 도 3에 도시된 바와 같이, 방법은 이하의 단계를 포함한다:

단계 301: 시작된 상태에 있는 제1 카메라를 결정한다.

단계 302: 제1 오디오 수집 유닛에 의해 수집되는 제1 오디오 정보를 획득한다.

단계 303: 제2 오디오 수집 유닛에 의해 수집되는 제2 오디오 정보를 획득한다.

단계 304: 차동 어레이 처리 기법을 사용함으로써, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득한다.

차동 어레이 처리 기법을 사용한 후, 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔은 카디오이드(cardioid)이며, 상기 카디오이드의 최댓값의 방향은 상기 촬영 방향과 동일하며, 최솟값의 방향은 상기 촬영 방향의 반대 방향과 동일하다.

상이한 어레이 처리에서는, 상이하게 구성된 각에서의 응답 및 마이크로폰들 간의 위치에 따라 차동 빔포머(differenctial beamformer)의 가중 계수를 설계한 다음, 그 설계된 가중 계수를 저장해야 한다.

N은 마이크로폰에 포함되어 있는 마이크로폰의 수이고, 원리적으로, M개의 각에서의 응답의 정도는 구성될 수 있으며, 여기서 M≤N이고, M은 양의 정수이고; i번째 각은 θi이고; 그리고 코사인 함수의 주기성에 따라, θi는 임의의 각도일 수 있다. i번째 각도에서의 응답은 βi(i=1,2, ..., M)이고, 차동 빔포밍 가중 계수를 설계하는 방법을 사용하여 가중 계수를 계산하는 공식은 다음과 같다:

h(ω)=D-1(ω,θ)β

스티어링 어레이(steering away)의 공식 D(ω,θ)은 다음과 같다:

,

응답 행렬의 공식 β는 다음과 같다:

공식에서 어깨 글자 -1은 역 연산을 나타내고, 어깨 글자 T는 변환 전치 연산을 나타낸다.

이고, 여기서

이며, c는 음속이고 일반적으로 342m/s 또는 340m/s일 수 있으며;

는 k번째 마이크로폰과 어레이의 구성된 원점 간의 거리이다. 일반적으로, 어레이의 원점은 어레이의 기하학적 중심이고, 어레이 내의 마이크로폰(예를 들어, 제1 마이크로폰)의 위치는 원점으로 사용될 수도 있다.

마이크로폰에 포함되어 있는 마이크로폰의 수가 2일 때, 차동 빔포밍 가중 계수의 설계에서, Z 축의 0°방향이 촬영 방향으로 사용되면, 즉, 최대 응답 포인트이면, 응답은 1이고, Z 축의 180°방향이 촬영 방향으로 사용되면, 즉, 제로 포인트이면, 응답은 0이다. 이 경우, 스티어링 어레이는 다음과 같이 되고,

응답 행렬 β는 다음과 같이 된다: β=[1 0]. 제1 오디오 정보 및 제2 오디오 정보를 수집한 후, 제1 오디오 정보 및 제2 오디오 정보는 주파수 도메인으로 변환된다. 주파수 도메인으로의 변환 후의 제1 오디오가 X₁(ω)이고, 주파수 도메인으로의 변환 후의 제2 오디오가 X₂(ω)라 하면, X(ω)=[X₁(ω)X₂(ω)]^T이며; 차동 어레이 처리 후, 주파수 도메인에서의 제3 오디오 Y(k)가 획득되며, 여기서 Y(ω)=h^T(ω)X(ω)이고, 시간 도메인 내의 제3 오디오는 시간-주파수 변환 후에 획득된다.

도 4는 본 출원에 따른 오디오 정보 처리 방법의 실시예 2에서 차동 어레이 처리 기법이 사용된 후 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔 방향성에 대한 개략도이다.

도 4에서, Z 축의 0°방향은 촬영 방향이고, Z 축의 180°방향은 촬영 방향의 반대 방향이다. 카디오이드의 최댓값의 방향은 정확하게 Z 축의 0°방향이고, 최솟값의 방향은 Z 축의 18 0°방향임을 알 수 있다.

차동 어레이 처리 기법은 종래기술의 오디오 수집 유닛의 빔 방향성을 조정하는 방법이고, 이에 대해서는 여기서 반복 설명하지 않는다.

단계 305: 제3 오디오 정보를 출력한다.

결론적으로, 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛 모두가 전방향 오디오 수집 유닛일 때, 본 실시예에서는 제1 오디오 정보 및 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 특정한 방법을 제공한다.

도 5는 본 출원에 따른 오디오 정보 처리 방법의 실시예 3의 흐름도이다. 도 5에 도시된 바와 같이, 상기 방법은 이하의 단계를 포함할 수 있다:

단계 501: 시작 상태에 있는 제1 카메라를 결정한다.

단계 502: 제1 오디오 수집 유닛에 의해 수집된 오디오 정보를 획득한다.

단계 503: 제2 오디오 수집 유닛에 의해 수집된 오디오 정보를 획득한다.

단계 504: 제1 처리 모드에서, 제1 오디오 정보 및 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득한다.

단계 505: 제2 처리 모드에서, 제1 오디오 정보 및 제2 오디오 정보를 처리하여 제4 오디오 정보를 획득한다.

제1 처리 모드에서, 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔은 제1 빔이고, 제2 처리 모드에서, 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔은 제2 빔이며, 제1 빔 및 제2 빔은 상이한 방향을 가진다.

도 6은 본 출원에 따른 오디오 정보 처리 방법의 실시예 3에서 제1 처리 모드가 사용된 후 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 제1 빔의 빔 방향성에 대한 개략도이다.

본 실시예에서, 음원의 방향은 여전히 Z 축의 0°방향이다. 도 6에서, 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 제1 빔의 빔 방향은 여전히 카디오이드이다. 그렇지만, 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛이 전자 기기에 설치되는 위치로 인해, 카디오이드의 최댓값의 방향은 음원의 방향을 직접적으로 가리킬 수 없지만, 음원의 방향을 가지는 협각(included)을 가진다. 도 6에서, 협각은 30°이다. 당연히, 실제의 애플리케이션에서는, 협각의 각도는 30°에 제한되지 않으며, 다른 각일 수도 있다.

도 7은 본 출원에 따른 오디오 정보 처리 방법의 실시예 3에서 제2 처리 모드가 사용된 후 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 제2 빔의 빔 방향성에 대한 개략도이다.

도 7에서 제2 빔의 빔 방향성은 수퍼 카디오이드에 가깝다. 제2 최댓값의 방향과 음원의 방향 간의 협각도 또한 30°이며, 이것은 제1 빔의 최댓값의 방향과 음원의 방향 간의 협각과 동일하다.

단계 506: 사전설정된 가중 계수를 사용함으로써, 제4 오디오 정보 및 제5 오디오 정보를 합성하여 제3 오디오 정보를 획득한다.

제3 오디오 정보는 이하의 공식을 사용하여 합성될 수 있다:

y(n)은 합성된 제3 오디오 정보를 나타내고; DMA_i(n)은 i번째 빔이 처리를 위해 채택된 후에 획득된 오디오 정보를 나타내며; W(i)는 i번째 빔이 처리된 후에 획득된 오디오 정보의 사전설정된 가중 계수를 나타내며; N은 채택된 빔의 수를 나타내며; N은 입력된 원래의 오디오 신호의 샘플링 포인트를 나타낸다.

본 실시예에서는, 2개의 프로세싱 모드를 사용하여 오디오 정보를 처리하고 형성된 빔의 수는 2이며, 그러므로 N=2이다. 사전설정된 가중 계수는 실제의 상황에 따라 설정될 수 있으며, 도 6 및 도 7에서의 빔 방향성에 따라, 제4 오디오 정보 및 제5 오디오 정보 모두의 사전설정된 가중 계수는 본 실시예에서 0.5일 수 있다. 즉, 제4 오디오 정보 및 제5 오디오 정보는 이하의 공식을 사용하여 합성되어 제3 오디오 정보를 획득한다.

단계 507: 제3 오디오 정보를 출력한다.

본 실시예에서, 제1 빔, 제2 빔, 및 사전설정된 가중 계수에 대한 설명은 모드 예시임을 유의해야 한다. 실제의 애플리케이션에서는, 복수의 처리 모드가 사용될 수 있으며, 각각의 처리 모드에서의 빔 방향성 역시 임의가 될 수 있으며, 최종적으로 합성된 제3 오디오 정보에서 음원의 방향에서의 이득이 반대 방향에서의 이득보다 크는 한, 사전설정된 가중 계수 역시 임의일 수 있다.

결론적으로, 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛 모두가 전방향 오디오 수집 유닛일 때, 본 실시예에서는 제1 오디오 정보 및 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 다른 특정한 방법을 제공한다.

도 8은 본 출원에 따른 오디오 정보 처리 방법의 실시예 4에서의 제1 오디오 수집 유닛의 제1 빔 방향성에 대한 개략도이다.

도 9는 본 출원에 따른 오디오 정보 처리 방법의 실시예 4에서의 제1 오디오 수집 유닛의 제2 빔 방향성에 대한 개략도이다.

도 10은 본 출원에 따른 오디오 정보 처리 방법의 실시예 4에서의 제2 오디오 수집 유닛의 빔 방향성에 대한 개략도이다.

도 8 내지 도 10에 도시된 바와 같이, 제1 오디오 수집 유닛은 전방향 오디오 수집 유닛 또는 카디오이드 오디오 수집 유닛이며, 제2 오디오 수집 유닛은 카디오이드 오디오 수집 유닛이다.

본 실시예에서, 제1 오디오 수집 유닛의 카디오이드의 최댓값의 방향은 촬영 방향과 동일하고, 최솟값의 방향은 촬영 방향의 반대 방향과 동일하며; 제2 오디오 수집 유닛의 카디오이드의 최댓값의 방향은 촬영 방향의 반대 방향과 동일하고, 최솟값의 방향은 촬영 방향과 동일하다.

도 11은 본 출원에 따른 오디오 정보 처리 방법의 실시예 4의 흐름도이다. 도 11에 도시된 바와 같이, 방법은 이하의 단계를 포함할 수 있다:

단계 1101: 시작된 상태에 있는 제1 카메라를 결정한다.

단계 1102: 제1 오디오 수집 유닛에 의해 수집되는 제1 오디오 정보를 획득한다.

단계 1103: 제2 오디오 수집 유닛에 의해 수집되는 제2 오디오 정보를 획득한다.

단계 1104: 제1 오디오 정보를 목표 신호로 사용하고 제2 오디오 정보를 기준 잡음 신호로 사용하며, 상기 제1 오디오 정보 및 상기 제2 오디오 정보에 대해 잡음 억제 처리를 수행하여 제3 오디오 정보를 획득한다.

잡음 억제 처리는 스펙트럼 감산에 기초한 잡음 억제 방법일 수 있다. 주파수 도메인으로 변환된 후, 기준 잡음 신호로서 사용되는 제2 오디오 정보는 스펙트럼 감산에서 잡음 추정 스펙트럼으로서 직접적으로 사용될 수 있거나; 또는 주파수 도메인으로 변환된 후, 기준 잡음 신호를 사전설정된 계수로 승산한 다음, 적(product)을 스펙트럼 감산에서 잡음 추정 스펙트럼으로 사용한다. 주파수 도메인으로 변환된 후, 목표 잡음 신호로서 사용되는 제1 오디오 정보는 잡음 추정 스펙트럼에 의해 감산되어 잡음-억제 신호 스펙트럼을 획득한 다음, 이 잡음-억제 신호 스펙트럼이 시간 도메인으로 변환된 후, 제3 오디오 정보가 획득된다.

잡음 억제 처리는 또한 적응형 필터링 알고리즘에 기초한 잡음 억제 방법일 수 있다. 기준 잡음 신호는 적응형 필터에서 잡음 기준 채널로 사용되고, 목표 신호의 잡음 조성(noise composition)은 적응형 필터링 방법을 사용함으로써 필터링되어, 제3 오디오 정보를 획득한다.

잡음 억제 처리는 추가로 다음과 같을 수 있다. 주파수 도메인으로 변환된 후, 기준 잡음 신호로서 사용되는 제2 오디오 정보를 잡음 스펙트럼 추정 동안 최소 통계치로서 사용한다. 통계치에 기초한 잡음 억제 방법을 사용함으로써 상이한 주파수에 대한 잡음 억제 이득 인자를 계산하고; 주파수 도메인으로 변환된 후, 목표 신호로서 사용되는 제1 오디오 정보를 잡음 억제 이득 인자로 승산하여 잡음-억제 주파수 스펙트럼을 획득한 다음, 이 잡음-억제 주파수 스펙트럼이 시간 도메인으로 변환된 후, 제3 오디오 정보가 획득된다.

단계 1105: 제3 오디오 정보를 출력한다.

본 실시예에서는, 제2 오디오 수집 유닛 자체가 카디오이드이고, 이 카디오이드에서, 최댓값의 방향은 촬영 방향의 반대 방향과 동일하고; 그러므로 제2 오디오 수집 유닛에 있어서, 촬영 방향의 반대 방향으로부터 나오는 오디오 정보의 이득 값이 가장 크다. 환언하면, 제2 오디오 수집 유닛은 잡음에 대해 매우 높은 감도를 가진다. 그러므로 제1 오디오 정보를 목표 신호로 사용하고 제2 오디오 정보를 기준 잡음 신호로 사용하며, 제1 오디오 정보 및 제2 오디오 정보에 대해 잡음 억제 처리를 수행하여 제3 오디오 정보를 획득하며, 이에 따라 동기적으로 출력되는 오디오 정보에서, 최종 비디오 이미지에서의 목표 음원의 음량은 비디오 이미지 외측에서의 잡음 또는 간섭하는 음원의 음량보다 높다.

상이한 비디오 이미지에 대응하는 오디오 정보의 음량을 비디오 이미지의 영역과 일치시키기 위해, 본 출원의 전술한 실시예에서는, 제3 오디오 정보를 출력하기 전에, 방법은 다음과 같은 단계를 더 포함할 수 있다:

전체 비디오 이미지에서 제1 카메라에 의해 촬영된 비디오 이미지의 제1 비율 결정하고; 그리고

상기 제1 비율에 따라 제3 오디오 정보의 음량을 조정하여, 전체 음량에서 제3 오디오 정보의 음량의 비율을 제1 비율과 같게 한다.

전체 음량은 전체 비디오 이미지가 재생될 때의 음량이다.

전술한 단계들을 수행함으로써, 이미지 크기가 작은 비디오 이미지에 대응하는 오디오 신호의 음량은 낮아질 수 있으며, 이미지 크기가 큰 비디오 이미지에 대응하는 오디오 신호의 음량은 높아질 수 있다.

본 발명은 다른 오디오 정보 처리 방법을 추가로 제공한다. 상기 방법은 전자 기기에 적용되며, 상기 전자 기기는 적어도 전면 카메라 및 후면 카메라를 가지며, 상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 제1 카메라가 위치하는 측면 상에 적어도 하나의 제1 오디오 수집 유닛이 존재하고, 다른 쪽의 측면 상에 적어도 하나의 제2 오디오 수집 유닛이 존재하며; 상기 제1 오디오 수집 유닛의 빔은 카디오이드이며, 상기 카디오이드의 최댓값의 방향은 촬영 방향과 동일하며, 최솟값의 방향은 촬영 방향의 반대 방향과 동일하다.

도 12는 본 출원에 따른 다른 오디오 정보 처리 방법의 실시예 1의 흐름도이다. 도 12에 도시된 바와 같이, 상기 방법은 이하의 단계를 포함할 수 있다:

단계 1201: 시작된 상태에 있는 제1 카메라를 결정한다.

단계 1202: 제1 오디오 수집 유닛을 작동 가능하게 한다.

단계 1203: 제2 오디오 수집 유닛을 작동 가능하지 않게 한다.

단계 1204: 제1 오디오 수집 유닛에 의해 수집된 제1 오디오 정보를 획득한다.

단계 1205: 제1 오디오 정보를 출력한다.

본 실시예에서는, 제1 오디오 수집 유닛의 빔의 최댓값의 방향이 촬영 방향과 같기 때문에, 제1 오디오 수집 유닛 자체에 의해 직접적으로 획득되는 오디오 정보에 있어서, 촬영 방향으로부터 나오는 오디오 정보의 이득은 촬영 방향의 반대 방향으로부터 나오는 오디오 정보의 이득보다 크다. 그러므로 제1 오디오 수집 유닛은 오디오 정보를 수집하는 데 직접적으로 사용될 수 있고, 제2 오디오 수집 유닛은 작동 가능하지 않게 되며, 이에 따라 제2 오디오 수집 유닛이 반대 방향으로부터 잡음을 수집하는 것이 방지될 수 있다. 결국, 동기적으로 출력되는 오디오 정보에서, 형성된 비디오 이미지에서의 목표 음원의 음량 역시 비디오 이미지 외측에서의 잡음 또는 간섭하는 음원의 음량보다 높게 될 수 있다.

본 출원은 오디오 정보 처리 장치를 추가로 제공한다. 장치는 전자 기기에 적용되며서, 상기 전자 기기는 적어도 하나의 전면 카메라 및 하나의 후면 카메라를 구비하며; 상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 제1 카메라가 위치하는 측면 상에 적어도 하나의 제1 오디오 수집 유닛이 존재하고, 다른 쪽 측면 상에 적어도 하나의 제2 오디오 수집 유닛이 존재한다.

전자 기기는 이동전화, 태블릿 컴퓨터, 디지털 카메라, 디지털 비디오 레코더와 같은 전자 기기일 수 있다. 카메라는 전면 카메라일 수도 있고 후면 카메라일 수도 있다. 오디오 수집 유닛은 마이크로폰일 수 있다. 본 출원의 전자 기기는 적어도 2개의 오디오 수집 유닛을 구비한다. 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛은 전자 기기의 양측면 상에 개별적으로 위치할 수 있다. 전면 카메라가 제1 카메라일 때, 상기 전자 기기의 전면 카메라가 위치하는 측면 상에 제1 오디오 수집 유닛이 있고, 상기 전자 기기의 후면 카메라가 위치하는 측면 상에 제2 오디오 수집 유닛이 있다. 제1 카메라가 후면 카메라일 때, 상기 전자 기기의 후면 카메라가 위치하는 측면 상에 제1 오디오 수집 유닛이 있고, 상기 전자 기기의 전면 카메라가 위치하는 측면 상에 제2 오디오 수집 유닛이 있다.

도 13은 본 출원에 따른 오디오 정보 처리 장치의 실시예 1의 흐름도이다. 도 13에 도시된 바와 같이, 상기 장치는 결정 유닛(1301), 획득 유닛(1302), 프로세싱 유닛(1303), 및 출력 유닛(1304)을 포함할 수 있다.

결정 유닛(1301)은 시작된 상태에 있는 제1 카메라를 결정하도록 구성되어 있다.

일반적으로, 전자 기기의 카메라는 내내 시작된 상태에 있지 않다. 카메라를 사용하여 이미지를 촬영해야 할 때, 전자 기기의 카메라가 시작될 수 있다.

카메라가 시작되면, 카메라의 회로의 신호 변화에 따라, 시작된 상태에 있는 카메라가 전면 카메라인지 후면 카메라인지를 결정할 수 있다. 당연히, 전면 카메라 및 후면 카메라가 동시에 시작된 상태에 있을 수도 있다.

카메라의 상태를 나타내는 데 사용되는 버튼 역시 구체적으로 전자 기기에 구성될 수 있다는 것을 유의해야 한다. 사용자가 버튼의 동작을 수행한 후, 카메라가 시작된 상태에 있는 것으로 결정될 수 있다. 일부의 특별한 경우에 있어서는, 버튼의 동작을 수행한 후, 사용자는 카메라의 상태를 전환만 할 수 있고, 카메라를 물리적 레벨로 반드시 실제로 시작하지 않아도 된다는 것도 유의해야 한다.

전자 기기가 복수의 카메라를 구비하고 있을 때, 유닛은 시작 상태에 있는 카메라가 제1 카메라인 것으로 결정할 수 있다는 것도 유의해야 한다.

예를 들어, 전자 기기는 전면 카메라 및 후면 카메라를 구비한다. 전면 카메라가 시작된 상태에 있으면, 유닛은 전면 카메라가 제1 카메라가 제1 카메라이고, 상기 전자 기기의 전면 카메라가 위치하는 측면 상에 제1 오디오 수집 유닛이 있고, 상기 전자 기기의 후면 카메라가 위치하는 측면 상에 제2 오디오 수집 유닛이 있는 것으로 결정할 수 있다. 후면 카메라가 시작된 상태에 있으면, 유닛은 후면 카메라가 제1 카메라가 제1 카메라이고, 상기 전자 기기의 후면 카메라가 위치하는 측면 상에 제1 오디오 수집 유닛이 있고, 상기 전면 카메라가 위치하는 측면 상에 제2 오디오 수집 유닛이 있는 것으로 결정할 수 있다.

획득 유닛(1302)은 제1 오디오 수집 유닛에 의해 수집되는 제1 오디오 정보를 획득하도록 구성되어 있고, 그리고

제2 오디오 수집 유닛에 의해 수집되는 제2 오디오 정보를 획득하도록 구성되어 있다.

제1 오디오 수집 유닛에 전원이 들어오고 적절하게 작동하면, 제1 오디오 수집 유닛에 의해 수집될 수 있는 오디오 정보가 제1 오디오 정보이다.

프로세싱 유닛(1303)은 제1 오디오 정보 및 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하도록 구성되어 있으며, 여기서 제3 오디오 정보에 있어서, 제1 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 제1 이득이고, 제3 오디오 정보에 있어서, 촬영 방향의 반대 방향으로부터 나오는 음 신호의 이득은 제2 이득이며, 상기 제1 이득은 상기 제2 이득보다 크다.

출력 유닛(1304)은 제3 오디오 정보를 출력하도록 구성되어 있다.

결론적으로, 본 실시예의 장치에 따르면, 제1 카메라가 결정되고; 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛에 의해 수집된 오디오 정보를 처리하여 제3 오디오 정보를 획득하고, 여기서 제3 오디오 정보에 있어서, 제1 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 이득 값이 큰 제1 이득이고, 촬영 방향의 반대 방향으로부터 나오는 음 신호의 이득은 이득 값이 작은 제2 이득이며, 이에 따라 전자 기기를 사용하여 비디오 촬영 및 오디오 수집을 동시에 할 때, 비디오 촬영 방향에서의 목표 음원의 음량이 증가할 수 있고, 비디오 촬영 방향의 반대 방향에서의 잡음 또는 간섭하는 음원의 음량은 감소할 수 있으며; 그러므로 동기적으로 출력되는 오디오 정보에서, 최종 비디오 이미지에서의 목표 음원의 음량은 비디오 이미지 외측에서의 잡음 또는 간섭하는 음원의 음량보다 높다.

실제의 애플리케이션에서, 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛 모두가 전방향 오디오 수집 유닛일 때, 프로세싱 유닛(1303)은 구체적으로:

차동 어레이 처리 기법을 사용함으로써, 제1 오디오 정보 및 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하도록 구성되어 있다.

상기 차동 어레이 처리 기법이 사용된 후, 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔은 카디오이드이며, 그리고

상기 카디오이드의 최댓값의 방향은 촬영 방향과 동일하며, 최솟값의 방향은 촬영 방향의 반대 방향과 동일하다.

사전설정된 가중 계수를 사용함으로써, 상기 제4 오디오 정보 및 상기 제5 오디오 정보를 합성하여 상기 제3 오디오 정보를 획득하도록 추가로 구성되어 있다.

실제의 애플리케이션에서, 제1 오디오 수집 유닛이 전방향 오디오 수집 유닛이고, 제2 오디오 수집 유닛이 카디오이드 오디오 수집 유닛이면, 여기서 카디오이드의 최댓값의 방향은 촬영 방향의 반대 방향과 동일하고, 최솟값의 방향은 촬영 방향과 동일하며, 프로세싱 유닛(1303)은 구체적으로:

제1 오디오 정보를 목표 신호로 사용하고 제2 오디오 정보를 기준 잡음 신호로 사용하며, 제1 오디오 정보 및 제2 오디오 정보에 대해 잡음 억제 처리를 수행하여 제3 오디오 정보를 획득하도록 구성되어 있다.

실제의 애플리케이션에서, 제1 오디오 수집 유닛이 카디오이드 오디오 수집 유닛이고, 제2 오디오 수집 유닛이 제2 오디오 수집 유닛이면, 여기서 제1 카디오이드의 최댓값의 방향은 촬영 방향과 동일하고, 최솟값의 방향은 촬영 방향의 반대 방향과 동일하며, 제2 카디오이드의 최댓값의 방향은 촬영 방향의 반대 방향과 동일하고, 최솟값의 방향은 촬영 방향과 동일하며, 프로세싱 유닛(1303)은 구체적으로:

실제의 애플리케이션에서, 결정 유닛(1301)은:

제3 오디오 정보가 출력되기 전에, 전체 비디오 이미지에서 제1 카메라에 의해 촬영된 비디오 이미지의 제1 비율을 결정하도록 추가로 구성되어 있다.

프로세싱 유닛(1303)은 제1 비율에 따라 제3 오디오 정보의 음량을 조정하여, 전체 음량에서 제3 오디오 정보의 음량의 비율을 제1 비율과 동일하게 하도록 추가로 구성되어 있다.

전체 음량은 전체 비디오 이미지가 재생될 때의 음량이다.

본 출원은 다른 오디오 정보 처리 장치를 추가로 제공한다. 장치는 전자 기기에 적용되며, 여기서 전자 기기는 적어도 하나의 전면 카메라 및 하나의 후면 카메라를 구비하며; 상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 제1 카메라가 위치하는 측면 상에 적어도 하나의 제1 오디오 수집 유닛이 존재하고, 다른 쪽 측면 상에 적어도 하나의 제2 오디오 수집 유닛이 존재하며; 제1 오디오 수집 유닛의 빔은 카디오이드이고; 카디오이드의 최댓값의 방향은 촬영 방향과 동일하고, 최솟값의 방향은 촬영 방향의 반대 방향과 동일하다.

도 14는 본 출원에 따른 다른 오디오 정보 처리 장치의 실시예 1의 구조도이다. 도 14에 도시된 바와 같이, 장치는:

제1 카메라를 결정하도록 구성되어 있는 결정 유닛(1401);

상기 제1 오디오 수집 유닛을 작동 가능하게 하도록 구성되어 있는 인에이블링 유닛(1402);

상기 제2 오디오 수집 유닛을 작동 가능하지 않게 하도록 구성되어 있는 디스에이블링 유닛(1403);

상기 제1 오디오 수집 유닛에 의해 수집된 제1 오디오 정보를 획득하도록 구성되어 있는 획득 유닛(1044); 및

상기 제1 오디오 정보를 출력하도록 구성되어 있는 출력 유닛(1405)

을 포함할 수 있다.

또한, 본 발명의 실시예는 컴퓨팅 노드를 추가로 제공하며, 상기 컴퓨팅 노드는 컴퓨팅 능력이 있는 호스트 서버, 퍼스널 컴퓨터(PC), 포터블 컴퓨터 또는 단말 등일 수 있다. 본 출원의 특정한 실시예는 컴퓨팅 노드의 특정한 실시예에 대해 제한을 두지 않는다.

도 15는 본 출원에 따른 컴퓨팅 노드의 구조도이다. 도 15에 도시된 바와 같이, 컴퓨터 노드(700)는:

프로세서(710), 통신 인터페이스(720), 메모리(730), 및 버스(740)

를 포함한다.

프로세서(710), 통신 인터페이스(720), 메모리(730)는 버스(740)를 사용하여 상호 통신을 수행한다.

프로세서(710)는 프로그램(732)을 실행하도록 구성되어 있다.

구체적으로, 프로그램(732)은 프로그램 코드를 포함할 수 있으며, 프로그램 코드는 컴퓨터 연산 명령을 포함한다.

프로세서(710)는 중앙처리장치(CPU)일 수 있거나, 또는 주문형 집적회로(ASIC) 또는 본 출원의 본 실시예를 실행하도록 구성된 하나 이상의 집적회로일 수 있다.

메모리(730)는 프로그램(732)을 저장하도록 구성되어 있다. 메모리(730)는 고속 RAM 메모리를 포함할 수 있고, 비휘발성 메모리, 예를 들어, 적어도 하나의 디스크 메모리를 포함할 수도 있다.

프로그램(732)에서의 모듈의 특정한 실행에 대해서는, 도 12 및 도 13에 도시된 실시예에서의 대응하는 모듈 또는 유닛을 참조하면 된다. 상세한 설명에 대해서는 여기서 반복 설명하지 않는다.

본 출원은 전자 기기를 추가로 제공한다. 전자 기기는 이동전화와 같은 단말일 수 있다. 도 16은 본 출원에 따른 전자 기기 실시예의 개략적인 전면 구조도이다. 도 17은 본 출원에 따른 실시예에 따른 전자 기기 실시예의 개략적인 후면 구조도이다. 도 16 및 도 17에 도시된 바와 같이, 전자 기기(1601)는 적어도 전면 카메라(1602) 및 후면 카메라(1604)를 구비하며; 상기 전면 카메라(1602) 및 상기 후면 카메라(1604)로부터, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라(1602)가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛(1603)이 존재하고, 상기 후면 카메라(1604)가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛(1605)이 존재하며; 상기 전면 카메라(1602)가 제1 카메라일 때, 상기 전면 카메라(1602)가 위치하는 측면 상의 오디오 수집 유닛(1603)은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라(1604)가 위치하는 측면 상의 오디오 수집 유닛(1605)은 제2 오디오 수집 유닛으로서 구성되며, 상기 후면 카메라(1604)가 제1 카메라일 때, 상기 후면 카메라(1604)가 위치하는 측면 상의 오디오 수집 유닛(1605)은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라(1602)가 위치하는 측면 상의 오디오 수집 유닛(1603)은 제2 오디오 수집 유닛으로서 구성되며, 상기 전자 기기는, 도 13에 도시된 오디오 정보 처리 장치(도 16 및 도 17에는 도시되지 않음)를 더 포함한다.

결론적으로, 본 실시예의 전자 기기에 따르면, 제1 카메라가 결정되고; 제1 오디오 수집 유닛 및 제2 오디오 수집 유닛에 의해 수집된 오디오 정보를 처리하여 제3 오디오 정보를 획득하고, 여기서 제3 오디오 정보에 있어서, 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 이득 값이 큰 제1 이득이고, 촬영 방향의 반대 방향으로부터 나오는 음 신호의 이득은 이득 값이 작은 제2 이득이며, 이에 따라 전자 기기를 사용하여 비디오 촬영 및 오디오 수집을 동시에 할 때, 비디오 촬영 방향에서의 목표 음원의 음량이 증가할 수 있고, 비디오 촬영 방향의 반대 방향에서의 잡음 또는 간섭하는 음원의 음량은 감소할 수 있으며; 그러므로 동기적으로 출력되는 오디오 정보에서, 최종 비디오 이미지에서의 목표 음원의 음량은 비디오 이미지 외측에서의 잡음 또는 간섭하는 음원의 음량보다 높다.

본 출원은 다른 전자 기기를 추가로 제공한다. 전자 기기는 이동전화와 같은 단말일 수 있다. 도 18은 본 출원의 실시예에 따른 전자 기기의 개략적인 전면 구조도이다. 도 19는 본 출원의 실시예에 따른 전자 기기의 개략적인 후면 구조도이다. 도 18 및 도 19에 도시된 바와 같이, 전자 기기(1801)는 적어도 전면 카메라(1802) 및 후면 카메라(1804)를 구비하며; 상기 전면 카메라(1802) 및 상기 후면 카메라(1804)로부터, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라(1802)가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛(1803)이 존재하고, 상기 후면 카메라(1804)가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛(1805)이 존재하며; 상기 전면 카메라(1802)가 제1 카메라일 때, 상기 전면 카메라(1802)가 위치하는 측면 상의 오디오 수집 유닛(1803)은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라(1804)가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛(1805)으로서 구성되며, 상기 후면 카메라(1804)가 제1 카메라일 때, 상기 후면 카메라(1804)가 위치하는 측면 상의 오디오 수집 유닛(1805)은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라(1802)가 위치하는 측면 상의 오디오 수집 유닛(1803)은 제2 오디오 수집 유닛으로서 구성되며, 상기 전자 기기는 도 14에 도시된 오디오 정보 처리 장치(도 18 및 도 19에는 도시되지 않음)를 더 포함한다.

제1 오디오 수집 유닛의 빔은 카디오이드이고, 카디오이드의 최댓값의 방향은 촬영 방향과 동일하고, 최솟값의 방향은 촬영 방향의 반대 방향과 동일하다.

본 명세서에서 제1 및 제2와 같은 용어는 단지 하나의 엔티티 또는 동작을 다른 것과 구별하기 위해 사용된 것이지 이러한 실체 간에 또는 동작 간에 어떠한 실제의 관계 또는 순서가 존재한다는 것을 반드시 필요로 하거나 의미하는 것은 아니다. 또한, "구비하다", "포함하다" 또는 이의 임의의 다른 변형과 같은 용어는 배제 없는 포함을 망라하도록 의도된 것이며, 이에 따라, 요소의 목록을 포함하는 프로세스, 방법, 물품, 또는 장치는 이러한 요소들을 포함할 뿐만 아니라, 명시적으로 열거하지 않은 다른 요소를 포함하거나, 이러한 프로세스, 방법, 물품, 또는 장치에 내재하는 요소를 더 포함한다. "구비하다"에 뒤따르는 요소는, 더 많은 제약 없이, 요소를 포함하는 추가의 동일한 요소가 존재하지 않는다는 것이 아니다.

전술한 실시예에 대한 설명에 기초해서, 당업자라면 본 발명은 필요한 하드웨어 플랫폼에 외에 소프트웨어에 의해 또는 하드웨어에 의해서만 실현될 수 있다는 것을 자명하게 이해할 수 있을 것이다. 대부분의 환경에서는, 전자가 바람직한 실현 방식이다. 이러한 이해를 바탕으로, 배경 부분에서 기술에 기여하는 본 출원의 기술적 솔루션 중 일부 또는 전부는 소프트웨어 제품의 형태로 실현될 수 있다. 컴퓨터 소프트웨어 제품은 ROM/RAM, 자기디스크, 또는 광디스크와 같은 저장 매체에 저장될 수 있으며, 본 발명의 실시예 또는 실시예 중 일부에 설명된 방법을 수행하도록 컴퓨터 장치(이것은 퍼스널 컴퓨터, 서버, 네트워크 장치 등일 수 있다)에 명령하는 수 개의 명령어를 포함한다.

본 명세서의 실시예는 실시예에서 동일한 부분 또는 유사한 부분에 대해 진행하는 방식으로 설명되었으므로, 이러한 실시예를 참조할 수 있으며, 각각의 실시예는 다른 실시예와의 구별에 초점을 맞추고 있다. 실시예에 개시된 장치는 실시예에 개시된 방법에 대응하므로 상대적으로 간략하게 설명되었으므로, 그 방법의 설명과 관련된 부분에 대해서는 그 방법의 상세한 설명을 참조하면 된다.

본 명세서에서는 특정한 예를 사용하여 본 발명의 원리 및 실행 방식을 설명하였다. 전술한 실시예는 단지 본 출원의 방법 및 핵심적인 개념을 이해하는 데 도움이 되도록 하기 위한 것이다. 또한, 실행 방식 및 애플리케이션 범위와 관련해서, 당업자는 본 발명의 개념에 따라 변형을 수행할 수 있다. 그러므로 본 출원의 내용은 본 출원에 대한 제한으로서 파악되어서는 안 된다.

Claims

전자 기기에 적용되는 오디오 정보 처리 방법으로서,
상기 전자 기기는 적어도 하나의 전면 카메라(front-facing camera) 및 하나의 후면 카메라(rear-facing camera)를 구비하며;
상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며;
상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 방법은,
상기 제1 카메라를 결정하는 단계;
상기 제1 오디오 수집 유닛에 의해 수집되는 제1 오디오 정보를 획득하는 단계;
상기 제2 오디오 수집 유닛에 의해 수집되는 제2 오디오 정보를 획득하는 단계;
상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계 - 상기 제3 오디오 정보에 있어서, 상기 제1 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 제1 이득이고, 상기 제3 오디오 정보에 있어서, 촬영 방향의 반대 방향으로부터 나오는 음 신호의 이득은 제2 이득이며, 상기 제1 이득은 상기 제2 이득보다 큼 - ; 및
상기 제3 오디오 정보를 출력하는 단계
를 포함하는 오디오 정보 처리 방법.
제1항에 있어서,
상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛 모두는 전방향 오디오 수집 유닛(omnidirectional audio collecting unit)이고, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계는 구체적으로,
차동 어레이 처리 기법을 사용함으로써, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계
를 포함하고,
여기서, 상기 차동 어레이 처리 기법을 사용함으로써 상기 획득하는 단계가 수행된 후, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔은 카디오이드(cardioid)이며,
상기 카디오이드의 최댓값의 방향은 상기 촬영 방향과 동일하며, 최솟값의 방향은 상기 촬영 방향의 반대 방향과 동일한, 오디오 정보 처리 방법.
제1항에 있어서,
상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛 모두는 전방향 오디오 수집 유닛이고, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계는 구체적으로,
제1 처리 모드에서, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제4 오디오 정보를 획득하는 단계;
제2 처리 모드에서, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제5 오디오 정보를 획득하는 단계 - 제1 처리 모드에서, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔이 제1 빔이며, 제2 처리 모드에서, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔이 제2 빔이며, 상기 제1 빔 및 상기 제2 빔은 다른 방향을 가짐 - ; 및
사전설정된 가중 계수에 따라, 상기 제4 오디오 정보 및 상기 제5 오디오 정보를 합성하여 상기 제3 오디오 정보를 획득하는 단계
를 포함하는, 오디오 정보 처리 방법.
제1항에 있어서,
상기 제1 오디오 수집 유닛은 전방향 오디오 수집 유닛이고, 상기 제2 오디오 수집 유닛은 카디오이드 오디오 수집 유닛이며, 상기 카디오이드의 최댓값의 방향은 상기 촬영 방향의 반대 방향과 동일하며, 최솟값의 방향은 상기 촬영 방향과 동일하며,
상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계는 구체적으로,
상기 제1 오디오 정보를 목표 신호로 사용하고 상기 제2 오디오 정보를 기준 잡음 신호로 사용하며, 상기 제1 오디오 정보 및 상기 제2 오디오 정보에 대해 잡음 억제 처리를 수행하여 제3 오디오 정보를 획득하는 단계
를 포함하는, 오디오 정보 처리 방법.
제1항에 있어서,
상기 제1 오디오 수집 유닛은 제1 카디오이드 오디오 수집 유닛이고, 상기 제2 오디오 수집 유닛은 제2 카디오이드 오디오 수집 유닛이며, 상기 제1 카디오이드의 최댓값의 방향은 상기 촬영 방향과 동일하고, 최솟값의 방향은 상기 촬영 방향의 반대 방향과 동일하며, 상기 제2 카디오이드의 최댓값의 방향은 상기 촬영 방향의 반대 방향과 동일하고, 최솟값의 방향은 상기 촬영 방향과 동일하며,
상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하는 단계는 구체적으로,
상기 제1 오디오 정보를 목표 신호로 사용하고 상기 제2 오디오 정보를 기준 잡음 신호로 사용하며, 상기 제1 오디오 정보 및 상기 제2 오디오 정보에 대해 잡음 억제 처리를 수행하여 제3 오디오 정보를 획득하는 단계
를 포함하는, 오디오 정보 처리 방법.
전자 기기에 적용되는 오디오 정보 처리 방법으로서,
상기 전자 기기는 적어도 하나의 전면 카메라 및 하나의 후면 카메라를 구비하며;
상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며;
상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 방법은,
상기 제1 카메라를 결정하는 단계;
상기 제1 오디오 수집 유닛을 작동 가능하게 하는 단계;
상기 제2 오디오 수집 유닛을 작동 가능하지 않게 하는 단계;
상기 제1 오디오 수집 유닛에 의해 수집된 제1 오디오 정보를 획득하는 단계; 및
상기 제1 오디오 정보를 출력하는 단계
를 포함하는 오디오 정보 처리 방법.
전자 기기에 적용되는 오디오 정보 처리 장치로서,
상기 전자 기기는 적어도 하나의 전면 카메라(front-facing camera) 및 하나의 후면 카메라(rear-facing camera)를 구비하며;
상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며;
상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 장치는,
상기 제1 카메라를 결정하도록 구성되어 있는 결정 유닛;
상기 제1 오디오 수집 유닛에 의해 수집되는 제1 오디오 정보를 획득하도록 구성되어 있고, 상기 제2 오디오 수집 유닛에 의해 수집되는 제2 오디오 정보를 획득하도록 추가로 구성되어 있는 획득 유닛; 및
상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하도록 구성되어 있는 프로세싱 유닛 - 상기 제3 오디오 정보에 있어서, 상기 제1 카메라의 촬영 방향으로부터 나오는 음 신호의 이득은 제1 이득이고, 제3 오디오 정보에 있어서, 촬영 방향의 반대 방향으로부터 나오는 음 신호의 이득은 제2 이득이며, 상기 제1 이득은 상기 제2 이득보다 큼 - ; 및
상기 제3 오디오 정보를 출력하도록 구성되어 있는 출력 유닛
을 포함하는 오디오 정보 처리 장치.
제7항에 있어서,
상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛 모두는 전방향 오디오 수집 유닛이고,
상기 프로세싱 유닛은 구체적으로, 차동 어레이 처리 기법을 사용함으로써, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제3 오디오 정보를 획득하도록 구성되어 있고,
여기서 상기 차동 어레이 처리 기법을 사용함으로써 상기 획득하는 과정이 수행된 후, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔은 카디오이드이며, 그리고
상기 카디오이드의 최댓값의 방향은 상기 촬영 방향과 동일하며, 최솟값의 방향은 상기 촬영 방향의 반대 방향과 동일한, 오디오 정보 처리 장치.
제7항에 있어서,
상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛 모두는 전방향 오디오 수집 유닛이고, 상기 프로세싱 유닛은 구체적으로,
제1 처리 모드에서, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제4 오디오 정보를 획득하고;
제2 처리 모드에서, 상기 제1 오디오 정보 및 상기 제2 오디오 정보를 처리하여 제5 오디오 정보를 획득하고 - 제1 처리 모드에서, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔이 제1 빔이며, 제2 처리 모드에서, 상기 제1 오디오 수집 유닛 및 상기 제2 오디오 수집 유닛을 포함하는 전체 수집 유닛의 빔이 제2 빔이며, 상기 제1 빔 및 상기 제2 빔은 다른 방향을 가짐 - ; 그리고
사전설정된 가중 계수에 따라, 상기 제4 오디오 정보 및 상기 제5 오디오 정보를 합성하여 상기 제3 오디오 정보를 획득하도록 구성되어 있는, 오디오 정보 처리 장치.
제7항에 있어서,
상기 제1 오디오 수집 유닛은 전방향 오디오 수집 유닛이고, 상기 제2 오디오 수집 유닛은 카디오이드 오디오 수집 유닛이며, 상기 카디오이드의 최댓값의 방향은 상기 촬영 방향의 반대 방향과 동일하며, 최솟값의 방향은 상기 촬영 방향과 동일하며,
상기 프로세싱 유닛은 구체적으로,
상기 제1 오디오 정보를 목표 신호로 사용하고 상기 제2 오디오 정보를 기준 잡음 신호로 사용하며, 상기 제1 오디오 정보 및 상기 제2 오디오 정보에 대해 잡음 억제 처리를 수행하여 제3 오디오 정보를 획득하도록 구성되어 있는, 오디오 정보 처리 장치.
제7항에 있어서,
상기 제1 오디오 수집 유닛은 제1 카디오이드 오디오 수집 유닛이고, 상기 제2 오디오 수집 유닛은 제2 카디오이드 오디오 수집 유닛이며, 상기 제1 카디오이드의 최댓값의 방향은 상기 촬영 방향과 동일하고, 최솟값의 방향은 상기 촬영 방향의 반대 방향과 동일하며, 상기 제2 카디오이드의 최댓값의 방향은 상기 촬영 방향의 반대 방향과 동일하고, 최솟값의 방향은 상기 촬영 방향과 동일하며,
상기 프로세싱 유닛은 구체적으로,
상기 제1 오디오 정보를 목표 신호로 사용하고 상기 제2 오디오 정보를 기준 잡음 신호로 사용하며, 상기 제1 오디오 정보 및 상기 제2 오디오 정보에 대해 잡음 억제 처리를 수행하여 제3 오디오 정보를 획득하도록 구성되어 있는, 오디오 정보 처리 장치.
전자 기기에 적용되는 오디오 정보 처리 장치로서,
상기 전자 기기는 적어도 하나의 전면 카메라 및 하나의 후면 카메라를 구비하며;
상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며;
상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 장치는,
상기 제1 카메라를 결정하도록 구성되어 있는 결정 유닛;
상기 제1 오디오 수집 유닛을 작동 가능하게 하도록 구성되어 있는 인에이블링 유닛;
상기 제2 오디오 수집 유닛을 작동 가능하지 않게 하도록 구성되어 있는 디스에이블링 유닛;
상기 제1 오디오 수집 유닛에 의해 수집된 제1 오디오 정보를 획득하도록 구성되어 있는 획득 유닛; 및
상기 제1 오디오 정보를 출력하도록 구성되어 있는 출력 유닛
을 포함하는 오디오 정보 처리 장치.
전자 기기로서,
상기 전자 기기는 적어도 하나의 전면 카메라 및 하나의 후면 카메라를 구비하며;
상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며;
상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 전자 기기는 제7항에 따른 오디오 정보 처리 장치를 더 포함하는, 전자 기기.
전자 기기로서,
상기 전자 기기는 적어도 하나의 전면 카메라 및 하나의 후면 카메라를 구비하며;
상기 전면 카메라 및 상기 후면 카메라 중에서, 시작된 상태에 있는 카메라는 제1 카메라이고; 상기 전면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하고, 상기 후면 카메라가 위치하는 측면 상에 적어도 하나의 오디오 수집 유닛이 존재하며;
상기 전면 카메라가 제1 카메라일 때, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 후면 카메라가 제1 카메라일 때, 상기 후면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제1 오디오 수집 유닛으로서 구성되고, 상기 전면 카메라가 위치하는 측면 상의 오디오 수집 유닛은 제2 오디오 수집 유닛으로서 구성되며,
상기 전자 기기는 제12항에 따른 오디오 정보 처리 장치를 더 포함하는, 전자 기기.