KR20130114166A

KR20130114166A - 배향 감지 녹음 제어 시스템, 방법, 장치, 및 컴퓨터 판독가능 매체

Info

Publication number: KR20130114166A
Application number: KR1020137013373A
Authority: KR
Inventors: 에릭 비세르; 이안 에르난 리우; 디네시 라마크리시난; 래-훈 김; 페이 시앙
Original assignee: 퀄컴 인코포레이티드
Priority date: 2010-10-25
Filing date: 2011-10-25
Publication date: 2013-10-16
Also published as: CN103189921B; US20120128175A1; JP5886304B2; WO2012061151A1; EP2633699B1; US9031256B2; CN103189921A; JP2014502439A; KR101492758B1; EP2633699A1

Abstract

다중 마이크 설정을 사용하는 녹음 방향의 배향 감지 선택 및/또는 유지 시스템, 방법, 장치 및 기계 판독가능 매체가 기술되어 있다.

Description

배향 감지 녹음 제어 시스템, 방법, 장치, 및 컴퓨터 판독가능 매체{SYSTEMS, METHODS, APPARATUS, AND COMPUTER-READABLE MEDIA FOR ORIENTATION-SENSITIVE RECORDING CONTROL}

미국 특허법 제119조 하에서의 우선권 주장

본 특허 출원은 2010년 10월 25일자로 출원되고 본 출원의 양수인에게 양도된, 발명의 명칭이 "다중 마이크에 의한 3차원 사운드 포착 및 재현(THREE-DIMENSIONAL SOUND CAPTURING AND REPRODUCING WITH MULTI-MICROPHONES)"인 미국 가특허 출원 제61/406,396호를 기초로 우선권을 주장한다.

상호 참조 출원

본 특허 출원은 하기의 공동 계류 중인 미국 특허 출원에 관한 것이다:

본 출원과 동시에 출원되고 본 출원의 양수인에게 양도된 "다중 마이크에 의한 3차원 사운드 포착 및 재현(THREE-DIMENSIONAL SOUND CAPTURING AND REPRODUCING WITH MULTI-MICROPHONES)"(대리인 사건 번호 102978U2); 및

본 출원과 동시에 출원되고 본 출원의 양수인에게 양도된 "녹음된 사운드 신호에 기초한 머리 추적 시스템, 방법, 장치, 및 컴퓨터 판독가능 매체(SYSTEMS, METHODS, APPARATUS, AND COMPUTER-READABLE MEDIA FOR HEAD TRACKING BASED ON RECORDED SOUND SIGNALS)"(대리인 사건 번호 102978U3).

본 개시 내용은 오디오 신호 처리에 관한 것이다.

이전에는 조용한 사무실 또는 가정 환경에서 수행되었던 많은 활동들이 현재는 자동차, 거리 또는 카페와 같은 음향적으로 변동하는 상황에서 수행되고 있다. 예를 들어, 어떤 사람은 음성 통신 채널을 사용해 다른 사람과 통신하고자 할 수 있다. 채널은, 예를 들어, 모바일 무선 핸드셋 또는 헤드셋, 워키토키, 양방향 무전기, 자동차 키트(car-kit), 또는 다른 통신 디바이스에 의해 제공될 수 있다. 결과적으로, 아주 변동이 많은 환경에서 휴대용 오디오 감지 디바이스(예컨대, 스마트폰, 핸드셋, 및/또는 헤드셋)를 사용하여 상당한 양의 음성 통신이 행해지고 있다. 비디오 녹화 기능을 통신 디바이스에 포함시키는 것은 또한 새로운 기회와 도전을 제공한다.

일반 구성에 따른 배향 감지 녹음 제어 방법은 휴대용 디바이스 내에서 제1 시점에서, 휴대용 디바이스가 중력축에 대해 제1 배향을 가진다는 것을 표시하는 단계, 및 상기 표시에 기초하여, 휴대용 디바이스의 적어도 3개의 마이크 채널 중의 제1 쌍을 선택하는 단계를 포함한다. 이 방법은 또한 휴대용 디바이스 내에서 제1 시점과 상이한 제2 시점에서, 휴대용 디바이스가 제1 배향과 상이한, 중력축에 대해 제2 배향을 가진다는 것을 표시하는 단계, 및 상기 표시에 기초하여, 제1 쌍과 상이한 적어도 3개의 마이크 채널 중의 제2 쌍을 선택하는 단계를 포함한다. 이 방법에서, 적어도 3개의 마이크 채널 각각은 휴대용 디바이스의 적어도 3개의 마이크 중의 대응하는 마이크에 의해 생성되는 신호에 기초한다. 특징을 판독하는 기계로 하여금 이러한 방법을 수행하게 하는 유형적 특징을 가지는 컴퓨터 판독가능 저장 매체(예컨대, 비일시적 매체)가 또한 개시되어 있다.

일반 구성에 따른 배향 감지 녹음 제어 장치는 제1 시점에서, 휴대용 디바이스가 중력축에 대해 제1 배향을 가진다는 것을 표시하는 수단, 및 휴대용 디바이스가 제1 배향을 가진다는 상기 표시에 기초하여, 휴대용 디바이스의 적어도 3개의 마이크 채널 중의 제1 쌍을 선택하는 수단을 포함한다. 이 장치는 또한 제1 시점과 상이한 제2 시점에서, 휴대용 디바이스가 제1 배향과 상이한, 중력축에 대해 제2 배향을 가진다는 것을 표시하는 수단, 및 휴대용 디바이스가 제2 배향을 가진다는 상기 표시에 기초하여, 제1 쌍과 상이한 적어도 3개의 마이크 채널 중의 제2 쌍을 선택하는 수단을 포함한다. 이 장치에서, 적어도 3개의 마이크 채널 각각은 휴대용 디바이스의 적어도 3개의 마이크 중의 대응하는 마이크에 의해 생성되는 신호에 기초한다.

다른 일반 구성에 따른 배향 감지 녹음 제어 장치는 제1 시점에서, 휴대용 디바이스가 중력축에 대해 제1 배향을 가진다는 것을 표시하도록 구성되어 있는 배향 센서, 및 휴대용 디바이스가 제1 배향을 가진다는 상기 표시에 기초하여, 휴대용 디바이스의 적어도 3개의 마이크 채널 중의 제1 쌍을 선택하도록 구성되어 있는 마이크 채널 선택기를 포함한다. 배향 센서는 제1 시점과 상이한 제2 시점에서, 휴대용 디바이스가 제1 배향과 상이한, 중력축에 대해 제2 배향을 가진다는 것을 표시하도록 구성되어 있다. 마이크 채널 선택기는 휴대용 디바이스가 제2 배향을 가진다는 상기 표시에 기초하여, 제1 쌍과 상이한 적어도 3개의 마이크 채널 중의 제2 쌍을 선택하도록 구성되어 있다. 이 장치에서, 적어도 3개의 마이크 채널 각각은 휴대용 디바이스의 적어도 3개의 마이크 중의 대응하는 마이크에 의해 생성되는 신호에 기초한다.

도 1은 공간 선택적 필터의 한 예에 대한 크기 응답의 플롯을 나타낸 도면.
도 2a는 마이크 어레이(R100)의 2-마이크 구현예의 전형적인 사용 사례를 나타낸 도면.
도 2b는 어레이(R100)의 다른 사용 사례를 나타낸 도면.
도 3은 어레이(R100)의 전형적인 사용 사례의 한 예를 나타낸 도면.
도 4는 핸드셋(H100)의 정면도, 배면도 및 측면도.
도 5는 유사한 핸드셋(H200)의 유사한 도면.
도 6a는 마이크(M10 및 M20)가 무지향성(omnidirectional)인 한 예를 나타낸 도면.
도 6b는 마이크(M10 및 M20)가 무지향성인 다른 예를 나타낸 도면.
도 6c는 일반 구성에 따른 방법(M100)의 플로우차트.
도 7은 가로 보유 위치 및 세로 보유 위치에 있는 핸드셋(H100)을 나타낸 도면.
도 8a는 일반 구성에 따른 장치(MF100)의 블록도.
도 8b는 일반 구성에 따른 장치(A100)의 블록도.
도 8c는 장치(A100)의 적용례의 블록도.
도 8d는 장치(A100)의 이러한 구현예(A110)의 블록도.
도 9a는 세로 보유 위치에 있는 동안 핸드셋(H100)의 회전을 나타낸 도면.
도 9b는 세로 보유 위치에서 사용될 수 있는 핸드셋(H100)의 4개의 상이한 마이크 쌍의 예를 나타낸 도면.
도 10a는 가로 보유 위치에 있는 동안 핸드셋(H100)의 회전을 나타낸 도면.
도 10b는 가로 보유 위치에서 사용될 수 있는 핸드셋(H100)의 7개의 상이한 마이크 쌍의 예를 나타낸 도면.
도 11a는 가로 보유 위치에 있는 핸드셋(H100)의 상면도.
도 11b는 상이한 시점에서의 도 11a에서의 배열의 한 예를 나타낸 도면.
도 11c는 다른 상이한 시점에서의 도 11a에서의 배열의 한 예를 나타낸 도면.
도 12는 방법(M100)의 구현예(M200)의 플로우차트.
도 13은 방법(M200)의 구현예(M300)의 플로우차트.
도 14a는 장치(A100)의 구현예(A200)의 블록도.
도 14b는 장치(A200)의 구현예(A250)의 블록도.
도 14c 및 도 14d는 방향 계산 동작의 한 예를 나타낸 도면.
도 15a는 방법(M100)의 구현예(M400)의 플로우차트.
도 15b는 장치(A300)의 블록도.
도 15c는 장치(A300)의 구현예(A350)의 블록도.
도 16은 선택 디스플레이의 한 예를 나타낸 도면.
도 17은 선택 디스플레이의 다른 예를 나타낸 도면.
도 18은 오버레이 선택 디스플레이의 한 예를 나타낸 도면.
도 19a는 헤드폰 세트를 나타낸 도면.
도 19b는 이어컵(earcup)(ECR10)의 수평 단면을 나타낸 도면.
도 20은 스테레오 헤드셋에 대한 관계된 사용 사례의 예시를 나타낸 도면.
도 21a는 어레이(R100)의 구현예(R200)의 블록도.
도 21b는 어레이(R200)의 구현예(R210)의 블록도.
도 22a는 일반 구성에 따른 다중 마이크 오디오 감지 디바이스(D10)의 블록도.
도 22b는 디바이스(D10)의 구현예인 통신 디바이스(D20)의 블록도.
도 23a는 장치(MF100)의 구현예(MF200)의 블록도.
도 23b는 장치(A200)의 구현예(A210)의 블록도.

현재, 페이스북, 트위터 등과 같은 빠르게 보편화되는 소셜 네트워크 서비스를 통해 개인 정보의 빠른 교환을 경험하고 있다. 이와 동시에, 이미 텍스트 뿐만 아니라 멀티미디어 데이터도 지원하는 네트워크 속도 및 저장 장치의 괄목할만한 성장이 또한 있다. 이러한 환경에서, 중요한 점은 보다 현실감있고 몰입감있는 개인의 청각 경험의 교환을 위해 3차원(3D) 오디오를 포착 및 재현할 필요가 있다는 것이다.

음성 통신을 향상시키는 것과 관련하여 다중 마이크 기반 오디오 처리 알고리즘이 최근에 개발되었다. 본 개시 내용은 다중 마이크 토폴로지에 기초한 3D 오디오에 대한 몇가지 고유의 특징을 기술하고 있다.

그의 문맥에 의해 명확히 제한되지 않는 한, 본 명세서에서 "신호"라는 용어는 와이어, 버스 또는 기타 전송 매체 상에 표현되는 바와 같은 메모리 위치(또는 메모리 위치들의 세트)의 상태를 포함하는 그의 통상의 의미들 중 어느 하나를 나타내기 위해 사용된다. 그의 문맥에 의해 명확히 제한되지 않는 한, 본 명세서에서 "발생"이라는 용어는 컴퓨팅 또는 다른 방식으로 생성하는 것과 같은 그의 통상의 의미들 중 어느 하나를 나타내기 위해 사용된다. 그의 문맥에 의해 명확히 제한되지 않는 한, 본 명세서에서 "계산"이라는 용어는 컴퓨팅, 평가, 평활화 및/또는 복수의 값 중에서 선택하는 것과 같은 그의 통상의 의미들 중 어느 하나를 나타내기 위해 사용된다. 그의 문맥에 의해 명확히 제한되지 않는 한, 본 명세서에서 "획득"이라는 용어는 계산, 도출, (예컨대, 외부 디바이스로부터의) 수신, 및/또는 (예컨대, 저장 요소들의 어레이로부터의) 검색하는 것과 같은 그의 통상의 의미들 중 어느 하나를 나타내기 위해 사용된다. 그의 문맥에 의해 명확히 제한되지 않는 한, 본 명세서에서 "선택"이라는 용어는 2개 이상으로 된 세트 중 적어도 하나 및 전부보다 적은 것의 식별, 표시, 적용 및/또는 사용하는 것과 같은 그의 통상의 의미들 중 어느 하나를 나타내기 위해 사용된다. "포함하는(comprising)"이라는 용어가 본 설명 및 특허청구범위에서 사용되는 경우, 이는 다른 요소들 또는 동작들을 배제하지 않는다. ("A가 B에 기초한다"와 같이) "~에 기초한다"라는 용어는 사례들 (i) "~로부터 도출된다"(예컨대, "B는 A의 전구체이다"), (ii) "적어도 ~에 기초한다"(예컨대, "A는 적어도 B에 기초한다") 및 특정 문맥에서 적절한 경우에 (iii) "~와 동일하다"(예컨대, "A는 B와 동일하다")를 비롯한 그의 통상의 의미들 중 어느 하나를 나타내는 데 사용된다. 이와 유사하게, "~에 응답하여"라는 용어는 "적어도 ~에 응답하여"를 비롯한 그의 통상의 의미들 중 어느 하나를 나타내는 데 사용된다.

다중 마이크 오디오 감지 디바이스의 마이크의 "위치"에 대한 참조는, 문맥이 달리 나타내지 않는 한, 마이크의 음향학적으로 민감한 면의 중앙의 위치를 나타낸다. "채널"이라는 용어는, 특정 문맥에 따라, 어떤 때는 신호 경로를 나타내는 데 사용되고, 다른 때는 그러한 경로에 의해 전달되는 신호를 나타내는 데 사용된다. 달리 언급하지 않는 한, "일련의"라는 용어는 둘 이상의 항목의 시퀀스를 나타내는 데 사용된다. "로그"라는 용어는 밑수 10의 로그를 나타내는 데 사용되지만, 그러한 연산의 다른 밑수로의 확장도 본 발명의 범위 내에 있다. "주파수 성분"이라는 용어는 (예컨대, 고속 푸리에 변환에 의해 생성되는 바와 같은) 신호의 주파수 영역 표현의 샘플 또는 신호의 서브대역(예컨대, 바크(Bark) 스케일 또는 멜(mel) 스케일 서브대역)과 같은 신호의 주파수들 또는 주파수 대역들의 세트 중 하나를 나타내는 데 사용된다.

달리 나타내지 않는 한, 특정의 특징을 가지는 장치의 동작에 대한 임의의 개시는 또한 유사한 특징을 가지는 방법을 개시하는 것도 명확히 의도하며(그 반대도 마찬가지임), 특정의 구성에 따른 장치의 동작에 대한 임의의 개시는 또한 유사한 구성에 따른 방법을 개시하는 것도 명확히 의도하고 있다(그 반대도 마찬가지임). "구성"이라는 용어는, 그의 특정의 문맥이 나타내는 바와 같이, 방법, 장치 및/또는 시스템과 관련하여 사용될 수 있다. "방법", "프로세스", "절차" 및 "기술"이라는 용어들은, 특정의 문맥이 달리 나타내지 않는 한, 총칭적으로 그리고 서로 바꾸어 사용될 수 있다. "장치" 및 "디바이스"라는 용어들이 또한, 특정의 문맥이 달리 나타내지 않는 한, 총칭적으로 그리고 서로 바꾸어 사용될 수 있다. "요소" 및 "모듈"이라는 용어들은 통상적으로 더 큰 구성의 일부분을 나타내는 데 사용된다. 그의 문맥에 의해 명확히 제한되지 않는 한, 본 명세서에서 "시스템"이라는 용어는 "공통의 목적을 이루기 위해 상호작용하는 요소들의 그룹"을 비롯한 그의 통상의 의미들 중 어느 하나를 나타내는 데 사용된다. 문헌의 일부분의 참조 문헌으로서의 임의의 포함은 또한 그 부분 내에서 참조되는 용어들 또는 변수들의 정의들을 포함하는 것으로도 이해되어야 하며, 그러한 정의들은 포함된 부분에서 참조되는 임의의 도면들은 물론, 문헌의 다른 곳에도 나온다.

본 명세서에 기술된 방법은 포착된 신호를 일련의 세그먼트로서 처리하도록 구성되어 있을 수 있다. 통상적인 세그먼트 길이는 약 5 또는 10 밀리초 내지 약 40 또는 50 밀리초의 범위에 있고, 세그먼트가 중첩되어 있거나(예컨대, 인접한 세그먼트가 25% 또는 50% 정도 중첩되어 있음) 비중첩되어 있을 수 있다. 하나의 특정의 예에서, 신호가 일련의 비중첩 세그먼트 또는 "프레임" - 각각이 10 밀리초의 길이를 가짐 - 으로 나누어진다. 이러한 방법에 의해 처리되는 세그먼트가 또한 상이한 동작에 의해 처리되는 보다 큰 세그먼트의 세그먼트(즉, "서브프레임")일 수 있거나, 그 반대일 수 있다.

휴대용 오디오 감지 디바이스는 구성가능한 다중 마이크 어레이 기하 형태를 갖도록 구현될 수 있다. 사용 사례에 따라, 상이한 음원 방향에서 공간 선택적 오디오 녹음을 지원하기 위해 디바이스의 마이크들의 상이한 조합(예컨대, 쌍)이 선택될 수 있다.

다중 마이크 오디오 감지 디바이스의 동작 동안에, 마이크 어레이는 한 세트의 마이크 채널을 생성하고, 여기서 각각의 채널은 마이크들 중의 대응하는 마이크의 음향 환경에 대한 응답에 기초하고 있다. 어레이의 하나의 마이크가 다른 마이크보다 더 직접적으로 특정의 사운드를 수신할 수 있고, 따라서 대응하는 채널이 서로 상이하여 단일 마이크를 사용해 포착될 수 있는 것보다 음향 환경의 전체적으로 더 완전한 표현을 제공한다.

공간 선택적 녹음 동작은 다중 채널 신호을 필터링하는 것을 포함하며, 여기서 필터의 이득 응답은 도착 방향에 따라 상이하다. 도 1은 이러한 공간 선택적 필터의 한 예에 대한 크기 응답(주파수 빈 대 도착 방향으로 표시되어 있음)의 플롯을 나타낸 것이다. 이러한 응답은 "빔 패턴"이라고도 하며, "빔 패턴"이라는 용어는 또한 본 명세서에서(그리고 첨부된 특허청구범위에서) 공간 선택적 필터 자체를 가리키는 데도 사용된다. 빔 패턴의 "방향"은 어레이 축에 대한 방향으로서, 이 방향으로 빔 패턴의 주 빔이 배향되어 있다(도 1의 예에서, 0도). 빔 패턴은 통상적으로 어레이의 축을 중심으로 대칭이다.

한 부류의 공간 선택적 필터는 위상 어레이, MVDR(minimum variance distortionless response, 최소 분산 무왜곡 응답) 빔형성기, 및 LCMV(linearly constrained minimum variance, 선형 제한 최소 분산) 빔형성기를 포함한 빔형성기이다. 이러한 필터는 통상적으로 빔 패턴의 원하는 방향에 따라 오프라인으로 계산되지만, (예컨대, 다중 채널 신호의 잡음 성분의 특성에 기초하여) 온라인으로 계산되고 및/또는 적응될 수 있다. 다른 부류의 공간 선택적 필터는 ICA(independent component analysis, 독립 성분 분석) 또는 IVA(independent vector analysis, 독립 벡터 분석)를 사용하여 계산되는 계수를 갖는 필터를 포함하는 BSS(blind source separation, 블라인드 음원 분리) 필터이다. BSS 필터는 통상적으로 오프라인으로 초기 상태로 훈련되고, 온라인으로 추가로 적응될 수 있다.

원하는 녹음 방향에 따라 몇개의 공간 선택적 필터링 동작 중에서 선택하도록 녹음 동작을 구성하는 것이 바람직할 수 있다. 예를 들어, 녹음 동작이 원하는 녹음 방향에 따라 2개 이상의 빔 패턴 중의 선택된 빔 패턴을 적용하도록 구성되어 있을 수 있다. 이러한 경우에, 녹음 동작은 원하는 녹음 동작에 가장 가까운 방향을 가지는 빔 패턴을 선택하도록 구성되어 있을 수 있다.

도 2a는 마이크(M10 및 M20)를 포함하는 마이크 어레이(R100)의 2-마이크 구현예의 전형적인 사용 사례를 나타낸 것이다. 어레이(R100)는 각각의 채널이 마이크들 중의 대응하는 마이크에 의해 생성된 신호에 기초하는 한 세트의 마이크 채널을 생성하도록 구성되어 있다. 이 예에서, 3개의 중복하는 공간 섹터 중에서 선택하도록 구성되어 있는 공간 선택적 녹음 동작이 마이크 채널에 적용된다. 이러한 동작은 원하는 섹터에 대응하는 방향을 가지는 빔 패턴을 선택하고 적용하는 것을 포함할 수 있다.

도 2b는 어레이(R100)의 다른 사용 사례를 나타낸 것이고, 여기서 녹음 동작이 5개의 섹터 중에서 선택하도록 구성되어 있으며, 각각의 화살표는 대응하는 섹터의 중앙 도착 방향을 나타낸다(예컨대, 5개의 빔 패턴 중에서 선택하도록 구성되어 있으며, 각각의 화살표는 대응하는 빔 패턴의 방향을 나타낸다). 도 2a 및 도 2b가 마이크 쌍인 어레이를 나타내고 있지만, 본 명세서에 기술된 공간 선택적 녹음의 원리는 인접한 쌍 사이에 균일하거나 불균일한 간격을 갖는 선형 어레이에서의 3개 이상의 마이크로, 그리고 또한 비선형 어레이에서의 3개 이상의 마이크로 일반화될 수 있고, 이러한 일반화가 명확히 생각되고 있고 본 명세서에 개시되어 있다. 예를 들어, 공간 선택적 필터의 한 쌍의 마이크 채널에의 적용례의 개시 내용은 또한 유사한 공간 선택적 필터의 3개 이상의(예컨대, 3개, 4개 또는 5개) 마이크 채널에의 적용례를 개시하고 있다. 예를 들어, 주 빔 폭(main beam width)과 측엽 발생 사이의 원하는 절충에 따라 섹터의 수 및 폭이 선택될 수 있고, 더 많은 수의 마이크를 가지는 선형 어레이는 부적절하게 높은 측엽을 발생하는 일 없이 보다 좁은 주 빔을 지원할 것으로 예상될 수 있다.

그에 부가하여 또는 다른 대안으로서, 공간 선택적 녹음 동작은 원하는 방향에서 널 빔(null beam)을 가지는 빔 패턴을 선택하도록 구성되어 있을 수 있다. 이러한 선택은 간섭 음원으로부터의 사운드 성분을 차단하는 데 바람직할 수 있다. 예를 들어, 빔 패턴을 그의 방향(즉, 주 빔의 방향) 및 그의 널 빔의 방향 둘 다에 따라 선택하는 것이 바람직할 수 있다. 도 1의 예에서, 어레이 축에 대한 널 빔의 방향은 90도이다.

앞서 살펴본 바와 같이, 빔 패턴은 통상적으로 어레이의 축을 중심으로 대칭이다. 따라서, 마이크가 무지향성인 경우에, 지정된 방향 범위에 대응하는 수음 원추체(pickup cone)가 (예컨대, 도 6a에 도시된 바와 같이) 마이크 쌍의 전방 및 후방에 대해 불명료할 수 있다. 도 3은 세로 방향 섹터(endfire sector) 1 및 3의 원추체가 어레이 축을 중심으로 대칭이고, 섹터 2가 이들 원추체 사이의 공간을 차지하는 어레이(R100)의 전형적인 사용 사례의 한 예를 나타낸 것이다.

빔 패턴들 중에서 온라인으로 선택하는 것을 지원하기 위해 한 세트의 빔 패턴을 오프라인으로 계산하는 것이 바람직할 수 있다. 디바이스가 다수의 가능한 어레이 구성(예컨대, 다수의 가능한 마이크 쌍)을 포함하는 예에 대해, 가능한 어레이 구성들 중의 2개 이상의 어레이 구성 각각에 대해 상이한 세트의 빔 패턴을 오프라인으로 계산하는 것이 바람직할 수 있다. 그렇지만, 동일한 빔 패턴을 상이한 어레이 구성에 적용하는 것이 또한 가능한데, 그 이유는, 구성들의 차원이 동일하고 각각의 어레이의 마이크들의 개개의 응답이 정합되는 경우, 유사한 응답이 예상될 수 있기 때문이다.

공간 선택적 필터는 다중 채널 신호를 필터링하여 출력 채널에 원하는 신호를 생성하도록 구현될 수 있다. 이러한 필터는 또한 다른 출력 채널에 잡음 추정치를 생성하도록 구현될 수 있다. 이러한 잡음 추정치의 잠재적인 이점은 다른 방향으로부터의 비정적 잡음 이벤트를 포함할 수 있다는 것이다. 단일 채널 오디오 처리 시스템은 통상적으로 원하는 신호와 동일한 주파수에서 발생하는 비정적 잡음을 구별할 수 없다.

도 4는 셀룰러폰 핸드셋(예컨대, 스마트폰)인 다중 마이크 오디오 감지 디바이스의 구현예(H100)의 정면도, 배면도 및 측면도를 나타낸 것이다. 핸드셋(H100)은 디바이스의 전면에 배열된 3개의 마이크(MF10, MF20, 및 MF30); 및 배면에 배열된 2개의 마이크(MR10 및 MR20)를 포함하고 있다. 이러한 핸드셋의 마이크들 사이의 최대 거리는 통상적으로 약 10 또는 12 cm이다.

핸드셋(H100)의 카메라의 렌즈(L10)가 또한 배면 상에 배열되어 있고, 이 경우에, 디바이스의 유효 촬영축(effective imaging axis)이 터치스크린(TS10)의 평면에 직교인 것으로 가정된다. 터치스크린(TS10)의 어느 한 대칭축에 평행인 유효 촬영축 등의, 렌즈(L10)의 대안의 배치 및 대응하는 촬영 경로(imaging path) 배열이 또한 가능하다. 스피커(LS10)는 전면의 상부 중앙에서 마이크(MF10) 근방에 배열되어 있고, 2개의 다른 스피커(LS20L, LS20R)가 또한 (예컨대, 스피커폰 응용을 위해) 제공되어 있다. 도 5는 4개의 마이크를 가지는 유사한 핸드셋(H200)의 유사한 도면을 나타낸 것이다.

핸드셋(H100)은 렌즈를 통해 받아들여지는 영상들의 시퀀스를 포착하는 내부 촬상 센서(internal imaging sensor) 및 저장 및/또는 전송을 위해 영상 시퀀스를 인코딩하는 비디오 녹화 모듈을 사용하는, 렌즈(L10)를 통한 비디오 녹화를 위해 사용될 수 있다. 이 경우에, 전후 마이크 쌍(front-back microphone pair)은 전후 방향을 녹음하는 데(즉, 카메라 지향 방향으로 및 그로부터 멀어지게 빔을 조종하는 데) 사용될 수 있다. 전후축(front-back axis)에 대해 지향성 녹음(directional recording)을 제공하기 위해 어레이(R100)의 구현예로서 사용될 수 있는 마이크 쌍의 예는 마이크(MF30 및 MR10), 마이크(MF30 및 MR20), 및 마이크(MF10 및 MR10)를 포함하고, 좌우 방향 기본 설정은 수동으로 또는 자동으로 구성될 수 있다. 전후축에 직교인 하나의 축에 대한 지향적 녹음을 위해, 마이크 쌍(MR10 및 MR20)을 포함하는 어레이(R100)의 구현예는 하나의 옵션이다. 전후축에 직교인 다른 축에 대한 지향적 녹음을 위해, 마이크 쌍(MF20 및 MF30)을 포함하는 어레이(R100)의 구현예는 다른 옵션이다.

특정의 방향으로부터의 오디오를 녹음하는 것 및/또는 특정의 방향으로부터의 오디오를 억압하는 것이 바람직할 수 있다. 예를 들어, (예컨대, 사용자에 의한 녹화된 비디오 시퀀스의 나레이션을 지원하기 위해) 디바이스의 사용자의 방향으로부터, 또는 사용자의 동료의 방향으로부터, 또는 연주 스테이지 또는 다른 원하는 음원의 방향으로부터 도착하는 원하는 신호를 녹음하는 반면, 다른 방향으로부터 도착하는 사운드를 억압하는 것이 바람직할 수 있다. 다른 대안으로서 또는 그에 부가하여, PA(public address, 장내 방송) 시스템의 스피커, 텔레비전 또는 라디오, 또는 스포츠 경기에서의 시끄러운 관중 등의 특정의 방향으로부터 도착하는 간섭 사운드를 억압하면서 오디오를 녹음하는 것이 바람직할 수 있다.

또한, 강인한 사운드 방향 추적 및 유지를 제공하는 것이 바람직할 수 있다. 이러한 경우에, 디바이스의 현재 배향에 관계없이, 선택된 녹음 방향을 유지하도록 디바이스를 구현하는 것이 바람직할 수 있다. 예를 들어, 디바이스의 주어진 보유각에 대해 바람직한 녹음 방향이 지정되면, 디바이스의 보유각이 그 후에 변하더라도 이 방향을 유지하는 것이 바람직할 수 있다.

한 쌍의 마이크 채널에 적용되는 것과 같은 공간 선택적 필터의 응답은 어레이 축에 대한 각도로서 기술될 수 있다. 도 6a는 마이크(M10 및 M20)가 무지향성인 한 예를 나타낸 것이다. 이러한 경우에, 필터의 선택성은 어레이 축을 따라 원추체에 의한 공간에서 기술될 수 있다. 예를 들어, 필터는 세로 방향 섹터 1로부터 도착하는 신호 성분에 대한 이득 응답이 가로 방향 섹터 2 또는 세로 방향 섹터 3으로부터 도착하는 신호 성분에 대한 그의 이득 응답과 상이하도록 구현될 수 있다.

어레이 축이 수평일 때, 이러한 선택성은 수평면(즉, 중력축에 직교인 평면)에서 상이한 방향으로부터 도착하는 신호 성분들을 분리하는 데 사용될 수 있다. 그렇지만, 도 6b에 도시된 바와 같이, 어레이 축이 수직일 때, 방향에만 기초하여 이들 신호 성분을 구별하는 것이 어렵거나 불가능할 수 있다. 어레이 축의 이러한 변화는, 도 7에 도시된 바와 같이, 디바이스가 가로 보유 위치와 세로 보유 위치 사이에서 회전될 때 일어날 수 있다. 가로 보유 위치에서는, 디스플레이 화면의 긴 측면이 디스플레이 화면의 짧은 측면보다 수평선에 더 가깝게 평행하다. 세로 보유 위치에서는, 디스플레이 화면의 짧은 측면이 디스플레이 화면의 긴 측면보다 수평선에 더 가깝게 평행하다.

디바이스가 가로 보유 위치와 세로 보유 위치 사이에서 회전될 때, 수평면에서의 공간 지향성의 상실을 방지하는 것이 바람직할 수 있다. 예를 들어, 수평면에서의 원하는 공간 선택성이 유지되도록 새로운 디바이스 배향에서의 녹음을 위해 상이한 마이크 쌍을 사용하는 것이 바람직할 수 있다. 디바이스는 디바이스의 배향을 검출하기 위해 하나 이상의 배향 센서를 포함할 수 있다. 예를 들어, 디바이스가 가로 보유 위치와 세로 보유 위치 사이에서 회전될 때, 이러한 회전을 검출하고, 검출에 응답하여, 현재의 디바이스 배향이 주어진 경우, 수평에 가장 가까운 축을 가지는 마이크 쌍을 선택하는 것이 바람직할 수 있다. 통상적으로, 휴대용 디바이스 내에서의 각각의 배향 센서의 위치는 고정되어 있다.

원하는 공간 선택성의 이러한 유지는 하나 이상의 배향 센서(예컨대, 하나 이상의 가속도계, 자이로스코프 센서, 및/또는 자기 센서)를 사용하여 공간에서의 핸드셋의 배향을 추적함으로서 획득될 수 있다. 이러한 추적은 기술 분야에 공지된 임의의 이러한 기법에 따라 수행될 수 있다. 예를 들어, 이러한 추적은 가로 보유 위치로부터 세로 보유 위치로 변할 때 전형적인 스마트폰 상에서의 디스플레이 영상의 회전을 지원하는 기법에 따라 수행될 수 있다. 이러한 기법에 대한 설명은, 예를 들어, 미국 공개 특허 출원 제2007/0032886 A1호(Tsai) - 발명의 명칭이 "디스플레이 방향을 조절할 수 있는 전자 장치 및 그의 디스플레이 방향 조절 방법(ELECTRONIC APPARATUS CAPABLE OF ADJUSTING DISPLAY DIRECTION AND DISPLAY_DIRECTION ADJUSTING METHOD THEREOF)"임 -; 제2009/0002218 A1호(Rigazio 등) - 발명의 명칭이 "방향 및 보유 방식 불변의 대칭 설계인 터치 및 버튼 기반 원격 사용자 상호작용 디바이스(DIRECTION AND HOLDING-STYLE INVARIANT, SYMMETRIC DESIGN, TOUCH AND BUTTON BASED REMOTE USER INTERACTION DEVICE)"임 -; 제2009/0207184 A1호(Laine 등) - 발명의 명칭이 "디스플레이 화면 배향에 기초한 정보 제시(INFORMATION PRESENTATION BASED ON DISPLAY SCREEN ORIENTATION)"임 -; 및 제2010/0129068 A1호(Binda 등) - 발명의 명칭이 "전자 장치의 배향을 검출하는 디바이스 및 방법(DEVICE AND METHOD FOR DETECTING THE ORIENTATION OF AN ELECTRONIC APPARATUS)"임 - 에서 찾아볼 수 있다. 상대 전화 배향에 기초한 공간 녹음 방향의 이러한 조절은 (예컨대, 비디오 동시 녹화에 대해) 오디오 녹음에서 일관성 있는 공간 영상을 유지하는 데 도움을 줄 수 있다.

도 6c는 작업(T110, T120, T130, 및 T140)을 포함하는 일반 구성에 따른 방법(M100)의 플로우차트를 나타낸 것이다. 제1 시점에서, 작업(T110)은 휴대용 디바이스가 중력축에 대해 제1 배향을 가진다는 것을 표시한다. 예를 들어, 작업(T110)은 디바이스가 가로 보유 위치 및 세로 보유 위치 중의 한 보유 위치에 있다는 것을 표시할 수 있다. 작업(T120)은 휴대용 디바이스가 제1 배향을 가진다는 표시에 기초하여, 휴대용 디바이스의 적어도 3개의 마이크 채널 중의 제1 쌍을 선택한다. 제1 시점과 상이한(예컨대, 그 이후의) 제2 시점에서, 작업(T130)은 휴대용 디바이스가 제1 배향과 상이한, 중력축에 대해 제2 배향을 가진다는 것을 표시한다. 예를 들어, 작업(T130)은 디바이스가 가로 보유 위치 및 세로 보유 위치 중의 다른 보유 위치에 있다는 것을 표시할 수 있다. 작업(T140)은, 휴대용 디바이스가 제2 배향을 가진다는 표시에 기초하여, 제1 쌍과 상이한 적어도 3개의 마이크 채널 중의 제2 쌍을 선택한다. 이 방법에서, 적어도 3개의 마이크 채널 각각은 휴대용 디바이스의 적어도 3개의 마이크 중의 대응하는 마이크에 의해 생성되는 신호에 기초한다.

작업(T110 및 T130)에 의해 생성되는 표시는 중력축에 대해 각도의 척도(예컨대, 단위: 도 또는 라디안)의 형태를 가질 수 있다. 이러한 척도는 또한 일정 범위의 값 내의 값(예컨대, 0부터 255까지의 8-비트 값)으로서 표시될 수 있다. 이러한 경우에, 작업(T120 및 T140)은 대응하는 표시를 임계값(예컨대, 45도 또는 범위 내의 대응하는 값)과 비교하고 비교의 결과에 따라 채널 쌍을 선택하도록 구성되어 있을 수 있다. 다른 예에서, 작업(T110 및 T130)에 의해 생성된 표시는 디바이스가 세로 보유 패턴에 있을 때의 하나의 상태 및 디바이스가 가로 보유 패턴에 있을 때의 다른 상태(예컨대, 각각, "0", "로우", 또는 "오프" 및 "1", "하이" 또는 "온", 또는 그 반대)를 가지는 이진값이다.

도 8a는 일반 구성에 따른 장치(MF100)의 블록도를 나타낸 것이다. 장치(MF100)는 제1 시점에서, 휴대용 디바이스가 중력축에 대해 제1 배향을 가진다는 것을 표시하는 수단(F110)[예컨대, 작업(T110)을 참조하여 본 명세서에 기술됨]을 포함한다. 장치(MF100)는 또한 휴대용 디바이스가 제1 배향을 가진다는 표시에 기초하여, 휴대용 디바이스의 적어도 3개의 마이크 채널 중의 제1 쌍을 선택하는 수단(F120)[예컨대, 작업(T120)을 참조하여 본 명세서에 기술됨]을 포함한다. 장치(MF100)는 또한 제1 시점과 상이한 제2 시점에서, 휴대용 디바이스가 제1 배향과 상이한, 중력축에 대해 제2 배향을 가진다는 것을 표시하는 수단(F130)[예컨대, 작업(T130)을 참조하여 본 명세서에 기술됨]을 포함한다. 장치(MF100)는 또한 휴대용 디바이스가 제2 배향을 가진다는 표시에 기초하여, 제1 쌍과 상이한 적어도 3개의 마이크 채널 중의 제2 쌍을 선택하는 수단(F140)[예컨대, 작업(T140)을 참조하여 본 명세서에 기술됨]을 포함한다. 이 장치에서, 적어도 3개의 마이크 채널 각각은 휴대용 디바이스의 적어도 3개의 마이크 중의 대응하는 마이크에 의해 생성되는 신호에 기초한다.

도 8b는 배향 센서(100) 및 마이크 채널 선택기(200)를 포함하는 일반 구성에 따른 장치(A100)의 블록도를 나타낸 것이다. 제1 시점에서, 배향 센서(100)는 휴대용 디바이스가 중력축에 대해 제1 배향을 가진다는 것을 표시한다[예컨대, 작업(T110)을 참조하여 본 명세서에 기술됨]. 이 표시에 기초하여, 마이크 채널 선택기(200)는 휴대용 디바이스의 적어도 3개의 마이크 채널 중의 제1 쌍을 선택한다[예컨대, 작업(T120)을 참조하여 본 명세서에 기술됨]. 제1 시점과 상이한 제2 시점에서, 배향 센서(100)는 휴대용 디바이스가 제1 배향과 상이한, 중력축에 대해 제2 배향을 가진다는 것을 표시한다[예컨대, 작업(T130)을 참조하여 본 명세서에 기술됨]. 이 표시에 기초하여, 마이크 채널 선택기(200)는 제1 쌍과 상이한 적어도 3개의 마이크 채널 중의 제2 쌍을 선택한다[예컨대, 작업(T140)을 참조하여 본 명세서에 기술됨]. 이 장치에서, 적어도 3개의 마이크 채널 각각은 휴대용 디바이스의 적어도 3개의 마이크 중의 대응하는 마이크에 의해 생성되는 신호에 기초한다.

배향 센서(100)는 자이로스코프 및/또는 가속도계 등의 하나 이상의 관성 센서를 포함할 수 있다. 자이로스코프는 하나의 축에 관한 또는 2개 또는 3개의 축 각각에 관한 배향의 변화[예컨대, 피치(pitch), 롤(roll) 및/또는 꼬임각(twist)의 변화]를 검출하기 위해 각운동량의 원리를 사용한다. MEMS(micro-electromechanical systems) 디바이스로서 제조될 수 있는 자이로스코프의 예는 진동 자이로스코프를 포함한다. 가속도계는 하나의 축을 따라 또는 (통상적으로 직교인) 2개 또는 3개의 축 각각을 따라 가속도를 검출한다. 가속도계는 또한 MEMS 디바이스로서 제조될 수 있다. 또한, 자이로스코프 및 가속도계를 하나의 센서 내에 결합시키는 것이 가능하다. 그에 부가하여 또는 다른 대안으로서, 배향 센서(100)는 하나의 축을 따라 또는 (통상적으로 직교인) 2개 또는 3개의 축 각각을 따라 자계 세기를 측정하는 하나 이상의 자계 센서(예컨대, 자기계)를 포함할 수 있다. 한 예에서, 중력축에 직교인 평면에서의 디바이스의 배향을 표시하기 위해 자계 센서가 사용된다.

도 8c는 장치(A100)의 적용례의 블록도를 나타낸 것이다. 이 적용례에서, 장치(A100)는 마이크(MF20, MR20, 및 MR10)에 의해, 각각, 생성된 신호에 기초하는 마이크 채널(SF20, SR20, 및 SR10)을 수신한다. 이 예에서, 마이크 채널 선택기(200)는 배향 센서(100)에 의한 세로 보유 패턴에 대응하는 중력축에 대한 배향의 표시에 응답하여 채널 쌍(SF20-SR20)을 선택하고, 배향 센서(100)에 의한 가로 보유 패턴에 대응하는 중력축에 대한 배향의 표시에 응답하여 채널 쌍(SR10-SR20)을 선택하도록 구성되어 있을 수 있다. 이 예에서, 채널(SR20)은 양쪽 선택에 공통이고, 마이크 채널 선택기(200)는 선택된 쌍을 다중 채널 신호의 각자의 채널(MCS10 및 MCS20)로서 생성하도록 구성되어 있다.

장치(A100)는 또한 어떤 마이크 채널도 선택된 쌍 둘 다에 공통이 아니도록 구현될 수 있다. 도 8d는 장치(A100)의 이러한 구현예(A110)의 블록도를 나타낸 것이다. 이 적용례에서, 장치(A110)는 마이크(MF10, MF20, MR10 및 MR20)에 의해, 각각, 생성된 신호에 기초하는 마이크 채널(SF10, SF20, SR10 및 SR20)을 수신한다. 장치(A110)는 마이크 채널 선택기(200)의 구현예(210)를 포함하고 있다. 선택기(210)는 배향 센서(100)에 의한 세로 보유 패턴에 대응하는 표시에 응답하여 채널 쌍(SF10-SF20)을 선택하고, 배향 센서(100)에 의한 가로 보유 패턴에 대응하는 표시에 응답하여 채널 쌍(SR10-SR20)을 선택하도록 구성되어 있다.

앞서 기술한 바와 같이, 중력축에 직교인 선을 중심으로 한 회전을 감지하는 것이 수평면에서 원하는 공간 선택성을 지원할 것으로 예상되는 마이크 쌍을 선택하는 데 사용될 수 있다. 이러한 선택에 부가하여 또는 다른 대안으로서, 디바이스가 중력축을 중심으로 회전될 때 수평면에서의 원하는 방향에서 녹음 선택성을 유지하는 것이 바람직할 수 있다. 도 9a는 세로 보유 위치에 있는 동안 핸드셋(H100)의 이러한 회전을 나타낸 것이고, 도 10a는 가로 보유 위치에 있는 동안 핸드셋(H100)의 이러한 회전을 나타낸 것이다. 이러한 회전이 의식적으로(예컨대, 이동하는 물체의 비디오 녹화를 위해 또는 비디오 파노라마를 포착하기 위해) 또는 무의식적으로 행해질 수 있다.

도 11a는 가로 보유 위치에 있는 핸드셋(H100)의 (예컨대, 중력축을 따른) 상면도를 나타낸 것이다. 이 예에서, 마이크(MR10 및 MR20)를 포함하는 어레이(R100)의 구현예(R110)는 한 쌍의 마이크 채널을 생성한다. 공간 처리 모듈은 이 신호를 처리하여, 도면에 도시된 바와 같은 3개의 섹터 중에서 선택을 한다.

도 11a는 또한 원하는 정적 음원(SR10)의 위치를 나타내고 있다. 도 11a에 도시된 시점에서, 어레이(R110)의 축에 대한 음원(SR10)의 방향은 공간 섹터 3에 있다. 이 경우에, 섹터 3으로부터 도착하는 신호 성분을 선택하도록 지향되어 있는 빔 패턴은 음원(SR10)과 관련하여 양호한 분리를 제공할 수 있다.

도 11b는 상이한 시점에서의 도 11a에서의 배열의 한 예를 나타낸 것이다. 이 시점에서, 핸드셋(H100)은, 음원(SR10)의 방향이 이제는 공간 섹터 2에 있도록, 중력축을 중심으로 회전되었다. 도 11c는 다른 상이한 시점에서의 도 11a에서의 배열의 한 예를 나타낸 것이다. 이 시점에서, 핸드셋(H100)은, 음원(SR10)의 방향이 이제는 공간 섹터 1에 있도록, 중력축을 중심으로 회전되었다. 이들 2개의 경우에, 섹터 3으로부터 도착하는 신호 성분을 선택하도록 지향되어 있는 빔 패턴은 음원(SR10)과 관련하여 원하는 선택성을 제공하지 못할지도 모른다.

디바이스의 현재 배향에 관계없이, 원하는 방향 선택성을 유지하도록 공간 처리 모듈을 구현하는 것이 바람직할 수 있다. 예를 들어, 원하는 방향 및 중력축을 중심으로 한 디바이스의 현재 배향에 기초하여 빔 패턴을 선택하도록 공간 처리 모듈을 구성하는 것이 바람직할 수 있다.

도 12는 작업(T210, T220 및 T230)을 포함하는 방법(M100)의 구현예(M200)의 플로우차트를 나타낸 것이다. 제1 시점과 상이한 제3 시점에서, 작업(T210)은 휴대용 디바이스가 중력축에 직교인 제2 축(예컨대, 자기축)에 대해 제3 배향을 가진다는 것을 표시한다. 이 표시에 기초하여, 작업(T220)은 복수의 공간 선택적 필터링 동작 중의 제1 동작을 선택한다(예컨대, 한 세트의 빔 패턴 중의 하나를 선택한다). 작업(T230)은 제2 마이크 채널 쌍에 대해 선택된 공간 선택적 필터링 동작을 수행한다(예컨대, 선택된 빔 패턴을 채널 쌍에 적용한다).

도 13은 작업(T310, T320 및 T330)을 포함하는 방법(M200)의 구현예(M300)의 플로우차트를 나타낸 것이다. 제3 시점과 상이한 제4 시점에서, 작업(T310)은 휴대용 디바이스가 제3 배향과 상이한, 제2 축에 대해 제4 배향을 가진다는 것을 표시한다. 이 표시에 기초하여, 작업(T320)은 복수의 공간 선택적 필터링 동작 중의 제2 동작을 선택한다. 작업(T330)은 제2 마이크 채널 쌍에 대해 선택된 제2 공간 선택적 필터링 동작을 수행한다.

도 14a는 장치(A100)의 구현예(A200)의 블록도를 나타낸 것이다. 장치(A200)는 중력축에 직교인 제2 축(예컨대, 자기축)에 대한 휴대용 디바이스의 배향을 표시하도록 구성되어 있는 배향 센서(100)의 구현예(110)를 포함한다. 예를 들어, 배향 센서(100)는 중력축을 중심으로 한 디바이스의 회전을 표시하도록 구성되어 있을 수 있다. 장치(A200)는 또한, 제2 축에 대한 배향의 표시에 기초하여, 한 세트의 공간 선택적 필터(예컨대, 빔 패턴) 중 하나를 선택하고 선택된 필터를 마이크 채널 선택기(200)에 의해 선택된 마이크 채널에 적용하도록 구성되어 있는 공간 처리 모듈(300)을 포함하고 있다. 예를 들어, 공간 처리 모듈(300)은 선택가능 빔형성기로서(예컨대, 2개 이상의 사전 계산된 저장된 빔 패턴 중에서 선택하도록) 구현될 수 있다.

공간 처리 모듈(300)은 배향 표시 및 적어도 하나의 지정된 방향(예컨대, 원하는 음원의 방향 및/또는 간섭 음원의 방향)에 기초하여 빔 패턴을 선택하도록 구성되어 있을 수 있다. 공간 처리 모듈(300)은 또한 기준 배향(예컨대, 방향이 지정되었을 때 제2 축에 대한 휴대용 디바이스의 배향을 나타냄)을 저장하도록 구성되어 있을 수 있다. 이러한 경우에, 공간 처리 모듈(300)은 표시된 배향과 기준 배향 간의 차이를 계산하고, 이 차이를 지정된 방향으로부터 차감하여 목표 배향을 획득하며, 표시된 배향이 주어진 경우, 목표 방향 쪽으로 지향되어 있는 빔 패턴을 선택하도록 구성되어 있을 수 있다.

도 14c 및 도 14d는 이러한 동작의 한 예를 나타낸 것이고, 여기서 SD는 (예컨대, 도 14c의 시점에서 디바이스의 사용자에 의해 표시되는 바와 같은) 지정된 방향을 나타내고, TD는 목표 방향을 나타내며, 도면들은 위쪽에서(예컨대, 중력축을 따라) 본 것이다. 배향 O3는 방향 SD가 지정될 때의 디바이스의 배향이고, 배향 O4는 중력축을 중심으로 한 회전 이후의 디바이스의 배향이다. (배향 O3 및 O4가 이 예에서 디바이스의 디스플레이 표면에 현재 수직인 방향으로 나타내어져 있지만, 명확히 유의할 점은, 이 예가 비제한적이고, 문제의 이동에 의해 영향을 받지 않는 디바이스의 다른 방향 특성이 또한 디바이스 배향을 나타내는 데 사용될 수 있다는 것이다.) 도 14d의 시점에서 원하는 녹음 방향에서 선택성을 유지하기 위해, 공간 처리 모듈(300)은 목표 방향 TD 쪽으로 지향되어 있는 빔 패턴을 선택하도록 구성되어 있을 수 있다.

도 23a는 장치(MF100)의 구현예(MF200)의 블록도를 나타낸 것이다. 장치(MF200)는 제1 시점과 상이한 제3 시점에서, 휴대용 디바이스가 중력축에 직교인 제2 축에 대해 제3 배향을 가진다는 것을 표시하는 수단(F210)[예컨대, 작업(T210)을 참조하여 본 명세서에 기술됨]을 포함한다. 장치(MF200)는 또한 이 표시에 기초하여, 복수의 공간 선택적 필터링 동작 중의 제1 동작을 선택하는 수단(F220)[예컨대, 작업(T220)을 참조하여 본 명세서에 기술됨]을 포함한다. 장치(MF200)는 또한 제2 마이크 채널 쌍에 대해 선택된 공간 선택적 필터링 동작을 수행하는 수단(F230)[예컨대, 작업(T230)을 참조하여 본 명세서에 기술됨]을 포함한다. 도 23b는 마이크 채널 선택기(210)의 인스턴스를 포함하는 장치(A200)의 구현예(A210)의 블록도를 나타낸 것이다.

도 15b는 배향 센서(110) 및 공간 처리 모듈(300)을 포함하는 일반 구성에 따른 장치(A300)의 블록도를 나타낸 것이다. 이 경우에, 배향 센서(110)는 제2 축에 대한 휴대용 디바이스의 배향을 표시하도록(예컨대, 중력축을 중심으로 한 디바이스의 회전을 표시하도록) 구성되어 있고, 공간 처리 모듈(300)은 제2 축에 대한 배향의 표시에 기초하여, 한 세트의 공간 선택적 필터 중 하나를 선택하고 선택된 필터를 한 쌍의 마이크 채널에 적용하도록 구성되어 있다.

또한, 중력축을 중심으로 한 회전에 응답하여 상이한 마이크 쌍을 선택하는 것이 바람직할 수 있다. 도 9b는 중력축에 수평인 평면에서 공간 선택적인 녹음을 제공하기 위해 세로 보유 위치에서 사용될 수 있는 4개의 상이한 마이크 쌍(MF30-MR20, MF10-MR10, MF20-MR10 및 MF20-MF30)의 예를 나타낸 것이다. 도 10b는 중력축에 수평인 평면에서 공간 선택적인 녹음을 제공하기 위해 가로 보유 위치에서 사용될 수 있는 7개의 상이한 마이크 쌍(MF20-MR10, MF30-MR10, MF30-MR20, MF10-MR10, MR10-MR20, MF10-MF20 및 MF10-MF30)의 예를 나타낸 것이다. 어느 한 보유 위치에서, 대응하는 마이크 쌍 중에서의 선택은 중력축을 중심으로 한 디바이스의 현재 배향에 따라 수행될 수 있다. 예를 들어, 녹음을 위한 원하는 방향에 가장 가까운 세로 방향을 가지는 쌍, 억압을 위한 원하는 방향에 가장 가까운 세로 방향을 가지는 쌍, 또는 이러한 제약 조건 둘 다에 가장 가까운 세로 방향을 가지는 쌍을 선택하는 것이 바람직할 수 있다. 다른 대안으로서 또는 그에 부가하여, 디바이스의 틸트에 응답하여 상이한 마이크 쌍을 선택하는 것이 바람직할 수 있다.

도 15a는 작업(T210 및 T410)을 포함하는 방법(M100)의 이러한 구현예(M400)의 플로우차트를 나타낸 것이다. 제1 시점과 상이한 제3 시점에서, 작업(T210)은 휴대용 디바이스가 중력축에 직교인 제2 축(예컨대, 자기축)에 대해 제3 배향을 가진다는 것을 표시한다. 이 표시에 기초하여, 작업(T410)은 제1 쌍 및 제2 쌍과 상이한 휴대용 디바이스의 적어도 3개의 마이크 채널 중의 제3 쌍을 선택한다.

사용자의 손이 선택된 쌍에 대응하는 마이크들 중의 하나 이상의 마이크를 가로막고 원하는 공간 응답에 악영향을 줄 수 있는 것이 가능하다. 이러한 분리 실패를 검출하고(예컨대, 필터링된 출력의 감소를 검출하는 것에 의해 및/또는 선택된 빔 패턴의 출력을 유사한 방향에 있는 다른 빔 패턴의 출력과 비교하는 것에 의해) 이러한 검출에 응답하여 상이한 쌍을 선택하도록 녹음 동작을 구성하는 것이 바람직할 수 있다. 다른 대안으로서, 이러한 검출에 응답하여 상이한 빔 패턴을 선택하도록 녹음 동작을 구성하는 것이 바람직할 수 있다.

사용자 인터페이스는 수평면에서의 원하는 오디오 녹음 방향의 선택(예컨대, 2차원 선택)을 지원하도록 구성되어 있을 수 있고, 디바이스는 중력축(즉, 지표면에 수직인 축)을 중심으로 한 회전 내내 이 녹음 방향을 유지하도록 구성되어 있을 수 있다. 도 16은, 사용자에게 녹음 방향을 지정하라고 요청하기 위해 사용자 인터페이스 모듈에 의해 발생되고 디바이스의 디스플레이 화면 상에[예컨대, 핸드셋(H100)의 터치스크린(TS10) 상에] 디스플레이될 수 있는 선택 디스플레이의 한 예를 나타낸 것이다. 이 예에서, 사용자는 원하는 녹음 방향에 대응하는 아이콘을 선택하고, 사용자 인터페이스 모듈은 선택된 방향의 표시를 기록한다. 도 14b는 이러한 사용자 인터페이스 모듈(400)을 포함하는 장치(A200)의 구현예(A250)의 블록도를 나타낸 것이고, 도 15c는 사용자 인터페이스 모듈(400)의 인스턴스를 포함하는 장치(A300)의 구현예(A350)의 블록도를 나타낸 것이다.

앞서 살펴본 바와 같이, 또한, 선택이 행해지는 시점에서 (에컨대, 중력축에 직교인 평면에서의) 디바이스의 배향의 표시를 기록하는 것이 바람직할 수 있다. 예를 들어, 이러한 표시는 자기축에 대한 각도로서 기록될 수 있다. 공간 선택적 억압을 위한 간섭 음원의 방향의 선택이 유사한 방식으로 수행될 수 있다. 또한, 사용자 인터페이스 모듈이, 도 17에 도시된 바와 같이, 수평면(예컨대, 중력축에 수직인 평면)에 대한 디바이스의 현재 기울기에 따라 선택 디스플레이를 와핑(warping)하는 것에 의해, 선택되는 방향이 수평면에서의 방향이라는 것을 강조하는 것이 바람직할 수 있다. 도 16 및 도 17에 도시된 디스플레이가 2차원 선택(예컨대, 수평면에서의 방향의 선택)을 위해 사용될 수 있지만, 3차원에서의 원하는 방향 및/또는 간섭 방향의 선택이 또한 생각되고 있고 본 명세서에 개시되어 있다.

2차원(예컨대, 수평) 선택 또는 3차원 선택을 위해, 사용자 인터페이스는 포인트 앤 클릭(point-and-click) 선택을 하도록 구성되어 있을 수 있다. 예를 들어, 렌즈(L10)를 통해 현재 포착되고 있는 비디오 시퀀스가 터치스크린(TS10) 상에 디스플레이되는 동안, 사용자 인터페이스 모듈은, 디바이스를 이동시켜 목표물(예컨대, 십자선 또는 착색된 점)을 원하는 음원에 또는 원하는 방향에 위치시키고, 목표물이 적절히 위치되어 그 방향의 선택을 나타낼 때, 버튼 스위치를 클릭하거나 디스플레이 상의 선택 지점을 터치하라고 사용자에 요청하기 위해, 선택 디스플레이를 오버레이로서 구현할 수 있다. 도 18은 이러한 오버레이 선택 디스플레이의 한 예를 나타낸 것이다. 도 17에 도시된 선택 디스플레이가 이와 유사하게 오버레이 디스플레이로서 구현될 수 있다.

본 명세서에 기술된 배향 감지 녹음의 원리는 또한 머리에 쓰는 마이크(head-mounted microphone)를 사용하는 녹음 적용례로 확장될 수 있다. 이러한 경우에, 배향 센서(100)의 하나 이상의 머리에 쓰는 구현예를 사용하여 배향 추적을 수행하는 것이 바람직할 수 있다. 도 19a는 배향 센서(100)가 헤드폰 세트의 좌우 이어컵(ECL10 및 ECR10)을 연결시키는 헤드밴드(BD10)에 탑재되어 있는 한 예를 나타낸 것이다. 도 19b는 전방 마이크(MR10a) 및 후방 마이크(MR10b)가 이어컵 하우징의 곡면 부분을 따라 배치되어 있는 이어컵(ECR10)의 수평 단면을 나타낸 것이다. 이어컵(ECR10)은 또한 (예컨대, 무선으로 또는 유선으로 수신된 신호로부터 미디어 재생 또는 스트리밍 디바이스로) 사용자의 귀에 음향 신호를 생성하도록 배열되어 있는 스피커(LS10) 및 능동 잡음 제거(active noise cancellation)를 지원하기 위해 사용될 수 있는 오차 마이크(ME10)를 포함하고 있다. 이어컵의 구조를 통해 스피커로부터 기계적 진동을 받지 않도록 마이크를 절연시키는 것이 바람직할 수 있다. 이어컵(ECR10)은 개방형(supra-aural)(즉, 사용 중에 귀를 밀폐시키지 않고 사용자의 귀 위쪽에 놓임) 또는 밀폐형(circumaural)(즉, 사용 중에 사용자의 귀를 밀폐함)이도록 구성되어 있을 수 있다. 이어컵(ECR10)의 좌측 인스턴스(ECL10)가 유사하게 구성되어 있을 수 있다는 것을 잘 알 것이다. 본 명세서에 기술된 배향 감지 녹음 방법은 헤드폰 세트 내에[예컨대, 이어컵(ECR10)의 하우징 내에] 탑재되어 있는 프로세서에 의해, 또는 무선으로 또는 유선으로 마이크(MR10a 및 MR10b)로부터 정보를 수신하도록 구성된 디바이스에서 수행될 수 있다. 예를 들어, 이러한 프로세서 또는 디바이스는 배향 센서 이외의 장치(A100, A200 또는 A300)의 요소를 포함하도록 구현될 수 있다.

도 20은 음성 포착 및/또는 능동 잡음 제거(active noise cancellation, ANC) 등의 적용례를 지원하기 위해 3개의 마이크를 포함하는 스테레오 헤드셋(예컨대, 블루투스^TM 헤드셋)에 대한 관계된 사용 사례의 예시를 나타낸 것이다. 헤드셋(D100)은 중앙 마이크(MC10) 및 마이크들(ML10 및 MR10) 중의 한쪽 마이크를 포함하고 있으며, 사용자의 양쪽 귀 중 한쪽 귀에 착용되고, 헤드셋(D100)은 마이크들(ML10 및 MR10) 중의 다른쪽 마이크를 포함하고 있으며, 사용자의 양쪽 귀 중 다른쪽 귀에 착용된다. 이러한 적용례에 대해, 이러한 3-마이크 구성을 사용하여(예컨대, 도 20에 도시된 바와 같이, 무지향성 마이크를 사용하여) 녹음을 위한 머리 주위의 상이한 섹터들이 정의될 수 있다. 본 명세서에 기술된 배향 감지 녹음을 위해, 배향 센서(100)의 인스턴스가 헤드셋(D100 및 D110) 중 어느 한쪽 또는 양쪽 내에 구현될 수 있고, 이러한 방법은 헤드셋들 중 한쪽 헤드셋의 하우징 내에 탑재된 프로세서에 의해 또는 무선으로 또는 유선으로 마이크(MC10, ML10 및 MR10)로부터 정보를 수신하도록 구성되어 있는 디바이스에서 수행될 수 있다.

어레이(R100)가 마이크에 의해 생성된 신호에 대해 하나 이상의 처리 동작을 수행하여 [예컨대, 마이크 채널 선택기(200)에 의해] 선택될 마이크 채널을 생성하는 것이 바람직할 수 있다. 도 21a는, 각각의 채널이 대응하는 마이크의 음향 신호에 대한 응답에 기초하는 마이크 채널을 생성하기 위해, 임피던스 정합, 아날로그-디지털 변환, 이득 제어, 및/또는 아날로그 및/또는 디지털 영역에서의 필터링(이들로 제한되지 않음)을 포함할 수 있는 하나 이상의 이러한 동작을 수행하도록 구성되어 있는 오디오 전처리 스테이지(AP10)를 포함하는 어레이(R100)의 구현예(R200)의 블록도를 나타낸 것이다.

도 21b는 어레이(R200)의 구현예(R210)의 블록도를 나타낸 것이다. 어레이(R210)는 아날로그 전처리 스테이지(P10a 및 P10b)를 포함하는 오디오 전처리 스테이지(AP10)의 구현예(AP20)를 포함하고 있다. 한 예에서, 스테이지(P10a 및 P10b) 각각은 대응하는 마이크 신호에 대해 고역 통과 필터링 동작(예컨대, 50, 100 또는 200 Hz의 차단 주파수를 가짐)을 수행하도록 구성되어 있다.

어레이(R100)가 각각의 마이크 채널을 디지털 신호로서, 즉 샘플 시퀀스로서 생성하는 것이 바람직할 수 있다. 어레이(R210)는, 예를 들어, 아날로그-디지털 변환기(ADC)(C10a 및 C10b) - 각각이 대응하는 아날로그 채널을 샘플링하도록 배열되어 있음 - 를 포함하고 있다. 음향 응용에 대한 통상적인 샘플링 레이트는 8 kHz, 12 kHz, 16 kHz 및 약 8 내지 약 16 kHz의 범위에 있는 기타 주파수를 포함하고 있지만, 약 44.1, 48, 및 192 kHz와 같이 높은 샘플링 레이트도 사용될 수 있다. 이 특정의 예에서, 어레이(R210)는 또한 각각이 대응하는 디지털화된 채널에 대해 하나 이상의 전처리 동작(예컨대, 반향 제거, 잡음 감소, 및/또는 스펙트럼 정형)을 수행하여 대응하는 마이크 채널(CM1, CM2)을 생성하도록 구성되어 있는 디지털 전처리 스테이지(P20a 및 P20b)를 포함하고 있다. 그에 부가하여 또는 다른 대안으로서, 디지털 전처리 스테이지(P20a 및 P20b)는 대응하는 디지털화된 채널에 대해 주파수 변환(예컨대, FFT 또는 MDCT 동작)을 수행하여 대응하는 주파수 영역에서의 대응하는 마이크 채널(CM1, CM2)을 생성하도록 구현될 수 있다. 도 21a 및 도 21b가 2 채널 구현예를 나타내고 있지만, 동일한 원리가 임의의 수의 마이크 및 대응하는 마이크 채널(예컨대, 본 명세서에 기술된 것과 같은 어레이(R100)의 3 채널, 4 채널 또는 5 채널 구현예)로 확장될 수 있다는 것을 잘 알 것이다. 또한, 명백히 유의할 점은, 어레이(R100)의 처리 요소들 중 일부 또는 전부가 장치(A100, MF100 또는 A300) 내에[예컨대, 공간 처리 모듈(300) 내와 같이 마이크 채널 선택기(200)의 후단에서] 구현될 수 있다는 것이다.

어레이(R100)의 각각의 마이크는 무지향성(omnidirectional), 양지향성(bidirectional), 또는 단일 지향성(unidirectional)(예컨대, 카디오이드)인 응답을 가질 수 있다. 어레이(R100)에서 사용될 수 있는 다양한 유형의 마이크는 압전 마이크(piezoelectric microphone), 다이나믹 마이크(dynamic microphone), 및 일렉트렛 마이크(electret microphone)(이들로 제한되지 않음)를 포함한다. 핸드셋 또는 헤드셋 등의 휴대용 음성 통신 디바이스에서, 어레이(R100)의 인접한 마이크 사이의 중심간 간격은 통상적으로 약 1.5 cm 내지 약 4.5 cm의 범위에 있지만, 핸드셋 또는 스마트폰 등의 디바이스에서는 더 큰 간격(예컨대, 최대 10 또는 15 cm)도 가능하고, 태블릿 컴퓨터 등의 디바이스에서는 훨씬 더 큰 간격(예컨대, 최대 20, 25 또는 30 cm 또는 그 이상)이 가능하다. 원거리 응용의 경우, 어레이(R100)의 인접한 마이크 사이의 중심간 간격은 통상적으로 약 4 내지 10 cm의 범위에 있지만, 인접한 마이크 쌍들 중 적어도 일부 사이의 더 큰 간격(예컨대, 최대 20, 30, 또는 40 cm 또는 그 이상)이 또한 평판 텔레비전 디스플레이 등의 디바이스에서 가능하다. 어레이(R100)의 마이크는 선을 따라 (균일한 또는 불균일한 마이크 간격으로), 또는 다른 대안으로서, 그의 중심이 2차원(예컨대, 삼각형) 또는 3차원 형상의 정점에 있도록 배열될 수 있다.

어레이(R100)를 참조하여 본 명세서에 기술된 개시 내용이 휴대용 디바이스의 마이크들의 임의의 조합에 적용될 수 있다. 예를 들어, 본 명세서에 기술된 디바이스의 마이크들 중의 임의의 2개 이상의 마이크가 어레이(R100)의 구현예로서 사용될 수 있다.

명백히 유의할 점은, 마이크가 보다 일반적으로 사운드 이외의 방사선 또는 방출물에 민감한 트랜스듀서로서 구현될 수 있다는 것이다. 하나의 이러한 예에서, 마이크 쌍은 한 쌍의 초음파 트랜스듀서(예컨대, 15, 20, 25, 30, 40 또는 50 kHz 또는 그 이상보다 큰 음향 주파수에 민감한 트랜스듀서)로서 구현되어 있다.

음향 신호를 수신하도록 구성되어 있는 2개 이상의 마이크의 어레이(R100)를 가지는 휴대용 오디오 감지 디바이스 내에서 본 명세서에 기술된 방법을 수행하는 것이 바람직할 수 있다. 이러한 어레이를 포함하도록 구현될 수 있고 오디오 녹음 및/또는 음성 통신 응용을 위한 이러한 방법을 수행하는 데 사용될 수 있는 휴대용 오디오 감지 디바이스의 예는 전화 핸드셋(예컨대, 셀룰러 전화 핸드셋); 유선 또는 무선 헤드셋(예컨대, 블루투스 헤드셋); 핸드헬드 오디오 및/또는 비디오 레코더; 오디오 및/또는 비디오 콘텐츠를 레코딩하도록 구성되어 있는 개인 미디어 플레이어(personal media player); PDA(personal digital assistant) 또는 다른 핸드헬드 컴퓨팅 디바이스; 및 노트북 컴퓨터, 랩톱 컴퓨터, 넷북 컴퓨터, 태블릿 컴퓨터, 또는 다른 휴대용 컴퓨팅 디바이스를 포함한다. 휴대용 컴퓨팅 디바이스의 부류는 현재 랩톱 컴퓨터, 노트북 컴퓨터, 넷북 컴퓨터, 울트라 포터블 컴퓨터, 태블릿 컴퓨터, 모바일 인터넷 디바이스, 스마트북, 및 스마트폰 등의 이름을 가지는 디바이스를 포함한다. 이러한 디바이스는 디스플레이 화면을 포함하는 상부 패널 및 키보드를 포함할 수 있는 하부 패널을 가질 수 있고, 여기서 2개의 패널은 클램쉘(clamshell) 또는 기타 힌지로 결합된(hinged) 관계로 연결되어 있을 수 있다. 이러한 디바이스는 상부 표면 상에 터치스크린 디스플레이를 포함하는 태블릿 컴퓨터와 유사하게 구현될 수 있다.

도 22a는 일반 구성에 따른 다중 마이크 오디오 감지 디바이스(D10)의 블록도를 나타낸 것이다. 디바이스(D10)는 본 명세서에 개시된 마이크 어레이(R100)의 구현예들 중 임의의 것의 인스턴스 및 본 명세서에 개시된 장치(A100 또는 A300)(또는 MF100)의 구현예들 중 임의의 것의 인스턴스를 포함하고 있고, 본 명세서에 개시된 오디오 감지 디바이스들 중 임의의 것이 디바이스(D10)의 인스턴스로서 구현될 수 있다. 장치(A100)는 하드웨어(예컨대, 프로세서)와 소프트웨어 및/또는 펌웨어와의 조합으로서 구현될 수 있다.

도 22b는 디바이스(D10)의 구현예인 통신 디바이스(D20)의 블록도를 나타낸 것이다. 디바이스(D20)는 본 명세서에 기술된 것과 같은 장치(A100)(또는 MF100)의 구현예를 포함하는 칩 또는 칩셋(CS10)[예컨대, MSM(mobile station modem, 이동국 모뎀) 칩셋]을 포함하고 있다. 칩/칩셋(CS10)은 장치(A100 또는 MF100)의 동작의 전부 또는 일부를 (예컨대, 명령어로서) 실행하도록 구성되어 있을 수 있는 하나 이상의 프로세서를 포함할 수 있다. 칩/칩셋(CS10)은 또한 어레이(R100)의 처리 요소[예컨대, 이하에 기술된 것과 같은 오디오 전처리 스테이지(AP10)의 요소]를 포함할 수 있다.

칩/칩셋(CS10)은 무선 주파수(RF) 통신 신호를 [예컨대, 안테나(C40)를 통해] 수신하고 RF 신호 내에 인코딩된 오디오 신호를 디코딩하여 [예컨대, 스피커(SP10)를 통해] 재생하도록 구성되어 있는 수신기를 포함하고 있다. 칩/칩셋(CS10)은 또한 장치(A100)(예컨대, 공간 선택적 필터링된 신호)에 의해 생성된 출력 신호에 기초하는 오디오 신호를 인코딩하고 인코딩된 오디오 신호를 나타내는 RF 통신 신호를 [예컨대, 안테나(C40)를 통해] 전송하도록 구성되어 있는 송신기를 포함하고 있다. 예를 들어, 칩/칩셋(CS10)의 하나 이상의 프로세서는, 인코딩된 오디오 신호가 잡음 감소된 신호에 기초하도록, 출력 신호의 하나 이상의 채널에 대해 잡음 감소 동작(예컨대, 앞서 기술된 바와 같은 잡음 기준을 사용하는 Wiener 필터링 또는 스펙트럼 차감)을 수행하도록 구성되어 있을 수 있다. 이 예에서, 디바이스(D20)는 또한 사용자 제어 및 상호작용을 지원하기 위해 키패드(C10) 및 디스플레이(C20)를 포함하고 있다. 본 명세서에 개시된 시스템, 방법 및 장치의 적용성이 본 명세서에서 살펴본 특정의 예로 제한되지 않는다는 것이 명백히 개시되어 있다.

본 명세서에 개시된 방법 및 장치가 일반적으로 임의의 송수신 및/또는 오디오 감지 응용, 특히 이러한 응용의 모바일 또는 다른 휴대용 인스턴스에 적용될 수 있다. 예를 들어, 본 명세서에서 개시되는 구성의 범위는 코드 분할 다중 접속(CDMA) 공중파 인터페이스를 이용하도록 구성된 무선 전화 통신 시스템 내에 존재하는 통신 디바이스를 포함한다. 그러나, 이 기술 분야의 당업자라면 본 명세서에서 설명되는 바와 같은 특징들을 갖는 방법 및 장치가 유선 및/또는 무선(예를 들어, CDMA, TDMA, FDMA 및/또는 TD-SCDMA) 전송 채널을 통해 VoIP(Voice over IP)를 이용하는 시스템과 같이 이 기술 분야의 당업자에게 알려진 광범위한 기술을 이용하는 임의의 다양한 통신 시스템 내에 존재할 수 있다는 것을 잘 알 것이다.

본 명세서에서 개시되는 통신 디바이스는 패킷 교환 네트워크(예를 들어, VoIP와 같은 프로토콜에 따라 오디오 전송을 전달하도록 배열된 유선 및/또는 무선 네트워크) 및/또는 회선 교환 네트워크에서 사용되도록 구성될 수 있다는 점이 명백히 고려되고 본 명세서에 개시되어 있다. 또한, 본 명세서에 개시되어 있는 통신 디바이스는 협대역 코딩 시스템(예를 들어, 약 4 또는 5 kHz의 오디오 주파수 범위를 인코딩하는 시스템)에서 사용되도록 및/또는 전체 대역 광대역 코딩 시스템 및 분할 대역 광대역 코딩 시스템을 포함하는 광대역 코딩 시스템(예를 들어, 5 kHz보다 높은 오디오 주파수를 인코딩하는 시스템)에서 사용되도록 구성될 수 있다는 점이 명백히 고려되고 본 명세서에 개시되어 있다.

기술된 구성에 대한 이상의 제시는 이 기술 분야의 당업자가 본 명세서에 개시되는 방법 및 기타 구조를 실시하거나 이용할 수 있게 하기 위해 제공된다. 본 명세서에 도시되고 설명되는 흐름도, 블록도 및 기타 구조는 예시를 위한 것에 불과하고, 이러한 구조의 다른 변형들도 본 발명의 범위 내에 있다. 이러한 구성에 대한 다양한 변경들이 가능하며, 본 명세서에서 설명되는 일반 원리가 다른 구성들에도 적용될 수 있다. 따라서, 본 발명은 전술한 구성들로 한정되는 것을 의도하는 것이 아니라, 최초 명세서의 일부를 형성하는 출원시의 첨부된 청구항들에서 개시되는 것을 포함하여, 본 명세서에서 임의의 방식으로 개시되는 원리 및 새로운 특징과 일치하는 가장 넓은 범위를 부여받아야 한다.

이 기술 분야의 당업자들은 정보 또는 신호가 임의의 다양한 상이한 기술 및 기법을 이용하여 표현될 수 있다는 것을 잘 알 것이다. 예를 들어, 상기 설명 전반에서 참조될 수 있는 데이터, 명령어, 명령, 정보, 신호, 비트 및 심볼은 전압, 전류, 전자기파, 자기장 또는 입자, 광학 장 또는 입자 또는 이들의 임의의 조합에 의해 표현될 수 있다.

본 명세서에서 개시되는 바와 같은 구성의 구현을 위한 중요한 설계 요건은 특히, 압축된 오디오 또는 시청각 정보(예를 들어, 본 명세서에서 식별되는 예들 중 하나와 같은 압축 포맷에 따라 인코딩된 파일 또는 스트림)의 재생과 같은 계산 집약적인 응용 또는 광대역 통신(예를 들어, 12, 16 또는 44 kHz와 같은 8 kHz보다 높은 샘플링 레이트에서의 음성 통신)을 위한 응용을 위해 처리 지연 및/또는 계산 복잡성(통상적으로 초당 수백 만개의 명령어, 즉 MIPS 단위로 측정됨)을 최소화하는 것을 포함할 수 있다.

다중 마이크 처리 시스템의 목표는 10 내지 12 dB의 전체 잡음 감소를 달성하는 것, 원하는 스피커의 움직임 동안 음성 레벨 및 컬러를 유지하는 것, 적극적인 잡음 제거 대신에 잡음이 배경 내로 이동하였다는 지각을 획득하는 것, 음성의 잔향 제거(dereverberation) 및/또는 더 적극적인 잡음 감소를 위해 후처리의 옵션을 가능하게 하는 것을 포함할 수 있다.

본 명세서에서 개시되는 바와 같은 장치[예컨대, 장치(A100, A200, A300 및 MF100)]의 구현예의 다양한 요소들은 의도된 응용에 적합한 것으로 간주되는 하드웨어와 소프트웨어 및/또는 펌웨어의 임의의 조합으로 구현될 수 있다. 예를 들어, 이러한 요소들은, 예를 들어, 동일 칩 상에 또는 칩셋 내의 2개 이상의 칩 사이에 존재하는 전자 및/또는 광학 디바이스로서 제조될 수 있다. 그러한 디바이스의 일례는 트랜지스터 또는 논리 게이트와 같은 논리 요소들의 고정 또는 프로그래밍 가능 어레이이며, 이들 요소 중 임의의 요소는 하나 이상의 그러한 어레이로서 구현될 수 있다. 이들 요소 중 임의의 2개 이상 또는 심지어 전부가 동일한 어레이 또는 어레이들 내에 구현될 수 있다. 그러한 어레이 또는 어레이들은 하나 이상의 칩 내에(예를 들어, 둘 이상의 칩을 포함하는 칩셋 내에) 구현될 수 있다.

본 명세서에서 개시되는 장치의 다양한 구현들의 하나 이상의 요소는 또한, 전체적으로 또는 부분적으로, 마이크로프로세서, 내장 프로세서, IP 코어, 디지털 신호 처리기, FPGA(field-programmable gate array), ASSP(application-specific standard product) 및 ASIC(application-specific integrated circuit)과 같은 논리 요소들의 하나 이상의 고정 또는 프로그래밍가능 어레이 상에서 실행되도록 배열된 하나 이상의 명령어 세트로서 구현될 수 있다. 본 명세서에서 개시되는 바와 같은 장치의 일 구현의 임의의 다양한 요소는 또한 하나 이상의 컴퓨터(예를 들어, 하나 이상의 명령어 세트 또는 시퀀스를 실행하도록 프로그래밍되는 하나 이상의 어레이를 포함하는 기계, "프로세서"라고도 함)로서 구현될 수 있으며, 이들 요소 중 임의의 둘 이상 또는 심지어 전부가 동일한 그러한 컴퓨터 또는 컴퓨터들 내에 구현될 수 있다.

본 명세서에서 개시되는 바와 같은 처리를 위한 프로세서 또는 다른 수단은 예를 들어 동일 칩 상에 또는 칩셋 내의 둘 이상의 칩 사이에 존재하는 하나 이상의 전자 및/또는 광학 디바이스로서 제조될 수 있다. 그러한 디바이스의 일례는 트랜지스터 또는 논리 게이트와 같은 논리 요소들의 고정 또는 프로그래밍 가능 어레이이며, 이들 요소 중 임의의 요소는 하나 이상의 그러한 어레이로서 구현될 수 있다. 그러한 어레이 또는 어레이들은 하나 이상의 칩 내에(예를 들어, 둘 이상의 칩을 포함하는 칩셋 내에) 구현될 수 있다. 그러한 어레이들의 예들은 마이크로프로세서, 내장 프로세서, IP 코어, DSP, FPGA, ASSP 및 ASIC과 같은 논리 요소의 고정 또는 프로그래밍 가능 어레이를 포함한다. 본 명세서에서 개시되는 바와 같은 처리를 위한 프로세서 또는 다른 수단은 또한 하나 이상의 컴퓨터(예를 들어, 하나 이상의 명령어 세트 또는 시퀀스를 실행하도록 프로그래밍되는 하나 이상의 어레이를 포함하는 기계들) 또는 다른 프로세서들로서 구현될 수 있다. 프로세서가 내장된 디바이스 또는 시스템(예컨대, 오디오 감지 디바이스)의 다른 동작에 관련된 작업 등 배향 감지 녹음 절차에 직접 관계되지 않은 다른 명령어 세트들을 실행하거나 작업들을 수행하기 위해 본 명세서에 기술된 것과 같은 프로세서가 사용되는 것이 가능하다. 본 명세서에서 설명되는 바와 같은 방법의 일부는 오디오 감지 디바이스의 프로세서에 의해 수행되고, 방법의 다른 부분은 하나 이상의 다른 프로세서의 제어 하에 수행되는 것도 가능하다.

이 기술 분야의 당업자들은 본 명세서에서 개시되는 구성들과 관련하여 설명되는 다양한 예시적인 모듈, 논리 블록, 회로 및 테스트 및 다른 동작들이 전자 하드웨어, 컴퓨터 소프트웨어 또는 이 둘의 조합으로서 구현될 수 있다는 것을 알 것이다. 이러한 모듈, 논리 블록, 회로 및 동작은 범용 프로세서, 디지털 신호 처리기(DSP), ASIC 또는 ASSP, FPGA 또는 다른 프로그래밍가능 논리 디바이스, 개별 게이트 또는 트랜지스터 논리, 개별 하드웨어 구성요소, 또는 본 명세서에 개시되는 바와 같은 구성을 생성하도록 설계된 이들의 임의의 조합을 이용하여 구현 또는 수행될 수 있다. 예를 들어, 그러한 구성은 하드-와이어드 회로로서, 주문형 집적 회로 내에 제조된 회로 구성으로서, 또는 비휘발성 저장 장치 내에 로딩된 펌웨어 프로그램 또는 데이터 저장 매체로부터 또는 그 안에 기계 판독 가능 코드로서 로딩된 소프트웨어 프로그램으로서 적어도 부분적으로 구현될 수 있으며, 그러한 코드는 범용 프로세서 또는 다른 디지털 신호 처리 유닛과 같은 논리 요소들의 어레이에 의해 실행될 수 있는 명령어이다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안으로서, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로컨트롤러 또는 상태 기계일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 연계된 하나 이상의 마이크로프로세서 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 플래시 RAM과 같은 비휘발성 RAM(NVRAM), 소거 및 프로그래밍 가능한 ROM(EPROM), 전기적으로 소거 및 프로그래밍 가능한 ROM(EEPROM), 레지스터, 하드 디스크, 이동식 디스크, CD-ROM에 또는 이 기술 분야에 공지된 임의의 다른 형태의 저장 매체에 존재할 수 있다. 예시적인 저장 매체가 프로세서에 결합되며, 따라서 프로세서는 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있다. 대안으로서, 저장 매체는 프로세서와 일체일 수 있다. 프로세서와 저장 매체는 ASIC 내에 위치할 수 있다. ASIC은 사용자 단말기 내에 위치할 수 있다. 대안으로서, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 구성요소로서 존재할 수 있다.

본 명세서에서 개시되는 다양한 방법이 프로세서와 같은 논리 요소들의 어레이에 의해 수행될 수 있고, 본 명세서에서 설명되는 바와 같은 장치의 다양한 요소들이 이러한 어레이 상에서 실행되도록 설계된 모듈로서 구현될 수 있다는 점에 유의한다. 본 명세서에서 사용될 때, "모듈" 또는 "서브모듈"이라는 용어는 소프트웨어, 하드웨어 또는 펌웨어 형태의 컴퓨터 명령어(예를 들어, 논리 표현)를 포함하는 임의의 방법, 장치, 디바이스, 유닛 또는 컴퓨터 판독 가능 데이터 저장 매체를 지칭할 수 있다. 동일 기능을 수행하기 위해 다수의 모듈 또는 시스템이 하나의 모듈 또는 시스템으로 결합될 수 있고, 하나의 모듈 또는 시스템이 다수의 모듈 또는 시스템으로 분할될 수 있다는 것을 이해해야 한다. 소프트웨어 또는 다른 컴퓨터 실행 가능 명령어에서 구현될 때, 본질적으로 프로세스의 요소들은 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등과 더불어 관련 작업들을 수행하기 위한 코드 세그먼트이다. "소프트웨어"라는 용어는 소스 코드, 어셈블리 언어 코드, 기계 코드, 이진 코드, 펌웨어, 매크로코드, 마이크로코드, 논리 요소들의 어레이에 의해 실행 가능한 임의의 하나 이상의 명령어 세트 또는 시퀀스 및 이러한 예들의 임의 조합을 포함하는 것으로 이해되어야 한다. 프로그램 또는 코드 세그먼트는 프로세서 판독가능 매체에 저장되거나, 전송 매체 또는 통신 링크를 통해 반송파에 구현된 컴퓨터 데이터 신호에 의해 전송될 수 있다.

본 명세서에서 개시되는 방법, 방식 및 기술의 구현은 논리 요소들의 어레이(예를 들어, 프로세서, 마이크로프로세서, 마이크로컨트롤러, 또는 다른 유한 상태 기계)를 포함하는 기계에 의해 판독 가능한 및/또는 실행 가능한 하나 이상의 명령어 세트로서 유형적으로 (예를 들어, 본 명세서에 열거된 바와 같은 하나 이상의 컴퓨터 판독 가능 매체에) 구현될 수 있다. "컴퓨터 판독 가능 매체"라는 용어는 정보를 저장하거나 전송할 수 있는, 휘발성, 비휘발성, 이동식 및 비이동식 매체를 포함하는 임의의 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체의 예들은 전자 회로, 반도체 메모리 디바이스, ROM, 플래시 메모리, 소거 가능 ROM(EROM), 플로피 디스켓 또는 다른 자기 저장 장치, CD-ROM/DVD 또는 다른 광학 저장 장치, 하드 디스크, 광섬유 매체, 라디오 주파수(RF) 링크, 또는 원하는 정보를 저장하는 데 사용될 수 있고 액세스될 수 있는 임의의 다른 매체를 포함한다. 컴퓨터 데이터 신호는 전자 네트워크 채널, 광섬유, 공기, 전자기파, RF 링크 등과 같은 전송 매체를 통해 전송될 수 있는 임의의 신호를 포함할 수 있다. 코드 세그먼트는 인터넷 또는 인트라넷과 같은 컴퓨터 네트워크를 통해 다운로드될 수 있다. 어느 경우에나, 본 발명의 범위는 그러한 실시예들에 의해 한정되는 것으로 해석되지 않아야 한다.

본 명세서에서 설명되는 방법들의 작업들 각각은 하드웨어에서 직접, 프로세서에 의해 실행되는 소프트웨어 모듈에서 또는 이 둘의 조합에서 구현될 수 있다. 본 명세서에서 개시되는 바와 같은 방법의 일 구현의 통상적인 응용에서는, 논리 요소들(예를 들어, 논리 게이트들)의 어레이가 방법의 다양한 작업들 중 하나, 둘 이상 또는 심지어 전부를 수행하도록 구성된다. 작업들 중 하나 이상(아마도 전부)은 또한 논리 요소들의 어레이(예를 들어, 프로세서, 마이크로프로세서, 마이크로컨트롤러 또는 다른 유한 상태 기계)를 포함하는 기계(예를 들어, 컴퓨터)에 의해 판독 및/또는 실행될 수 있는 컴퓨터 프로그램 제품(예를 들어, 디스크, 플래시 또는 다른 비휘발성 메모리 카드, 반도체 메모리 칩 등과 같은 하나 이상의 데이터 저장 매체) 내에 구현되는 코드(예를 들어, 하나 이상의 명령어 세트)로서 구현될 수 있다. 본 명세서에서 개시되는 바와 같은 방법의 일 구현의 작업들은 또한 둘 이상의 그러한 어레이 또는 기계에 의해 수행될 수 있다. 이들 또는 다른 구현들에서, 작업들은 무선 통신 능력을 갖는 셀룰러 전화 또는 다른 디바이스와 같은 무선 통신을 위한 디바이스 내에서 수행될 수 있다. 그러한 디바이스는 (예를 들어, VoIP와 같은 하나 이상의 프로토콜을 이용하여) 회선 교환 및/또는 패킷 교환 네트워크들과 통신하도록 구성될 수 있다. 예를 들어, 그러한 디바이스는 인코딩된 프레임들을 수신 및/또는 송신하도록 구성된 RF 회로를 포함할 수 있다.

본 명세서에서 개시되는 다양한 방법들은 휴대용 통신 디바이스(핸드셋, 헤드셋, 또는 PDA(portable digital assistant) 등)에 의해 수행될 수 있으며, 본 명세서에서 설명되는 다양한 장치들은 그러한 디바이스 내에 포함될 수 있다는 것이 명백히 개시되어 있다. 통상적인 실시간(예를 들어, 온라인) 응용은 그러한 이동 디바이스를 이용하여 수행되는 전화 통화이다.

하나 이상의 예시적인 실시예에서, 본 명세서에서 설명되는 동작들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의 조합에서 구현될 수 있다. 소프트웨어에서 구현되는 경우, 그러한 동작들은 컴퓨터 판독 가능 매체 상에 하나 이상의 명령어 또는 코드로서 저장되거나 그를 통해 전송될 수 있다. "컴퓨터 판독가능 매체"라는 용어는 컴퓨터 프로그램을 한 곳에서 다른 곳으로 전달하는 것을 용이하게 해주는 임의의 매체를 비롯한 컴퓨터 저장 매체 및 통신 매체 둘 다를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 이용가능한 매체라면 어느 것이라도 될 수 있다. 제한이 아니라 예로서, 이러한 컴퓨터 판독가능 매체는 명령어 또는 데이터 구조 형태의 원하는 프로그램 코드를 컴퓨터에 의해 액세스될 수 있는 유형적 구조로 저장하는 데 사용될 수 있는 반도체 메모리(동적 또는 정적 RAM, ROM, EEPROM 및/또는 플래시 RAM을 포함할 수 있지만 이에 한정되지 않음), 또는 강유전성, 자기 저항, 오보닉, 중합체 또는 상변화 메모리; CD-ROM 또는 기타 광 디스크 저장 장치, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 임의의 다른 매체 등의 저장 요소의 어레이를 포함할 수 있다. 또한, 임의의 접속도 적절히 컴퓨터 판독 가능 매체로서 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 트위스트 쌍, 디지털 가입자 회선(DSL), 또는 적외선, 라디오 및/또는 마이크로파와 같은 무선 기술을 이용하여 웹사이트, 서버 또는 다른 원격 소스로부터 전송되는 경우, 동축 케이블, 광섬유 케이블, 트위스트 쌍, DSL, 또는 적외선, 라디오 및/또는 마이크로파와 같은 무선 기술은 매체의 정의 내에 포함된다. 본 명세서에서 사용되는 바와 같은 디스크(disk, disc)는 컴팩트 디스크(compact disc; CD), 레이저 디스크(disc), 광 디스크(disc), 디지털 다기능 디스크(digital versatile disc; DVD), 플로피 디스크(floppy disk) 및 블루레이 디스크(Blu-ray Disc)(상표)(Blu-Ray Disc Association, Universal City, CA)를 포함하며, 여기서 디스크(disk)는 일반적으로 데이터를 자기적으로 재생하고, 디스크(disc)는 데이터를 레이저를 이용하여 광학적으로 재생한다. 위의 것들의 조합들도 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.

본 명세서에 기술된 바와 같은 음향 신호 처리 장치는 특정의 동작을 제어하기 위하여 음성 입력을 수신하는 전자 디바이스 내에 통합될 수 있거나, 통신 디바이스와 같은 배경 잡음으로부터의 원하는 잡음의 분리로부터 이익을 얻을 수 있다. 많은 응용은 다수의 방향으로부터 발생하는 배경 사운드들로부터 선명한 원하는 사운드를 분리하거나 향상시키는 것으로부터 이익을 얻을 수 있다. 그러한 응용들은 음성 인식 및 검출, 음성 향상 및 분리, 음성 작동 제어 등과 같은 능력들을 포함하는 전자 또는 컴퓨팅 디바이스들 내의 사람-기계 인터페이스들을 포함할 수 있다. 제한된 처리 능력들만을 제공하는 디바이스들에 적합하도록 그러한 음향 신호 처리 장치를 구현하는 것이 바람직할 수 있다.

본 명세서에서 설명되는 모듈들, 요소들 및 디바이스들의 다양한 구현들의 요소들은 예를 들어 동일 칩 상에 또는 칩셋 내의 둘 이상의 칩 사이에 존재하는 전자 및/또는 광학 디바이스들로서 제조될 수 있다. 그러한 디바이스의 일례는 트랜지스터 또는 게이트와 같은 논리 요소들의 고정 또는 프로그래밍 가능 어레이이다. 본 명세서에서 설명되는 장치의 다양한 구현들의 하나 이상의 요소는 또한 마이크로프로세서, 내장 프로세서, IP 코어, 디지털 신호 프로세서, FPGA, ASSP 및 ASIC과 같은 논리 요소들의 하나 이상의 고정 또는 프로그래밍 가능 어레이 상에서 실행되도록 배열되는 하나 이상의 명령어 세트로서 완전히 또는 부분적으로 구현될 수 있다.

본 명세서에서 설명되는 바와 같은 장치의 일 구현의 하나 이상의 요소는 장치가 내장된 디바이스 또는 시스템의 다른 동작과 관련된 작업과 같이 장치의 동작과 직접 관련되지 않은 다른 명령어 세트들을 실행하거나 작업들을 수행하는 데 사용될 수 있다. 그러한 장치의 일 구현의 하나 이상의 요소는 공통 구조를 갖는 것도 가능하다(예를 들어, 상이한 시간들에 상이한 요소들에 대응하는 코드의 부분들을 실행하는 데 사용되는 프로세서, 상이한 시간들에 상이한 요소들에 대응하는 작업들을 수행하도록 실행되는 명령어들의 세트, 또는 상이한 시간들에 상이한 요소들에 대한 동작들을 수행하는 전자 및/또는 광학 디바이스들의 배열).

Claims

배향 감지 녹음 제어 방법으로서,
휴대용 디바이스 내에서 제1 시점에서, 상기 휴대용 디바이스가 중력축에 대해 제1 배향을 가진다는 것을 표시하는 단계;
상기 휴대용 디바이스가 상기 제1 배향을 가진다는 상기 표시에 기초하여, 상기 휴대용 디바이스의 적어도 3개의 마이크 채널 중의 제1 마이크 채널 쌍을 선택하는 단계;
상기 휴대용 디바이스 내에서 상기 제1 시점에 후속하는 제2 시점에서, 상기 휴대용 디바이스가 상기 제1 배향과 상이한, 상기 중력축에 대해 제2 배향을 가진다는 것을 표시하는 단계; 및
상기 휴대용 디바이스가 상기 제2 배향을 가진다는 상기 표시에 기초하여, 상기 제1 마이크 채널 쌍과 상이한 상기 적어도 3개의 마이크 채널 중의 제2 마이크 채널 쌍을 선택하는 단계를 포함하고,
상기 적어도 3개의 마이크 채널 각각이 상기 휴대용 디바이스의 적어도 3개의 마이크 중의 대응하는 마이크에 의해 생성되는 신호에 기초하는 방법.
제1항에 있어서, 상기 제1 마이크 채널 쌍이 제1 마이크 채널을 포함하고, 상기 제2 마이크 채널 쌍이 상기 제1 마이크 채널을 포함하는 방법.
제1항 또는 제2항에 있어서, 상기 휴대용 디바이스가 상기 제2 배향을 가진다는 것을 표시하는 상기 단계가 상기 중력축에 직교인 선을 중심으로 상기 휴대용 디바이스의 회전을 검출하는 단계를 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 휴대용 디바이스가 상기 제2 배향을 가진다는 것을 표시하는 상기 단계가 상기 중력축에 직교인 선을 중심으로 적어도 45도 만큼의 상기 휴대용 디바이스의 회전을 검출하는 단계를 포함하는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 방법이 상기 제1 및 제2 시점을 포함하는 시간 구간 동안, 상기 휴대용 디바이스의 촬상 센서에 의해 생성되는 신호에 기초하는 비디오 영상 시퀀스를 녹화하는 단계를 포함하는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 방법이
상기 제1 시점에 후속하는 제3 시점에서, 상기 휴대용 디바이스가 상기 중력축에 직교인 제2 축에 대해 제3 배향을 가진다는 것을 표시하는 단계;
상기 휴대용 디바이스가 상기 제3 배향을 가진다는 상기 표시에 기초하여, 복수의 공간 선택적 필터링 동작 중의 제1 공간 선택적 필터링 동작을 선택하는 단계; 및
상기 제2 마이크 채널 쌍에 대해 상기 선택된 공간 선택적 필터링 동작을 수행하는 단계를 포함하는 방법.
제6항에 있어서, 상기 복수의 공간 선택적 필터링 동작 중의 상기 제1 공간 선택적 필터링 동작을 선택하는 상기 단계가 상기 중력축에 직교인 평면에서의 지정된 방향에 기초하는 방법.
제6항에 있어서, 상기 휴대용 디바이스가 상기 제3 배향을 가진다는 것을 표시하는 상기 단계가 상기 디바이스의 사용자가 녹음을 위한 방향을 선택했다는 표시에 응답하여 수행되는 방법.
제6항에 있어서, 상기 방법이
상기 제3 시점에 후속하는 제4 시점에서, 상기 휴대용 디바이스가 상기 제2 축에 대해 제4 배향을 가진다는 것을 표시하는 단계;
상기 휴대용 디바이스가 상기 제4 배향을 가진다는 상기 표시에 기초하여, 상기 복수의 공간 선택적 필터링 동작 중의 제2 공간 선택적 필터링 동작을 선택하는 단계; 및
상기 제2 마이크 채널 쌍에 대해 상기 선택된 제2 공간 선택적 필터링 동작을 수행하는 단계를 포함하는 방법.
제9항에 있어서, 상기 휴대용 디바이스가 상기 제4 배향을 가진다는 것을 표시하는 상기 단계가 상기 중력축을 중심으로 한 상기 휴대용 디바이스의 회전을 검출하는 단계를 포함하는 방법.
제9항에 있어서, 상기 복수의 공간 선택적 필터링 동작 중의 상기 제2 공간 선택적 필터링 동작을 선택하는 상기 단계가 상기 제3 배향과 상기 제4 배향 사이의 관계에 기초하는 방법.
제11항에 있어서, 상기 관계가 상기 중력축에 직교인 평면에서의 각도인 방법.
제9항에 있어서, 상기 선택된 공간 선택적 필터링 동작을 수행하는 상기 단계가 상기 휴대용 디바이스에 대해 제1 방향을 가지는 빔 패턴을 상기 제2 마이크 채널 쌍에 적용하는 단계를 포함하고,
상기 선택된 제2 공간 선택적 필터링 동작을 수행하는 상기 단계가 상기 휴대용 디바이스에 대해 제2 방향을 가지는 빔 패턴을 상기 제2 마이크 채널 쌍에 적용하는 단계를 포함하며,
상기 제2 방향이 상기 제1 방향과 적어도 30도 상이한 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 방법이
상기 제2 시점에 후속하는 제3 시점에서, 상기 휴대용 디바이스가 상기 중력축에 직교인 제2 축에 대해 제3 배향을 가진다는 것을 표시하는 단계; 및
상기 휴대용 디바이스가 상기 제3 배향을 가진다는 상기 표시에 기초하여, 상기 제1 마이크 채널 쌍 및 상기 제2 마이크 채널 쌍과 상이한 상기 휴대용 디바이스의 상기 적어도 3개의 마이크 채널 중의 제3 마이크 채널 쌍을 선택하는 단계를 포함하는 방법.
배향 감지 녹음 제어 장치로서,
제1 시점에서, 휴대용 디바이스가 중력축에 대해 제1 배향을 가진다는 것을 표시하는 수단;
상기 휴대용 디바이스가 상기 제1 배향을 가진다는 상기 표시에 기초하여, 상기 휴대용 디바이스의 적어도 3개의 마이크 채널 중의 제1 마이크 채널 쌍을 선택하는 수단;
상기 제1 시점과 상이한 제2 시점에서, 상기 휴대용 디바이스가 상기 제1 배향과 상이한, 상기 중력축에 대해 제2 배향을 가진다는 것을 표시하는 수단; 및
상기 휴대용 디바이스가 상기 제2 배향을 가진다는 상기 표시에 기초하여, 상기 제1 마이크 채널 쌍과 상이한 상기 적어도 3개의 마이크 채널 중의 제2 마이크 채널 쌍을 선택하는 수단을 포함하고,
상기 적어도 3개의 마이크 채널 각각이 상기 휴대용 디바이스의 적어도 3개의 마이크 중의 대응하는 마이크에 의해 생성되는 신호에 기초하는 장치.
제15항에 있어서, 상기 제1 마이크 채널 쌍이 제1 마이크 채널을 포함하고, 상기 제2 마이크 채널 쌍이 상기 제1 마이크 채널을 포함하는 장치.
제15항 또는 제16항에 있어서, 상기 휴대용 디바이스가 제2 배향을 가진다는 것을 표시하는 상기 수단이 상기 중력축에 직교인 선을 중심으로 한 상기 휴대용 디바이스의 회전을 검출함으로써 상기 휴대용 디바이스가 상기 제2 배향을 가진다는 것을 표시하도록 구성되어 있는 장치.
제15항 내지 제17항 중 어느 한 항에 있어서, 상기 휴대용 디바이스가 제2 배향을 가진다는 것을 표시하는 상기 수단이 상기 중력축에 직교인 선을 중심으로 한 적어도 45도 만큼의 상기 휴대용 디바이스의 회전을 검출함으로써 상기 휴대용 디바이스가 상기 제2 배향을 가진다는 것을 표시하도록 구성되어 있는 장치.
제15항 내지 제18항 중 어느 한 항에 있어서, 상기 장치가 상기 제1 및 제2 시점을 포함하는 시간 구간 동안, 상기 휴대용 디바이스의 촬상 센서에 의해 생성되는 신호에 기초하는 비디오 영상 시퀀스를 녹화하는 수단을 포함하는 장치.
제15항 내지 제19항 중 어느 한 항에 있어서, 상기 장치가 상기 제1 시점에 후속하는 제3 시점에서, 상기 휴대용 디바이스가 상기 중력축에 직교인 제2 축에 대해 제3 배향을 가진다는 것을 표시하는 수단을 포함하고,
상기 장치가
상기 휴대용 디바이스가 상기 제3 배향을 가진다는 상기 표시에 기초하여, 복수의 공간 선택적 필터 중의 제1 공간 선택적 필터를 선택하는 수단; 및
상기 선택된 공간 선택적 필터를 상기 제2 마이크 채널 쌍에 적용하는 수단을 포함하는 장치.
제20항에 있어서, 복수의 공간 선택적 필터 중의 제1 공간 선택적 필터를 선택하는 상기 수단이 상기 중력축에 직교인 평면에서의 지정된 방향에 기초하여 상기 복수의 공간 선택적 필터 중의 상기 제1 공간 선택적 필터를 선택하도록 구성되어 있는 장치.
제20항에 있어서, 복수의 공간 선택적 필터 중의 제1 공간 선택적 필터를 선택하는 상기 수단이 상기 디바이스의 사용자가 녹음을 위한 방향을 선택했다는 표시에 응답하여 기준 배향을 저장하도록 구성되어 있고,
상기 기준 배향이 상기 휴대용 디바이스가 제3 배향을 가진다는 상기 표시에 기초하는 장치.
제20항에 있어서, 상기 장치가
상기 제3 시점에 후속하는 제4 시점에서, 상기 휴대용 디바이스가 상기 제2 축에 대해 제4 배향을 가진다는 것을 표시하는 수단;
상기 휴대용 디바이스가 상기 제4 배향을 가진다는 상기 표시에 기초하여, 상기 복수의 공간 선택적 필터 중의 제2 공간 선택적 필터를 선택하는 수단; 및
상기 선택된 제2 공간 선택적 필터를 상기 제2 마이크 채널 쌍에 적용하는 수단을 포함하는 장치.
제23항에 있어서, 상기 휴대용 디바이스가 상기 제4 배향을 가진다는 것을 표시하는 상기 수단이 상기 중력축을 중심으로 한 상기 휴대용 디바이스의 회전을 검출함으로써 상기 휴대용 디바이스가 상기 제4 배향을 가진다는 것을 표시하도록 구성되어 있는 장치.
제23항에 있어서, 상기 복수의 공간 선택적 필터 중의 제2 공간 선택적 필터를 선택하는 상기 수단이 상기 제3 배향과 상기 제4 배향 사이의 관계에 기초하여 상기 복수의 공간 선택적 필터 중의 상기 제2 공간 선택적 필터를 선택하도록 구성되어 있는 장치.
제25항에 있어서, 상기 관계가 상기 중력축에 직교인 평면에서의 각도인 장치.
제23항에 있어서, 상기 선택된 공간 선택적 필터의 빔 패턴이 상기 휴대용 디바이스에 대해 제1 방향을 갖고,
상기 선택된 제2 공간 선택적 필터의 빔 패턴이 상기 휴대용 디바이스에 대해 제2 방향을 가지며,
상기 제2 방향이 상기 제1 방향과 적어도 30도 상이한 장치.
제15항 내지 제18항 중 어느 한 항에 있어서, 상기 장치가
상기 제2 시점에 후속하는 제3 시점에서, 상기 휴대용 디바이스가 상기 중력축에 직교인 제2 축에 대해 제3 배향을 가진다는 것을 표시하는 수단; 및
상기 휴대용 디바이스가 상기 제3 배향을 가진다는 상기 표시에 기초하여, 상기 제1 마이크 채널 쌍 및 상기 제2 마이크 채널 쌍과 상이한 상기 휴대용 디바이스의 상기 적어도 3개의 마이크 채널 중의 제3 마이크 채널 쌍을 선택하는 수단을 포함하는 장치.
배향 감지 녹음 제어 장치로서,
제1 시점에서, 휴대용 디바이스가 중력축에 대해 제1 배향을 가진다는 것을 표시하도록 구성되어 있는 배향 센서; 및
상기 휴대용 디바이스가 상기 제1 배향을 가진다는 상기 표시에 기초하여, 상기 휴대용 디바이스의 적어도 3개의 마이크 채널 중의 제1 마이크 채널 쌍을 선택하도록 구성되어 있는 마이크 채널 선택기를 포함하고,
상기 적어도 3개의 마이크 채널 각각이 상기 휴대용 디바이스의 적어도 3개의 마이크 중 대응하는 마이크에 의해 생성되는 신호에 기초하며,
상기 배향 센서가 상기 제1 시점과 상이한 제2 시점에서, 상기 휴대용 디바이스가 상기 제1 배향과 상이한, 상기 중력축에 대해 제2 배향을 가진다는 것을 표시하도록 구성되어 있고,
상기 마이크 채널 선택기가, 상기 휴대용 디바이스가 상기 제2 배향을 가진다는 상기 표시에 기초하여, 상기 제1 마이크 채널 쌍과 상이한 상기 적어도 3개의 마이크 채널 중의 제2 마이크 채널 쌍을 선택하도록 구성되어 있는 장치.
제29항에 있어서, 상기 제1 마이크 채널 쌍이 제1 마이크 채널을 포함하고, 상기 제2 마이크 채널 쌍이 상기 제1 마이크 채널을 포함하는 장치.
제29항 또는 제30항에 있어서, 상기 배향 센서가 상기 중력축에 직교인 선을 중심으로 한 상기 휴대용 디바이스의 회전을 검출함으로써 상기 휴대용 디바이스가 상기 제2 배향을 가진다는 것을 표시하도록 구성되어 있는 장치.
제29항 내지 제31항 중 어느 한 항에 있어서, 상기 배향 센서가 상기 중력축에 직교인 선을 중심으로 한 적어도 45도 만큼의 상기 휴대용 디바이스의 회전을 검출함으로써 상기 휴대용 디바이스가 상기 제2 배향을 가진다는 것을 표시하도록 구성되어 있는 장치.
제29항 내지 제32항 중 어느 한 항에 있어서, 상기 장치가 상기 제1 및 제2 시점을 포함하는 시간 구간 동안, 상기 휴대용 디바이스의 촬상 센서에 의해 생성되는 신호에 기초하는 비디오 영상 시퀀스를 녹화하도록 구성되어 있는 비디오 녹화 모듈을 포함하는 장치.
제29항 내지 제33항 중 어느 한 항에 있어서, 상기 배향 센서가 상기 제1 시점에 후속하는 제3 시점에서, 상기 휴대용 디바이스가 상기 중력축에 직교인 제2 축에 대해 제3 배향을 가진다는 것을 표시하도록 구성되어 있고,
상기 장치가 (A) 상기 휴대용 디바이스가 상기 제3 배향을 가진다는 상기 표시에 기초하여, 복수의 공간 선택적 필터 중의 제1 공간 선택적 필터를 선택하고, (B) 상기 선택된 공간 선택적 필터를 상기 제2 마이크 채널 쌍에 적용하도록 구성되어 있는 공간 처리 모듈을 포함하는 장치.
제34항에 있어서, 상기 공간 처리 모듈이 상기 중력축에 직교인 평면에서의 지정된 방향에 기초하여 상기 복수의 공간 선택적 필터 중의 상기 제1 공간 선택적 필터를 선택하도록 구성되어 있는 장치.
제34항에 있어서, 상기 공간 처리 모듈이 상기 디바이스의 사용자가 녹음을 위한 방향을 선택했다는 표시에 응답하여 기준 배향을 저장하도록 구성되어 있고,
상기 기준 배향이 상기 휴대용 디바이스가 제3 배향을 가진다는 상기 표시에 기초하는 장치.
제34항에 있어서, 상기 배향 센서가 상기 제3 시점에 후속하는 제4 시점에서, 상기 휴대용 디바이스가 상기 제2 축에 대해 제4 배향을 가진다는 것을 표시하도록 구성되어 있고,
상기 공간 처리 모듈이 (A) 상기 휴대용 디바이스가 상기 제4 배향을 가진다는 상기 표시에 기초하여, 상기 복수의 공간 선택적 필터 중의 제2 공간 선택적 필터를 선택하고, (B) 상기 선택된 제2 공간 선택적 필터를 상기 제2 마이크 채널 쌍에 적용하도록 구성되어 있는 장치.
제37항에 있어서, 상기 배향 센서가 상기 중력축을 중심으로 한 상기 휴대용 디바이스의 회전을 검출함으로써 상기 휴대용 디바이스가 상기 제4 배향을 가진다는 것을 표시하도록 구성되어 있는 장치.
제37항에 있어서, 상기 공간 처리 모듈이 상기 제3 배향과 상기 제4 배향 사이의 관계에 기초하여 상기 복수의 공간 선택적 필터 중의 상기 제2 공간 선택적 필터를 선택하도록 구성되어 있는 장치.
제39항에 있어서, 상기 관계가 상기 중력축에 직교인 평면에서의 각도인 장치.
제37항에 있어서, 상기 선택된 공간 선택적 필터의 빔 패턴이 상기 휴대용 디바이스에 대해 제1 방향을 갖고,
상기 선택된 제2 공간 선택적 필터의 빔 패턴이 상기 휴대용 디바이스에 대해 제2 방향을 가지며,
상기 제2 방향이 상기 제1 방향과 적어도 30도 상이한 장치.
제29항 내지 제32항 중 어느 한 항에 있어서, 상기 배향 센서가 상기 제2 시점에 후속하는 제3 시점에서, 상기 휴대용 디바이스가 상기 중력축에 직교인 제2 축에 대해 제3 배향을 가진다는 것을 표시하도록 구성되어 있고,
상기 공간 처리 모듈이 상기 휴대용 디바이스가 상기 제3 배향을 가진다는 상기 표시에 기초하여, 상기 제1 마이크 채널 쌍 및 상기 제2 마이크 채널 쌍과 상이한 상기 휴대용 디바이스의 상기 적어도 3개의 마이크 채널 중의 제3 마이크 채널 쌍을 선택하도록 구성되어 있는 장치.
기계에 의해 판독될 때, 상기 기계로 하여금 제1항 내지 제14항 중 어느 한 항에 따른 방법을 수행하게 하는 유형적 특징을 포함하는 기계 판독가능 저장 매체.