KR20120137436A - 모바일 디바이스들에 대한 스마트 오디오 로깅의 시스템 및 방법 - Google Patents

모바일 디바이스들에 대한 스마트 오디오 로깅의 시스템 및 방법 Download PDF

Info

Publication number
KR20120137436A
KR20120137436A KR1020127029257A KR20127029257A KR20120137436A KR 20120137436 A KR20120137436 A KR 20120137436A KR 1020127029257 A KR1020127029257 A KR 1020127029257A KR 20127029257 A KR20127029257 A KR 20127029257A KR 20120137436 A KR20120137436 A KR 20120137436A
Authority
KR
South Korea
Prior art keywords
signal
information
audio
event indicator
processor
Prior art date
Application number
KR1020127029257A
Other languages
English (en)
Other versions
KR101498347B1 (ko
Inventor
태원 이
칼레드 엘-마레
희종 유
종원 신
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20120137436A publication Critical patent/KR20120137436A/ko
Application granted granted Critical
Publication of KR101498347B1 publication Critical patent/KR101498347B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/64—Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • H04M1/65—Recording arrangements for recording a message from the calling party
    • H04M1/656—Recording arrangements for recording a message from the calling party for recording conversations

Abstract

적어도 하나의 마이크로폰에 의해 컵처된 오디오 신호의 레코딩을 자동으로 시작 및 인코딩할 수 있는 모바일 디바이스가 제시된다. 모바일 디바이스는 오디오 입력 신호의 콘텍스트 정보에 기초하여 오디오 로깅과 관련된 다수의 파라미터들을 조정할 수 있다.

Description

모바일 디바이스들에 대한 스마트 오디오 로깅의 시스템 및 방법{SYSTEM AND METHOD OF SMART AUDIO LOGGING FOR MOBILE DEVICES}
관련 출원들
2010 년 4 월 8 일자로 출원된 발명의 명칭이 "SMART AUDIO LOGGING" 이고 그 양수인에게 양도된 미국 가출원 번호 61/322,176 에 우선권을 주장하고, 이에 의해 본원에서 참조로서 명백하게 포함된다.
배경
I. 기술분야
본 개시물은 일반적으로 오디오 및 스피치 신호 캡처링에 관한 것이다. 보다 구체적으로는, 개시물은 오디오 콘텍스트 정보의 분석에 기초하여 오디오 및 스피치 신호 캡처링 동작들을, 또는 상호 교환 가능하게 로깅 동작을 개시 및/또는 종료할 수 있는 모바일 디바이스들에 관한 것이다.
주문형 집적 회로 (ASIC) 에서의 전력 제어 기술 진보 및 모바일 프로세서들, 예컨대 디지털 신호 프로세서 (DSP) 또는 마이크로프로세서들의 증가된 연산력 때문에, 증가하는 모바일 디바이스들의 수는 요구되는 연산력 또는 하드웨어 (HW) 서포트의 부족으로 인해 최근까지 실현 가능한 것으로서 여겨지지 않았던 더 많은 복잡한 피처들을 이제 인에이블할 수 있다. 예를 들어, 이동국들 (MS) 또는 모바일 폰들은 초기에 전통적인 회로 기반 무선 셀룰러 네트워크들을 통해 보이스 또는 스피치 통신을 인에이블하도록 개발되었다. 따라서, MS 는 본래 보이스 압축, 청각 에코 소거 (AEC), 잡음 억제 (NS), 및 보이스 레코딩과 같은 기본적인 보이스 애플리케이션들을 어드레싱하도록 설계되었다.
보이스 압축 알고리즘을 구현하는 프로세스는 보코딩 (vocoding) 으로서 알려져 있고, 구현 장치는 보코더 또는 "스피치 코더" 로서 알려져 있다. 여러 표준화된 보코딩 알고리즘들은 스피치 통신을 필요로 하는 상이한 디지털 통신 시스템들을 지원하여 존재한다. 3 세대 파트너쉽 프로젝트 2 (3GPP2) 는 코드 분할 다중 액세스 (CDMA) 기술, 예컨대 IS-95, CDMA2000 1x 무선 송신 기술 (1xRTT), 및 CDMA2000 EV-DO (Evolution-Data Optimized) 통신 시스템들을 명시하는 표준화 기구 예이다. 3 세대 파트너쉽 프로젝트 (3 GPP) 는 이동 통신용 글로벌 시스템 (GSM), 유니버셜 모바일 텔레통신 시스템 (UMTS), 고속 다운링크 패킷 액세스 (HSDPA), 고속 업링크 패킷 액세스 (HSUPA), 고속 패킷 액세스 에볼루션 (HSPA+), 및 장기 에볼루션 (LTE) 을 명시하는 표준화 기구의 다른 예이다. VOIP (Voice over Internet Protocol) 는 3 GPP 및 3GPP2 에 정의된 통신 시스템들, 뿐만 아니라 다른 것들에서 사용된 프로토콜 예이다. 그러한 통신 시스템들 및 프로토콜들에 채용된 보코더들의 예들은 ITU (International Telecommunications Union)-T G.729, AMR (Adaptive Multi-Rate) 코덱, 및 EVRC (Enhanced Variable Rate Codec) 스피치 서비스 옵션들 3, 68, 및 70 을 포함한다.
보이스 레코딩은 인간의 보이스를 레코딩하기 위한 애플리케이션이다. 보이스 레코딩은 종종 보이스 로깅 또는 보이스 메모리로서 상호 교환가능하게 지칭된다. 보이스 레코딩은, 사용자가 하나 이상의 마이크로폰들에 의해 픽업된 스피치 신호의 일부 부분을 메모리 공간에 저장하는 것을 허용한다. 저장된 보이스 레코딩은 동일한 디바이스에서 이후에 플레이될 수 있고, 또는 그것은 보이스 통신 시스템을 통해 상이한 디바이스로 송신될 수 있다. 보이스 레코더들은 일부 음악 신호들을 레코딩할 수 있지만, 레코딩된 음악의 품질은 통상적으로 보이스 레코더가 인간의 보컬 트랙에 의해 전적인 스피치 특징들에 대해 최적화되어 있기 때문에 최상이 아니다.
오디오 레코딩 또는 오디오 로깅은 가끔 보이스 레코딩과 상호 교환 가능하게 사용되지만, 가끔은 인간의 보컬 트랙에 의해 생성된 것보다 높은 주파수 신호들을 캡처하는 그 능력 때문에 인간의 보이스, 악기 및 음악을 포함하는 임의의 가청 사운드를 레코딩하기 위한 상이한 애플리케이션으로서 이해된다. 본 출원의 맥락에서, "오디오 로깅" 또는 "오디오 레코딩" 이란 용어는 보이스 레코딩 또는 오디오 레코딩을 지칭하도록 광범위하게 사용될 것이다.
오디오 로깅은 통상적으로 하나 이상의 모바일 디바이스들의 하나 이상의 마이크로폰들에 의해 픽업되는 관심 있는 오디오 신호의 전부 또는 일부 부분들의 레코딩을 인에이블한다. 오디오 로깅은 가끔, 오디오 레코딩 또는 오디오 메모로서 상호 교환 가능하게 지칭된다.
본 문헌은 모바일 디바이스에 대한 디지털 오디오 신호를 프로세싱하는 방법을 설명한다. 이 방법은 적어도 하나의 마이크로폰에 의해 청각 신호를 수신하는 단계; 수신된 청각 신호를 디지털 오디오 신호로 변환하는 단계; 디지털 오디오 신호로부터 적어도 하나의 청각 콘텍스트 정보를 추출하는 단계; 시작 이벤트 인디케이터를 자동으로 검출하는 단계에 응답하여, 디지털 오디오 신호에 대한 오디오 로깅을 수행하는 단계; 및 종료 이벤트 인디케이터를 자동으로 검출하는 단계에 응답하여, 오디오 로깅을 종료하는 단계를 포함한다. 이 적어도 하나의 청각 콘텍스트 정보는 오디오 분류, 키워드 식별, 또는 스피커 식별에 관련될 수도 있다. 이 적어도 하나의 청각 콘텍스트 정보는 신호 에너지, 신호대 잡음비, 스펙트럼 틸트, 또는 제로-크로싱 레이트에 적어도 부분적으로 기초할 수도 있다. 이 적어도 하나의 청각 콘텍스트 정보는 비-청각 정보, 예컨대 스케줄링 정보 또는 카렌더링 (calendaring) 정보에 적어도 부분적으로 기초할 수도 있다. 이 문헌은 또한, 이 방법에 관련된 장치, 수단의 조합, 및 컴퓨터 판독가능 매체를 설명한다.
이 문헌은 또한, 모바일 디바이스에 대한 디지털 오디오 신호를 프로세싱하는 방법을 설명한다. 이 방법은, 적어도 하나의 마이크로폰에 의해 청각 신호를 수신하는 단계; 수신된 청각 신호를 전기 신호로 변형하는 단계; 각각의 샘플링된 데이터에 대한 샘플링 주파수 및 데이터 폭에 기초하여 전기 신호를 샘플링하여 디지털 오디오 신호를 획득하는 단계; 및 디지털 오디오 신호를 버퍼에 저장하는 단계; 디지털 오디오 신호로부터 적어도 하나의 청각 콘텍스트 정보를 추출하는 단계; 시작 이벤트 인디케이터를 자동으로 검출하는 것에 응답하여 디지털 오디오 신호에 대한 오디오 로깅을 수행하는 단계; 및 종료 이벤트 인디케이터를 자동으로 검출하는 것에 응답하여 오디오 로깅을 종료하는 단계를 포함한다. 이 시작 또는 종료 이벤트 인디케이터들을 검출하는 것은 적어도 하나의 비-청각 정보, 예컨대 스케줄링 정보 또는 카렌더링 정보에 기초할 수도 있다. 이 문헌은 또한, 이 방법에 관련된 장치, 수단의 조합, 및 컴퓨터 판독가능 매체를 설명한다.
이 문헌은 또한, 시작 이벤트 인디케이터를 검출하는 방법을 설명한다. 이 방법은, 적어도 하나의 청각 콘텍스트 정보로부터 적어도 하나의 콘텍스트 정보를 선택하는 단계; 선택된 콘텍스트 정보를 적어도 하나의 미리결정된 임계들과 비교하는 단계; 및 선택된 콘텍스트 정보를 적어도 하나의 미리결정된 임계들과 비교하는 단계에 기초하여 시작 이벤트 인디케이터가 검출되었는지를 결정하는 단계를 포함한다. 이 문헌은 또한, 이 방법에 관련된 장치, 수단의 조합, 및 컴퓨터 판독가능 매체를 포함한다.
이 문헌은 또한, 종료 이벤트 인디케이터를 검출하는 방법을 설명한다. 이 방법은, 적어도 하나의 청각 콘텍스트 정보로부터 적어도 하나의 콘텍스트 정보를 선택하는 단계; 선택된 콘텍스트 정보를 적어도 하나의 미리결정된 임계들과 비교하는 단계; 및 선택된 콘텍스트 정보와 적어도 하나의 미리결정된 임계들의 비교에 기초하여 종료 이벤트 인디케이터가 검출되었는지를 결정하는 단계를 포함한다. 이 종료 이벤트 인디케이터들을 검출하는 단계는 미리결정된 기간 동안 청각 이벤트의 비-발생에 적어도 부분적으로 기초할 수도 있다. 이 문헌은 또한, 이 방법에 관련된 장치, 수단의 조합, 및 컴퓨터 판독가능 매체를 포함한다.
이 문헌은 또한, 오디오 로깅을 수행하는 방법을 설명한다. 이 방법은, 적어도 하나의 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 변환과 관련된 적어도 하나의 파라미터를 업데이트하는 단계; 적어도 하나의 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 추가의 프로세싱이 필요한지를 결정하는 것에 응답하여, 디지털 오디오 신호에 추가의 프로세싱을 적용하여 프로세싱된 오디오 신호를 획득하는 단계; 및 프로세싱된 오디오 신호를 메모리 스토리지에 저장하는 단계를 포함한다. 추가의 프로세싱은 신호 강화 프로세싱, 예컨대 음향 에코 소거 (acoustic echo cancellation; AEC), 수신 보이스 강화 (receiving voice enhancement; RVE), 액티브 잡음 소거 (active noise cancellation; ANC), 잡음 억제 (noise suppression; NS), 음향 이득 제어 (acoustic gain control; AGC), 음향 볼륨 제어 (acoustic volume control; AVC), 또는 음향 동적 범위 제어 (acoustic dynamic range control; ADRC) 일 수도 있다. 잡음 억제는 솔루션에 기초한 단일 마이크로폰 또는 다수의 마이크로폰에 기초할 수도 있다. 추가의 프로세싱은 신호 압축 프로세싱, 예컨대 스피치 압축 또는 오디오 압축일 수도 있다. 압축 파라미터들, 예컨대 압축 모드, 비트레이트, 또는 채널 수는 청각 콘텍스트 정보에 기초하여 결정될 수도 있다. 메모리 스토리지는 무선 채널을 통해 모바일 디바이스에 접속된 원격 메모리 또는 모바일 디바이스 안의 로컬 메모리를 포함한다. 로컬 메모리와 원격 메모리 간의 선택은 청각 콘텍스트 정보에 적어도 부분적으로 기초할 수도 있다. 이 문헌은 또한, 이 방법에 관련된 장치, 수단의 조합, 및 컴퓨터 판독가능 매체를 포함한다.
이 문헌은 또한, 모바일 디바이스에 대한 방법을 설명하는데, 이 방법은, 시작 이벤트 인디케이터를 자동으로 검출하는 단계; 시작 이벤트 인디케이터를 자동으로 검출하는 것에 응답하여, 오디오 입력 신호의 제 1 부분을 프로세싱하여 제 1 정보를 획득하는 단계; 제 1 정보에 기초하여 적어도 하나의 레코딩 파라미터를 결정하는 단계; 및 결정된 적어도 하나의 레코딩 파라미터에 기초하여 모바일 디바이스의 오디오 캡처링 유닛을 재구성하는 단계를 포함한다. 이 재구성하는 단계는 오디오 입력 신호의 인액티브 부분 동안 발생할 수도 있다. 이 적어도 하나의 레코딩 파라미터는 모바일 디바이스의 A/D 컨버터의 샘플링 주파수 또는 데이터 폭을 나타내는 정보를 포함한다. 이 적어도 하나의 레코딩 파라미터는 적어도 하나의 마이크로폰의 웨이크업 인터벌 또는 액티브 지속기간을 나타내는 타이밍 정보 또는 모바일 디바이스의 액티브 마이크로폰의 수를 나타내는 정보를 포함한다. 이 제 1 정보는 모바일 디바이스가 레코딩하고 있는 환경 또는 오디오 입력 신호의 특징을 설명하는 콘텍스트 정보일 수도 있다. 시작 이벤트 인디케이터는 무선 채널을 통해 송신된 신호에 기초할 수도 있다. 이 문헌은 또한, 이 방법에 관련된 장치, 수단의 조합, 및 컴퓨터 판독가능 매체를 포함한다.
이 문헌은 또한, 모바일 디바이스에 대한 방법을 설명하는데, 이 방법은, 시작 이벤트 인디케이터를 자동으로 검출하는 단계; 시작 이벤트 인디케이터를 자동으로 검출하는 단계에 응답하여, 오디오 입력 신호의 제 1 부분을 프로세싱하여 제 1 정보를 획득하는 단계; 제 1 정보에 기초하여 적어도 하나의 레코딩 파라미터를 결정하는 단계; 및 결정된 적어도 하나의 레코딩 파라미터에 기초하여 모바일 디바이스의 오디오 캡처링 유닛을 재구성하는 단계; 오디오 입력 신호의 제 2 부분을 프로세싱하여 제 2 정보를 획득하는 단계; 배경 잡음을 억제함으로써 오디오 입력 신호를 강화하여 강화된 신호를 획득하는 단계; 강화된 신호를 인코딩하여 인코딩된 신호를 획득하는 단계; 및 인코딩된 신호를 모바일 디바이스 내의 로컬 스토리지에 저장하는 단계를 포함한다. 이 강화된 신호를 인코딩하는 단계는, 제 2 정보에 기초하여 인코딩 유형을 결정하는 단계; 결정된 인코딩에 대한 적어도 하나의 인코딩 파라미터를 결정하는 단계; 및 결정된 인코딩 유형 및 결정된 적어도 하나의 인코딩 파라미터에 기초하여 강화된 신호를 프로세싱하여, 인코딩된 신호를 획득하는 단계를 포함한다. 본원에서 적어도 하나의 인코딩 파라미터는 비트레이트 또는 인코딩 모드를 포함한다. 또한, 이 방법은 제 2 정보에 기초하여 오디오 입력 신호의 강화 정도를 결정하는 단계를 포함할 수도 있다. 이 문헌은 또한, 이 방법에 관련된 장치, 수단의 조합, 및 컴퓨터 판독가능 매체를 포함한다.
이 문헌은 또한, 모바일 디바이스에 대한 방법을 설명하는데, 이 방법은, 시작 이벤트 인디케이터를 자동으로 검출하는 단계; 시작 이벤트 인디케이터를 자동으로 검출하는 단계에 응답하여, 오디오 입력 신호의 제 1 부분을 프로세싱하여 제 1 정보를 획득하는 단계; 제 1 정보에 기초하여 적어도 하나의 레코딩 파라미터를 결정하는 단계; 및 결정된 적어도 하나의 레코딩 파라미터에 기초하여 모바일 디바이스의 오디오 캡처링 유닛을 재구성하는 단계; 오디오 입력 신호의 제 2 부분을 프로세싱하여 제 2 정보를 획득하는 단계; 배경 잡음을 억제함으로써 오디오 입력 신호를 강화하여 강화된 신호를 획득하는 단계; 강화된 신호를 인코딩하여 인코딩된 신호를 획득하는 단계; 및 인코딩된 신호를 모바일 디바이스 내의 로컬 스토리지에 저장하는 단계를 포함한다. 또한, 이 방법은 종료 이벤트 인디케이터를 자동으로 검출하는 단계; 및 종료 이벤트 인디케이터를 검출하는 단계에 응답하여, 모바일 디바이스 내의 로컬 스토리지와 무선 채널을 통해 모바일 디바이스에 접속된 네트워크 스토리지 사이의 인코딩된 신호를 위한 장기 스토리지 로케이션을 결정하는 단계를 포함할 수도 있다. 이 장기 스토리지 로케이션을 결정하는 단계는 인코딩된 신호의 우선순위에 기초할 수도 있다. 이 문헌은 또한, 이 방법에 관련된 장치, 수단의 조합, 및 컴퓨터 판독가능 매체를 포함한다.
본원에 설명된 실시형태들의 양태들 및 의도된 이점들은 첨부된 도면들과 함께 취해질 때 다음의 상세한 설명을 참조하여 더욱 용이하게 명백해질 것이다.
도 1a 는 스마트 오디오 로깅 시스템의 개념을 나타내는 도면이다.
도 1b 는 스마트 오디오 로깅 시스템의 개념을 나타내는 다른 도면이다.
도 1c 는 종래의 오디오 로깅 시스템의 개념을 나타내는 도면이다.
도 2 는 스마트 오디오 로깅 시스템의 예시적인 실시형태의 도면이다.
도 3 은 출력 프로세싱 유닛 (240) 의 일 실시형태의 도면이다.
도 4 는 입력 프로세싱 유닛 (250) 의 일 실시형태의 도면이다.
도 5 는 오디오 로깅 프로세서 (230) 의 일 실시형태의 도면이다.
도 6 은 콘텍스트 정보 S600 의 예들을 나타내는 도면이다.
도 7 은 콘텍스트 식별자 (560) 의 일 실시형태의 도면이다.
도 8 은 콘텍스트 식별자 (560) 및 콘텍스트 정보 (S600) 의 일 예시적인 실시형태의 도면이다.
도 9a 는 단일-레벨 시작 이벤트 인디케이터의 생성 메커니즘의 일 실시형태이다.
도 9b 는 단일-레벨 시작 이벤트 인디케이터의 생성 메커니즘의 다른 실시형태이다.
도 10 은 엔드 이벤트 인디케이터의 생성 메커니즘의 일 실시형태이다.
도 11 은 오디오 로깅 프로세서 (230) 상태들 및 그 천이를 나타내는 제 1 예시적인 실시형태의 도면이다.
도 12 는 오디오 로깅 프로세서 (230) 상태들 및 천이를 나타내는 제 2 예시적인 실시형태의 도면이다.
도 13 은 패시브 오디오 모니터링 상태 (S1) 또는 오디오 모니터링 상태 (S4) 동안 오디오 캡처링 유닛 (215) 의 일 실시형태의 플로우차트이다.
도 14 는 패시브 오디오 모니터링 상태 (S1) 또는 오디오 모니터링 상태 (S4) 동안 오디오 캡처링 유닛 (215) 에서 버퍼 (220) 로의 디지털 오디오 입력을 저장하는 일례의 도면이다.
도 15 는 패시브 오디오 모니터링 상태 (S1) 동안 오디오 로깅 프로세서 (230) 의 일 실시형태의 플로우차트이다.
도 16 은 액티브 오디오 모니터링 상태 (S2) 동안 오디오 캡처링 유닛 (215) 의 일 실시형태의 플로우차트이다.
도 17 은 액티브 오디오 모니터링 상태 (S2) 동안 오디오 캡처링 유닛 (215) 에서 버퍼 (220) 로의 디지털 오디오 입력을 저장하는 예의 도면이다.
도 18 은 액티브 오디오 모니터링 상태 (S2) 동안 오디오 로깅 프로세서 (230) 의 일 실시형태의 플로우차트이다.
도 19 는 액티브 오디오 모니터링 상태 (S2) 동안 오디오 로깅 프로세서 (230) 에서 콘텍스트 식별 실시형태의 예의 도면이다.
도 20 은 액티브 오디오 로깅 상태들 (S3 또는 S4) 동안 오디오 캡처링 유닛 (215) 의 일 실시형태의 플로우차트이다.
도 21 은 액티브 오디오 로깅 상태 (S3) 동안 오디오 로깅 프로세서 (230) 의 일 실시형태의 플로우차트이다.
도 22 는 오디오 모니터링 상태 (S4) 동안 오디오 로깅 프로세서 (230) 의 일 실시형태의 플로우차트이다.
도 23 은 액티브 오디오 로깅 상태 (S5) 동안 오디오 로깅 프로세서 (230) 의 일 실시형태의 플로우차트이다.
도 24 는 액티브 오디오 로깅 상태들 (S3 또는 S5) 동안 코어 오디오 로깅 모듈의 일 실시형태의 플로우차트이다.
도 25 는 단일의 마이크로폰 ON 및 OFF 제어의 일 실시형태의 도면이다.
도 26 은 단일의 마이크로폰 ON 및 OFF 제어의 제 1 실시형태의 도면이다.
도 27 은 단일의 마이크로폰 ON 및 OFF 제어의 제 2 실시형태의 도면이다.
도 28 은 다수의 마이크로폰 ON 및 OFF 제어의 제 1 실시형태의 도면이다.
도 29 는 다수의 마이크로폰 ON 및 OFF 제어의 제 2 실시형태의 도면이다.
도 30 은 액티브 마이크로폰 수 제어의 일 실시형태의 도면이다.
도 31 은 미리정의된 콘텍스트 정보 (S600) 우선순위에 따라 선택이 제어될 수도 있는 스토리지 로케이션 선택의 일 실시형태의 도면이다.
도 32 는 액티브 오디오 로깅 상태 (S3 또는 S5) 동안 콘텍스트 정보 (S600) 우선순위에 따라 선택이 동적으로 제어될 수도 있는 스토리지 로케이션 선택의 일 실시형태의 도면이다.
도 33 은 미리정의된 콘텍스트 정보 (S600) 우선순위에 따라 만료 시간이 제어될 수도 있는 스토리지 만료 시간 설정의 일 실시형태의 도면이다.
도 34 는 액티브 블록들의 수 및 그것의 총 전력 소비가 각각의 상태의 따라 동적으로 제어될 수도 있는 스마트 오디오 로깅 시스템 내의 블록들의 단계적 파워 업의 일 실시형태의 도면이다.
도 35 는 정확도가 각각의 미리결정된 상태에 관련되어 구성될 수도 있고 또는 콘텍스트 정보 (S600) 에 따라 동적으로 제어될 수도 있는 A/D 컨버터 정확도 제어의 일 실시형태의 도면이다.
도 36 은 콘텍스트 정보 (S600) 에 따라 강화가 동적으로 구성될 수도 있는 오디오 입력 신호 강화 제어의 일 실시형태의 도면이다.
도 37 은 콘텍스트 정보 (S600) 에 따라 압축이 동적으로 구성될 수도 있는 오디오 압축 파라미터들 제어의 일 실시형태의 도면이다.
도 38 은 콘텍스트 정보 (S600)에 따라 압축 코딩 포맷 선택 또는 그것의 부족이 동적으로 구성될 수도 있는 압축 코딩 포맷 선택의 일 실시형태의 도면이다.
본 출원은 첨부한 도면들을 참조하여 더 잘 이해될 것이다.
그 문맥에 의해 특별히 제한되지 않는다면, 용어 "신호" 는 본원에서 와이어, 버스 또는 다른 송신 매체 상에 표현되는 메모리 로케이션 (또는 메모리 로케이션들 세트) 의 상태를 포함하는, 그 보통의 의미들 중 임의의 것을 나타내도록 사용된다. 그 문맥에 의해 특별히 제한되지 않는다면, 용어 "생성하는" 은 본원에서 컴퓨팅 또는 다르게는 생성과 같은 그 보통의 의미들 중 임의의 것을 나타내도록 사용된다. 그 문맥에 의해 특별히 제한되지 않는다면, 용어 "계산하는" 은 본원에서 컴퓨팅, 평가, 및/또는 값들 세트로부터의 선택과 같은 그 보통의 의미들 중 임의의 것을 나타내도록 사용된다. 그 문맥에 의해 특별히 제한되지 않는다면, 용어 "획득하는" 은 계산, 도출, (예를 들어, 외부 디바이스로부터) 수신, 및/또는 (예를 들어, 스토리지 엘리먼트들의 어레이로부터) 취출과 같은 그 보통의 의미들 중 임의의 것을 나타내도록 사용된다. 용어 "포함하는" 이 본 상세한 설명 및 청구범위에서 사용되는 경우, 그것은 다른 엘리먼트들 또는 동작들을 배제하지 않는다. 용어 ("A 는 B 에 기초하는" 에서와 같이) "기초하는" 은 (i) "적어도 기초하는" (예를 들어, "A 는 적어도 B 에 기초하는") 및 특정 문맥에서 적합하다면 (ii) "~와 동일한" (예를 들어, "A 는 B 와 동일한") 을 포함하는, 그 보통의 의미들 중 임의의 것을 나타내도록 사용된다.
다르게 나타내지 않는다면, 특정 피처를 갖는 장치의 동작의 임의의 개시는 또한 아날로그적 피처 (및 그 반대) 를 갖는 방법을 개시하도록 명백히 의도되며, 특정 구성에 따른 장치의 동작의 임의의 개시는 또한 아날로그적 구성 (및 그 반대) 에 따른 방법을 개시하도록 명백히 의도된다. 다르게 나타내지 않는다면, 용어 "콘텍스트" (또는 "오디오 콘텍스트") 는 스피커의 주변 환경으로부터 정보를 전달하고 오디오나 스피치의 컴포넌트를 나타내도록 사용되고, 용어 "잡음" 은 오디오 또는 스피치 신호에서의 임의의 다른 아티팩트 (artifact) 를 나타내는데 사용된다.
도 1a 는 스마트 오디오 로깅 시스템의 개념을 나타내는 도면이다. 모바일 디바이스의 하나 이상의 마이크로폰은, 모바일 디바이스가 아이들 모드에 있는 동안 연속적으로 또는 주기적으로 음향 신호를 수신하도록 구성될 수도 있다. 수신된 음향 신호는 아날로그-디지털 (A/D) 컨버터에 의해 디지털 오디오 신호로 변환될 수도 있다. 이 변환은 수신된 음향 신호를 일반적으로 아날로그 또는 연속적인 형태의 전기 신호로 변형하고, 이 전기 신호를 샘플링 또는 양자화하여 디지털 오디오 신호를 생성하는 것을 포함할 수도 있다. 디지털 오디오 신호의 수 및 크기는 각각의 디지털 오디오 샘플에 대한 데이터 폭 및 샘플링 주파수에 의존할 수도 있다. 이 디지털 오디오 신호는 메모리 또는 버퍼에 일시적으로 저장되도록 구성될 수도 있다. 이 디지털 오디오 신호는 의미있는 정보를 추출하도록 프로세싱될 수도 있다. 이 정보는 일반적으로 "콘텍스트 정보 (S600)" 또는 상호 교환적으로 "청각 콘텍스트 정보" 로서 지칭된다. 콘텍스트 정보는, 모바일 디바이스가 적어도 하나의 마이크로폰에 의해 수신된 오디오 입력 신호의 특징 및 레코딩인 환경에 관한 정보를 포함할 수도 있다. 콘텍스트 정보 (S600) 의 상세한 설명은 후속의 개시에서 제시될 것이다.
스마트 오디오 로깅 시스템은 오디오 로깅의 스마트 시작 (115) 또는 스마트 종료 (150) 를 수행하도록 구성될 수도 있다. 사용자가 오디오 신호의 레코딩을 수동적으로 개시하거나 종료하는 종래의 오디오 로깅 시스템과 비교하여, 스마트 오디오 로깅 시스템은 시작 이벤트 인디케이터 또는 종료 이벤트 인디케이터를 자동으로 검출함으로써 오디오 로깅을 시작하거나 종료하도록 구성될 수도 있다. 이들 인디케이터들은 오디오 신호로부터 도출된 콘텍스트 정보; 유선 또는 무선 네트워크 접속들을 통해 모바일 디바이스에 접속되거나 모바일 디바이스 내에 위치한 데이터베이스; 비-음향 센서들; 또는 심지어 다른 스마트 오디오 로깅 디바이스들로부터의 시그널링에 기초할 수도 있다. 대안으로, 이들 인디케이터들은 사용자의 보이스 커맨드 또는 키 커맨드를 또한 포함하도록 구성될 수도 있다. 일 실시형태에서, 종료 이벤트 인디케이터는 미리결정된 기간 동안 청각 이벤트의 불발 (non-occurrence) 에 기초하도록 구성될 수도 있다. 시작 이벤트 인디케이터 및 종료 이벤트 인디케이터의 검출은 적어도 하나의 청각 콘텍스트 정보 외에 적어도 하나의 특정 콘텍스트 정보를 선택하는 단계; 적어도 하나의 미리결정된 임계들과 선택된 콘텍스트 정보를 비교하는 단계, 및 이 비교에 기초하여 시작 또는 종료 이벤트 인디케이터들이 검출되었는지를 결정하는 단계들을 포함할 수도 있다.
스마트 오디오 로깅 시스템은 다수의 스마트 서브 블록들, 또는 상호 교환적으로 적어도 하나의 청각 콘텍스트 정보에 적어도 부분적으로 기초한 스마트 빌딩 블록들을 포함하도록 구성될 수도 있다. 스마트 빌딩 블록은, 구성 또는 동작 모드가 동작 동안 미리 결정되거나 정적으로 결정될 수도 있는 종래의 오디오 로깅과 대조적으로, 오디오 로깅 프로세스 동안 그 자체의 동작 모드들 또는 기능적 파라미터들을 동적으로 구성하는 그 능력에 의해 특징지어질 수도 있다.
예를 들어, 스마트 오디오 로깅의 일 실시형태에서, 도 1a 의 스마트 마이크로폰 제어 블록 (120) 은 콘텍스트 정보 (S600) 에 기초하여 오디오 로깅 프로세스 동안 적어도 하나의 마이크로폰들의 ON/OFF 타이밍 제어 또는 액티브 마이크로폰들의 수를 동적으로 조정하도록 구성될 수도 있다. 다른 실시형태에서, 도 1a 의 스마트 A/D 컨버터 블록 (125) 은 콘텍스트 정보 (S600) 에 기초하여 그 자체의 동작 파라미터들을 동적으로 조정하도록 구성될 수도 있다. 이러한 파라미터들은 콘텍스트 정보 (S600) 에 기초하여 캡처링된 디지털 오디오 샘플의 데이터 폭 또는 적어도 하나의 마이크로폰으로부터 캡처된 오디오 신호의 샘플링 주파수를 포함할 수도 있다. 이들 파라미터들은, 이들 파라미터들의 선택이 레코딩된 오디오 로깅의 품질 또는 크기에 영향을 주기 때문에 "레코딩 파라미터" 로서 지칭될 수도 있다. 이들 파라미터들은, 오디오 품질에 대한 영향을 최소화하기 위해 오디오 입력 신호의 인액티브 (inactive) 부분 동안 재구성 또는 스위칭되도록 구성될 수도 있다. 오디오 입력 신호의 인액티브 부분은 여전히 최소의 오디오 액티비티의 일부 레벨을 포함할 수도 있다. 그러나, 일반적으로 "인액티브 부분" 은 오디오 입력 신호의 비교적 적은 활성 부분뿐만 아니라 활성이 없는 (no active) 을 의미한다.
다른 실시형태에서, 도 1a 의 스마트 오디오 강화 블록 (130) 은, 오디오 신호 강화가 필요하고 그러한 경우에서 어떤 유형의 신호 강화가 수행되어야 하는 지를 콘텍스트 정보 (S600) 에 기초하여 동적으로 선택하도록 구성될 수도 있다. 스마트 오디오 강화 블록 (130) 은 콘텍스트 정보 (S600) 에 기초하여 신호 강화 레벨의 정도, 예를 들어 공격적 강화 또는 덜 공격적 강화를 선택하도록 구성될 수도 있다. 신호 강화는 단일 마이크로폰 또는 다수의 마이크로폰들에 기초하도록 구성될 수도 있다. 도 1a 의 스마트 오디오 압축 블록 (135) 은 콘텍스트 정보 (S600) 에 기초하여, 사용되는 코딩의 유형 또는 그것의 코딩 파라미터들, 예컨대 압축 모드, 비트레이트, 또는 오디오/스피치 채널 수를 동적으로 선택하도록 구성될 수도 있다. 스마트 서브 블록들의 동적 구성 피처의 더 상세한 설명 및 예들은 후속하여 제시될 것이다. 도 1a 의 스토리지로의 스마트 오디오 저장 블록 (145) 은 콘텍스트 정보 (S600) 에 기초하여, 캡처링된 오디오 로깅이 저장되는 로케이션을 선택하도록 구성될 수도 있다. 이 선택은 유선 또는 무선 채널을 통해 모바일 디바이스에 접속된 원격 메모리와 모바일 디바이스의 로컬 메모리 사이에 있을 수도 있다. 스토리지로의 스마트 오디오 저장 블록 (145) 은 오디오 로깅의 프로세스 동안 디폴트로 로컬 메모리에 디지털 오디오 신호를 저장하고, 그 후 후속적으로 로컬 스토리지와 네트워크 스토리지 사이의 장기 (long-term) 스토리지 로케이션을 결정하도록 구성될 수도 있다.
도 1a 에 개시된 스마트 빌딩 블록들 (120, 125, 130, 135, 145) 및 그것의 순서는 단지 예시의 목적임이 주목되며, 따라서 빌딩 블록들 일부는 본 출원의 범위 내에서 전체적으로 또는 부분적으로 재순서화, 결합 또는 심지어 생략될 수도 있음이 당업자에게 자명하다. 예를 들어, 본 출원에 따른 일 실시형태에서, 스마트 오디오 강화 블록 (130) 은 생략되거나 전통적인 오디오 강화 블록으로 대체될 수도 있는데, 전통적인 오디오 강화 블록에서는 콘텍스트 정보 (S600) 에 따른 그 자체의 동작 모드를 동적으로 재구성하는 능력이 이용 가능하지 않다. 유사하게, 스마트 오디오 압축 블록 (135) 이 생략되거나 종래의 오디오 압축에 의해 대체될 수도 있다.
스마트 오디오 로깅 시스템은 또한, 기존의 종래의 오디오 로깅 시스템의 일부 및 도 1b 에 제시되었던 바와 같은 스마트 빌딩 블록들이나 로깅 피처들의 스마트 시작/종료의 일부의 결합을 이용하도록 구성될 수도 있는 시스템으로 지칭될 수도 있다. 반대로, 도 1c 는 오디오 로깅 피처의 스마트 시작/종료가 스마트 빌딩 블록들 중 어느 것에도 포함되지 않는 종래의 오디오 로깅 시스템의 개념을 예시하는 도면이다.
도 1b 는 스마트 오디오 로깅 시스템의 3 개의 상이한 예시적인 개념적 구성들을 나타낸다. 구성 1 은 스마트 시작/종료 오디오 로깅 피처 (165) 및 스마트 빌딩 블록들 (175) 양자가 구현되는 시스템을 나타낸다. 따라서, 구성 1 의 시스템은 가장 진보된 스마트 오디오 로깅 시스템으로서 간주된다. 구성 2 는 구성 1 의 오디오 로깅 스마트 시작/종료 (165) 피처를 종래의 오디오 로깅 시스템의 시작/종료 (160) 피처로 대체하도록 구성될 수도 있다. 대안의 구현에서, 구성 3 은 구성 1 의 스마트 빌딩 블록들 (175) 을 종래의 빌딩 블록들 (170) 로 대체하도록 구성될 수도 있는 시스템을 나타낸다.
도 2 는 스마트 오디오 로깅 시스템의 예시적인 실시형태이다. 마이크로폰 유닛 (200) 및 A/D 컨버터 (210) 를 포함하는 오디오 캡처링 유닛 (215) 이 스마트 오디오 로깅 시스템의 프론트-엔드이다. 마이크로폰 유닛 (200) 은 음향 오디오 신호를 픽업 또는 수신하여 그것을 전기 신호로 변형하도록 구성될 수도 있는 적어도 하나의 마이크로폰을 포함한다. A/D 컨버터 (210) 는 오디오 신호를 별개의 디지털 신호로 변환한다. 다른 실시형태에서, 마이크로폰 유닛 (200) 안의 적어도 하나의 마이크로폰은 디지털 마이크로폰일 수도 있다. 그러한 경우에서, A/D 변환 단계는 생략되도록 구성될 수도 있다.
청각 이벤트 (S210) 는 일반적으로 오디오 신호 또는 특히 사용자에게 관심 있는 오디오 신호를 지칭한다. 예를 들어, 청각 이벤트 (S210) 는 스피치 신호, 음악, 특정 배경 잡음 특성, 또는 특정 키워드들의 존재를 포함할 수도 있으나, 이에 한정되지는 않는다. 청각 이벤트 (S210) 는 종종 당해 분야에서 "청각 장면 (auditory scene)" 으로서 지칭된다.
오디오 캡처링 유닛 (215) 은 적어도 하나의 마이크로폰 또는 적어도 하나의 A/D 컨버터를 포함할 수도 있다. 적어도 하나의 마이크로폰 또는 적어도 하나의 A/D 컨버터는 종래의 오디오 로깅 시스템의 일부일 수도 있고, 모바일 디바이스의 액티브 사용 동안에만 파워 업될 수도 있다. 예를 들어, 종래 시스템의 전통적인 오디오 캡처링 유닛은 콜 (call) 을 두거나 수신하고, 또는 비디오 레코딩 시작 버튼을 누르는 사용자의 선택에 응답하여 전체 보이스 콜 또는 전체 비디오 레코딩 동안에만 파워 업되도록 구성될 수도 있다.
그러나, 본 출원에서 오디오 캡처링 유닛 (215) 은 적어도 하나의 마이크로폰의 액티브 사용을 필요로할 수도 있는 임의의 다른 애플리케이션들의 실행 동안 또는 보이스 콜 동안에 추가적으로 모바일 디바이스의 아이들 모드 동안에도 간헐적으로 웨이크 업, 또는 파워 업하도록 구성될 수도 있다. 오디오 캡처링 유닛 (215) 은 심지어 오디오 신호를 연속적으로 픽업하는 파워 업 상태에 머물도록 구성될 수도 있다. 이 접근은 "항상 온 (Always On)" 으로서 지칭될 수도 있다. 픽업된 오디오 신호 (S260) 는 별개의 형태로 버퍼 (220) 에 저장되도록 구성될 수도 있다.
본원에 설명된 모바일 디바이스의 "아이들 모드" 는 일반적으로, 다르게 구체적으로 명시하지 않는다면 사용자의 수동적 입력에 응답하여 모바일 디바이스가 임의의 애플리케이션을 활동적으로 구동시키지 않는 스테이터스를 지칭한다. 예를 들어, 통상적인 모바일 디바이스들은 사용자의 선택 없이도 하나 이상의 기지국들로 그리고 이들로부터 주기적으로 신호들을 전송하거나 수신한다. 이 유형의 액티비티를 수행하는 모바일 디바이스의 스테이터스는 본 출원의 범위 내에서 아이들 모드로서 간주된다. 사용자가 그 또는 그녀의 모바일 디바이스를 사용하여 보이스 통신 또는 비디오 레코딩에 활동적으로 참여할 때, 이것은 아이들 모드로서 간주되지 않는다.
버퍼 (220) 는, 디지털 오디오 데이터가 오디오 로깅 프로세서 (230) 에 의해 프로세싱되기 전에 일시적으로 디지털 오디오 데이터를 저장한다. 버퍼 (220) 는 임의의 물리적 메모리일 수도 있고, 오디오 캡처링 유닛 (215) 으로부터 비교적 작은 요구된 메모리 풋프린트 및 보다 빠른 액세스 이점들로 인해 모바일 디바이스 내에 위치하는 것이 바람직하지만, 버퍼 (220) 는 또한 무선 또는 유선 네트워크 접속들을 통해 모바일 디바이스들 밖에 위치할 수 있다. 다른 실시형태에서, 픽업된 오디오 신호 (S260) 는 버퍼 (220) 에 일시적으로 저장되지 않고 오디오 로깅 프로세서 (230) 에 직접 접속되도록 구성될 수도 있다. 이러한 경우에, 픽업된 오디오 신호 (S260) 는 오디오 입력 (S270) 과 동일할 수도 있다.
오디오 로깅 프로세서 (230) 는 스마트 오디오 로깅 시스템에 대해 메인 프로세싱 유닛이다. 그것은 언제 로깅을 시작하고 또는 종료할지 또는 스마트 빌딩 블록들을 어떻게 구성하는지에 대하여 각종 결정을 하도록 구성될 수도 있다. 그것은, 입력 프로세싱 유닛 (250) 또는 출력 프로세싱 유닛 (240) 과 인터페이싱하기 위해, 스마트 오디오 로깅 시스템의 내부 상태를 결정하기 위해, 그리고 보조 데이터 유닛 (280) 또는 데이터베이스에 액세스하기 위해 인접 블록들을 제어하도록 또한 구성될 수도 있다. 오디오 로깅 프로세서 (230) 의 실시형태의 일 예가 도 5 에 제시된다. 오디오 로깅 프로세서 (230) 는 버퍼에 저장된 별개의 오디오 입력 데이터를 판독하도록 구성될 수도 있다. 그 후, 오디오 입력 데이터는 콘텍스트 정보 (S600) 의 추출을 위해 프로세싱될 수도 있고, 이 정보는 그 후 오디오 로깅 프로세서 (230) 안이나 밖에 위치한 메모리에 저장될 수도 있다. 콘텍스트 정보 (S600) 의 더 상세한 설명은 도 6 및 도 7 의 설명과 함께 제시된다.
보조 데이터 유닛 (280) 은 각종 데이터베이스 또는 응용 프로그램들을 포함할 수도 있고, 오디오 로깅 프로세서 (230) 에 의해 부분적으로 또는 전체적으로 이용될 수도 있는 추가의 정보를 제공하도록 구성될 수도 있다. 일 실시형태에서, 보조 데이터 유닛 (280) 은 스마트 오디오 로깅 피처가 구비된 모바일 디바이스의 오너의 스케줄링 정보를 포함할 수도 있다. 이러한 경우, 스케줄링 정보는, 예를 들어 다음의 상세들: 몇몇 예를 들자면 "다음 비지니스 미팅의 시간 및/또는 지속기간", "초대된 참석자들", "미팅 장소의 로케이션", 또는 "미팅의 주제" 를 포함할 수도 있다. 일 실시형태에서, 스케줄링 정보는 카렌더링 애플리케이션, 예컨대 마이크로소프트 아웃룩 또는 임의의 다른 상용 가능한 카렌더링 애플리케이션으로부터 획득될 수도 있다. 보조 데이터 유닛 (280) 으로부터의 이들 유형의 상세들을 수신하거나 활동적으로 취출할 시에, 오디오 로깅 프로세서 (230) 는 버퍼 (220) 에 저장된 별개의 오디오 입력 데이터로부터 추출된 콘텍스트 정보 (S600) 와 바람직하게 결합하는 상세들에 따라 오디오 로깅을 언제 시작할지 또는 종료할지에 관한 결정을 하도록 구성될 수도 있다.
스토리지는 일반적으로, 오디오 로깅 프로세서 (230) 로부터 프로세싱된 오디오 로깅을 저장하도록 설계되는 시스템 내의 하나 이상의 메모리 로케이션들을 지칭한다. 스토리지는 모바일 디바이스들이 국부적으로 이용 가능한 로컬 스토리지 (270) 또는 유선이나 무선 통신 채널을 통해 모바일 디바이스들에 원격으로 접속되는 원격 스토리지 (290) 를 포함하도록 구성될 수도 있다. 오디오 로깅 프로세서 (230) 는 로컬 스토리지 (270) 와 원격 스토리지 (290) 사이에서 프로세싱된 오디오 로깅들을 저장할 곳을 선택하도록 구성될 수도 있다. 스토리지 선택은 각종 팩터들에 따라 이루어질 수도 있는데, 이 팩터들은 콘텍스트 정보 (S600), 오디오 로깅들의 추정된 크기, 이용 가능한 메모리 크기, 네트워크 속도, 네트워크의 레이턴시, 또는 콘텍스트 정보 (S600) 의 우선순위를 포함할 수도 있으나, 이에 한정되지는 않는다. 스토리지 선택은, 필요하다면 액티브 오디오 로깅 프로세스 동안 로컬 스토리지 (270) 와 원격 스토리지 (290) 사이에서 동적으로 스위칭되도록 구성될 수도 있다.
도 3 은 출력 프로세싱 유닛 (240) 의 일 실시형태의 도면예이다. 출력 프로세싱 유닛 (240) 은 오디오 로깅 프로세서 (230) 로부터 생성된 출력 신호 (S230) 를 각종 주변 디바이스들, 예컨대 스피커, 디스플레이, 햅틱 디바이스, 또는 외부 스마트 오디오 로깅 디바이스들로 전달하도록 구성될 수도 있다. 햅틱 디바이스는 촉각 피드백 메커니즘에 기초하여 시스템이 진보된 사용자 경험을 제공하는 것을 허용한다. 그것은 사용자에게 힘, 진동, 및/또는 모션을 가함으로써 사용자의 터치 감각을 이용할 수도 있다. 스마트 오디오 로깅 시스템은 출력 신호 (S230) 를 출력 프로세싱 유닛 (240) 을 통해 다른 적어도 하나의 스마트 오디오 로깅 시스템들로 송신할 수도 있다. 출력 신호의 송신은 무선 채널을 통한 것일 수도 있고, 각종 무선 통신 프로토콜들, 바람직하게는 예컨대 GSM, UMTS, HSPA+, CDMA, Wi-Fi, LTE, VOIP, 또는 WiMax 가 이용될 수도 있다. 출력 프로세싱 유닛 (240) 은 출력 신호 (S230) 를 적합한 주변 디바이스들에 선택적으로 분배할 수도 있는 디-멀티플렉서 (De-Mux; 310) 를 포함하도록 구성될 수도 있다. De-Mux (310) 에 의해 선택된다면 오디오 출력 생성기 (315) 는 출력 신호 (S230) 에 따라 스피커 또는 헤드셋에 대한 오디오 신호를 생성한다. De-Mux (310) 에 의해 선택된다면 디스플레이 출력 생성기 (320) 는 출력 신호 (S230) 에 따라 디스플레이 디바이스에 대한 비디오 신호를 생성한다. De-Mux (310) 에 의해 선택된다면 햅틱 출력 생성기 (330) 는 햅틱 디바이스에 대한 촉각 신호를 생성한다. De-Mux (310) 에 의해 선택된다면 송신기는 다른 스마트 오디오 로깅 시스템을 포함하는 외부 디바이스들로의 송신을 위해 준비되는 프로세싱된 신호를 생성한다.
도 4 는 입력 프로세싱 유닛 (250) 의 일 실시형태의 도면예이다. 이 예에서, 입력 프로세싱 유닛 (250) 은 각종 유형의 입력들을 프로세싱하고, 멀티플렉서 (Mux; 410) 를 통해 오디오 로깅 프로세서 (230) 로 선택적으로 전송될 수도 있는 입력 신호 (S220) 를 생성한다. 입력들은, 비-음향 센서들, 예컨대 카메라, 타이머, GPS, 근접도 센서, 자이로 (Gyro), 주변 센서, 가속도계 등으로부터의 신호, 사용자의 보이스 또는 키 커맨트들을 포함할 수도 있으나, 이에 한정되지는 않는다. 입력들은 다른 적어도 하나의 스마트 오디오 로깅 시스템들로부터 송신될 수도 있다. 이에 따라, 입력들은 오디오 로깅 프로세서 (230) 로 전송되기 전에, 각종 모듈들, 예컨대 보이스 커맨드 프로세서 (420), 키 커맨드 프로세서 (430), 타이머 인터페이스 (440), 수신기 (450), 또는 센서 인터페이스 (460) 에 의해 프로세싱될 수도 있다.
도 5 는 오디오 로깅 프로세서 (230) 의 일 실시형태의 예시적인 도면이다. 오디오 로깅 프로세서 (230) 는 스마트 오디오 로깅 시스템의 메인 컴퓨팅 엔진이고, 적어도 하나의 마이크로프로세서와 또는 적어도 하나의 디지털 신호 프로세서와 또는 그것의 임의의 조합과 실제로 구현될 수도 있다. 대안으로, 오디오 로깅 프로세서 (230) 의 일부 또는 모든 모듈들은 HW 에서 구현될 수도 있다. 도 5 에 도시된 바와 같이, 오디오 로깅 프로세서 (230) 는 특정 동작에 전용된 다수의 모듈들 뿐만 아니라 "일반적 오디오 신호 프로세서 (595)" 로 명명된 더 일반적인 모듈을 포함할 수도 있다.
청각 액티비티 검출기 (510) 모듈 또는 "오디오 검출기" 는 오디오 입력 (S270) 으로부터 오디오 액티비티의 레벨을 검출할 수도 있다. 오디오 액티비티는 바이너리 분류, 예컨대 액티브 또는 비-액티브, 또는 필요하다면 더 많은 레벨의 분류로서 정의될 수도 있다. 오디오 입력 (S270) 의 오디오 레벨을 결정하기 위한 각종 방법들이 이용될 수도 있다. 예를 들어, 청각 액티비티 검출기 (510) 는 신호 에너지, 신호 대 잡음비 (SNR), 주기성, 스펙트럼 틸트 (spectral tilt), 및/또는 제로-크로싱 레이트에 기초할 수도 있다. 그러나, 배터리 수명을 연장하는 것을 돕는 가능한 한 낮은 계산적 복잡성을 유지하기 위해서 비교적 단순한 솔루션들을 이용하는 것이 바람직하다. 오디오 품질 강화기 (520) 모듈은 배경 잡음을 능동적으로 또는 수동적으로 억제함으로써; 음향 에코를 소거함으로써; 입력 이득을 조정함으로써; 또는 대화 스피치 신호에 대한 오디오 입력 (S270) 의 이해도를 향상시킴으로써 오디오 입력 (S270) 의 품질을 향상시킬 수도 있다.
보조 신호 분석기 (530) 모듈은 보조 데이터 유닛 (280) 으로부터의 보조 신호를 분석할 수도 있다. 예를 들어, 보조 신호는 스케줄링 프로그램, 예컨대 카렌더링 프로그램 또는 이메일 클라이언트 프로그램을 포함할 수도 있다. 또한, 추가의 데이터베이스, 예컨대 사전, 고용인 프로필, 또는 제삼자 소스 또는 트레이닝 데이터로부터 획득된 각종 오디오 및 스피치 파라미터들을 포함할 수도 있다. 입력 신호 핸들러 (540) 모듈은 입력 프로세싱 유닛 (250) 으로부터의 입력 신호 (S220) 를 검출, 프로세싱, 또는 분석할 수도 있다. 출력 신호 핸들러 (590) 모듈은 출력 프로세싱 유닛 (240) 에 따라 출력 신호 (S230) 를 생성할 수도 있다.
제어 신호 핸들러 (550) 는 스마트 오디오 로깅 시스템의 주변 유닛들에 적용될 수도 있는 각종 제어 신호들을 핸들링한다. 제어 신호들의 2 개의 예들, A/D 컨버터 제어 (S215) 및 마이크로폰 유닛 제어 (S205) 가 예시의 목적으로 도 5 에 개시된다. 시작 이벤트 관리자 (570) 는 시작 이벤트 인디케이터를 핸들링, 검출, 또는 생성하도록 구성될 수도 있다. 시작 이벤트 인디케이터는, 스마트 오디오 로깅이 시작할 준비가 되어있을 수도 있다는 것을 나타내는 플래그 또는 신호이다. 오디오 로깅 프로세서 (230) 가 그 동작이 상태 머신에 기초하는 경우 그 내부 상태를 스위치하는 시작 이벤트 인디케이터를 이용하는 것이 바람직할 수도 있다. 시작 이벤트 인디케이터는 오디오 로깅 프로세서 (230) 의 동작의 이해를 위해 개념적인 플래그 또는 신호임이 당업자에게 자명할 것이다. 일 실시형태에서, 그것은 SW 구현에서 하나 이상의 변수들을 이용하여, 또는 HW 설계에서 하나 이상의 하드와이어링된 신호들을 이용하여 구현될 수도 있다. 시작 이벤트 인디케이터는, 하나 이상의 조건들이 충족될 때 시작 이벤트 인디케이터 (S910) 가 트리거링되는 단일 레벨 또는 하나 이상의 레벨의 시작 이벤트 인디케이터들이 모두 트리거링될 때 실제 스마트 오디오 로깅이 개시되는 다중 레벨일 수도 있다.
일반적인 오디오 신호 프로세서 (595) 는 본 출원에 명쾌하게 제시되지 않지만 성공적인 구현을 위해 필요한 다른 기본적인 오디오 및 스피치 신호 프로세싱 방법들 모두를 핸들링하기 위한 다목적 모듈이다. 예를 들어, 이들 신호 프로세싱 방법들은 시간-주파수 또는 주파수-시간 변환; 여러 가지 종류의 필터링; 신호 이득 조정; 또는 동적 범위 제어를 포함할 수도 있으나, 이에 한정되지는 않는다. 도 5 에 개별적으로 개시된 각각의 모듈은 오디오 로깅 프로세서 (230) 의 기능 설명의 목적들을 예시하기 위해서만 제공된다. 일 실시형태에서, 일부 모듈들은 단일의 모듈로 결합될 수 있고, 또는 일부 모듈들은 시스템의 실-생활 구현에서 보다 작은 모듈들로 더욱 분할될 수 있다. 다른 실시형태에서, 도 5 에 개시된 모듈들 모두는 단일 모듈로서 통합될 수도 있다.
도 6 은 콘텍스트 정보 (S600) 의 예들을 예시하는 도면이다. 다르게 명시되지 않으면, 용어 "콘텍스트" (또는 "콘텍스트 정보 S600") 는 사용자의 정보, 예컨대 신원 확인, 감정, 습관, 생물학적 조건, 또는 참여한 액티비티; 절대적 또는 상대적 로케이션과 같은 물리적 환경; 키워드 또는 클래스 식별과 같은 콘텐츠에 대한 정보; 또는 사회적 상호작용 또는 비지니스 액티비티와 같은 사회적 환경을 지칭한다. 도 7 은 콘텍스트 식별자 (560) 의 실시형태의 도면이다. 콘텍스트 식별자 (560) 는 오디오 로깅 프로세서 (230) 의 일부이고 오디오 입력 (S270) 으로부터 콘텍스트 정보 (S600) 를 추출한다. 일 실시형태에서, 콘텍스트 식별자 (560) 는 전용 HW 엔진 또는 디지털 신호 프로세서 상에서 구현되도록 구성될 수도 있다.
도 8 은 콘텍스트 식별자 (560) 및 콘텍스트 정보 (S600) 의 예시적인 실시형태의 도면이다. 키워드 식별자는 오디오 입력 (S270) 을 분석하고 대화 스피치 콘텐츠 외의 중요한 키워드들을 인식한다. 인식 프로세스는 보조 데이터베이스, 예컨대 하나 이상의 단어들을 저장하는 사전 또는 룩업 테이블에 기초할 수도 있다. 음악/스피치 검출기는 입력 신호의 특징에 기초하여 하나보다 많은 카테고리들로서 오디오 입력 (S270) 을 분류하도록 구성될 수도 있다. 검출은 오디오 또는 스피치 파라미터들의 식별 및 식별된 오디오 또는 스피치 파라미터들을 하나 이상의 임계들에의 비교에 기초할 수도 있다. 본 출원의 범위 내의 분류는 상호교환적으로 검출로서 간주될 수도 있다.
음악/스피치 검출기 (820) 는 또한, 입력 신호를 다중-레벨의 범주로 분류하도록 구성될 수도 있다. 예를 들어, 음악/스피치 검출기 (820) 의 일 실시형태에서, 입력 신호는 제 1 레벨의 범주, 예컨대 "음악", 또는 "스피치", 또는 "음악+스피치" 로 분류할 수도 있다. 그 후, 제 1 레벨의 범주 스테이지에서 "음악" 으로서 분류된 신호에 대해 "록", "팝", 또는 "클래식" 과 같은 제 2 레벨의 범주를 또한 결정할 수도 있다. 동일한 방식으로, 제 1 레벨의 범주 스테이지에서 "스피치" 로서 분류된 신호에 대해 "비지니스 대화", "개인적인 대화", 또는 "강연" 과 같은 제 2 레벨의 범주를 또한 결정할 수도 있다.
스피커 식별자 (830) 는 스피치 신호 입력에 대한 스피커의 식별을 검출하도록 구성될 수도 있다. 스피커 식별 프로세스는 입력 스피치 신호, 예컨대 신호 또는 프레임 에너지, 신호 대 잡음비 (SNR), 주기성, 스펙트럼 틸트, 및/또는 제로-크로싱 레이트의 특징에 기초할 수도 있다. 스피커 식별자 (830) 는 "남성 스피커" 또는 "여성 스피커" 와 같은 단순한 범주를 식별하고; 또는 스피커의 이름 또는 제목과 같은 더 교양있는 정보를 식별하도록 구성될 수도 있다. 스피커의 이름 또는 제목을 식별하는 것은 대규모의 계산적 복잡성을 필요로 할 수 있다. 그것은, 스피커 식별자 (830) 가 각종 이유들에 대한 다수의 스피치 샘플들을 검색해야 할 때 더욱 더 어려워진다.
예를 들어, 다음의 가상적 상황을 가정해보자. 회사 X 는 전체 15,000 의 고용인을 가지며, 사용자 Y 는 스마트 오디오 로깅 피처가 구비된 그의 모바일 디바이스를 사용하여 매일 일련의 일-관련된 오디오 컨퍼런스 회의에 참석해야 한다. 사용자 Y 는, 다수의 스피커들, 회사 X 의 고용인들이 대화에 참여했을 때 실시간으로 스피커들을 식별하기를 원한다. 첫 번째, 스피치 샘플들로부터 추출된 스피치 샘플들 또는 스피치 특징들은 모든 고용인들에 대해 우선 이용 가능하지 않을 수도 있다. 두 번째, 그들이 로컬 메모리에서 또는 무선 채널을 통해 접속된 원격 서버 측에서 이미 이용가능하더라도, 모바일 디바이스에서 실시간으로 그 다수의 스피치 샘플들을 검색하는 것은 매우 어려울 수도 있다. 세 번째, 이 검색이 원격 서버 측에서 행해질 수도 있고 서버의 연산력이 모바일 디바이스보다 상당히 높을 수 있더라도, 실시간 프로세싱은 Rx/Tx 송신 레이턴시를 고려하여 여전히 어려울 수 있다. 이들 문제들은, 보조 데이터베이스로부터 추가의 정보가 이용 가능한 경우 관리 가능해질 수도 있다. 예를 들어, 회의 참가자들의 리스트가 카렌더링 프로그램으로부터 이용 가능한 경우, 스피커 식별자는 검색 공간을 상당히 좁힘으로써 검색될 사람의 수를 효과적으로 감소시킬 수도 있다.
환경 검출기 (850) 는 프레임 에너지, 신호대 잡음비 (SNR), 주기성, 스펙트럼 틸트, 및/또는 제로 크로싱 레이트와 같은 입력 스피치 신호의 하나 이상의 특징들에 기초하여 청각 장면을 식별하도록 구성될 수도 있다. 예를 들어, 그것은 "오피스", "자동차", "식당", "서브웨이", "야구장" 등과 같은 현재 입력 신호의 환경을 식별할 수도 있다.
잡음 분류기 (840) 는 오디오 입력 (S270) 의 배경 잡음의 특징을 분류하도록 구성될 수도 있다. 예를 들어, 그것은 "정지 대 비-정지", "거리 잡음", "비행기 잡음", 또는 그들의 조합과 같은 배경 잡음을 식별할 수도 있다. 그것은 "심함" 또는 "중간" 과 같은 그것의 격렬 (severity) 레벨에 기초하여 배경 잡음을 분류할 수도 있다. 잡음 분류기 (840) 는 단일 상태 프로세싱 또는 멀티-스테이지 프로세싱으로 입력을 분류하도록 구성될 수도 있다.
감정 검출기 (850) 는 음악 콘텐츠의 감정적 양태 또는 대화 스피치에 대한 스피커의 감정을 검출하도록 구성될 수도 있다. 음악은 다수의 관심있는 음향 파라미터들로 이루어진다. 예를 들어, 음악은 리듬, 악기, 톤, 보컬, 음색, 음표, 및 가사를 포함할 수도 있다. 이들 파라미터들은 행복, 화남, 두려움, 승리, 불안, 또는 우울함과 같은 하나 이상의 감정 카테고리들에 대한 스피커의 감정을 추정 또는 검출하도록 사용될 수도 있다. 인게이징 액티비티 검출기 (870) 는 오디오 입력 신호 (S270) 의 특징들에 기초하여 스피커의 액티비티를 검출하도록 구성될 수도 있다. 예를 들어, 그것은, 스피커가 "이야기중", "달리는 중", "걷는 중", "스포츠를 하는 중", "수업 중", 또는 "쇼핑 중" 인 것을 검출할 수도 있다. 이 검출은 스피치 파라미터들 및/또는 음악 신호 파라미터들에 기초할 수도 있다. 검출은 또한, 도 8 의 다른 모듈들 또는 보조 데이터 유닛 (280) 으로부터 보충 정보를 얻도록 구성될 수도 있다. 예를 들어, 감정 검출기 (850) 는 환경 검출기 (860), 잡음 분류기 (840), 또는 도 8 에 개시된 모듈들의 임의의 다른 조합으로부터의 정보를 사용하도록 구성될 수도 있다.
도 9a 및 도 9b 는 단일 레벨 및 다중 레벨의 시작 이벤트 인디케이터들 각각의 생성 메커니즘의 예시적인 실시형태의 도면들이다. 단일 레벨의 시작 이벤트 인디케이터는 비교적 단순한 시작 메커니즘 실시형태에 바람직한 한편, 다중 레벨의 시작 이벤트 인디케이터는 오히려 복잡한 시작 메커니즘 실시형태에 바람직하고, 이에 의해 더욱 공격적인 단계적 파워 업 방식이 효율적인 전력 소모를 위해 바람직하다. 시작 이벤트 관리자 (570) 는 청각 액티비티 검출기 (510), 보조 신호 분석기 (530), 또는 입력 신호 핸들러 (540) 로부터의 내부 트리거링 신호들 또는 출력들의 임의의 조합에 따라 시작 이벤트 인티케이터 (S910) 를 생성하도록 구성될 수도 있다. 예를 들어, 하나 이상의 관심있는 청각 이벤트들 또는 액티비티들이 검출되는 경우, 청각 액티비티 검출기 (510) 는 오디오 입력 (S270) 의 액티비티에 기초하여 내부 트리거링 신호를 생성하도록 구성될 수도 있다.
보조 신호 분석기 (530) 는 또한, 사용자의 카렌더링 프로그램의 스케줄에 따라 내부 트리거링 신호를 생성할 수도 있다. 사용자가 레코딩하기를 원했던 특정 미팅은 사용자로부터의 임의의 수동적인 중재 없이 내부 트리거링 신호를 자동으로 생성할 수도 있다. 대안으로, 보조 신호 분석기 (530) 는 미팅의 분명한 또는 내포된 우선순위들에 기초하여 그러한 결정을 하도록 구성될 수도 있다. 내부 트리거링 신호의 생성은 오디오 입력 (S270) 또는 보조 신호의 분석외의 입력들로부터 개시될 수도 있다. 그러한 입력들은 사용자의 보이스 또는 수동 키 제어들; 타이머; 카메라, 타이머, GPS, 근접도 센서, 자이로, 주위 센서, 또는 가속도계와 같은 비-음향 센서들로부터의 신호; 또는 다른 적어도 하나의 스마트 오디오 로깅 시스템으로부터 송신된 신호를 포함할 수도 있다. 결합 로직 (900) 은 내부 트리거링 신호들의 소정 결합 메커니즘들에 기초하여 시작 이벤트 인디케이터 (S910) 를 생성하도록 구성될 수도 있다. 예를 들어, 청각 액티비티 검출기 (510), 보조 신호 분석기 (530), 또는 입력 신호 핸들러 (540) 로부터의 내부 트리거링 신호들의 OR 연산 또는 AND 연산에 따라 시작 이벤트 인디케이터 (S910) 를 생성하도록 구성될 수도 있다. 다른 실시형태에서, 하나 이상의 내부 트리거링 신호들이 설정되었거나 트리거링된 경우, 시작 이벤트 인디케이터 (S910) 를 생성하도록 구성될 수도 있다.
다시 도 9b 를 참조하면, 시작 이벤트 관리자 (570) 는 실제 로깅의 시작 전에 제 1 레벨 시작 이벤트 인디케이터 (S920) 및 제 2 레벨 시작 이벤트 인디케이터 (S930) 를 생성하도록 구성될 수도 있다. 본원에 개시된 멀티-레벨 시작 이벤트 인디케이터 메커니즘은 하나 보다 많은 레벨의 인디케이터들에 의존함으로써 오디오 로깅의 더 정확한 시작 포인트를 결정하기 위해 바람직할 수도 있다. 멀티-레벨 시작 이벤트 인디케이터의 예시적인 구현은 제 1 레벨 시작 이벤트 인디케이터 (S920) 에 대해 비교적 단순하고 저-복잡성 결정 메커니즘을 채택하고 제 2 레벨 시작 이벤트 인디케이터 (S930) 에 대해 정교하고 고-복잡성 결정 메커니즘을 채택하도록 구성될 수도 있다. 일 실시형태에서, 제 1 레벨 시작 이벤트 인디케이터 (S920) 의 생성은 도 9a 의 시작 이벤트 인디케이터 (S910) 의 것과 같은 방법과 실질적으로 유사하도록 구성될 수도 있다. 도 9a 와 대조적으로, 오디오 로깅 프로세서 (230) 는 제 1 레벨 시작 이벤트 인디케이터 (S920) 의 트리거링 시에 실제 로깅을 시작하지 않지만 대신에, 오디오 입력 (S270) 의 추가의 심도 있는 (in-depth) 분석에 기초하여 제 2 레벨 시작 이벤트 인디케이터 (S930) 를 트리거링하기 위해 필요한 추가의 모듈들을 바람직하게 웨이크업하거나 상호교환적으로 파워업할 수도 있다. 이들 모듈들은 콘텍스트 식별자 (560) 및 콘텍스트 평가 로직 (950) 을 포함할 수도 있다. 콘텍스트 식별자 (560) 는 그 후, 도 8 에 개시된 방법들에 따라 오디오 입력 (S270) 을 분석할 것이고 콘텍스트 평가 로직 (950) 에 의해 평가될 수도 있는 콘텍스트 정보 (S600) 의 수를 검출 또는 식별할 수도 있다. 콘텍스트 평가 로직 (950) 은 각종 내부 결정 방법들에 따라 제 2 레벨 시작 이벤트 인디케이터 (S930) 를 트리거링하도록 구성될 수도 있다. 이러한 방법들은, 예를 들어 도 8 에 개시된 서브 모듈들의 일부 또는 전부의 출력에 대한 우선순위의 가중된 합의 계산 및 하나 이상의 임계들에 대한 이 가중된 합의 비교를 포함할 수도 있다. 콘텍스트 평가 로직 (950) 은 SW 나 HW 로 구현될 수도 있고, 또는 그것은 도 8 의 일반적 오디오 신호 프로세서 (595) 의 일부로서 구현될 수도 있음에 주목해야 한다.
도 10 은 종료 이벤트 인디케이터 생성 메커니즘의 일 실시형태이다. 종료 이벤트 인디케이터 (S940) 는 청각 액티비티 검출기 (510), 보조 신호 분석기 (530), 또는 입력 신호 핸들러 (540) 로부터의 출력들 또는 내부 트리거링 신호들의 임의의 조합에 따라 종료 이벤트 관리자 (580) 에 의해 생성될 수도 있다. 도 10 의 모듈들의 동작은 도 9a 나 도 9b 에 설명된 방법과 실질적으로 유사하지만, 각각의 모듈로부터의 내부 트리거링 신호들은 통상적으로, 각각의 모듈이 그 현재 동작 모드로부터 전력 효율적인 모드로 스위칭하기 위한 인디케이션들 또는 실제 로깅을 정지시키기 위한 인디케이션들을 검출할 때, 트리거링된다. 예를 들어, 청각 액티비티 검출기 (510) 는, 오디오 입력 (S270) 의 오디오 액티비티가 상당히 감소되어 비교될 때 그 내부 트리거링 신호를 트리거링할 수도 있고, 또는 유사하게 보조 신호 분석기 (530) 는, 미팅이 끝날 그 스케줄링된 시간에 도달했을 때 그 내부 트리거링 신호를 트리거링할 수도 있다. 결합 로직 (900) 은 내부 트리거링 신호들의 소정 결합 메커니즘에 기초하여 종료 이벤트 인디케이터 (S940) 를 생성하도록 구성될 수도 있다. 예를 들어, 그것은 청각 액티비티 검출기 (510), 보조 신호 분석기 (530), 또는 입력 신호 핸들러 (540) 로부터의 내부 트리거링 신호들의 OR 연산 또는 AND 연산에 따라 종료 이벤트 인디케이터 (S940) 를 생성하도록 구성될 수도 있다. 다른 실시형태에서, 그것은 하나 이상의 내부 트리거링 신호들이 설정되었거나 트리거링되었을 때 종료 이벤트 인디케이터 (S940) 를 생성하도록 구성될 수도 있다.
도 11 은 멀티-레벨 시작 이벤트 인디케이터 시스템에 대한 그 천이 및 오디오 로깅 프로세서 (230) 의 내부 상태들을 나타내는 제 1 예시적인 실시형태의 도면이다. 스마트 오디오 로깅의 스타트-업에서 디폴트 상태는, 스마트 오디오 로깅 피처를 포함하는 모바일 디바이스가 실질적으로 통상의 아이들 모드 상태와 동일한 동안 패시브 오디오 모니터링 상태 (S1) 일 수도 있다. 패시브 오디오 모니터링 상태 (S1) 동안, 통계적으로 모바일 디바이스가 대부분의 시간 동안 이 상태에 머무르기 때문에 전력 소모를 최소화하는 것이 중요하다. 따라서, 오디오 입력 (S270) 의 액티비티를 검출하는데 필요한 몇몇 모듈들을 제외하고, 스마트 오디오 로깅 시스템의 모듈들 대부분은 슬립 상태에 또는 임의의 다른 전력-절감 모드들에 있도록 구성될 수도 있다. 예를 들어, 그러한 몇몇 예외적인 모듈들은 오디오 캡처링 유닛 (215), 버퍼 (220), 또는 오디오 액티비티 검출기 (510) 를 포함할 수도 있다. 일 실시형태에서, 이들 모듈들은 항상 온이도록 구성될 수도 있고 또는 간헐적으로 웨이크업하도록 구성될 수도 있다.
제 1 레벨 시작 이벤트 인디케이터 (S920) 의 트리거링 시에, 상태는 패시브 오디오 모니터링 상태 (S1) 로부터 액티브 오디오 모니터링 상태 (S2) 로 변경될 수 있다. 액티브 오디오 모니터링 상태 (S2) 동안, 스마트 오디오 로깅 시스템은 예를 들어 콘텍스트 식별자 (560) 또는 콘텍스트 평가 로직 (950) 과 같은 하나 이상의 엑스트라 모듈들을 웨이크업하도록 구성될 수도 있다. 이들 엑스트라 모듈들은, 제 2 레벨 시작 이벤트 인디케이터 (S930) 가 도 9b 에 제시된 설명에 따라 트리거링될 필요가 있는지를 결정하기 위해 오디오 입력 (S270) 신호의 심도 있는 모니터링 및 분석을 제공하는데 이용될 수도 있다. 제 2 레벨 시작 이벤트 인디케이터 (S930) 가 최종적으로 트리거링되면, 그 후 시스템은 실제 오디오 로깅이 뒤따르는 동안 액티브 오디오 로깅 상태 (S3) 로 천이한다. 각 상태의 예시적인 동작의 상세한 설명은 다음의 문구들에서 제시될 것이다. 종료 이벤트 인디케이터 (S940) 가 액티브 오디오 모니터링 상태 (S2) 동안 트리거링되면, 시스템은 그 상태 동안 파워업되었던 엑스트라 모듈들을 슬립 모드로 놓고, 그 상태를 다시 패시브 오디오 모니터링 상태 (S1) 로 스위칭하도록 구성될 수도 있다. 유사한 방식으로, 종료 이벤트 인디케이터 (S940) 가 액티브 오디오 로깅 상태 (S3) 동안 트리거링되면, 시스템은 오디오 로깅을 정지시키고 그 상태를 다시 패시브 오디오 모니터링 상태 (S1) 로 스위칭하도록 구성될 수도 있다.
도 12 는 오디오 로깅 프로세서 (230) 의 내부 상태들 및 단일-레벨 시작 이벤트 인디케이터 시스템에 대한 그 천이들을 나타내는 제 2 예시적인 실시형태의 도면이다. 여기에서의 실시형태는 단지 2 개의 이용 가능한 동작 상태들이 존재함에 있어서 도 11 에 개시된 실시형태보다 간단하다. 스마트 오디오 로깅의 스타트-업에서 디폴트 상태는, 스마트 오디오 로깅 피처를 포함하는 모바일 디바이스가 실질적으로 통상의 아이들 모드 상태와 동일한 동안 오디오 모니터링 상태 (S1) 일 수도 있다. 오디오 모니터링 상태 (S4) 동안, 통계적으로 모바일 디바이스는 대부분의 시간 동안 이 상태에 머무르기 때문에 전력 소모를 최소화하는 것이 바람직하다. 따라서, 오디오 입력 (S270) 의 액티비티를 검출하는데 최소로 필요한 몇몇 모듈들을 제외하고 스마트 오디오 로깅 시스템의 모듈들 대부분은 슬립 상태 또는 임의의 다른 전력-절감 모드들에 남아 있도록 구성될 수도 있다. 예를 들어, 몇몇 예외적인 모듈들은 오디오 캡처링 유닛 (215), 버퍼 (220), 또는 청각 액티비티 검출기 (510) 를 포함할 수도 있다. 일 실시형태에서, 이들 모듈들은 항상 온이도록 구성될 수도 있고 또는 간헐적으로 웨이크업하도록 구성될 수도 있다.
시작 이벤트 인디케이터 (S910) 의 트리거링 시에, 상태는 오디오 모니터링 상태 (S4) 로부터 액티브 오디오 로깅 상태 (S5) 로 변경될 수 있다. 액티브 오디오 로깅 상태 (S5) 동안, 실제 오디오 로깅이 뒤따를 것이다. 각 상태에서의 통상의 동작의 상세한 설명은 다음의 문구들에서 제시될 것이다. 종료 이벤트 인디케이터 (S940) 가 액티브 오디오 로깅 상태 (S5) 동안 트리거링되면, 시스템은 오디오 로깅을 정지시키고 그 상태를 다시 오디오 모니터링 상태 (S4) 로 스위칭하도록 구성될 수도 있다.
도 13 은 도 11 의 패시브 오디오 모니터링 상태 (S1) 또는 도 12 의 오디오 모니터링 상태 (S4) 동안 오디오 캡처링 유닛 (215) 의 실시형태의 플로우차트이다. 스마트 오디오 로깅 피처를 포함하는 모바일 디바이스는 초기에 아이들 모드에 있는 것으로 가정된다. 도 13 에는 2 개의 인터벌들이 제시된다. T1 은 마이크로폰 웨이크 업 인터벌을 나타내고, T2 는 마이크로폰이 머무르는 지속기간을 나타낸다. 본원에 제시된 플로우차트들은 단지 예시의 목적이며 플로우차트에서의 블록들 중 일부는 본 출원의 범위 내에서 상호교환적으로 레코딩될 수도 있다는 것이 당업자에게 자명하다. 예를 들어, 일 실시형태에서 도 13 의 A/D 컨버터 (1315, 1320) 의 설정들에 전용된 블록들은, 마이크로폰 및/또는 A/D 컨버터 (1330) 를 턴 온하는 블록 후에 프로세싱되도록 구성될 수도 있다. 그러한 경우, 블록들 (1315, 1320) 은 동작의 시작시에 단 한번 대신에 모든 T1 인터벌에서 구동하도록 구성될 수도 있다.
추가적으로, 도 13 은 스마트 오디오 로깅 구현에 근본적인 여러 중요한 개념들을 개시한다. A/D 컨버터는 샘플링 주파수 및/또는 데이터 폭의 관점에서 낮은 해상도를 유지하도록 프로그래밍될 수도 있다. 낮은 해상도 설정은 프로세싱되는 그리고/또는 버퍼 (220) 에 저장되는 데이터의 크기를 최소화하는 것을 돕는다. 디지털화된 오디오 입력의 정확도를 향상시키기 위해 높은 해상도가 이용될 수도 있다. 그러나, 일 예시적인 구현에서, 높은 해상도 설정의 증가된 버퍼 사용 및 전력 소모로 인해 낮은 해상도 설정을 사용하는 것이 바람직할 수도 있다. 오디오 모니터링 상태들 (S1, S2, S4) 의 목적이 주로 액티브 오디오 로깅을 시작하고 정확한 타이밍을 대기하는 환경을 감지 및 모니터링하는 것이라는 것을 고려하면, 낮은 해상도 설정이 바람직할 수도 있다.
마이크로폰은 T1 인터벌 마다, 마이크로폰 웨이크 업 인터벌에서 웨이크업 하고 T2 지속기간, 마이크로폰 ON 지속기간 동안 오디오 입력 (S270) 을 수집하도록 구성될 수도 있다. T1 또는 T2 의 값들은 고정된 인터벌에서 미리 결정될 수도 있고 또는 런 타임 동안 동적으로 채택될 수도 있다. 시스템의 일 예시적인 구현에서, T1 은 T2 보다 클 수도 있고 또는 T2 는 T1 보다 작지만 이에 비례하도록 결정될 수도 있다. 마이크로폰 유닛 (200) 내에 하나보다 많은 마이크로폰이 존재한다면, 각각의 마이크로폰은 동일한 인터벌을 갖도록 구성될 수도 있고, 또는 일부 마이크로폰은 다른 것들과 상이한 인터벌들을 갖도록 구성될 수도 있다. 일 실시형태에서, 마이크로폰들 중 일부는 도 11 의 패시브 오디오 모니터링 상태 (S1) 또는 도 12 의 오디오 모니터링 상태 (S4) 동안 전혀 턴 온되지 않을 수도 있다. 다른 실시형태에서, 하나 이상의 마이크로폰들은 항상 턴 온될 수도 있고, 이는 T1 이 T2 와 동일한 단지 특별한 경우일 수도 있다.
T2 지속기간 동안 디지털화된 오디오 입력들은 T1 인터벌마다 버퍼 (220) 에 저장될 수도 있고, 저장된 디지털 오디오 입력은 T3 인터벌마다 오디오 로깅 프로세서 (230) 에 의해 액세스 및 프로세싱될 수도 있다. 이는 도 14 를 이용하여 더 잘 이해될 수도 있는데, 도 14 는 패시브 오디오 모니터링 상태 (S1) 또는 오디오 모니터링 상태 (S4) 동안 오디오 캡처링 유닛 (215) 에서 버퍼 (220) 에 디지털 오디오 입력을 저장하는 예시적인 도면을 나타낸다. 버퍼 (220) 에의 저장된 디지털 오디오 입력 (1415, 1425, 1435, 1445) 은 오디오 로깅 프로세서 (230) 내의 청각 액티비티 검출기 (510) 에 의해 분석될 수도 있다. 일 예시적인 구현에서, T3 인터벌은 T2 지속기간과 동일할 수도 있고 또는 T2 지속기간과 상관 없이 결정될 수도 있다. T3 인터벌이 T2 지속기간보다 큰 경우, 청각 액티비티 검출기 (510) 는 T1 인터벌의 하나의 사이클 동안 버퍼 (220) 에 저장된 데이터의 크기보다 많이 액세스 및 프로세싱하도록 구성될 수도 있다.
도 15 는 패시브 오디오 모니터링 상태 (S1) 동안 오디오 로깅 프로세서 (230) 의 일 실시형태의 플로우차트이다. 이 상태에서, 오디오 로깅 프로세서 (230) 내의 모듈들 대부분은 도 15 의 동작에 필요한 최소 개수의 모듈들을 제외하고 전력 효율적인 모드에 있을 수도 있는 것이 바람직할 수도 있다. 이들 필요한 모듈들은 도 9b 에 도시된 모듈들일 수도 있다. 따라서, 도 15 의 플로우차트는 도 9b 로 더 잘 이해될 수도 있다. 모바일 디바이스가 아이들 모드에 있는 경우 입력 신호 (S220) 로부터 비롯된 시작 이벤트 요청이 입력 신호 핸들러 (540) 에 의해 검출되었으면 (1515), 제 1 레벨 시작 이벤트 인디케이터를 트리거링할 수도 있다 (1540). 보조 신호 (S240) 로부터 비롯된 시작 이벤트 요청이 보조 신호 분석기 (530) 에 의해 검출되면 (1520), 제 1 레벨 시작 이벤트 인디케이터를 트리거링할 수도 있다 (1540). 도 15 는 또한, 청각 액티비티 검출기 (510) 가 T3 인터벌 마다 버퍼 (220) 에서의 데이터 (1530) 를 분석하고, 추가의 심도 있는 분석이 필요할 수도 있음을 나타내는 임의의 청각 액티비티가 검출되었는지 아닌지를 결정할 수도 있는 것을 나타낸다. 이 테스팅에 대한 예시적인 실시형태들의 상세한 설명은 도 5 와 함께 본 출원에 미리 개시되었다. 관심있는 청각 액티비티가 검출되면, 제 1 레벨 시작 이벤트 인디케이터 (1540) 를 트리거링할 수도 있다.
도 15 의 블록들의 순서는 오디오 로깅 프로세서 (230) 의 동작을 설명하는데 있어서 단지 예시의 목적이며, 따라서 도 15 와 기능적으로 동등한 또는 실질적으로 동등할 수도 있는 많은 변형들이 존재할 수도 있음을 당업자는 인지할 것이다. 예를 들어, 일 블록 (1515) 및 다른 블록 (1520) 은 1520 이 먼저 실행될 수도 있는 그러한 방식으로 레코딩될 수도 있고 또는 그들이 순차적인 순서로 실행되지 않을 수도 있는 그러한 방식으로 레코딩될 수도 있다.
도 16 은 액티브 오디오 모니터링 상태 (S2) 동안 오디오 캡처링 유닛 (215) 의 일 실시형태의 플로우차트이다. 도 16 의 오디오 캡처링 유닛 (215) 의 동작은 몇몇 차이점들을 제외하고 도 13 에 개시된 동작과 매우 유사하며, 따라서 유일한 차이 파트들 만이 여기에서 설명될 수도 있다. A/D 컨버터는, 도 13 의 "LOW" 해상도 보다 샘플링 주파수 및/또는 데이터 폭의 관점에서 도 16 에서 "MEDIUM" 으로 라벨링된 보다 높은 해상도를 유지하도록 프로그래밍될 수도 있다. 중간 해상도 설정은 더 좋은 정확도로 디지털화된 오디오 입력 데이터를 획득하는 것을 도울 수도 있고, 이는 또한 오디오 로깅 프로세서 (230) 가 더 신뢰할 만한 콘텍스트 정보 (S600) 를 추출하는데 유리할 수도 있다.
마이크로폰은 T4 인터벌; 마이크로폰 웨이크업 인터벌마다 웨이크업하도록 구성될 수도 있고, T5 지속기간; 마이크로폰 ON 지속기간 동안 오디오 입력 (S270) 을 수집하도록 구성될 수도 있다. T4 또는 T5 의 값들은 T1 또는 T2 의 값들 각각과 동일하거나 실질적으로 유사할 수도 있다. 그러나, T4 를 T1 보다 작게 설정하는 것이 바람직할 수도 있는데, 이것은 오디오 로깅 프로세서 (230) 가 더 정확한 콘텍스트 정보 (S600) 를 추출하는데 유리할 수도 있기 때문이다. 다른 실시형태에서, T4 또는 T5 의 값들은 고정된 인터벌로 미리 결정될 수도 있고, 또는 런 타임 동안 동적으로 채택될 수도 있다. 마이크로폰 유닛 (200) 내에 복수의 마이크로폰이 존재하는 다른 실시형태에서, 하나 이상의 마이크로폰들은 항상 턴 온될 수도 있고, 이는 T4 가 T5 와 동일한 단지 특별한 경우일 수도 있다.
도 17 은 액티브 오디오 모니터링 상태 (S2) 동안 오디오 캡처링 유닛 (215) 에서 버퍼 (220) 에 디지털 오디오 입력을 저장하는 도면예이다. 버퍼 (220) 에의 저장된 디지털 오디오 입력 (1715, 1725, 1735, 1745) 은 T6 인터벌 마다 오디오 로깅 프로세서 (230) 내의 콘텍스트 평가 로직 (950) 및 콘텍스트 식별자 (560) 에 의해 분석될 수도 있다. 일 예시적인 구현에서, T6 인터벌은 T5 지속기간과 동일할 수도 있고 또는 대안으로 T5 지속기간과 상관 없이 결정될 수도 있다. T6 인터벌이 T5 지속기간보다 큰 경우, 청각 액티비티 검출기 (510) 는 T4 인터벌의 하나 이상의 사이클들 동안 버퍼 (220) 에 저장된 데이터를 액세스 및 프로세싱하도록 구성될 수도 있다.
도 18 은 액티비 오디오 모니터링 상태 (S2) 동안 오디오 로깅 프로세서 (230) 의 일 실시형태의 플로우차트이다. 이 상태에서, 오디오 로깅 프로세서 (230) 내의 콘텍스트 식별자 (560) 는 T6 인터벌마다 버퍼 (220) 에 저장된 오디오 입력 (S270) 을 분석하고, 콘텍스트 정보 (S600) 를 식별한다 (1815). 콘텍스트 정보 (S600) 는 피처 참조를 위해 메모리 로케이션에 저장되도록 (1820) 구성될 수도 있다. 콘텍스트 평가 로직 (950) 은 콘텍스트 정보 (S600) 를 평가할 수도 있고 (1825), 각종 내부 결정 방법들에 따라 제 2 레벨 시작 이벤트 인디케이터를 트리거링할 수도 있다 (1835). 그러한 결정 방법들은, 예를 들어 도 8 에 개시된 서브 모듈들 중 일부 또는 전부의 출력에 대한 우선순위의 가중된 합의 계산 및 하나 이상의 임계들에 대한 가중된 합의 비교를 포함할 수도 있다. 도 18 은 또한, 종료 이벤트 인디케이터 (S940) 를 트리거링하는 예시적인 메커니즘을 나타낸다. 종료 이벤트 인디케이터 (S940) 는, 콘텍스트 평가 로직 (950) 이 바람직하게 T6 인터벌보다 더 길 수도 있는 최종 S 지속기간 동안 제 2 레벨 시작 이벤트 인디케이터 (S930) 를 트리거링하지 않는 경우 트리거링될 수도 있다. 다른 실시형태에서, 종료 이벤트 인디케이터 (S940) 는, 종료 이벤트 관리자 (580) 가 도 10 에 도시된 바와 같은 보조 신호 분석기 (530) 또는 입력 신호 핸들러 (540) 로부터 신호들 (S1052, S1053) 을 검출하는 경우 생성될 수도 있다.
도 19 는 액티브 오디오 모니터링 상태 (S2) 동안 오디오 로깅 프로세서 (230) 에서의 콘텍스트 식별 실시형태의 도면예이다. T6 인터벌마다 콘텍스트 식별자 (560) 에 의해 수행되는 콘텍스트 식별 프로세스는 T4 인터벌과 비동기식으로 시작하도록 구성될 수도 있는 것으로 나타난다. T6 인터벌은 버퍼 (220) 의 크기 및 전력 소모와 결정의 정확도 간의 트레이드오프를 고려하여 결정될 수도 있다. 너무 빈번한 콘텍스트 식별 프로세스, 또는 너무 작은 T6 인터벌은 증가된 전력 소모를 초래할 수도 있는 반면에, 너무 가끔의 콘텍스트 식별 프로세스, 또는 너무 큰 T6 인터벌은 콘텍스트 정보 (S600) 의 정확도 강등을 초래할 수도 있다.
도 20 은 액티브 오디오 로깅 상태 (S3, S5) 동안 오디오 캡처링 유닛 (215) 의 일 실시형태의 플로우차트이다. A/D 컨버터는, 도 13 또는 도 16 의 "LOW" 또는 "MEDIUM" 해상도에 비해 샘플링 주파수 및/또는 데이터 폭의 관점에서, 여기에서는 "HIGH" 로서 라벨링된 보다 높은 해상도를 유지하도록 프로그래밍될 수도 있다. 높은 해상도 설정은 오디오 로깅 데이터의 크기를 증가시킬 수도 있지만, 또한 보다 높은 품질의 오디오 입력 데이터를 획득하도록 도울 수도 있다. A/D 컨버터의 해상도 설정은 오디오 로깅 프로세서 (230) 로부터의 제어 신호에 따라 동적으로 조정되도록 구성될 수도 있다. 더 상세한 설명은 본 출원의 이후의 파트에서 제시된다. 현재 상태에서, 오디오 로깅 프로세서 (230) 는 오디오 데이터를 원하는 저장 로케이션에 로깅 (저장) 하는데 참여될 수도 있다. 원하는 스토리지는 로컬 모바일 디바이스에 또는 유선 또는 무선 접속을 통해 원격 서버 측에 상주할 수도 있다. 오디오 로깅은, 종료 이벤트 인디케이터 (S940) 가 도 10 에 도시된 바와 같이 종료 이벤트 관리자 (580) 에 의해 검출될 때까지 계속할 수도 있다.
도 21 은 액티브 오디오 로깅 상태 (S3) 동안 오디오 로깅 프로세서 (230) 의 일 실시형태의 플로우차트이다. 입력 신호 (S220) 로부터 비롯된 종료 이벤트 요청이 입력 신호 핸들러 (540) 에 의해 검출되었으면 (2110), 그것은 종료 이벤트 인디케이터를 트리거링할 수도 있다 (2130). 보조 신호 (S240) 로부터 비롯된 종료 이벤트 요청이 보조 신호 분석기 (530) 에 의해 검출되면 (2115), 그것은 종료 이벤트 인디케이터를 트리거링할 수도 있다 (2130). 입력 신호 핸들러 (540) 또는 보조 신호 분석기 (530) 로부터 검출된 종료 이벤트가 존재하지 않으면, 실제 오디오 로깅은 코어 오디오 로깅 모듈 (2120) 에서 수행된다. 오디오 로깅 동안, 콘텍스트 식별자 (560) 는 콘텍스트 정보 (S600) 를 계속해서 식별하도록 구성될 수도 있고, 메모리 로케이션에 저장된 보다 오래된 식별된 콘텍스트 정보 (S600) 는 새로운 식별된 콘텍스트 정보 (S600) 에 의해 업데이트될 수도 있다. 코어 오디오 로깅 모듈의 내부 동작의 상세한 설명은 도 24 에 제시된다. 실제 오디오 로깅이 진행 중인 동안, 콘텍스트 평가 로직 (950) 은 오디오 입력 (S270) 을 계속해서 모니터링 및 분석하고, 이에 의해 관심있는 콘텍스트 정보 (S600) 가 미리결정된 기간 동안 검출되지 않는 경우 종료 이벤트 인디케이터 (S940) 를 트리거링하도록 구성될 수도 있다. 미리결정된 기간 동안 예시적인 구현은 최근의 S 초 동안의 오디오 데이터를 이용하는 것을 포함할 수도 있다. 이 종료 이벤트 인디케이터 (S940) 의 생성 방법은 "타임-아웃 메커니즘" 으로서 지칭될 수도 있다. 그러한 테스트 방법들은, 예를 들어 도 8 에 개시된 서브 모듈들 중 일부 또는 전부의 출력에 대한 우선순위의 가중된 합의 계산 및 하나 이상의 임계들에 대한 가중된 합의 비교를 포함할 수도 있다.
도 22 는 오디오 모니터링 상태 (S4) 동안 오디오 로깅 프로세서 (230) 의 일 실시형태의 플로우차트이다. 여기에서 플로우차트는, 최종 블록 (2240) 이 제 1 레벨 시작 이벤트 인디케이터 (1540) 대신에 시작 이벤트 인디케이터를 트리거링할 수도 있는 것을 제외하고 도 15 의 플로우차트와 실질적으로 유사하도록 구성될 수도 있다. 이 유사성은 도 11 의 패시브 오디오 모니터링 상태 (S1) 및 도 12 의 오디오 모니터링 상태 (S4) 양자 모두가 전력 효율적인 방식으로 주기적으로 청각 환경 이벤트들을 감지하는 동일한 프로세스들을 가질 수도 있다는 사실로 인한 것이다.
도 23 은 액티브 오디오 로깅 상태 (S5) 동안 오디오 로깅 프로세서 (230) 의 일 실시형태의 플로우차트이다. S3 나 S5 에 있는 액티브 로깅 프로세서는 유사한 동작들을 수행할 수도 있기 때문에, 여기에서의 플로우차트는 또한, 플로우차트의 시작에서 추가의 블록들 (2300, 2305) 을 제외하고 도 21 의 플로우차트와 실질적으로 가깝거나 동일할 수도 있다. 그 이전 상태가 항상, 콘텍스트 식별자 (560) 가 설계 선호에 따라 주기적으로 또는 연속적으로 콘텍스트 정보 (S600) 를 식별하도록 구성될 수도 있는 액티브 오디오 모니터링 상태 (S2) 였던 S3 상태와 달리, S5 의 이전 상태가 오디오 모니터링 상태 (S4) 이고 콘텍스트 식별 단계가 S4 상태에서 수행되지 않을 수도 있기 때문에 이들 추가의 블록들 (2300, 2305) 이 여기에서 필요할 수도 있다. 입력 신호 (S220) 로부터 비롯된 종료 이벤트 요청이 입력 신호 핸들러 (540) 에 의해 검출되었다면 (2310), 그것은 종료 이벤트 인디케이터 (2330) 를 트리거링할 수도 있다. 보조 신호 (S240) 로부터 비롯된 종료 이벤트 요청이 보조 신호 분석기 (530) 에 의해 검출된다면 (2315), 그것은 종료 이벤트 인디케이터 (2330) 를 트리거링할 수도 있다. 입력 신호 핸들러 (540) 또는 보조 신호 분석기 (530) 로부터 검출된 종료 이벤트가 존재하지 않으면, 실제 오디오 로깅은 코어 오디오 로깅 모듈 (2120) 에서 수행된다. 오디오 로깅 동안, 콘텍스트 식별자 (560) 는 콘텍스트 정보 (S600) 를 계속해서 식별하도록 구성될 수도 있고, 메모리 로케이션에 저장된 보다 오래된 식별된 콘텍스트 정보 (S600) 는 더 새로운 식별된 콘텍스트 정보 (S600) 에 의해 업데이트될 수도 있다. 코어 오디오 로깅 모듈의 내부 동작의 상세한 설명은 도 24 에 제시된다. 실제 오디오 로깅이 진행 중인 동안, 콘텍스트 평가 로직은 오디오 입력 (S270) 을 계속해서 모니터링 및 분석하고, 이에 의해 관심있는 콘텍스트 정보 (S600) 가 미리결정된 기간 동안 검출되지 않는 경우 종료 이벤트 인디케이터 (S940) 를 트리거링하도록 구성될 수도 있다. 미리결정된 기간 동안 예시적인 구현은 최근의 S 지속기간 동안 오디오 데이터를 사용하는 것을 포함할 수도 있다. 종료 이벤트 인디케이터 (S940) 를 생성하는 이 방법은 "타임-아웃 메커니즘" 으로서 지칭될 수도 있다. 이러한 테스팅 방법은 예를 들어, 도 8 에 개시된 서브 모듈들의 일부 또는 전부의 출력 동안 우선순위의 가중된 합의 계산 및 하나 이상의 임계들에 대한 가중된 합의 비교를 포함할 수도 있다.
도 24 는 액티브 오디오 로깅 상태들 (S3, S5) 동안 코어 오디오 로깅 모듈의 일 실시형태의 플로우차트이다. 본 예시적인 실시형태에서, 플로우차트의 상단으로부터 첫 번째 3 개의 블록들 (2410, 2415, 2420) 은 콘텍스트 정보 (S600) 에 따른 스마트 오디오 로깅 시스템의 동적 구성 특성을 나타낸다. 샘플링 주파수 (2410) 및/또는 A/D 컨버터의 데이터 폭 (2415) 은 콘텍스트 정보 (S600) 에 기초하여 오디오 로깅 프로세스 동안 동적으로 재구성될 수 있다. 콘텍스트 정보 (S600) 는 통상적으로, 분 또는 심지어 시간 이상을 지속할 수도 있는 오디오 로깅의 전체 과정 동안 점진적으로 또는 심지어 갑자기 변한다. 예를 들어, 대화 스피치의 토픽은 시간에 따라 변경될 수도 있다. 스피커의 환경 또는 배경 잡음은, 예를 들어 스피커가 거리를 걷거나 또는 대중 교통을 사용하여 이동 중인 경우 변할 수도 있다. 또한, 오디오 입력 (S270) 의 콘텐츠들은 시간에 따라, 예를 들어 대화 스피치에서 음악 또는 음악 플러스 스피치로 또는 그 반대로 변할 수도 있다. 음악 콘텐츠에 대해 보다 높은 해상도의 샘플링 주파수 또는 데이터 폭을, 그리고 주로 스피치 신호에 대해 보다 낮은 해상도의 샘플링 주파수 또는 데이터 폭을 사용하는 것이 바람직할 수도 있다. 다른 실시형태에서, 해상도는 스피치 콘텐츠의 특성에 따라 상이하도록 구성될 수도 있다. 예를 들어, 시스템은 친구들 간의 사적인 대화에 비해 비지니스 통신에 대해 상이한 해상도를 사용하도록 구성될 수도 있다. 콘텍스트 정보 (S600) 에 따른 메모리 로케이션의 동적 선택 및 A/D 컨버터의 구성들의 동적 설정을 위한 블록들 (2410, 2415, 2420) 은 본원에 개시된 일반적인 원리의 범위 내에서 플로우차트의 다른 블록들에 반대되는 또는 그들 사이에서 상이한 순서로 재-위치될 수도 있다.
시스템은 또한, 콘텍스트 정보 (S600) 에 기초하여 메모리 로케이션 (2420) 을 동적으로 선택하도록 구성될 수도 있다. 예를 들어, 시스템은, 하나 이상의 스피커들이 대화 동안 소정 프로필, 예컨대 메이저 비지니스 고객들을 만나기 위해 나타나는 경우, 또는 오디오 입력 (S270) 이 실질적으로 스피치 신호보다 많은 음악을 포함하는 경우 서버 측에서 원격으로 접속되는 스토리지에 오디오 로깅 데이터를 저장하도록 구성될 수도 있다. 그러한 경우, 보다 높은 해상도의 A/D 컨버터를 사용하고 이에 따라 보다 큰 스토리지 공간을 요구하는 것이 바람직할 수도 있다.
오디오 로깅 프로세서 (230) 는 그 후, 버퍼 (220) 로부터 오디오 데이터 (2424) 를 판독하도록 구성될 수도 있다. 새로운 콘텍스트 정보는 최근의 오디오 데이터로부터 식별될 수도 있고 (2430), 새로운 콘텍스트 정보는 메모리에 저장될 수도 있다 (2435). 다른 실시형태에서, 콘텍스트 식별 프로세스 (2430) 또는 콘텍스트 정보 (S600) 의 저장 프로세스 (2434) 는 스킵될 수도 있고 또는 본원에 개시된 일반적 원리의 범위 내에서 플로우차트의 다른 블록들에 반대되는 상이한 순서로 재-위치될 수도 있다.
오디오 로깅 프로세서 (230) 는, 오디오 입력 (S270) 신호의 강화가 바람직한지, 또는 그러한 경우 어떤 유형들의 강화 프로세싱이 프로세싱된 신호가 선택된 메모리에 저장되기 전에 바람직할 수도 있는지를 결정하도록 (2440) 구성될 수도 있다. 이 결정은 콘텍스트 정보 (S600) 에 기초하거나 시스템에 의해 자동으로 또는 사용자에 의해 수동으로 미리 구성될 수도 있다. 이러한 강화 프로세싱은 음향 에코 소거 (acoustic echo cancellation; AEC), 수신 보이스 강화 (receiving voice enhancement; RVE), 액티브 잡음 소거 (active noise cancellation; ANC), 잡음 억제 (noise suppression; NS), 음향 이득 제어 (acoustic gain control; AGC), 음향 볼륨 제어 (acoustic volume control; AVC), 또는 음향 동적 범위 제어 (acoustic dynamic range control; ADRC) 을 포함할 수도 있다. 일 실시형태에서, 신호 강화의 공격성은 오디오 입력 (S270) 또는 콘텍스트 정보 (S600) 콘텐츠에 기초할 수도 있다.
오디오 로깅 프로세서 (230) 는, 오디오 입력 (S270) 신호의 압축이 바람직한지 또는 이러한 경우 어떤 유형의 압축 프로세싱이 프로세싱된 신호가 선택된 메모리 로케이션에 저장되기 전에 바람직할 수도 있는지를 결정하도록 구성될 수도 있다 (2445). 이 결정은 콘텍스트 정보 (S600) 에 기초할 수도 있고 또는 시스템에 의해 자동으로 또는 사용자에 의해 수동으로 미리 구성될 수도 있다. 예를 들어, 시스템은 카렌더링 정보에 기초하여 바람직하게 오디오 로깅의 예상된 지속기간에 기초하여 오디오 로깅이 시작되기 전에 압축을 이용하도록 선택될 수도 있다. 스피치 코딩 또는 오디오 코딩과 같은 압축 방법의 선택은 오디오 입력 (S270) 또는 콘텍스트 정보 (S600) 의 콘텐츠에 기초하여 동적으로 구성될 수도 있다. 다르게 명시되지 않는다면, 본 출원의 콘텍스트 내의 압축은 스피치 인코딩/디코딩 및 오디오 인코딩/디코딩과 같은 소스 코딩을 의미할 수도 있다. 따라서, 압축은 인코딩으로서 상호교환 가능하게 이용될 수도 있고 압축해제는 디코딩으로서 상호교환 가능하게 이용될 수도 있음이 당업자에게 자명하다. 인코딩 파라미터들, 예컨대 비트레이트, 인코딩 모드, 또는 채널의 수는 또한 오디오 입력 (S270) 또는 콘텍스트 정보 (S600) 의 콘텐츠에 기초하여 동적으로 구성될 수도 있다.
도 25 는 종래의 마이크로폰 제어에 따라 단일의 마이크로폰 ON 및 OFF 제어의 일 실시형태의 도면이다. 모바일 디바이스가 아이들 모드에 있는 경우 (2550), 마이크로폰 및 A/D 컨버터와 같은 마이크로폰의 동작에 필요한 관련 블록들은 통상적으로 턴 오프된다 (2510). 마이크로폰 및 그 관련 블록들은 통상적으로 보이스 콜 또는 비디오 레코딩과 같은 마이크로폰의 사용을 요구하는 애플리케이션에 대한 모바일 디바이스의 액티브 사용 동안에만 턴 온된다 (2520).
도 26 은 단일의 마이크로폰 ON 및 OFF 제어의 제 1 실시형태의 도면이다. 도 25 와 대조적으로, 마이크로폰은 모바일 디바이스가 아이들 모드에 있는 동안 (2550) 에도 선택적으로 ON 이도록 (2520) 구성될 수도 있다. 마이크로폰은 오디오 입력 (S270) 의 콘텍스트 정보 (S600) 에 따라 선택적으로 ON 이도록 구성될 수도 있다. 일 실시형태에서, 이 피처는 패시브 오디오 모니터링 상태 (S1), 액티브 오디오 모니터링 상태 (S2), 또는 오디오 모니터링 상태 (S4) 에 적용 가능할수도 있다.
도 27 은 단일의 마이크로폰 ON 및 OFF 제어의 제 2 실시형태의 도면이다. 도 26 과 대조적으로, 마이크로폰은 모바일 디바이스가 아이들 모드에 있는 동안 (2550) 에도 지속적으로 ON 이도록 (2700) 구성될 수도 있다. 그러한 경우, 마이크로폰이 턴 온되는 동안 시스템의 전력 소모가 증가될 수도 있다. 일 실시형태에서, 이 피처는 패시브 오디오 모니터링 상태 (S1), 액티브 오디오 모니터링 상태 (S2), 오디오 모니터링 상태 (S4), 또는 액티브 오디오 로깅 상태 (S3, S5) 에 대해 바람직할 수도 있다.
도 28 은 다수의 마이크로폰들 ON 및 OFF 제어의 제 1 실시형태의 도면이다. 일 실시형태에서, 하나 이상의 마이크로폰들은 종래의 시스템과 유사한 방식으로 동작하도록 구성될 수도 있다. 다시 말해, 하나 이상의 마이크로폰들은 단지 액티브 보이스 콜 동안에만 또는 비디오 레코딩 또는 사용자의 수동 선택에 응답하여 하나 이상의 마이크로폰들의 액티브 사용을 필요로하는 임의의 다른 애플리케이션들 동안에만 턴 온일 수도 있다. 그러나, 나머지 마이크로폰들은 간헐적으로 ON 이도록 구성될 수도 있다. 예시의 목적을 위해 도면에는 단지 2 개의 마이크로폰들이 제시되었으나, 마이크로폰 제어의 동일한 개념이 2 개보다 많은 마이크로폰들에도 적용될 수도 있다.
도 29 는 다수의 마이크로폰들의 ON 및 OFF 제어의 제 2 실시형태의 도면이다. 도 28 과 대조적으로, 하나 이상의 마이크로폰들은, 하나 이상의 마이크로폰들이 단지 액티브 보이스 콜 동안에만 또는 비디오 레코딩 또는 사용자의 수동 선택에 응답하여 하나 이상의 마이크로폰들의 액티브 사용을 필요로 하는 임의의 다른 애플리케이션들 동안에만 턴 온될 수도 있는 그러한 방식으로 종래의 시스템과 유사한 방식으로 동작하도록 구성될 수도 있다. 그러나, 나머지 마이크로폰들은 항상 ON 이도록 구성될 수도 있다. 그러한 경우, 마이크로폰이 턴 온되는 동안 시스템의 전력 소모가 증가될 수도 있다. 예시의 목적을 위해 도면에는 단지 2 개의 마이크로폰들이 제시되었으나, 마이크로폰 제어의 동일한 개념이 2 개보다 많은 마이크로폰들에도 적용될 수도 있다.
도 30 은 본 출원에 따른 액티브 마이크로폰 수 제어의 일 실시형태의 도면이며, 여기서 액티브 마이크로폰의 수는 콘텍스트 정보 (S600) 에 따라 동적으로 제어될 수 있다. 예시의 목적을 위해, 이용 가능한 마이크로폰들의 최대 수는 3 개로 가정되며 또한 패시브 오디오 모니터링 상태 (S1), 액티브 오디오 모니터링 상태 (S2), 또는 오디오 모니터링 상태 (S4) 동안 턴 온될 수 있는 마이크로폰의 최대 수이다. 그러나, 마이크로폰들의 상이한 수의 선택은 여전히 본 개시물의 범위 내에 있을 수도 있다. 패시브 오디오 모니터링 상태 (S1) 또는 오디오 모니터링 상태 (S4) 동안, 마이크로폰은 그것이 청각 환경의 이벤트를 모니터링할 수 있도록 주기적으로 턴 온되도록 구성될 수도 있다. 따라서, 이들 상태들 동안, 액티브 마이크로폰의 수는 0 과 1 사이에서 바람직하게 변할 수도 있다. 액티브 오디오 모니터링 상태 (S2) 상태 동안, 액티브 마이크로폰들의 수는 바람직하게 0 과 1 사이에서 계속해서 변할 수도 있지만 ON 주기, T4 사이의 인터벌은 패시브 오디오 모니터링 상태 (S1) 또는 오디오 모니터링 상태 (S4) 상태들, T1 의 것보다 더 크도록 구성될 수도 있다.
액티브 오디오 로깅 상태 (S3 S5) 동안, 액티브 마이크로폰들의 수는 콘텍스트 정보 (S600) 에 따라 동적으로 변하도록 구성될 수도 있다. 예를 들어, 액티브 마이크로폰의 수는 특정 콘텍스트 정보 (S600) 또는 높은 우선순위 콘텍스트 정보 (S600) 의 검출 시에 1 (3045) 에서 2 (3050) 로 증가하도록 구성될 수도 있다. 다른 예에서, 배경 잡음의 특징들이 정지에서 비-정지로 또는 약한 레벨에서 심한 레벨로 변하는 경우, 마이크로폰 수는 증가하도록 구성될 수도 있다. 그러한 경우, 멀티-마이크로폰 기반 잡음 억제 방법은 오디오 입력 (S270) 의 품질을 증가시킬 수도 있다. 액티브 마이크로폰들의 수의 증가 또는 감소는 오디오 입력 (S270) 의 품질에 기초할 수도 있다. 마이크로폰들의 수는, 오디오 입력 (S270) 의 품질, 예를 들어 오디오 입력 (S270) 의 신호대 잡음비 (SNR) 가 소정 임계 미만으로 저하됨에 따라 증가할 수도 있다.
오디오 로깅의 스토리지는 실제 오디오 로깅 프로세스 동안 또는 오디오 로깅의 완료 후에 로컬 스토리지와 원격 스토리지 사이에서 동적으로 변경되도록 구성될 수도 있다. 예를 들어, 도 31 은 미리정의된 콘텍스트 정보 (S600) 우선순위에 따라 선택이 제어될 수도 있는 스토리지 로케이션 선택의 일 실시형태를 나타낸다. 이 선택은 오디오 로깅의 시작 전에 또는 오디오 로깅의 완료 후에 수행될 수도 있다. 예를 들어, 콘텍스트 정보 (S600) 는 상이한 레벨의 우선순위를 갖도록 미리 구성될 수도 있다. 그 후, 각각의 오디오 로깅의 시작 전에, 스토리지는 윈도우의 일부 주기 동안의 콘텍스트 정보 (S600) 의 특징과 미리 정의된 하나 이상의 임계들 간의 비교에 따라 선택될 수도 있다. 다른 실시형태에서, 장기 스토리지의 선택은 각각의 오디오 로깅의 완료 후에 결정될 수도 있다. 초기 오디오 로깅은 단기 스토리지 목적을 위해 예를 들어 로컬 스토리지 내에 디폴트로 저장될 수도 있다. 오디오 로깅의 완료 시에, 오디오 로깅은 오디오 로깅에 대한 장기 스토리지 로케이션을 결정하기 위해서 오디오 로깅 프로세서 (230) 에 의해 분석될 수도 있다. 각각의 오디오 로깅은 오디오 로깅의 완료 전 또는 후에 우선순위를 할당받을 수도 있다. 장기 스토리지 선택은 오디오 로깅의 우선순위에 기초하도록 구성될 수도 있다. 도 31 은 보다 낮은 우선순위 콘텍스트 정보를 갖는 오디오 로깅이 로컬 스토리지에 저장되는 반면에 보다 높은 우선순위 콘텍스트 정보를 갖는 오디오 로깅이 네트워크 스토리지에 저장되는 예시적인 시스템을 나타낸다. 본 개시물의 범위 내에서 보다 낮은 우선순위 콘텍스트 정보를 갖는 오디오 로깅이 네트워크 스토리지에 저장될 수도 있고 또는 보다 높은 우선순위 콘텍스트 정보를 갖는 오디오 로깅이 로컬 스토리지에 저장될 수도 있다.
도 32 는 선택이 액티브 오디오 로깅 상태 (S3, S5) 동안 콘텍스트 정보 (S600) 우선순위에 따라 동적으로 제어될 수도 있는 스토리지 로케이션 선택의 일 실시형태를 나타낸다. 도 31 과 대조적으로, 스토리지 선택은 콘텍스트 정보 (S600), 모바일 디바이스와 원격 서버 간의 채널의 품질 또는 이용 가능한 메모리 공간에 따라 실제 오디오 로깅 프로세싱 동안 동적으로 스위칭될 수도 있다.
도 33 은 완료 시간이 미리 정의된 콘텍스트 정보 (S600) 우선순위에 따라 제어될 수도 있는 스토리지 완료 시간 설정의 일 실시형태의 도면이다. 스토리지들에 저장된 오디오 로깅은 사용자의 수동적 선택에 의해 제거되고 또는 미리 정의된 완료 시간에 기초할 수도 있는 메커니즘에 의해 자동으로 완료되도록 구성될 수도 있다. 오디오 로깅이 완료될 때, 완료된 오디오 로깅은 제거되거나 또는 "휴지통 (Recycled Bin)" 과 같은 임시 스토리지 장소로 이동되도록 구성될 수도 있다. 완료된 오디오 로깅은, 그것이 레코딩 시간에 압축되지 않은 경우 압축되도록 구성될 수도 있다. 그것이 레코딩 시간에 이미 인코딩된 경우, 그것은 더 콤팩트한 오디오 로깅 크기를 초래하는 보다 높은 압축을 허용할 수 있는 코딩 포맷 또는 코딩 파라미터들을 사용하여 트랜스코딩될 수도 있다.
완료 시간 설정은 오디오 로깅 시간에 또는 오디오의 완료 후에 결정될 수도 있다. 일 실시형태에서, 각각의 오디오 로깅은 오디오 로깅의 콘텍스트 정보 (S600) 의 통계치 또는 특징에 따라 우선순위 값을 할당받을 수도 있다. 예를 들어, 도 33 의 오디오 로깅 #1 (3340) 은 오디오 로깅 #3 (3320) 보다 낮은 우선순위를 가질 수도 있다. 일 예시적인 구현에서, 오디오 로깅 #1, ET1 완료 시간을 오디오 로깅 #3, ET3 의 완료 시간보다 작게 설정하는 것이 바람직할 수도 있다. 일 예로써, ET1 는 "1 주" 로 설정될 수도 있고 ET3 는 "2 주" 로 설정될 수도 있다. 일반적으로, 오디오 로깅의 우선순위에 비례하여 오디오 로깅에 대한 완료 시간을 갖는 것이 바람직하다. 그러나, 상이한 우선순위를 갖는 오디오 로깅은 반드시 상이한 완료 시간 설정을 항상 가져야 하는 것은 아니다.
도 34 는 액티브 블록들의 수 및 그것의 총 전력 소모가 각각의 상태에 따라 동적으로 제어될 수도 있는 스마트 오디오 로깅 시스템 내의 블록들의 단계적 파워 업의 일 실시형태의 도면이다. 패시브 오디오 모니터링 상태 (S1) 동안, 하나 이상의 수의 마이크로폰들은 오디오 입력 (S270) 을 수신하기 위해서 주기적으로 웨이크업하도록 구성될 수도 있다. 이 수신 동작을 수행하기 위해서, 시스템은 시스템의 일부 및 이에 의한 액티브 블록들의 수, 또는 상호교환 가능하게는 도 34 에서 N1 으로 증가된 시스템의 파워 업 블록들의 수를 웨이크업하도록 구성될 수도 있다. 액티브 오디오 모니터링 상태 (S2) 동안, 하나 이상의 추가의 블록들은 N1 에 추가하여 웨이크업하도록 구성될 수도 있고, 이것은 하나 이상의 마이크로폰들이 활성화되는 주기들 (3420) 동안 액티브 블록들의 총 수를 N2 로 만든다. 예를 들어, 콘텍스트 식별자 (560) 및 콘텍스트 평가 로직 (950) 은 도 9b 에 예시된 바와 같이 웨이크업하도록 구성될 수도 있다. 액티브 오디오 로깅 상태 (S3) 동안, 적어도 몇몇 더 많은 블록들이 N2 에 추가하여 웨이크업할 필요가 있을 확률이 크고, 이는 또한 액티브 오디오 로깅 상태 (S3) 상태 동안 액티브 블록들의 총 수를 N3 로 만든다. 액티브 오디오 모니터링 상태 (S2) 상태 동안 액티브 블록들의 베이스라인 수 (3425) 는 도 34 에서 N1 으로서 설정되는데, 이는 패시브 오디오 모니터링 상태 (S1) 상태 동안 액티브 블록들의 수와 동일하도록 발생하지만, 본 개시물의 범위 내의 다른 실시형태에서 이것이 상이하도록 구성될 수도 있음이 당업자에게 자명하다. 오디오 모니터링 상태 (S4) 또는 액티브 오디오 로깅 상태 (S5) 에 대한 액티브 블록들의 수는 패시브 오디오 모니터링 상태 (S1) 또는 액티브 오디오 로깅 상태 (S3) 와 각각 유사하게 구현될 수도 있다.
도 35 는 정확도가 각각의 미리결정된 상태에 따라 구성될 수도 있거나 콘텍스트 정보 (S600) 에 속하여 동적으로 제어될 수도 있는 A/D 컨버터 정확도 제어의 일 실시형태의 도면이다. 패시브 오디오 모니터링 상태 (S1) 상태 동안 A/D 컨버터 유닛은 도 35 에서 "LOW" 로서 라벨링된 저-해상도 설정을 갖도록 구성될 수도 있는 한편, 액티브 오디오 모니터링 상태 (S2) 또는 액티브 오디오 로깅 상태 (S3) 상태들 각각에 대해서는 중간 해상도 설정, "MEDIUM" 설정, 또는 고-해상도 설정, "HIGH" 설정을 갖도록 구성될 수도 있다. 이 메커니즘은 각각의 상태에 대해 최적화된 설정들을 허용함으로써 전력 소모 또는 메모리 사용을 절감하는 것을 도울 수도 있다. 다른 실시형태에서, 패시브 오디오 모니터링 상태 (S1) 및 액티브 오디오 모니터링 상태 (S2) 스테이지 동안 A/D 컨버터 설정은 동일한 해상도를 갖도록 구성될 수도 있다. 대안으로, 액티브 오디오 모니터링 상태 (S2) 및 액티브 오디오 로깅 상태 (S3) 스테이지 동안 A/D 컨버터 설정은 동일한 해상도를 갖도록 구성될 수도 있다.
A/D 컨버터 유닛에 대한 정확도 설정은 콘텍스트 정보 (S600) 에 기초하여 액티브 오디오 로깅 상태 (S3) 동안 동적으로 변경되도록 구성될 수도 있다. 도 35 는 동적 변경이 액티브 오디오 로깅 프로세스 동안 전체 또는 부분적 지속기간 (3540) 동안 시행되도록 구성될 수도 있음을 나타낸다. 액티브 오디오 로깅 상태 (S3) 에 대한 디폴트 정확도 설정은 "High" (3520) 인 것으로 가정된다. 콘텍스트 정보 (S600) 의 우선순위 관점에서 상당한 변화가 존재할 때, 정확도 설정은 "Medium" 설정 (3535) 또는 "Low" 설정 (3525) 으로 낮아질 수도 있다. 예를 들어, 정확도 설정의 변화는, 음악" 에서 "스피치"로 또는 "스피치" 에서 "음악" 으로, 콘텍스트 정보 (S600) 의 서브세트인 콘텐츠 분류의 변화에 의해 개시될 수도 있다. 대안으로, 그것은 오디오 입력 (S270) 의 배경 잡음 레벨 또는 잡음 유형의 변화에 의해 개시될 수도 있다. 다른 실시형태에서, 그것은 모바일 디바이스와 원격 서버 사이의 채널의 품질 또는 로컬 스토리지의 이용 가능한 메모리 크기에 의해 개시될 수도 있다.
도 36 은 강화가 콘텍스트 정보 (S600) 에 따라 동적으로 구성될 수도 있는 오디오 입력 신호 강화 제어의 일 실시형태의 도면이다. 예시의 목적으로, 여러 신호 강화 레벨들, 강화 없음, 저-레벨, 중간-레벨, 및 고-레벨 강화들이 존재하는 것으로 가정되었다. 액티브 오디오 로깅 상태 (S3, S5) 동안, 오디오 신호 강화 레벨은 콘텍스트 정보 (S600) 에 따라 동적으로 조정되도록 구성될 수도 있다. 예를 들어, 배경 잡음의 특징 또는 레벨은 오디오 신호 강화 레벨의 변화를 트리거링하는데 사용될 수도 있다. 배경 잡음 레벨이 상당히 높거나 배경 잡음 레벨의 특징이 정지 유형 잡음에서 비-정비 유형 잡음으로 변경될 때, 오디오 신호 강화 설정은 저-레벨 강화 또는 강화 없음에서 중간-레벨 강화 또는 더욱 고-레벨 강화로 변경되도록 구성될 수도 있다. 예를 들어, 스마트 오디오 로깅 시스템이 능동적으로 오디오 입력 (S270) 을 로깅하는, 오디오 로깅 상태 (S3, S5) 에 있을 때, 사용자는 그 또는 그녀의 기차가 도착하기를 기다리는 지하철역 안에 있을 수도 있다. 기차가 플랫폼에 도착하거나 떠날 때, 잡음 레벨은 종종 보통의 대화 스피치를 이해하기 힘든 소정 임계 이상을 초과한다. 상당한 배경 잡음 레벨 또는 유형 변화 시에, 또는 메이저 청각 장면 변화의 검출 시에, 스마트 오디오 로깅 시스템은 오디오 신호 강화 설정들에 따라 재구성될 수도 있다. 오디오 신호 강화 설정 변화는 액티브 마이크로폰의 수에 의해 추종되거나 선행될 수도 있다.
도 37 은 콘텍스트 정보 (S600) 에 따라 압축이 동적으로 구성될 수도 있는 오디오 압축 파라미터들 제어의 일 실시형태의 도면이다. 예시의 목적을 위해, 여러 압축 레벨들, 압축 없음, "Low", "Medium" 및 "High" 압축들이 존재하는 것으로 가정되었다. 액티브 오디오 로깅 상태 (S3, S5) 동안, 오디오 신호 압축 레벨은 콘텍스트 정보 (S600) 에 따라 동적으로 조정되도록 구성될 수도 있다. 예를 들어, 압축의 변화는, "음악" 에서 "스피치" 로 또는 "스피치" 에서 "음악" 으로, 콘텍스트 정보 (S600) 의 서브세트인 콘텐츠 분류의 변화에 의해 개시될 수도 있다. "음악" 콘텐츠에 대해 보다 높은 비트레이트를 사용하는 것이 바람직할 수도 있는 반면에, 인코딩될 신호의 대역폭이 통상적으로 통상의 "음악" 콘텐츠보다 더 좁은 "스피치" 콘텐츠에 대해서는 보다 낮은 비트레이트를 사용하는 것이 바람직할 수도 있다. 대안으로, 그것은 모바일 디바이스와 원격 서버 간의 채널의 품질 또는 로컬 스토리지의 이용 가능한 메모리 크기에 의해 개시될 수도 있다.
코딩 포맷은 콘텍스트 정보 (S600) 에 따라 또한 변경되도록 구성될 수도 있다. 도 38 은 압축 코딩 포맷 선택 또는 그 부족이 콘텍스트 정보 (S600) 에 따라 동적으로 구성될 수도 있는 압축 코딩 포맷 선택의 실시형태의 도면이다. 예시의 목적을 위해, 오디오 코덱 #1 및 스피치 코덱 #1 이 도 38 에 도시되었으나, 일반적으로 코딩 포맷은 또한 오디오 코덱들 사이에서 또는 스피치 코덱들 사이에서 변하도록 구성될 수도 있다.
예를 들어, 본 오디오 코덱 #1 (3810) 은 스피치 코덱 #1 (3820) 으로 변경되도록 구성될 수도 있다. 메이저 신호의 검출 시에 분류는 "음악" 에서 "스피치" 로 변한다. 다른 실시형태에서, 코딩 포맷은 변화는 적어도 "노 (no) 압축 모드" (3830) 후에만 트리거링될 수도 있고 또는 대안으로 중간에 "노 압축 모드" (3830) 없이 미리 정의된 콘텍스트 정보 (S600) 변화의 검출 시에 언제라도 트리거링될 수도 있다.
당업자가 본원에 개시된 방법들 및 다른 구조들을 실시 또는 이용할 수 있도록 각종 예시적인 구성들이 제공된다. 본원에 도시 및 설명된 플로우차트, 블록도, 및 다른 구조들은 단지 예들이며, 이들 구조들의 다른 변형들이 또한 개시물의 범위 내에 있다. 이들 구성들에 대한 각종 변형들이 가능하고, 본원에 제시된 일반적인 원리들이 다른 구성들에도 또한 적용될 수도 있다. 예를 들어, 본 개시물의 범위는 예시된 구성들에 한정되지 않는다는 것이 강조된다. 차라리, 본원에 설명된 바와 상이한 특정 구성들의 피처들은 그러한 피처들이 서로 불일치하지 않는 임의의 경우에 대해, 본 개시물의 범위 내에서 포함되는 다른 구성들을 생성하도록 결합될 수도 있음이 명확하게 고려되고 이에 의해 개시된다. 또한, 장치의 2 이상의 엘리먼트들이 설명되는 경우 하나 이상의 중개 엘리먼트들 (예컨대, 필터) 이 존재할 수도 있고, 방법의 2 이상의 태스크들 간의 접속이 설명되는 경우 하나 이상의 중개 태스크들 또는 동작들 (예컨대, 필터링 동작) 이 존재할 수도 있음이 명확하게 고려되고 이에 의해 개시된다.
본원에 설명된 구성들은 하드-와이어드 회로로서, 주문형 집적 회로 안에 제조된 회로 구성으로서, 또는 비휘발성 스토리지 안에 로딩된 펌웨어 프로그램으로서 또는 마이크로프로세서 또는 다른 디지털 신호 프로세싱 유닛과 같은 로직 엘리먼트들의 어레이에 의해 실행 가능한 명령들인 머신 판독가능 코드와 같은 컴퓨터 판독가능 매체로부터 또는 그 안에 로딩된 소프트웨어 프로그램으로서 부분적으로 또는 전체적으로 구현될 수도 있다. 컴퓨터 판독가능 매체는 스토리지 엘리먼트들의 어레이, 예컨대 반도체 메모리 (제한 없이, 동적 또는 정적 RAM (random-access memory), ROM (read-only memory), 및/또는 플래시 RAM 을 포함할 수 있음), 또는 강유전성, 중합, 또는 상-변화 메모리; 자기 또는 광 디스크와 같은 디스크 매체; 또는 데이터 저장을 위한 임의의 다른 컴퓨터 판독가능 매체일 수도 있다. 용어 "소프트웨어" 는 소스 코드, 어셈블리 언어 코드, 머신 코드, 바이너리 코드, 펌웨어, 매크로코드, 마이크로코드, 로직 엘리먼트들의 어레이에 의해 실행 가능한 명령들의 임의의 하나 이상의 세트들 또는 시퀀스들, 및 이러한 예들의 임의의 조합을 포함하는 것으로 이해되어야 한다.
본원에 개시된 방법들 각각은 또한, 로직 엘리먼트들의 어레이 (예를 들어, 프로세서, 마이크로프로세서, 마이크로제어기, 또는 다른 유한 상태 머신) 를 포함하는 머신에 의해 실행 가능하고/하거나 판독가능한 명령들의 하나 이상의 세트들로서 (예를 들어, 상기에서 나열된 바와 같은 하나 이상의 컴퓨터 판독가능 매체에서) 유형적으로 구현될 수도 있다. 따라서, 본 개시물은 상기에서 도시된 구성들에 한정되는 것으로 의도되지 않으며, 차라리 본래 개시물의 일부를 형성하는, 파일링된 첨부된 청구항들에 포함되는, 본원의 임의의 방식으로 개시된 원리들 및 신규한 피처들에 일치하는 최광의 범위를 따르도록 의도된다.

Claims (136)

  1. 모바일 디바이스에 대한 디지털 오디오 신호를 프로세싱하는 방법으로서,
    적어도 하나의 마이크로폰에 의해 음향 신호를 수신하는 단계;
    상기 수신된 음향 신호를 디지털 오디오 신호로 변환하는 단계;
    상기 디지털 오디오 신호로부터 적어도 하나의 청각 콘텍스트 정보를 추출하는 단계;
    시작 이벤트 인디케이터를 자동으로 검출하는 단계에 응답하여, 상기 디지털 오디오 신호에 대한 오디오 로깅을 수행하는 단계; 및
    종료 이벤트 인디케이터를 자동으로 검출하는 단계에 응답하여, 상기 오디오 로깅을 종료하는 단계를 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  2. 제 1 항에 있어서,
    상기 변환하는 단계는,
    상기 수신된 음향 신호를 전기 신호로 변형하는 단계;
    상기 전기 신호를 샘플링하여 상기 디지털 오디오 신호를 획득하는 단계; 및
    상기 디지털 오디오 신호를 버퍼에 저장하는 단계를 포함하고,
    상기 샘플링은 샘플링 주파수 및 데이터 폭에 기초하는, 디지털 오디오 신호를 프로세싱하는 방법.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 다음들-오디오 분류, 키워드 식별, 또는 스피커 식별 중 적어도 하나에 관련되는, 디지털 오디오 신호를 프로세싱하는 방법.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 다음들-신호 에너지, 신호대 잡음비, 스펙트럼 틸트, 또는 제로-크로싱 레이트 중 하나에 적어도 부분적으로 기초하는, 디지털 오디오 신호를 프로세싱하는 방법.
  5. 제 3 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 비-청각 정보에 적어도 부분적으로 기초하는, 디지털 오디오 신호를 프로세싱하는 방법.
  6. 제 5 항에 있어서,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 (calendaring) 정보를 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  7. 제 1 항에 있어서,
    상기 시작 이벤트 인디케이터를 검출하는 단계는,
    상기 적어도 하나의 청각 콘텍스트 정보로부터 적어도 하나의 콘텍스트 정보를 선택하는 단계; 및
    상기 선택된 콘텍스트 정보를 적어도 하나의 미리결정된 임계들과 비교하는 단계에 응답하여, 상기 시작 이벤트 인디케이터가 검출되었는지를 결정하는 단계를 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  8. 제 1 항에 있어서,
    상기 시작 이벤트 인디케이터를 검출하는 단계는 비-청각 정보에 적어도 부분적으로 기초하고,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 정보를 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  9. 제 1 항에 있어서,
    상기 오디오 로깅을 수행하는 단계는,
    상기 적어도 하나의 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 상기 변환하는 단계와 관련된 적어도 하나의 파라미터를 업데이트하는 단계;
    상기 적어도 하나의 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 추가의 프로세싱이 요구되는지를 결정하는 단계에 응답하여, 상기 추가의 프로세싱을 상기 디지털 오디오 신호에 적용하여 프로세싱된 오디오 신호를 획득하는 단계; 및
    상기 프로세싱된 오디오 신호를 메모리 스토리지 안에 저장하는 단계를 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  10. 제 9 항에 있어서,
    상기 추가의 프로세싱은 신호 강화 프로세싱을 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  11. 제 10 항에 있어서,
    상기 신호 강화 프로세싱은 다음들-음향 에코 소거 (acoustic echo cancellation; AEC), 수신 보이스 강화 (receiving voice enhancement; RVE), 액티브 잡음 소거 (active noise cancellation; ANC), 잡음 억제 (noise suppression; NS), 음향 이득 제어 (acoustic gain control; AGC), 음향 볼륨 제어 (acoustic volume control; AVC), 또는 음향 동적 범위 제어 (acoustic dynamic range control; ADRC) 중 적어도 하나를 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  12. 제 11 항에 있어서,
    상기 잡음 억제는 복수의 마이크로폰들에 기초하는, 디지털 오디오 신호를 프로세싱하는 방법.
  13. 제 9 항에 있어서,
    상기 추가의 프로세싱은 신호 압축 프로세싱을 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  14. 제 13 항에 있어서,
    상기 신호 압축 프로세싱은 스피치 압축 또는 오디오 압축을 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  15. 제 13 항에 있어서,
    상기 청각 콘텍스트 정보에 기초하여 적어도 하나의 압축 파라미터가 결정되는, 디지털 오디오 신호를 프로세싱하는 방법.
  16. 제 15 항에 있어서,
    상기 적어도 하나의 압축 파라미터는 압축 모드, 비트레이트, 또는 채널 수를 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  17. 제 9 항에 있어서,
    상기 메모리 스토리지는 상기 모바일 디바이스 안의 로컬 메모리 또는 무선 채널을 통해 상기 모바일 디바이스에 접속된 원격 메모리를 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  18. 제 17 항에 있어서,
    상기 메모리 스토리지는 상기 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 선택되는, 디지털 오디오 신호를 프로세싱하는 방법.
  19. 제 1 항에 있어서,
    상기 종료 이벤트 인디케이터를 검출하는 단계는,
    상기 적어도 하나의 청각 콘텍스트 정보로부터 적어도 하나의 콘텍스트 정보를 선택하는 단계; 및
    상기 선택된 콘텍스트 정보를 적어도 하나의 미리결정된 임계들과 비교하는 단계에 응답하여, 상기 종료 이벤트 인디케이터가 검출되었는지를 결정하는 단계를 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  20. 제 1 항에 있어서,
    상기 종료 이벤트 인디케이터를 검출하는 단계는 미리결정된 기간 동안 청각 이벤트의 불발 (non-occurrence) 에 적어도 부분적으로 기초하는, 디지털 오디오 신호를 프로세싱하는 방법.
  21. 제 1 항에 있어서,
    상기 종료 이벤트 인디케이터를 검출하는 단계는 비-청각 정보에 적어도 부분적으로 기초하고,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 정보를 포함하는, 디지털 오디오 신호를 프로세싱하는 방법.
  22. 모바일 디바이스에 대한 디지털 오디오 신호를 프로세싱하기 위한 장치로서,
    음향 신호를 수신하도록 구성된 적어도 하나의 마이크로폰;
    상기 수신된 음향 신호를 디지털 오디오 신호로 변환하도록 구성된 컨버터;
    상기 디지털 오디오 신호로부터 적어도 하나의 청각 콘텍스트 정보를 추출하도록 구성된 콘텍스트 식별자;
    시작 이벤트 인디케이터를 자동으로 검출하도록 구성된 시작 이벤트 관리자;
    종료 이벤트 인디케이터를 자동으로 검출하도록 구성된 종료 이벤트 관리자; 및
    상기 시작 이벤트 인디케이터의 검출에 응답하여 상기 디지털 오디오 신호에 대한 오디오 로깅을 수행하고;
    상기 종료 이벤트 인디케이터의 검출에 응답하여 상기 오디오 로깅을 종료하도록 구성된,
    오디오 로깅 프로세서를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  23. 제 22 항에 있어서,
    상기 컨버터는,
    상기 수신된 음향 신호를 전기 신호로 변형하고;
    상기 전기 신호를 샘플링하여 상기 디지털 오디오 신호를 획득하며;
    상기 디지털 오디오 신호를 버퍼에 저장하도록 구성되고,
    상기 샘플링은 샘플링 주파수 및 데이터 폭에 기초하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  24. 제 22 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 다음들-오디오 분류, 키워드 식별, 또는 스피커 식별 중 적어도 하나에 관련되는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  25. 제 24 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 다음들-신호 에너지, 신호대 잡음비, 스펙트럼 틸트, 또는 제로-크로싱 레이트 중 하나에 적어도 부분적으로 기초하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  26. 제 24 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 비-청각 정보에 적어도 부분적으로 기초하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  27. 제 26 항에 있어서,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 (calendaring) 정보를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  28. 제 22 항에 있어서,
    상기 시작 이벤트 관리자는,
    상기 적어도 하나의 청각 콘텍스트 정보로부터 적어도 하나의 콘텍스트 정보를 선택하고;
    상기 선택된 콘텍스트 정보를 적어도 하나의 미리결정된 임계들과 비교하며;
    상기 비교에 응답하여 상기 시작 이벤트 인디케이터가 검출되었는지를 결정하도록 구성되는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  29. 제 22 항에 있어서,
    상기 시작 이벤트 인디케이터를 검출하는 것은 비-청각 정보에 적어도 부분적으로 기초하고,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 정보를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  30. 제 22 항에 있어서,
    상기 오디오 로깅 프로세서는,
    상기 적어도 하나의 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 상기 컨버터와 관련된 적어도 하나의 파라미터를 업데이트하고;
    상기 적어도 하나의 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 추가의 프로세싱이 요구되는지를 결정하고;
    상기 결정에 응답하여, 상기 추가의 프로세싱을 상기 디지털 오디오 신호에 적용하여 프로세싱된 오디오 신호를 획득하며;
    상기 프로세싱된 오디오 신호를 메모리 스토리지 안에 저장하도록 구성되는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  31. 제 30 항에 있어서,
    상기 추가의 프로세싱은 신호 강화 프로세싱을 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  32. 제 31 항에 있어서,
    상기 신호 강화 프로세싱은 다음들-음향 에코 소거 (acoustic echo cancellation; AEC), 수신 보이스 강화 (receiving voice enhancement; RVE), 액티브 잡음 소거 (active noise cancellation; ANC), 잡음 억제 (noise suppression; NS), 음향 이득 제어 (acoustic gain control; AGC), 음향 볼륨 제어 (acoustic volume control; AVC), 또는 음향 동적 범위 제어 (acoustic dynamic range control; ADRC) 중 적어도 하나를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  33. 제 32 항에 있어서,
    상기 잡음 억제는 복수의 마이크로폰들에 기초하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  34. 제 30 항에 있어서,
    상기 추가의 프로세싱은 신호 압축 프로세싱을 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  35. 제 34 항에 있어서,
    상기 신호 압축 프로세싱은 스피치 압축 또는 오디오 압축을 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  36. 제 34 항에 있어서,
    상기 청각 콘텍스트 정보에 기초하여 적어도 하나의 압축 파라미터가 결정되는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  37. 제 36 항에 있어서,
    상기 적어도 하나의 압축 파라미터는 압축 모드, 비트레이트, 또는 채널 수를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  38. 제 30 항에 있어서,
    상기 메모리 스토리지는 상기 모바일 디바이스 안의 로컬 메모리 또는 무선 채널을 통해 상기 모바일 디바이스에 접속된 원격 메모리를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  39. 제 38 항에 있어서,
    상기 메모리 스토리지는 상기 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 선택되는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  40. 제 22 항에 있어서,
    상기 종료 이벤트 관리자는,
    상기 적어도 하나의 청각 콘텍스트 정보로부터 적어도 하나의 콘텍스트 정보를 선택하고;
    상기 선택된 콘텍스트 정보를 적어도 하나의 미리결정된 임계들과 비교하며;
    상기 비교에 응답하여, 상기 종료 이벤트 인디케이터가 검출되었는지를 결정하도록 구성되는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  41. 제 22 항에 있어서,
    상기 종료 이벤트 인디케이터를 검출하는 것은 미리결정된 기간 동안 청각 이벤트의 불발 (non-occurrence) 에 적어도 부분적으로 기초하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  42. 제 22 항에 있어서,
    상기 종료 이벤트 인디케이터를 검출하는 것은 비-청각 정보에 적어도 부분적으로 기초하고,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 정보를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  43. 모바일 디바이스에 대한 디지털 오디오 신호를 프로세싱하기 위한 장치로서,
    적어도 하나의 마이크로폰에 의해 음향 신호를 수신하기 위한 수단;
    상기 수신된 음향 신호를 디지털 오디오 신호로 변환하기 위한 수단;
    상기 디지털 오디오 신호로부터 적어도 하나의 청각 콘텍스트 정보를 추출하기 위한 수단;
    시작 이벤트 인디케이터를 자동으로 검출하기 위한 수단;
    상기 시작 이벤트 인디케이터를 검출하는 것에 응답하여, 상기 디지털 오디오 신호에 대한 오디오 로깅을 수행하기 위한 수단;
    종료 이벤트 인디케이터를 자동으로 검출하기 위한 수단; 및
    상기 종료 이벤트 인디케이터를 검출하는 것에 응답하여, 상기 디지털 오디오 신호에 대한 오디오 로깅을 종료하기 위한 수단을 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  44. 제 43 항에 있어서,
    상기 변환하기 위한 수단은,
    상기 수신된 음향 신호를 전기 신호로 변형하기 위한 수단;
    상기 전기 신호를 샘플링하여 상기 디지털 오디오 신호를 획득하기 위한 수단; 및
    상기 디지털 오디오 신호를 버퍼에 저장하기 위한 수단을 포함하고,
    상기 샘플링은 샘플링 주파수 및 데이터 폭에 기초하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  45. 제 43 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 다음들-오디오 분류, 키워드 식별, 또는 스피커 식별 중 적어도 하나에 관련되는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  46. 제 45 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 다음들-신호 에너지, 신호대 잡음비, 스펙트럼 틸트, 또는 제로-크로싱 레이트 중 하나에 적어도 부분적으로 기초하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  47. 제 45 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 비-청각 정보에 적어도 부분적으로 기초하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  48. 제 47 항에 있어서,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 (calendaring) 정보를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  49. 제 43 항에 있어서,
    상기 시작 이벤트 인디케이터를 검출하기 위한 수단은,
    상기 적어도 하나의 청각 콘텍스트 정보로부터 적어도 하나의 콘텍스트 정보를 선택하기 위한 수단;
    상기 선택된 콘텍스트 정보를 적어도 하나의 미리결정된 임계들과 비교하기 위한 수단; 및
    상기 비교에 응답하여, 상기 시작 이벤트 인디케이터가 검출되었는지를 결정하기 위한 수단을 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  50. 제 43 항에 있어서,
    상기 시작 이벤트 인디케이터를 검출하는 것은 비-청각 정보에 적어도 부분적으로 기초하고,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 정보를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  51. 제 43 항에 있어서,
    상기 오디오 로깅을 수행하기 위한 수단은,
    상기 적어도 하나의 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 상기 변환하기 위한 수단과 관련된 적어도 하나의 파라미터를 업데이트하기 위한 수단;
    상기 적어도 하나의 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 추가의 프로세싱이 요구되는지를 결정하기 위한 수단;
    상기 결정하는 것에 응답하여, 상기 추가의 프로세싱을 상기 디지털 오디오 신호에 적용하여 프로세싱된 오디오 신호를 획득하기 위한 수단; 및
    상기 프로세싱된 오디오 신호를 메모리 스토리지 안에 저장하기 위한 수단을 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  52. 제 51 항에 있어서,
    상기 추가의 프로세싱은 신호 강화 프로세싱을 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  53. 제 52 항에 있어서,
    상기 신호 강화 프로세싱은 다음들-음향 에코 소거 (acoustic echo cancellation; AEC), 수신 보이스 강화 (receiving voice enhancement; RVE), 액티브 잡음 소거 (active noise cancellation; ANC), 잡음 억제 (noise suppression; NS), 음향 이득 제어 (acoustic gain control; AGC), 음향 볼륨 제어 (acoustic volume control; AVC), 또는 음향 동적 범위 제어 (acoustic dynamic range control; ADRC) 중 적어도 하나를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  54. 제 53 항에 있어서,
    상기 잡음 억제는 복수의 마이크로폰들에 기초하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  55. 제 51 항에 있어서,
    상기 추가의 프로세싱은 신호 압축 프로세싱을 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  56. 제 55 항에 있어서,
    상기 신호 압축 프로세싱은 스피치 압축 또는 오디오 압축을 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  57. 제 55 항에 있어서,
    상기 청각 콘텍스트 정보에 기초하여 적어도 하나의 압축 파라미터가 결정되는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  58. 제 57 항에 있어서,
    상기 적어도 하나의 압축 파라미터는 압축 모드, 비트레이트, 또는 채널 수를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  59. 제 51 항에 있어서,
    상기 메모리 스토리지는 상기 모바일 디바이스 안의 로컬 메모리 또는 무선 채널을 통해 상기 모바일 디바이스에 접속된 원격 메모리를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  60. 제 59 항에 있어서,
    상기 메모리 스토리지는 상기 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 선택되는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  61. 제 43 항에 있어서,
    상기 종료 이벤트 인디케이터를 검출하기 위한 수단은,
    상기 적어도 하나의 청각 콘텍스트 정보로부터 적어도 하나의 콘텍스트 정보를 선택하기 위한 수단;
    상기 선택된 콘텍스트 정보를 적어도 하나의 미리결정된 임계들과 비교하기 위한 수단; 및
    상기 비교에 응답하여, 상기 종료 이벤트 인디케이터가 검출되었는지를 결정하기 위한 수단을 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  62. 제 43 항에 있어서,
    상기 종료 이벤트 인디케이터를 검출하기 위한 수단은 미리결정된 기간 동안 청각 이벤트의 불발 (non-occurrence) 에 적어도 부분적으로 기초하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  63. 제 43 항에 있어서,
    상기 종료 이벤트 인디케이터를 검출하기 위한 수단은 비-청각 정보에 적어도 부분적으로 기초하고,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 정보를 포함하는, 디지털 오디오 신호를 프로세싱하기 위한 장치.
  64. 모바일 디바이스에 대한 디지털 오디오 신호를 프로세싱하는 명령들을 포함하는 비 일시적 컴퓨터 판독가능 매체로서,
    상기 명령들은 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금,
    적어도 하나의 마이크로폰에 의해 음향 신호를 수신하게 하고;
    상기 수신된 음향 신호를 디지털 오디오 신호로 변환하게 하고;
    상기 디지털 오디오 신호로부터 적어도 하나의 청각 콘텍스트 정보를 추출하게 하고;
    시작 이벤트 인디케이터를 자동으로 검출하게 하고;
    상기 시작 이벤트 인티케이터를 검출하는 것에 응답하여, 상기 디지털 오디오 신호에 대한 오디오 로깅을 수행하게 하고;
    종료 이벤트 인디케이터를 자동으로 검출하게 하며;
    상기 종료 이벤트 인디케이터를 검출하는 것에 응답하여, 상기 오디오 로깅을 종료하도록 하는, 비 일시적 컴퓨터 판독가능 매체.
  65. 제 64 항에 있어서,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 수신된 음향 신호를 변환하도록 하는 상기 명령들은, 상기 프로세서로 하여금,
    상기 수신된 음향 신호를 전기 신호로 변형하게 하고;
    상기 전기 신호를 샘플링하여 상기 디지털 오디오 신호를 획득하게 하며;
    상기 디지털 오디오 신호를 버퍼에 저장하게 하도록 구성되고,
    상기 샘플링은 샘플링 주파수 및 데이터 폭에 기초하는, 비 일시적 컴퓨터 판독가능 매체.
  66. 제 64 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 다음들-오디오 분류, 키워드 식별, 또는 스피커 식별 중 적어도 하나에 관련되는, 비 일시적 컴퓨터 판독가능 매체.
  67. 제 66 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 다음들-신호 에너지, 신호대 잡음비, 스펙트럼 틸트, 또는 제로-크로싱 레이트 중 하나에 적어도 부분적으로 기초하는, 비 일시적 컴퓨터 판독가능 매체.
  68. 제 66 항에 있어서,
    상기 적어도 하나의 청각 콘텍스트 정보는 비-청각 정보에 적어도 부분적으로 기초하는, 비 일시적 컴퓨터 판독가능 매체.
  69. 제 68 항에 있어서,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 (calendaring) 정보를 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  70. 제 64 항에 있어서,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 시작 이벤트 인디케이터를 검출하게 하는 상기 명령들은, 상기 프로세서로 하여금,
    상기 적어도 하나의 청각 콘텍스트 정보로부터 적어도 하나의 콘텍스트 정보를 선택하게 하고;
    상기 선택된 콘텍스트 정보를 적어도 하나의 미리결정된 임계들과 비교하게 하며;
    상기 비교에 응답하여, 상기 시작 이벤트 인디케이터가 검출되었는지를 결정하게 하도록 구성되는, 비 일시적 컴퓨터 판독가능 매체.
  71. 제 64 항에 있어서,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 시작 이벤트 인디케이터를 검출하게 하는 상기 명령들은, 비-청각 정보에 적어도 부분적으로 기초하여 상기 시작 이벤트 인디케이터를 검출하도록 구성되고,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 정보를 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  72. 제 64 항에 있어서,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 오디오 로깅을 수행하게 하는 상기 명령들은, 상기 프로세서로 하여금,
    상기 적어도 하나의 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 상기 변환하는 것과 관련된 적어도 하나의 파라미터를 업데이트하게 하고;
    상기 적어도 하나의 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 추가의 프로세싱이 요구되는지를 결정하게 하고;
    상기 결정에 응답하여, 상기 추가의 프로세싱을 상기 디지털 오디오 신호에 적용하여 프로세싱된 오디오 신호를 획득하게 하며;
    상기 프로세싱된 오디오 신호를 메모리 스토리지 안에 저장하게 하도록 구성되는, 비 일시적 컴퓨터 판독가능 매체.
  73. 제 72 항에 있어서,
    상기 추가의 프로세싱은 신호 강화 프로세싱을 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  74. 제 73 항에 있어서,
    상기 신호 강화 프로세싱은 다음들-음향 에코 소거 (acoustic echo cancellation; AEC), 수신 보이스 강화 (receiving voice enhancement; RVE), 액티브 잡음 소거 (active noise cancellation; ANC), 잡음 억제 (noise suppression; NS), 음향 이득 제어 (acoustic gain control; AGC), 음향 볼륨 제어 (acoustic volume control; AVC), 또는 음향 동적 범위 제어 (acoustic dynamic range control; ADRC) 중 적어도 하나를 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  75. 제 74 항에 있어서,
    상기 잡음 억제는 복수의 마이크로폰들에 기초하는, 비 일시적 컴퓨터 판독가능 매체.
  76. 제 72 항에 있어서,
    상기 추가의 프로세싱은 신호 압축 프로세싱을 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  77. 제 76 항에 있어서,
    상기 신호 압축 프로세싱은 스피치 압축 또는 오디오 압축을 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  78. 제 76 항에 있어서,
    상기 청각 콘텍스트 정보에 기초하여 적어도 하나의 압축 파라미터가 결정되는, 비 일시적 컴퓨터 판독가능 매체.
  79. 제 78 항에 있어서,
    상기 적어도 하나의 압축 파라미터는 압축 모드, 비트레이트, 또는 채널 수를 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  80. 제 72 항에 있어서,
    상기 메모리 스토리지는 상기 모바일 디바이스 안의 로컬 메모리 또는 무선 채널을 통해 상기 모바일 디바이스에 접속된 원격 메모리를 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  81. 제 80 항에 있어서,
    상기 메모리 스토리지는 상기 청각 콘텍스트 정보에 적어도 부분적으로 기초하여 선택되는, 비 일시적 컴퓨터 판독가능 매체.
  82. 제 64 항에 있어서,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 종료 이벤트 인디케이터를 검출하게 하는 상기 명령들은, 상기 프로세서로 하여금,
    상기 적어도 하나의 청각 콘텍스트 정보로부터 적어도 하나의 콘텍스트 정보를 선택하게 하고;
    상기 선택된 콘텍스트 정보를 적어도 하나의 미리결정된 임계들과 비교하게 하며;
    상기 비교에 응답하여, 상기 종료 이벤트 인디케이터가 검출되었는지를 결정하게 하도록 구성되는, 비 일시적 컴퓨터 판독가능 매체.
  83. 제 64 항에 있어서,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 종료 이벤트 인디케이터를 검출하게 하는 상기 명령들은, 미리결정된 기간 동안 청각 이벤트의 불발 (non-occurrence) 에 적어도 부분적으로 기초하여 상기 종료 이벤트 인디케이터를 검출하도록 구성되는, 비 일시적 컴퓨터 판독가능 매체.
  84. 제 64 항에 있어서,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 종료 이벤트 인디케이터를 검출하도록 하는 상기 명령들은, 비-청각 정보에 적어도 부분적으로 기초하여 상기 종료 이벤트 인디케이터를 검출하도록 구성되고,
    상기 비-청각 정보는 스케줄링 또는 카렌더링 정보를 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  85. 모바일 디바이스에 대한 방법으로서,
    시작 이벤트 인디케이터를 자동으로 검출하는 단계에 응답하여, 오디오 입력 신호의 제 1 부분을 프로세싱하여 제 1 정보를 획득하는 단계;
    상기 제 1 정보에 기초하여 적어도 하나의 레코딩 파라미터를 결정하는 단계; 및
    상기 결정된 적어도 하나의 레코딩 파라미터에 기초하여 상기 모바일 디바이스의 오디오 캡처링 유닛을 재구성하는 단계를 포함하는, 방법.
  86. 제 85 항에 있어서,
    상기 오디오 캡처링 유닛을 재구성하는 단계는 상기 오디오 입력 신호의 인액티브 (inactive) 부분 동안 발생하는, 방법.
  87. 제 85 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 상기 모바일 디바이스의 A/D 컨버터의 샘플링 주파수 또는 데이터 폭을 나타내는 정보를 포함하는, 방법.
  88. 제 85 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 상기 모바일 디바이스의 액티브 마이크로폰의 수를 나타내는 정보를 포함하는, 방법.
  89. 제 85 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 적어도 하나의 마이크로폰의 웨이크업 인터벌 또는 액티브 지속기간을 나타내는 타이밍 정보를 포함하는, 방법.
  90. 제 85 항에 있어서,
    상기 제 1 정보는 상기 모바일 디바이스가 레코딩되는 환경을 설명하는 콘텍스트 정보인, 방법.
  91. 제 85 항에 있어서,
    상기 제 1 정보는 상기 오디오 입력 신호의 특징을 설명하는 콘텍스트 정보인, 방법.
  92. 제 85 항에 있어서,
    상기 시작 이벤트 인디케이터는 무선 채널을 통해 송신된 신호에 기초하는, 방법.
  93. 제 85 항에 있어서,
    상기 오디오 입력 신호의 제 2 부분을 프로세싱하여 제 2 정보를 획득하는 단계;
    배경 잡음을 억제함으로써 상기 오디오 입력 신호를 강화하여 강화된 신호를 획득하는 단계;
    상기 강화된 신호를 인코딩하여 인코딩된 신호를 획득하는 단계; 및
    상기 인코딩된 신호를 상기 모바일 디바이스 내의 로컬 스토리지에 저장하는 단계를 포함하는, 방법.
  94. 제 93 항에 있어서,
    상기 제 2 정보에 기초하여 상기 오디오 입력 신호를 강화하는 정도를 결정하는 단계를 더 포함하는, 방법.
  95. 제 93 항에 있어서,
    상기 강화된 신호를 인코딩하는 단계는,
    상기 제 2 정보에 기초하여 인코딩 유형을 결정하는 단계;
    상기 결정된 인코딩에 대한 적어도 하나의 인코딩 파라미터를 결정하는 단계; 및
    상기 결정된 인코딩 유형 및 상기 결정된 적어도 하나의 인코딩 파라미터에 기초하여 상기 강화된 신호를 프로세싱하여, 상기 인코딩된 신호를 획득하는 단계를 포함하고,
    상기 적어도 하나의 인코딩 파라미터는 비트레이트 또는 인코딩 모드를 포함하는, 방법.
  96. 제 93 항에 있어서,
    종료 이벤트 인디케이터를 자동으로 검출하는 단계; 및
    상기 종료 이벤트 인디케이터를 검출하는 단계에 응답하여, 상기 모바일 디바이스 내의 상기 로컬 스토리지와 무선 채널을 통해 상기 모바일 디바이스에 접속된 네트워크 스토리지 사이의 상기 인코딩된 신호에 대한 장기 스토리지 로케이션을 결정하는 단계를 더 포함하는, 방법.
  97. 제 96 항에 있어서,
    상기 장기 스토리지 로케이션을 결정하는 단계는 상기 인코딩된 신호의 우선순위에 기초하는, 방법.
  98. 모바일 디바이스용 장치로서,
    시작 이벤트 인디케이터를 자동으로 검출하고,
    상기 시작 이벤트 인디케이터의 검출에 응답하여, 오디오 입력 신호의 제 1 부분을 프로세싱하여 제 1 정보를 획득하며;
    상기 제 1 정보에 기초하여 적어도 하나의 레코딩 파라미터를 결정하도록 구성된,
    오디오 로깅 프로세서; 및
    상기 결정된 적어도 하나의 레코딩 파라미터에 기초하여 오디오 캡처링 유닛 자체를 재구성하도록 구성된,
    상기 오디오 캡처링 유닛을 포함하는, 장치.
  99. 제 98 항에 있어서,
    상기 오디오 캡처링 유닛은 상기 오디오 입력 신호의 인액티브 부분 동안 그 자체를 재구성하도록 구성되는, 장치.
  100. 제 98 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 상기 오디오 캡처링 유닛의 A/D 컨버터의 샘플링 주파수 또는 데이터 폭을 나타내는 정보를 포함하는, 장치.
  101. 제 98 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 상기 모바일 디바이스의 액티브 마이크로폰의 수를 나타내는 정보를 포함하는, 장치.
  102. 제 98 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 적어도 하나의 마이크로폰의 웨이크업 인터벌 또는 액티브 지속기간을 나타내는 타이밍 정보를 포함하는, 장치.
  103. 제 98 항에 있어서,
    상기 제 1 정보는 상기 모바일 디바이스가 레코딩되는 환경을 나타내는 콘텍스트 정보인, 장치.
  104. 제 98 항에 있어서,
    상기 제 1 정보는 상기 오디오 입력 신호의 특징을 나타내는 콘텍스트 정보인, 장치.
  105. 제 98 항에 있어서,
    상기 시작 이벤트 인디케이터는 무선 채널을 통해 송신된 신호에 기초하는, 장치.
  106. 제 98 항에 있어서,
    상기 오디오 로깅 프로세서는 또한,
    상기 오디오 입력 신호의 제 2 부분을 프로세싱하여 제 2 정보를 획득하고;
    배경 잡음을 억제함으로써 상기 오디오 입력 신호를 강화하여 강화된 신호를 획득하고;
    상기 강화된 신호를 인코딩하여 인코딩된 신호를 획득하며;
    상기 인코딩된 신호를 상기 모바일 디바이스 내의 로컬 스토리지에 저장하도록 구성되는, 장치.
  107. 제 106 항에 있어서,
    상기 오디오 로깅 프로세서는 또한,
    상기 제 2 정보에 기초하여 상기 오디오 입력 신호를 강화하는 정도를 결정하도록 구성되는, 장치.
  108. 제 106 항에 있어서,
    상기 오디오 로깅 프로세서는,
    상기 제 2 정보에 기초하여 인코딩 유형을 결정하고;
    상기 결정된 인코딩에 대한 적어도 하나의 인코딩 파라미터를 결정하며;
    상기 결정된 인코딩 유형 및 상기 결정된 적어도 하나의 인코딩 파라미터에 기초하여 상기 강화된 신호를 프로세싱하여, 상기 인코딩된 신호를 획득하도록 구성되고,
    상기 적어도 하나의 인코딩 파라미터는 비트레이트 또는 인코딩 모드를 포함하는, 장치.
  109. 제 106 항에 있어서,
    상기 오디오 로깅 프로세서는 또한,
    종료 이벤트 인디케이터를 자동으로 검출하며;
    상기 종료 이벤트 인디케이터를 검출하는 것에 응답하여, 상기 모바일 디바이스 내의 상기 로컬 스토리지와 무선 채널을 통해 상기 모바일 디바이스에 접속된 네트워크 스토리지 사이의 상기 인코딩된 신호에 대한 장기 스토리지 로케이션을 결정하도록 구성되는, 장치.
  110. 제 109 항에 있어서,
    상기 장기 스토리지 로케이션을 결정하는 것은 상기 인코딩된 신호의 우선순위에 기초하는, 장치.
  111. 모바일 디바이스용 장치로서,
    시작 이벤트 인디케이터를 자동으로 검출하기 위한 수단;
    상기 시작 이벤트 인디케이터를 검출하는 것에 응답하여, 오디오 입력 신호의 제 1 부분을 프로세싱하여 제 1 정보를 획득하기 위한 수단;
    상기 제 1 정보에 기초하여 적어도 하나의 레코딩 파라미터를 결정하기 위한 수단; 및
    상기 결정된 적어도 하나의 레코딩 파라미터에 기초하여 상기 모바일 디바이스의 오디오 캡처링 유닛을 재구성하기 위한 수단을 포함하는, 장치.
  112. 제 111 항에 있어서,
    상기 오디오 캡처링 유닛을 재구성하기 위한 수단은 상기 오디오 입력 신호의 인액티브 부분 동안 발생하는, 장치.
  113. 제 111 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 상기 오디오 캡처링 유닛의 A/D 컨버터의 샘플링 주파수 또는 데이터 폭을 나타내는 정보를 포함하는, 장치.
  114. 제 111 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 상기 모바일 디바이스의 액티브 마이크로폰의 수를 나타내는 정보를 포함하는, 장치.
  115. 제 111 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 적어도 하나의 마이크로폰의 웨이크업 인터벌 또는 액티브 지속기간을 나타내는 타이밍 정보를 포함하는, 장치.
  116. 제 111 항에 있어서,
    상기 제 1 정보는 상기 모바일 디바이스가 레코딩되는 환경을 나타내는 콘텍스트 정보인, 장치.
  117. 제 111 항에 있어서,
    상기 제 1 정보는 상기 오디오 입력 신호의 특징을 나타내는 콘텍스트 정보인, 장치.
  118. 제 111 항에 있어서,
    상기 시작 이벤트 인디케이터는 무선 채널을 통해 송신된 신호에 기초하는, 장치.
  119. 제 111 항에 있어서,
    상기 오디오 입력 신호의 제 2 부분을 프로세싱하여 제 2 정보를 획득하기 위한 수단;
    배경 잡음을 억제함으로써 상기 오디오 입력 신호를 강화하여 강화된 신호를 획득하기 위한 수단;
    상기 강화된 신호를 인코딩하여 인코딩된 신호를 획득하기 위한 수단; 및
    상기 인코딩된 신호를 상기 모바일 디바이스 내의 로컬 스토리지에 저장하기 위한 수단을 더 포함하는, 장치.
  120. 제 119 항에 있어서,
    상기 제 2 정보에 기초하여 상기 오디오 입력 신호를 강화하는 정도를 결정하기 위한 수단을 더 포함하는, 장치.
  121. 제 119 항에 있어서,
    상기 강화된 신호를 인코딩하기 위한 수단은,
    상기 제 2 정보에 기초하여 인코딩 유형을 결정하기 위한 수단;
    상기 결정된 인코딩에 대한 적어도 하나의 인코딩 파라미터를 결정하기 위한 수단; 및
    상기 결정된 인코딩 유형 및 상기 결정된 적어도 하나의 인코딩 파라미터에 기초하여 상기 강화된 신호를 프로세싱하여, 상기 인코딩된 신호를 획득하기 위한 수단을 포함하고,
    상기 적어도 하나의 인코딩 파라미터는 비트레이트 또는 인코딩 모드를 포함하는, 장치.
  122. 제 119 항에 있어서,
    종료 이벤트 인디케이터를 자동으로 검출하기 위한 수단; 및
    상기 종료 이벤트 인디케이터를 검출하는 것에 응답하여, 상기 모바일 디바이스 내의 상기 로컬 스토리지와 무선 채널을 통해 상기 모바일 디바이스에 접속된 네트워크 스토리지 사이의 상기 인코딩된 신호에 대한 장기 스토리지 로케이션을 결정하기 위한 수단을 더 포함하는, 장치.
  123. 제 122 항에 있어서,
    상기 장기 스토리지 로케이션을 결정하기 위한 수단은 상기 인코딩된 신호의 우선순위에 기초하는, 장치.
  124. 명령들을 포함하는 비 일시적 컴퓨터 판독가능 매체로서,
    상기 명령들은 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금,
    시작 이벤트 인디케이터를 자동으로 검출하게 하고;
    상기 시작 이벤트 인디케이터를 검출하는 것에 응답하여, 오디오 입력 신호의 제 1 부분을 프로세싱하여 제 1 정보를 획득하게 하고;
    상기 제 1 정보에 기초하여 적어도 하나의 레코딩 파라미터를 결정하게 하며;
    상기 결정된 적어도 하나의 레코딩 파라미터에 기초하여 상기 모바일 디바이스의 오디오 캡처링 유닛을 재구성하게 하는, 비 일시적 컴퓨터 판독가능 매체.
  125. 제 124 항에 있어서,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 오디오 캡처링 유닛을 재구성하게 하는 상기 명령들은, 상기 오디오 입력 신호의 인액티브 부분 동안 상기 오디오 캡처링 유닛을 재구성하도록 구성되는, 비 일시적 컴퓨터 판독가능 매체.
  126. 제 124 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 상기 오디오 캡처링 유닛의 A/D 컨버터의 샘플링 주파수 또는 데이터 폭을 나타내는 정보를 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  127. 제 124 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 상기 모바일 디바이스의 액티브 마이크로폰의 수를 나타내는 정보를 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  128. 제 124 항에 있어서,
    상기 적어도 하나의 레코딩 파라미터는 적어도 하나의 마이크로폰의 웨이크업 인터벌 또는 액티브 지속기간을 나타내는 타이밍 정보를 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  129. 제 124 항에 있어서,
    상기 제 1 정보는 상기 모바일 디바이스가 레코딩되는 환경을 나타내는 콘텍스트 정보인, 비 일시적 컴퓨터 판독가능 매체.
  130. 제 124 항에 있어서,
    상기 제 1 정보는 상기 오디오 입력 신호의 특징을 나타내는 콘텍스트 정보인, 비 일시적 컴퓨터 판독가능 매체.
  131. 제 124 항에 있어서,
    상기 시작 이벤트 인디케이터는 무선 채널을 통해 송신된 신호에 기초하는, 비 일시적 컴퓨터 판독가능 매체.
  132. 제 124 항에 있어서,
    상기 명령들은,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금,
    상기 오디오 입력 신호의 제 2 부분을 프로세싱하여 제 2 정보를 획득하게 하고;
    배경 잡음을 억제함으로써 상기 오디오 입력 신호를 강화하여 강화된 신호를 획득하게 하고;
    상기 강화된 신호를 인코딩하여 인코딩된 신호를 획득하게 하며;
    상기 인코딩된 신호를 상기 모바일 디바이스 내의 로컬 스토리지에 저장하게 하는, 비 일시적 컴퓨터 판독가능 매체.
  133. 제 132 항에 있어서,
    상기 명령들은,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금,
    상기 제 2 정보에 기초하여 상기 오디오 입력 신호를 강화하는 정도를 결정하게 하는, 비 일시적 컴퓨터 판독가능 매체.
  134. 제 132 항에 있어서,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금, 상기 강화된 신호를 인코딩하게 하는 상기 명령들은, 상기 프로세서로 하여금,
    상기 제 2 정보에 기초하여 인코딩 유형을 결정하게 하고;
    상기 결정된 인코딩에 대한 적어도 하나의 인코딩 파라미터를 결정하게 하며;
    상기 결정된 인코딩 유형 및 상기 결정된 적어도 하나의 인코딩 파라미터에 기초하여 상기 강화된 신호를 프로세싱하여, 상기 인코딩된 신호를 획득하게 하도록 구성되고,
    상기 적어도 하나의 인코딩 파라미터는 비트레이트 또는 인코딩 모드를 포함하는, 비 일시적 컴퓨터 판독가능 매체.
  135. 제 132 항에 있어서,
    상기 명령들은,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금,
    종료 이벤트 인디케이터를 자동으로 검출하게 하며;
    상기 종료 이벤트 인디케이터를 검출하는 것에 응답하여, 상기 모바일 디바이스 내의 상기 로컬 스토리지와 무선 채널을 통해 상기 모바일 디바이스에 접속된 네트워크 스토리지 사이의 상기 인코딩된 신호에 대한 장기 스토리지 로케이션을 결정하게 하는, 비 일시적 컴퓨터 판독가능 매체.
  136. 제 135 항에 있어서,
    프로세서에 의해 실행되는 경우 상기 프로세서로 하여금, 상기 장기 스토리지 로케이션을 결정하게 하는 상기 명령들은, 상기 프로세서로 하여금 상기 인코딩된 신호의 우선순위에 기초하여 상기 장기 스토리지 로케이션을 결정하게 하도록 구성되는, 비 일시적 컴퓨터 판독가능 매체.
KR1020127029257A 2010-04-08 2011-04-08 모바일 디바이스들에 대한 스마트 오디오 로깅의 시스템 및 방법 KR101498347B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US32217610P 2010-04-08 2010-04-08
US61/322,176 2010-04-08
US13/076,242 2011-03-30
US13/076,242 US9112989B2 (en) 2010-04-08 2011-03-30 System and method of smart audio logging for mobile devices
PCT/US2011/031859 WO2011127457A1 (en) 2010-04-08 2011-04-08 System and method of smart audio logging for mobile devices

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147006752A Division KR101523181B1 (ko) 2010-04-08 2011-04-08 모바일 디바이스들에 대한 스마트 오디오 로깅의 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120137436A true KR20120137436A (ko) 2012-12-20
KR101498347B1 KR101498347B1 (ko) 2015-03-03

Family

ID=44227871

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127029257A KR101498347B1 (ko) 2010-04-08 2011-04-08 모바일 디바이스들에 대한 스마트 오디오 로깅의 시스템 및 방법
KR1020147006752A KR101523181B1 (ko) 2010-04-08 2011-04-08 모바일 디바이스들에 대한 스마트 오디오 로깅의 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147006752A KR101523181B1 (ko) 2010-04-08 2011-04-08 모바일 디바이스들에 대한 스마트 오디오 로깅의 시스템 및 방법

Country Status (12)

Country Link
US (3) US9112989B2 (ko)
EP (4) EP3438975B1 (ko)
JP (3) JP2013527490A (ko)
KR (2) KR101498347B1 (ko)
CN (2) CN102907077B (ko)
DK (1) DK3035655T3 (ko)
ES (4) ES2574680T3 (ko)
HU (3) HUE055010T2 (ko)
PL (1) PL3035655T3 (ko)
PT (1) PT3035655T (ko)
SI (1) SI3035655T1 (ko)
WO (1) WO2011127457A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180091439A (ko) * 2017-02-07 2018-08-16 삼성에스디에스 주식회사 어쿠스틱 에코 제거 장치 및 방법
US10580428B2 (en) 2014-08-18 2020-03-03 Sony Corporation Audio noise estimation and filtering
US11581007B2 (en) 2021-04-27 2023-02-14 Kyndryl, Inc. Preventing audio delay-induced miscommunication in audio/video conferences

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130090926A1 (en) * 2011-09-16 2013-04-11 Qualcomm Incorporated Mobile device context information using speech detection
EP2758956B1 (en) 2011-09-23 2021-03-10 Digimarc Corporation Context-based smartphone sensor logic
US9992745B2 (en) 2011-11-01 2018-06-05 Qualcomm Incorporated Extraction and analysis of buffered audio data using multiple codec rates each greater than a low-power processor rate
KR20180137041A (ko) * 2011-12-07 2018-12-26 퀄컴 인코포레이티드 디지털화된 오디오 스트림을 분석하는 저전력 집적 회로
US9838810B2 (en) 2012-02-27 2017-12-05 Qualcomm Technologies International, Ltd. Low power audio detection
US9922646B1 (en) * 2012-09-21 2018-03-20 Amazon Technologies, Inc. Identifying a location of a voice-input device
CN103811013B (zh) * 2012-11-07 2017-05-03 中国移动通信集团公司 噪声抑制方法、装置、电子设备和通信处理方法
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9275625B2 (en) 2013-03-06 2016-03-01 Qualcomm Incorporated Content based noise suppression
US9076459B2 (en) * 2013-03-12 2015-07-07 Intermec Ip, Corp. Apparatus and method to classify sound to detect speech
WO2014210429A1 (en) * 2013-06-28 2014-12-31 Harman International Industries, Inc. Wireless control of linked devices
US20150031416A1 (en) 2013-07-23 2015-01-29 Motorola Mobility Llc Method and Device For Command Phrase Validation
US9449602B2 (en) * 2013-12-03 2016-09-20 Google Inc. Dual uplink pre-processing paths for machine and human listening
CN103841244A (zh) * 2013-12-03 2014-06-04 华为技术有限公司 一种终端及终端的录音方法
JP6478006B2 (ja) * 2013-12-16 2019-03-06 パナソニックＩｐマネジメント株式会社 無線通信装置、無線通信システム、及びデータ処理方法
US9646607B2 (en) * 2014-03-10 2017-05-09 Dell Products, L.P. Managing wake-on-voice buffer quality based on system boot profiling
US9207835B1 (en) * 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9508359B2 (en) * 2014-06-19 2016-11-29 Yang Gao Acoustic echo preprocessing for speech enhancement
WO2016006424A1 (ja) * 2014-07-10 2016-01-14 オリンパス株式会社 録音装置、及び録音装置の制御方法
US9225527B1 (en) 2014-08-29 2015-12-29 Coban Technologies, Inc. Hidden plug-in storage drive for data integrity
US9307317B2 (en) 2014-08-29 2016-04-05 Coban Technologies, Inc. Wireless programmable microphone apparatus and system for integrated surveillance system devices
FI126923B (fi) * 2014-09-26 2017-08-15 Genelec Oy Menetelmä ja laitteisto digitaalisen audiosignaalin tunnistamiseksi
US20160125891A1 (en) * 2014-10-31 2016-05-05 Intel Corporation Environment-based complexity reduction for audio processing
US20160140978A1 (en) * 2014-11-18 2016-05-19 Qualcomm Incorporated Customizable Local Media Mixing And Stream Selection In Group Communications
WO2016119106A1 (zh) * 2015-01-26 2016-08-04 深圳市冠旭电子有限公司 一种耳机降噪方法及装置
KR20170132187A (ko) * 2015-03-03 2017-12-01 오픈에이치디 피티와이 엘티디 분산된 라이브 퍼포먼스 스케줄 오디오 레코딩, 클라우드 기반 오디오 컨텐츠 편집 및 오디오 트랙 및 관련 메타 데이터의 온라인 컨텐츠 배포를 위한 시스템, 컨텐츠 편집 서버, 오디오 레코딩 슬레이브 장치 및 컨텐츠 편집 인터페이스
US9916836B2 (en) * 2015-03-23 2018-03-13 Microsoft Technology Licensing, Llc Replacing an encoded audio output signal
US10715468B2 (en) * 2015-03-27 2020-07-14 Intel Corporation Facilitating tracking of targets and generating and communicating of messages at computing devices
US20170069309A1 (en) * 2015-09-03 2017-03-09 Google Inc. Enhanced speech endpointing
US10186276B2 (en) 2015-09-25 2019-01-22 Qualcomm Incorporated Adaptive noise suppression for super wideband music
EP3321794A4 (en) * 2015-10-23 2018-09-12 Samsung Electronics Co., Ltd. Electronic device and control method therefor
US10902043B2 (en) 2016-01-03 2021-01-26 Gracenote, Inc. Responding to remote media classification queries using classifier models and context parameters
US10165171B2 (en) 2016-01-22 2018-12-25 Coban Technologies, Inc. Systems, apparatuses, and methods for controlling audiovisual apparatuses
WO2017142112A1 (ko) * 2016-02-19 2017-08-24 주식회사 트리니티랩 가청 주파수 대역 오디오 신호의 저전력용 수신 방법
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
CN105788611A (zh) * 2016-02-25 2016-07-20 成都普创通信技术股份有限公司 一种音频质量在线监测系统
US10370102B2 (en) 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle
US10789840B2 (en) 2016-05-09 2020-09-29 Coban Technologies, Inc. Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior
US10152858B2 (en) 2016-05-09 2018-12-11 Coban Technologies, Inc. Systems, apparatuses and methods for triggering actions based on data capture and characterization
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US20170372697A1 (en) * 2016-06-22 2017-12-28 Elwha Llc Systems and methods for rule-based user control of audio rendering
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10176809B1 (en) * 2016-09-29 2019-01-08 Amazon Technologies, Inc. Customized compression and decompression of audio data
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10248613B2 (en) * 2017-01-10 2019-04-02 Qualcomm Incorporated Data bus activation in an electronic device
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
CN107343105B (zh) * 2017-07-21 2020-09-22 维沃移动通信有限公司 一种音频数据的处理方法和移动终端
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
WO2019033438A1 (zh) 2017-08-18 2019-02-21 广东欧珀移动通信有限公司 音频信号调节方法、装置、存储介质及终端
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10614831B2 (en) * 2017-10-12 2020-04-07 Qualcomm Incorporated Audio activity tracking and summaries
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
JP2019110447A (ja) * 2017-12-19 2019-07-04 オンキヨー株式会社 電子機器、電子機器の制御方法、及び、電子機器の制御プログラム
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11100918B2 (en) 2018-08-27 2021-08-24 American Family Mutual Insurance Company, S.I. Event sensing system
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
EP3641286B1 (en) * 2018-10-15 2021-01-13 i2x GmbH Call recording system for automatically storing a call candidate and call recording method
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
CN111383663A (zh) * 2018-12-29 2020-07-07 北京嘀嘀无限科技发展有限公司 一种录音控制方法、装置、用户终端及存储介质
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11241616B1 (en) * 2019-05-17 2022-02-08 Amazon Technologies, Inc. Techniques for conserving power on a device
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
CN110246501B (zh) * 2019-07-02 2022-02-01 思必驰科技股份有限公司 用于会议记录的语音识别方法及系统
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
KR20210042520A (ko) * 2019-10-10 2021-04-20 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
TWI727521B (zh) * 2019-11-27 2021-05-11 瑞昱半導體股份有限公司 動態語音辨識方法及其裝置
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
RU2766273C1 (ru) * 2020-09-24 2022-02-10 Акционерное общество "Лаборатория Касперского" Система и способ определения нежелательного звонка
CN112508388B (zh) * 2020-12-02 2022-08-19 唐旸 产品质量检测数据的录入方法及系统、服务端、存储介质
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4704696A (en) * 1984-01-26 1987-11-03 Texas Instruments Incorporated Method and apparatus for voice control of a computer
US4780906A (en) * 1984-02-17 1988-10-25 Texas Instruments Incorporated Speaker-independent word recognition method and system based upon zero-crossing rate and energy measurement of analog speech signal
JPS63260345A (ja) 1987-04-17 1988-10-27 Matsushita Electric Ind Co Ltd 自動音声収録装置
JPH04108246A (ja) * 1990-08-29 1992-04-09 Oki Electric Ind Co Ltd ハンズフリー電話装置
JP3167385B2 (ja) * 1991-10-28 2001-05-21 日本電信電話株式会社 音声信号伝送方法
US5749072A (en) * 1994-06-03 1998-05-05 Motorola Inc. Communications device responsive to spoken commands and methods of using same
US5614914A (en) * 1994-09-06 1997-03-25 Interdigital Technology Corporation Wireless telephone distribution system with time and space diversity transmission for determining receiver location
JP3133632B2 (ja) 1994-12-29 2001-02-13 三洋電機株式会社 長時間記録装置
JP3513320B2 (ja) 1996-04-15 2004-03-31 シャープ株式会社 留守番電話機
JPH10161698A (ja) 1996-11-28 1998-06-19 Saitama Nippon Denki Kk 留守番電話機およびその音声記録方法
JPH11187156A (ja) 1997-12-18 1999-07-09 Brother Ind Ltd 通信装置
US6549587B1 (en) * 1999-09-20 2003-04-15 Broadcom Corporation Voice and data exchange over a packet based network with timing recovery
JP2001022386A (ja) 1999-07-06 2001-01-26 Sanyo Electric Co Ltd 録音再生装置及び留守番電話機
US6959274B1 (en) * 1999-09-22 2005-10-25 Mindspeed Technologies, Inc. Fixed rate speech compression system and method
JP3429237B2 (ja) 1999-11-29 2003-07-22 船井電機株式会社 通信端末装置
JP2002057749A (ja) * 2000-08-09 2002-02-22 Denso Corp 携帯形通信装置
US7231531B2 (en) * 2001-03-16 2007-06-12 Dualcor Technologies, Inc. Personal electronics device with a dual core processor
JP2002324290A (ja) * 2001-04-25 2002-11-08 Yazaki Corp 緊急通報システム
JP2003198716A (ja) 2001-12-26 2003-07-11 Hitachi Kokusai Electric Inc 携帯電話機
US7224981B2 (en) 2002-06-20 2007-05-29 Intel Corporation Speech recognition of mobile devices
EP1574093B1 (en) * 2002-12-20 2009-04-01 Nokia Corporation Method and device for organizing user provided information with meta-information
US7392183B2 (en) 2002-12-27 2008-06-24 Intel Corporation Schedule event context for speech recognition
JP2005221565A (ja) 2004-02-03 2005-08-18 Nec Saitama Ltd 音声データファイル格納方法および録音処理装置
US20060020486A1 (en) * 2004-04-02 2006-01-26 Kurzweil Raymond C Machine and method to assist user in selecting clothing
KR100640893B1 (ko) * 2004-09-07 2006-11-02 엘지전자 주식회사 음성 인식용 베이스밴드 모뎀 및 이동통신용 단말기
JP4686160B2 (ja) 2004-10-04 2011-05-18 沖コンサルティングソリューションズ株式会社 会話記録装置および会話記録方法
JP2006189626A (ja) 2005-01-06 2006-07-20 Fuji Photo Film Co Ltd 記録装置及び音声記録プログラム
WO2006106272A2 (fr) * 2005-04-07 2006-10-12 France Telecom Procede de synchronisation entre une operation de traitement de reconnaissance vocale et une action de declenchement du dit traitement
US20070033030A1 (en) 2005-07-19 2007-02-08 Oded Gottesman Techniques for measurement, adaptation, and setup of an audio communication system
JP2007140063A (ja) 2005-11-17 2007-06-07 Olympus Imaging Corp 音声記録再生装置
US7856283B2 (en) * 2005-12-13 2010-12-21 Sigmatel, Inc. Digital microphone interface, audio codec and methods for use therewith
KR100785076B1 (ko) * 2006-06-15 2007-12-12 삼성전자주식회사 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치
US20080005067A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Context-based search, retrieval, and awareness
GB0619825D0 (en) * 2006-10-06 2006-11-15 Craven Peter G Microphone array
JP4979343B2 (ja) 2006-10-27 2012-07-18 三建設備工業株式会社 内・外気の調湿システム
US8652040B2 (en) * 2006-12-19 2014-02-18 Valencell, Inc. Telemetric apparatus for health and environmental monitoring
JP2008165097A (ja) 2006-12-29 2008-07-17 Mariko Kawashima いじめ防止を目的とした音声録音装置および音声データ解析装置
US8140325B2 (en) * 2007-01-04 2012-03-20 International Business Machines Corporation Systems and methods for intelligent control of microphones for speech recognition applications
US20080192906A1 (en) * 2007-02-14 2008-08-14 Winbond Electronics Corporation Method and system for message management for audio storage devices
US7844460B2 (en) 2007-02-15 2010-11-30 Motorola, Inc. Automatic creation of an interactive log based on real-time content
US8977255B2 (en) * 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8229134B2 (en) * 2007-05-24 2012-07-24 University Of Maryland Audio camera using microphone arrays for real time capture of audio images and method for jointly processing the audio images with video images
JP4909854B2 (ja) * 2007-09-27 2012-04-04 株式会社東芝 電子機器および表示処理方法
US7962525B2 (en) 2007-11-05 2011-06-14 Microsoft Corporation Automated capture of information generated at meetings
US20090177476A1 (en) 2007-12-21 2009-07-09 May Darrell Method, system and mobile device for registering voice data with calendar events
US20090204402A1 (en) * 2008-01-09 2009-08-13 8 Figure, Llc Method and apparatus for creating customized podcasts with multiple text-to-speech voices
US8560307B2 (en) * 2008-01-28 2013-10-15 Qualcomm Incorporated Systems, methods, and apparatus for context suppression using receivers
US8411880B2 (en) * 2008-01-29 2013-04-02 Qualcomm Incorporated Sound quality by intelligently selecting between signals from a plurality of microphones
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
CN101594410A (zh) 2008-05-27 2009-12-02 北京爱国者存储科技有限责任公司 电子录音设备可自动进行电话录音的方法
US8805348B2 (en) 2008-07-30 2014-08-12 Qualcomm Incorporated Diary synchronization for smart phone applications
CN201278556Y (zh) 2008-08-22 2009-07-22 深圳市中深瑞泰科技有限公司 一种具有自动应答以及录音功能的cdma手机
US8488799B2 (en) 2008-09-11 2013-07-16 Personics Holdings Inc. Method and system for sound monitoring over a network
US20110173235A1 (en) * 2008-09-15 2011-07-14 Aman James A Session automated recording together with rules based indexing, analysis and expression of content
US8401178B2 (en) * 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
GB0817950D0 (en) * 2008-10-01 2008-11-05 Univ Southampton Apparatus and method for sound reproduction
US8676904B2 (en) * 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR20210152028A (ko) * 2008-11-10 2021-12-14 구글 엘엘씨 멀티센서 음성 검출
CN101404680A (zh) 2008-11-12 2009-04-08 深圳市杰特电信控股有限公司 电子文档中播入及播放媒体片段的方法
CN101478717A (zh) 2009-01-19 2009-07-08 深圳市同洲电子股份有限公司 一种通话录音方法、系统及移动通信终端
US8862252B2 (en) * 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8442833B2 (en) * 2009-02-17 2013-05-14 Sony Computer Entertainment Inc. Speech processing with source location estimation using signals from two or more microphones
US7930436B1 (en) * 2009-03-09 2011-04-19 Znosko Dmitry Y System and method for dynamically adjusting data compression parameters
WO2011011438A2 (en) * 2009-07-22 2011-01-27 Dolby Laboratories Licensing Corporation System and method for automatic selection of audio configuration settings
EP2537391B1 (en) * 2010-02-19 2013-12-25 Telefonaktiebolaget L M Ericsson (PUBL) Music control signal dependent activation of a voice activity detector
WO2012001216A1 (en) * 2010-07-01 2012-01-05 Nokia Corporation Method and apparatus for adapting a context model

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580428B2 (en) 2014-08-18 2020-03-03 Sony Corporation Audio noise estimation and filtering
KR20180091439A (ko) * 2017-02-07 2018-08-16 삼성에스디에스 주식회사 어쿠스틱 에코 제거 장치 및 방법
US11581007B2 (en) 2021-04-27 2023-02-14 Kyndryl, Inc. Preventing audio delay-induced miscommunication in audio/video conferences

Also Published As

Publication number Publication date
ES2688371T3 (es) 2018-11-02
CN102907077A (zh) 2013-01-30
PT3035655T (pt) 2018-10-24
SI3035655T1 (en) 2018-08-31
CN102907077B (zh) 2015-11-25
US20150325267A1 (en) 2015-11-12
WO2011127457A1 (en) 2011-10-13
HUE028665T2 (en) 2016-12-28
EP3035655B1 (en) 2018-06-27
EP3917123A1 (en) 2021-12-01
HUE055010T2 (hu) 2021-10-28
EP2556652A1 (en) 2013-02-13
KR101498347B1 (ko) 2015-03-03
KR101523181B1 (ko) 2015-05-26
JP6689664B2 (ja) 2020-04-28
ES2963099T3 (es) 2024-03-25
US9112989B2 (en) 2015-08-18
CN105357371A (zh) 2016-02-24
ES2877325T3 (es) 2021-11-16
EP3917123B1 (en) 2023-10-25
HUE038690T2 (hu) 2018-11-28
CN105357371B (zh) 2019-03-01
PL3035655T3 (pl) 2018-12-31
JP2016180988A (ja) 2016-10-13
US20210264947A1 (en) 2021-08-26
JP2014195275A (ja) 2014-10-09
EP3438975B1 (en) 2021-06-02
US20120078397A1 (en) 2012-03-29
EP3917123C0 (en) 2023-10-25
EP3438975A1 (en) 2019-02-06
ES2574680T3 (es) 2016-06-21
KR20140043845A (ko) 2014-04-10
EP3035655A1 (en) 2016-06-22
JP2013527490A (ja) 2013-06-27
EP2556652B1 (en) 2016-03-02
DK3035655T3 (en) 2018-10-01

Similar Documents

Publication Publication Date Title
US20210264947A1 (en) System and method of determining auditory context information
US9875752B2 (en) Voice profile management and speech signal generation
KR101622493B1 (ko) 오디오 피처 데이터의 추출 및 분석
CN108510981B (zh) 语音数据的获取方法和系统
US11551707B2 (en) Speech processing method, information device, and computer program product
WO2021258958A1 (zh) 语音编码方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 5