KR20150145671A

KR20150145671A - 마이크를 이용한 기기의 제어 장치와 방법

Info

Publication number: KR20150145671A
Application number: KR1020140076151A
Authority: KR
Inventors: 박미경
Original assignee: 박미경
Priority date: 2014-06-21
Filing date: 2014-06-21
Publication date: 2015-12-30

Abstract

기존의 헤드셋에서 음량제어나 선곡 등의 제어 명령을 입력하기 위해서는 버튼이 필요했다. 본 발명은 기존의 방법보다 편리한 방식으로 마이크를 통해서 제어하는 방법에 관한 것이다. 본 발명에 따르면 사용자는 마이크 본체를 두드려서 제어 명령을 입력하게 된다. 마이크가 귀 근처에 위치한 경우에 더욱 편리하게 입력할 수 있다. 또한 mp3 플레이어, 블루투스 이어셋, 또는 모바일 다기능 시계 등과 같이 마이크가 내장된 기기에서 버튼의 개수를 줄임으로써 크기를 작게 만들 수 있다.

Description

마이크를 이용한 기기의 제어 장치와 방법{AN INPUT METHOD USING MICROPHONE AND THE APPARATUS THEREFOR}

본 발명은 헤드셋을 연결하여 사용하는 기기 또는 마이크를 내장한 기기를 편리하게 제어하는 방법에 관한 것이다.

디지털 기술의 발달로 음악과 멀티미디어를 재생하는 기능을 갖는 모바일 기기가 점점 많이 개발되고 보편화 되어가고 있다. mp3 플레이어, PMP, 전자사전은 물론 특히 최근에는 스마트폰의 대중화에 힘입어 간편하게 음악 감상을 즐길 수 있게 되었다. 모바일기기로 음악이나 음성 신호를 듣기 위해서 주로 이어폰이나 헤드폰을 사용한다. 모바일 기기로 음악, 음성을 들을 때에는 주변의 상황에 따라서 소음과 같은 환경의 변화가 자주 일어나는 편이므로 음량의 조절을 해야 할 필요성이 자주 일어나게 된다. 또한 사용자들은 선곡을 위해서도 모바일 기기의 제어 버튼이나 스마트폰과 같은 터치 디스플레이를 통해서 빈번히 기기를 조작하게 된다.

모바일 기기는 그 특성상 주로 주머니나 가방에 넣고 다니는 경우가 많으며 조작이 필요할 때마다 사용자는 기기를 꺼내어 조작해야 하는 불편함이 있어왔다. 이를 해결하기 위한 기존 기술중에는 볼륨 제어를 쉽게 하기 위해서 이어폰 단자와 이어폰 드라이버 유닛 사이에 가변저항을 넣는 방법이 고안되어 졌었다. 가변저항을 넣는 방법은 가변저항의 값을 조절함으로써 기기에서 보내주는 음량보다 작은 음량으로 조절할 수는 있었으나 기기에서 보내주는 음량보다 큰 음량을 얻을 수는 없다. 또한 가변저항을 두었으므로 장시간 사용시 기계적 마모, 먼지등에 의해서 잡음이나 고장이 나는 경우가 잦다.

또 다른 기존기술로는 이어폰이나 헤드셋에 제어 버튼을 넣고 버튼 누름을 기기에서 감지하여 음량조절, 선곡 등의 제어를 하는 방법이 고안되어 졌었다. 그러나 이어폰에서는 그 특성상 버튼을 작게 만들어야 하는데, 버튼이 작으므로 원하는 제어버튼을 찾고 누르는 방식은 생각보다 불편한 점이 있었다. 또한 이어폰 줄이나 이어폰 본체에 버튼이 추가됨으로써 거추장스러워지는 단점이 있고, 원가가 상승하며, 기계적인 버튼을 사용하는 경우에는 버튼이 고장날 위험이 있다. 최근에는 기계적인 버튼 대신에 터치 센서를 사용하는 경우가 늘어나고 있는데 역시 원가가 상승하는 단점이 있고, 작게 만드는 것이 중요한 모바일 기기에서 센서를 넣기 위해 크기가 커지는 단점이 있다.

헤드셋을 이용해서 모바일 기기를 제어하는 또 하나의 알려진 방법으로는 음성인식이 있다. 사용자는 음성으로 명령을 내리고 기기에서는 음성인식을 통해서 명령을 해석하고 대응하는 명령을 수행한다. 이 방법을 통해서 버튼이나 추가적인 센서를 넣지 않고도 제어명령을 입력할 수 있으나 주변 소음이 심한 경우에 인식에 실패하는 경우가 종종 발생하는 단점이 있다. 또한 음성명령을 통해서 입력하는 경우에 주변에 그 음성이 들리는 단점이 있다.

그러므로 헤드셋에 있어서 음량조절, 음악선곡, 통화시작, 통화종료, 애플리케이션의 실행 및 종료 등과 같은 제어명령을 입력하기 위해서 별도의 버튼이나 추가적인 센서가 필요없는 새로운 방식이 있으면 편리할 것이며 본 발명에서는 헤드셋에 이미 포함되어 있는 마이크를 이용해서 제어명령을 입력하는 방법으로 상기 문제를 해결하고자 한다.

전술한 문제점들을 감소시키거나 해결하기 위한 본 발명의 제안에 따르면, 사용자는 주로 손가락으로 마이크 본체를 두드림으로써 제어 명령을 입력하게 된다. 헤드셋의 마이크를 두드림으로써 제어신호를 입력하는 장치와 방법이 개시된다. 바람직하게는 마이크가 이어폰 본체에 장착되어 귀 근처에 위치하게 하는 것이 사용상 편리하다.

본 발명의 장치는 하나 이상의 입력단자를 가진 오디오 접속부, 입력전압 취득부, 하나 이상의 프로세서, 메모리 그리고 하나 이상의 프로그램을 구비한다. 여기에서 상기 입력전압 취득부는 상기 오디오 접속부의 상기 입력단자의 전압의 함수를 디지털 데이터로 출력하며, 상기 하나 이상의 프로세서는 상기 입력전압 취득부의 디지털 출력 데이터를 얻는 수단이 마련되어 있으며, 상기 하나 이상의 프로그램은 상기 메모리에 저장되고 상기 프로세서에 의해 실행되도록 구성되며, 상기 프로그램은 상기 입력전압 취득부의 출력인 디지털 데이터에 기반하여 마이크의 두드림을 감지하고 정보를 얻어내는 제 1 명령어들과 감지 결과 얻어진 정보에 기반하여 실행되는 제 2 명령어들을 포함한다. 상기 감지 결과로 얻어진 정보는 마이크를 두드린 시간, 또는 두드린 세기 또는 이들로부터 얻어진 2차 정보이다.

일부 실시예로서 상기 2차 정보는, 한 두드림과 다음 두드림 사이의 시간 간격이 소정의 시간 이내인 모든 두드림들을 상호 연결된 두드림 그룹으로 정의할 때, 상기 두드림 그룹 내의 두드림 횟수, 두드림들 사이의 간격, 두드림 각각의 세기, 또는 이들로부터 얻어진 특징값으로 이루어진 정보일 수 있다.

일부 실시예로서 입력전압 취득부가 2채널 이상으로 구성되어 있는 경우에는 상기 감지 결과로 얻어진 정보는 채널 번호를 더 포함할 수 있다.

일부 실시예로서 오디오 출력부를 더 포함하고 상기 오디오 접속부는 하나 이상의 출력 단자를 더 포함하며, 상기 오디오 출력부는 재생할 디지털 데이터를 입력으로 삼아 오디오 접속부를 통해서 스피커를 구동하며 상기 프로세서는 오디오 출력부의 입력인 상기 재생할 디지털 데이터에 접근이 가능한 장치에서, 상기 두드림을 감지하는 제 1 명령어들은 상기 입력전압 취득부의 출력을 제 1 디지털 신호로 하고, 오디오 출력부의 입력인 상기 재생한 디지털 데이터를 제 2 디지털 신호로 하고, 적어도 상기 두 데이터에 기반하여 제 1 디지털 데이터에서 제 2 디지털 데이터의 성분을 감소시킨 비상관화된 신호를 만드는 단계; 그리고 상기 비상관화된 신호에 기반하여 상기 두드림을 감지하는 단계를 수행하는 명령어들이다.

일부 실시예로서, 상기 두드림을 감지한 경우에 소정의 오디오 신호를 재생하여 사용자에게 감지했다는 것을 알려줄 수 있다.

일부 실시예로서, 상기 제 2 명령어들은 음량 증가, 음량 감소, 소정의 멀티미디어 콘텐츠 목록상의 이전 콘텐츠 선택, 그 목록상의 다음 콘텐츠 선택, 그 목록상의 처음 콘텐츠 선택, 그 목록상의 마지막 콘텐츠 선택, 통화 시작, 통화 종료, 소정의 애플리케이션의 실행, 또는 소정의 애플리케이션의 종료일 수 있다.

일부 실시예로서, 장치에 오퍼레이팅시스템이 구현되어 있으며 상기 제 2 명령어들은, 두드림 감지에 의해 얻어진 정보 또는 이로부터 유도된 정보를 하나 이상의 애플리케이션 또는 프로세스에 전달하는 명령어를 포함할 수 있다.

일부 실시예로서, 상기 오디오 접속부는 헤드셋을 접속하기 위한 것일 수 있다.

일부 실시예로서, 상기 장치는 마이크와 함께 하나의 패키지안에 포함되어 있을 수 있다.

헤드셋 또는 마이크를 갖춘 이어폰을 사용할 때, 마이크를 통해서 기기에 간편한 방식으로 입력할 수 있다. 제어 명령의 입력을 위해서 버튼이 필요하지 않으며, 입력 방식이 단순하므로 기존의 입력방식을 대치하거나 보조수단으로 사용할 수 있다. 마이크가 장치에 내장된 기기에서는 버튼을 없애거나 개수를 줄일 수 있으므로 기기를 작게 만들 수 있다.

도 1은 오디오 접속부의 입력단자의 전압을 측정하는 전형적인 장치를 설명하기 위한 도면이다.
도 2는 일부 4극 헤드셋을 연결하기 위한 장치를 설명하는 도면이다.
도 3은 마이크와 스피커가 기기 내부에 내장된 경우를 설명하기 위한 도면이다.
도 4는 입력전압 취득부에서 얻은 디지털 데이터에서 비상관화된 신호를 얻는 알고리즘의 일부 실시예를 설명하기 위한 도면이다.
도 5는 마이크에 충격이 가해진 경우에 출력단자에 나타나는 전압을 수학적으로 모델링한 그림이다.

이하, 첨부된 도면과 함께 실시예가 상세하게 설명된다. 이하의 상세한 설명에서, 본 발명의 철저한 이해를 제공하기 위해서 다수의 특정 세부사항이 기술된다. 그러나 본 발명은 이러한 특정 세부사항 없이도 실시될 수 있음은 당업자에게 자명할 것이다. 또한 실시예의 양태를 모호하게 하지 않도록, 주지의 방법, 컴포넌트, 회로에 대해서는 상세하게 설명하지 않았다.

마이크는 공기를 매질로 전파된 진동을 전기적인 신호로 바꾸어 장치에 전달한다. 마이크에 충격을 가하면 전압이 유도된다. 이 전압을 측정하고 분석함으로써 마이크에 가해진 충격을 유추할 수 있으므로 장치로의 신호 입력의 수단으로 사용하는 것이 가능하다.

헤드셋 내의 마이크뿐 아니라 마이크가 장치에 내장되어 패키징되어 있는 경우에도 마이크에 충격 진동이 전달될 정도로 패키지에 진동을 가하면 신호의 입력 수단으로 사용할 수 있으므로 본 발명을 적용할 수 있다. 본 발명에서 기술하는 오디오 접속부는 단지 플러그와 잭으로 연결되는 부분만을 의미하는 것은 아니며, 장치에 마이크를 연결하기 위한 일반적인 접속부를 의미한다.

일부 실시예로서 사용자는 주로 마이크 본체를 손가락으로 두드려서 마이크 유닛에 충격을 가하여 원하는 신호를 입력한다. 도 1은 마이크에서 발생하는 전압을 측정하는 장치의 구조를 보여주는 도면이다. 마이크 (105)에서 발생한 전압신호는 플러그 (104)를 통해서 오디오 접속부의 입력단자 (102)에 도달한다. 이 전압신호는 입력전압취득부 (101)에 의해서 디지털 신호로 전환되고 프로세서는 이 디지털 데이터를 읽는 수단이 마련되어 있다. 프로세서는 충격을 감지하기 위한 제 1 명령어와 감지결과 얻어진 정보에 대응하여 실행되는 제 2 명령어를 포함하는 프로그램을 실행한다. 상기 제 1 명령어들의 일부 실시예로서 상기 프로그램은 입력전압 취득부로부터 디지털 데이터를 얻고, 이 디지털 데이터의 절대치가 문턱치를 넘을 때를 마이크에 충격이 가해진 시간으로 감지할 수 있다. 디지털 데이터 절대치가 문턱치를 넘은 후에 다시 문턱치 아래로 떨어지기까지의 최대값을 마이크에 가해진 세기의 정보로 추출할 수 있다. 제 1 명령어들의 다른 일부 실시예로서 마이크에 충격이 가해졌을 때 일반적으로 나타나는 유도전압의 파형을 상기 취득된 디지털 데이터와 컨볼루션을 취하고 이 값의 절대치가 문턱치를 넘을 때를 충격이 가해진 시간으로 감지할 수 있다. 직전 실시예와 마찬가지로 이 값의 절대치가 문턱치를 넘은 후에 다시 문턱치 아래로 떨어지기까지의 절대치의 최대값을 마이크에 가해진 세기로 간주할 수 있다.

마이크에 가해진 충격을 감지함으로써 마이크가 두드려진 시간과 세기에 관한 정보를 얻을 수 있다. 이 정보에 기반하여 대응되는 명령을 실행시키거나 하나 이상의 애플리케이션에 두드림 관련 정보를 전달할 수도 있다. 상기 두드림 관련 정보란 두드림 검출을 통한 두드림 시간, 두드림 세기일 수도 있고 이 정보로부터 유도된 정보일 수도 있다.

일부 실시예로서, 얻어진 정보에 기반하여 대응되는 제어명령을 실행할 수 있다. 마이크에 가해진 충격을 감지하여 제어 명령을 입력하는 것은 컴퓨터에서 오랫동안 사용되어온 마우스 버튼의 클릭을 이용해서 제어명령을 입력하는 것과 유사하다. 마이크를 두드려서 입력하는 방식과 마우스 버튼의 클릭을 통한 입력 방식의 차이 중 하나는, 일반적으로 마우스 버튼은 세게 누름과 약하게 누름을 구별하지 않지만 마이크를 두드려서 입력하는 경우에는 세게 두드림과 약하게 두드림을 구별할 수 있으므로, 마이크를 두드리는 세기를 제어명령의 대응을 위한 특징으로 사용할 수도 있다는 점이다. 마우스 버튼을 한 번 클릭하는 이외에 더블클릭하여 새로운 제어명령을 입력할 수 있는 것처럼 마이크를 두 번 이상 두드림으로써 새로운 제어명령을 입력할 수 있다. 마이크를 세 번 이상 두드리는 것은 마우스 버튼을 세 번 이상 클릭하는 것보다 쉬우므로 유용하게 사용될 수 있다. 마우스에 2개 이상의 버튼이 있고 각 버튼에 다른 기능을 넣을 수 있는 것과 같이, 마이크가 두 개 이상 있는 경우에는 마찬가지로 각 채널에 다른 기능을 넣을 수 있다.

일부 실시예로서, 상기 얻어진 두드림과 두드림의 시간 간격이 소정의 시간 이내라면 연결된 두드림으로 표시할 수 있다. 연결된 두드림과 연결된 두드림을 모두 모아서 그룹을 지을 수 있다. 다음 두드림을 소정의 시간 동안 기다리고, 소정의 시간 이내에 충격이 감지되지 않으면 그룹 지어진 두드림의 특징으로부터 대응된 제어 명령을 실행시킬 수 있다.

제어명령 실행을 위한 제 1 실시예로서 장치는 한번 두드림은 음량 감소, 두 번 연속 두드림은 음량 증가, 세 번 연속 두드림은 음소거라는 제어 명령을 실행시키는 것일 수 있다. 이 장치에서 사용자가 음량 증가 명령을 입력하기 위해서 두 번 연속 두드림을 가하는 경우를 예를 들어 설명할 것이다. 상기 프로그램은 첫 번째 두드림을 감지한 경우에 소정의 시간 동안 기다리는 제어명령을 수행한다. 곧이어 두 번째 두드림을 감지한 경우에 상기 프로그램은 이전 두드림에 연결된 두드림으로 표시하고 다시 소정의 시간 동안 기다리는 제어명령을 수행한다. 소정의 시간 동안 두드림이 감지되지 않으면 상기 프로그램은 연결된 두드림이 두 번이었으므로 이에 해당하는 음량 증가 명령을 수행한다.

제어 명령 실행을 위한 제 2 실시예로서 장치는 한번 두드림은 현재 재생중인 곡을 기준으로 플레이 목록상의 이전 곡을 플레이, 두 번 연속 두드림은 플레이 목록상의 다음 곡을 플레이, 네 번 연속 두드림을 약-약-강-약으로 두드리면 이전 마이크를 통해 수행한 명령을 취소하고 원래 상태로 돌아오라는 제어 명령을 실행시키는 것일 수 있다. 이 장치에서 사용자가 약-약-강-약으로 네 번을 연속으로 두드리면, 상기 프로그램은 연결된 두드림으로 표시된 네 번의 두드림의 강도를 비교하고 약-약-강-약의 순서로 입력이 되었다면, 그룹 지어진 네 번의 두드림 이전에 수행한 제어 명령을 취소시키는 명령을 수행한다.

오디오 접속부의 입력 단자가 2채널 이상이고 입력 전압 취득부가 2채널 이상의 전압을 측정할 수 있다면 프로세서는 사용자가 어느 마이크를 통해서 신호를 입력했는지를 알 수 있으므로 하나의 입력전압을 취득하는 경우보다 다양한 입력 방법이 가능하다. 제어명령 실행을 위한 제 3 실시예로서, 2 채널의 입력 단자를 갖는 오디오 접속부를 가지는 장치에 있어서 두 채널 각각의 전압을 측정하는 입력전압 취득부를 구비한 장치에서는 두 마이크의 두드림을 구별하여 제어명령을 대응시킬 수 있다. 예컨데, 한쪽 마이크를 한번 두드리면 음량증가, 두번 두드리면 음량 감소, 다른쪽 마이크를 한번 두드리면 플레이 목록상의 이전곡, 두 번 두드리면 플레이 목록상의 다음곡을 플레이 시키는 명령을 대응시켜 실행시킬 수 있다.

상기 제 2 명령어는 충격을 감지했음을 오디오 출력부를 통해서 소리로 알려주는 명령을 포함할 수 있다. 상기 제어 명령 실행을 위한 제 1 실시예에서 상기 프로그램이 두 번의 연속된 두드림을 감지한 경우에, 음량 증가 명령에 추가적으로 비프음을 두 번 마이크에 들려주는 명령을 수행함으로써 사용자에게 두드림 또는 제어 명령을 감지했음을 알려줄 수 있다.

사용자가 의도하지 않은 채로 마이크가 다른 곳에 부딪힘으로써 잘못된 제어 명령이 내려질 수도 있다. 제어명령 실행을 위한 제 4 실시예로서, 이러한 경우를 방지하기 위해서 실제 명령을 입력하기 전에 소정의 정해진 두드림을 입력할 수 있다. 예컨데 마이크를 두 번을 빠르게 두드림으로써 장치가 실제 제어 명령을 기다리는 대기상태에 진입하도록 하고 대기상태 진입후 소정의 시간 이내에 들어온 명령에 대해서만 제어명령을 실행할 수 있다.

일부 실시예로서 도 2는 4극 헤드셋을 연결하기 위한 전형적인 장치를 설명하기 위한 도면이다. 오디오 접속부(202)는 스테레오 스피커 (206), (207)로의 출력을 위해서 2개의 출력단자를 가지며 마이크(205)로부터의 입력을 위해 하나의 입력단자를 가지고 있다. 두드림을 통해서 편리하게 제어명령을 입력하기 위해서는 마이크가 귀에 삽입되는 이어폰 본체에 같이 붙어 있는 것이 바람직하다. (205)가 (206) 또는 (207)과 물리적으로 멀리 떨어진 경우에는 도 1의 실시예와 같은 방법으로 두드림을 감지할 수 있으나 (206)의 출력 음향이 (205)에 영향을 주는 경우에는 이를 소거시켜야 두드림 오감지를 줄일 수 있다. 상기 입력전압 취득부로부터 얻은 디지털 데이터를 디지털 신호처리를 사용하여 두드림을 오감지하는 비율을 낮추어 개선할 수 있다. 오디오 신호를 재생하고 있는 도중에 충격이 가해진 경우에는 재생되고 있는 신호와 진동에 의해서 유도된 전압이 섞여 있다. 섞여 있는 신호를 그대로 분석하여 사용자에 의해 가해진 충격을 감지할 수도 있다. 이 단순한 방법은 오디오 출력부의 출력신호가 마이크에 나타나는 유도전압과 유사한 경우에 오감지를 하는 경우가 많다. 상기 오감지의 경우를 줄이기 위해서 마이크 단자에서 측정된 전압에서 음악 재생을 위해 장치에서 출력된 전압의 효과를 없애거나 감소시켜주는 것이 효율적이다. 장치에서 출력된 전압은 오디오 출력을 위해서 오디오 출력부에 입력된 디지털 데이터에 기인한 것이다. 그러므로 입력전압 취득부의 디지털 데이터를 제 1 디지털 신호로 하고, 프로세서가 오디오 출력부에 전송한 데이터를 제 2 디지털 신호로 하고 제 1 디지털신호에서 제 2 디지털신호의 성분을 없애거나 감소시켜주면 마이크에서 들어온 유도전압을 좀 더 신뢰성있게 감지할 수 있다. 일반적인 디지털 오디오 장치는 장치 내부의 프로세서가 플레이할 디지털 데이터를 직접 또는 메모리를 통해서 간접적으로 오디오 출력부에 전달함으로써 오디오를 플레이한다. 즉, 이러한 장치에서 프로세서는 재생되고 있는 디지털 오디오 데이터에 접근이 가능하다. 상기 제 2 디지털 신호성분은 어느 정도 시간이 지연된 후에 상기 제 1 디지털 신호에 영향이 나타나게 된다. 이 지연시간은 장치 내부의 버퍼의 크기, 디지털-아날로그 변환부의 시간지연, 입력전압 취득부에서 프로세서에 데이터가 전달되는 과정 등에 따라서 달라진다.

도 4는 상기 제 1 디지털 신호에서 상기 제 2 디지털 신호 성분을 감소시키는 일부 실시예를 설명하기 위한 구조도이다. (401)은 상기 제 1 디지털 신호 (S0_rec)를, (402)는 상기 제 2 디지털 신호 (S0_play)를 적당한 구간으로 잘라서 비교할 구간(Frame)을 만드는 블록이다. 신호처리의 연속성을 위해서 (401)의 한 Frame과 이후 Frame사이는 겹치도록 하는 것이 좋으며 Frame 길이가 반씩 겹치도록 하는 것이 바람직하다. 연속신호 S0_rec, S0_play를 프레임으로 나누어 나온 각각의 한프레임의 신호를 S1_rec, S1_play라고 적겠다. S1_rec와 S1_play의 길이는 같을 필요는 없으며 S1_play는 S1_rec에 대응하는 부분을 포함할 정도의 구간을 선택해야 하므로 S1_play가 더 긴 것이 바람직하다. (403), (404)는 이후 신호처리의 성능을 높이기 위해서 적절한 전처리를 하는 블록이다. 상기 전처리부의 일부 실시예로서 dc bias를 제거하는 기능을 포함할 수 있다. 상기 전처리부의 또 다른 실시예로서 샘플링 주파수 변환기능을 넣을 수 있다. S0_rec의 샘플링주파수와 S0_play의 샘플링 주파수가 다를 수 있으므로 둘 사이의 샘플링 주파수를 동일하게 맞추어 이후 처리를 하는 것이 효율적이다. 또한 마이크에 가해진 충격을 감지하기 위해서 재생시에 사용되는 것처럼 높은 샘플링 주파수가 필요하지 않으므로 전처리기에서 샘플링 주파수를 낮게 변환함으로써 이후 알고리즘의 복잡도를 줄일 수 있다. (403), (404)는 반드시 필요한 블록은 아니며 삭제가 가능하다.

S1_rec와 S1_play를 전처리를 수행한 후의 결과를 각각 S2_rec, S2_play라고 적겠다. (405)의 비교부는 S2_play에서 S2_rec와 유사한 부분을 찾고 둘 사이의 시간지연(dt)과 크기 차이(gain)를 구하는 블록이다. 상기 비교부의 일 실시예로는 S2_rec와 S2_play사이의 상관계수가 최대로 나오도록 하는 dt를 구하고

로 gain을 구하는 방법이 있다. 여기에서 L은 S2_rec의 길이이고 S2_rec(0:L-1)은 S2_rec의 0번 데이터에서 L-1 번 데이터까지의 리스트를 의미한다. power()는 신호들의 제곱의 평균을 구하는 함수이며 경계효과를 줄이기 위해서 제곱 평균을 구하기 전에 중간 부근이 볼록한 사인 윈도우, 해밍 윈도우 등과 같은 길이 L의 윈도우 함수를 신호에 곱하는 과정을 포함할 수 있다.

상기 비교부의 다른 일부 실시예로는

와 같은 에러함수를 정의하고 이 에러함수를 최소로 만드는 dt, gain을 구하는 방법이 있다. 이 경우에도 직전 실시예와 같이 S2_play, S2_rec에 윈도우 함수를 적용할 수 있다.

(406)은 다음 식에 따라서 상기 제 2 디지털 신호성분이 감소된 출력인 decorr_digital을 만들어 낸다.

dt, gain은 (405)에서 구해진 값을 직접 사용해도 되지만 이전 프레임들에서 결정된 dt와 gain들을 바탕으로 이동 평균을 구함으로써 시간적인 저역 통과 필터링을 수행하여 에러에 강인한 dt, gain을 구해서 사용하는 것이 안정적이다. (407)은 decorr_digital을 기반으로 마이크에 충격이 가해졌는지를 판단하는 블록이다. 제 1 디지털 신호에서 제 2 디지털 신호가 완전히 제거되지 않은 경우에는 재생신호가 큰 경우에 decorr_digital도 같이 커지므로

와 같이 정의된 규격화된 decorr_normalized를 decorr_digital 대신에 사용하는 것이 바람직하다. 여기에서 alpha는 재생신호가 작아서 S2_rec가 너무 작은 경우에 noise의 효과를 감소시키기 위해 들어간 상수 값으로 실험적으로 정할 수 있다. decorr_normalized의 값이 문턱치를 넘는 곳을 찾음으로써 두드림을 감지할 수 있으나 성능을 더욱 향상시키기 위해서 다음과 같은 방법을 사용할 수도 있다. 도 5는 마이크에 충격이 가해진 경우에 단자에 나타나는 전압을 흉내 내기 위해서 수학적으로 구성한 함수

를 그린 그림이다. 여기에서 hamming(t)는 해밍 창함수, F_earphone은 150, F_REC=6000 을 사용했다.

s_conv=convolution(diff_normalized, S_prior)

와 같이 s_conv를 구하면 diff_normalized에 S_prior와 유사한 모양이 있는 경우에 s_conv는 양 또는 음의 큰 값을 나타내므로 s_conv의 절대치가 특정한 크기를 넘는 곳을 찾음으로써 마이크에 가해진 충격을 감지할 수 있으며 s_conv의 절대치를 충격의 세기로 사용할 수 있다. 여기에서 convolution(diff_normalized, S_prior)는 diff_normalized와 S_prior를 컨볼루션을 취하는 함수이다.

상기 실시예는 제 1 디지털 신호에서 제 2 디지털 신호의 영향을 감소시켜서 비상관화된 신호를 만드는 일부 실시예를 설명한 것이며 방법을 한정하기 위한 것이 아니다. 상기 실시 예에서 구현을 단순화시키기 위해서 몇 가지 블록을 제거하거나 성능을 향상시키기 위해서 변형을 시키는 것이 가능하다. 예를 들어 (405)블록에서 에러함수 E(dt, gain)에서 L2 norm을 다른 것으로 대체하거나 (406)블록에서 gain을 프레임 내에 일정한 값으로 유지하는 대신에 매 샘플마다 이전 프레임과 현재 프레임의 보간(interpolation)으로 대체하여 부드럽게 변하도록 하는 방법이 있을 수 있다. 변형의 다른 예로는 S2_play 대신에 필터링된 S2_play를 사용하는 방법이 있다. 즉, S2_play가 S2_rec에 영향을 주는 방식을 선형필터로 모델링하는 것이다. 이를 위해서 직전 실시예의 에러함수를 다음과 같이 바꾸고 E(dt, filt)를 최소화 시키는 dt, {filt}를 구하면 된다.

여기에서 {filt}는 길이 p의 필터계수이며 직전 실시예의 gain을 일반화한 것이다. 이 경우에 decorr_digital은 다음 식과 같이 구해진다.

이상의 설명에 따라서 마이크 두드림을 감지할 수 있으며 이를 이용해서 여러 명령을 입력할 수 있다. 일부 실시 예로서 마이크를 통한 제어신호로 미리 설정된 애플리케이션을 실행시키거나 종료시킬 수 있다. 예컨데 멀티미디어 감상중에 음성인식 프로그램을 실행시킬 수 있다.

일부 실시 예로서 스마트폰의 경우에 마이크를 통한 제어신호로 통화 시작 및 통화종료를 시킬 수 있다. 예컨데 음악 감상중에 통화 시작을 실행시킬 수 있다.

일부 실시예로서 마이크를 통한 제어신호를 애플리케이션에 입력을 넣는 수단으로 사용할 수 있다. 예컨데 보이스 레코딩 프로그램에 레코딩 시작, 일시멈춤, 정지 등의 입력을 넣을 수 있다.

일부 실시예로서 마이크를 기기 내부에 내장시키는 경우에 기기의 조작에 필요한 버튼의 개수를 줄일 수 있다. 케이스의 적어도 일부분을 두드린 진동이 마이크에 전달이 되도록 설계가 된 기기에 있어서, 두드림을 통해서 제어신호를 입력할 수 있다. mp3 플레이어, 블루투스 이어셋, 다기능 모바일 시계 등에서 버튼의 개수를 줄이거나 없앰으로써 모바일 기기를 작게 만들 수 있다. 도 3은 마이크가 케이스 내부에 내장된 경우를 설명하기 위한 도면이다. 도 2와 구조는 유사하며 이 경우에 오디오 접속부는 입력전압 취득부(301)과 마이크(306), 및 오디오 출력부(304)와 스피커(305)를 연결하는 부분을 의미한다.

장치에 오퍼레이팅 시스템이 설치되어 있는 경우에는, 개별적인 애플리케이션들이 마이크의 충격을 감지하는 명령어를 수행할 수도 있으나, OS에서 감지 등의 명령을 담당하고 얻어진 정보를 애플리케이션에 전달하는 것이 바람직하다. 전달하는 정보는 마이크 두드림 검출과정의 일부일 수도 있으며 두드림으로부터 유도된 정보일 수도 있다. 일부 실시예로서 마이크 두드림을 감지하는 과정을 디바이스 드라이버처럼 OS의 낮은 수준에서 실행하고 윈도 시스템의 메시지 또는 안드로이드 OS의 브로드캐스트와 유사한 방법으로 애플리케이션들 또는 프로세스에게 두드림 관련 정보를 전달할 수 있다.

이상에서 설명을 위해서 특정 실시예를 참조하여 설명했다. 그러나 위의 설명을 참조하여 많은 수정 및 변형이 가능하다. 지금까지의 실시예들은 본 발명의 원리에 대한 이해와 실용적 적용을 위해서 선택된 것이었다. 본 발명에서는, 사용자가 마이크 본체를 두드림으로써 정보를 보낼 수 있으며 장치에서는 그 정보를 받아서 기기를 제어할 수 있다는 점을 보여주었다. 마이크 두드림을 통한 정보 입력은 키보드, 터치패드, 버튼 등을 이용한 입력과 비교해볼 때, 방식은 다르지만 입력방식의 하나라는 점에서, 입력 내용을 특정 실시예에만 한정시키지 말아야 할 것이다.

101: 입력전압 취득부
102: 오디오 접속부의 입력단자
103: 프로세서
104: 마이크 플러그
105: 마이크
201: 입력전압 취득부
202: 오디오 접속부
203: 프로세서
204: 오디오 출력부
205: 마이크
206: 스피커 (채널 1)
207: 스피커 (채널 2)
301: 입력전압 취득부
302: 오디오 접속부
303: 프로세서
304: 오디오 출력부
305: 스피커
306: 마이크
307: 외부 케이스
401: 제 1 디지털 신호 프레임부
402: 제 2 디지털 신호 프레임부
403: 제 1 디지털 신호 전처리부
404: 제 2 디지털 신호 전처리부
405: 비교부
406: 비상관화 변환부
407: 제어신호 판단부

Claims

하나 이상의 입력단자를 가진 오디오 접속부;
입력전압 취득부;
하나 이상의 프로세서;
메모리;
그리고 하나 이상의 프로그램을 포함하는 장치에서
상기 입력전압 취득부는 상기 오디오 접속부의 상기 입력단자의 전압의 함수를 디지털 데이터로 출력하며;
상기 하나 이상의 프로세서는 상기 입력전압 취득부의 디지털 출력 데이터를 얻는 수단이 마련되어 있으며;
상기 하나 이상의 프로그램은 상기 메모리에 저장되고 상기 프로세서에 의해 실행되도록 구성되며,
상기 프로그램은
상기 입력전압 취득부의 출력인 디지털 데이터에 기반하여 마이크의 두드림을 감지하고 정보를 얻어내는 제 1 명령어들; 감지 결과 얻어진 정보에 기반하여 실행되는 제 2 명령어들을 포함하는, 장치.
제1항에 있어서,
상기 감지 결과로 얻어진 정보는 마이크를 두드린 시간, 또는 두드린 세기 또는 이들로부터 얻어진 2차 정보인, 장치.
제2항에 있어서,
상기 2차 정보는, 한 두드림과 다음 두드림 사이의 시간 간격이 소정의 시간 이내인 모든 두드림들을 상호 연결된 두드림 그룹으로 정의할 때, 상기 두드림 그룹 내의 두드림 횟수, 두드림들 사이의 간격, 두드림 각각의 세기, 또는 이들로부터 얻어진 특징값으로 이루어진 정보인, 장치.
제2항에 있어서,
상기 오디오 접속부가 입력단자를 m개를 포함하고(m>=2),
상기 입력전압 취득부는 m개중 n개 채널의 전압을 디지털 데이터로 변환할 수 있는 경우에(n>=2),
상기 감지 결과로 얻어진 정보는 채널 번호를 더 포함하는 것을 특징으로 하는, 장치.
제1항에 있어서,
오디오 출력부를 더 포함하고
상기 오디오 접속부는 하나 이상의 출력 단자를 더 포함하고
상기 오디오 출력부는 재생할 디지털 데이터를 입력으로 삼아 오디오 접속부를 통해서 스피커를 구동하며
상기 프로세서는 오디오 출력부의 입력인 상기 재생할 디지털 데이터에 접근이 가능한 장치에서,
상기 두드림을 감지하는 제 1 명령어들은
상기 입력 전압 취득부의 출력을 제 1 디지털 신호로 하고, 오디오 출력부의 입력인 상기 재생한 디지털 데이터를 제 2 디지털 신호로 하고, 적어도 상기 두 데이터에 기반하여 제 1 디지털 데이터에서 제 2 디지털 데이터의 성분을 감소시킨 비상관화된 신호를 만드는 단계; 그리고 상기 비상관화된 신호에 기반하여 상기 두드림을 감지하는 단계를 수행하는 명령어들인, 장치.
제1항에 있어서,
상기 두드림을 감지한 경우에 소정의 오디오 신호를 재생하여 사용자에게 감지했다는 것을 알려주는 것을 특징으로 하는, 장치.
제1항에 있어서,
상기 제 2 명령어들은 음량 증가, 음량 감소, 소정의 멀티미디어 콘텐츠 목록상의 이전 콘텐츠 선택, 그 목록상의 다음 콘텐츠 선택, 그 목록상의 처음 콘텐츠 선택, 그 목록상의 마지막 콘텐츠 선택, 통화 시작, 통화 종료, 소정의 애플리케이션의 실행, 소정의 애플리케이션의 종료 중 적어도 하나를 포함하는 것을 특징으로 하는, 장치.
제1항에 있어서,
장치에 오퍼레이팅시스템이 구현되어 있으며;
상기 제 2 명령어들은, 두드림 감지에 의해 얻어진 정보 또는 이로부터 유도된 정보를 하나 이상의 애플리케이션 또는 프로세스에 전달하는 명령어를 포함하는 것을 특징으로 하는, 장치.
제 1항에 있어서,
상기 오디오 접속부는 헤드셋을 접속하기 위한 것을 특징으로하는 장치
제 1항에 있어서,
상기 장치는 마이크와 함께 하나의 패키지안에 포함되어 있는 것을 특징으로하는 장치
하나 이상의 입력단자를 가진 오디오 접속부와
입력전압 취득부를 갖추고
상기 입력전압 취득부는 상기 오디오 접속부의 입력단자의 전압의 함수를 디지털 데이터로 출력하는 장치에 있어서
상기 입력전압 취득부의 출력인 디지털 데이터에 기반하여 마이크의 두드림을 감지하고 정보를 얻어내는 단계;
상기 감지 결과 얻어진 정보에 기반하여 대응하는 동작을 수행하는 단계
를 포함하는, 컴퓨터로 구현하는 방법.
제11항에 있어서,
상기 감지 결과로 얻어진 정보는 마이크를 두드린 시간, 또는 두드린 세기 또는 이들로부터 얻어진 2차 정보인, 컴퓨터로 구현하는 방법.
제12항에 있어서,
상기 2차 정보는, 한 두드림과 다음 두드림 사이의 시간 간격이 소정의 시간 이내인 모든 두드림들을 상호 연결된 두드림 그룹으로 정의할 때, 상기 두드림 그룹 내의 두드림 횟수, 두드림들 사이의 간격, 두드림 각각의 세기, 또는 이들로부터 얻어진 특징값으로 이루어진 정보인, 컴퓨터로 구현하는 방법.
제12항에 있어서,
상기 장치의 오디오 접속부가 입력단자를 m개를 포함하고(m>=2),
상기 장치의 입력전압 취득부는 m개중 n개 채널의 전압을 디지털 데이터로 변환할 수 있는 경우에(n>=2), 상기 감지 결과로 얻어진 정보는 채널 번호를 더 포함하는 것을 특징으로 하는, 컴퓨터로 구현하는 방법.
제11항에 있어서,
오디오 출력부를 더 포함하고
상기 오디오 접속부는 하나 이상의 출력 단자를 더 포함하며
상기 오디오 출력부는 재생할 디지털 데이터(제 2 디지털 데이터)를 입력으로 삼아 오디오 접속부를 통해서 스피커를 구동하는 장치에서
상기 입력전압 취득부의 출력을 제 1 디지털 데이터로 부를 때, 상기 두드림 감지는 제 1 디지털 데이터에서 제 2 디지털 데이터의 성분을 감소시킨 비상관화된 신호를 만드는 단계; 그리고 상기 비상관화된 신호에 기반하여 상기 두드림을 감지하는 단계를 수행하는 것을 특징으로 하는, 컴퓨터로 구현하는 방법.
제11항에 있어서,
상기 두드림을 감지한 경우에
소정의 오디오 신호를 재생하여 사용자에게 감지했다는 것을 알려주는 것을 특징으로 하는, 컴퓨터로 구현하는 방법.
제11항에 있어서,
상기 대응하는 동작은 음량 증가, 음량 감소, 소정의 멀티미디어 콘텐츠 목록상의 이전 콘텐츠 선택, 그 목록상의 다음 콘텐츠 선택, 그 목록상의 처음 콘텐츠 선택, 그 목록상의 마지막 콘텐츠 선택, 통화 시작, 통화 종료, 소정의 애플리케이션의 실행, 소정의 애플리케이션의 종료 중 적어도 하나를 포함하는 것을 특징으로 하는, 컴퓨터로 구현하는 방법.
제11항에 있어서,
상기 대응하는 동작은, 두드림 감지에 의해 얻어진 정보 또는 이로부터 유도된 정보를 하나 이상의 애플리케이션 또는 프로세스에 전달하는 것을 특징으로 하는, 컴퓨터로 구현하는 방법.
명령어들을 저장하는 컴퓨터 판독가능 기록 매체로서,
하나 이상의 입력단자를 가진 오디오 접속부를 갖추고;
상기 입력단자의 전압을 디지털 데이터(제 1 디지털 데이터)로 변환할 수 있는 입력 전압 취득부가 마련되어 있는 장치에서 실행되는 경우,
상기 장치로 하여금
상기 제 1 디지털 데이터에 기반하여 마이크의 두드림을 감지하여 정보를 얻어내도록 하고;
감지 결과 얻어진 정보에 기반하여 대응하는 동작을 수행하도록 하는, 컴퓨터 판독가능 기록 매체.
제19항에 있어서,
상기 감지 결과로 얻어진 정보는 마이크를 두드린 시간, 또는 두드린 세기 또는 이들로부터 얻어진 2차 정보인, 컴퓨터 판독가능 기록 매체.
제20항에 있어서,
상기 2차 정보는, 한 두드림과 다음 두드림 사이의 시간 간격이 소정의 시간 이내인 모든 두드림들을 상호 연결된 두드림 그룹으로 정의할 때, 상기 두드림 그룹 내의 두드림 횟수, 두드림들 사이의 간격, 두드림 각각의 세기, 또는 이들로부터 얻어진 특징값으로 이루어진 정보인, 컴퓨터 판독가능 기록 매체.
제20항에 있어서,
상기 장치의 오디오 접속부가 입력단자를 m개를 포함하고(m>=2),
상기 장치의 입력전압 취득부는 m개중 n개 채널의 전압을 디지털 데이터로 변환할 수 있는 경우에(n>=2), 상기 감지 결과로 얻어진 정보는 채널 번호를 더 포함하는 것을 특징으로 하는, 컴퓨터 판독가능 기록 매체.
제19항에 있어서,
오디오 출력부를 더 포함하고
상기 오디오 접속부는 하나 이상의 출력 단자를 더 포함하며
상기 오디오 출력부는 재생할 디지털 데이터(제 2 디지털 데이터)를 입력으로 삼아 오디오 접속부를 통해서 스피커를 구동하는 장치에서 실행되는 경우에,
상기 두드림 감지는 제 1 디지털 데이터에서 제 2 디지털 데이터의 성분을 감소시킨 비상관화된 신호를 만드는 단계; 그리고 상기 비상관화된 신호에 기반하여 상기 두드림을 감지하는 단계를 수행하는 것을 특징으로 하는, 컴퓨터 판독가능 기록 매체.
제19항에 있어서,
상기 두드림을 감지한 경우에,
소정의 오디오 신호를 재생하여 사용자에게 감지했다는 것을 알려주도록 하는 것을 특징으로 하는, 컴퓨터 판독가능 기록 매체.
제19항에 있어서,
상기 대응하는 동작은 음량 증가, 음량 감소, 소정의 멀티미디어 콘텐츠 목록상의 이전 콘텐츠 선택, 그 목록상의 다음 콘텐츠 선택, 그 목록상의 처음 콘텐츠 선택, 그 목록상의 마지막 콘텐츠 선택, 통화 시작, 통화 종료, 소정의 애플리케이션의 실행, 소정의 애플리케이션의 종료 중 적어도 하나를 포함하는 것을 특징으로 하는, 컴퓨터 판독가능 기록 매체.
제19항에 있어서,
상기 대응하는 동작은, 두드림 감지에 의해 얻어진 정보 또는 이로부터 유도된 정보를 하나 이상의 애플리케이션 또는 프로세스에 전달하는 것을 특징으로 하는, 컴퓨터 판독가능 기록 매체.