KR102052153B1

KR102052153B1 - 보청기를 제어하는 휴대 단말 및 방법

Info

Publication number: KR102052153B1
Application number: KR1020130016624A
Authority: KR
Inventors: 김정수; 김익수
Original assignee: 삼성전자주식회사
Priority date: 2013-02-15
Filing date: 2013-02-15
Publication date: 2019-12-17
Also published as: WO2014126415A1; US20140233774A1; CN104982041A; US9549264B2; KR20140103003A; CN104982041B; EP2957039A4; EP2957039B1; EP2957039A1

Abstract

본 발명은 휴대 단말에 관한 것으로서, 보청기를 제어하는 휴대 단말 및 방법에 관한 것이다.
이를 위해 본 발명은 휴대 단말을 이용한 보청기 제어 방법에 있어서, 사진을 촬영하는 과정과, 상기 촬영된 사진에 기반하여 주변 상황의 분석에 따라 상기 보청기의 보청 모드를 제어하기 위한 제어 신호를 생성하는 과정과, 상기 생성된 제어 신호를 상기 보청기로 전송하는 과정을 포함할 수 있다.

Description

보청기를 제어하는 휴대 단말 및 방법{MOBILE TERMINAL FOR CONTROLLING A HEARING AID AND METHOD THEREFOR}

본 발명은 휴대 단말에 관한 것으로서, 보청기를 제어하는 휴대 단말 및 방법에 관한 것이다.

최근 휴대 단말에서 제공하는 다양한 서비스 및 부가 기능들은 점차 확대되고 있다. 이러한 휴대 단말의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 휴대 단말에서 실행 가능한 다양한 애플리케이션들이 개발되고 있다.

이에 따라 최근 스마트 폰 및 태블릿 PC와 같은 휴대 단말 내에는 적어도 수 개에서 수백 개의 애플리케이션들이 저장될 수 있으며, 사용자에게 보다 편리하고 다양한 서비스를 제공하는 애플리케이션들이 개발되고 있다. 그리고, 상기 애플리케이션들 각각을 실행시키기 위한 객체들(또는 단축 아이콘)이 휴대 단말의 터치 스크린 상에 표시된다. 이에 따라 사용자는 터치 스크린 상에 표시된 단축 아이콘들 중 어느 하나를 터치함으로써 원하는 애플리케이션을 휴대 단말에서 실행시킬 수 있다. 또한, 휴대 단말의 터치 스크린 상에는 상기 단축 아이콘들 이외에도 위젯, 사진 및 문서 등과 같은 다양한 형태의 비쥬얼 객체들이 표시되고 있다. 이와 같이, 휴대 단말은 표시된 객체들 또는 실행중인 애플리케이션에 사용자의 손가락, 전자펜, 스타일러스 펜 등의 입력 유닛을 이용하여 터치 스크린에 디스플레이된 객체와 애플리케이션을 제어할 수 있다.

이와 같이, 최근 급격히 발달한 휴대 단말을 통해서 신체적으로 불편한 사용자에게 편리함을 제공하는 애플리케이션이 개발 중에 있으며, 아울러, 휴대 단말에서 동작되는 애플리케이션, 휴대 단말에 구비된 카메라 등을 이용하여 청각에 장애가 있는 사람들에게 보다 편리하고 품질 좋은 음성을 제공하여 휴대 단말이 이러한 장애를 가지고 있는 사람들에게 유용하게 사용될 필요가 있다.

상기한 바와 같이 종래의 보청기는 단지 주변 소리를 증폭하여 사용자에게 제공하였다. 또한, 종래의 보청기는 단지 정해진 몇 개의 모드만을 제공하였을 뿐, 현재의 주변 상황에 적응적으로 보청 모드를 변환하지 못하였다. 따라서, 청력에 장애가 있는 사람들에게 보다 현실감있는 소리를 제공하기 위해 주변 소리 뿐만 아니라 주변의 사진을 촬영하여 촬영된 사진을 분석하고, 그 결과를 이용해 보청기의 보청 모드를 제어하는 필요성이 제기된다.

따라서 본 발명은 휴대 단말을 이용해 청각 장애인이 장착한 보청기를 제어하여 보다 향상된 서비스를 제공하는 보청기를 제어하는 휴대 단말 및 방법을 제공한다.

상술한 바를 달성하기 위해 본 발명은 휴대 단말을 이용한 보청기 제어 방법에 있어서, 사진을 촬영하는 과정과, 상기 촬영된 사진에 기반하여 주변 상황의 분석에 따라 상기 보청기의 보청 모드를 제어하기 위한 제어 신호를 생성하는 과정과, 상기 생성된 제어 신호를 상기 보청기로 전송하는 과정을 포함할 수 있다.

또한, 상술한 바를 달성하기 위해 본 발명은 보청기를 제어하는 휴대 단말에 있어서, 사진을 촬영하는 카메라 모듈과, 상기 촬영된 사진에 기반하여 주변 상황을 분석하고, 상기 분석에 따라 상기 보청기의 보청 모드를 제어하기 위한 제어 신호의 생성을 제어하는 제어부와, 상기 생성된 제어 신호를 상기 보청기로 전송하는 송수신부를 포함할 수 있다.

또한, 상술한 바를 달성하기 위해 본 발명은 보청기의 보청 모드 변경 방법에 있어서, 상기 보청기에서 제공되는 적어도 하나의 보청 모드에 대한 정보를 휴대 단말로 송신하는 과정과, 상기 보청기의 보청 모드를 다른 보청 모드로 변경하는 제어 신호를 상기 휴대 단말로부터 수신하는 과정과, 상기 수신된 제어 신호를 분석하여 보청 모드를 식별하는 과정과, 상기 보청기의 보청 모드를 상기 식별된 보청 모드로 변경하는 과정을 포함하며, 상기 제어 신호는 상기 휴대 단말에 의해 촬영된 사진을 통해 분석된 주변 상황에 기반할 수 있다.

또한, 상술한 바를 달성하기 위해 본 발명은 보청기에 있어서, 보청기에서 제공되는 적어도 하나의 보청 모드에 대한 정보를 휴대 단말로 송신하고, 상기 휴대 단말로부터 상기 보청기의 보청 모드를 다른 보청 모드로 변경하는 제어 신호를 수신하는 무선부와, 상기 수신된 제어 신호를 분석하여 보청 모드를 식별하고, 상기 보청기의 보청 모드를 상기 식별된 보청 모드로 변경하는 제어부를 포함하며, 상기 제어 신호는 상기 휴대 단말에 의해 촬영된 사진을 통해 분석된 주변 상황에 기반할 수 있다.

또한, 상술한 바를 달성하기 위해 본 발명은 보청기의 보청 모드 변경 방법에 있어서, 사진을 촬영하는 과정과, 상기 촬영된 사진을 통해 주변 상황을 분석하는 과정과, 상기 분석 결과에 대응하여 보청 모드를 제어하고, 상기 제어된 보청 모드로 소리를 출력하는 과정을 포함할 수 있다.

또한, 상술한 바를 달성하기 위해 본 발명은 보청기에 있어서, 사진을 촬영하는 촬영부와, 상기 촬영된 사진을 통해 주변 상황을 분석하여 상기 보청기의 보청 모드를 제어하는 제어부와, 상기 제어된 보청 모드로 소리를 출력하는 출력부를 포함할 수 있다.

본 발명에 따르면, 보청기를 제어하는 휴대 단말 및 방법을 제공함으로써 사용자에게 보다 품질 좋은 보청 효과를 제공할 수 있다. 또한, 본 발명은 사진을 촬영하여 주변 상황을 파악하고, 파악된 주변 상황에 대응하는 보청 모드를 보청기로 제공함으로써 사용자는 보다 현실감 있는 음성을 청취할 수 있다. 또한, 본 발명은 사진을 촬영하여 주변 상황을 분석한 데이터와 주변 소리를 분석한 데이터를 이용하여 보청 모드를 선택함으로써 사용자에게 실제와 유사한 음성을 제공할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 햅틱 효과를 제공하는 휴대 단말을 나타내는 개략적인 블록도.
도 2는 본 발명의 일 실시 예에 따른 휴대 단말의 전면 사시도를 나타낸 도면.
도 3은 본 발명의 일 실시 예에 따른 휴대 단말의 후면 사시도를 나타낸 도면.
도 4는 본 발명의 실시 예에 따른 입력 유닛과 터치 스크린의 내부 단면도를 나타낸 도면.
도 5는 본 발명의 실시 에에 따른 햅틱 효과를 제공하는 입력 유닛을 나타낸 블럭도.
도 6은 본 발명의 실시 예에 따른 휴대 단말을 이용해 보청기의 보청 모드를 제어하는 방법을 나타낸 순서도.
도 7은 본 발명의 실시 예에 따른 보청기의 보청 모드를 주변 상황에 맞게 변경하기 위해 주변 상황을 촬영한 예시도.
도 8은 본 발명의 실시 예에 따른 보청기의 보청 모드를 제어하는 보청기 제어 애플리케이션을 나타낸 예시도.
도 9는 본 발명의 실시 예에 따른 보청 모드가 제어되는 보청기의 블럭도.
도 10은 본 발명의 실시 예에 따른 보청기의 보청 모드 제어 방법을 나타낸 순서도.
도 11은 본 발명의 다른 실시 예에 따른 보청기의 보청 모드 제어 방법을 나타낸 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 사용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 휴대 단말을 나타내는 개략적인 블록도이다.

도 1을 참조하면, 휴대 단말(100)은 이동 통신 모듈(120), 서브통신 모듈(130), 커넥터(165), 및 이어폰 연결잭(167) 중 적어도 하나를 이용하여 외부 장치(도시되지 아니함)와 연결될 수 있다. 이러한, 외부 장치는 상기 휴대 단말(100)에 탈착되어 유무선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들/도크(Cradle/Dock), DMB 안테나, 모바일 결제 관련 장치, 건강 관리 장치(혈당계 등), 게임기, 보청기, 자동차 네비게이션 장치 등 다양한 장치들을 포함할 수 있다. 또한, 상기 외부 장치는 무선으로 연결 가능한 블루투스 통신 장치, NFC(Near Field Communication) 장치 및 WiFi Direct 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 그리고, 휴대 단말은 유선 또는 무선을 이용하여 다른 장치, 즉 휴대폰, 스마트폰, 태블릿 PC, 데스크탑 PC, 및 서버와 연결될 수 있다.

도 1을 참조하면, 휴대 단말(100)은 적어도 하나의 터치 스크린(190) 및 적어도 하나의 터치 스크린 컨트롤러(195)를 포함한다. 또한, 휴대 단말(100)은 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(157), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원 공급부(180)를 포함한다.

서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함한다. 또한, 본 발명의 휴대 단말(100)의 카메라 모듈(150)은 휴대 단말(100)의 주 용도에 따라 제1 및/또는 제2 카메라(151, 152)의 줌 인/줌 아웃을 위한 경통부(155), 상기 경통부(155)의 줌 인/줌 아웃을 위해 경통부(155)의 움직임을 제어하는 모터부(154), 촬영을 위해 광원을 제공하는 플래시(153) 중 적어도 하나를 포함할 수 있다. 그리고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함한다.

제어부(110)는 CPU(111), 휴대 단말(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 휴대 단말(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 휴대 단말(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.

또한, 제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(157), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원 공급부(180), 터치 스크린(190), 및 터치 스크린 컨트롤러(195)를 제어할 수 있다.

또한, 제어부(110)는 터치 스크린(190) 상에 복수의 객체들이 디스플레이된 상태에서 전자펜 등의 터치 가능한 입력 유닛(168)에 의해 어느 하나의 객체에 근접함에 따른 호버링이 인식되는지를 판단하거나 또는 터치 스크린(190)에 입력 유닛(168)의 터치가 존재하는지 판단한다. 또한, 제어부(110)는 휴대 단말(100)로부터 입력 유닛(168)까지의 높이와, 높이에 따른 호버링 입력을 감지할 수 있다. 즉, 제어부(110)는 터치 스크린(190) 상에 입력 유닛(168)에 의한 호버링 입력 또는 터치 스크린(190) 상에 입력 유닛(168)을 터치하여 발생되는 터치 입력을 감지한다.

그리고, 제어부(110)는 카메라 모듈(150)을 통해서 촬영된 사진 또는 영상을 분석한다. 즉, 제어부(110)는 촬영된 사진에서 적어도 하나의 객체 인식 알고리즘을 이용해 촬영된 사진 또는 영상 속의 객체를 파악하여 사진 촬영 시 주변 상황을 파악한다. 이러한, 객체 인식 알고리즘(예: 코너 검출(coner detection), 해리스 코너 검출(예: Harris coner detection) 등등)은 사진 속의 객체들을 추출하는 것으로서, 사진 속의 색깔 차이, 명암 차이 또는 특징점을 추출하여 객체를 파악할 수 있다. 이러한, 특징점은 물체를 표현하는데 있어서, 중복되고 중요하지 않으며 불필요한 점들을 제거함으로써 최소한의 점으로 물체의 특징을 표현할 수 있는 점들이다. 이러한, 특징점의 예는 도 7a 내지 7f에 도시된 바와 같이, 또한, 본 발명은 상술한 사진 속의 객체를 추출하는 알고리즘 외에 다양한 알고리즘을 적용할 수 있다. 이와 같이, 제어부(110)는 적어도 하나의 알고리즘을 통해 촬영된 사진을 통해 현재 주변 상황을 파악할 수 있으며, 파악된 주변 상황을 통해 보청기의 보청 모드를 제어하는 제어 신호를 생성한다. 상기 제어 신호는 절대 신호 레벨 정보(absolute sound level information), 신호 윤곽 정보(signal envelope information), 스펙트럼 컨텐츠 정보(spectral content information), 방향성 마이크 정보(directional MIC information)을 포함한다. 이러한, 제어 신호에 포함된 적어도 하나의 정보는 주변 상황에 대응하여 보청 모드를 변경하기 위한 파라미터들로서 이들 파라미터의 값이 크고 작음에 대응하여 보청 모드를 변경할 수 있다. 상기 제어 신호는 사용자의 귀에 장착된 보청기의 보청 모드를 제어하며 휴대 단말(100)에 의해 보청기로 전송된다. 그리고, 보청기는 휴대 단말(100)로부터 수신된 제어 신호를 분석하여 해당 보청 모드로 모드 변환을 수행한다. 또한, 상기 제어부(110)는 휴대 단말의 마이크(162)에서 감지되는 주변 소리를 통해 주변 상황을 파악할 수 있으며, 이러한, 주변 소리와 사진을 통한 주변 상황을 통해 보청기의 보청 모드를 제어하는 제어 신호를 생성하고, 생성된 제어 신호를 서브 통신 모듈(130) 또는 멀티미디어 모듈(140)을 통해 보청기로 전송한다.

그리고, 이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 휴대 단말(100)이 외부 장치와 연결되도록 할 수 있다. 이동통신 모듈(120)은 휴대 단말(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.

서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다.

무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 휴대 단말(100)과 화상형성장치(도시되지 아니함)사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.

이러한, 제어부(110)는 서브통신 모듈(130) 또는 멀티미디어 모듈(140) 중 적어도 하나를 통해서 보청기를 제어하기 위한 제어 신호를 보청기로 전송한다.

그리고, 휴대 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 또한, 휴대 단말(100)은 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다. 본 발명에서는 이러한, 이동통신 모듈(120), 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나 또는 이들의 조합을 송수신부라 칭하며, 이는 본 발명의 범위를 축소하지 않는다.

멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오 재생 모듈(142) 또는 동영상재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.

멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(110)에 포함될 수 있다.

카메라 모듈(150)은 제어부(110)의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 카메라 모듈(150)은 피사체를 촬영하기 위해 줌 인/줌 아웃을 수행하는 경통부(155), 상기 경통부(155)의 움직임을 제어하는 모터부(154), 피사체를 촬영하기 위해 필요한 보조 광원을 제공하는 플래시(153) 중 적어도 하나를 포함할 수 있다. 제1 카메라(151)는 상기 휴대 단말(100) 전면에 배치되고, 제2 카메라(152)는 상기 휴대 단말(100)의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라(151)와 제2 카메라(152)는 인접(예, 제1 카메라(151)와 제2 카메라(152)의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다. 그리고, 카메라 모듈(150)은 촬영된 사진 또는 영상을 제어부(110)에 전송한다.

또한, 제1 및 제2 카메라(151, 152)는 각각 렌즈계, 이미지 센서 등을 포함할 수 있다. 제1 및 제2 카메라(151, 152)는 각각 렌즈계를 통해 입력되는(또는 촬영되는) 광신호를 전기적인 이미지 신호로 변환하여 제어부(110)로 출력하고, 사용자는 이러한 제1 및 제2 카메라(151, 152)를 통해 동영상 또는 정지 이미지를 촬영할 수 있다.

GPS 모듈(157)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 휴대 단말(100)까지 전파도달시간(Time of Arrival)을 이용하여 휴대 단말(100)의 위치를 산출할 수 있다.

입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 키패드(166), 이어폰 연결잭(167) 및 입력 유닛(168) 중 적어도 하나를 포함할 수 있다. 그리고, 이러한 입/출력 모듈은 이에 국한되지 않으며, 마우스, 트랙볼, 조이스틱 또는 커서 방향 키들과 같은 커서 컨트롤(cursor control)이 제어부(110)와의 통신 상기 터치 스크린(190) 상의 커서 움직임 제어를 위해 제공될 수 있다.

버튼(161)은 상기 휴대 단말(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.

마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다. 또한, 마이크(162)는 연주하는 소리, 비오는 소리, 군중들에 의한 떠드는 소리, 바람 소리, 회의 또는 연설하는 소리와 같은 휴대 단말의 주변에서 발생되는 주변 소리를 감지한다.

스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 소리를 휴대 단말(100) 외부로 출력할 수 있다. 또한, 스피커(163)는 근거리 통신 모듈(132)를 통해 입력 유닛(168) 또는 보청기로 전송되는 제어 신호에 대응되는 소리를 출력할 수 있다. 상기 제어 신호에 대응되는 소리는 입력 유닛(168)의 진동 소자(520)의 활성화에 따른 소리, 진동 세기에 대응하여 크기가 달라지는 소리, 및 진동 소자(520)의 비활성화에 따른 소리를 포함한다. 이러한 소리는 입력 유닛(168)의 진동 소자(520)의 진동 세기에 따라 볼륨이 제어되거나 또는 진동 소자(520)의 활성과 동시 또는 미리 정해진 시간(예: 10ms) 이전/이후의 간격으로 휴대 단말(100)의 스피커(163) 및/또는 입력 유닛(168)에 구비될 수 있는 스피커(560)를 통해 출력될 수 있다. 또한, 상기 소리는 진동 소자(520)의 비활성과 동시 또는 미리 정해진 시간(예: 10ms) 이전/이후의 간격으로 종료될 수 있다. 그리고, 스피커(163)는 휴대 단말(100)이 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 휴대 단말(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.

진동 모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 휴대 단말(100)은 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 휴대 단말(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치 스크린(190) 상을 터치하는 사용자의 터치 동작 및 터치 스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.

커넥터(165)는 상기 휴대 단말(100)과 외부 장치(도시되지 아니함)또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 상기 휴대 단말(100)은 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 휴대 단말(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)로부터 데이터를 수신할 수 있다. 또한 상기 휴대 단말(100)은 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)로부터 전원을 입력받거나, 상기 전원소스를 이용하여 배터리(도시되지 아니함)를 충전할 수 있다.

키패드(166)는 휴대 단말(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 휴대 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치 스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 휴대 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 휴대 단말(100)의 성능 또는 구조에 따라 제외될 수 있다.

이어폰 연결잭(Earphone Connecting Jack, 167)에는 이어폰(도시되지 아니함)이 삽입되어 상기 휴대 단말(100)에 연결될 수 있고, 입력 유닛(168)은 휴대 단말(100) 내부에 삽입되어 보관될 수 있으며, 사용시에는 상기 휴대 단말(100)로부터 인출 또는 탈착될 수 있다. 이러한, 입력 유닛(168)이 삽입되는 휴대 단말(100) 내부의 일 영역에는 상기 입력 유닛(168)의 장착 및 탈착에 대응하여 동작하는 탈부착 인식 스위치(169)가 구비되어, 제어부(110)로 상기 입력 유닛(168)의 장착 및 탈착에 대응하는 신호를 제공할 수 있다. 탈부착 인식 스위치(169)는 입력 유닛(168)이 삽입되는 일 영역에 마련되어, 상기 입력 유닛(168)의 장착시 직·간접적으로 접촉되도록 구비된다. 이에 따라, 탈부착 인식 스위치(169)는 상기 입력 유닛(168)과의 직·간접적으로 접촉에 기초하여, 상기 입력 유닛(168)의 장착이나 탈착에 대응하는 신호를 생성하고, 제어부(110)에 제공한다.

센서 모듈(170)은 휴대 단말(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 휴대 단말(100)에 대한 접근 여부를 검출하는 근접센서, 휴대 단말(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 휴대 단말(100)의 동작(예, 휴대 단말(100)의 회전, 휴대 단말(100)에 가해지는 가속도 또는 진동)을 검출하는 모션 센서(도시되지 아니함), 지구 자기장을 이용해 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor, 도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서모듈(170)의 센서는 휴대 단말(100)의 성능에 따라 추가되거나 삭제될 수 있다.

저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(157), 입/출력 모듈(160), 센서 모듈(170), 터치 스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 휴대 단말(100) 또는 제어부(110)의 제어를 위한 제어 복수의 프로그램 및 복수의 애플리케이션들을 저장할 수 있다.

또한, 상기 저장부(175)는 카메라 모듈(150)을 통해서 촬영되는 정지 이미지 및 동영상을 저장한다. 또한, 촬영된 이미지 및 영상에서 추출된 주변 상황에 대한 정보를 저장한다. 이러한, 주변 상황은 촬영 당시의 주변 상황으로서 촬영된 이미지 또는 영상에 존재하는 객체의 윤곽선 또는 특징점을 추출하여 파악되며, 연주중, 많은 사람이 모여있는 상태, 주변에 소음이 발생되지 않는 풍경, 수업중, 연설중, 비가 내리는 상태 또는 눈이 내리는 상태뿐만 아니라, 조용한 상태에서의 음성(speech in quite), 잡음 상태에서의 음성(speech in noise), 바람이 부는 상황과 같은 실제로 존재하는 다양한 상황이 있다. 또한, 저장부(175)는 상술한 바와 같이, 촬영된 이미지를 통해 주변 상황을 파악하는데 필요한 다양한 알고리즘뿐만 아니라, 각각의 알고리즘에서 필수적으로 요구되며, 이미지 또는 영상으로부터 추출될 수 있는 다양한 정보를 저장하고 있다. 그리고, 저장부(175)는 주변 상황을 파악하기 위한 복수의 객체들에 대한 특징점 및 윤곽선뿐만 아니라, 실제 생활에 존재하는 다양한 사물에 대한 특징점 및 윤곽선을 저장하고 있다.

이러한, 저장부라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 휴대 단말(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD)또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.

또한, 상기 저장부(175)는 네비게이션, 화상 통화, 게임, 사용자에게 시간을 기반으로 하는 알람 애플리케이션 등과 같은 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 이미지들, 사용자 정보, 문서, 터치 입력을 처리하는 방법과 관련된 데이터베이스들 또는 데이터, 상기 휴대 단말(100)을 구동하는데 필요한 배경 이미지들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들, 카메라 모듈(150)에 의해 촬영된 정지 이미지들 및 영상 등을 저장할 수 있다. 상기 저장부(175)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계로 데이터를 제공하는 매체로 정의될 수 있다. 기계로 읽을 수 있는 매체는 저장 매체일 수 있다. 상기 저장부(175)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.

상기 기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플로피 디스크(floppy disk), 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 시디롬(compact disc read-only memory: CD-ROM), 광학 디스크, 펀치 카드(punch card), 페이퍼 테이프(paper tape), 램, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM) 및 플래시-이피롬(FLASH-EPROM) 중의 적어도 하나를 포함한다.

전원 공급부(180)는 제어부(110)의 제어에 따라 휴대 단말(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 휴대 단말(100)에 전원을 공급한다. 또한, 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 휴대 단말(100)로 공급할 수 있다. 또한, 전원 공급부(180)는 무선 충전 기술을 통해 외부의 전원소스로부터 무선으로 입력되는 전원을 휴대 단말(100)로 공급할 수도 있다.

그리고, 휴대 단말(100)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공하는 적어도 하나의 터치 스크린을 포함할 수 있다. 이러한, 각각의 터치 스크린은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 해당 터치 스크린 컨트롤러로 전송할 수 있다. 이와 같이, 휴대 단말(100)은 복수의 터치 스크린을 구비할 수 있는데, 각각의 터치 스크린 별로 터치에 대응되는 아날로그 신호를 수신하는 터치 스크린 컨트롤러가 구비될 수 있다. 이러한, 각각의 터치 스크린은 힌지의 연결을 통한 복수의 하우징에 각각 연결되거나 또는 복수의 터치 스크린들이 힌지 연결 없이 하나의 하우징에 위치할 수 있다. 본 발명에 따른 휴대 단말(100)은 상술한 바와 같이, 적어도 하나의 터치 스크린을 구비할 수 있으며, 이하에서는 설명 편의상 하나의 터치 스크린의 경우에 대해서 설명한다.

이러한, 터치 스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 유닛(예, 스타일러스 펜, 전자펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한, 터치 스크린(190)은 스타일러스 펜 또는 전자펜과 같은 펜을 통해서 입력되면, 이를 인식하는 펜 인식 패널(191)을 포함하며, 이러한 펜 인식 패널(191)은 펜과 터치 스크린(190)간의 거리를 자기장을 통해 파악할 수 있다. 또한, 터치 스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치 스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 전송할 수 있다.

나아가, 본 발명에서 터치는 터치 스크린(190)과 사용자의 신체 또는 터치 가능한 입력 유닛과의 접촉에 한정되지 않고, 비접촉(예: 터치 스크린(190)과 사용자의 신체 또는 터치 가능한 입력 유닛 접촉하지 않고 검출가능한 간격을 포함할 수 있다. 터치 스크린(190)에서 검출가능한 간격은 휴대 단말(100)의 성능 또는 구조에 따라 변경될 수 있으며, 특히 터치 스크린(190)은 사용자의 신체 또는 터치 가능한 입력 유닛과의 접촉에 의한 터치 이벤트와, 비접촉 상태로의 입력(예컨대, 호버링(Hovering)) 이벤트를 구분하여 검출 가능하도록, 상기 터치 이벤트와 호버링 이벤트에 의해 검출되는 값(예컨대, 아날로그 값으로 전압 값 또는 전류 값을 포함)이 다르게 출력될 수 있도록 구성된다. 더 나아가, 터치 스크린(190)은 호버링 이벤트가 발생되는 공간과 터치 스크린(190) 사이의 거리에 따라, 검출되는 값(예컨대, 전류값 등)을 다르게 출력하는 것이 바람직하다.

이러한, 터치 스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.

또한, 터치 스크린(190)은 사용자의 신체 및 터치 가능한 입력 유닛에 의한 입력을 순차적 또는 동시에 입력 받을 수 있도록, 사용자의 신체 및 터치 가능한 입력 유닛의 터치나 근접을 각각 감지할 수 있는 적어도 두 개의 터치스크린 패널을 포함할 수 있다. 상기 적어도 두 개의 터치스크린 패널은 서로 다른 출력 값을 터치 스크린 컨트롤러에 제공하고, 터치 스크린 컨트롤러는 상기 적어도 두 개의 터치스크린 패널에서 입력되는 값을 서로 다르게 인식하여, 터치 스크린(190)으로부터의 입력이 사용자의 신체에 의한 입력인지, 터치 가능한 입력 유닛에 의한 입력인지를 구분할 수 있다.

보다 상세하게, 터치 스크린(190)은 핑거 또는 입력 유닛(168)을 통한 입력을 유도 기전력의 변화를 통해 감지하는 패널과, 터치 스크린(190)에 핑거 또는 입력 유닛(168)을 통한 접촉을 감지하는 패널이 서로 밀착되거나 또는 일부 이격되어 차례로 적층된 구조로 형성될 수 있다. 이러한, 터치 스크린(190)은 다수의 픽셀들을 구비하고, 상기 픽셀들을 통해 영상을 표시한다. 이러한 터치 스크린(190)은 액정 표시 장치(Liquid Crystal Display: LCD), 유기 발광 다이오드(Organic Light Emitting Diodes: OLED 및 LED등을 사용할 수 있다.

더 나아가, 터치 스크린 컨트롤러(195)는 터치 스크린(190)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 호버링 이벤트가 발생되는 공간과 터치 스크린(190) 사이의 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 제어부(110)로 제공할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 휴대 단말의 전면 사시도를 나타낸 도면이고, 도 3은 본 발명의 일 실시 예에 따른 휴대 단말의 후면 사시도를 나타낸 도면이다.

도 2 및 도 3을 참조하면, 휴대 단말(100)의 전면(100a) 중앙에는 터치 스크린(190)이 배치된다. 터치 스크린(190)은 휴대 단말(100)의 전면(100a)의 대부분을 차지하도록 크게 형성될 수 있다. 도 2에서는, 상기 터치 스크린(190)에 메인 홈 화면이 표시된 예를 나타낸다. 메인 홈 화면은 휴대 단말(100)의 전원을 켰을 때 터치 스크린(190) 상에 표시되는 첫 화면이다. 또한, 휴대 단말(100)이 여러 페이지의 서로 다른 홈 화면들을 갖고 있을 경우, 메인 홈 화면은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 애플리케이션들을 실행하기 위한 단축 아이콘들(191-1, 191-2, 191-3), 메인 메뉴 전환키(191-4), 시간, 날씨 등이 표시될 수 있다. 상기 메인 메뉴 전환키(191-4)는 상기 터치 스크린(190) 상에 메뉴 화면을 표시한다. 또한, 상기 터치 스크린(190)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각과 같은 장치(100)의 상태를 표시하는 상태바(Status Bar, 192)가 형성될 수도 있다.

상기 터치 스크린(190)의 하부에는 홈 버튼(161a), 메뉴 버튼(161b), 및 뒤로 가기 버튼(161c)이 형성될 수 있다.

홈 버튼(161a)은 터치 스크린(190)에 메인 홈 화면(main Home screen)을 표시한다. 예를 들어, 터치 스크린(190)에 상기 메인 홈 화면과 다른 홈 화면(any Home screen) 또는 메뉴화면이 표시된 상태에서, 상기 홈 키(161a)가 터치되면, 터치 스크린(190)에 메인 홈 화면이 디스플레이될 수 있다. 또한, 터치 스크린(190) 상에서 애플리케이션들이 실행되는 도중 홈 버튼(191a)이 터치되면, 상기 터치 스크린(190)상에는 도 2에 도시된 메인 홈 화면이 디스플레이될 수 있다. 또한 홈 버튼(161a)은 상기 터치 스크린(190) 상에 최근에(recently) 사용된 애플리케이션들을 디스플레이하도록 하거나, 태스크 매니저(Task Manager)를 디스플레이하기 위하여 사용될 수도 있다.

메뉴 버튼(161b)은 터치 스크린(190) 상에서 사용될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다.

뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 디스플레이하거나, 가장 최근에 사용된 애플리케이션을 종료시킬 수 있다.

휴대 단말(100)의 전면(100a) 가장자리에는 제1 카메라(151)와 조도 센서(170a) 및 근접 센서(170b)가 배치될 수 있다. 휴대 단말(100)의 후면(100c)에는 제2 카메라(152), 플래시(flash, 153), 스피커(163)가 배치될 수 있다.

휴대 단말(100)의 측면(100b)에는 예를 들어 전원/리셋 버튼(160a), 음량 버튼(160b), 방송 수신을 위한 지상파 DMB 안테나(141a), 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다. 상기 DMB 안테나(141a)는 휴대 단말(100)에 고정되거나, 착탈 가능하게 형성될 수도 있다.

또한, 휴대 단말(100)의 하단 측면에는 커넥터(165)가 형성된다. 커넥터(165)에는 다수의 전극들이 형성되어 있으며 외부 장치와 유선으로 연결될 수 있다. 휴대 단말(100)의 상단 측면에는 이어폰 연결잭(167)이 형성될 수 있다. 이어폰 연결잭(167)에는 이어폰이 삽입될 수 있다.

또한, 휴대 단말(100)의 하단 측면에는 입력 유닛(168)이 형성될 수 있다. 입력 유닛(168)은 휴대 단말(100) 내부에 삽입되어 보관될 수 있으며, 사용시에는 상기 휴대 단말(100)로부터 인출 및 탈착될 수 있다.

도 4는 본 발명의 실시 예에 따른 입력 유닛과 터치 스크린의 내부 단면도를 나타낸 도면이다.

도 4에 도시된 바와 같이, 터치 스크린(190)은 표시 패널(440), 제1 터치 패널(450), 제2 터치 패널(460)을 포함한다. 표시 패널(440)은 LCD, AMOLED 등과 같은 패널이 될 수 있으며, 휴대 단말(100)의 각종 동작 상태, 애플리케이션 실행 및 서비스 등에 따른 다양한 영상과, 복수의 객체들을 표시한다.

제1 터치 패널(450)은 정전용량 방식 터치 패널로서, 유리의 양면에 얇은 금속 전도성 물질(예를 들면, ITO(Indium Tin Oxide：산화 인듐주석) 막 등)을 코팅하여 유리표면에 전류가 흐르도록 하고 전하를 저장할 수 있는 유전체로 코팅된 패널이다. 이러한 제1 터치 패널(450)의 표면에 입력 유닛(예를 들면, 사용자의 손가락 또는 펜)이 터치되면 정전기에 의해 일정량의 전하가 터치된 위치로 이동하고, 제1 터치 패널(450)은 전하의 이동에 따른 전류의 변화량을 인식해서 터치된 위치를 감지하게 된다. 제1 터치 패널(450)을 통해서는 정전기를 발생시킬 수 있는 모든 터치의 감지가 가능하며, 입력 유닛인 손가락이나 펜에 의한 터치의 감지가 모두 가능하다.

제2 터치 패널(460)은 EMR(Electronic Magnetic Resonance) 방식 터치 패널로서, 복수의 루프 코일이 미리 정해진 제1 방향 및 제1 방향과 교차하는 제2 방향에 각각 배치되어 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와, 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함한다. 이러한 제2 터치 패널(460)의 루프 코일 근방에 공진회로를 내장하는 입력 유닛(168)이 존재하면, 해당 루프 코일로부터 송신되는 자계가 입력 유닛(168) 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 그리고 전류를 기초로 하여, 입력 유닛(168) 내의 공진 회로를 구성하는 코일(미도시)로부터 유도 자계가 발생하게 되고, 제2 터치 패널(460)은 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 입력 유닛(168)의 호버링(Hovering) 위치, 터치 위치, 그리고 휴대 단말(100)은 표시 패널(100)로부터 입력 유닛(168)의 펜촉(430)까지의 높이(h)를 감지한다. 이러한, 터치 스크린(190)의 표시 패널(440)에서 펜촉(430)까지의 높이(h)는 휴대 단말(100)의 성능 또는 구조에 대응하여 변경될 수 있음은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 수 있다. 제2 터치 패널(460)을 통해서는 전자기 유도에 기초한 전류를 발생시킬 수 있는 입력 유닛이라면 호버링 및 터치의 감지가 가능하며, 상기 제2 터치 패널(460)은 입력 유닛(168)에 의한 호버링 또는 터치 감지 전용으로 이용되는 것으로 설명한다. 그리고, 입력 유닛(168)은 전자기 펜 또는 EMR 펜으로도 지칭될 수 있다. 또한, 입력 유닛(168)은 상기 제1 터치 패널(450)을 통해 감지되는 공진회로가 포함되지 아니한 일반적인 펜과는 상이할 수 있다. 이러한, 입력 유닛(168)은 펜촉(430)에 인접된 영역의 펜대 내부에 배치되는 코일에 의해 발생하는 전자기 유도 값을 변경할 수 있는 버튼(420)을 포함하여 구성될 수 있다. 이러한, 입력 유닛(168)에 대한 보다 상세한 설명은 도 5에서 후술한다.

그리고, 터치 스크린 컨트롤러(195)는 제1 터치 패널 컨트롤러와 제2 터치 패널 컨트롤러를 포함할 수 있다. 상기 제1 터치 패널 컨트롤러는 상기 제1 터치 패널(450)로부터 손 또는 펜 터치 감지에 의해 수신된 아날로그 신호를 디지털 신호(예컨대 X, Y, Z 좌표)로 변환하여 제어부(110)로 전송한다. 그리고 상기 제2 터치 패널 컨트롤러는 제2 터치 패널(460)로부터 입력 유닛(168)의 호버링 또는 터치 감지에 의해 수신된 아날로그 신호를 디지털 신호로 변환하여 제어부(110)로 전송한다. 그리고, 제어부(110)는 상기 제1 및 제2 터치 패널 컨트롤러로부터 각각 수신된 디지털 신호를 이용하여 표시 패널(440), 제1 터치 패널(450), 제2 터치 패널(460)을 제어할 수 있다. 예를 들어, 제어부(110)는 손가락이나 펜, 또는 입력 유닛(168) 등의 호버링 또는 터치에 응답하여 표시 패널(440)에 미리 정해진 형태의 화면을 표시할 수 있다.

따라서 본 발명의 일 실시 예에 따른 휴대 단말(100)에 의하면 상기 제1 터치 패널은 사용자의 손가락이나 펜에 의한 터치를 감지하고, 상기 제2 터치 패널은 상기 입력 유닛(168)에 의한 호버링 또는 터치를 감지할 수 있다. 따라서 상기 휴대 단말(100)의 제어부(110)는 상기 사용자의 손가락이나 펜에 의한 터치와 입력 유닛(168)에 의한 호버링 또는 터치를 구별하여 감지할 수 있다. 그리고, 도 4에서는 단지 하나의 터치 스크린에 대해서만 도시하였으나, 본 발명은 단지 하나의 터치 스크린에 제한되지 않으며, 복수의 터치 스크린을 구비할 수 있다. 그리고, 각각의 터치 스크린은 각각 하우징에 구비되어 힌지에 의해 연결되거나 또는 하나의 하우징이 복수의 터치 스크린이 구비될 수 있다. 그리고, 복수의 터치 스크린 각각은 도 4에 도시된 바와 같이, 표시 패널과 적어도 하나의 터치 패널을 포함하여 구성된다.

도 5는 본 발명의 실시 에에 따른 햅틱 효과를 제공하는 입력 유닛을 나타낸 블럭도이다.

도 5를 참조하면, 본 발명의 실시 예에 따른 입력 유닛(예: 터치용 펜)은 펜대와, 펜대 끝에 배치된 펜촉(430), 펜촉(430)에 인접된 영역의 펜대 내부에 배치되는 코일 (510)에 의해 발생하는 전자기 유도 값을 변경할 수 있는 버튼(420), 호버링 입력 효과 발생시 진동하는 진동 소자(520), 휴대 단말(100)과의 호버링으로 인해 휴대 단말(100)로부터 수신되는 제어 신호를 분석하고, 이에 따른 입력 유닛(168)에 햅틱 효과를 제공하기 위해 진동 소자(520)의 진동 세기, 진동 주기를 제어하는 햅틱 제어부(530), 휴대 단말(100)과 근거리 통신을 수행하는 근거리 통신부(540) 및 입력 유닛(168)의 진동을 위한 전원을 공급하는 배터리(550)를 포함하여 구성될 수 있다. 또한, 상기 입력 유닛(168)은 입력 유닛(168)의 진동 주기 및/또는 진동 세기에 대응하는 소리를 출력하는 스피커(560)를 포함할 수 있다.

보다 상세하게, 상기 스피커(560)는 햅틱 제어부(530)의 제어에 따라 휴대 단말(100)에 구비된 이동통신 모듈(120), 서브통신 모듈(130) 또는 멀티미디어 모듈(140)로부터 다양한 신호(예: 무선신호, 방송신호, 디지털 오디오 파일, 또는 디지털 동영상 파일 등)에 대응되는 사운드를 출력할 수 있다. 또한, 스피커(560)는 휴대 단말(100)이 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있으며, 상기 입력 유닛(168)의 하우징의 적절한 위치에 하나 또는 복수로 형성될 수 있다.

햅틱 제어부(530)는 펜 촉(430)이 터치 스크린(190) 상에 접촉하거나 호버링이 감지될 수 있는 위치(예: 5mm)에 놓이게 되면, 근거리 통신부(540)를 통해 휴대 단말(100)로부터 수신된 적어도 하나의 제어 신호를 분석하고, 분석된 제어 신호에 따라 입력 유닛(168)에 구비된 진동 소자(520)의 진동 주기, 진동 세기 등을 제어한다. 그리고, 제어 신호는 휴대 단말(100)이 보청기로 송신한 제어 신호와 동일하거나 동일하지 않을 수 있는 신호이며, 입력 유닛(168)은 햅틱 제어부(530)의 제어 하에 상기 보청기에서 출력되는 음성과 동일한 음성을 스피커(560)를 통해 출력할 수 있다.

도 6은 본 발명의 실시 예에 따른 휴대 단말을 이용해 보청기의 보청 모드를 제어하는 방법을 나타낸 순서도이고, 도 7은 본 발명의 실시 예에 따른 보청기의 보청 모드를 주변 상황에 맞게 변경하기 위해 주변 상황을 촬영한 예시도이다.

이하, 도 6 및 도 7을 참조하여, 본 발명의 실시 예에 따른 보청기의 보청 모드를 제어하는 방법을 상세히 설명하면 다음과 같다.

보청기의 보청 모드를 주변 상황을 참조하여 변경하고자 하여 휴대 단말에 구비된 카메라 모듈을 이용해 주변을 사진 촬영한다(S610). 상기 주변 상황은 현재 비가오는지 또는 눈이 오는지에 관한 날씨와, 산, 바다 또는 들판과 같은 풍경과, 회의중 또는 연주 중과 같은 어떠한 상황을 포함한다. 또한, 상기 주변 상황은 조용한 상태에서의 음성(speech in quite), 잡음 상태에서의 음성(speech in noise), 바람이 부는 상황과 같은 다양한 상황을 포함한다. 그리고, 보청기의 보청 모드를 변경하기 위해서 보청기 제어 애플리케이션을 미리 실행한다.

이러한 보청기의 보청 모드를 제어하는 애플리케이션은 사진 촬영, 촬영된 사진 분석, 보청기의 볼륨 제어, 사진 분석에 대응하는 임계값 설정, 복수의 보청 모드를 제어하는 애플리케이션이다. 이러한, 애플리케이션은 복수의 애플리케이션을 제공하는 서버에 접속하여 다운받거나 또는 휴대 단말의 환경 설정에서 제공될 수 있다. 그리고, 상기 애플리케이션에 구성되는 적어도 하나의 기능은 주변 상황의 분석에 의해 자동으로 설정되거나 또는 수동으로 설정될 수 있다. 그리고, 보청 모드 역시 촬영된 사진의 주변 상황에 따라 새로 추가되거나 또는 삭제될 수 있다. 이러한, 보청기의 보청 모드는 사용자의 현재 위치에 따른 주변 상황에 대응하는 복수의 모드가 있다. 예를 들어, 도 7a 내지 도 7f에 도시된 바와 같이, 본 발명의 주변 상황으로는 연주중(도 7a), 비 오는 날씨(도 7b), 군중(도 7c), 풍경(도 7d), 회의(도 7d) 및 수업(도 7f)가 있다. 그러나, 이는 단지 실시 예일 뿐, 본 발명은 상술한 주변 상황 이외에도 다양한 주변 상황에 적용됨은 자명하다.

그리고, 주변 상황들 중에서, 도 7d와 같이 주변이 조용한 경우, 보청기에서 출력되는 소리 크기를 작게 함으로써 보청기를 장착한 사용자는 보청기의 적은 출력으로도 주변 소리를 들을 수 있고, 또한, 도 7c와 같이 주변에 많은 사람들로 인해 주변 소리가 시끄러울 때 보청기의 출력을 크게 하여 보청기를 장착한 사용자로 하여금 주변 소리가 안들리는 불편함을 해소할 수 있다.

상기 과정(S610)에서 촬영된 사진을 분석하여 주변 상황을 파악한다(S612). 촬영된 사진은 제어부(110)의 제어에 의해 저장부(175)에 저장된다. 그리고, 제어부(110)는 촬영된 사진을 통해 현재 주변의 상황을 파악한다. 통상적으로 사진은 인물, 산, 악기와 같은 적어도 하나의 객체가 포함되는데, 제어부(110)는 사진에서 색깔, 명암, 특징점 등을 이용하여 이러한 객체를 파악한다. 이와 같이, 객체를 파악하는 알고리즘은 적어도 하나의 객체 인식 알고리즘을 이용해 파악할 수 있다. 상기 객체 인식 알고리즘은 코너 검출(coner detection), 해리스 코너 검출(harris coner detection)을 포함하며 이외에도 특징점을 추출하여 객체를 파악하는 다양한 알고리즘을 포함할 수 있으며, 본 발명에서는 이러한 알고리즘의 적용을 제한하지 않는다. 제어부(110)는 파악된 객체의 형상이 기 저장된 복수의 형상들 중에 존재하는지 체크한다. 본 발명에 따른 저장부(175)는 복수의 객체들의 형상에 관한 정보를 저장하고 있다. 상기 형상에 관한 정보는 객체의 종류에 따라 색깔 등 객체를 판별할 수 있는 다양한 정보를 포함할 뿐만 아니라, 도 7a 내지 7f와 같이 촬영된 사진에서 객체의 윤곽선을 따라 특징점을 형성하여 객체를 판단할 수 있다. 그리고, 제어부(110)는 촬영된 사진에 포함된 객체를 분석하고, 분석 결과와 기 저장된 객체를 비교하여 주변 상황을 분석한다. 그리고, 상기 특징점은 객체의 크기 및 종류를 판별하기 위해 명암 및 색깔 중 적어도 하나를 이용해 객체의 윤곽선을 따라 형성된 점을 말한다. 이러한, 특징점은 객체에 복수 개로 형성되며, 특징점들의 위치를 통해 객체의 윤곽을 판별할 수 있다. 이러한, 특징점은 물체를 표현하는데 있어서, 중복되고 중요하지 않으며 불필요한 점들을 제거함으로써 최소한의 점으로 물체의 특징을 표현할 수 있는 점들이다. 이러한, 특징점의 예는 도 7a 내지 7f에 도시된 바와 같으며, 본 발명은 상술한 사진 속의 객체를 추출하는 알고리즘 외에 다양한 알고리즘을 적용할 수 있다. 이와 같이, 제어부(110)는 적어도 하나의 알고리즘을 통해 촬영된 사진을 통해 현재 주변 상황을 파악할 수 있으며, 파악된 주변 상황을 통해 보청기의 보청 모드를 제어하는 제어 신호를 생성한다. 상기 제어 신호는 절대 신호 레벨 정보(absolute sound level information), 신호 윤곽 정보(signal envelope information), 스펙트럼 컨텐츠 정보(spectral content information), 방향성 마이크 정보(directional MIC information) 중 적어도 하나를 포함한다. 이러한, 제어 신호에 포함된 적어도 하나의 정보는 주변 상황에 대응하여 보청 모드를 변경하기 위한 파라미터들로서 이들 파라미터의 값이 크고 작음에 대응하여 보청 모드를 변경할 수 있다. 이러한 정보는 청취 환경을 적절한 모드로 분류하기 위해 사용된다. 상기 절대 신호 레벨 정보는 기본적으로 바탕에 생성되어 있는 음성의 레벨을 나타내며, 신호 윤곽 정보는 감지된 음성 신호의 윤곽을 나타내는 정보이며, 스펙트럼 컨텐츠 정보는 감지된 신호를 주파수 분석한 정보이며, 방향성 마이크 정보는 감지되는 소리 중에서 특정 사물 또는 사람으로부터 발생된 소리를 감지하기 위해 빔포밍(beamforming)하는 정보를 나타낸다. 본 발명은 상술한 파라미터를 이용해 주변 환경을 파악한다. 그리고, 본 발명에 따른 제어 신호는 각각의 보청 모드에 따라서 조절되는 적어도 하나의 파라미터를 포함한다. 이러한, 파라미터는 피드백 제거(feedback canceller), 잡음 제거(noise reduction), 광범위 압축(wide dynamic range compression, WDRC), 적응적 방향성 마이크(adaptive direction mic)를 포함한다.

상기 피드백 제거는 보청기에서 증폭된 소리로 인해 발생되는 피드백을 제거하는 것이다. 즉, 보청기 사용자가 휴대 전화를 귀에 대거나 벽에 바짝 붙어서 걸어가게 되는 경우, 피드백이 발생된다. 이러한, 보청기에 의해 증폭된 소리는 외이도를 빠져나가 마이크로폰으로 다시 증폭되어 피드백이 발생된다. 이와 같이, 발생된 피드백은 피드백 제거 파라미터를 조절함으로써 조절될 수 있으며, 주변 상황이 연주중인 환경을 제외한 모든 환경에서 설정된다. 그리고, 잡음 제거는 주변 상황에서 발생되는 잡음을 제거하거나 줄이기 위한 파라미터로서, 환경 잡음 추정치를 이용해 자동으로 설정된다. 그러나, 주변 환경이 연주중인 경우는 0dB로 설정하고, 바람인 경우 12dB로 설정한다. 그리고, 광범위 압축은 외부에서 유입되는 작은 소리에 대해서는 많은 이득을 제공하고, 큰 소리에 대해서는 작은 이득을 제공하여 보청기 착용자가 작은 소리에서부터 큰 소리를 모두 청취할 수 있도록 하기 위한 파라미터로서, 연주중인 환경을 제외한 모든 환경에서 다중 대역 레벨 검출(multi-band level detector)로 설정하고, 연주중인 환경은 다중 대역 레벨 검출 + 광 대역 레벨 검출(wide-band level detector)로 설정한다. 적응적 방향성 마이크는 주변 상황에 따른 소리를 감지하는 마이크의 방향을 조절하는 것으로서, 연주중인 환경과 바람 환경을 제외한 모든 환경에 설정된다.

예를 들어, 주변 환경에 대응하는 보청 모드가 무음, 연설, 수업, 잡음, 군중인 경우, 피드백 제거는 보통(normal)으로 설정하고, 잡음 제거는 적응적 잡음 제거 레벨(adaptive noise reduction level)로 설정하고, 광범위 압축은 다중 밴드로 설정하고, 적응적 방향성 마이크는 적응적으로 설정한다. 그리고, 주변 환경에 대응하는 보청 모드가 연주 또는 음악인 경우, 피드백 제거는 느림(slow)으로 설정하고, 잡음 제거는 비활성으로 설정하고, 광범위 압축은 다중 밴드와 광역 밴드를 통합하는 밴드로 설정하고, 적응적 방향성 마이크는 전 방향으로 설정한다. 또한, 주변 환경에 대응하는 보청 모드가 바람이 부는 환경의 풍경인 경우, 피드백 제거는 보통(normal)으로 설정하고, 잡음 제거는 12dB로 설정하고, 광범위 압축은 다중 밴드로 설정하고, 적응적 방향성 마이크는 전 방향으로 설정한다.

그리고, 보청기에서 제공되는 보청 모드 중에서 파악된 주변 상황에 대응하는 보청 모드를 선택한다(S614). 본 발명에 따른 보청기는 주변의 환경에 따라 자동 또는 수동으로 변경될 수 있는 복수의 보청 모드를 제공한다. 또한, 보청기는 휴대 단말과 주기적 또는 비주기적으로 신호를 송수신하며, 이러한 송수신되는 신호에는 보청 모드의 종류에 대한 정보뿐만 아니라, 보청기를 제어하는데 필요한 다양한 정보를 포함한다. 휴대 단말은 보청기와 송수신하는 신호를 통해서 보청기가 제공할 수 있는 보청 모드의 종류와 현재 보청 모드를 알 수 있으며, 이러한 보청 모드의 종류는 저장부(175)에 저장되며 주기적으로 갱신된다. 또한, 상기 보청 모드의 종류는 보청기의 보청 모드를 제어하는 전용 애플리케이션에 디스플레이되며, 사용자에 의해 보청 모드는 변경, 선택, 삭제, 갱신 또는 생성될 수 있다. 본 발명에 따른 보청 모드의 선택은 상기 과정(S610)에서 촬영된 사진을 통해서 선택되거나 또는 상기 촬영된 사진과 휴대 단말의 마이크(162)에서 감지되는 주변 소리를 매칭한 후 선택될 수 있다. 통상적으로 주변 소리는 촬영된 사진의 객체에 의해 발생되는데, 본 발명은 보청 모드를 선택하기 위해서 사진을 촬영하여 분석한 주변 상황과 감지된 주변 소리를 통해 분석한 주변 상황이 일치하는지를 판단한다. 판단 결과, 일치하는 경우, 그 주변 상황에 대응하는 보청 모드를 선택한다. 만일, 일치하지 않는 경우, 다시 주변 사진을 찍거나 주변 소리를 감지하여 일치 여부를 판단할 수 있다. 그리고, 일치된 주변 상황에 대응하는 보청 모드가 해당 애플리케이션에서 제공되지 않는 경우, 일치된 주변 상황에 대응하는 보청 모드를 상기 애플리케이션에 새로이 생성할 수 있다.

선택된 보청 모드로 동작하기 위한 제어 신호를 보청기로 전송한다(S616). 상기 제어 신호는 사진을 촬영하여 보청 모드를 선택하는 경우와 촬영된 사진과 주변 소리의 매칭을 통해 보청 모드를 선택하는 경우가 있다. 즉, 제어 신호는 분석된 주변 상황과 휴대 단말에서 감지되는 주변 소리를 통해 생성되며, 보청기에서 제공되는 보청 모드들 중 주변 상황에 맞는 보청 모드를 선택하기 위한 신호이다. 이러한 제어 신호는 휴대 단말에서 촬영되는 사진을 통해 주변 상황을 분석하여 보청기의 보청 모드를 제어하는 신호와, 휴대 단말에서 촬영되는 사진과 휴대 단말에서 감지되는 주변 소리를 분석하여 보청기의 보청 모드를 제어하는 신호를 포함한다. 휴대 단말은 이러한 제어 신호를 보청기로 전송하여, 보청기의 보청 모드를 제어한다.

도 8은 본 발명의 실시 예에 따른 보청기의 보청 모드를 제어하는 보청기 제어 애플리케이션을 나타낸 예시도이다

도 8을 참조하면, 본 발명에 따른 보청기의 보청 모드를 제어하기 위해서는 저장부(175)에 기 저장되어 있는 보청기 제어 애플리케이션은 실행하여 제어거나 또는 휴대 단말의 환경 설정 메뉴를 통해서 보청기의 보청 모드를 제어할 수 있다. 이러한, 보청기 제어 애플리케이션은 사진을 촬영하는 촬영 메뉴(870), 촬영된 사진을 분석하는 분석 메뉴(880), 보청기의 볼륨을 제어하는 볼륨 메뉴(810), 촬영된 사진의 분석에 설정되는 임계값을 조절하는 임계값 메뉴(820), 주변 상황에 맞는 보청 모드를 선택하는 보청 모드 메뉴(830), 저장(840), 취소(850) 및 설정(860) 중 적어도 하나를 포함할 수 있다. 상기 보청 모드 메뉴(830)는 주변 상황에 따라서 무음 모드(831), 연주 모드(832), 군중 모드(833), 풍경 모드(834), 비 모드(835) 및 수업 모드(836) 중 적어도 하나를 포함할 수 있다. 이러한, 각각의 보청 모드는 보청기에서 소리를 증폭하여 출력되는데 이용될 수 있다.

상기 촬영 메뉴(870)는 사진을 촬영하는 메뉴로서, 선택되면, 카메라 모듈(150)이 활성화되어 사진을 촬영할 수 있는 상태로 된다. 이후, 사진이 촬영되면, 촬영된 사진은 터치 스크린에 디스플레이되고, 분석 메뉴(880)의 선택에 의해 사진의 주변 상황은 분석된다.

그리고, 분석 메뉴(880)는 사진속의 객체를 분석하는 적어도 하나의 알고리즘이 활성화되어 사진속의 적어도 하나의 객체를 분석하는 작업을 수행한다. 그리고, 분석이 완료되면 이를 사용자에게 디스플레이하여 사용자로 하여금 분석 결과가 맞는지 확인한다. 사용자의 확인이 이루어지거나 또는 분석이 완료되면 보청 모드(830) 내에서 분석 결과에 대응하는 해당 모드로 활성화된다. 또는 디스플레이된 결과를 통해서 사용자가 보청 모드를 선택할 수 있다. 도 8에는 연주 모드(832)가 선택된 것을 나타내었다.

그리고, 저장(840)은 촬영된 사진의 분석과 볼륨, 임계값 그리고 보청 모드의 선택 또는 지정이 완료되는 경우 이를 저장하기 위한 것으로서, 저장(840)이 입력되면, 상술한 애플리케이션이 지정 또는 선택된 값들을 포함하는 제어 신호는 제어부(110)의 제어 하에 생성되며, 보청기로 전송된다. 만일, 보다 자세한 보청 모드 또는 분석 결과에 대해서 수정을 하고자 하는 경우 설정(860)을 선택하여 수정을 할 수 있다.

그리고, 보청 모드(830)에서 무음 모드(831)는 보청기의 보청기능을 비활성화하는 것으로서, 무음 모드(831)가 선택되는 경우, 보청기의 보청 기능은 중지된다. 연주 모드(832)는 도 7a와 같이, 현재 주변에 악기를 이용한 연주가 진행중인 상태이기 때문에 보청 모드를 연주 모드로 설정하여 보다 품질 좋은 보청을 하기 위한 것이다. 군중 모드(833)는 도 7c와 같이, 현재 주변에 많은 사람들이 존재하고 있는 진행중인 상태이기 때문에 보청 모드를 대중 모드로 설정하여 보다 품질 좋은 보청을 하기 위한 것이다. 풍경 모드(834)는 도 7d와 같이, 비교적 주변에 소리가 발생되지 않는 상태이기 때문에 보청 모드를 풍경 모드로 설정하여 작은 주변 소리도 민감하게 감지할 수 있다. 그리고, 비 모드(835)는 도 7b와 같이, 현재 비가 내리고 있는 상태이기 때문에 보청 모드를 비 모드로 설정하여 이에 맞는 보청을 한다. 그리고, 회의 모드(미도시) 또는 수업 모드(836)는 도 7e 및 도 7f와 같이, 한 사람이 말하거나 또는 적은 수의 사람이 서로 말을 하고 있는 상태로서 보청 모드를 수업 모드로 설정하여 보다 품질 좋은 보청을 하기 위한 것이다.

도 9는 본 발명의 실시 예에 따른 보청 모드가 제어되는 보청기의 블럭도이다.

도 9에 도시된 바와 같이, 본 발명의 실시 예에 따른 보청기는 사진을 촬영하는 촬영부(910), 주변 소리를 감지하는 마이크(920), 감지되는 아날로그의 주변 소리를 디지탈 신호로 변환하고, 제어된 보청기의 보청 모드에 대응하여 출력되는 디지털 신호를 아날로그 음성 신호로 변환하는 변환부(930), 휴대 단말로부터 제어 신호를 수신하는 무선부(940), 촬영된 사진과 촬영된 사진을 분석한 결과를 저장하는 저장부(960), 선택된 보청 모드에 대응하여 음성 신호를 증폭하는 증폭부(970), 증폭된 음성 신호를 출력하는 출력부(980), 전원을 공급하는 전원부(990) 및 보청기 전반을 제어하고, 촬영된 사진으로부터 주변 상황을 분석하고, 보청기의 보청 모드를 제어하는 제어부(950)를 포함한다.

상기 마이크(920)는 사용자의 귀에 장착된 보청기의 외부에 위치하여 귀 주변의 아날로그 신호를 입력받고 제어부(950)의 제어하에 변환부(930)로 전달한다. 변환부(930)는 아날로그-디지털 변환 모듈과 디지털-아날로그 변환 모듈로 구성되어 있다. 그리고, 변환부(930)는 마이크(920)로부터 전달된 아날로그 신호를 디지털 신호로 변환하여 제어부(950)로 전달한다. 제어부(950)는 변환부(930)로부터 수신된 디지털 신호에 대해 보청기에서 불필요한 잡음 제거, 피드백 제어, 증폭부(970)의 증폭 이득, 비선형 증폭등의 디지털 신호처리를 수행한 후, 처리된 신호를 다시 변환부(930)로 전달한다. 또한, 상기 제어부(950)는 보청기의 보청 모드의 종류를 무선부(940)를 통해 휴대 단말로 전송한다. 그리고, 제어부(950)는 휴대 단말로부터 보청기의 보청 모드를 제어하는 제어 신호가 수신되는 경우, 모드 설정 모듈(851)을 통해 이를 분석하여 보청기의 보청 모드를 변경, 취소, 삭제 등 보청 모드를 제어한다. 이러한, 제어 신호는 보청 모드의 종류뿐만 아니라, 주변 환경의 신호에 따라 주파수별 증폭 이득을 설정할 수 있는 정보도 포함하며, 휴대 단말과 주기적 또는 비주기적으로 교환된다. 또한, 제어부(950)는 촬영부(910)에서 촬영된 사진을 분석하여 현재 주변의 상황을 파악한다. 그리고, 파악된 결과와 보청기의 현재 보청 모드를 비교하여 최적의 보청 모드를 선택한다. 즉, 제어부(950)는 휴대 단말로부터 수신되는 제어 신호를 분석하여 보청 모드를 판단하고, 판단 결과와 촬영된 사진의 분석을 통해서 파악된 주변 상황을 비교한다. 비교 결과, 동일하면, 보청 모드를 제어 신호에 포함된 보청 모드로 변경한다. 만일, 동일하지 않으면, 촬영된 사진을 통해서 파악된 주변 상황에 맞는 보청 모드로 변경하거나 제어 신호에 포함된 보청 모드로 동작할 수 있다. 이러한, 보청기의 제어부(950)는 휴대 단말에서 촬영된 사진을 분석하여 주변 상황을 파악하는 알고리즘과 동일하거나 유사한 방법으로 사진을 분석하여 주변 상황을 파악한다. 보다 상세하게, 보청기의 제어부(950)는 촬영부(910)에서 촬영된 사진에 포함된 적어도 하나의 객체의 특징점을 추출하고, 추출된 특징점에 의해 형성된 윤곽선에 대응하는 객체를 기 저장된 객체와 비교한다. 그리고, 비교 결과를 통해서 주변 상황을 분석한다. 이러한, 특징점은 객체의 크기 및 종류를 판별하기 위해 명암 및 색깔 중 적어도 하나를 이용해 객체의 윤곽선을 따라 형성된다.

그리고, 증폭부(970)는 제어부(950)로부터 수신되는 아날로그 신호에 대하여 제어부에 의해 조절된 이득 값을 적용하고, 변경된 보청 모드에 대응하여 전원부(990)의 전력을 이용하여 신호를 증폭한다.

도 10은 본 발명의 실시 예에 따른 보청기의 보청 모드 제어 방법을 나타낸 순서도이다.

이하, 도 10을 참조하여 본 발명의 실시 예에 따른 보청기의 보청 모드 제어 방법을 상세히 설명하면 다음과 같다.

보청기 제어 신호가 수신되는 경우, 수신된 제어 신호를 분석하여 보청 모드를 추출한다(S1010, S1012). 상기 제어 신호는 휴대 단말이 분석한 주변 상황과 휴대 단말에서 감지되는 주변 소리를 분석하여 현재 주변 상태에 따라 결정되는 보청 모드에 대한 정보를 포함한다. 보청기는 이러한 제어 신호를 수신하여 자신이 제공할 수 있는 보청 모드들 중에서 상기 제어 신호에 포함된 주변 상황에 맞는 보청 모드를 선택 또는 변경한다. 또한, 보청기의 보청 모드는 상기 제어 신호에 의해 새로 추가되거나 또는 삭제될 수 있으며, 보청 모드로는 무음 모드, 연주 모드, 군중 모드, 풍경 모드, 비 모드 및 수업 모드를 포함할 뿐만 아니라, 보청기를 장착한 사용자가 존재할 수 있는 모든 공간의 주변 상황에 대응하는 보청 모드를 포함할 수 있다.

추출된 보청 모드로 보청기의 보청 모드를 동작한다(S1020). 또한, 보청기는 주변 소리에 대응하여 감지되는 소리를 진폭하여 출력한다. 예를 들어, 주변 상황이 조용한 경우는 진폭을 작게하여 출력하고, 주변 상황이 시끄러운 상황이면 진폭을 크게하여 출력한다. 이러한, 진폭 제어는 보청기에서 제어되거나 또는 휴대 단말에서 전송한 제어 신호를 통해서 제어될 수 있다. 통상적으로 휴대 단말과 보청기는 동일한 사람이 들고 있거나 장착하기 때문에 거리가 가깝다. 따라서, 휴대 단말은 주변 상황에 대응하여 감지되는 소리를 진폭하는 값을 보청기로 전송할 수 있다.

만일, 추출된 보청 모드와 사진을 촬영하여 객체를 분석한 결과를 이용하여 보청 모드를 동작하고자 하는 경우, 주변 사진을 촬영하여 주변 상황을 파악한다(S1014, S1016). 본 발명에 따른 보청기는 사진을 촬영하는 촬영부(910)가 구비되어 있다. 이러한, 촬영부는 주변 상황을 촬영하여 제어부(950)로 전달한다. 제어부(950)는 촬영된 사진에 포함된 적어도 하나의 객체의 특징점을 추출하고, 추출된 특징점에 의해 형성된 윤곽선에 대응하는 객체를 파악한다. 그리고, 파악된 객체와 저장부(960)에 기 저장되어 있는 객체를 비교하고, 비교 결과를 통해서 주변 상황을 분석한다. 본 발명은 제어 신호의 보청 모드와 상술한 과정(S1014)에서 사진을 촬영하여 보청 모드를 이용하여 보청기의 보청 모드를 변경 또는 선택할 수 있거나 또는 수신된 제어 신호를 이용해 보청기의 보청 모드를 변경 또는 선택할 수 있다.

그리고, 추출된 보청 모드와 주변 상황을 통해 보청 모드를 결정한다(S1018). 보청기에서 제공되는 보청 모드는 무음 모드, 연주 모드, 군중 모드, 풍경 모드, 비 모드 및 수업 모드 뿐만 아니라, 다양한 환경에 대응하는 모드를 포함할 수 있다. 그리고, 이러한 모드는 휴대 단말의 보청기 제어 애플리케이션에 의해 새로이 추가되거나 삭제될 수 있다. 그리고, 결정된 보청 모드로 동작한다(S1020). 이와 같이, 보청 모드가 결정되면, 결정된 보청 모드에 대응하여 출력 신호의 이득을 제어한다.

도 11은 본 발명의 다른 실시 예에 따른 보청기의 보청 모드 제어 방법을 나타낸 순서도이다.

이하, 도 11을 참조하여 본 발명의 다른 실시 예에 따른 보청기의 보청 모드 제어 방법을 상세히 설명하면 다음과 같다.

보청기의 보청 모드를 주변 상황을 참조하여 설정 또는 변경하고자 하는 경우, 보청기에 구비된 촬영부(910)을 이용해 주변을 사진 촬영한다(S1110, S1112). 상기 주변 상황은 현재 비가 오는지 또는 눈이 오는지에 관한 날씨와, 산, 바다 또는 들판과 같은 풍경과, 회의 중 또는 연주 중과 같은 어떠한 상황을 포함한다. 그리고, 주변 상황은 촬영 당시의 주변 상황으로서 촬영된 이미지 또는 영상에 존재하는 객체의 윤곽선 또는 특징점을 추출하여 파악되며, 연주중, 많은 사람이 모여있는 상태, 주변에 소음이 발생되지 않는 풍경, 수업중, 연설중, 비가 내리는 상태 또는 눈이 내리는 상태뿐만 아니라, 실제로 존재하는 다양한 상황을 포함한다.

상기 과정(S1112)에서 촬영된 사진을 분석한다(S1114). 이러한 주변 상황에 적응적으로 대응하여 보청 모드를 변경하기 위해, 제어부(950)는 촬영된 사진에 포함된 적어도 하나의 객체의 특징점을 추출하고, 추출된 특징점에 의해 형성된 윤곽선에 대응하는 객체를 파악한다. 그리고, 파악된 객체와 저장부(960)에 기 저장되어 있는 객체를 비교하고, 비교 결과를 통해서 주변 상황을 분석한다. 즉, 제어부(950)는 촬영된 사진에서 적어도 하나의 객체 인식 알고리즘을 이용해 촬영된 사진 또는 영상 속의 객체를 파악하여 사진 촬영 시 주변 상황을 파악한다. 이러한, 객체 인식 알고리즘(예: 코너 검출(coner detection), 해리스 코너 검출(예: Harris coner detection) 등등)은 사진 속의 객체들을 추출하는 것으로서, 저장부(960)에 기 저장되어 있다. 또한, 상기 저장부(960)는 촬영된 이미지를 통해 주변 상황을 파악하는데 필요한 다양한 알고리즘뿐만 아니라, 각각의 알고리즘에서 필수적으로 요구되며, 이미지 또는 영상으로부터 추출될 수 있는 다양한 정보를 저장하고 있다. 그리고, 저장부(960)는 주변 상황을 파악하기 위한 복수의 객체들에 대한 특징점 및 윤곽선뿐만 아니라, 실제 생활에 존재하는 다양한 사물에 대한 특징점 및 윤곽선을 저장하고 있다. 그리고, 제어부(950)는 촬영된 사진 속의 색깔 차이, 명암 차이 또는 특징점을 추출하여 객체를 파악할 수 있다. 이러한, 특징점은 물체를 표현하는데 있어서, 중복되고 중요하지 않으며 불필요한 점들을 제거함으로써 최소한의 점으로 물체의 특징을 표현할 수 있는 점들이다.

그리고, 상기 과정(S1114)에서 분석된 결과에 대응하는 보청 모드를 설정하거나 또는 변경한다(S1116). 본 발명에 따른 보청기에서 제공되는 보청 모드는 무음 모드, 연주 모드, 군중 모드, 풍경 모드, 비 모드 및 수업 모드뿐만 아니라, 다양한 환경에 대응하는 모드를 포함한다. 그리고, 이러한 모드는 제어부(950)의 제어 하에 변경 또는 설정되거나 새로이 추가되거나 삭제될 수 있다.

그리고, 상기 과정(S116)에서 설정 또는 변경된 보청 모드로 보청기를 동작한다(S1118). 이와 같이, 보청 모드가 결정되면, 결정된 보청 모드에 대응하여 출력 신호의 이득을 제어한다.

본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한, 상기 이동 단말은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 이동 단말이 기설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 이동 단말과의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 이동 단말의 요청 또는 자동으로 해당 프로그램을 상기 호스트 장치로 전송하는 제어부를 포함할 수 있다.

한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

110: 제어부 120: 이동통신 모듈
130: 서브 통신 모듈 140: 멀티미디어 모듈
150: 카메라 모듈 160: 입/출력 모듈
168: 입력 수단 170: 센서 모듈
180: 전원 공급부 190: 터치 스크린

Claims

휴대 단말을 이용한 보청기 제어 방법에 있어서,
사진을 촬영하는 과정과,
상기 촬영된 사진에 기반하여 주변 상황의 분석에 따라 상기 보청기의 보청 모드를 제어하기 위한 제어 신호를 생성하는 과정과,
상기 생성된 제어 신호를 상기 보청기로 전송하는 과정을 포함하는 것을 특징으로 하는 보청기 제어 방법.
제1 항에 있어서,
상기 제어 신호는 상기 주변 상황과 상기 휴대 단말에서 감지되는 주변 소리의 분석을 통해 생성되며, 상기 보청기에서 제공되는 보청 모드들 중 상기 주변 상황에 맞는 보청 모드를 선택하기 위한 신호임을 특징으로 하는 보청기 제어 방법.
제1 항에 있어서,
상기 보청 모드의 변경을 제어하기 위한 애플리케이션을 실행하는 과정을 더 포함하되,
상기 애플리케이션은 사진을 촬영하는 촬영 메뉴, 상기 촬영된 사진을 분석하는 분석 메뉴, 상기 보청기의 볼륨을 제어하는 볼륨 메뉴, 상기 촬영된 사진의 분석에 설정되는 임계값을 조절하는 임계값 메뉴 및 상기 주변 상황에 맞는 보청 모드를 선택하는 보청 모드 메뉴 중 적어도 하나를 포함하는 것을 특징으로 하는 보청기 제어 방법.
제3 항에 있어서,
상기 애플리케이션의 적어도 하나의 메뉴는 상기 주변 상황의 분석에 의해 자동으로 설정되거나 또는 수동으로 설정되는 것을 특징으로 하는 보청기 제어 방법.
제3 항에 있어서,
상기 보청 모드는 상기 촬영된 사진의 주변 상황에 따라 새로 추가되거나 또는 삭제되는 것을 특징으로 하는 보청기 제어 방법.
제1 항에 있어서,
상기 제어 신호를 생성하는 과정은,
상기 촬영된 사진에 포함된 적어도 하나의 객체의 특징점을 추출하는 과정과,
상기 추출된 특징점에 의해 형성된 윤곽선에 대응하는 객체를 기 저장된 객체와 비교하는 과정과,
상기 비교 결과를 통해서 상기 주변 상황을 분석하는 과정을 포함하는 것을 특징으로 하는 보청기 제어 방법.
제6 항에 있어서,
상기 특징점은 상기 객체의 크기 및 종류를 판별하기 위해 명암 및 색깔 중 적어도 하나를 이용해 상기 객체의 윤곽선을 따라 형성되는 것을 특징으로 하는 보청기 제어 방법.
제6 항에 있어서,
상기 분석된 주변 상황과 상기 휴대 단말에서 감지되는 주변 소리가 매칭되는지 판별하는 과정을 더 포함하는 것을 특징으로 하는 보청기 제어 방법.
제1 항에 있어서,
상기 보청 모드는 무음 모드, 연주 모드, 군중 모드, 풍경 모드, 비 모드 및 수업 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 보청기 제어 방법.
제2 항에 있어서,
상기 제어 신호는 절대 신호 레벨 정보(absolute sound level information), 신호 윤곽 정보(signal envelope information), 스펙트럼 컨텐츠 정보(spectral content information), 방향성 마이크 정보(directional MIC information) 중 적어도 하나를 포함하는 것을 특징으로 하는 보청기 제어 방법.
보청기를 제어하는 휴대 단말에 있어서,
사진을 촬영하는 카메라 모듈과,
상기 촬영된 사진에 기반하여 주변 상황을 분석하고, 상기 분석에 따라 상기 보청기의 보청 모드를 제어하기 위한 제어 신호의 생성을 제어하는 제어부와,
상기 생성된 제어 신호를 상기 보청기로 전송하는 송수신부를 포함하는 것을 특징으로 하는 휴대 단말.
삭제
제11 항에 있어서,
상기 제어부는 상기 촬영된 사진에 포함된 적어도 하나의 객체의 특징점을 추출하고, 상기 추출된 특징점에 의해 형성된 윤곽선에 대응하는 객체를 기 저장된 객체와 비교하여 상기 주변 상황을 분석하는 것을 특징으로 하는 휴대 단말.
제13 항에 있어서,
상기 제어부는 상기 분석된 주변 상황과 상기 휴대 단말에서 감지되는 주변 소리가 매칭되는지 판별하는 것을 특징으로 하는 휴대 단말.
제11 항에 있어서,
상기 휴대 단말의 주변소리를 감지하는 마이크를 더 포함하며,
상기 제어 신호는 상기 주변 상황과 상기 감지된 주변 소리의 분석을 통해 생성되며, 상기 보청기에서 제공되는 보청 모드들 중 상기 주변 상황에 맞는 보청 모드를 선택하기 위한 신호임을 특징으로 하는 휴대 단말.
제15 항에 있어서,
상기 제어부는 상기 감지된 주변 소리에 의해 결정되는 보청 모드에 상기 분석된 주변 상황이 매칭되는지 분석하고, 매칭되지 않는 경우 상기 보청 모드를 상기 분석된 주변 상황에 대응하는 보청 모드로 변경하는 것을 특징으로 하는 휴대 단말.
보청기의 보청 모드 변경 방법에 있어서,
상기 보청기에서 제공되는 적어도 하나의 보청 모드에 대한 정보를 휴대 단말로 송신하는 과정과,
상기 보청기의 보청 모드를 다른 보청 모드로 변경하는 제어 신호를 상기 휴대 단말로부터 수신하는 과정과,
상기 수신된 제어 신호를 분석하여 보청 모드를 식별하는 과정과,
상기 보청기의 보청 모드를 상기 식별된 보청 모드로 변경하는 과정을 포함하며,
상기 제어 신호는 상기 휴대 단말에 의해 촬영된 사진을 통해 분석된 주변 상황에 기반함을 특징으로 하는 보청 모드 변경 방법.
제17 항에 있어서,
사진을 촬영하는 과정과,
상기 촬영된 사진을 통해 주변 상황을 분석하는 과정과,
상기 분석된 주변 상황이 상기 식별된 보청 모드에 매칭되는지 판단하는 과정과,
매칭되지 않는 경우, 상기 보청기의 보청 모드를 상기 주변 상황에 맞는 보청 모드로 변경하는 과정을 더 포함하는 것을 특징으로 하는 보청 모드 변경 방법.
삭제
제17 항에 있어서,
상기 제어 신호는 상기 주변 상황과 상기 휴대 단말에서 감지되는 주변 소리의 분석에 기반하여 상기 보청기에서 제공되는 보청 모드들 중에서 상기 주변 상황에 맞는 보청 모드를 선택하는 신호임을 특징으로 하는 보청 모드 변경 방법.
보청기에 있어서,
보청기에서 제공되는 적어도 하나의 보청 모드에 대한 정보를 휴대 단말로 송신하고, 상기 휴대 단말로부터 상기 보청기의 보청 모드를 다른 보청 모드로 변경하는 제어 신호를 수신하는 무선부와,
상기 수신된 제어 신호를 분석하여 보청 모드를 식별하고, 상기 보청기의 보청 모드를 상기 식별된 보청 모드로 변경하는 제어부를 포함하며,
상기 제어 신호는 상기 휴대 단말에 의해 촬영된 사진을 통해 분석된 주변 상황에 기반함을 특징으로 하는 보청기.
삭제
제21 항에 있어서,
사진을 촬영하는 촬영부를 더 포함하며,
상기 제어부는,
상기 촬영된 사진을 통해 주변 상황을 분석하고, 상기 분석된 주변 상황이 상기 식별된 보청 모드에 매칭되는지 판단하고, 매칭되지 않는 경우, 상기 보청기의 보청 모드를 상기 분석된 주변 상황에 맞는 보청 모드로 변경하는 것을 특징으로 하는 보청기.
삭제
제21 항에 있어서,
상기 제어 신호는 상기 주변 상황과 상기 휴대 단말에서 감지되는 주변 소리의 분석을 통해 생성되며, 상기 보청기에서 제공되는 보청 모드들 중에서 상기 주변 상황에 맞는 보청 모드를 선택하는 신호임을 특징으로 하는 보청기.
보청기의 보청 모드 변경 방법에 있어서,
사진을 촬영하는 과정과,
상기 촬영된 사진을 통해 주변 상황을 분석하는 과정과,
상기 분석 결과에 대응하여 보청 모드를 제어하고, 상기 제어된 보청 모드로 소리를 출력하는 과정을 포함하는 것을 특징으로 하는 보청 모드 변경 방법.
제26 항에 있어서,
상기 분석 과정은,
상기 촬영된 사진에 포함된 적어도 하나의 객체의 특징점을 추출하는 과정과,
상기 추출된 특징점과 기 저장된 객체와 비교하는 과정과,
상기 비교 결과를 통해서 주변 상황을 분석하는 과정을 더 포함하는 것을 특징으로 하는 보청 모드 변경 방법.
제27 항에 있어서,
상기 특징점은 상기 객체의 크기 및 종류를 판별하기 위해 명암 및 색깔 중 적어도 하나를 이용해 상기 객체의 윤곽선을 따라 형성되는 것을 특징으로 하는 보청 모드 변경 방법.
제27 항에 있어서,
상기 분석된 주변 상황과 상기 보청기에서 감지되는 주변 소리가 매칭되는지 판별하는 과정을 더 포함하는 것을 특징으로 하는 보청 모드 변경 방법.
제26 항에 있어서,
상기 보청 모드는 무음 모드, 연주 모드, 군중 모드, 풍경 모드, 비 모드 및 수업 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 보청 모드 변경 방법.
제30 항에 있어서,
상기 보청 모드는 상기 촬영된 사진을 통해서 절대 신호 레벨 정보, 신호 윤곽 정보, 스펙트럼 컨텐츠 정보, 방향성 마이크 정보 중 적어도 하나에 의해 결정되는 것을 특징으로 하는 보청 모드 변경 방법.
보청기에 있어서,
사진을 촬영하는 촬영부와,
상기 촬영된 사진을 통해 주변 상황을 분석하여 상기 보청기의 보청 모드를 제어하는 제어부와,
상기 제어된 보청 모드로 소리를 출력하는 출력부를 포함하는 것을 특징으로 하는 보청기.
제32 항에 있어서,
상기 제어부는 상기 촬영된 사진에 포함된 적어도 하나의 객체의 특징점을 추출하고, 상기 추출된 특징점과 기 저장된 객체와 비교하는 것을 특징으로 하는 보청기.
제33 항에 있어서,
상기 제어부는 상기 분석된 주변 상황과 상기 보청기에서 감지되는 주변 소리가 매칭되는지 판별하는 것을 특징으로 하는 보청기.