KR101995799B1

KR101995799B1 - 상황 인지 서비스를 제공하기 위한 장소 인식 장치 및 방법

Info

Publication number: KR101995799B1
Application number: KR1020120142355A
Authority: KR
Inventors: 강우성; 이범진; 이충연; 장병탁; 하정우
Original assignee: 삼성전자주식회사; 서울대학교산학협력단
Priority date: 2012-12-07
Filing date: 2012-12-07
Publication date: 2019-07-03
Also published as: KR20140074129A

Abstract

본 발명은 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스(context awareness service)를 제공하기 위한 방법을 제공한다. 이를 위해 본 발명은 입력 영상 또는 입력 사운드로부터 특징점들을 추출하고, 그 특징점들을 학습 분류기에 적용하여 그 입력 영상 또는 입력 사운드가 특정 장소를 나타내는 것인지의 여부를 검출하는 과정으로 이루어진다. 만일 입력 영상 또는 입력 사운드가 특정 장소를 촬영한 영상이거나 특정 장소에서 발생되는 사운드에 해당할 경우, 그 특정 장소에 대응하여 모바일 장치의 미리 정해진 기능을 제어함을 특징으로 한다. 이렇게 함으로써, 모바일 장치가 위치한 장소의 특성에 맞는 서비스를 제공하거나 기능을 설정할 수 있어, 다양한 상황 인지 서비스의 제공이 가능한 이점이 있다.

Description

상황 인지 서비스를 제공하기 위한 장소 인식 장치 및 방법{PLACE RECOGNIZING DEVICE AND METHOD FOR PROVIDING CONTEXT AWARENESS SERVICE}

본 발명은 장소 인식 장치 및 방법에 관한 것으로, 특히 사용자가 위치한 장소의 특성에 맞는 상황 인지 서비스(context awareness service)를 제공하기 위한 장소 인식 장치 및 방법을 제공한다.

최근 들어, 통신 기술의 급속한 발전으로 인해 모바일 장치에서의 기능이 점차 확대되고 있으며, 이에 맞추어 보다 다양한 사용자인터페이스(User Interface: UI) 및 그를 이용한 다양한 기능들이 제공되고 있다. 이러한 모바일 장치의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 모바일 장치에서 실행 가능한 다양한 어플리케이션들이 개발되고 있다.

예를 들면, 사용자가 자신의 현 위치에서 부가 정보를 알고 싶을 때, 소지하고 있는 모바일 장치를 이용하여 자신의 위치에 대한 정보 즉, 모바일 장치의 현 위치 정보를 요구했을 경우, 그 위치 정보를 기반으로 한 부가 정보를 제공해주는 서비스가 소개되고 있다. 이를 위해 모바일 장치는 내부에 장착된 GPS 모듈로부터 물리적인 위치 정보를 획득하여 그 위치 정보를 기반으로 일정 범위 내에서 연결 가능한 서비스를 사용자에게 알리거나 보여줌으로써 지능형 서비스가 가능하게 된다.

하지만 이러한 GPS 정보를 기반으로 한 서비스 제공 방식은 위도, 경도와 같은 좌표값을 나타낼 뿐, 사용자가 위치한 장소의 특성을 나타내는 것이 아니다. 이에 따라 종래에는 실제 좌표값과 장소 특성이 매핑되어 있지 않는 한 그 장소에 대응하여 최적의 서비스를 제공하는 데에는 한계가 있는 실정이다. 게다가 실내의 경우 GPS 정보가 수신되지 않거나 수신률이 너무 낮아 위치를 파악할 수 없는 경우에는 위치 기반 서비스를 활용할 수 없게 된다.

만일 GPS 정보 이외에 위치를 추정할 수 있는 정보들을 이용하여 장소 특성을 파악할 수 있다면, 그 장소 특성에 맞는 다양한 상황 인지 서비스의 제공이 가능할 것이다.

따라서 본 발명은 사용자가 위치한 장소의 특성에 맞는 상황 인지 서비스(context awareness service)를 제공하기 위한 장소 인식 장치 및 방법을 제공한다.

또한 본 발명은 영상, 사운드, 모션 데이터 등의 멀티모달 데이터를 기반으로 모바일 장치에서 제공하는 다양한 기능들을 장소 특성에 대응하여 제공할 수 있도록 하는 장소 인식 장치 및 방법을 제공한다.

상기한 바를 달성하기 위한 본 발명은, 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법에 있어서, 주변을 촬영한 복수의 영상들 및 마이크를 통해 획득한 사운드로부터 각각의 특징점들을 추출하여 둘 이상의 클래스로 분류하는 과정과, 상기 각 클래스에 속하는 영상 특징점들 및 사운드 특징점들을 이용하여 상기 클래스별로 분류기를 학습하는 과정과, 장소 검출을 위한 영상 및/또는 사운드가 입력되면 상기 입력 영상 및/또는 상기 입력 사운드의 특징점들을 상기 분류기에 적용하는 과정과, 상기 둘 이상의 클래스들 중 상기 입력 영상 및/또는 상기 입력 사운드의 특징점들이 속한 클래스에 대응하는 장소를 인식하는 과정을 포함함을 특징으로 한다.

또한 본 발명은, 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 상기 모바일 장치에 있어서, 주변을 촬영한 복수의 영상들 및 마이크를 통해 획득한 사운드로부터 각각의 특징점들을 추출하는 데이터 통합 모듈과, 상기 데이터 통합 모듈로부터 전달된 특징점들을 둘 이상의 클래스로 분류한 후, 상기 각 클래스에 속하는 영상 특징점들 및 사운드 특징점들을 이용하여 상기 각 클래스별로 학습하는 학습 분류기와, 장소 검출을 위한 영상 및/또는 사운드가 입력되면 상기 데이터 통합 모듈을 통해 추출된 상기 입력 영상 및/또는 상기 입력 사운드의 특징점들을 상기 학습 분류기에 적용하고, 상기 둘 이상의 클래스들 중 상기 입력 영상 및/또는 상기 입력 사운드의 특징점들이 속한 클래스에 대응하는 장소를 인식하는 장소 추론 모듈을 포함함을 특징으로 한다.

본 발명에 따르면, 멀티모달 데이터를 기반으로 현재 모바일 장치가 위치한 장소가 사무실, 식당, 야외, 회의실 등의 특성으로 분류됨에 따라 모바일 장치의 설정 파라미터를 변경함으로써 그 장소 특성에 맞는 다양한 상황 인지 서비스를 제공하는 것이 가능한 이점이 있다.

또한 본 발명은 영상뿐만 아니라 사운드, 모션 등의 다양한 데이터를 기반으로 장소를 예측하므로, 신뢰성 있는 장소 예측 결과를 얻을 수 있을 뿐만 아니라 보다 정확한 상황 인지 서비스를 효과적으로 제시할 수 있다.

또한 본 발명은 실내 또는 실외 등의 GPS 정보의 수신 여부와 상관없이 장소 특성을 예측할 수 있어, 언제든지 원활하게 장소 특성에 기반한 상황 인지 서비스를 제공할 수 있는 효과가 있다.

도 1은 본 발명이 적용되는 모바일 장치의 내부블록 구성도,
도 2는 본 발명의 실시예에 따른 멀티모달 데이터 기반의 상황 인지 서비스를 제공하기 위한 모바일 장치의 상세 구성도,
도 3은 본 발명의 실시예에 따른 영상으로부터 장소 특성 검출을 위한 구성부들을 개략적으로 보인 도면,
도 4는 본 발명의 실시예에 따른 장소 특성 검출을 위한 영상 처리 방법을 설명하기 위한 일 예시도,
도 5는 본 발명의 실시예에 따른 사운드로부터 장소 특성 검출을 위한 구성부들을 개략적으로 보인 도면,
도 6은 본 발명의 실시예에 따른 각 분류기들을 이용한 학습 과정을 설명하는 도면,
도 7은 본 발명의 실시예에 따른 장소를 인식하기 위한 학습 과정을 설명하는 흐름도,
도 8은 본 발명의 실시예에 따른 모바일 장치에서 장소 인식에 따른 제어 방법을 도시한 흐름도,
도 9는 본 발명의 실시예에 따라 사용자가 모바일 장치를 손에 쥐고 있는 상태에서 장소의 특성에 따라 촬영되는 전후면 영상을 예시한 도면..

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

이하에서 설명되는 실시예들은 휴대용(hand-held) 모바일 장치를 예로 들어 설명되나, 본 발명에 따른 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법은 휴대폰, 스마트폰, 태블릿 PC 등과 같은 모바일 장치 뿐만 아니라, 네비게이션 장치, 텔레비전(TV), 은행의 ATM, 상점의 POS 장치 등 터치스크린을 구비한 다양한 전자 장치들에 적용될 수 있다.

이하, 본 발명의 실시예에 따른 모바일 장치의 구성 및 그 동작 제어 방법에 대해 도 1을 참조하여 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 모바일 장치를 나타내는 개략적인 블록도이다.

도 1을 참조하면, 장치(100)는 서브통신 모듈(130), 커넥터(165), 및 이어폰 연결잭(167)과 같은 외부 장치 연결부를 이용하여 외부 장치(도시되지 아니함)와 연결될 수 있다. “외부 장치”는 상기 장치(100)에 탈착되어 유선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들/도크(Cradle/Dock), DMB 안테나, 모바일 결제 관련 장치, 건강 관리 장치(혈당계 등), 게임기, 자동차 내비게이션 장치 등 다양한 장치들을 포함할 수 있다. 또한 상기 "외부 장치"는 근거리 통신에 의하여 무선으로 상기 장치(100)에 연결될 수 있는 블루투스 통신 장치, NFC(Near Field Communication) 장치와 같은 근거리 통신 장치, 및 WiFi Direct 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 또한, 상기 외부 장치는 다른 장치, 휴대폰, 스마트폰, 태블릿PC, 데스크탑 PC, 및 서버를 포함할 수 있다.

도 1을 참조하면, 장치(100)는 터치스크린(190) 및 터치스크린 컨트롤러(195)를 포함한다. 또한, 장치(100)는 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원공급부(180)를 포함한다. 서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함한다. 본 발명에서는 표시부 및 디스플레이 컨트롤러의 일 예로, 각각 터치스크린(190) 및 터치스크린 컨트롤러(195)인 경우를 예로 들어 설명한다.

제어부(110)는 CPU(111), 장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.

제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(180), 터치스크린(190), 및 터치스크린 컨트롤러(195)를 제어할 수 있다. 제어부(110)는 상기 장치(100)의 전반적인 동작을 제어하며, 특히 초기에는 분류기를 학습하기 위해 다양한 장소에서 촬영한 영상 및 사운드를 수집하여 저장부(175) 내에 학습 데이터베이스를 구축하도록 학습을 반복한다. 이후, 제어부(110)는 장소 검출을 위한 입력 영상 또는 입력 사운드가 입력되면, 그 입력 영상 또는 입력 사운드로부터 특징점들을 추출하고, 그 특징점들을 학습 분류기에 적용하여 그 입력 영상 또는 입력 사운드가 특정 장소를 나타내는 것인지의 여부를 검출하는 일련의 동작을 제어한다.

본 발명의 실시예에 따라 장소 특성에 따른 상황 인지서비스를 제공하기 위한 방법을 하나의 단일 칩으로 구현될 수 있으며, 이러한 경우 도 2에 도시된 바와 같이 제어부(110) 내에 구현될 수 있다. 다르게는 별도의 영상 처리 모듈 및 음성 처리 모듈을 추가하여 각각의 모듈 내에 구현될 수도 있다. 도 2는 멀티모달 데이터 기반의 상황 인지 서비스를 제공하기 위한 칩 내부의 구성을 블록 구성도로 예시하고 있다.

도 2를 참조하면, 제어부(110)는 장소를 구분하기 위해 사용될 데이터를 획득하여 이를 가공하여 통합 관리하여 그 데이터로부터 특징점들을 추출하는 데이터 통합 관리부(101), 이러한 데이터로부터 장소를 구분하기 위해 각 학습기를 포함하는 학습 분류기(107) 및 그 데이터에 해당하는 장소를 추론하는 장소 추론 모듈(108)을 포함할 수 있다.

여기서, 데이터 통합 관리부(101)에서는 입력 영상에서 특징점들을 추출하기 위해 SIFT(scale invariant feature transforms), SURF(Speeded Up Robust Feature) 중 어느 하나를 사용할 수 있다. 또한 학습 분류기(107)는 복수개의 학습 모델 알고리즘을 기반으로 동작하며, 예를 들어 SVM(support vector machine), MLP(Multi Layer Perceptron) 및 의사결정트리(Decision Tree) 중 어느 하나의 알고리즘을 사용한다.

또한, 장소 추론 모듈(108)은 장소 검출을 위한 영상 및/또는 사운드가 입력되면 상기 데이터 통합 모듈을 통해 추출된 상기 입력 영상 및/또는 상기 입력 사운드의 특징점들을 상기 각 클래스에 해당하는 분류기에 적용하여 장소를 인식하는 역할을 한다.

여기서, 학습 분류기(107) 및 장소 추론 모듈(108)은 모바일 장치가 위치한 장소가 판정되면 그 장소에 대응하여 미리 정해진 상황 인지 서비스를 제공하는 상황 인지 엔진(109)에 포함될 수 있다. 본 발명에서 장소 구분을 위해 사용되는 데이터에는 카메라 모듈(150)로부터 입력되는 영상(102), 마이크(162)로부터 입력되는 사운드(104), 센서모듈(170)로부터 입력되는 모션 데이터(105), GPS 모듈(155) 또는 서브 통신 모듈(130)로부터 입력되는 위치정보 등이 포함될 수 있다. 이외에도 어플리케이션 실행 정보(106) 등을 이용한다면 장소뿐만 아니라 현재 시간 및 태스크를 기반으로 모바일 장치의 사용 패턴을 예측할 수 있어, 모바일 장치(100)는 장소, 현재 시간, 태스크를 기반으로 한 상황 인지 서비스를 제공할 수 있다.

예를 들어, 모바일 장치의 동작 설정을 장소 특성에 따라 변경하는 벨소리/디스플레이 자동 설정 방법을 예로 들 수 있다. 또한, 장소 특성 이외에 현재 시간, 태스트를 기반으로 한다면 스케쥴 관리 알람, 관련 어플리케이션 자동 실행 등 다양한 상황 인지 서비스의 제공이 가능하며, 본 발명에서는 일부 기능의 자동화에 국한하지 않는다.

이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 장치(100)가 외부 장치와 연결되도록 한다. 이동통신 모듈(120)은 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.

서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다. 본 발명의 실시예에 따르면 서브통신 모듈(130)을 이용하여 IP 주소 등을 통해 모바일 장치(100)의 위치 정보를 획득할 수 있다.

무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 장치(100)와 화상형성장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.

장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.

멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 또는 동영상재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.

멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(110)에 포함될 수 있다.

카메라 모듈(150)은 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))을 포함할 수 있다. 제1 카메라(151)는 상기 장치(100) 전면에 배치되고, 제2 카메라(152)는 상기 장치(100)의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라(151)와 제2 카메라(152)는 인접(예, 제1 카메라(151)와 제2 카메라(152)의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다. 본 발명의 실시예에 따른 카메라 모듈(150)은 잠금 상태에서 해제될 때 구동되며, 백그라운드 상태로 전후면의 영상을 촬영한다. 이에 따라 식당, 사무실, 복도, 야외 등 다양한 장소에 대한 영상 획득이 가능하다.

GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 장치(100)까지 전파도달시간(Time of Arrival)을 이용하여 장치(100)의 위치를 산출할 수 있다. GPS 모듈(155)을 통한 GPS 정보는 주기적으로 또는 카메라 모듈(150)이 구동되어 영상이 촬영될 때 획득될 수 있다.

입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함할 수 있다.

버튼(161)은 상기 장치(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.

마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다. 본 발명의 실시예에 따른 마이크(162)는 잠금 상태에서는 미리 정해진 주기로 구동되며, 일정 시간 동안 외부로부터의 사운드를 획득하는 역할을 한다.

스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 장치(100) 외부로 출력할 수 있다. 스피커(163)는 장치(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 장치(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.

진동모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 장치(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치스크린(190) 상을 터치하는 사용자의 터치 동작 및 터치스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.

커넥터(165)는 상기 장치(100)와 외부 장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 상기 장치(100)는 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 장치(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)로부터 데이터를 수신할 수 있다. 또한 상기 장치(100)는 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)로부터 전원을 입력받거나, 상기 전원소스를 이용하여 배터리(도시되지 아니함)를 충전할 수 있다.

키패드(166)는 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.

이어폰 연결잭(Earphone Connecting Jack, 167)에는 이어폰(도시되지 아니함)이 삽입되어 상기 장치(100)에 연결될 수 있다.

센서 모듈(170)은 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 장치(100)에 대한 접근여부를 검출하는 근접센서, 장치(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 장치(100)의 동작(예, 장치(100)의 회전, 장치(100)에 가해지는 가속도 또는 진동)을 검출하는 모션센서(도시되지 아니함), 지구 자기장을 이용해 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor, 도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서모듈(170)의 센서는 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다. 본 발명의 실시예에 따라 모션센서를 통해 획득된 모션 데이터를 이용한다면 보행 중인지 정지 상태인지를 판단할 수 있다. 이러한 모션센서의 구동 시점은 마이크(162)와 동일하다.

저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.

“저장부”라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다. 이러한 저장부(175)는 주변을 촬영한 복수의 영상들 및 마이크를 통해 획득한 사운드로부터 각각의 특징점들을 추출하여 그 특징점들을 학습 분류기에 적용한 학습 데이터를 저장한다. 또한 저장부(175)는 장소 검출을 위한 영상 및/또는 사운드가 입력될 때 위치 정보를 획득하면, 상기 획득한 위치 정보를 상기 인식된 장소에 매핑하여 저장한다.

전원공급부(180)는 제어부(110)의 제어에 따라 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 장치(100)에 전원을 공급한다. 또한, 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 장치(100)로 공급할 수 있다. 또한, 전원공급부(180)는 무선 충전 기술을 통해 외부의 전원소스로부터 무선으로 입력되는 전원을 장치(100)로 공급할 수도 있다.

터치스크린(190)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 사용자 인터페이스를 제공할 수 있다. 터치스크린(190)은 사용자 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한, 터치스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다.

본 발명에서 터치는 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 비접촉(예, 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과 검출가능한 간격이 1 mm 이하)을 포함할 수 있다. 터치스크린(190)에서 검출가능한 간격은 장치(100)의 성능 또는 구조에 따라 변경될 수 있다. 특히 터치스크린(190)은 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 의한 터치 이벤트와, 비접촉 상태로의 입력(예컨대, 호버링(Hovering)) 이벤트를 구분하여 검출 가능하도록, 상기 터치 이벤트와 호버링 이벤트에 의해 검출되는 값(예컨대, 전류값 등)이 다르게 출력될 수 있도록 구성된다. 더 나아가, 터치스크린(190)은 호버링 이벤트가 발생되는 공간과 터치스크린(190) 사이의 거리에 따라, 검출되는 값(예컨대, 전류값 등)을 다르게 출력하는 것이 바람직하다.

터치스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.

터치스크린 컨트롤러(195)는 터치스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치 이벤트 또는 호버링 이벤트에 응답하여 터치스크린(190)에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한, 터치스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다.

더 나아가, 터치스크린 컨트롤러(195)는 터치스크린(190)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 호버링 이벤트가 발생되는 공간과 터치스크린(190) 사이의 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 제어부(110)로 제공할 수 있다.

또한, 터치스크린(190)은 사용자의 신체 및 터치 가능한 입력 수단에 의한 입력을 동시에 입력받을 수 있도록, 사용자의 신체 및 터치 가능한 입력 수단의 터치나 근접을 각각 감지할 수 있는 적어도 두 개의 터치스크린 패널을 포함할 수 있다. 상기 적어도 두 개의 터치스크린 패널은 서로 다른 출력값을 터치스크린 컨트롤러(195)에 제공하고, 터치스크린 컨트롤러(195)는 상기 적어도 두 개의 터치스크린 패널에서 입력되는 값을 서로 다르게 인식하여, 터치스크린으로부터의 입력이 사용자의 신체에 의한 입력인지, 터치 가능한 입력 수단에 의한 입력인지를 구분할 수 있다.

이하, 본 발명의 실시예에 따라 장소 검출을 위한 영상 처리 과정을 도 3을 참조하여 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 영상으로부터 장소 특성 검출을 위한 구성부들을 개략적으로 보인 도면이다. 이러한 영상 처리 과정을 예시하면 도 4에 도시된 바와 같다.

도 3을 참조하면, 카메라 모듈(150)은 각 장소에서의 영상을 촬영하는 기능을 제공하며, 촬영을 통해 입력된 영상은 본 발명과 관련된 장소 검출에 이용하기 위해 처리된다. 구체적으로, 특징 추출부(300)는 그 영상으로부터 특징들을 추출한다.

도 4에서는 주변을 촬영한 복수개의 영상들(400, 405, 410) 각각으로부터 복수개의 특징점들(415)을 추출되며, 이러한 특징점들은 비슷한 특징들의 셋(set)으로 구분된다. 여기서, 영상의 특징점은 코너, 블록 또는 밝기 변화에도 불변하는 특정 영역 내에서 얻어진다. 이러한 특정 영역 내에서 특징점들을 추출하는 영상 처리 기법으로 SIFT(scale invariant feature transforms), SURF(Speeded Up Robust Feature), BRIEF(Binary Robust Independent Elementary Feature) 등과 같은 알고리즘이 이용될 수 있으며 이외에도 다양한 지역 특징자 정합 방식이 이용 가능함은 물론이다. 여기서, SIFT는 회전, 이동, 스케일링에 대해 변하지 않는 두드러진 특징 기술자(description)들을 추출하는 영상 처리 기법으로, 이를 수식으로 나타내면 하기 수학식 1과 같다.

상기 수학식 1을 이용한다면 특정 영역에서 지역 특징자(local feature)를 추출할 수 있으며, 이들로부터 생성된 코드북으로부터 만들어질 수 있는 히스토그램을 생성할 수 있다.

상기 수학식 1에서, x, y는 영상의 지역 특징의 픽셀 위치이며, L(x, y)는 x,y 픽셀 위치에서의 밝기값이다. θ는 영상의 기울기 값에 의해 생성되는 각도 값이며, m은 기울기에 의해 생성된 벡터의 크기가 된다. 이 두 가지 값을 활용한 히스토그램이 지역 특징 기술자가 되며 이들의 집합으로부터 코드북(codebook)을 생성한다. 카메라 모듈(150)로부터 영상이 취득될 경우, 특징 추출부(300)로부터 얻어진 다수의 특징 기술자는 가장 유사한 코드북으로 연계되어, 이들의 분포로써 표현이 된다. 표현된 분포는 학습 알고리즘 예컨대, SVM(support vector machine), MLP(Multi Layer Perceptron) 및 의사결정트리(Decision Tree) 등과 같은 분류기 알고리즘을 이용하여 학습될 수 있으며, 분류기 알고리즘의 종류는 이에 한정되지 않는다. 이때 사운드 및 GPS 정보도 함께 학습될 수 있다.

이러한 학습 과정을 살펴보면, 도 4에 도시된 바와 같이 각각의 영상(400, 405, 410)에서 특징점들(415)은 둘 이상의 클래스로 분류되며, 그 중에서도 비슷한 특징들의 셋은 경계선(420)을 기준으로 나뉠 수 있다. 이에 따라 분류기 모듈(305)은 이러한 특징점들을 둘 이상의 클래스로 분류한 후, 각 클래스의 특징점들을 이용하여 클래스별로 학습을 수행한다. 즉, 각 클래스별로 특징점들을 수집하여 분류기를 학습하는 것이며, 클래스의 수는 영상뿐만 아니라 학습 알고리즘에 의해서도 달라질 수 있다. 이러한 학습을 통한 학습 데이터는 저장부(175)에 저장되어 학습 데이터베이스가 구축될 수 있다. 여기서, 학습 데이터는 각 클래스별로 수집된 데이터들이 각각 어느 장소에 해당하는지를 정의해놓은 것을 말한다. 이러한 분류기 모듈(305)는 클러스터링 모듈을 포함할 수 있다. 이러한 클러스터링 모듈을 이용한다면 복수개의 특징점들을 일정 개수의 클래스로 분류할 수 있다. 전체 클래스는 도 4에 도시된 바와 같이 일정 개수의 클래스로 분류되며, 각 클래스별로 복수의 장소 각각에 대한 영상 특징점들을 이용하여 학습함으로써, 신뢰성있는 경계선 결정이 가능하게 된다.

분류기 모듈(305)은 장소 검출을 위한 입력 영상의 특징점들을 학습 단계에서 학습된 분류기를 사용하여 각 클래스 중 입력 영상의 특징점들이 속하는 클래스를 결정하여 장소를 인식한다. 이때, 각 클래스에 대해 장소들이 각각 정의되어 학습 데이터로써 저장되어 있으므로, 입력 영상의 특징점들이 속하는 클래스가 결정되면 그 클래스에 대응하여 정의된 장소를 알 수 있게 된다.

한편, 이하에서는 장소 검출을 위한 사운드 처리 과정을 도 5를 참조하여 설명하기로 한다. 도 5는 본 발명의 실시예에 따른 사운드로부터 장소 특성 검출을 위한 구성부들을 개략적으로 보인 도면이다.

도 5를 참조하면, 초기 사운드 학습 데이터베이스를 구축하는 단계에서 복수의 촬영 장소 각각에서 마이크(162)를 통해 서로 다른 사운드 신호1~N(500, 505, 510)를 획득해야 한다. 이때, 각기 다른 사운드 특성을 가진 장소로부터 일정 시간 동안 사운드를 획득해야만 정확한 학습이 수행될 수 있다. 먼저, 학습을 위해 사운드 신호는 사운드 특징 추출부(515)에서 FFT(Fast Fourier Transform)를 통해 주파수 영역으로 변환되며 변환된 사운드 신호는 영상 처리 시의 분류기 모듈(305)에서와 마찬가지로 분류기 모듈(520)에서 SVM(support vector machine), MLP(Multi Layer Perceptron) 및 의사결정트리(Decision Tree) 등의 알고리즘을 이용하여 학습될 수 있다. 이후, 실제 장소 검출을 위한 사운드가 입력되면 사운드 특징 추출부(515)는 상기 입력 사운드의 특징점들을 추출하고, 추출된 사운드 특징점들을 분류기 모듈(520)에 적용하여 장소를 인식하게 된다.

한편, GPS 정보는 장소 검출을 위한 영상 및 사운드가 입력될 때 장소 인식의 정확도를 높이기 위해 장소 인식을 수행할 때 함께 이용될 수 있다. 예를 들어, 서로 다른 위치의 장소임에도 불구하고 각각의 장소에서 촬영된 영상의 장면이 유사한 경우 GPS 정보는 이러한 장면이 유사한 영상 및 사운드라 하더라도 그 영상들이 서로 상이함을 표시하는 가중치(weight)를 나타내기 위하여, 함께 사용될 수 있다., 즉, 둘 이상의 영상 및 사운드가 서로 유사한 경우 각각의 영상과 사운드가 서로 다른 장소에 해당하는 것임을 GPS 정보를 함께 표기하여 분류해놓을 수 있다. 이러한 유사한 영상들은 하기 수학식 2를 통해 분류될 수 있으며, 이러한 분류 방식을 수식으로 나타내면 하기 수학식 2와 같다.

수학식 2는 분류 함수를 나타낸 것으로, W는 GPS 신호이고 b는 α, b의 값은 학습 데이터로부터 학습되어 얻어지는 결과값이다. X는 장소 검출을 위해 평가할 영상으로부터 추출된 코드북 히스토그램 또는 FFT로 변환된 사운드 신호의 벡터이며, Xi는 학습 데이터를 나타내며 K는 하기 수학식 3에서와 같이 입력과 학습데이터의 유사도를 평가하는 함수이다.

상기 수학식 3에서 r는 히스토그램 값 또는 사운드 신호의 FFT의 유사도의 범위를 조절하는 모수이다. 예를 들어, 상기 수학식 3에 따르면 Xi와 X가 비슷하면 상기 계산 결과가 1에 가까워지며 서로 다를수록 0에 가까워지는 결과가 나타난다.

도 6에 도시된 바와 같이 영상 학습 데이터(600), 사운드 학습 데이터(605) 및 GPS 정보를 이용한 위치 학습 데이터(610)를 통합 처리(615)한다면 경계선 결정이 가능하여 보다 신뢰성있는 경계선을 가지는 학습 데이터(620)를 구축할 수 있다. 도 6에서와 같이 여러 종류의 데이터가 동시에 주어질 경우는 융합 과정을 통해 장소 인식을 수행하게 된다. 이때, 장소 인식을 위한 제어부(110)에서는 초기 시험 데이터 집합의 평가를 통해 얻어진 오차율이 발생할 수 있다. 이때, 인식 결과의 신뢰도는 오차율과 반비례하므로, 제어부(110)는 오차율에 반비례하는 값을 가중치를 할당하며, 인식 결과의 가중치 합으로써 장소의 위치를 정하도록 한다.

하기 표 1은 본 발명의 실시예에 따라 전후면 영상과 GPS 정보를 이용하여 장소 인식을 실험한 결과값을 예시하고 있다.

상기 표 1에서와 같이 본 발명에 따르면 전후면 영상과 GPS 정보를 이용하여 비교적 정확도가 높은 장소 예측 결과를 얻을 수 있음을 알 수 있다. 이에 따라 영상 및 GPS 정보 이외에 사운드, 모션 데이터 등을 추가로 사용한다면 보다 정확한 장소 예측 결과를 얻을 수 있을 뿐만 아니라 이에 따른 정확한 상황 인지 서비스를 효과적으로 제시할 수 있다.

이러한 모바일 장치의 장소 인식 과정을 도 7을 참조하여 설명하기 전에 학습 과정을 설명하면 다음과 같다. 먼저 제어부(110)는 주변을 촬영한 복수의 영상들 및 마이크를 통해 사운드를 획득하고, 복수개의 영상들 및 사운드들로부터 각각의 특징점들을 추출한 후 그 특징점들을 둘 이상의 클래스로 분류한다. 상기 각 클래스에 속하는 영상 특징점들 및 사운드 특징점들을 이용하여 상기 각 클래스에 해당하는 분류기를 학습하는 동작을 반복 수행함으로써 학습 데이터를 구축하게 된다.

이어, 실제 장소 검출을 위해 700단계에서 제어부(110)는 주변을 촬영한 영상 및/또는 마이크를 통해 모바일 장치 주위의 사운드를 획득한다. 이어 705단계에서 입력 영상 및 입력 사운드로부터 각각의 특징점들을 추출한 후 710단계에서 각각의 입력 영상 및 입력 사운드에 대한 특징점들을 분류한다. 그리고 715단계에서 그 특징점들을 학습 분류기에 적용하여 그 입력 영상 또는 입력 사운드의 특징점들이 속하는 클래스에 대응하는 장소를 인식하며, 720단계에서 장소 인식 결과를 저장한다. 이때, 장소 인식 결과를 저장할 때 위치 정보도 함께 저장할 수 있다.

본 발명의 실시예에서는 GPS 모듈(155) 또는 서브 통신 모듈(130)을 통해 획득한 위치 정보는 장소 인식 성능을 보조적으로 높이기 위해, 위치에 해당되는 특성 정보를 학습하도록 한다. 모바일 장치에서는 위치 정보만으로는 어떤 특성을 갖는 장소인지 알 수 없기 때문에, 위치 정보에 대응하는 장소 특성 정보를 저장하기 위해 GPS 정보를 얻을 시에 동시에 얻어진 영상 및 사운드로부터 인식된 정보를 사용하도록 한다. 이러한 경우 위치 정보는 장소 특성 정보와 매핑되어 예를 들어, < 위치정보: 위도:36, 경도:128, 장소 특성 정보: 야외>의 형태로 저장될 수 있으며, 빠른 검색을 위해 트리 구조를 사용한 맵 정보로 저장되도록 한다. 이와 같은 데이터 정보는 사용자가 방문했던 위치 정보에 장소 특성을 부가함으로써 이러한 학습 데이터가 축적될 때, 추후 영상, 소리, 모션 센서로부터 부정확한 정보가 얻어질 경우, 간단하게 미리 저장된 GPS 정보와 비교하여, 가장 가까운 위치 정보를 얻은 후 이에 함께 저장된 장소 특성 정보를 참조함으로써 빠르게 인식할 수 있다.

한편, 이러한 학습 데이터 획득을 위한 과정을 도 8을 참조하여 설명하기로 한다. 도 8을 참조하면, 제어부(110)는 800단계에서 잠금 해제 상태가 아닌 경우에는 즉, 잠금 상태에서는 805단계에서 미리 정해진 주기로 마이크(162) 및/또는 센서 모듈(170)을 구동하여 사운드 및 모션 데이터를 획득한다. 이때, 사운드 및 모션 데이터의 획득 주기는 비주기적일 수도 있다. 이어, 810단계에서 사운드 및 모션 데이터를 이용하여 장소 특성을 분류한다. 이러한 장소 특성을 분류하기 위한 사운드 신호의 처리 과정은 전술한 바와 동일하므로 그 구체적인 설명은 생략하기로 한다.

이어, 800단계에서 잠금 해제 상태인 경우 815단계에서 사진 촬영이 선택되는지를 판단한다. 만일 사진 촬영이 선택된 상태가 아니라면 820단계에서 카메라 모듈(150)을 구동하여 백그라운드로 전후면 영상을 획득한다. 도 9에서는 사용자가 모바일 장치를 손에 쥐고 있는 상태에서 전면 또는 후면 카메라에 의해 촬영된 영상으로 장소의 특성에 따라 촬영되는 전후면 영상을 예시하고 있다. 도 9에서와 같이 장소의 특성이란 위치값이 아닌 식당, 사무실, 복도, 야외 등의 위치의 범주를 의미한다. 반면 815단계에서 사진 촬영 선택 시에는 825단계에서 카메라 모듈(150)을 구동하여 촬영 영상을 획득하고, 830단계에서 마이크(162)를 구동하여 사운드를 획득한다. 이어, 835단계에서 획득한 영상, 사운드를 기반으로 장소를 인식한다. 이때, GPS 정보의 획득이 가능하다면 GPS 정보도 장소 인식에 함께 이용한다. 그리고나서 840단계에서 인식된 장소에 대응하는 모바일 장치의 기능을 제어한다.

이와 같이 본 발명에 따라 장소 인식 결과가 예를 들어, 장소가 사무실, 식당, 야외, 회의실 등이 특성으로 분류되면, 해당 장소 특성에 따라 모바일 장치의 설정 파라미터를 변경할 수 있다. 예를 들어, 장소가 야외로 구분된 경우 벨소리를 크게 변경하고, 디스플레이의 밝기를 밝게 자동 조절함으로써 사용자에게 적절한 서비스를 제공할 수 있다. 또한 장소 특성에 맞도록 어플리케이션을 미리 로딩할 수 있다. 예를 들어, 사용자가 사무실에 들어올 경우에는 메모장 또는 스케쥴러를 위젯에 추천하도록 하고, 야외에 있을 경우에는 카메라 어플리케이션을 추천하며, 지하철 플랫폼 및 도로에서는 교통 관련 어플리케이션을 로딩할 수 있다.

본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 모바일 장치 내에 포함될 수 있는 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한, 상기 모바일 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 모바일 장치가 상황 인지 서비스를 제공하기 위한 장소 인식 방법을 수행하도록 하는 지시들을 포함하는 프로그램,상황 인지 서비스를 제공하기 위한 장소 인식 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 모바일 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 모바일 장치의 요청 또는 자동으로 해당 프로그램을 상기 모바일 장치로 전송하는 제어부를 포함할 수 있다.

상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.

Claims

모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법에 있어서,
주변을 촬영한 복수의 영상들 및 마이크를 통해 획득한 사운드로부터 각각의 특징점들을 추출하여 둘 이상의 클래스로 분류하는 과정과,
상기 각 클래스에 속하는 영상 특징점들 및 사운드 특징점들을 이용하여 상기 클래스별로 분류기를 학습하는 과정과,
장소 검출을 위한 영상 및/또는 사운드가 입력되면 상기 입력 영상 및/또는 상기 입력 사운드의 특징점들을 상기 분류기에 적용하는 과정과,
상기 둘 이상의 클래스들 중 상기 입력 영상 및/또는 상기 입력 사운드의 특징점들이 속한 클래스에 대응하는 장소를 인식하는 과정을 포함함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
제1항에 있어서,
상기 장소 검출을 위한 영상 및/또는 사운드가 입력될 때 위치 정보를 획득하는 과정과,
상기 획득한 위치 정보를 상기 인식된 장소에 매핑하여 저장하는 과정을 더 포함함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
제1항에 있어서,
상기 인식된 장소에 대응하여 미리 정해진 모바일 장치의 기능을 제어하는 과정을 더 포함함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
제3항에 있어서, 상기 미리 정해진 모바일 장치의 기능은,
상기 인식된 장소에 대응하여 상기 모바일 장치의 설정 파라미터를 조절함으로써 실행되는 것임을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
제1항에 있어서,
상기 모바일 장치에 설치된 복수개의 어플리케이션들 중 상기 인식된 장소에서 상기 모바일 장치가 이용 가능한 적어도 하나의 어플리케이션을 표시하는 과정을 더 포함함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
제1항에 있어서,
장소 검출을 위한 영상 및/또는 사운드가 입력되면 상기 입력 영상 및/또는 상기 입력 사운드로부터 장소 추론과 연관된 특징점들을 추출하는 과정과,
상기 입력 영상 및/또는 입력 사운드의 추출된 특징점들이 속하는 클래스를 분류하는 과정을 더 포함함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
제6항에 있어서, 상기 장소를 인식하는 과정은,
상기 각 클래스의 분류기를 이용하여 상기 입력 영상 및/또는 입력 사운드가 상기 각 클래스에 해당하는 장소들 중 어느 하나의 장소에 해당하는지를 판정하는 과정임을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
제1항에 있어서, 상기 학습하는 과정은,
SVM(support vector machine), MLP(Multi Layer Perceptron) 및 의사결정트리(Decision Tree) 중 어느 하나의 알고리즘을 사용하는 과정임을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
제1항에 있어서, 상기 복수의 영상들 및 입력 영상의 특징점은,
SIFT(scale invariant feature transforms), SURF(Speeded Up Robust Feature) 중 어느 하나를 사용하여 추출되는 것임을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
제1항에 있어서,
상기 복수의 영상들 또는 사운드를 획득할 때, 상기 모바일 장치에 장착된 센서 모듈을 통해 모션 데이터를 수집하여 학습하는 과정을 더 포함함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
제10항에 있어서,
상기 장소 검출을 위한 영상 및/또는 사운드가 입력될 때 상기 센서 모듈을 통해 보행 또는 정지를 나타내는 모션 데이터가 입력되면, 상기 입력된 모션 데이터를 이용하여 상기 장소를 인식하는 과정을 더 포함함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
제1항에 있어서,
상기 모바일 장치가 잠금 상태이면 미리 정해진 주기로 일정 시간 동안 상기 장소 검출을 위한 사운드를 입력받는 과정과,
상기 잠금 상태가 해제되면 상기 장소 검출을 위한 영상을 입력받는 과정을 더 포함함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 방법.
모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 상기 모바일 장치에 있어서,
주변을 촬영한 복수의 영상들 및 마이크를 통해 획득한 사운드로부터 각각의 특징점들을 추출하는 데이터 통합 모듈과,
상기 데이터 통합 모듈로부터 전달된 특징점들을 둘 이상의 클래스로 분류한 후, 상기 각 클래스에 속하는 영상 특징점들 및 사운드 특징점들을 이용하여 상기 각 클래스별로 학습하는 학습 분류기와,
장소 검출을 위한 영상 및/또는 사운드가 입력되면 상기 데이터 통합 모듈을 통해 추출된 상기 입력 영상 및/또는 상기 입력 사운드의 특징점들을 상기 학습 분류기에 적용하고, 상기 둘 이상의 클래스들 중 상기 입력 영상 및/또는 상기 입력 사운드의 특징점들이 속한 클래스에 대응하는 장소를 인식하는 장소 추론 모듈을 포함함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 상기 모바일 장치.
제13항에 있어서, 상기 장소 검출을 위한 영상 및/또는 사운드가 입력될 때 위치 정보를 획득하면, 상기 획득한 위치 정보를 상기 인식된 장소에 매핑하여 저장하는 저장부를 더 포함함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 상기 모바일 장치.
제13항에 있어서, 상기 인식된 장소에 대응하여 미리 정해진 모바일 장치의 기능을 제어하는 상황 인지 엔진을 더 포함함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 상기 모바일 장치.
제15항에 있어서, 상기 상황 인지 엔진은,
상기 모바일 장치에 설치된 복수개의 어플리케이션들 중 상기 인식된 장소에서 상기 모바일 장치가 이용 가능한 적어도 하나의 어플리케이션을 표시하도록 제어함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 상기 모바일 장치.
제13항에 있어서, 상기 장소 추론 모듈은,
상기 각 클래스의 분류기를 이용하여 상기 입력 영상 및/또는 입력 사운드가 상기 각 클래스에 해당하는 장소들 중 어느 하나의 장소에 해당하는지를 판정함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 상기 모바일 장치.
제13항에 있어서, 상기 학습 분류기는,
SVM(support vector machine), MLP(Multi Layer Perceptron) 및 의사결정트리(Decision Tree) 중 어느 하나의 알고리즘을 사용하는 것을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 상기 모바일 장치.
제13항에 있어서, 상기 복수의 영상들 및 입력 영상의 특징점은,
SIFT(scale invariant feature transforms), SURF(Speeded Up Robust Feature) 중 어느 하나를 사용하여 추출되는 것임을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 상기 모바일 장치.
제13항에 있어서, 상기 데이터 통합 모듈은,
상기 모바일 장치가 잠금 상태이면 미리 정해진 주기로 일정 시간 동안 상기 장소 검출을 위한 사운드를 입력받아 상기 사운드에 대한 특징점들을 추출하며, 상기 잠금 상태가 해제되면 상기 장소 검출을 위한 영상을 입력받아 상기 영상에 대한 특징점들을 추출함을 특징으로 하는 모바일 장치가 위치한 장소의 특성에 맞는 상황 인지 서비스를 제공하기 위한 상기 모바일 장치.