KR20170086220A - 액티브 3d 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템 및 그 동작 방법 - Google Patents

액티브 3d 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR20170086220A
KR20170086220A KR1020160005774A KR20160005774A KR20170086220A KR 20170086220 A KR20170086220 A KR 20170086220A KR 1020160005774 A KR1020160005774 A KR 1020160005774A KR 20160005774 A KR20160005774 A KR 20160005774A KR 20170086220 A KR20170086220 A KR 20170086220A
Authority
KR
South Korea
Prior art keywords
smart device
microphone
grid map
smart
smart devices
Prior art date
Application number
KR1020160005774A
Other languages
English (en)
Inventor
송화전
정호영
박전규
이윤근
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160005774A priority Critical patent/KR20170086220A/ko
Publication of KR20170086220A publication Critical patent/KR20170086220A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 액티브 3D 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템 및 그 동작 방법에 관한 것으로서, 본 발명의 실시예에 따른 액티브 3D 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템은 다수의 스마트 기기로부터 현재 상태 정보를 수신하는 수신부, 수신된 상기 현재 상태 정보를 기반으로 상기 다수의 스마트 기기에 대한 액티브 3D 마이크 그리드 맵을 형성하는 형성부, 및 형성된 상기 액티브 3D 마이크 그리드 맵을 이루는 상기 다수의 스마트 기기로부터 수신되는 소리 신호를 기반으로 기능을 동작하는 제어부를 포함한다.

Description

액티브 3D 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템 및 그 동작 방법{Service system using an active 3D microphone grid map and method thereof}
본 발명은 그리드 맵 기술에 관한 것으로, 특히 액티브 3D 마이크 그리드 맵을 형성하고 형성된 그리드 맵을 이용하는 서비스 시스템 및 그 동작 방법에 관한 것이다.
향후 IoT 에 연결된 모든 사물과 사용자가 간의 정보 전달을 통해 수많은 서비스가 창출될 것이다. 이 중, 사용자의 음성이나 주변의 소리를 인지하여 활용할 수 있는 서비스도 무궁무진할 것이다. 또한, 사용자가 생성시킨 정보에 대한 지속적인 수집을 통해 개인 맞춤형 서비스도 제공될 것이다.
일례로, 자동으로 회의 녹취 및 회의록을 작성하는 경우나, CCTV에 기반을 둔 보안/안전 시스템 구성 등에 활용하기 위해서는 마이크를 통한 신호의 입력과 그 품질을 확보하는 것이 상당히 중요하다. 예컨대, 회의 등의 녹취를 위해서는 일반적으로 회의 참석자 앞에 놓인 마이크를 통해 발성하고 싶을 때 스위치를 누르고 발성하는 방법이 대부분이다. 또한, 보안 및 안전시스템을 구성하기 위해서도 위험 신호를 감지하기 위해 소리를 검출해야 한다. 그러나, 이상의 방식들을 구성하기 위해서는 많은 설치 및 유지 비용이 발생한다.
이를 해결하는 한가지 방식으로 현재 사용중인 개인의 스마트 기기를 활용하거나, 집안에 사용하지 않는 스마트 단말기를 활용한다면, 쉽게 이상의 서비스를 구성할 수 있으며, 또한 녹음 품질 또한 상당히 높일 수 있다.
예컨대, 최근 아마존에서 출시한 에코 시스템의 경우 장치가 인터넷에 연결되어 있으며, 360도 방향의 마이크 어레이를 활용하여 사용자가 요청한 음성을 방향에 관계없이 검출하여 사용자가 원하는 정보를 제공한다. 또한, 음성인식과 영상인식에 기반을 둔 lip-reading(독순술) 기술이 개발되어 왔으며, 이러한 기술은 잡음이 있는 상황에서는 보다 정확한 음성검출과 인식을 수행한다. 아울러, 어레이 마이크를 이용한 소음원 위치 추적 기술(source localization) 등이 있다. 그리고, 마이크로소프트의 키넥트(Kinect)와 같이 제스처와 음성 인식을 사용한 게임기도 출시되어 있다. 그리고, acoustic-camera(음향 카메라) 또는 3d 마이크 제품이 있으며, 자동차나 진동 소음 분야에서 소음원의 위치와 소음의 세기 등을 알아내기 위해 활용되고 있다.
본 발명의 목적은 다수의 스마트 기기에 대한 액티브 3D 마이크 그리드 맵을 형성하고 이를 이용하는 서비스 시스템 및 방법을 제공함에 있다.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 액티브 3D 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템은 다수의 스마트 기기로부터 현재 상태 정보를 수신하는 수신부, 수신된 상기 현재 상태 정보를 기반으로 상기 다수의 스마트 기기에 대한 액티브 3D 마이크 그리드 맵을 형성하는 형성부, 및 형성된 상기 액티브 3D 마이크 그리드 맵을 이루는 상기 다수의 스마트 기기로부터 수신되는 소리 신호를 기반으로 기능을 동작하는 제어부를 포함한다.
본 발명의 실시예에 따르면, 서버에 접속된 스마트 기기 간의 거리를 계산하는 방법, 각각의 스마트 기기의 기울기나 사용자가 스마트 기기를 지속적으로 움직임으로써 발생하는 가속도 센서 값의 변화 등의 정보를 이용하여 지속적으로 3D 마이크 그리드 맵을 갱신하도록 하여 안정적인 소리 입력의 품질을 확보할 수 있다.
또한, 본 발명의 실시예에 따르면 기존의 아마존 에코처럼 고정된 위치에서 마이크에 입력되는 신호를 검출하는 것이 아니고, 다이나믹하게 입력(소리, 음성) 신호를 검출할 수 있다.
또한, 본 발명의 실시예에 따르면 3D 마이크 그리드 맵을 구성하는 스마트 기기들의 가감이 자유로우며, 스마트 기기는 그 자체에 배터리 전원을 활용할 수 있으므로 에코처럼 반드시 전원에 연결되어 있을 필요가 없다.
도 1은 본 발명의 실시예에 따른 액티브 3D 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템 블록도.
도 2는 본 발명의 실시예에 따른 액티브 3D 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템의 동작을 설명하기 위한 참조도.
도 3은 본 발명의 실시예에 따른 액티브 3D 마이크 그리드 맵 형성 동작 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고, 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 액티브 3D 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 액티브 3D 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템(100)은 수신부(110), 형성부(120), 제어부(130)를 포함한다.
수신부(110)는 다수의 스마트 기기로부터 현재 상태 정보를 무선 통신을 통해 수신한다. 여기서, 스마트 기기의 현재 상태 정보에는 고유 ID 정보 및 현재 위치 정보가 포함될 수 있다.
다수의 스마트 기기는 무선 통신이 가능한 휴대용 단말로써, 소리(음성 또는 노이즈) 신호를 입력받을 수 있는 마이크가 장착될 수 있다. 예컨대, 스마트 기기는 스마트폰, 웨어러블(wearable, 착용형) 디바이스, 무선 통신이 가능한 마이크 기기 및 전자제품, 음향 카메라(acoustic-camera) 등일 수 있다.
일 예로서, 다수의 스마트 기기는 액티브 3D 마이크 그리드 맵 형성을 위해 사전에 등록된 것일 수 있다. 예컨대, 액티브 3D 마이크 그리드 맵을 통한 실내 보안 및 안전 시스템의 경우, 사용자는 실내에 무선 통신이 가능하며 마이크 기능이 탑재된 전자제품들(예컨대, 냉장고, TV, 세탁기, 실내 전화 등)을 사전에 등록시킬 수 있다. 이때, 전자제품들의 고유 ID가 사전에 등록될 수 있으며, 수신부(110)는 해당 고유 ID를 갖는 전자제품들로부터 현재 상태 정보를 수신할 수 있다.
다른 예로서, 다수의 스마트 기기는 액티브 3D 마이크 그리드 맵 형성하기 전 응용 프로그램(애플리케이션)을 통해 연결이 요청된 것일 수 있다. 예컨대, 액티브 3D 마이크 그리드 맵을 통한 회의 녹취 시스템의 경우, 회의를 참석한 참석자들 각각이 소지한 스마트 기기를 통해 회의 참석(참가)한다는 참석 의사를 입력하면, 참석 의사를 입력받은 스마트 기기는 무선 네트워크를 통해 액티브 3D 마이크 그리드 맵 형성 요청 신호를 전송할 수 있다.
이에 따라. 수신부(110)는 액티브 3D 마이크 그리드 맵 형성 요청 신호를 전송한 다수의 스마트 기기로부터 현재 상태 정보를 수신할 수 있다. 여기서, 현재 상태 정보는 다수의 스마트 기기 각각의 위치 정보일 수 있다.
아울러, 다수의 스마트 기기 중 일부는 가속도 센서와 기울기 센서 중 적어도 하나의 센서가 장착되어 있을 수 있다. 이 경우, 수신부(110)는 다수의 스마트 기기 중 가속도 또는 기울기 센서가 장착된 스마트 기기로부터 가속도 정보 및 기울기 정보를 더 수신할 수 있다.
또한, 수신부(110)는 다수의 스마트 기기로부터 근접 스마트 기기의 상대 위치 정보 또한 수신할 수 있다. 이때, 다수의 스마트 기기 각각은 주변에 근접한 스마트 기기와의 근거리 무선 통신(예컨대, 적외선, 블루투스, NFC 등)을 통해 근접 스마트 기기의 방향 및 거리를 확인할 수 있다. 이때, 근접 스마트 기기는 임의의 스마트 기기와 근거리 무선 통신 반경 내에 위치한 스마트 기기일 수 있다. 즉, 임의의 스마트 기기는 주변에 근접한 스마트 기기와의 근거리 무선 통신을 통해, 자신(임의의 스마트 기기)을 기준으로 근접 스마트 기기의 방향과 거리를 확인할 수 있다.
이에 따라, 수신부(110)는 다수의 스마트 기기의 현재 상태 정보와 함께, 다수의 스마트 기기 각각에서 확인된 근접 스마트 기기의 방향 및 거리 정보를 포함한 상대 위치 정보를 수신할 수 있다.
형성부(120)는 수신부(110)를 통해 수신된 다수의 스마트 기기의 현재 상태 정보를 기반으로 다수의 스마트 기기에 대한 그리드(Grid) 맵을 형성한다. 구체적으로, 형성부(120)는 현재 상태 정보를 송신한 다수의 스마트 기기의 네트워크를 서로 연결하여 하나의 그리드 맵(그리드 네트워크)을 형성한다. 또한, 형성부(120)는 현재 상태 정보를 송신하지는 않았지만 수신된 상대 위치 정보에 따라 위치가 확인되는 근접 스마트 기기 또한 포함하여 그리드 맵을 형성할 수 있다.
이때, 형성부(120)는 다수의 스마트 기기 각각을 기준으로 소정 반경 이내에 위치한 주변 스마트 기기와 통신 연결될 수 있도록 그리드 맵을 형성할 수 있다. 예컨대, 형성부(120)는 도 2에 도시된 바와 같이 임의의 스마트 기기(201)를 기준으로 기설정된 소정 반경(예컨대, 1m) 이내에 위치한 주변 스마트 기기(202~204)와 임의의 스마트 기기(201)가 서로 무선 통신으로 연결될 수 있도록 그리드 맵을 형성할 수 있다.
아울러, 형성부(120)는 초기에 형성된 그리드 맵을 지속적으로 갱신할 수 있다. 예컨대, 다수의 스마트 기기 중 적어도 하나의 스마트 기기의 위치 이동이 확인되면, 위치 변화에 따라 그리드 맵의 형태를 변경할 수 있다. 이때, 형성부(120)는 수신부(110)를 통해 수신되는 현재 상태 정보에서 위치 정보, 가속도 정보 및 기울기 정보 중 적어도 하나를 이용하여 스마트 기기의 위치 변화를 확인할 수 있다.
만약, 스마트 기기의 위치 변화가 확인되면, 형성부(120)는 그에 대응하여 그리드 맵을 변형하여 갱신한다. 예컨대, 임의의 스마트 기기가 위치 변화로 인해 임의의 스마트 기기가 기형성된 그리드 맵에서 멀어지는 경우, 형성부(120)는 맵의 범위가 넓어지도록 그리드 맵을 변형시킬 수 있다. 또한, 초기 그리드 맵 형성시에는 존재하지 않았던 신규 스마트 기기로부터 현재 상태 신호가 수신되면, 형성부(120)는 신규 스마트 기기를 포함한 그리드 맵을 형성할 수 있다. 반대로, 사용자의 스마트 기기 조작을 통해 네트워크 연결이 중지되거나, 형성된 그리드 맵을 기준으로 스마트 기기의 위치가 일정 범위 이상 벗어난 경우, 이러한 스마트 기기가 제외된 그리드 맵으로 변형하여 갱신할 수 있다.
제어부(130)는 형성된 액티브 3D 마이크 그리드 맵을 이루고 있는 다수의 스마트 기기를 통해 수신되는 소리 신호에 따라 시스템을 제어한다. 여기서, 제어부(130)는 수신부(110)를 통해 다수의 스마트 기기에 입력되는 소리 신호를 수신할 수 있다. 또는, 제어부(130)는 별도의 소리 신호 수신 모듈을 통해 다수의 스마트 기기로부터 소리 신호를 수신할 수 있다.
이때, 제어부(130)는 다수의 스마트 기기 중 마이크 기능이 활성화된 스마트 기기로부터 소리 신호를 수신할 수 있다. 예컨대, 액티브 3D 마이크 그리드 맵이 형성되면, 액티브 3D 마이크 그리드 맵을 이루고 있는 다수의 스마트 기기의 마이크 기능이 자동으로 활성화될 수 있다. 또는, 외부의 제어 입력(예컨대, 사용자의 입력 조작)을 통해 다수의 스마트 기기 모두의 마이크 기능이 활성화되거나 일부의 스마트 기기의 마이크 기능이 활성화될 수 있다.
다른 예로서, 스마트 기기는 사용자의 마이크 활성화 조작 기능을 통해 마이크 기능을 활성화하여 마이크를 통해 소리 신호를 입력받을 수 있다. 이 경우, 다수의 사용자의 마이크 비활성화 조작 기능을 통해 마이크 기능을 비활성화하여 소리 신호를 입력받는 동작을 중지할 수 있다.
또 다른 예로서, 스마트 기기는 기설정된 소리 크기 레벨 이상의 소리 신호가 감지되면, 자동으로 마이크 기능을 활성화하여 소리 신호를 입력받을 수 있다. 이 경우, 스마트 기기는 기설정된 소리 크기 레벨 이상의 소리 신호가 기설정된 시간 이상으로 감지되지 않으면, 마이크 기능을 비활성화 할 수 있다.
한편, 제어부(130)는 사전에 설정된 기능에 따라 다수의 스마트 기기를 통해 수신되는 소리 신호에 따라 다양한 동작을 수행할 수 있다.
일 예로서, 제어부(130)는 액티브 3D 마이크 그리드 맵을 이루고 있는 다수의 스마트 기기를 통해 수신되는 소리(음성) 신호를 녹음하는 기능을 수행할 수 있다. 이 경우, 다수의 스마트 기기는 회의실 등과 같은 공간에 회의를 참석한 사용자들의 휴대용 단말(스마트폰, 착용형 디바이스 등), 또는 마이크 기기일 수 있다. 이때, 제어부(130)는 회의 참석자 등의 입력 조작에 의해 회의 녹취 기능이 활성화될 수 있다.
제어부(130)는 다수의 스마트 기기 중 적어도 하나의 스마트 기기에서 소리 신호가 입력되면, 입력되는 소리 신호를 저장한다. 이때, 제어부(130)는 기저장된 음성 신호 처리 알고리즘을 이용하여, 입력되는 소리 신호의 음질을 개선시키고 노이즈를 제거하여 음원을 분리하여 발화자의 음성을 녹음할 수 있다. 이때, 제어부(130)는 임의의 스마트 기기에 설정된 사용자(예컨대, 임의의 스마트 기기의 소유자)의 음성으로 설정하여 녹음을 수행할 수 있다. 이러한 동작을 통해 제어부(130)는 회의 중에 발화자 별로 구분된 음성을 녹취할 수 있으며, 나아가 자동 회의록을 작성할 수 있다.
아울러, 제어부(130)는 다수의 스마트 기기 중 임의의 스마트 기기를 통해 소리(음성) 신호가 입력되면, 임의의 스마트 기기의 주변에 위치한 스마트 기기로부터도 소리 신호를 수신할 수 있다. 예컨대, 도 2에 도시된 바와 같이 임의의 스마트 기기(201)를 통해 발화자(10)의 소리 신호가 입력되면, 제어부(130)는 임의의 스마트 기기(201)의 주변에 위치한 적어도 하나의 스마트 기기(202, 203)의 마이크 기능을 활성화할 수 있다. 여기서, 주변에 위치한 스마트 기기는 임의의 스마트 기기와 근거리 무선 통신 범위 내에 위치한 근접 스마트 기기일 수 있다. 또는, 주변에 위치한 스마트 기기는 임의의 스마트 기기를 기준으로 소정 반경 이내에 위치하여 통신 연결된 주변 스마트 기기일 수 있다.
이에 따라, 제어부(130)는 임의의 스마트 기기(201)에 입력되는 소리 신호(발화자의 음성 신호)와 함께 임의의 스마트 기기의 주변에 위치한 적어도 하나의 스마트 기기(202, 203)로 입력되는 발화자(10)의 음성 신호(소리 신호)를 수신할 수 있다.
제어부(130)는 임의의 스마트 기기와 주변에 위치한 스마트 기기로부터 수신되는 소리 신호들을 함께 음성 신호 처리 알고리즘을 이용하여 발화자의 음성 신호를 분석함으로써, 음성 분석 정확도를 향상시킬 수 있다. 이때, 임의의 스마트 기기와 주변에 위치한 스마트 기기 중 적어도 하나가 3D 음향 카메라(3D acoustic camera)인 경우, 제어부(130)는 3D 음향 카메라의 특성을 이용하여 발화자의 위치를 보다 정확하게 검출하여, 발화자의 위치 및 영상 정보까지도 함께 저장이 가능하다.
다른 예로서, 제어부(130)는 액티브 3D 마이크 그리드 맵을 이루고 있는 다수의 스마트 기기를 통해 수신되는 소리(주변 잡음) 신호에 따라 보안 경보 동작을 수행할 수 있다. 이 경우, 다수의 스마트 기기는 가정집, 사무실 등과 같은 실내 공간에 위치한 마이크 기능이 있는 전자제품(전화기, 냉장고, TV, 마이크 등)일 수 있다. 이때, 제어부(130)는 사용자가 외부에 외출하여 아무도 없는 실내 공간에서 사용자의 원격 조작을 통해 보안 경보 기능이 활성화될 수 있다. 이 경우, 다수의 스마트 기기 모두의 마이크 기능이 활성화될 수 있다. 또는, 사용자의 선택에 따라 일부의 스마트 기기의 마이크 기능만 활성화될 수 있다.
제어부(130)는 다수의 스마트 기기 중 적어도 하나의 스마트 기기에서 입력된 소리 신호에 따라, 보안 경고 메시지를 출력할 수 있다. 이때, 제어부(130)는 경고 메시지를 기설정된 사용자의 이동통신 단말로 전송하거나, 보안 업체 또는 경찰서로 전송할 수 있다.
일 예로서, 제어부(130)는 다수의 스마트 기기 중 적어도 하나의 스마트 기기로 소리 신호가 입력되면, 입력된 소리 신호와 기저장된 초기 설정 소리 신호를 비교하고, 비교 결과 일정 레벨 이상으로 오차가 발생하면 타인이 침입한 것으로 판단하고 경고 메시지를 출력할 수 있다.
다른 예로서, 제어부(130)는 다수의 스마트 기기 중 적어도 하나로 일정 레벨 이상의 소리 신호가 입력되면, 타인이 침입한 것으로 판단하고 경고 메시지를 출력할 수 있다.
또 다른 예로서, 제어부(130)는 다수의 스마트 기기 중 적어도 하나의 스마트 기기로 사람의 음성으로 판단되는 소리 신호가 입력되거나 기설정된 시간 이상으로 음성 신호가 입력되면, 타인이 침입한 것으로 판단하고 경고 메시지를 출력할 수 있다.
이와 같은 본 발명의 실시예에 따르면, 간단하게는 회의 녹취에 활용되고 또한 보안시스템을 쉽게 구성할 수 있다. 또한, 아마존 에코와 같이 실물 형상은 없지만 집안의 사용하지 않는 스마트 기기나 IoT 접속 가능한 가전제품을 최대한 활용하여 사용자가 원하는 정보도 어떤 위치에서도 얻을 수 있다. 아울러, 여러 CCTV 를 동시에 활용하여 입체적으로 사고가 많은 지역을 감시할 수 있으며, 또한 사회적인 문제가 되고 있는 어린이집의 폭력 사태나 가정집의 애완동물 등을 살피기 위한 형태의 서비스도 구성할 수 있을 것으로 판단된다.
도 3은 본 발명의 실시예에 따른 액티브 3D 마이크 그리드 맵 형성 동작 흐름도이다.
이하에서는 별도의 언급이 없는 한, 액티브 3D 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템(이하, ‘서비스 시스템’으로 총칭)(100)이 동작하는 것으로 간주한다.
서비스 시스템(100)은 다수의 스마트 기기로부터 현재 상태 정보를 무선 통신을 통해 수신한다(S301). 여기서, 현재 상태 정보는 다수의 스마트 기기 각각의 위치 정보일 수 있다.
스마트 기기의 현재 상태 정보에는 고유 ID 정보 및 현재 위치 정보가 포함될 수 있다. 다수의 스마트 기기는 무선 통신이 가능한 휴대용 단말로써, 소리(음성 또는 노이즈) 신호를 입력받을 수 있는 마이크가 장착될 수 있다. 예컨대, 스마트 기기는 스마트폰, 웨어러블(wearable, 착용형) 디바이스, 무선 통신이 가능한 마이크 기기 및 전자제품, 음향 카메라(acoustic-camera) 등일 수 있다.
아울러, 다수의 스마트 기기 중 일부는 가속도 센서와 기울기 센서 중 적어도 하나의 센서가 장착되어 있을 수 있다. 이 경우, 서비스 시스템(100)은 다수의 스마트 기기 중 가속도 또는 기울기 센서가 장착된 스마트 기기로부터 가속도 정보 및 기울기 정보를 더 수신할 수 있다.
또한, 서비스 시스템(100)은 다수의 스마트 기기로부터 근접 스마트 기기의 상대 위치 정보 또한 수신할 수 있다. 이때, 다수의 스마트 기기 각각은 주변에 근접한 스마트 기기와의 근거리 무선 통신(예컨대, 적외선, 블루투스, NFC 등)을 통해 근접 스마트 기기의 방향 및 거리를 확인할 수 있다. 이때, 근접 스마트 기기는 임의의 스마트 기기와 근거리 무선 통신 반경 내에 위치한 스마트 기기일 수 있다. 즉, 임의의 스마트 기기는 주변에 근접한 스마트 기기와의 근거리 무선 통신을 통해, 자신(임의의 스마트 기기)을 기준으로 근접 스마트 기기의 방향과 거리를 확인할 수 있다.
이에 따라, 서비스 시스템(100)은 다수의 스마트 기기의 현재 상태 정보와 함께, 다수의 스마트 기기 각각에서 확인된 근접 스마트 기기의 방향 및 거리 정보를 포함한 상대 위치 정보를 수신할 수 있다.
서비스 시스템(100)은 수신된 다수의 스마트 기기의 현재 상태 정보를 기반으로 다수의 스마트 기기에 대한 그리드(Grid) 맵을 형성한다(S302). 구체적으로, 서비스 시스템(100)은 현재 상태 정보를 송신한 다수의 스마트 기기의 네트워크를 서로 연결하여 하나의 그리드 맵(그리드 네트워크)을 형성한다. 또한, 서비스 시스템(100)은 현재 상태 정보를 송신하지는 않았지만 수신된 상대 위치 정보에 따라 위치가 확인되는 근접 스마트 기기 또한 포함하여 그리드 맵을 형성할 수 있다.
이때, 서비스 시스템(100)은 다수의 스마트 기기 각각을 기준으로 소정 반경 이내에 위치한 주변 스마트 기기와 통신 연결될 수 있도록 그리드 맵을 형성할 수 있다. 예컨대, 서비스 시스템(100)은 도 2에 도시된 바와 같이 임의의 스마트 기기(201)를 기준으로 기설정된 소정 반경(예컨대, 1m) 이내에 위치한 주변 스마트 기기(202~204)와 임의의 스마트 기기(201)가 서로 무선 통신으로 연결될 수 있도록 그리드 맵을 형성할 수 있다.
아울러, 서비스 시스템(100)은 형성된 액티브 3D 마이크 그리드 맵을 이루고 있는 다수의 스마트 기기를 통해 수신되는 소리 신호에 따라 기능을 동작한다(S303). 여기서, 서비스 시스템(100)은 별도의 소리 신호 수신 모듈을 통해 다수의 스마트 기기로부터 소리 신호를 수신할 수 있다.
이때, 서비스 시스템(100)은 다수의 스마트 기기 중 마이크 기능이 활성화된 스마트 기기로부터 소리 신호를 수신할 수 있다. 예컨대, 액티브 3D 마이크 그리드 맵이 형성되면, 액티브 3D 마이크 그리드 맵을 이루고 있는 다수의 스마트 기기의 마이크 기능이 자동으로 활성화될 수 있다. 또는, 외부의 제어 입력(예컨대, 사용자의 입력 조작)을 통해 다수의 스마트 기기 모두의 마이크 기능이 활성화되거나 일부의 스마트 기기의 마이크 기능이 활성화될 수 있다.
다른 예로서, 스마트 기기는 사용자의 마이크 활성화 조작 기능을 통해 마이크 기능을 활성화하여 마이크를 통해 소리 신호를 입력받을 수 있다. 이 경우, 다수의 사용자의 마이크 비활성화 조작 기능을 통해 마이크 기능을 비활성화하여 소리 신호를 입력받는 동작을 중지할 수 있다.
또 다른 예로서, 스마트 기기는 기설정된 소리 크기 레벨 이상의 소리 신호가 감지되면, 자동으로 마이크 기능을 활성화하여 소리 신호를 입력받을 수 있다. 이 경우, 스마트 기기는 기설정된 소리 크기 레벨 이상의 소리 신호가 기설정된 시간 이상으로 감지되지 않으면, 마이크 기능을 비활성화 할 수 있다.
한편, 서비스 시스템(100)은 사전에 설정된 기능에 따라 다수의 스마트 기기를 통해 수신되는 소리 신호에 따라 다양한 동작을 수행할 수 있다.
일 예로서, 서비스 시스템(100)은 액티브 3D 마이크 그리드 맵을 이루고 있는 다수의 스마트 기기를 통해 수신되는 소리(음성) 신호를 녹음하는 기능을 수행할 수 있다. 이 경우, 다수의 스마트 기기는 회의실 등과 같은 공간에 회의를 참석한 사용자들의 휴대용 단말(스마트폰, 착용형 디바이스 등), 또는 마이크 기기일 수 있다. 이때, 서비스 시스템(100)은 회의 참석자 등의 입력 조작에 의해 회의 녹취 기능이 활성화될 수 있다.
서비스 시스템(100)은 다수의 스마트 기기 중 적어도 하나의 스마트 기기에서 소리 신호가 입력되면, 입력되는 소리 신호를 저장한다. 이때, 서비스 시스템(100)은 기저장된 음성 신호 처리 알고리즘을 이용하여, 입력되는 소리 신호의 음질을 개선시키고 노이즈를 제거하여 음원을 분리하여 발화자의 음성을 녹음할 수 있다. 이때, 서비스 시스템(100)은 임의의 스마트 기기에 설정된 사용자(예컨대, 임의의 스마트 기기의 소유자)의 음성으로 설정하여 녹음을 수행할 수 있다. 이러한 동작을 통해 서비스 시스템(100)은 회의 중에 발화자 별로 구분된 음성을 녹취할 수 있으며, 나아가 자동 회의록을 작성할 수 있다.
아울러, 서비스 시스템(100)은 다수의 스마트 기기 중 임의의 스마트 기기를 통해 소리(음성) 신호가 입력되면, 임의의 스마트 기기의 주변에 위치한 스마트 기기로부터도 소리 신호를 수신할 수 있다. 예컨대, 도 2에 도시된 바와 같이 임의의 스마트 기기(201)를 통해 발화자(10)의 소리 신호가 입력되면, 서비스 시스템(100)은 임의의 스마트 기기(201)의 주변에 위치한 적어도 하나의 스마트 기기(202, 203)의 마이크 기능을 활성화할 수 있다. 여기서, 주변에 위치한 스마트 기기는 임의의 스마트 기기와 근거리 무선 통신 범위 내에 위치한 근접 스마트 기기일 수 있다. 또는, 주변에 위치한 스마트 기기는 임의의 스마트 기기를 기준으로 소정 반경 이내에 위치하여 통신 연결된 주변 스마트 기기일 수 있다.
이에 따라, 서비스 시스템(100)은 임의의 스마트 기기(201)에 입력되는 소리 신호(발화자의 음성 신호)와 함께 임의의 스마트 기기의 주변에 위치한 적어도 하나의 스마트 기기(202, 203)로 입력되는 발화자(10)의 음성 신호(소리 신호)를 수신할 수 있다.
서비스 시스템(100)은 임의의 스마트 기기와 주변에 위치한 스마트 기기로부터 수신되는 소리 신호들을 함께 음성 신호 처리 알고리즘을 이용하여 발화자의 음성 신호를 분석함으로써, 음성 분석 정확도를 향상시킬 수 있다. 이때, 임의의 스마트 기기와 주변에 위치한 스마트 기기 중 적어도 하나가 3D 음향 카메라(3D acoustic camera)인 경우, 서비스 시스템(100)은 3D 음향 카메라의 특성을 이용하여 발화자의 위치를 보다 정확하게 검출하여, 발화자의 위치 및 영상 정보까지도 함께 저장이 가능하다.
다른 예로서, 서비스 시스템(100)은 액티브 3D 마이크 그리드 맵을 이루고 있는 다수의 스마트 기기를 통해 수신되는 소리(주변 잡음) 신호에 따라 보안 경보 동작을 수행할 수 있다. 이 경우, 다수의 스마트 기기는 가정집, 사무실 등과 같은 실내 공간에 위치한 마이크 기능이 있는 전자제품(전화기, 냉장고, TV, 마이크 등)일 수 있다. 이때, 서비스 시스템(100)은 사용자가 외부에 외출하여 아무도 없는 실내 공간에서 사용자의 원격 조작을 통해 보안 경보 기능이 활성화될 수 있다. 이 경우, 다수의 스마트 기기 모두의 마이크 기능이 활성화될 수 있다. 또는, 사용자의 선택에 따라 일부의 스마트 기기의 마이크 기능만 활성화될 수 있다.
서비스 시스템(100)은 다수의 스마트 기기 중 적어도 하나의 스마트 기기에서 입력된 소리 신호에 따라, 보안 경고 메시지를 출력할 수 있다. 이때, 서비스 시스템(100)은 경고 메시지를 기설정된 사용자의 이동통신 단말로 전송하거나, 보안 업체 또는 경찰서로 전송할 수 있다.
일 예로서, 서비스 시스템(100)은 다수의 스마트 기기 중 적어도 하나의 스마트 기기로 소리 신호가 입력되면, 입력된 소리 신호와 기저장된 초기 설정 소리 신호를 비교하고, 비교 결과 일정 레벨 이상으로 오차가 발생하면 타인이 침입한 것으로 판단하고 경고 메시지를 출력할 수 있다.
다른 예로서, 서비스 시스템(100)은 다수의 스마트 기기 중 적어도 하나로 일정 레벨 이상의 소리 신호가 입력되면, 타인이 침입한 것으로 판단하고 경고 메시지를 출력할 수 있다.
또 다른 예로서, 서비스 시스템(100)은 다수의 스마트 기기 중 적어도 하나의 스마트 기기로 사람의 음성으로 판단되는 소리 신호가 입력되거나 기설정된 시간 이상으로 음성 신호가 입력되면, 타인이 침입한 것으로 판단하고 경고 메시지를 출력할 수 있다.
한편, 서비스 시스템(100)은 지속적으로 수신되는 현재 상태 정보에서 위치 정보, 가속도 정보 및 기울기 정보 중 적어도 하나를 이용하여 스마트 기기의 위치 변화를 확인할 수 있다(S304).
만약, 스마트 기기의 위치 변화가 확인되면, 서비스 시스템(100)은 그에 대응하여 그리드 맵을 변형하여 갱신한다(S305). 예컨대, 임의의 스마트 기기가 위치 변화로 인해 기형성된 그리드 맵에서 멀어지는 경우, 서비스 시스템(100)은 맵의 범위가 넓어지도록 그리드 맵을 변형시킬 수 있다. 또한, 초기 그리드 맵 형성시에는 존재하지 않았던 신규 스마트 기기로부터 현재 상태 신호가 수신되면, 서비스 시스템(100)은 신규 스마트 기기를 포함한 그리드 맵을 형성할 수 있다. 반대로, 사용자의 스마트 기기 조작을 통해 네트워크 연결이 중지되거나, 형성된 그리드 맵을 기준으로 스마트 기기의 위치가 일정 범위 이상 벗어난 경우, 이러한 스마트 기기가 제외된 그리드 맵으로 변형하여 갱신할 수 있다.
이와 같은 본 발명의 실시예에 따르면, 간단하게는 회의 녹취에 활용되고 또한 보안시스템을 쉽게 구성할 수 있다. 또한, 아마존 에코와 같이 실물 형상은 없지만 집안의 사용하지 않는 스마트 기기나 IoT 접속 가능한 가전제품을 최대한 활용하여 사용자가 원하는 정보도 어떤 위치에서도 얻을 수 있다. 아울러, 여러 CCTV 를 동시에 활용하여 입체적으로 사고가 많은 지역을 감시할 수 있으며, 또한 사회적인 문제가 되고 있는 어린이집의 폭력 사태나 가정집의 애완동물 등을 살피기 위한 형태의 서비스도 구성할 수 있을 것으로 판단된다.
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 수신부 120 : 형성부
120 : 제어부

Claims (1)

  1. 다수의 스마트 기기로부터 현재 상태 정보를 수신하는 수신부;
    수신된 상기 현재 상태 정보를 기반으로 상기 다수의 스마트 기기에 대한 액티브 3D 마이크 그리드 맵을 형성하는 형성부; 및
    형성된 상기 액티브 3D 마이크 그리드 맵을 이루는 상기 다수의 스마트 기기로부터 수신되는 소리 신호를 기반으로 기능을 동작하는 제어부;
    를 포함하는 액티브 3D 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템.
KR1020160005774A 2016-01-18 2016-01-18 액티브 3d 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템 및 그 동작 방법 KR20170086220A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160005774A KR20170086220A (ko) 2016-01-18 2016-01-18 액티브 3d 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160005774A KR20170086220A (ko) 2016-01-18 2016-01-18 액티브 3d 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20170086220A true KR20170086220A (ko) 2017-07-26

Family

ID=59427262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160005774A KR20170086220A (ko) 2016-01-18 2016-01-18 액티브 3d 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR20170086220A (ko)

Similar Documents

Publication Publication Date Title
EP3798685B1 (en) Systems and methods of ultrasonic sensing in smart devices
KR101737191B1 (ko) 스마트 단말기 제어방법, 장치, 프로그램 및 기록매체
KR102611321B1 (ko) 다중-사용자 환경에서 지능형 경보들
KR102667645B1 (ko) 복수의 전자 장치들을 연동하여 알림을 제공하는 방법 및 장치
CN104602204B (zh) 访客提醒方法及装置
US20170055126A1 (en) System and method for user profile enabled smart building control
TW202147792A (zh) 用於自動跨裝置內容傳遞之使用者近接感測
US20210072378A1 (en) Systems and methods of ultrasonic sensing in smart devices
US20150312113A1 (en) AllJoyn Messaging Anonymous Targets Based on Association
JP2017532855A (ja) インテリジェント電気機器を動作させる方法及び装置
US10070266B2 (en) Method and system of indoor positioning of a user and delivery of information thereto
CN111971647A (zh) 语音识别设备、语音识别设备的协作系统和语音识别设备的协作方法
CN111630413A (zh) 基于置信度的应用特定的用户交互
CN105208510B (zh) 智能闹铃的方法及装置
CN105049599B (zh) 一种智能通话方法及设备
US10824389B2 (en) Acoustic system
EP3225510B1 (en) Methods and devices for controlling self-balanced vehicle to park
CN106126182B (zh) 数据输出方法及电子设备
CN112116803B (zh) 信息处理方法及装置、电子设备及存储介质
US20160337743A1 (en) Apparatus and methods for attenuation of an audio signal
KR20170086220A (ko) 액티브 3d 마이크 그리드 맵을 형성 및 이용하는 서비스 시스템 및 그 동작 방법
KR20170025244A (ko) 스마트 조명 서비스 제공 방법 및 그를 위한 장치 및 시스템
KR101672947B1 (ko) 상황 알림 기능을 가진 히어링 디바이스 및 그에 의한 상황 알림 방법
KR20240061773A (ko) 전자 디바이스 및 전자 디바이스의 제어 방법
US10574708B2 (en) Method and system for remote communication