KR20160111284A - 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20160111284A
KR20160111284A KR1020150036253A KR20150036253A KR20160111284A KR 20160111284 A KR20160111284 A KR 20160111284A KR 1020150036253 A KR1020150036253 A KR 1020150036253A KR 20150036253 A KR20150036253 A KR 20150036253A KR 20160111284 A KR20160111284 A KR 20160111284A
Authority
KR
South Korea
Prior art keywords
information
terminal
sensor
external
action item
Prior art date
Application number
KR1020150036253A
Other languages
English (en)
Other versions
KR101671760B1 (ko
Inventor
안태효
지대훈
이윤
Original Assignee
주식회사 스마트올웨이즈온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스마트올웨이즈온 filed Critical 주식회사 스마트올웨이즈온
Priority to KR1020150036253A priority Critical patent/KR101671760B1/ko
Priority to PCT/KR2016/001332 priority patent/WO2016148398A1/ko
Publication of KR20160111284A publication Critical patent/KR20160111284A/ko
Application granted granted Critical
Publication of KR101671760B1 publication Critical patent/KR101671760B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor

Abstract

본 발명의 일 태양에 따르면, 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스(set-top box)에 있어서, 방송 신호를 수신하고 처리하여 상기 기본 단말로 제공하는 방송신호처리부와, 내장센서와, 외부 IoT 단말과 통신을 수행하는 통신부 및 상기 내장센서 또는 상기 외부 IoT 단말을 통해 적어도 하나의 센싱 데이터가 획득되면, (i) 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 상기 셋톱박스가 속해있는 실내 공간 내의 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 특정 상황 정보 데이터를 획득하고, (ii) 상황 정보 데이터의 유형별로 매핑되어 있는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템에 대한 정보를 기록하고 있는 데이터베이스를 참조로 하여, 상기 특정 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 프로세서를 포함하는 셋톱박스가 제공된다. 본 발명의 일 태양에 따른 셋톱박스는 멀티모달 정보를 처리하여 상황을 인지하여 집안의 각종 기기를 스마트하게 동작시킴으로써 애완동물처럼 사용자와 인터랙션을 할 수 있는 사용자 경험(user experience)을 제공한다.

Description

멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체{SET-TOP BOX, PHOTOGRAPHING APPARATUS FOR PROVIDING CONTEXT-AWARENESS SERVICES ON THE BASIS OF MULTI-MODAL INFORMATION TO THEREBY LEARN AND ENHANCE USER INTERFACE AND USER EXPERIENCE AND METHOD AND COMPUTER-READABLE RECORDING MEDIUM USING THE SAME}
본 발명은, 멀티모달(MULTI-MODAL) 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스(set-top box), 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체에 대한 것으로, 보다 상세하게는, (a) 내장센서 또는 외부 IoT 단말을 통해 적어도 하나의 센싱 데이터를 획득하고, (b) 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 상기 셋톱박스가 속해있는 실내 공간 내의 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 특정 상황 정보 데이터를 획득하며, (c) 상황 정보 데이터의 유형별로 매핑되어 있는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템에 대한 정보를 기록하고 있는 데이터베이스를 참조로 하여, 상기 특정 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원할 수 있는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체에 대한 것이다.
IPTV 기술이 발달하면서 네트워크를 기반으로 하여 콘텐츠를 제공하는 등 다양한 서비스를 제공하는 셋톱박스 기술이 상용화되고 있다. 예를 들어, 사용자는 셋톱박스를 통해 주문형 비디오(VOD)나 네트워크 게임 등의 콘텐츠를 제공받을 수 있으며 홈쇼핑, 인터넷 서핑 등의 서비스를 이용할 수 있다.
다만, 지금까지의 셋톱박스는 서비스 제공자가 제공하는 콘텐츠나 서비스를 수신하고 사용자의 응답이나 요청을 서비스 제공자에게 전달하는 단조로운 기능만을 수행해오고 있는 것이 실정이다.
한편, 최근에는 사물을 인터넷으로 연결하여 외부에서 제어할 수 있는 IoT(Internet of things) 기술이 주목을 받고 있으며 이와 관련하여 집안의 다양한 기기들을 통신망으로 연결해 모니터링하거나 제어할 수 있는 스마트홈 기술에 대한 관심 또한 높아지고 있다.
이에 본 발명자는 다양한 센서를 통해 획득된 센싱 데이터를(멀티 모달) 분석하여 셋톱박스가 놓여 있는 실내 공간 내에서의 콘텍스트 정보(context information)을 식별하여 사용자와 장치간의 인터페이스 정의를 스스로 학습하여 장치가 콘텍스트 정보에 맞는 동작으로 지속적으로 개선 수행하는 사용자 경험을 제공하는 새로운 개념의 셋톱박스를 개발하기에 이르렀다.
본 발명은 상술한 문제점들을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 실내 공간에 대한 센싱 데이터를 분석하여 소정의 공간의 콘텍스트 정보(context information)을 식별하고 대응되는 다양한 장치가 콘텍스트 정보에 맞는 동작을 스스로 학습하고 지속적으로 개선된 기능으로 수행할 수 있는 새로운 개념의 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.
또한, 본 발명은 셋톱박스 또는 촬영 장치가 상황 정보와 대응되는 액션 아이템을 학습하여 동작함으로써 애완동물처럼 사용자와 인터랙션을 스스로 정의하고 지속적으로 개선할 수 있는 사용자 경험(user experience)을 제공하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 기본 단말 또는 외부 IoT 단말의 제어를 위한 리모컨 신호를 학습하여 특정 상황에서 사용자의 리모컨 조작 없이도 자동적으로 기본 단말 또는 외부 IoT 단말의 동작을 특정 상황에 맞추어 제어하는 기술을 제공하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스(set-top box)에 있어서, 방송 신호를 수신하고 처리하여 기본 단말로 제공하는 방송신호처리부와, 내장센서와, 외부 IoT 단말과 통신을 수행하는 통신부 및 상기 내장센서 또는 상기 외부 IoT 단말을 통해 적어도 하나의 센싱 데이터가 획득되면, (i) 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 상기 셋톱박스가 속해있는 실내 공간 내의 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 특정 상황 정보 데이터를 획득하고, (ii) 상황 정보 데이터의 유형별로 매핑되어 있는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템에 대한 정보를 기록하고 있는 데이터베이스를 참조로 하여, 상기 특정 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 프로세서를 포함하는 셋톱박스가 제공된다.
본 발명의 다른 태양에 따르면, 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스를 이용한 방법에 있어서, (a) 상기 셋톱박스가 내장센서 또는 외부 IoT 단말을 통해 적어도 하나의 센싱 데이터를 획득하는 단계, (b) 상기 셋톱박스가, 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 상기 셋톱박스가 속해있는 실내 공간 내의 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 특정 상황 정보 데이터를 획득하는 단계, 및 (c) 상기 셋톱박스가 상황 정보 데이터의 유형별로 매핑되어 있는 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템에 대한 정보를 기록하고 있는 데이터베이스를 참조로 하여, 상기 특정 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 단계를 포함하는 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 촬영 장치에 있어서, 소정의 공간을 촬영한 영상 신호를 기본 단말로 제공하는 영상 신호 제공부와, 내장센서와, 외부 IoT 단말과 통신을 수행하는 통신부와, 상기 내장센서 또는 상기 외부 IoT 단말을 통해 적어도 하나의 센싱 데이터가 획득되면, (i) 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 특정 상황 정보 데이터를 획득하고, (ii) 상황 정보 데이터의 유형별로 매핑되어 있는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템에 대한 정보를 기록하고 있는 데이터베이스를 참조로 하여, 상기 특정 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 프로세서를 포함하는 촬영 장치가 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 셋톱박스, 촬영 장치 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 다음과 같은 효과가 있다.
본 발명은 실내 공간에서 획득된 센싱 데이터를 분석하여 셋톱박스가 놓여 있는 콘텍스트 정보(context information)을 식별하고 이에 대응되는 다양한 장치가 콘텍스트 정보에 맞는 동작을 스스로 학습하고 변화된 기능을 수행하도록 하는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체를 제공하는 효과가 있다.
또한, 본 발명은 셋톱박스 또는 촬영 장치가 상황 정보와 대응되는 액션 아이템을 학습하여 동작함으로써 애완동물처럼 사용자와 인터랙션을 스스로 학습하고 지속적으로 개선되는 사용자 경험(user experience)을 제공하는 효과가 있다.
또한, 본 발명은 기본 단말 또는 외부 IoT 단말의 제어를 위한 리모컨 신호를 학습하여 특정 상황에서 사용자의 리모컨 조작 없이도 특정 상황에 맞추어 지속적으로 개선된 기능으로 기본 단말 또는 외부 IoT 단말의 동작을 제어하는 기술을 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 셋톱박스와 다른 장치들 사이의 인터랙션을 개략적으로 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 셋톱박스의 구성 및 제어흐름을 도시한 블록도이고, 도 3은 본 발명의 일 실시예에 따른 셋톱박스의 구현기술을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 셋톱박스가 획득된 적외선 또는 근적외선 이미지를 분석하거나 마이크로폰에 의해 획득된 오디오를 분석한 결과로서 특정 상황 정보 데이터를 획득하는 개념을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 획득된 적외선 또는 근적외선 이미지나 획득된 음성 정보를 분석하여 실내 공간에 존재하는 인물의 특성을 파악함으로써 특정 상황 정보 데이터를 획득하는 개념을 도시한 도면이다.
도 6은 획득된 적외선 또는 근적외선 이미지나 획득된 음성 정보를 분석하여 실내 공간에 존재하는 인물의 특성을 파악함으로써 인물의 특성에 맞는 서비스를 제공하는 실시예를 도시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 셋톱박스, 모바일 단말 및 외부 IoT 단말 사이의 인터랙션을 도시한 개념도이다.
도 8은 본 발명의 또 다른 실시예에 따라 모바일 단말의 콘텐츠를 기본 단말을 통해 디스플레이하는 액션 아이템을 수행하는 동작을 도시한 도면이다.
도 9는 셋톱박스가 획득한 이미지를 모바일 단말로 제공하고 모바일 단말로부터 수신된 제어 신호에 따른 액션 아이템을 수행하는 실시예를 나타낸 도면이다.
도 10은 IoT 단말의 에너지 사용 정보를 참조로 하여 액션 아이템을 수행하는 실시예를 도시한 도면이다.
도 11은 본 발명의 다른 실시예에 따른 촬영 장치와 다른 장치들 사이의 인터랙션을 개략적으로 설명하기 위한 개념도이다.
도 12는 본 발명의 다른 실시예에 따른 촬영 장치의 구성 및 제어흐름을 도시한 블록도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
도 1은 본 발명의 일 실시예에 따른 셋톱박스와 다른 장치들 사이의 인터랙션을 개략적으로 설명하기 위한 개념도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 셋톱박스(100)는 유선 또는 무선 네트워크를 통해 다른 장치들과 통신할 수 있다. 우선, 셋톱박스(100)는 기본 단말(200)과 통신할 수 있다. 기본 단말(200)은 디스플레이 장치를 포함할 수 있으며, 이 경우 기본 단말(200)은 가령 UHD TV(Ultra High Definition Television)가 될 수도 있다. 구체적으로, 기본 단말(200)이 디스플레이 장치를 포함하는 경우, 셋톱박스(100)는 후술하는 것처럼 방송 신호를 수신하여 영상 신호를 기본 단말(200)에 제공할 수 있다. 다만, 기본 단말(200)이 디스플레이 장치에 한정되는 것은 아니다.
또한, 셋톱박스(100)는 적어도 하나의 외부 IoT 단말(300)과 통신할 수 있다. 외부 IoT 단말(300)은 셋톱박스(100)와 통신할 수 있는 어떠한 장치라도 무방하다. 여기서, 외부 IoT 단말(300)은 소정의 실내 공간(즉, 셋톱박스(100)가 존재하는 실내 공간) 내에 위치하면서 실내 공간에 대한 센싱 데이터를 획득하여 셋톱박스(100)에 제공하거나 셋톱박스(100) 또는 후술할 모바일 단말로부터의 제어 신호를 받고 이에 응답할 수 있는 장치를 의미할 수 있다. 예를 들어, 도 1에 도시된 바와 같이 카메라(300-1), 에어컨(300-2), 스피커(300-3), 화재 감지기(300-4), 마이크로폰(300-5) 외에도 온도센서, 습도 센서, 조도 센서, 냉장고, 세탁기, 가스레인지 등 다양한 장치가 될 수 있다. 외부 IoT 단말(300)은 지속적으로 또는 셋톱박스(100)의 요청이 있을 시 셋톱박스(100)에 센싱 데이터를 제공한다.
셋톱박스(100)는 센싱 데이터를 수신하여 분석한 결과로서 특정 상황 정보 데이터를 획득할 수 있다. 여기서 특정 상황 정보란, 셋톱박스가 놓여 있는 실내 공간의 특정한 콘텍스트 정보(context information)를 의미한다. 즉, 셋톱박스가 속해있는 실내 공간 내의 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 정보를 말한다. 예를 들어, 특정 상황 정보는 셋톱박스가 속해있는 거실에 있는 사람이 TV를 시청하고 있는지 여부에 대한 상황 정보, 시청 채널 정보, 시청하는 사람 숫자 정보, 사람이 외출하는 상황 정보, 사람의 재실 정보, 사람의 기상 정보, 거실에 있는 사람이 청소를 하는 상황 정보, 사람이 음악 감상을 하는 상황 정보, 사람이 수면을 취하는 상황 정보, 사람이 요리를 하는 상황 정보, 사람이 운동을 하는 상황 정보, 사람이 식사를 하는 상황 정보, 사람이 휴식을 취하는 상황 정보, 사람이 게임을 하는 상황 정보, 사람이 공부를 하는 상황 정보, 사람이 인터넷 서핑을 하는 상황 정보, 사람이 TV 홈쇼핑을 하는 상황 정보, 사람이 파티를 하는 상황 정보, 사람이 대화를 하는 상황 정보, 사람이 셋톱박스(100)에 가까이 다가오는 상황 정보, 사람이 셋톱박스(100)에서 멀어지는 상황 정보, 사람이 정지해 있는 상황 정보, 사람이 특정 방향을 쳐다보는 상황 정보, 사람이 셋톱박스(100) 앞을 지나가거나 왔다 갔다 하는 상황 정보, 세탁기, 에어컨 등 가전제품이 각각이 동작하는 상황 정보, 출입문이 열리거나 닫히는 상황 정보, 전등이 켜지거나 꺼지는 상황 정보, 가스레인지가 켜지거나 꺼지는 상황 정보, 화재가 발생한 상황 정보, 시청 날짜/시간 정보 등 각각을 의미할 수도 있고, 이들 중 적어도 일부의 조합된 상태를 의미할 수도 있다. 다만, 후술하는 것처럼 셋톱박스(100)는 적어도 하나의 내장센서를 포함할 수 있는데 이 경우 내장센서를 통해 획득된 센싱 데이터를 분석하여 특정 상황 정보 데이터를 획득할 수도 있다.
셋톱박스(100)는 데이터베이스 서버(400)와 통신하여 특정 상황 정보 데이터에 매핑되는 기본 단말(200)의 액션 아이템(action item)이나 외부 IoT 단말(300)의 액션 아이템에 대한 정보를 획득할 수 있다. 이와 달리, 셋톱박스(100)는 자체 저장부에 데이터베이스를 저장하고 이를 참조할 수도 있다. 상기 데이터베이스는 특정 상황 정보를 구성하는 빅데이터로부터 학습되어 갱신 및 저장된 신경 네트워크의 링크 노드 값을 포함할 수 있다. 즉, 후술하는 것처럼 셋톱박스(100)는 특정 상황 정보 데이터 및 이에 대응되는 액션 아이템을 학습할 수 있는데 학습결과로서 데이터베이스는 신경 네트워크 형태로 저장될 수 있다. 따라서, 데이터베이스는 신경 네트워크 상에서 특정 상황 정보 데이터와 액션 아이템의 매핑을 위한 링크 노드 값을 포함할 수 있다.
셋톱박스(100)는 획득된 액션 아이템에 대한 정보에 따라 기본 단말(200) 또는 외부 IoT 단말(300)을 동작시키기 위한 제어 명령을 생성하여 각 단말로 전송할 수 있다.
또한, 셋톱박스(100)는 모바일 단말(500)과 통신을 수행할 수도 있다. 즉, 셋톱박스(100)는 모바일 단말(500)로부터 제어 신호나 콘텐츠를 수신하거나 모바일 단말(500)로 외부 IoT 단말(300)을 통해 획득된 센싱 데이터를 전송할 수 있다. 또한, 셋톱박스(100)는 모바일 단말(500)로부터 어드레스와 같은 식별 정보를 수신하여 모바일 단말(500)을 소지한 사용자를 식별하는데 사용할 수도 있다.
이하에서는 셋톱박스(100)의 구성 및 동작을 좀더 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 셋톱박스의 구성 및 제어흐름을 도시한 블록도이고, 도 3은 본 발명의 일 실시예에 따른 셋톱박스의 구현 상태를 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 셋톱박스(100)는 방송신호처리부(110), 내장센서(120), 통신부(130), 프로세서(140)를 포함한다.
방송신호처리부(110)는 방송 신호를 수신하고 처리하여 기본 단말(200)로 제공하는 구성이다. 방송신호처리부(110)는 튜너를 통해 방송 신호를 수신할 수도 있으나 셋톱박스(100)가 IPTV 서비스를 제공하는 경우 인터넷을 통해 웹 서버로부터 방송 콘텐츠를 수신할 수 있다. 방송신호처리부(110)는 수신된 방송 신호를 적절히 처리하여 유무선 인터페이스 또는 네트워크를 통해 기본 단말(200)로 제공할 수 있다.
내장센서(120)는 셋톱박스에 내장된 센서이다. 일 실시예로 내장센서(120)는 적외선 카메라 또는 근적외선 카메라를 내장 이미지 센서로서 포함할 수 있다. 이처럼 적외선 카메라 또는 근적외선 카메라를 사용하면 실내가 어두운 경우도 실내 상황을 분석하는데 수월한 이점이 있다. 근적외선 카메라를 내장 이미지 센서로 사용하는 경우 850nm 전후의 근적외선 신호를 감지할 수 있다. 또한, 내장센서(120)는 CCD 센서(Charge Coupled Device Image Sensor)나 CMOS 센서(Complementary Metal Oxide Semiconductor Sensor) 중 적어도 하나로 구현될 수도 있다.
또한, 내장센서(120)는 마이크로폰을 내장 오디오 센서로서 포함할 수도 있다. 마이크로폰은 사용자의 음성이나 동물의 소리, 주변 환경 잡음을 수집할 수 있다. 마이크로폰이 사용자의 음성을 수집하는 경우 도 3에 도시된 바와 같이 셋톱박스(100)에 음성 인식(speech recognition) 기술이 적용될 수 있다. 이 경우 음성인식모듈(미도시) 또는 후술할 프로세서(140)는 수집된 음성을 인식할 수 있다. 이와 달리 수집된 음성 데이터를 외부 서버(미도시)로 보내 음성 인식 결과를 전달받을 수도 있다.
통신부(130)는 외부 IoT 단말(300)과 통신을 수행하는 구성이다. 특히, 통신부(130)는 저전력 통신 기술을 이용하여 외부 IoT 단말(300)과 통신을 수행할 수 있다. 예를 들어, 도 3에 도시된 바와 같이 Z-Wave, 와이파이(Wifi), 블루투스(Bluetooth), 지그비(Zigbee) 중 적어도 일부의 통신 프로토콜을 사용하여 통신을 수행할 수 있다. 다만, 이와 다른 통신 기술 적용을 배제하는 것은 아니다.
또한, 통신부(130)는 필요에 따라 사용자가 보유하고 있는 모바일 단말(500)과 통신을 수행할 수도 있다. 예를 들어, 통신부(130)는 모바일 단말(500)로부터 제어 신호나 콘텐츠를 수신할 수 있고, 모바일 단말(500)로 외부 IoT 단말(300)을 통해 획득된 센싱 데이터를 전송할 수 있다. 또한, 통신부(130)는 모바일 단말(500)로부터 어드레스와 같은 식별 정보를 수신할 수 있다. 모바일 단말(500)과의 통신도 전술한 통신 프로토콜을 포함하는 다양한 방식으로 이루어질 수 있다. 예를 들어, 통신부(130)는 LTE 기술을 이용하여 모바일 단말(500)과 통신할 수 있다.
프로세서(140)는, 내장센서(120) 또는 외부 IoT 단말(300)을 통해 적어도 하나의 센싱 데이터가 획득되면, 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 특정 상황 정보 데이터를 획득할 수 있다. 이때, 프로세서(140)는 상기 획득된 적어도 하나의 센싱 데이터를 직접 분석할 수도 있고, 다른 장치에 의해 분석된 결과를 수신할 수도 있다. 상기 적어도 하나의 센싱 데이터는 빅데이터 기술에 의해 분석될 수도 있다. 여기서 특정 상황 정보는 전술한 바와 같이 셋톱박스(100)가 놓여 있는 실내 공간 내에서의 특정한 콘텍스트 정보(context information)를 의미한다. 즉, 셋톱박스(100)가 속해있는 실내 공간 내의 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 정보를 말한다.
또한, 프로세서(140)는, 상황 정보 데이터의 유형별로 매핑되어 있는 기본 단말(200)의 액션 아이템 또는 외부 IoT 단말(300)의 액션 아이템에 대한 정보를 기록하고 있는 데이터베이스를 참조로 하여, 특정 상황 정보 데이터에 대응되는 기본 단말(200)의 액션 아이템 또는 외부 IoT 단말(300)의 액션 아이템을 수행하거나 수행하도록 지원할 수 있다. 전술한 바와 같이 데이터베이스는 외부 서버에 별도로 존재할 수도 있고 셋톱박스(100)가 데이터베이스를 저장할 수도 있다. 다만, 인물의 상태를 나타내는 정보인 상황 정보 데이터의 경우 프라이버시 문제가 있다고 판단될 수 있는바 셋톱박스(100)가 자체 데이터베이스를 참조하도록 할 수도 있다.
또한, 도 3을 참조하면, 본 발명의 일 실시예에 따른 프로세서(140)는 인터프리터와 AOT(Ahead on Time)를 지원하는 버츄얼 머신 코드를 이용하여 자바로 작성된 어플리케이션을 동작시킬 수 있다. 종래의 자바 버추얼 머신(JVM)와 유사한 버츄얼 머신인 달빅(Dalvik)의 경우에도 JIT(Just in Time)을 지원함으로 반복되는 명령어 수행 성능은 개선할 수 있었으나, 이로 인해 어플리케이션을 실행할 때마다 매번 컴파일이 필요하여 하드웨어의 성능을 최대한 발휘하기 어려웠다. 또한, 컴파일에 필요한 별도의 메모리가 필요하며 어플리케이션을 컴파일한 바이트코드에서 프로그램 소스 코드의 추출이 가능하여 보안에 취약한 문제점이 있었다. 본 발명의 일 실시예에 따른 프로세서(140)는 AOT 방식으로 컴파일을 수행하므로 매번 컴파일을 수행할 필요가 없게 되어 상기와 같은 문제점을 해결할 수 있게 된다.
또한, 본 발명의 일 실시예에 따른 프로세서(140)는, 안드로이드 운영체제에서 채택한 자바-달빅의 가속 기술인 ART(Android RunTime)와 같이 어플리케이션을 인스톨할 때 컴파일을 수행하지 않고 어플리케이션 서버에 의해 미리 컴파일된 어플리케이션을 다운로드 받아 로딩한다. 따라서, 종래의 ART에 비해서도 실행 성능이 향상된다. 이때 컴파일된 파일은 운영체제가 사용하는 자연어로 번역된 코드로 구성되어 있을 수 있다. 예를 들어, 프로세서(140)가 다운로드 받은 실행 파일은 자연어인 C/C++로 구성되어 있을 수 있고, 이로 인해 JNI를 사용할 필요가 없게 되므로 어플리케이션 실행 속도가 한층 빨라질 수 있다.
한편, 상기 획득된 특정 상황 정보 데이터에 매핑되는 정보가 데이터베이스에 없거나 상기 획득된 특정 상황 정보 데이터를 제대로 인식하지 못하는 것으로 판단되는 경우가 있을 수 있다. 이러한 경우는 셋톱박스(100)가 처음 겪는 콘텍스트인 경우로 볼 수 있으므로, 프로세서(140)는 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 셋톱박스(100)가 속해있는 실내 공간 내의 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 신규 특정 상황 정보 데이터를 생성할 수 있다. 또한, 프로세서(140)는 신규 특정 상황 정보 데이터를 저장함에 있어서 기본 단말(200)에 대하여 가해지는 신규 액션 아이템 또는 외부 IoT 단말(300)에 가해지는 신규 액션 아이템을 학습하여 양자를 대응시켜 데이터베이스에 저장할 수도 있다.
획득된 특정 상황 정보 데이터에 매핑되는 정보가 데이터베이스에 없는 경우는 주로 셋톱박스(100)가 실내에 설치된지 얼마 되지 않아 아직 상황 정보와 액션 아이템에 대한 학습이 이루어지지 않은 경우라고 볼 수 있다. 예를 들어, 사용자가 TV를 시청하던 중 전화벨 소리가 마이크로폰을 통해 수집된 경우, 데이터베이스에는 아직 특정 상황 정보 데이터에 매핑되는 기본 단말(200)의 액션 아이템이 저장되어 있지 않을 수 있다. 이때 사용자가 기본 단말(200)의 볼륨을 줄이는 조작을 수행한 경우, 프로세서(140)는 이와 같은 액션 아이템의 패턴을 파악한 후 신규 특정 상황 정보 데이터를 볼륨을 줄이는 신규 액션 아이템과 대응하여 데이터베이스에 저장함으로써 새로운 상황 정보와 액션 아이템을 학습할 수 있다. 이러한 방식으로 셋톱박스(100)는 신규 특정 상황 정보 데이터와 이에 대응되는 신규 액션 아이템을 학습하게 된다.
한편, 내장센서(120)는 리모컨 신호 감지용 센서(미도시)를 포함하거나 외부 IoT 단말(300) 중 적어도 하나는 리모컨 신호 감지용 센서(미도시)를 포함할 수 있다. 리모컨 신호 감지용 센서는 실내 공간의 근적외선 또는 적외선 리모컨 신호를 감지할 수 있다. 상기 리모컨 신호 감지용 센서를 통해 감지된 리모컨 신호에 대응하여 수행되는 기본 단말(200) 또는 외부 IoT 단말(300) 중 적어도 하나의 신규 액션 아이템 정보가 획득되면, 프로세서(140)는, 신규 특정 상황 정보 데이터를 생성하고 상기 생성된 신규 특정 상황 정보 데이터를 기본 단말(200) 또는 외부 IoT 단말(300) 중 상기 적어도 하나의 신규 액션 아이템 정보와 매핑하여 데이터베이스에 저장할 수 있다.
예를 들어, 실내 온도가 28도인 경우 사용자 A가 리모컨을 통해 에어컨을 켰다고 가정하자. 실내 온도가 28도에 사용자 A가 존재한다는 정보에 대응되는 특정 상황 정보 데이터가 데이터베이스 상에 기존재하지 않은 경우, 프로세서(140)는 리모컨 신호 감지용 센서를 통해 에어컨을 가동한 리모컨 신호를 획득하고 획득된 리모컨 신호에 대응하여 에어컨을 동작시키는 액션 정보를 신규 액션 아이템 정보로서 획득할 수 있다. 이 경우 프로세서(140)는 실내 온도가 28도이고 사용자 A가 존재함을 나타내는 신규 특정 상황 정보 데이터를 생성하고 상기 생성된 신규 특정 상황 정보 데이터를 에어컨을 동작시키는 신규 액션 아이템 정보와 매핑하여 데이터베이스에 저장할 수 있다. 이후 실내 온도가 다시 28도가 된 상태에서 사용자 A가 존재하면, 데이터베이스에 저장된 상기 신규 특정 상황 정보 데이터에 매핑되는 신규 액션 아이템 정보를 참조하여 에어컨을 동작시키기 위한 제어 신호를 생성하여 전송할 수 있다.
이와 달리, 특정 상황 정보 데이터에 해당되는 상태에서, 상기 리모컨 신호 감지용 센서를 통해 감지된 리모컨 신호에 대응하여 수행되는 기본 단말(200) 또는 외부 IoT 단말(300) 중 적어도 하나의 신규 액션 아이템 정보가 획득되면, 프로세서(140)는, 상기 특정 상황 정보 데이터를 기본 단말(200) 또는 외부 IoT 단말(300) 중 적어도 하나의 신규 액션 아이템 정보와 추가적으로 매핑하여 데이터베이스를 갱신할 수도 있다.
실내 온도가 28도인 경우 사용자 B가 리모컨을 통해 에어컨을 키는 예를 고려하자. 여기서, 실내 온도가 28도이고 사용자 B가 존재한다는 정보에 대응되는 특정 상황 정보 데이터가 미리 생성되어 있고, 이에 대응되는 액션 아이템이 선풍기를 켜도록 설정되어 있다고 가정하자. 이때, 실내 온도가 28도이고 사용자 B가 존재하는 상태에서, 프로세서(140)가 리모컨 신호 감지용 센서를 통해 에어컨을 가동한 리모컨 신호를 획득하였다고 가정하면, 프로세서(140)는 획득된 리모컨 신호에 대응하여 에어컨을 동작시키는 액션 정보를 신규 액션 아이템 정보로서 획득할 수 있다. 이 경우 프로세서(140)는 실내 온도가 28도이고 사용자 B가 존재함을 나타내는 특정 상황 정보 데이터가 이미 존재하므로 상기 특정 상황 정보 데이터를 에어컨을 동작시키는 신규 액션 아이템 정보와 추가적으로 매핑하여 데이터베이스를 갱신할 수 있다. 여기서, "추가적"이라고 언급한 이유는, 이미 상기 특정 상황 정보 데이터에 매핑되어 있는 액션 아이템(즉, 선풍기 켜기)가 존재하는 상황에서 추가로 "에어컨 켜기"라는 액션 아이템이 매핑될 수 있기 때문이다. 한편, 며칠 후에 실내 온도가 다시 28도가 되면, 프로세서(140)는 데이터베이스에 저장된 상기 특정 상황 정보 데이터에 매핑되는 신규 액션 아이템 정보를 참조하여 에어컨을 동작시키기 위한 제어 신호를 생성하여 전송할 수 있다. 물론, 기존대로 선풍기도 동시에 동작시킬 수도 있을 것이다.
한편, 본 발명의 일 실시예에 따른 셋톱박스(100)는 리모컨 신호를 생성하여 송출하는 리모컨 신호 송출부(미도시)를 더 포함할 수도 있다. 이때, 프로세서(140)는, 상기와 같이 데이터베이스가 갱신된 후, 상기 특정 상황 정보 데이터가 획득되면, 리모컨 신호 송출부를 통해 기본 단말(200) 또는 외부 IoT 단말(300) 중 적어도 하나의 신규 액션 아이템을 수행하기 위한 리모컨 신호를 생성하여 송출하거나 송출하도록 지원할 수도 있다.
이처럼 본 발명에 따른 셋톱박스(100)는 기본 단말(200) 또는 외부 IoT 단말(300)의 제어를 위한 리모컨 신호를 학습하여 특정 상황에서 사용자의 리모컨 조작 없이도 자동적으로 기본 단말(200) 또는 외부 IoT 단말(300)의 동작을 제어할 수 있게 된다.
한편, 프로세서(140)는, 획득된 특정 상황 정보 데이터에 대응되는 기본 단말(200)의 액션 아이템 또는 외부 IoT 단말(300)의 액션 아이템이 수행된 후 소정 횟수 이상 상기 수행된 기본 단말(200)의 액션 아이템 또는 상기 외부 IoT 단말(300)의 액션 아이템에 대하여 수정이 이루어질 경우, 상기 획득된 특정 상황 정보 데이터에 상기 수정된 액션 아이템이 대응되도록 학습하여 데이터베이스에 저장되도록 할 수 있다. 획득된 특정 상황 정보 데이터에 대응되는 기본 단말(200)의 액션 아이템 또는 외부 IoT 단말(300)의 액션 아이템이 수행된 후 소정 횟수 이상 상기 수행된 기본 단말(200)의 액션 아이템 또는 상기 외부 IoT 단말(300)의 액션 아이템에 대하여 수정이 이루어지는 경우는 특정 상황 정보 데이터에 대한 매핑이 잘못되었거나 사용자가 액션 패턴을 바꾸기를 원하는 경우일 수 있다. 따라서 이 경우 프로세서(140)는 상기 획득된 특정 상황 정보 데이터에 상기 수정된 액션 아이템이 대응되도록 학습하여 데이터베이스에 저장되도록 할 수 있다.
예를 들어, 사용자가 TV를 시청하던 중 전화벨 소리가 마이크로폰을 통해 수집된 경우, 데이터베이스에는 볼륨을 줄이는 액션 아이템이 저장되어 있을 수 있고 이에 따라 프로세서(140)는 이러한 경우 볼륨을 줄이는 액션 아이템을 수행할 수 있다. 그런데, 볼륨을 줄이는 액션 아이템이 자동으로 수행된 후 수동으로 3번 이상 사용자가 TV를 끈 경우, 사용자는 동일한 상황에서 더 이상 볼륨을 줄이는 것이 아닌 TV를 끄는 것을 원하고 있음을 알 수 있다. 이러한 경우 프로세서(140)는 특정 상황 정보 데이터에 수정된 액션 아이템인 TV를 끄는 액션 아이템을 대응되도록 학습하여 데이터베이스에 저장할 수 있다.
이처럼 본 발명의 실시예에 따른 셋톱박스(100)는 상황 정보와 대응되는 액션 아이템을 학습하여 동작할 수 있으므로 애완동물처럼 사용자와 인터랙션을 할 수 있는 사용자 경험(user experience)을 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 셋톱박스가 촬영된 적외선 또는 근적외선 이미지를 분석하거나 마이크로폰에 의해 획득된 오디오를 분석한 결과로서 특정 상황 정보 데이터를 획득하는 개념을 도시한 도면이다.
우선, 전술한 내장센서(120)는 적외선 카메라 또는 근적외선 카메라를 내장 이미지 센서로서 포함하거나 외부 IoT 단말(300) 중 적어도 하나는 적외선 카메라 또는 근적외선 카메라를 외장 이미지 센서로서 포함할 수 있다. 프로세서(140)는 상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 일정 시간 간격으로 지속적으로 실내 공간을 촬영한 이미지를 빅데이터로서 획득할 수 있다. 또한, 프로세서(140)는, 도 4에 도시된 바와 같이 상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 실내 공간에 대한 적어도 하나의 적외선 또는 근적외선 이미지를 빅데이터로서 분석한 결과로서 특정 상황 정보 데이터를 획득할 수 있다.
예를 들어, 프로세서(140)는, 상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 적어도 하나의 적외선 또는 근적외선 이미지를 빅데이터로서 분석한 결과 사용자가 미성년임을 나타내는 특정 상황 정보 데이터를 획득할 수 있다. 이 경우, 예를 들어, 프로세서(140)는 기본 단말(200) 또는 외부 IoT 단말(300)의 동작 상황을 다른 외부 단말(예를 들어, 모바일 단말)로 통지하는 액션 아이템을 수행하거나 수행하도록 지원할 수 있다. 또는 기본 단말(200) 또는 외부 IoT 단말(300)의 동작을 제한(예를 들어, TV의 특정 채널 시청을 제한)하는 액션 아이템을 수행하거나 수행하도록 지원할 수도 있다.
또한, 상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 적어도 하나의 적외선 또는 근적외선 이미지를 빅데이터로서 분석한 결과 식별된 사람이 아기임을 나타내는 특정 상황 정보 데이터가 획득되면, 프로세서(140)는, 예를 들어, 기본 단말(120) 중 하나인 디스플레이 장치의 전원을 온(On)하거나 특정 채널로 설정하여 특정 콘텐츠를 디스플레이하는 액션 아이템 및 스피커를 통해 특정 사운드를 출력하는 액션 아이템 중 적어도 일부를 수행하거나 수행하도록 지원할 수 있다.
한편, 도 4의 좌측하단에 표시된 바와 같이, 내장센서(120)는 마이크로폰을 내장 오디오 센서로서 더 포함하거나 외부 IoT 단말(300) 중 적어도 하나는 마이크로폰을 외장 오디오 센서로서 포함할 수 있다. 이때, 프로세서(140)는, 상기 내장 오디오 센서 또는 상기 외장 오디오 센서를 통해 획득된 음성 정보를 추가로 빅데이터로서 분석한 결과로서 특정 상황 정보 데이터를 획득할 수 있다. 예를 들어, 도 4에서 획득된 적외선 또는 근적외선 이미지 및/또는 음성 정보를 분석한 결과로서 애완견이 짖는 특정 상황 정보 데이터를 획득할 수 있다.
또한, 도 4에 도시되지는 않았으나, 프로세서(140)는, 다른 외부 IoT 단말(300) 또는 내장센서(120)를 통해 획득된 센싱 데이터 및 기타 정보를 추가로 분석한 결과로서 특정 상황 정보 데이터를 획득할 수도 있을 것이다. 즉, 프로세서(140)는, 외부 IoT 단말(300) 중 적어도 하나인 온도 센서를 통해 획득된 온도 정보, 외부 IoT 단말(300) 중 적어도 하나인 조도 센서를 통해 획득된 조도 정보, 외부 IoT 단말(300) 중 적어도 하나인 진동 센서를 통해 획득된 진동 정보, 외부 IoT 단말(300) 중 적어도 하나인 위치 센서를 통해 획득된 위치 정보, 외부 IoT 단말(300) 중 적어도 하나인 화재 감지 센서를 통해 획득된 화재 정보, 외부 IoT 단말(300) 중 적어도 하나인 출입 센서를 통해 획득된 출입 정보, 외부 IoT 단말(300)로부터 획득된 에너지 소모량 정보, TV 시청 정보, 날짜/시간 정보 및 날씨 정보 중 적어도 일부를 더 참조하여 상기 특정 상황 정보 데이터를 획득할 수 있다. 이처럼 본 발명은 멀티모달 정보를 획득하여 분석한 결과로서 특정 상황 정보를 획득할 수 있다.
예를 들어, 프로세서(140)는, 상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 적어도 하나의 적외선 또는 근적외선 이미지와 출입 센서를 통해 획득된 출입 정보 및 날짜/시간 정보를 빅데이터로서 분석한 결과로서 사용자가 출근 준비 중임을 나타내거나 사용자가 퇴근 했음을 나타내는 특정 상황 정보 데이터를 획득할 수 있다. 이때, 프로세서(140)는, 기본 단말(120) 중 하나인 디스플레이 장치의 전원을 온(On)하거나 특정 채널로 설정하여 콘텐츠를 디스플레이하는 액션 아이템, 스피커를 통해 특정 사운드를 출력하는 액션 아이템 및 외부 IoT 단말(300) 중 하나인 조명 장치의 전원을 온/오프 시키는 액션 아이템 중 적어도 일부를 수행하거나 수행하도록 지원할 수 있다.
이와 유사하게 도둑이 침입한 상황을 나타내는 특정 상황 정보 데이터가 획득되면, 프로세서(140)는 경보 발령 액션 아이템, 알림 메시지 송신 액션 아이템 및 방범 신고 액션 아이템 중 적어도 일부를 수행하거나 수행하도록 지원할 수 있다.
또한, 화재가 발생한 상황을 나타내는 특정 상황 정보 데이터가 획득되면, 프로세서(140)는 경보 발령 액션 아이템, 알림 메시지 송신 액션 아이템, 화재 신고 액션 아이템 및 화재 진압 액션 아이템 중 적어도 일부를 수행하거나 수행하도록 지원할 수 있다.
도 4를 참조하면, 프로세서(140)는, 내장센서(120) 중 하나인 내장 마이크로폰 또는 외부 IoT 단말(300) 중 하나인 외장 마이크로폰을 통해 획득된 사운드만을 인식한 결과로서 상기 특정 상황 정보 데이터를 획득할 수도 있다.
예를 들어, 프로세서(140)는 내장 마이크로폰 또는 외장 마이크로폰을 통해 획득된 사운드를 빅데이터로서 분석한 결과로서 특정 상황 정보 데이터를 획득하고 데이터베이스를 참조로 하여 기본 단말(200) 또는 외부 IoT 단말(300)의 채널 변경 동작, 볼륨 조절 동작, 부가 데이터 제공 동작, PPR정보 제공 동작, 화상 통화 동작 및 스피커의 사운드 출력 동작 중 적어도 일부를 수행하거나 수행하도록 지원할 수 있다.
물론, 다른 예로서, 프로세서(140)는, 다른 외부 IoT 단말(300) 또는 내장센서(120)를 통해 획득된 센싱 데이터 및 기타 정보를 추가로 빅데이터로서 분석한 결과로서 특정 상황 정보 데이터를 획득할 수도 있을 것이다.
도 5는 본 발명의 일 실시예에 따른 획득된 적외선 또는 근적외선 이미지나 음성 정보를 분석하여 실내 공간에 존재하는 인물의 특성을 파악함으로써 특정 상황 정보 데이터를 보다 구체적으로 획득하는 개념을 도시한 도면이다.
본 발명의 일 실시예에 따르면, 내장센서(120)는 적외선 카메라 또는 근적외선 카메라를 내장 이미지 센서로서 포함하거나 마이크로폰을 내장 오디오 센서로서 포함하거나, 외부 IoT 단말(300) 중 적어도 하나가 적외선 카메라 또는 근적외선 카메라를 외장 이미지 센서로서 포함하거나 마이크로폰을 외장 오디오 센서로서 포함할 수 있다. 이때, 프로세서(140)는, 도 5에 도시된 바와 같이 상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 실내 공간에 대한 적어도 하나의 적외선 또는 근적외선 이미지를 빅데이터로서 분석하거나 상기 내장 오디오 센서 또는 상기 외장 오디오 센서를 통해 획득된 음성 정보를 빅데이터로서 분석하여 실내 공간 내에 존재하는 인물의 수, 성별, 나이, 행동 중 적어도 일부를 파악하고, 이를 통해 특정 상황 정보 데이터를 획득할 수 있다.
도 6은 획득된 적외선 또는 근적외선 이미지나 획득된 음성 정보를 분석하여 실내 공간에 존재하는 인물의 특성을 파악함으로써 인물의 특성에 맞는 서비스를 제공하는 실시예를 도시한 도면이다.
도 6을 참조하면, 프로세서(140)는 상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 실내 공간에 대한 적어도 하나의 적외선 또는 근적외선 이미지를 빅데이터로서 분석하여 한 명의 사용자가 존재함을 알아내고 성별이 여자이며 나이가 30대임을 파악할 수 있다. 또한, 사용자가 음악을 감상하려는 행동을 취한 경우(예를 들어, 특정 제스처를 취한 경우) 이를 감지하여 30대 여자가 좋아하는 음악을 스피커를 통해 출력하는 액션 아이템을 수행할 수 있다. 기본 단말(200)의 전원이 오프되어 있는 경우도 셋톱박스(100)는 위와 같이 동작할 수 있다. 물론, 도 5에서 설명한 바와 같이, 오디오 센서를 이용하여 이와 같은 서비스를 제공할 수 있을 것이나, 자세한 설명은 생략한다.
한편, 상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 적어도 하나의 적외선 또는 근적외선 이미지를 빅데이터로서 분석하여 사용자가 식별될 수 있고 이러한 사용자 식별 정보는 특정 상황 정보 데이터로 활용될 수 있다. 그런데, 셋톱박스(100)는 사용자가 보유하고 있는 모바일 단말(500)로부터 어드레스와 같은 단말 식별 정보를 획득할 수 있으므로 단말 식별 정보를 통해 사용자를 식별하는 것도 가능하다. 일반적으로 적외선 또는 근적외선 이미지를 분석하는데는 많은 컴퓨팅 자원이 소모될 수 있으므로 후자의 방법은 단말 식별 정보를 통해 효율적으로 사용자를 식별할 수 있는 이점이 있다.
또한, 통신부(130)는 사용자가 보유하고 있는 모바일 단말(500)로부터 단말 식별 정보를 수신하는 외에도 다양한 서비스 제공을 위해 모바일 단말(500) 및 외부 IoT 단말(300)과 인터랙션을 수행할 수 있다. 이하에서는 이러한 실시예를 설명한다.
도 7은 본 발명의 다른 실시예에 따른 셋톱박스, 모바일 단말 및 외부 IoT 단말 사이의 인터랙션을 도시한 개념도이다.
도 7을 참조하면, 인증된 모바일 단말(500)을 통해 제어 신호가 입력되면, 프로세서(140)는 상기 제어 신호에 해당되는 상황 정보 데이터를 인식하고, 상기 인식된 상황 정보 데이터에 대응되는 기본 단말(200)의 액션 아이템 또는 외부 IoT 단말(300)의 액션 아이템을 수행하거나 수행하도록 지원할 수 있다. 이를 통해 사용자는 모바일 단말(500)을 간단히 조작하여 집안의 조명, 에어컨, 세탁기 등 외부 IoT 단말(300)을 제어할 수 있다.
또한, 프로세서(140)는, 인증된 모바일 단말(500)로부터 요청이 있으면, 내장센서(120) 또는 외부 IoT 단말(300)을 통해 획득된 적어도 하나의 센싱 데이터를 상기 인증된 모바일 단말(500)로 전송할 수 있다. 예를 들어, 프로세서(140)는 인증된 모바일 단말(500)로부터 요청이 있으면, 외부 IoT 단말(300)인 온도 센서를 통해 획득된 집안의 온도 정보를 인증된 모바일 단말(500)로 전송할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따라 모바일 단말의 콘텐츠를 기본 단말을 통해 디스플레이하는 액션 아이템을 수행하는 동작을 도시한 도면이다.
본 발명의 또 다른 실시예에 따르면, 특정 상황 정보 데이터가 사용자가 보유하고 있는 모바일 단말(500)에 관한 것(가령, 모바일 단말(500)을 흔드는 패턴에 대응되는 상황 정보 데이터, 모바일 단말(500)에 소정의 입력이 들어오는 상황 정보 데이터 등)일 경우, 프로세서(140)는, 모바일 단말(500)을 통해 생성된 콘텐츠에 대한 영상을 기본 단말(200)을 통해 디스플레이하거나 콘텐츠에 대한 사운드를 출력하는 액션 아이템을 수행하거나 수행하도록 지원할 수 있다.
가령, 도 8을 참조하면, 프로세서(140)는 모바일 단말(500)을 통해 촬영된 이미지를 기본 단말(200) 중 하나인 디스플레이 장치를 통해 디스플레이하는 액션 아이템을 수행하거나 수행하도록 지원할 수 있다. 따라서, 사용자는 원격에 위치한 가족들에게 자신이 모바일 단말(500)을 통해 촬영한 이미지를 전송하여 가족들이 시청하는 TV에 표시하도록 할 수 있다. 또한, 예를 드렁, 사용자가 퇴근한 상황에서 모바일 단말(500)을 통해 촬영된 이미지가 획득되면, 프로세서(140)는 모바일 단말(500)을 통해 촬영된 이미지를 기본 단말(200)을 통해 디스플레이하는 액션 아이템을 수행하거나 수행하도록 지원할 수 있다. 다만, 2인 이상이 실내 공간에 있는 경우는 프라이버시 문제를 고려하여 이미지를 디스플레이하지 않을 수도 있다.
도 9는 셋톱박스가 획득한 이미지를 모바일 단말로 제공하고 모바일 단말로부터 수신된 제어 신호에 따른 액션 아이템을 수행하는 실시예를 나타낸 도면이다.
도 9를 참조하면, 프로세서(140)는 인증된 모바일 단말로부터 요청이 있는 경우 내장센서(120) 또는 외부 IoT 단말(300)을 통해 획득된 적어도 하나의 이미지를 인증된 모바일 단말로 전송할 수 있다. 예를 들어, 사용자는 모바일 단말(500)를 통해 애완견을 촬영한 이미지를 실시간으로 받아볼 수 있다. 이때 사용자는 모바일 단말(500)을 통해 제어 신호를 입력할 수 있다. 이처럼 모바일 단말(500)을 통해 제어 신호가 입력되면, 프로세서(140)는, 상기 제어 신호에 해당되는 상황 정보 데이터를 인식하고, 상기 인식된 상황 정보 데이터에 대응되는 기본 단말(200)의 액션 아이템 또는 외부 IoT 단말(300)의 액션 아이템을 수행하거나 수행하도록 지원할 수 있다. 도 9에 도시된 실시예에서 프로세서(140)는 제어 신호에 따라 기본 단말(200)을 통해 애완견이 좋아하는 주인의 이미지를 디스플레이하는 액션 아이템을 수행하고 있다. 또한, 프로세서(140)는 제어 신호에 따라 모바일 단말(500)의 사용자와 애완견의 화상통화를 수행할 수도 있다.
도 10은 IoT 단말의 에너지 사용 정보를 참조로 하여 액션 아이템을 수행하는 실시예를 도시한 도면이다.
도 10을 참조하면, 통신부(130)는 외부 IoT 단말(300) 각각의 에너지 사용 정보를 획득할 수 있다. 통신부(130)는 전기나 가스를 소비하는 외부 IoT 단말(300) 각각으로부터 에너지 사용 정보를 일정 시간 간격으로 또는 요청을 한 후 수신하여 관리할 수 있다. 이와 달리 통신부(130)는 외부 IoT 단말(300) 중 하나인 전력량계나 가스계량기로부터 일정 시간 간격으로 또는 요청 시 에너지 사용 정보를 획득할 수도 있다.
프로세서(140)는, 상기 획득된 외부 IoT 단말(300) 각각의 에너지 사용 정보를 참조로 하여, 기본 단말(200)의 액션 아이템 또는 외부 IoT 단말(300)의 액션 아이템을 수행하거나 수행하도록 지원할 수 있다. 예를 들어, 외부 IoT 단말(300) 중 하나인 전력량계로부터 획득된 전기 사용량을 빅데이터로서 분석한 결과로서 집안에서 현재의 전기 사용량이 소정 수치 이상인 것으로 판단되면, 프로세서(140)는 집안의 특정 전자 기기의 전원을 차단하는 액션 아이템을 수행하거나 수행하도록 지원할 수 있다. 특히, 전술한 바와 같이 셋톱박스(100)가 집안의 전자 기기에 대한 리모컨 신호를 학습한 경우라면, 프로세서(140)는 셋톱박스(100) 또는 외부 IoT 단말(300)의 리모컨 신호 송출부가 상기 특정 전자 기기의 전원을 오프하기 위한 리모컨 신호를 생성하여 송출하도록 제어할 수도 있다.
또한, 획득된 외부 IoT 단말(300) 각각 중 적어도 일부의 에너지 사용 정보가 소정의 조건에 해당하면, 프로세서(140)는, 해당 외부 IoT 단말(300)의 사용 상태에 대한 정보를 사용자가 보유하고 있는 모바일 단말(500)에 제공할 수 있다. 예를 들어, 집안의 에어컨이 과도한 전기를 소비하고 있는 것으로 판단되면 프로세서(140)는 통신부(130)를 통해 사용자의 모바일 단말(500)에 이러한 정보를 제공할 수 있다. 사용자는 모바일 단말(500)을 통해 에어컨을 끄거나 설정 온도를 높이는 등의 제어 명령을 셋톱박스(100)로 전송할 수 있다.
아울러, 프로세서(140)는, 기본 단말(200)로 제공되는 방송 신호에 대한 EPG 정보를 더 획득할 수 있는데, 이 경우 상기 획득된 EPG 정보를 더 참조하여 기본 단말(200)의 액션 아이템 또는 외부 IoT 단말(300)의 액션 아이템을 수행하거나 수행하도록 지원할 수 있다. 이처럼 EPG 정보를 더 참조하게 되면 좀더 정교하게 특정 상황에 맞는 기본 단말(200) 또는 외부 IoT 단말(300)의 액션 아이템을 수행할 수 있다. 예를 들어, 기본 단말(200)로 제공되는 방송 신호의 정확한 날짜(특정 요일에 방송되는 드라마의 경우 특정 요일 정보), 시간 정보(특정 방송의 정확한 시작 시간, 종료 시간과 광고 시간)를 고려하여 기본 단말(200) 또는 외부 IoT 단말(300)의 동작을 제어할 수 있다.
한편, 프로세서(140)는 전술한 방송신호처리부(110), 내장센서(120), 통신부(130) 간의 데이터의 흐름을 제어하는 기능을 더 수행한다. 즉, 프로세서(140)는 셋톱박스(100)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 각 구성이 고유의 기능을 수행하도록 제어한다. 프로세서(140)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 어플리케이션의 소프트웨어 구성을 포함할 수 있다.
이하에서는 본 발명의 다른 실시예에 따른 촬영장치(100’)를 설명한다.
도 11은 본 발명의 다른 실시예에 따른 촬영 장치와 다른 장치들 사이의 인터랙션을 개략적으로 설명하기 위한 개념도이고, 도 12는 본 발명의 다른 실시예에 따른 촬영 장치의 구성 및 제어흐름을 도시한 블록도이다.
참고로, 이러한 본 발명의 다른 실시예에 따른 촬영 장치(100)는 CCTV(Closed Circuit Television) 등을 의미할 수 있으나, 이에 한정되는 것은 아니다.
도 11을 참조하면, 본 발명의 다른 실시예에 따른 촬영 장치(100')는 전술한 셋톱박스(100)와 마찬가지로 유선 또는 무선 네트워크를 통해 다른 장치들과 통신할 수 있다. 촬영 장치(100')는 소정의 공간을 촬영하여 기본 단말(미도시)에 영상 신호를 제공할 수 있다. 기본 단말은 영상 신호를 수신하여 디스플레이할 수 있다. 여기서 소정의 공간은 실내 공간 또는 실외 공간 어느 것도 가능하다. 예를 들어, 촬영 장치(100')는 가정 내부나 가정 외부에 설치될 수 있다.
또한, 촬영 장치(100')는 전술한 셋톱박스(100)와 마찬가지로 적어도 하나의 외부 IoT 단말(300)과 통신할 수 있다. 외부 IoT 단말(300)은 지속적으로 또는 촬영 장치(100')의 요청이 있을 때 촬영 장치(100')에 센싱 데이터를 제공한다. 촬영 장치(100')는 센싱 데이터를 수신하여 분석한 결과로서 특정 상황 정보 데이터를 획득할 수 있다. 특히, 촬영 장치(100')는 복수의 외부 IoT 단말(300)로부터 획득된 멀티모달 센싱 데이터를 분석한 결과로서 특정 상황 정보 데이터를 획득할 수 있다. 또한, 촬영 장치(100')는 데이터베이스 서버(400)와 통신하여 특정 상황 정보 데이터에 매핑되는 기본 단말의 액션 아이템(action item)이나 외부 IoT 단말(300)의 액션 아이템에 대한 정보를 획득할 수도 있다. 물론, 촬영 장치(100')는 자체 저장부에 데이터베이스를 저장하고 이를 참조할 수도 있다. 촬영 장치(100')는 획득된 액션 아이템에 대한 정보에 따라 기본 단말 또는 외부 IoT 단말(300)을 동작시키기 위한 제어 명령을 생성하여 각 단말로 전송할 수 있다.
또한, 촬영 장치(100')는 모바일 단말(500)과 통신을 수행할 수도 있다. 즉, 촬영 장치(100')는 모바일 단말(500)로부터 제어 신호나 콘텐츠를 수신하거나 모바일 단말(500)로 외부 IoT 단말(300)을 통해 획득된 센싱 데이터를 전송할 수 있다. 또한, 촬영 장치(100')는 모바일 단말(500)로부터 어드레스와 같은 식별 정보를 수신하여 모바일 단말(500)을 소지한 사용자를 식별하는데 사용할 수도 있다.
도 12를 참조하면, 본 발명의 다른 실시예에 따른 촬영 장치(100')는 영상 신호 제공부(150), 내장센서(120), 통신부(130), 프로세서(140)를 포함한다.
영상 신호 제공부(150)는 소정의 공간을 촬영하고 영상 신호를 기본 단말로 제공하는 구성이다. 촬영 장치(100')가 CCTV로 구현되는 경우 촬영 장치(100')는 소정의 공간을 촬영하여 얻은 영상 신호를 관제센터나 기타 건물 내의 디스플레이 장치에 제공할 수 있다.
프로세서(140)는 적어도 내장 이미지 센서를 포함하는 내장센서(120) 또는 외부 IoT 단말(300)을 통해 적어도 하나의 센싱 데이터가 획득되면, (i) 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 특정 상황 정보 데이터를 획득하고, (ii) 상황 정보 데이터의 유형별로 매핑되어 있는 기본 단말의 액션 아이템 또는 외부 IoT 단말(300)의 액션 아이템에 대한 정보를 기록하고 있는 데이터베이스를 참조로 하여, 특정 상황 정보 데이터에 대응되는 기본 단말의 액션 아이템 또는 외부 IoT 단말(300)의 액션 아이템을 수행하거나 수행하도록 지원할 수 있다.
프로세서(140), 내장센서(120), 통신부(130)의 구체적인 동작은 앞서 설명한 셋톱박스(100)에 대한 설명과 동일하므로 중복 설명은 생략한다.
이처럼 본 발명의 다른 실시예에 따른 촬영 장치(100')는 소정의 공간에서 획득된 센싱 데이터를 분석하여 촬영 장치(100')가 놓여 있는 콘텍스트 정보(context information)을 식별하고 이에 대응되는 다양한 장치가 콘텍스트 정보에 맞는 동작을 수행하도록 할 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100 : 셋톱박스
110 : 방송신호처리부
120 : 내장센서
130 : 통신부
140 : 프로세서
200 : 기본 단말
300 : 외부 IoT 단말
400 : 데이터베이스 서버
500 : 모바일 단말
100' : 촬영 장치
150 : 영상 신호 제공부

Claims (48)

  1. 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스(set-top box)에 있어서,
    방송 신호를 수신하고 처리하여 상기 기본 단말로 제공하는 방송신호처리부,
    내장센서,
    외부 IoT 단말과 통신을 수행하는 통신부, 및
    상기 내장센서 또는 상기 외부 IoT 단말을 통해 적어도 하나의 센싱 데이터가 획득되면, (i) 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 상기 셋톱박스가 속해있는 실내 공간 내의 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 특정 상황 정보 데이터를 획득하고, (ii) 상황 정보 데이터의 유형별로 매핑되어 있는 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템에 대한 정보를 기록하고 있는 데이터베이스를 참조로 하여, 상기 특정 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 프로세서를 포함하는 셋톱박스.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 특정 상황 정보 데이터에 매핑되는 정보가 상기 데이터베이스에 없거나 상기 획득된 특정 상황 정보 데이터에 대한 매핑이 잘못된 것으로 판단되는 경우, 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 상기 셋톱박스가 속해있는 실내 공간 내의 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 신규 특정 상황 정보 데이터를 생성하고, 상기 기본 단말에 대하여 가해지는 신규 액션 아이템 또는 상기 외부 IoT 단말에 가해지는 신규 액션 아이템과 대응하여 상기 데이터베이스에 저장하는 것을 특징으로 하는 셋톱박스.
  3. 제2항에 있어서,
    상기 내장센서는 리모컨 신호 감지용 센서를 포함하거나 상기 외부 IoT 단말 중 적어도 하나는 리모컨 신호 감지용 센서를 포함하며,
    상기 리모컨 신호 감지용 센서를 통해 감지된 리모컨 신호에 대응하여 수행되는 상기 기본 단말 또는 상기 외부 IoT 단말 중 적어도 하나의 신규 액션 아이템 정보가 획득되면,
    상기 프로세서는,
    상기 신규 특정 상황 정보 데이터를 생성하고 상기 생성된 신규 특정 상황 정보 데이터를 상기 기본 단말 또는 상기 외부 IoT 단말 중 적어도 하나의 신규 액션 아이템 정보와 매핑하여 상기 데이터베이스에 저장하는 것을 특징으로 하는 셋톱박스.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 특정 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템이 수행된 후 소정 횟수 이상 상기 수행된 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템에 대하여 수정이 이루어질 경우, 상기 획득된 특정 상황 정보 데이터에 상기 수정된 액션 아이템이 대응되어 저장되도록 하는 것을 특징으로 하는 셋톱박스.
  5. 제1항에 있어서,
    상기 내장센서는 적외선 카메라 또는 근적외선 카메라를 내장 이미지 센서로서 포함하거나 상기 외부 IoT 단말 중 적어도 하나는 적외선 카메라 또는 근적외선 카메라를 외장 이미지 센서로서 포함하며,
    상기 프로세서는,
    상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 상기 실내 공간에 대한 적어도 하나의 적외선 또는 근적외선 이미지를 분석한 결과로서 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 셋톱박스.
  6. 제5항에 있어서,
    상기 내장센서는 마이크로폰을 내장 오디오 센서로서 더 포함하거나 상기 외부 IoT 단말 중 적어도 하나는 마이크로폰을 외장 오디오 센서로서 포함하며,
    상기 프로세서는,
    상기 내장 오디오 센서 또는 상기 외장 오디오 센서를 통해 획득된 음성 정보를 추가로 분석한 결과로서 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 셋톱박스.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 외부 IoT 단말 중 적어도 하나인 온도 센서를 통해 획득된 온도 정보, 상기 외부 IoT 단말 중 적어도 하나인 조도 센서를 통해 획득된 조도 정보, 외부 IoT 단말 중 적어도 하나인 진동 센서를 통해 획득된 진동 정보, 외부 IoT 단말 중 적어도 하나인 위치 센서를 통해 획득된 위치 정보, 외부 IoT 단말로부터 획득된 에너지 소모량, TV 시청 정보, 날짜/시간 정보 및 날씨 정보 중 적어도 일부를 더 참조하여 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 셋톱박스.
  8. 제1항에 있어서,
    상기 내장센서가 적외선 카메라 또는 근적외선 카메라를 내장 이미지 센서로서 포함하거나 마이크로폰을 내장 오디오 센서로서 포함하거나, 상기 외부 IoT 단말 중 적어도 하나가 적외선 카메라 또는 근적외선 카메라를 외장 이미지 센서로서 포함하거나 마이크로폰을 외장 오디오 센서로서 포함하며,
    상기 프로세서는,
    상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 상기 실내 공간에 대한 적어도 하나의 적외선 또는 근적외선 이미지를 분석하거나 상기 내장 오디오 센서 또는 상기 외장 오디오 센서를 통해 획득된 음성 정보를 분석하여 상기 실내 공간 내에 존재하는 인물의 수, 성별, 나이, 행동 중 적어도 일부를 파악하고, 이를 통해 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 셋톱박스.
  9. 제1항에 있어서,
    상기 통신부는,
    사용자가 보유하고 있는 모바일 단말과 통신을 추가로 수행하며,
    상기 프로세서는,
    상기 모바일 단말을 통해 제어 신호가 입력되면, 상기 제어 신호에 해당되는 상황 정보 데이터를 인식하고, 상기 인식된 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 것을 특징으로 하는 셋톱박스.
  10. 제1항에 있어서,
    상기 특정 상황 정보 데이터가 사용자가 보유하고 있는 모바일 단말에 관한 것일 경우,
    상기 프로세서는,
    상기 모바일 단말을 통해 생성된 콘텐츠에 대한 영상을 상기 기본 단말을 통해 디스플레이하거나 상기 콘텐츠에 대한 사운드를 출력하는 액션 아이템을 수행하거나 수행하도록 지원하는 것을 특징으로 하는 셋톱박스.
  11. 제1항에 있어서,
    상기 프로세서는,
    인증된 모바일 단말로부터 요청이 있으면, 상기 내장센서 또는 상기 외부 IoT 단말을 통해 획득된 적어도 하나의 센싱 데이터를 상기 인증된 모바일 단말로 전송하는 것을 특징으로 하는 셋톱박스.
  12. 제1항에 있어서,
    상기 통신부는,
    상기 외부 IoT 단말 각각의 에너지 사용 정보를 추가로 획득하며,
    상기 프로세서는,
    상기 획득된 외부 IoT 단말 각각의 에너지 사용 정보를 참조로 하여, 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 것을 특징으로 하는 셋톱박스.
  13. 제12항에 있어서,
    상기 획득된 외부 IoT 단말 각각 중 적어도 일부의 에너지 사용 정보가 소정의 조건에 해당하면,
    상기 프로세서는,
    해당 외부 IoT 단말의 사용 상태에 대한 정보를 사용자가 보유하고 있는 모바일 단말에 제공하는 것을 특징으로 하는 셋톱박스.
  14. 제1항에 있어서,
    상기 프로세서는,
    상기 내장센서 중 하나인 내장 마이크로폰 또는 상기 외부 IoT 단말 중 하나인 외장 마이크로폰을 통해 획득된 사운드를 인식한 결과로서 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 셋톱박스.
  15. 제1항에 있어서,
    상기 특정 상황 정보는,
    상기 셋톱박스가 속해있는 거실에 있는 사람이 TV를 시청하고 있는지 여부에 대한 상황 정보, 시청 채널 정보, 시청하는 사람 숫자 정보, 사람이 외출하는 상황 정보, 사람의 재실 정보, 사람의 기상 정보, 거실에 있는 사람이 청소를 하는 상황 정보, 사람이 음악 감상을 하는 상황 정보, 사람이 수면을 취하는 상황 정보, 사람이 요리를 하는 상황 정보, 사람이 운동을 하는 상황 정보, 사람이 식사를 하는 상황 정보, 사람이 휴식을 취하는 상황 정보, 사람이 게임을 하는 상황 정보, 사람이 공부를 하는 상황 정보, 사람이 인터넷 서핑을 하는 상황 정보, 사람이 TV 홈쇼핑을 하는 상황 정보, 사람이 파티를 하는 상황 정보, 사람이 대화를 하는 상황 정보, 사람이 상기 셋톱박스에 가까이 다가오는 상황 정보, 사람이 상기 셋톱박스에서 멀어지는 상황 정보, 사람이 정지해 있는 상황 정보, 사람이 특정 방향을 쳐다보는 상황 정보, 사람이 상기 셋톱박스 앞을 지나가거나 왔다 갔다 하는 상황 정보, 세탁기, 에어컨 등 가전제품이 각각이 동작하는 상황 정보, 출입문이 열리거나 닫히는 상황 정보, 전등이 켜지거나 꺼지는 상황 정보, 가스레인지가 켜지거나 꺼지는 상황 정보, 화재가 발생한 상황 정보, 시청 날짜/시간 정보 중 어느 하나이거나 이들 중 적어도 일부를 조합한 정보인 것을 특징으로 하는 셋톱박스.
  16. 제1항에 있어서,
    상기 내장센서는 리모컨 신호 감지용 센서를 포함하거나 상기 외부 IoT 단말 중 적어도 하나는 리모컨 신호 감지용 센서를 포함하며,
    상기 특정 상황 정보 데이터에 해당되는 상태에서, 상기 리모컨 신호 감지용 센서를 통해 감지된 리모컨 신호에 대응하여 수행되는 상기 기본 단말 또는 상기 외부 IoT 단말 중 적어도 하나의 신규 액션 아이템 정보가 획득되면,
    상기 프로세서는,
    상기 특정 상황 정보 데이터를 상기 기본 단말 또는 상기 외부 IoT 단말 중 적어도 하나의 신규 액션 아이템 정보와 추가적으로 매핑하여 상기 데이터베이스를 갱신하는 것을 특징으로 하는 셋톱박스.
  17. 제16항에 있어서,
    리모컨 신호를 생성하여 송출하는 리모컨 신호 송출부를 더 포함하고,
    상기 프로세서는,
    상기 데이터베이스가 갱신된 후, 상기 특정 상황 정보 데이터가 획득되면, 상기 리모컨 신호 송출부를 통해 상기 기본 단말 또는 상기 외부 IoT 단말 중 적어도 하나의 신규 액션 아이템을 수행하기 위한 리모컨 신호를 생성하여 송출하거나 송출하도록 지원하는 것을 특징으로 하는 셋톱박스.
  18. 제1항에 있어서,
    상기 프로세서는,
    인터프리터와 AOT(Ahead on Time)를 지원하는 버츄얼 머신 코드를 이용하여 동작하는 것을 특징으로 하는 셋톱박스.
  19. 제18항에 있어서,
    상기 프로세서는,
    미리 컴파일된 어플리케이션을 서버로부터 다운받아 실행시키는 것을 특징으로 하는 셋톱박스.
  20. 제1항에 있어서,
    상기 프로세서는,
    상기 기본 단말로 제공되는 방송 신호에 대한 EPG정보를 획득하고,
    상기 획득된 EPG 정보를 더 참조하여 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 것을 특징으로 하는 셋톱박스.
  21. 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스를 이용한 방법에 있어서,
    (a) 상기 셋톱박스가 내장센서 또는 외부 IoT 단말을 통해 적어도 하나의 센싱 데이터를 획득하는 단계,
    (b) 상기 셋톱박스가, 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 상기 셋톱박스가 속해있는 실내 공간 내의 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 특정 상황 정보 데이터를 획득하는 단계, 및
    (c) 상기 셋톱박스가, 상황 정보 데이터의 유형별로 매핑되어 있는 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템에 대한 정보를 기록하고 있는 데이터베이스를 참조로 하여, 상기 특정 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 단계를 포함하는 방법.
  22. 제21항에 있어서,
    상기 (c) 단계는,
    상기 획득된 특정 상황 정보 데이터에 매핑되는 정보가 상기 데이터베이스에 없거나 상기 획득된 특정 상황 정보 데이터에 대한 매핑이 잘못된 것으로 판단되는 경우, 상기 셋톱박스가, 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 상기 셋톱박스가 속해있는 실내 공간 내의 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 신규 특정 상황 정보 데이터를 생성하고, 상기 기본 단말에 대하여 가해지는 신규 액션 아이템 또는 상기 외부 IoT 단말에 가해지는 신규 액션 아이템과 대응하여 상기 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 방법.
  23. 제22항에 있어서,
    상기 내장센서는 리모컨 신호 감지용 센서를 포함하거나 상기 외부 IoT 단말 중 적어도 하나는 리모컨 신호 감지용 센서를 포함하며,
    상기 (c) 단계는,
    상기 리모컨 신호 감지용 센서를 통해 감지된 리모컨 신호에 대응하여 수행되는 상기 기본 단말 또는 상기 외부 IoT 단말 중 적어도 하나의 신규 액션 아이템 정보가 획득되면, 상기 신규 특정 상황 정보 데이터를 생성하고 상기 생성된 신규 특정 상황 정보 데이터를 상기 기본 단말 또는 상기 외부 IoT 단말 중 적어도 하나의 신규 액션 아이템 정보와 매핑하여 상기 데이터베이스에 저장하는 것을 특징으로 하는 방법.
  24. 제21항에 있어서,
    (d) 상기 셋톱박스가, 상기 획득된 특정 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템이 수행된 후 소정 횟수 이상 상기 수행된 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템에 대하여 수정이 이루어질 경우, 상기 획득된 특정 상황 정보 데이터에 상기 수정된 액션 아이템을 대응시켜 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  25. 제21항에 있어서,
    상기 내장센서는 적외선 카메라 또는 근적외선 카메라를 내장 이미지 센서로서 포함하거나 상기 외부 IoT 단말 중 적어도 하나는 적외선 카메라 또는 근적외선 카메라를 외장 이미지 센서로서 포함하며,
    상기 (b) 단계는,
    상기 셋톱박스가, 상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 상기 실내 공간에 대한 적어도 하나의 적외선 또는 근적외선 이미지를 분석한 결과로서 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 방법.
  26. 제25항에 있어서,
    상기 내장센서는 마이크로폰을 내장 오디오 센서로서 더 포함하거나 상기 외부 IoT 단말 중 적어도 하나는 마이크로폰을 외장 오디오 센서로서 포함하며,
    상기 (b) 단계는,
    상기 셋톱박스가, 상기 내장 오디오 센서 또는 상기 외장 오디오 센서를 통해 획득된 음성 정보를 추가로 분석한 결과로서 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 방법.
  27. 제25항에 있어서,
    상기 (b) 단계는,
    상기 셋톱박스가, 상기 외부 IoT 단말 중 적어도 하나인 온도 센서를 통해 획득된 온도 정보, 상기 외부 IoT 단말 중 적어도 하나인 조도 센서를 통해 획득된 조도 정보, 외부 IoT 단말 중 적어도 하나인 진동 센서를 통해 획득된 진동 정보, 외부 IoT 단말 중 적어도 하나인 위치 센서를 통해 획득된 위치 정보, 외부 IoT 단말로부터 획득된 에너지 소모량, TV 시청 정보, 날짜/시간 정보 및 날씨 정보 중 적어도 일부를 더 참조하여 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 방법.
  28. 제21항에 있어서,
    상기 내장센서가 적외선 카메라 또는 근적외선 카메라를 내장 이미지 센서로서 포함하거나 마이크로폰을 내장 오디오 센서로서 포함하거나, 상기 외부 IoT 단말 중 적어도 하나가 적외선 카메라 또는 근적외선 카메라를 외장 이미지 센서로서 포함하거나 마이크로폰을 외장 오디오 센서로서 포함하며,
    상기 (b) 단계는,
    상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 상기 실내 공간에 대한 적어도 하나의 적외선 또는 근적외선 이미지가 분석되거나 상기 내장 오디오 센서 또는 상기 외장 오디오 센서를 통해 획득된 음성 정보가 분석되어 상기 실내 공간 내에 존재하는 인물의 수, 성별, 나이, 행동 중 적어도 일부가 파악되고, 이를 통해 상기 특정 상황 정보 데이터가 획득되도록 하는 것을 특징으로 하는 방법.
  29. 제21항에 있어서,
    (e) 상기 셋톱박스가, 모바일 단말을 통해 제어 신호가 입력되면, 상기 제어 신호에 해당되는 상황 정보 데이터를 인식하고, 상기 인식된 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  30. 제21항에 있어서,
    상기 특정 상황 정보 데이터가 사용자가 보유하고 있는 모바일 단말에 관한 것일 경우,
    상기 (c) 단계는,
    상기 셋톱박스가, 상기 모바일 단말을 통해 생성된 콘텐츠에 대한 영상을 상기 기본 단말을 통해 디스플레이하거나 상기 콘텐츠에 대한 사운드를 출력하는 액션 아이템을 수행하거나 수행하도록 지원하는 것을 특징으로 하는 방법.
  31. 제21항에 있어서,
    (f) 상기 셋톱박스가, 인증된 모바일 단말로부터 요청이 있으면, 상기 내장센서 또는 상기 외부 IoT 단말을 통해 획득된 적어도 하나의 센싱 데이터를 상기 인증된 모바일 단말로 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  32. 제21항에 있어서,
    상기 (c) 단계는,
    상기 외부 IoT 단말 각각의 에너지 사용 정보가 추가로 획득되면, 상기 프로세서가, 상기 획득된 외부 IoT 단말 각각의 에너지 사용 정보를 참조로 하여, 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 것을 특징으로 하는 방법.
  33. 제32항에 있어서,
    상기 (c) 단계는,
    상기 획득된 외부 IoT 단말 각각 중 적어도 일부의 에너지 사용 정보가 소정의 조건에 해당하면, 상기 셋톱박스는, 해당 외부 IoT 단말의 사용 상태에 대한 정보를 사용자가 보유하고 있는 모바일 단말에 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  34. 제21항에 있어서,
    상기 (b) 단계는,
    상기 셋톱박스가, 상기 내장센서 중 하나인 내장 마이크로폰 또는 상기 외부 IoT 단말 중 하나인 외장 마이크로폰을 통해 획득된 사운드를 인식한 결과로서 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 방법.
  35. 제21항에 있어서,
    상기 특정 상황 정보는,
    상기 셋톱박스가 속해있는 거실에 있는 사람이 TV를 시청하고 있는지 여부에 대한 상황 정보, 시청 채널 정보, 시청하는 사람 숫자 정보, 사람이 외출하는 상황 정보, 사람의 재실 정보, 사람의 기상 정보, 거실에 있는 사람이 청소를 하는 상황 정보, 사람이 음악 감상을 하는 상황 정보, 사람이 수면을 취하는 상황 정보, 사람이 요리를 하는 상황 정보, 사람이 운동을 하는 상황 정보, 사람이 식사를 하는 상황 정보, 사람이 휴식을 취하는 상황 정보, 사람이 게임을 하는 상황 정보, 사람이 공부를 하는 상황 정보, 사람이 인터넷 서핑을 하는 상황 정보, 사람이 TV 홈쇼핑을 하는 상황 정보, 사람이 파티를 하는 상황 정보, 사람이 대화를 하는 상황 정보, 사람이 상기 셋톱박스에 가까이 다가오는 상황 정보, 사람이 상기 셋톱박스에서 멀어지는 상황 정보, 사람이 정지해 있는 상황 정보, 사람이 특정 방향을 쳐다보는 상황 정보, 사람이 상기 셋톱박스 앞을 지나가거나 왔다 갔다 하는 상황 정보, 세탁기, 에어컨 등 가전제품이 각각이 동작하는 상황 정보, 출입문이 열리거나 닫히는 상황 정보, 전등이 켜지거나 꺼지는 상황 정보, 가스레인지가 켜지거나 꺼지는 상황 정보, 화재가 발생한 상황 정보, 시청 날짜/시간 정보 중 어느 하나이거나 이들 중 적어도 일부를 조합한 정보인 것을 특징으로 하는 방법.
  36. 제21항에 있어서,
    상기 내장센서는 리모컨 신호 감지용 센서를 포함하거나 상기 외부 IoT 단말 중 적어도 하나는 리모컨 신호 감지용 센서를 포함하며,
    (g) 상기 특정 상황 정보 데이터에 해당되는 상태에서, 상기 리모컨 신호 감지용 센서를 통해 감지된 리모컨 신호에 대응하여 수행되는 상기 기본 단말 또는 상기 외부 IoT 단말 중 적어도 하나의 신규 액션 아이템 정보가 획득되면, 상기 특정 상황 정보 데이터를 상기 기본 단말 또는 상기 외부 IoT 단말 중 적어도 하나의 신규 액션 아이템 정보와 추가적으로 매핑하여 상기 데이터베이스를 갱신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  37. 제36항에 있어서,
    (h) 상기 데이터베이스가 갱신된 후, 상기 특정 상황 정보 데이터가 획득되면, 리모컨 신호 송출부를 통해 상기 기본 단말 또는 상기 외부 IoT 단말 중 적어도 하나의 신규 액션 아이템을 수행하기 위한 리모컨 신호를 생성하여 송출하거나 송출하도록 지원하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  38. 제21항에 있어서,
    (c0) 상기 기본 단말로 제공되는 방송 신호에 대한 EPG정보를 획득하는 단계를 더 포함하고,
    상기 (c) 단계는,
    상기 획득된 EPG 정보를 더 참조하여 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 것을 특징으로 하는 방법.
  39. 제21항 내지 제38항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  40. 제39항에 있어서,
    상기 기록 매체는,
    상기 특정 상황 정보를 구성하는 빅데이터로부터 학습되어 갱신 및 저장된 신경 네트워크의 링크 노드 값을 포함하는 것을 특징으로 하는 기록 매체.
  41. 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 촬영 장치에 있어서,
    소정의 공간을 촬영한 영상 신호를 기본 단말로 제공하는 영상 신호 제공부,
    적어도 내장 이미지 센서를 포함하는 내장센서,
    외부 IoT 단말과 통신을 수행하는 통신부, 및
    상기 내장센서 또는 상기 외부 IoT 단말을 통해 적어도 하나의 센싱 데이터가 획득되면, (i) 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 특정 상황 정보 데이터를 획득하고, (ii) 상황 정보 데이터의 유형별로 매핑되어 있는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템에 대한 정보를 기록하고 있는 데이터베이스를 참조로 하여, 상기 특정 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 프로세서를 포함하는 촬영 장치.
  42. 제41항에 있어서,
    상기 프로세서는,
    상기 획득된 특정 상황 정보 데이터에 매핑되는 정보가 상기 데이터베이스에 없거나 상기 획득된 특정 상황 정보 데이터에 대한 매핑이 잘못된 것으로 판단되는 경우, 상기 획득된 적어도 하나의 센싱 데이터를 분석한 결과로서 인물, 사물 및 환경 중 적어도 일부의 상태를 나타내는 신규 특정 상황 정보 데이터를 생성하고, 상기 기본 단말에 대하여 가해지는 신규 액션 아이템 또는 상기 외부 IoT 단말에 가해지는 신규 액션 아이템과 대응하여 상기 데이터베이스에 저장하는 것을 특징으로 하는 촬영 장치.
  43. 제41항에 있어서,
    상기 프로세서는,
    상기 획득된 특정 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템이 수행된 후 소정 횟수 이상 상기 수행된 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템에 대하여 수정이 이루어질 경우, 상기 획득된 특정 상황 정보 데이터에 상기 수정된 액션 아이템이 대응되어 저장되도록 하는 것을 특징으로 하는 촬영 장치.
  44. 제41항에 있어서,
    상기 내장센서는 적외선 카메라 또는 근적외선 카메라를 상기 내장 이미지 센서로서 포함하거나 상기 외부 IoT 단말 중 적어도 하나는 적외선 카메라 또는 근적외선 카메라를 외장 이미지 센서로서 포함하며,
    상기 프로세서는,
    상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 적어도 하나의 적외선 또는 근적외선 이미지를 분석한 결과로서 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 촬영 장치.
  45. 제44항에 있어서,
    상기 내장센서는 마이크로폰을 내장 오디오 센서로서 더 포함하거나 상기 외부 IoT 단말 중 적어도 하나는 마이크로폰을 외장 오디오 센서로서 포함하며,
    상기 프로세서는,
    상기 내장 오디오 센서 또는 상기 외장 오디오 센서를 통해 획득된 음성 정보를 추가로 분석한 결과로서 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 촬영 장치.
  46. 제41항에 있어서,
    상기 내장센서가 적외선 카메라 또는 근적외선 카메라를 내장 이미지 센서로서 포함하거나 마이크로폰을 내장 오디오 센서로서 포함하거나, 상기 외부 IoT 단말 중 적어도 하나가 적외선 카메라 또는 근적외선 카메라를 외장 이미지 센서로서 포함하거나 마이크로폰을 외장 오디오 센서로서 포함하며,
    상기 프로세서는,
    상기 내장 이미지 센서 또는 상기 외장 이미지 센서를 통해 획득된 상기 적어도 하나의 적외선 또는 근적외선 이미지를 분석하거나 상기 내장 오디오 센서 또는 상기 외장 오디오 센서를 통해 획득된 음성 정보를 분석하여 소정의 공간에 존재하는 인물의 수, 성별, 나이, 행동 중 적어도 일부를 파악하고, 이를 통해 상기 특정 상황 정보 데이터를 획득하는 것을 특징으로 하는 촬영 장치.
  47. 제41항에 있어서,
    상기 통신부는,
    사용자가 보유하고 있는 모바일 단말과 통신을 추가로 수행하며,
    상기 프로세서는,
    상기 모바일 단말을 통해 제어 신호가 입력되면, 상기 제어 신호에 해당되는 상황 정보 데이터를 인식하고, 상기 인식된 상황 정보 데이터에 대응되는 상기 기본 단말의 액션 아이템 또는 상기 외부 IoT 단말의 액션 아이템을 수행하거나 수행하도록 지원하는 것을 특징으로 하는 촬영 장치.
  48. 제41항에 있어서,
    상기 프로세서는,
    인증된 모바일 단말로부터 요청이 있으면, 상기 내장센서 또는 상기 외부 IoT 단말을 통해 획득된 적어도 하나의 센싱 데이터를 상기 인증된 모바일 단말로 전송하는 것을 특징으로 하는 촬영 장치.
KR1020150036253A 2015-03-16 2015-03-16 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체 KR101671760B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150036253A KR101671760B1 (ko) 2015-03-16 2015-03-16 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체
PCT/KR2016/001332 WO2016148398A1 (ko) 2015-03-16 2016-02-05 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스 및 촬영 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150036253A KR101671760B1 (ko) 2015-03-16 2015-03-16 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20160111284A true KR20160111284A (ko) 2016-09-26
KR101671760B1 KR101671760B1 (ko) 2016-11-02

Family

ID=56919123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150036253A KR101671760B1 (ko) 2015-03-16 2015-03-16 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체

Country Status (2)

Country Link
KR (1) KR101671760B1 (ko)
WO (1) WO2016148398A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200027100A (ko) * 2018-08-31 2020-03-12 주식회사 나눔기술 Ai컴패니언의 상황인지, 현황 및 표현 정보를 통신프로토콜을 이용하여 모니터링하는 인터페이스 시스템 및 그 방법
WO2021010522A1 (ko) * 2019-07-16 2021-01-21 엘지전자 주식회사 시청 상황을 고려하여, 하나 이상의 가전 기기를 제어하는 디스플레이 장치
KR20210081604A (ko) * 2019-12-24 2021-07-02 주식회사 엘지유플러스 개인화된 iptv 서비스 제공 방법 및 장치
US11974010B2 (en) 2019-07-16 2024-04-30 Lg Electronics Inc. Display device for controlling one or more home appliances in consideration of viewing situation

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574771A (zh) * 2017-03-10 2018-09-25 峰范（北京）科技有限公司 信息收集与处理系统及其语音播放装置、处理方法
KR101961437B1 (ko) * 2017-07-14 2019-07-18 주식회사 아씨오 냉난방 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR20200060197A (ko) 2018-11-21 2020-05-29 한국전자통신연구원 사용자 맞춤 증강현실 서비스 제공 방법 및 이를 위한 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050046580A (ko) * 2003-11-14 2005-05-18 한국전자통신연구원 홈네트워크 환경에서의 멀티-모달 상황 인식어플리케이션을 위한 시스템 및 방법
JP2008206166A (ja) * 2008-03-10 2008-09-04 Funai Electric Co Ltd 放送信号受信システム
KR20130083764A (ko) * 2012-01-13 2013-07-23 주식회사 오비고 웹 애플리케이션에 포함되는 자바스크립트를 ａｏｔ 방식으로 컴파일하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR20130108467A (ko) * 2011-01-19 2013-10-02 퀄컴 인코포레이티드 패턴 매칭을 통한 상황들의 학습

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5911796B2 (ja) * 2009-04-30 2016-04-27 サムスン エレクトロニクス カンパニー リミテッド マルチモーダル情報を用いるユーザ意図推論装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050046580A (ko) * 2003-11-14 2005-05-18 한국전자통신연구원 홈네트워크 환경에서의 멀티-모달 상황 인식어플리케이션을 위한 시스템 및 방법
JP2008206166A (ja) * 2008-03-10 2008-09-04 Funai Electric Co Ltd 放送信号受信システム
KR20130108467A (ko) * 2011-01-19 2013-10-02 퀄컴 인코포레이티드 패턴 매칭을 통한 상황들의 학습
KR20130083764A (ko) * 2012-01-13 2013-07-23 주식회사 오비고 웹 애플리케이션에 포함되는 자바스크립트를 ａｏｔ 방식으로 컴파일하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200027100A (ko) * 2018-08-31 2020-03-12 주식회사 나눔기술 Ai컴패니언의 상황인지, 현황 및 표현 정보를 통신프로토콜을 이용하여 모니터링하는 인터페이스 시스템 및 그 방법
WO2021010522A1 (ko) * 2019-07-16 2021-01-21 엘지전자 주식회사 시청 상황을 고려하여, 하나 이상의 가전 기기를 제어하는 디스플레이 장치
US11974010B2 (en) 2019-07-16 2024-04-30 Lg Electronics Inc. Display device for controlling one or more home appliances in consideration of viewing situation
KR20210081604A (ko) * 2019-12-24 2021-07-02 주식회사 엘지유플러스 개인화된 iptv 서비스 제공 방법 및 장치
KR20210119362A (ko) * 2019-12-24 2021-10-05 주식회사 엘지유플러스 개인화된 iptv 서비스 제공 방법 및 장치

Also Published As

Publication number Publication date
KR101671760B1 (ko) 2016-11-02
WO2016148398A1 (ko) 2016-09-22

Similar Documents

Publication Publication Date Title
KR101671760B1 (ko) 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체
US11721107B2 (en) Systems and methods for locating image data for selected regions of interest
US20210216787A1 (en) Methods and Systems for Presenting Image Data for Detected Regions of Interest
US20180330169A1 (en) Methods and Systems for Presenting Image Data for Detected Regions of Interest
CN105471705B (zh) 一种基于即时通讯的智能控制方法、设备及系统
CN112166350B (zh) 智能设备中的超声感测的系统和方法
WO2019133852A1 (en) Enhanced visualization of breathing or heartbeat of an infant or other monitored subject
JP7393526B2 (ja) イベントクリップを提供するための、方法、電子装置、サーバシステム、およびプログラム
US11303955B2 (en) Video integration with home assistant
US11743578B2 (en) Systems and methods of power-management on smart devices
CN104407702A (zh) 基于情境感知执行动作的方法、装置和系统
KR20190127380A (ko) 콘텐츠 제공 방법 및 이를 사용하는 전자 장치
WO2018208365A1 (en) Methods and systems for presenting image data for detected regions of interest
CN104410898A (zh) 智能家庭云盒系统及其控制方法
KR20160136555A (ko) 멀티모달 정보를 이용하여 사용자의 정보를 획득하는 셋톱박스, 셋톱박스로부터 획득한 사용자의 정보를 관리하는 관리 서버, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체
KR102144554B1 (ko) 사용자 맞춤형 서비스 장치 및 사용자 맞춤형 생활서비스를 제공하는 시스템
JP2017501491A (ja) アプライアンスユーザの識別
KR20160111777A (ko) 멀티모달 정보를 기반으로 상황 인지 기능을 수행하여 사용자 인터페이스와 사용자 경험을 스스로 학습하고 개선하는 셋톱박스, 촬영 장치, 그리고 이를 이용한 방법 및 컴퓨터 판독 가능한 기록 매체
WO2023051643A1 (zh) 设备控制方法、相关装置及通信系统
CN117193028A (zh) 智能设备的控制方法和控制装置
EP3884625A1 (en) Selecting a destination for a sensor signal in dependence on an active light setting

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190920

Year of fee payment: 4