KR101942082B1 - 스마트기기 제어 방법 및 장치 - Google Patents

Abstract

본 발명은 스마트기기 제어 방법 및 장치에 관한 것으로서, 스마트 홈 분야에 속한다. 상기 스마트기기 제어 방법은, 중계기기를 통해 송신한，사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하는 단계; 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보를 결정하고, 아울러 사용자의 안구 정보를 결정하는 단계; 및 기기 식별 정보와 안구 정보를 중계기기에 송신하여 중계기기로 하여금 기기 식별 정보와 안구 정보에 기반하여 타겟 스마트기기를 제어하도록 하는 단계를 포함한다.

Description

스마트기기 제어 방법 및 장치

본원 발명은 출원번호가 201510792231.5이고 출원일자가 2015년 11월 17일인 중국 특허 출원에 기반하여 제출하였고 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 본원 발명에 원용된다.

본 발명은 스마트 홈 분야에 관한 것으로서, 특히는 스마트기기 제어 방법 및 장치에 관한 것이다.

스마트 홈 기술의 발전과 더불어, 더욱 많은 스마트기기가 사용자의 생활에 밀착되어 사용자의 생활에도 영향을 미치고 있다. 스마트기기의 복잡한 동작에서 벗어나 사용자가 스마트기기를 편리하게 사용하도록 하기 위해 스마트기기 제어 방법이 시급히 필요한 상황이다. 그러나 현재 관련 기술에 있어서, 사용자는 대체로 스마트기기의 리모컨에 대한 제어를 통하여 스마트기기를 제어한다. 예를 들어 상기 스마트기기가 스마트 에어컨일 경우, 사용자는 스마트 에어컨의 리모컨으로 스마트 에어컨에 대한 제어를 통해 켜기, 끄기, 온도 높이기, 온도 낮추기 등등 스마트기기에 대한 제어를 수행한다.

관련 기술에 따른 문제를 해결하기 위해 본 발명은 스마트기기 제어 방법 및 장치를 제공한다.

본 발명의 실시예의 제1양태에 근거하여 제공하는 상기 스마트기기 제어 방법은,

중계기기를 통해 송신한，사용자가 스마트 매트리스를 사용할 시 트리거한 상기 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하는 단계;

상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보를 결정하고, 아울러 상기 사용자의 안구 정보를 결정하는 단계; 및

상기 기기 식별 정보와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하도록 하는 단계를 포함한다.

제1 양태와 결부시키면, 상기 제1 양태의 첫번째 가능한 구현형태에 있어서, 상기 제1 이미지에 기반하여 기기 식별 정보를 결정하는 단계는,

상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계; 및

상기 시선 방향에 기반하여 상기 기기 식별 정보를 결정하는 단계를 포함한다.

제1 양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제1양태의 두번째 가능한 구현형태에 있어서, 상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계는,

상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하는 단계; 및

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계를 포함한다.

제1 양태의 두번째 가능한 구현형태와 결부시키면, 상기 제1 양태의 세번째 가능한 구현형태에 있어서, 상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계는,

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하는 단계; 및

상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하는 단계를 포함한다.

제1 양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제1 양태의 네번째 가능한 구현형태에서, 상기 시선 방향에 기반하여 상기 기기 식별 정보를 결정하는 단계는,

상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 상기 제2 이미지를 상기 기기 식별 정보로 결정하는 단계; 또는,

상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 제2 협각을 결정하며, 상기 제1 협각과 상기 제2 협각을 상기 기기 식별 정보로 결정하는 단계를 포함한다.

본 발명의 실시예의 제2 양태에 근거하여 제공하는 상기 스마트기기 제어 방법은,

중계기기를 통해 송신한，사용자가 스마트 매트리스를 사용할 시 트리거한 상기 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하는 단계;

상기 사용자의 안구 정보를 결정하는 단계; 및

상기 제1 이미지와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하도록 하는 단계를 포함한다.

제2 양태와 결부시키면, 상기 제2양태의 첫번째 가능한 구현형태에 있어서, 상기 제1 이미지와 상기 안구 정보를 상기 중계기기에 송신한 단계 이후에,

상기 중계기기가 송신한, 상기 중계기기가 상기 제1 이미지에 대한 분석을 통해 획득한 시선 방향을 수신하였을 경우, 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하는 단계; 및

상기 제2 이미지를 상기 중계기기에 송신하는 단계를 더 포함한다.

본 발명의 실시예의 제3양태에 근거하여 제공하는 상기 스마트기기 제어 방법은,

스마트 매트리스가 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 수신하는 단계;

상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보와 상기 사용자의 안구 정보를 리턴하는 단계; 및

상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

제3양태와 결부시키면, 상기 제3양태의 첫번째 가능한 구현형태에 있어서, 상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계는,

상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계; 및

상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

제3양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제3양태의 두번째 가능한 구현형태에 있어서, 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 기기 식별 정보가 제2 이미지일 경우, 저장된 이미지 라이브러리에서, 상기 스마트 촬영기기가 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 획득한 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하는 단계; 및

상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

제3양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제3양태의 세번째 가능한 구현형태에 있어서, 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 기기 식별 정보가 제2 이미지일 경우, 상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 기기 마크를 인식하는 단계;

상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

제3양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제3양태의 네번째 가능한 구현형태에 있어서, 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 기기 식별 정보가 상기 사용자의 시선 방향과 수평 방향 사이의 협각인 제1 협각과 상기 시선 방향과 지정된 방향 사이의 협각인 제2 협각일 경우, 상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

제3양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제3양태의 다섯번째 가능한 구현형태에 있어서, 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계는,

상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하는 단계; 및

획득한 제어 동작에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

본 실시예의 제4양태에 근거하여 제공하는 상기 스마트기기 제어 방법은,

스마트 매트리스가 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 수신하는 단계;

상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지와 상기 사용자의 안구 정보를 리턴하는 단계; 및

상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하는 단계를 포함한다.

제4양태와 결부시키면, 상기 제4양태의 첫번째 가능한 구현형태에 있어서, 상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하는 단계는;

상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계;

상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 단계; 및

상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

제4양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제4양태의 두번째 가능한 구현형태에 있어서, 상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계는;

상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하는 단계; 및

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계를 포함한다.

제4양태의 두번째 가능한 구현형태와 결부시키면, 상기 제4양태의 세번째 가능한 구현형태에 있어서, 상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계는,

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하는 단계; 및

상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하는 단계를 포함한다.

제4양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제4양태의 네번째 가능한 구현형태에 있어서, 상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 제2 협각을 결정하는 단계;

상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2 협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

제4양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제4양태의 다섯번째 가능한 구현형태에 있어서, 상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 시선 방향을 상기 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 또한 상기 제2 이미지를 리턴하도록 하는 단계; 및

상기 스마트 촬영기기가 리턴한 제2 이미지를 수신하였을 경우, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계를 포함한다.

제4양태의 다섯번째 가능한 구현형태와 결부시키면, 상기 제4양태의 여섯번째 가능한 구현형태에 있어서, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

저장된 이미지 라이브러리에서, 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하는 단계; 및

상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

제4양태의 다섯번째 가능한 구현형태와 결부시키면, 상기 제4양태의 일곱번째 가능한 구현형태에 있어서, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 기기 마크를 인식하는 단계;

상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

제4양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제4양태의 여덟번째 가능한 구현형태에 있어서, 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계는,

상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하는 단계; 및

획득한 제어 동작에 기반하여 타겟 스마트기기를 제어하는 단계를 포함한다.

본 발명의 실시예의 제5양태에 근거하여 제공하는 상기 스마트기기 제어 장치는,

중계기기를 통해 송신한, 사용자가 스마트 매트리스를 사용할 시 트리거한 상기 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 수집하기 위한 이미지 수집 모듈;

상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보를 결정하고, 아울러 상기 사용자의 안구 정보를 결정하기 위한 결정 모듈; 및

상기 기기 식별 정보와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하도록 하기 위한 송신 모듈을 포함한다.

제5양태와 결부시키면, 상기 제5양태의 첫번째 가능한 구현형태에 있어서, 상기 결정 모듈은,

상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하기 위한 제1 결정 유닛; 및

상기 시선 방향에 기반하여 상기 기기 식별 정보를 결정하기 위한 제2 결정 유닛을 포함한다.

제5양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제5양태의 두번째 가능한 구현형태에 있어서, 상기 제1 결정 유닛은,

상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하기 위한 제1 인식 서브 유닛; 및

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하기 위한 제2 인식 서브 유닛을 포함한다.

제5양태의 두번째 가능한 구현형태와 결부시키면, 상기 제5양태의 세번째 가능한 구현형태에 있어서, 상기 제2 인식 서브 유닛은,

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하고;

상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하기 위한 것이다.

제5양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제5양태의 네번째 가능한 구현형태에 있어서, 상기 제2 결정 유닛은,

상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 상기 제2 이미지를 상기 기기 식별 정보로 결정하기 위한 이미지 수집 서브 유닛; 또는,

상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 제2 협각을 결정하며, 상기 제1 협각과 상기 제2 협각을 상기 기기 식별 정보로 결정하기 위한 결정 서브 유닛을 포함한다.

본 발명의 실시예의 제6양태에 근거하여 제공하는 상기 스마트기기 제어 장치는,

중계기기를 통해 송신한, 사용자가 스마트 매트리스를 사용할 시 트리거한 상기 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하기 위한 제1 이미지 수집 모듈;

상기 사용자의 안구 정보를 결정하기 위한 결정 모듈; 및

상기 제1 이미지와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하도록 하기 위한 제1 송신 모듈을 포함한다.

제6양태와 결부시키면, 상기 제6양태의 첫번째 가능한 구현형태에 있어서, 상기 스마트기기 제어 장치는,

상기 중계기기가 송신한, 상기 중계기기가 상기 제1 이미지에 대한 분석을 통해 획득한 시선 방향을 수신하였을 경우, 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하기 위한 제2 이미지 수집 모듈; 및

상기 제2 이미지를 상기 중계기기에 송신하기 위한 제2 송신 모듈을 더 포함한다.

본 발명의 실시예의 제7양태에 근거하여 제공하는 상기 스마트기기 제어 장치는,

스마트 매트리스가 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 수신하기 위한 수신 모듈;

상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보와 상기 사용자의 안구 정보를 리턴하도록 하기 위한 송신 모듈; 및

상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하기 위한 제어 모듈을 포함한다.

제7양태와 결부시키면, 상기 제7양태의 첫번째 가능한 구현형태에 있어서, 상기 제어 모듈은,

상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하기 위한 결정 유닛; 및

상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하기 위한 제어 유닛을 포함한다.

제7양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제7양태의 두번째 가능한 구현형태에 있어서, 상기 결정 유닛은,

상기 기기 식별 정보가 제2 이미지일 경우, 저장된 이미지 라이브러리에서, 상기 스마트 촬영기기가 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 획득한 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하기 위한 선택 서브 유닛; 및

상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하기 위한 제1 결정 서브 유닛을 포함한다.

제7양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제7양태의 세번째 가능한 구현형태에 있어서, 상기 결정 유닛은,

상기 기기 식별 정보가 제2 이미지일 경우, 상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 기기 마크를 인식하기 위한 인식 서브 유닛;

상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하기 위한 제1 획득 서브 유닛; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하기 위한 제2 결정 서브 유닛을 포함한다.

제7양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제7양태의 네번째 가능한 구현형태에 있어서, 상기 결정 유닛은,

상기 기기 식별 정보가 상기 사용자의 시선 방향과 수평 방향 사이의 협각인 제1 협각과 상기 시선 방향과 지정된 방향 사이의 협각인 제2 협각일 경우, 상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하기 위한 제2 획득 서브 유닛; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하기 위한 제3 결정 서브 유닛을 포함한다.

제7양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제7양태의 다섯번째 가능한 구현형태에 있어서, 상기 제어 유닛은,

상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하기 위한 제3 획득 서브 유닛; 및

획득한 제어 동작에 기반하여 상기 타겟 스마트기기를 제어하기 위한 제어 서브 유닛을 포함한다.

본 발명의 실시예의 제8양태에 근거하여 제공하는 상기 스마트기기 제어 장치는,

스마트 매트리스가 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 수신하기 위한 수신 모듈;

상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지와 상기 사용자의 안구 정보를 리턴하도록 하기 위한 송신 모듈; 및

상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하기 위한 제어 모듈을 포함한다.

제8양태와 결부시키면, 상기 제8양태의 첫번째 가능한 구현형태에 있어서, 상기 제어 모듈은,

상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하기 위한 제1 결정 유닛;

상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하기 위한 제2 결정 유닛; 및

상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하기 위한 제어 유닛을 포함한다.

제8양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제8양태의 두번째 가능한 구현형태에 있어서, 상기 제1 결정 유닛은;

상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하기 위한 제1 인식 서브 유닛; 및

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하기 위한 제2 인식 서브 유닛을 포함한다.

제8양태의 두번째 가능한 구현형태와 결부시키면, 상기 제8양태의 세번째 가능한 구현형태에 있어서, 상기 제2 인식 서브 유닛은,

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하고;

상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하기 위한 것이다.

제8양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제8양태의 네번째 가능한 구현형태에 있어서, 상기 제2 결정 유닛은,

상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 제2 협각을 결정하기 위한 제1 결정 서브 유닛;

상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2 협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하기 위한 제1 획득 서브 유닛; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하기 위한 제2 결정 서브 유닛을 포함한다.

제8양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제8양태의 다섯번째 가능한 구현형태에 있어서, 상기 제2 결정 유닛은,

상기 시선 방향을 상기 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 또한 상기 제2 이미지를 리턴하도록 하기 위한 송신 서브 유닛; 및

상기 스마트 촬영기기가 리턴한 제2 이미지를 수신하였을 경우, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하기 위한 제3 결정 서브 유닛을 포함한다.

제8양태의 다섯번째 가능한 구현형태와 결부시키면, 상기 제8양태의 여섯번째 가능한 구현형태에 있어서, 상기 제3 결정 서브 유닛은,

저장된 이미지 라이브러리에서, 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하고;

상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하기 위한 것이다.

제8양태의 다섯번째 가능한 구현형태와 결부시키면, 상기 제8양태의 일곱번째 가능한 구현형태에 있어서, 상기 제3 결정 서브 유닛은,

상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 기기 마크를 인식하고;

상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하며;

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하기 위한 것이다.

제8양태의 첫번째 가능한 구현형태와 결부시키면, 상기 제8양태의 여덟번째 가능한 구현형태에 있어서, 상기 제어 유닛은,

상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하기 위한 제2 획득 서브 유닛; 및

획득한 제어 동작에 기반하여 상기 타겟 스마트기기를 제어하기 위한 제어 서브 유닛을 포함한다.

본 발명의 실시예의 제9양태에 근거하여 제공하는 상기 스마트기기 제어 장치는,

프로세서; 및

상기 프로세서에 의해 실행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하고,

여기서, 상기 프로세서는,

중계기기를 통해 송신한, 사용자가 스마트 매트리스를 사용할 시 트리거한 상기 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고,

상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보를 결정하며, 아울러 상기 사용자의 안구 정보를 결정하고;

상기 기기 식별 정보와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하도록 구성된다.

본 발명의 실시예의 제10양태에 근거하여 제공하는 상기 스마트기기 제어 장치는,

프로세서; 및

상기 프로세서에 의해 실행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하고,

여기서, 상기 프로세서는,

중계기기를 통해 송신한, 사용자가 스마트 매트리스를 사용할 시 트리거한 상기 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고;

상기 사용자의 안구 정보를 결정하며;

상기 제1 이미지와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하도록 구성된다.

본 발명의 실시예의 제11양태에 근거하여 제공하는 상기 스마트기기 제어 장치는,

프로세서; 및

상기 프로세서에 의해 실행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하고,

여기서, 상기 프로세서는,

스마트 매트리스가 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 수신하며;

상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보와 상기 사용자의 안구 정보를 리턴하며;

상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하도록 구성된다.

본 발명의 실시예의 제12양태에 근거하여 제공하는 상기 스마트기기 제어 장치는,

프로세서; 및

상기 프로세서에 의해 실행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하고,

여기서, 상기 프로세서는,

스마트 매트리스가 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 수신하며;

상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지와 상기 사용자의 안구 정보를 리턴하며;

상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하도록 구성된다.

본 발명의 실시예에서 제공하는 기술적 해결수단은 하기와 같은 유익한 효과를 포함할 수 있다. 본 발명의 실시예에 있어서 중계기기를 통해 스마트 매트리스, 스마트 촬영기기와 스마트기기 사이의 상호 작용을 구현함으로써 스마트 매트리스로 하여금 이미지 수집을 진행하고, 또한 수집한 이미지에서 기기 식별 정보와 안구 정보를 획득하여 기기 식별 정보와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 구현함으로써 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기에 대한 제어를 진행할 수 있도록 하여 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

상기의 일반적인 설명과 후술되는 구체적인 설명은 단지 예시적이고 해석적인 것이며 본 발명을 한정하는 것이 아님을 이해해야 한다.

아래의 도면은 명세서 전체를 구성하는 명세서의 일부분으로서 본 발명에 부합하는 실시예를 예시하여 본 발명의 원리를 설명하기 위한 것이다.
도1은 일 예시적 실시예에 근거하여 도시한 스마트기기 제어 시스템 구조도이다.
도2는 일 예시적 실시예에 근거하여 도시한 첫번째 스마트기기 제어 방법의 흐름도이다.
도3은 일 예시적 실시예에 근거하여 도시한 두번째 스마트기기 제어 방법의 흐름도이다.
도4는 일 예시적 실시예에 근거하여 도시한 세번째 스마트기기 제어 방법의 흐름도이다.
도5는 일 예시적 실시예에 근거하여 도시한 네번째 스마트기기 제어 방법의 흐름도이다.
도6은 일 예시적 실시예에 근거하여 도시한 다섯번째 스마트기기 제어 방법의 흐름도이다.
도7은 일 예시적 실시예에 근거하여 도시한 눈동자 오프셋 각도 모식도이다.
도8은 일 예시적 실시예에 근거하여 도시한 수평 방향과 지정된 방향 모식도이다.
도9는 일 예시적 실시예에 근거하여 도시한 여섯번째 스마트기기 제어 방법의 흐름도이다.
도10은 일 예시적 실시예에 근거하여 도시한 첫번째 스마트기기 제어 장치 블록도이다.
도11은 일 예시적 실시예에 근거하여 도시한 결정 모듈의 블록도이다.
도12는 일 예시적 실시예에 근거하여 도시한 제1 결정 유닛의 블록도이다.
도13은 일 예시적 실시예에 근거하여 도시한 제2 결정 유닛의 블록도이다.
도14는 일 예시적 실시예에 근거하여 도시한 두번째 스마트기기 제어 장치 블록도이다.
도15는 일 예시적 실시예에 근거하여 도시한 세번째 스마트기기 제어 장치 블록도이다.
도16은 일 예시적 실시예에 근거하여 도시한 네번째 스마트기기 제어 장치 블록도이다.
도17은 일 예시적 실시예에 근거하여 도시한 제어 모듈의 블록도이다.
도18은 일 예시적 실시예에 근거하여 도시한 첫번째 결정 유닛의 블록도이다.
도19는 일 예시적 실시예에 근거하여 도시한 두번째 결정 유닛의 블록도이다.
도20은 일 예시적 실시예에 근거하여 도시한 세번째 결정 유닛의 블록도이다.
도21은 일 예시적 실시예에 근거하여 도시한 제어 유닛의 블록도이다.
도22는 일 예시적 실시예에 근거하여 도시한 다섯번째 스마트기기 제어 장치 블록도이다.
도23은 일 예시적 실시예에 근거하여 도시한 제어 모듈의 블록도이다.
도24는 일 예시적 실시예에 근거하여 도시한 제1 결정 유닛의 블록도이다.
도25는 일 예시적 실시예에 근거하여 도시한 첫번째 제2 결정 유닛의 블록도이다.
도26은 일 예시적 실시예에 근거하여 도시한 두번째 제2 결정 유닛의 블록도이다.
도27은 일 예시적 실시예에 근거하여 도시한 제어 유닛의 블록도이다.
도28은 일 예시적 실시예에 근거하여 도시한 여섯번째 스마트기기 제어 장치 블록도이다.
도29는 일 예시적 실시예에 근거하여 도시한 일곱번째 스마트기기 제어 장치 블록도이다.
도30은 일 예시적 실시예에 근거하여 도시한 여덟번째 스마트기기 제어 장치 블록도이다.
도31은 일 예시적 실시예에 근거하여 도시한 아홉번째 스마트기기 제어 장치 블록도이다.

여기서, 예시적 실시예에 대해 상세하게 설명하고, 이를 첨부되는 도면에 예시적으로 나타냈다. 하기에서 첨부되는 도면에 대해 설명할 때, 별도로 표시하지 않는 한, 다른 도면의 동일한 숫자는 동일하거나 유사한 구성요소를 나타낸다. 하기의 예시적 실시예에서 설명한 실시형태는 본 발명과 일치한 모든 실시형태를 의미하는 것은 아니다. 반대로, 이들은 첨부된 특허청구범위에서 설명한, 본 발명의 일부 양태와 일치한 장치와 방법에 대한 예일 뿐이다.

본 발명의 실시예에 대해 상세하게 설명하기 전에 먼저 본 발명의 실시예에 따른 시스템 구조에 대해 설명하기로 한다. 도1은 일 예시적 실시예에 근거하여 제공하는 스마트기기 제어 시스템 구조도이다. 도1을 참조하면, 상기 스마트기기 제어 시스템은 스마트 매트리스, 중계기기, 스마트 촬영기기 및 타겟 스마트기기를 포함하고, 스마트 매트리스, 스마트 촬영기기 및 타겟 스마트기기는 각각 중계기기와의 사이에서 네트워크 또는 블루투스를 통해 연결되며, 또한 스마트 매트리스, 스마트 촬영기기 및 타겟 스마트기기 사이의 메시지 상호 작용은 중계기기를 통해 구현될 수 있다. 여기서, 상기 스마트 매트리스는 스마트 매트리스, 스마트 촬영기기 및 타겟 스마트기기 사이의 메시지 상호 작용 매커니즘을 트리거하기 위한 것이고, 상기 스마트 촬영기기는 안구 정보와 기기 식별 정보를 획득하기 위한 것이며, 상기 중계기기는 안구 정보에 기반하여 타겟 스마트기기를 제어할 수 있다.

도2는 일 예시적 실시예에 근거하여 도시한 첫번째 스마트기기 제어 방법의 흐름도이고, 도2에 도시된 바와 같이 스마트 촬영기기에 사용하기 위한 상기 스마트기기 제어 방법은 하기 단계를 포함한다.

단계201에서, 중계기기를 통해 송신한，사용자가 스마트 매트리스를 사용할 시 트리거한 상기 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득한다.

단계202에서, 상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보를 결정하고, 아울러 상기 사용자의 안구 정보를 결정한다.

단계203에서, 상기 기기 식별 정보와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하도록 한다.

본 발명의 실시예에 있어서, 스마트 촬영기기는 중계기기를 통해 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고, 또한 이미지 수집을 진행할 수 있으며, 수집한 이미지를 통해 기기 식별 정보와 안구 정보를 결정하여 중계기기로 하여금 기기 식별 정보와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 구현함으로써 사용자로 하여금 리모컨을 사용할 필요 없이 타겟 스마트기기에 대한 제어를 진행할 수 있도록 하여 스마트기기에 대한 제어가 더욱 간편용이하도록 하고, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

본 발명의 다른 실시예에 있어서, 상기 제1 이미지에 기반하여 기기 식별 정보를 결정하는 단계는,

상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계; 및

상기 시선 방향에 기반하여 상기 기기 식별 정보를 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계는,

상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하는 단계; 및

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계는,

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하는 단계; 및

상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 시선 방향에 기반하여 상기 기기 식별 정보를 결정하는 단계는,

상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 상기 제2 이미지를 상기 기기 식별 정보로 결정하는 단계; 또는,

상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 제2 협각을 결정하며, 상기 제1 협각과 상기 제2 협각을 상기 기기 식별 정보로 결정하는 단계를 포함한다.

상기 모든 바람직한 기술적 해결수단은 모두 임의의 결합에 따라 본 발명의 바람직한 실시예를 형성할 수 있고, 본 발명의 실시예에서는 이에 대해 상세한 설명을 생략한다.

도3은, 일 예시적 실시예에 근거하여 도시한 두번째 스마트기기 제어 방법의 흐름도이고, 도3에 도시된 바와 같이 스마트 촬영기기에 사용하기 위한 상기 스마트기기 제어 방법은 하기 단계를 포함한다.

단계301에서, 중계기기를 통해 송신한，사용자가 스마트 매트리스를 사용할 시 트리거한 상기 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득한다.

단계302에서, 상기 사용자의 안구 정보를 결정한다.

단계303에서, 상기 제1 이미지와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하도록 한다.

본 발명의 실시예에 있어서, 스마트 촬영기기는 중계기기를 통해 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고 또한 이미지 수집을 진행할 수 있으며, 수집한 이미지를 통해 안구 정보를 결정함으로써 중계기기로 하여금 수집한 이미지와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 구현함으로써 사용자로 하여금 리모컨을 사용할 필요 없이 타겟 스마트기기에 대한 제어를 진행할 수 있도록 하여 타겟 스마트기기에 대한 제어가 더욱 간편용이하도록 하고, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

본 발명의 다른 실시예에 있어서, 상기 제1 이미지와 상기 안구 정보를 상기 중계기기에 송신한 단계 이후에,

상기 중계기기가 송신한, 상기 중계기기가 상기 제1 이미지에 대한 분석을 통해 획득한 시선 방향을 수신하였을 경우, 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하는 단계; 및

상기 제2 이미지를 상기 중계기기에 송신하는 단계를 더 포함한다.

상기 모든 바람직한 기술적 해결수단은 모두 임의의 결합에 따라 본 발명의 바람직한 실시예를 형성할 수 있고, 본 발명의 실시예에서는 이에 대해 상세한 설명을 생략한다.

도4는, 일 예시적 실시예에 근거하여 도시한 세번째 스마트기기 제어 방법의 흐름도이고, 도4에 도시된 바와 같이 중계기기에 사용하기 위한 상기 스마트기기 제어 방법은 하기 단계를 포함한다.

단계401에 있어서, 스마트 매트리스가 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 수신한다.

단계402에 있어서, 상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보와 상기 사용자의 안구 정보를 리턴한다.

단계403에 있어서, 상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어한다.

본 발명의 실시예에 있어서, 중계기기는 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고, 또한 상기 요청을 스마트 촬영기기에 송신할 수 있으며, 스마트 촬영기기로 하여금 수집한 이미지에 기반하여 리턴한 기기 식별 정보와 안구 정보를 수신하고, 상기 기기 식별 정보와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 구현함으로써 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있어 스마트기기에 대한 제어가 더욱 간편용이하도록 하고, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

본 발명의 다른 실시예에 있어서, 상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계는,

상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계; 및

상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 기기 식별 정보가 제2 이미지일 경우, 저장된 이미지 라이브러리에서, 상기 스마트 촬영기기가 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 획득한 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하는 단계; 및

상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 기기 식별 정보가 제2 이미지일 경우, 상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 기기 마크를 인식하는 단계;

상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 기기 식별 정보가 상기 사용자의 시선 방향과 수평 방향 사이의 협각인 제1 협각과 상기 시선 방향과 지정된 방향 사이의 협각인 제2 협각일 경우, 상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계는,

상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하는 단계; 및

획득한 제어 동작에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

상기 모든 바람직한 기술적 해결수단은 모두 임의의 결합에 따라 본 발명의 바람직한 실시예를 형성할 수 있고, 본 발명의 실시예에서는 이에 대해 상세한 설명을 생략한다.

도5는, 일 예시적 실시예에 근거하여 도시한 네번째 스마트기기 제어 방법의 흐름도이고, 도5에 도시된 바와 같이 중계기기에 사용하기 위한 상기 스마트기기 제어 방법은 하기 단계를 포함한다.

단계501에서, 스마트 매트리스가 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 수신한다.

단계 502에서, 상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지와 상기 사용자의 안구 정보를 리턴한다.

단계 503에서, 상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어한다.

본 발명의 실시예에 있어서, 중계기기는 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고, 또한 상기 요청을 스마트 촬영기기에 송신할 수 있으며, 스마트 촬영기기가 리턴한 이미지와 안구 정보를 수신하고, 상기 이미지와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 구현함으로써 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있어 스마트기기에 대한 제어가 더욱 간편용이하도록 하고, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

본 발명의 다른 실시예에 있어서, 상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하는 단계는;

상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계;

상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 단계; 및

상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계는;

상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하는 단계; 및

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계는,

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하는 단계; 및

상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 제2 협각을 결정하는 단계;

상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2 협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 시선 방향을 상기 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 또한 상기 제2 이미지를 리턴하도록 하는 단계; 및

상기 스마트 촬영기기가 리턴한 제2 이미지를 수신하였을 경우, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

저장된 이미지 라이브러리에서, 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하는 단계; 및

상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 기기 마크를 인식하는 단계;

상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계는,

상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하는 단계; 및

획득한 제어 동작에 기반하여 타겟 스마트기기를 제어하는 단계를 포함한다.

상기 모든 바람직한 기술적 해결수단은 모두 임의의 결합에 따라 본 발명의 바람직한 실시예를 형성할 수 있고, 본 발명의 실시예에서는 이에 대해 상세한 설명을 생략한다.

도6은, 일 예시적 실시예에 근거하여 도시한 스마트기기 제어 방법의 흐름도이고, 도6에 도시된 바와 같이 상기 스마트기기 제어 방법은 하기 단계를 포함한다.

단계 601에서, 스마트 매트리스는 상기 스마트 매트리스에 작용하는 압력을 검출하여 압력 데이터를 획득하고, 상기 압력 데이터가 압력 임계값보다 크거나 같을 경우, 상기 스마트 매트리스는 중계기기에 스마트 매트리스 식별자가 포함되어 있는 상기 이미지 수집 요청을 송신한다.

여기서, 스마트 매트리스에 압력 검출 장치를 장착할 수 있고, 상기 스마트 매트리스는 예를 들어 압력 센서 등등일 수 있는 압력 검출 장치를 통해 스마트 매트리스에 작용하는 압력을 검출할 수 있으며, 압력 데이터를 획득하고, 상기 압력 센서를 통해 획득한 압력 데이터는 30㎏, 50㎏ 등일 수 있으며, 본 발명의 실시예에서는 이에 대해 구제적으로 한정하는 것이 아니다.

사용자가 스마트 매트리스를 사용할 경우, 스마트 매트리스에 상대적으로 큰 압력을 발생시키기 때문에 스마트 매트리스는 검출을 통해 압력 데이터를 획득하여 사용자가 상기 스마트 매트리스를 사용할지 여부를 판정하도록 할 수 있다. 검출하여 얻은 압력 데이터가 압력 임계값보다 크거나 같을 경우, 상기 스마트 매트리스에 작용하는 압력이 상대적으로 크다고 결정하고, 이때 사용자가 상기 스마트 매트리스를 사용하고 있으며, 또한 사용자가 상기 스마트 매트리스에 누워있을 수 있다고 결정할 수 있다. 이외에, 사용자가 상기 스마트 매트리스에 누워있을 경우, 사용자는 통상적으로 스마트 TV를 오프하고, 스마트 에어컨의 온도를 낮추는 등 필요가 있기 때문에 상기 스마트 매트리스는 중계기기에 상기 이미지 수집 요청을 송신할 수 있다.

설명이 필요한 점은, 압력 임계값은 예를 들어 30㎏, 40㎏, 50㎏ 등 미리 설정할 수 있다는 점이고, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

예를 들어, 압력 임계값이 30㎏이고, 사용자가 스마트 매트리스를 사용하고 또한 사용자의 체중이 50㎏일 경우, 상기 스마트 매트리스가 압력 검출 장치를 통해 검출한 압력 데이터가 50㎏이고, 압력 데이터가 압력 임계값에 비해 크다면, 이는 사용자가 상기 스마트 매트리스를 사용하고 있음을 설명하기 때문에 상기 스마트 매트리스는 중계기기에 이미지 수집 요청을 송신할 수 있다.

설명이 더 필요한 점은, 스마트 매트리스 식별자는 유일하게 스마트 매트리스를 식별하기 위한 것이며, 즉 스마트 매트리스 식별자는 상기 스마트 매트리스의 아이디이고, 또한 상기 스마트 매트리스 식별자는 상기 스마트 매트리스의 MAC（Media Access Control，미디어 방문 제어） 주소, 출고 일련번호 등일 수 있으며, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

이외에, 본 발명의 실시예에 있어서, 중계기기는 스마트 매트리스, 스마트 촬영기기 및 타겟 스마트기기 사이의 통신을 구현하기 위한 것이고, 상기 중계기기는 스마트 매트리스, 스마트 촬영기기 및 타겟 스마트기기와 동일한 로컬 영역 네트워크에 위치할 수 있으며, 또한 중계기기는 홈 라우터, 홈 서버 등일 수 있고, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

다음으로, 스마트 매트리스, 스마트 촬영기기 및 타겟 스마트기기에는 모두 wifi（Wireless Fidelity，무선 네트워크）, 블루투스 또는, 기타 무선 통신 칩이 설정되어 있을 수 있음으로써 자체 내장된 wifi, 블루투스 또는, 기타 무선 통신 칩으로 서버와 통신을 진행할 수 있고, 이른바 스마트 매트리스, 스마트 촬영기기 및 타겟 스마트기기는 각각 wifi를 통해 중계기기와의 사이에서의 메시지 전달을 구현할 수 있고, 블루투스를 통해 구현할 수도 있으며, 또한 기타 형태를 통해 구현할 수도 있고, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

단계 602에서, 중계기기가 상기 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신한다.

본 발명의 실시예에 있어서, 중계기기는 사용자의 안구 정보를 통해 타겟 스마트기기에 대한 제어를 구현하지만 통상적으로 사용자는 스마트 매트리스를 사용할 시 타겟 스마트기기를 제어할 수 있기 때문에 사용자의 안구 정보를 획득하기 위해 스마트 촬영기기를 통해 이미지 수집을 진행할 필요가 있고, 이른바 상기 중계기기가 스마트 매트리스로부터 송신된 이미지 수집 요청을 수신하였을 경우, 상기 중계기기는 상기 이미지 수집 요청에 포함되어 있는 스마트 매트리스 식별자에 기반하여, 저장된 스마트 매트리스 식별자와 스마트 촬영기기 식별자 사이의 대응관계에서 대응되는 스마트 촬영기기 식별자를 획득하고 또한 획득한 스마트 촬영기기 식별자에 대응되는 스마트 촬영기기를 상기 스마트 매트리스와 바인딩된 스마트 촬영기기로 결정함으로써 상기 이미지 수집 요청을 상기 스마트 촬영기기에 송신한다.

여기서, 스마트 매트리스와 스마트 촬영기기가 바인딩될 경우, 중계기기에는 스마트 매트리스 식별자와 스마트 촬영기기 식별자 사이의 대응관계가 저장될 수 있다. 이른바, 중계기기는 상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하기 이전에, 기기 바인딩 요청을 수신할 수 있고, 상기 기기 바인딩 요청에는 스마트 매트리스 식별자와 스마트 촬영기기 식별자가 바인딩될 수 있으며, 이후에, 상기 중계기기는 상기 스마트 매트리스 식별자와 상기 스마트 촬영기기 식별자 사이의 대응관계를 저장할 수 있다.

설명이 필요한 점은, 상기 기기 바인딩 요청의 송신측은 스마트 매트리스, 스마트 촬영기기 등일 수 있고, 물론 스마트 단말기일 수도 있다는 점이며, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다. 이외에, 하나의 스마트 매트리스는 하나의 스마트 촬영기기를 바인딩할 수 있고, 동시에 복수개의 스마트 촬영기기를 바인딩할 수도 있으며, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

이외에, 상기 스마트 촬영기기 식별자는 유일하게 상기 스마트 촬영기기를 식별하기 위한 것이며, 즉 상기 스마트 촬영기기 식별자는 상기 스마트 촬영기기의 아이디이고, 또한 상기 스마트 촬영기기 식별자는 상기 스마트 촬영기기의 MAC 주소, 출고 일련번호 등일 수 있으며, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

예를 들어, 스마트 매트리스 식별자가 스마트 매트리스의 출고 일련번호이고, 스마트 촬영기기 식별자가 상기 스마트 촬영기기의 출고 일련번호일 경우, 상기 이미지 수집 요청에 포함되어 있는 스마트 매트리스 식별자는 0001이며, 상기 중계기기는 상기 스마트 매트리스 식별자 0001에 기반하여 표1에 도시된 바와 같이 스마트 매트리스 식별자와 스마트 촬영기기 식별자 사이의 대응관계에서 대응되는 스마트 촬영기기 식별자 000A와 000B를 획득할 수 있고, 또한 상기 이미지 수집 요청을 스마트 촬영기기 식별자가 000A와 000B인 스마트 촬영기기에 송신한다.

스마트 매트리스 식별자	스마트 촬영기기 식별자
0001	000A, 000B
0002	000C
0003	000D, 000E
…	…

설명이 필요한 점은, 본 발명의 실시예에 있어서, 상기 표1에 도시된 바와 같이 스마트 매트리스 식별자와 스마트 촬영기기 식별자 사이의 대응관계에 한해서만 예로 들어 설명하였다는 점이고, 상기 표1은 본 발명의 실시예에 대해 한정하는 것이 아니다.

단계 603에서, 스마트 촬영기기가, 중계기기가 송신한 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득한다.

타겟 스마트기기를 결정하기 위한 기기 식별 정보는 제1 이미지에 기반하여 획득한 것이고, 때문에 스마트 촬영기기는 중계기기가 송신한 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득할 필요가 있다.

이외에, 사용자가 상기 스마트 매트리스를 사용할 시 스마트 매트리스 상에서 상이한 위치에 있을 수 있고, 마찬가지로 상이한 자세로 있을 수 있지만 제1 이미지는 사용자의 얼굴 정면 이미지 수집이 필요하며, 때문에 사용자의 얼굴 정면 이미지를 수집할 수 있도록 통상적으로 스마트 매트리스 주변에 복수개의 상기 스마트 매트리스와 바인딩된 스마트 촬영기기를 설치하여 상기 복수개의 스마트 촬영기기가 동시에 이미지 수집을 진행함으로써 복수개의 스마트 촬영기기를 통해 수집을 진행할 시 사용자의 얼굴 정면 이미지를 획득하는 가능성을 향상시킬 수 있다. 다시 말하면, 제1 이미지의 수집은 하나의 스마트 촬영기기를 통해 진행할 수 있고, 복수개의 스마트 촬영기기를 통해 수집할 수 있으며, 다만 사용자의 얼굴 정면 이미지를 수집하기만 하면 되는 것으로, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

설명이 필요한 점은, 스마트 매트리스와 바인딩된 스마트 촬영기기는 상기 스마트 매트리스 주변의 임의의 위치, 예를 들어 상기 스마트 매트리스의 침대 머리, 침대 끝 등 위치에 장착될 수 있다는 점이고, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

단계 604에서, 스마트 촬영기기는 상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보를 결정하고, 아울러 상기 사용자의 안구 정보를 결정한다.

기기 식별 정보는 제어하고자 하는 타겟 스마트기기를 결정하기 위한 것이고, 때문에 타겟 스마트기기를 제어하기 위해 스마트 촬영기기는 상기 제1 이미지에 기반하여 기기 식별 정보를 결정할 수 있다. 스마트 촬영기기가 제1 이미지에 기반하여 기기 식별 정보를 결정하는 동작은 스마트 촬영기기가 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계; 및 상기 시선 방향에 기반하여 기기 식별 정보를 결정하는 단계를 포함할 수 있다.

여기서, 스마트 촬영기기가 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 동작은, 상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하는 단계; 및 상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계를 포함할 수 있다.

스마트 촬영기기가 상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하는 동작은, 상기 제1 이미지에 대한 인체 인식， 또한 인식된 인체에 대한 얼굴 인식을 함으로써 상기 사용자의 눈 위치를 획득하는 단계를 포함할 수 있다.

여기서, 상기 사용자 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 동작은, 스마트 촬영기기가 상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하는 단계; 및 상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하는 단계를 포함할 수 있다.

스마트 촬영기기가 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도임을 결정할 경우, 상기 사용자의 눈 위치에 기반하여 눈동자의 보통 시선 방향과 현재 눈동자가 눈가에서의 위치를 결정함으로써 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하고, 도7에 도시된 바와 같이, 도7은 눈동자의 보통 시선 방향과 사용자의 눈동자가 보통 시선 방향에 비해 기울어진 오프셋 각도를 명시하였다. 이외에, 스마트 촬영기기는 사용자의 왼쪽 눈의 눈동자가 왼쪽 눈 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정할 수 있고, 사용자의 오른쪽 눈 눈동자가 오른쪽 눈 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정할 수 있으며, 마찬가지로, 사용자의 양쪽 눈 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 동시에 결정할 수 있고, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

이외에, 보통 시선 방향이란 사용자 눈동자가 눈가의 정중앙 위치에 위치할 시 사용자가 주시하는 방향, 이른바 상기 보통 시선 방향이 사용자의 눈 시선 정면의 방향임을 가리킨다.

다음으로, 본 발명의 실시예에 있어서, 얼굴 인식, 인체 인식, 시선 인식에 대한 구체적인 동작 과정은 관련 기술을 참조할 수 있는 바, 본 발명의 실시예에서는 이에 대해 구체적인 설명을 생략하기로 한다.

본 발명의 실시예에서는 사용자의 안구 정보를 통해 타겟 스마트기기에 대한 제어를 진행하고, 사용자의 안구 정보는 일반적으로 사용자의 시선 방향과 관련 관계가 존재하며, 또한 타겟 스마트기기는 기기 식별 정보에 기반하여 결정하기 때문에 타겟 스마트기기를 결정하기 위해 상기 스마트 촬영기기는 상기 시선 방향에 기반하여 상기 기기 식별 정보를 결정할 필요가 있다. 스마트 촬영기기가 상기 시선 방향에 기반하여 상기 기기 식별 정보를 결정하는 동작은, 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 상기 제2 이미지를 상기 기기 식별 정보로 결정하는 단계; 또는, 상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 제2 협각을 결정하며, 상기 제1 협각과 상기 제2 협각을 상기 기기 식별 정보로 결정하는 단계를 포함할 수 있다.

설명이 필요한 점은, 수평 방향이란 시선 방향이 수평면에 수직 반사되는 방향을 가리키고, 지정된 방향이란 기설정된 방향 예를 들어 스마트 매트리스 침대 머리에 평형되는 방향 등을 가리킨다는 점이며, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다. 예를 들어, 수평 방향과 지정된 방향이 도8에 도시된 바와 같다면 또한 도8의 협각a는 제1 협각이고, 협각b는 제2 협각이다.

이외에, 타겟 스마트기기의 제어 동작은 사용자의 안구 정보에 기반하여 결정할 수 있고, 타겟 스마트기기에 대한 제어 동작을 결정하기 위해 스마트 촬영기기는 상기 사용자의 안구 정보를 결정할 필요가 있다. 스마트 촬영기기가 상기 사용자의 안구 정보를 결정하는 동작은, 사용자가 타겟 스마트기기를 주시하는 주시 시간을 결정하는 단계, 상기 주시 시간을 상기 사용자의 안구 정보로 결정하는 단계를 포함할 수 있다.

설명이 필요한 점은, 타겟 스마트기기의 제어 동작을 결정하기 위한 상기 안구 정보는 사용자 시선이 타겟 스마트기기를 주시하는 주시 시간일 수 있고, 상기 주시 시간은 3초, 5초, 10초 등일 수 있으며, 또한 각 주시 시간은 하나의 제어 동작에 대응된다는 점이고, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

이외에, 본 발명의 실시예에 있어서, 상기 안구 정보는 사용자가 타겟 스마트기기를 주시하는 주시 시간일 수 있을 뿐만 아니라, 물론 실제적인 응용에서, 상기 안구 정보는 사용자 안구의 이동 방향 또는, 회전 방향일 수 있으며, 상기 이동 방향은 왼쪽 이동, 오른 쪽 이동 등일 수 있고, 상기 회전 방향은 오른 쪽 회전, 왼쪽 회전 등일 수 있으며, 또한 각각의 방향은 하나의 제어 동작에 대응되고, 본 발명의 실시예에서는 마찬가지로 이에 대해 구체적으로 한정하는 것이 아니다.

단계 605에서, 스마트 촬영기기는 기기 식별 정보와 안구 정보를 상기 중계기기에 송신한다.

타겟 스마트기기는 중계기기를 통해 제어를 진행하기 때문에, 상기 중계기기로 하여금 기기 식별 정보와 안구 정보에 근거하여 타겟 스마트기기를 제어하도록 하기 위해 상기 스마트 촬영기기는 기기 식별 정보와 안구 정보를 상기 중계기기에 송신할 수 있다.

단계 606에서, 중계기기가, 스마트 촬영기기가 송신한 기기 식별 정보와 안구 정보를 수신하였을 경우, 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정한다.

기기 식별 정보의 내용이 상이하기 때문에, 중계기기가 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 형태에는 하기와 같은 3가지 형태가 있다.

제1 형태는, 상기 기기 식별 정보가 제2 이미지일 경우, 중계기기는 저장된 이미지 라이브러리에서, 상기 스마트 촬영기기가 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 획득한 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하는 단계; 및 상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

여기서, 상기 기기 식별 정보가 제2 이미지일 경우, 저장된 이미지 라이브러리에서, 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하는 동작은, 상기 제2 이미지에 대한 이미지 인식을 통해 제2 이미지 중 스마트기기가 위치한 이미지 영역을 획득하고, 또한 저장된 이미지 라이브러리에서, 제2 이미지 중 스마트기기가 위치한 이미지 영역과 동일한 이미지를 선택하며, 상기 이미지를 타겟 이미지로 결정하는 단계; 또는, 제2 이미지와 저장된 이미지 라이브러리 중의 이미지 사이의 유사도를 결정하고, 결정한 유사도에 기반하여, 상기 이미지 라이브러리에서, 제2 이미지 사이의 유사도가 유사도 임계값보다 큰 이미지를 선택하며, 또한 선택한 이미지를 타겟 이미지로 결정하는 단계를 포함할 수 있다.

설명이 필요한 점은, 유사도 임계값은 예를 들어, 95%, 90% 등으로 미리 설정할 수 있다는 점이고, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

제2 형태는, 상기 기기 식별 정보가 제2 이미지일 경우, 중계기기가 상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 기기 마크를 인식하는 단계; 상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및 획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

예를 들어, 중계기기가 상기 제2 이미지에서 인식된 스마트기기의 기기 마크가 마크1이라면, 중계기기는 상기 마크1에 기반하여 하기 도2에 도시된 바와 같은 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자 ID1을 획득하고, 이에 따라, 중계기기는 ID1에 대응되는 스마트기기를 타겟 스마트기기로 결정한다.

기기 마크	스마트기기 식별자
마크1	ID1
마크2	ID2
마크3	ID3
…	…

설명이 필요한 점은, 본 발명의 실시예에 있어서, 상기 표2에 도시된 기기 마크와 스마트기기 식별자 사이의 대응관계에 한해서만 예로 들어 설명하였다는 점이고, 상기 표2는 본 발명의 실시예에 대해 한정하는 것이 아니다.

여기서, 상기 제2 이미지 중 스마트기기의 기기 마크의 인식 형태는 이미지 인식 형태일 수 있고, 기타 인식 형태일 수도 있으며, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

설명이 필요한 점은, 기기 마크는 유일하게 대응되는 스마트기기를 마크하기 위한 것이며, 상기 기기 마크는 예를 들어 QR코드, 바코드 또는, 기타 인식 가능한 마크를 미리 설정할 수 있다는 점이고, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

이외에, 스마트기기 식별자는 스마트기기를 유일하게 식별하기 위한 것이고, 상기 스마트기기 식별자는 예를 들어 MAC 주소, 출고 일변번호 등을 미리 설정할 수 있고, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

다음으로, 기기 마크와 스마트기기 식별자 사이의 대응관계는 마찬가지로 기설정할 수 있고, 이른바 중계기기가 상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하기 이전에, 마크 설정 요청을 수신할 수 있으며, 상기 마크 설정 요청에는 상기 기기 마크와 상기 스마트기기 식별자를 포함할 수 있으며, 이후에, 상기 중계기기는 상기 기기 마크와 스마트기기 식별자 사이의 대응관계를 저장할 수 있다.

제3 형태는, 상기 기기 식별 정보가 상기 사용자의 시선 방향과 수평 방향 사이의 협각인 제1 협각과 상기 시선 방향과 지정된 방향 사이의 협각인 제2 협각일 경우, 상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하고, 획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정한다.

예를 들어, 제1 협각이 10도, 제2 협각이 30도일 경우, 제1 협각 10도와 제2 협각 30도에 기반하여, 하기 도3에 도시된 바와 같은 제1 협각, 제2 협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자 ID1을 획득하고 또한 상기 스마트기기 식별자 ID1에 대응되는 스마트기기를 타겟 스마트기기로 결정한다.

제1 협각	제2 협각	스마트기기 식별자
10도	30도	ID1
45도	90도	ID2
10도	120도	ID3
…	…	…

설명이 필요한 점은, 본 발명의 실시예에 있어서, 다만 상기 표3에 도시된 제1 협각, 제2 협각과 스마트 촬영기기 식별자 사이의 대응관계에 한해서만 예로 들어 설명하였다는 점이고, 상기 표3은 본 발명의 실시예에 대해 구체적으로 한정하는 것이 아니다.

이외에, 본 발명의 실시예에 있어서, 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기의 동작을 결정하는 단계는 중계기기로 구현할 수 있고, 스마트 촬영기기로 구현할 수도 있으며, 본 발명의 실시예에서는 중계기기에서의 예로 설명한 것으로, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

단계 607에서, 중계기기는 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어한다.

안구 정보와 타겟 스마트기기의 제어 동작에는 대응관계가 존재하기 때문에 중계기기는 상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하고; 획득한 제어 동작에 기반하여 상기 타겟 스마트기기에 대한 제어를 진행함으로써 상기 타겟 스마트기기로 하여금 상기 제어 동작을 실행할 수 있도록 한다.

설명이 필요한 점은, 안구 정보와 제어 동작 사이의 대응관계는 기설정할 수 있고, 이른바 중계기기는 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하기 이전에, 안구 제어 관련 요청을 수신할 수 있으며, 상기 안구 제어 관련 요청에는 상기 안구 정보와 상기 제어 동작을 포함할 수 있고, 이후에, 상기 중계기기는 상기 안구 정보와 제어 동작 사이의 대응관계를 저장할 수 있다는 점이다. 예를 들어, 안구 정보가 3초라면, 대응되는 제어 동작은 스마트기기를 끄는 것일 수 있고, 안구 정보가 5초라면, 대응되는 제어 동작은 스마트기기를 켜는 것일 수 있으며, 스마트기기가 스마트 에어컨일 경우, 안구 정보 10초에 대응되는 제어 동작은 온도 낮추기 등일 수 있고, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

이외에, 상기 안구 제어 관련 요청의 송신측은 스마트 매트리스, 스마트 촬영기기 등일 수 있고, 물론 스마트 단말기일 수도 있으며, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하는 것이 아니다.

또한, 만약 제어 동작이 다만 타겟 스마트기기에 대한 스위치 제어 동작이라면, 안구 정보에 기반한 타겟 스마트기기의 스위치 제어에 대한 중계기기의 동작은 타겟 스마트기기가 켜진 상태일 경우, 상기 중계기기는 상기 안구 정보에 기반하여 타겟 스마트기기에 끄기 정보를 송신하여 타겟 스마트기기가 꺼지도록 하고, 타겟 스마트기기가 꺼진 상태일 경우, 상기 중계기기는 상기 안구 정보에 기반하여 타겟 스마트기기에 켜기 정보를 송신하여 타겟 스마트기기가 켜지도록 할 수 있다.

여기서, 타겟 스마트기기의 현재 상태는 중계기기에서 저장할 수 있고, 또한 중계기기가 타겟 스마트기기의 상태를 전환한 후 저장된 타겟 스마트기기의 현재 상태를 업데이트함으로써 이후에 타겟 스마트기기에 대한 제어를 진행할 수 있다.

예를 들어, 안구 정보가 3초이고, 타겟 스마트기기가 현재 상태가 켜진 상태일 경우, 상기 중계기기는 상기 안구 정보에 기반하여 타겟 스마트기기에 끄기 정보를 송신하여 타겟 스마트기기로 하여금 꺼지도록 할 수 있다.

본 발명의 실시예에 있어서, 스마트 매트리스가 압력 임계값보다 크거나 같은 압력 데이터를 검출하였을 경우, 중계기기를 통해 스마트 촬영기기를 트리거하여 스마트 촬영기기로 하여금 이미지를 수집하도록 하고, 또한 스마트 촬영기기를 통해 수집한 이미지에 대한 이미지 인식과 시선 인식을 진행함으로써 중계기기로 하여금 타겟 스마트기기를 결정하도록 하며, 또한 타겟 스마트기기에 대한 제어를 진행하여 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있어 스마트기기에 대한 제어가 더욱 간편용이하도록 하고, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

도9는 일 예시적 실시예에 근거하여 도시한 다른 스마트기기 제어 방법의 흐름도이다. 도9에 도시된 바와 같이, 상기 스마트기기 제어 방법은 하기 단계를 포함한다.

단계 901에서, 스마트 매트리스는 상기 스마트 매트리스에 작용하는 압력을 검출하여 압력 데이터를 획득하고, 상기 압력 데이터가 압력 임계값보다 크거나 같을 경우, 상기 스마트 매트리스는 중계기기에 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 송신한다.

상기 단계의 상세한 과정은 상기 실시예 단계 601을 참조할 수 있는바, 본 발명의 실시예에서는 이에 대해 상세한 설명을 생략한다.

단계 902에서, 중계기기가 상기 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신한다.

상기 단계의 상세한 과정은 상기 실시예 단계 602를 참조할 수 있는바, 본 발명의 실시예에서는 이에 대해 상세한 설명을 생략한다.

단계 903에서, 스마트 촬영기기가 중계기기가 송신한 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득한다.

상기 단계의 상세한 과정은 상기 실시예 단계 603을 참조할 수 있는바, 본 발명의 실시예에서는 이에 대해 상세한 설명을 생략한다.

단계 904에서, 스마트 촬영기기는 상기 사용자의 안구 정보를 결정한다.

안구 정보와 타겟 스마트기기의 제어 동작에는 대응관계가 존재하기 때문에, 타겟 스마트기기의 제어 동작을 결정하기 위해 스마트 촬영기기는 상기 사용자의 안구 정보를 결정할 필요가 있다. 본 발명의 실시예에 있어서, 스마트 촬영기기가 상기 사용자의 안구 정보를 결정하는 동작은 상기 실시예 단계 604에서 안구 정보를 결정하는 동작을 참조할 수 있는바, 본 발명의 실시예에서는 이에 대해 상세한 설명을 생략한다.

단계 905에서, 스마트 촬영기기는 상기 제1 이미지와 상기 안구 정보를 상기 중계기기에 송신한다.

타겟 스마트기기는 중계기기를 통해 제어를 진행하기 때문에, 상기 중계기기로 하여금 상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하도록 하기 위해 상기 스마트 촬영기기는 상기 제1 이미지와 상기 안구 정보를 상기 중계기기에 송신한다.

단계 906에서, 중계기기는 상기 제1 이미지에서 상기 사용자의 시선 방향을 결정한다.

중계기기가 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 동작은, 중계기기가 상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하는 단계; 및 상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계를 포함할 수 있다.

여기서, 중계기기가 상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 동작은, 상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하는 단계; 및 상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하는 단계를 포함할 수 있다.

본 발명의 실시예에 있어서, 이미지 인식과 시선 인식의 상세한 과정은 상기 실시예 중 단계 603을 참조할 수 있는바, 본 발명의 실시예에서는 이에 대해 상세한 설명을 생략한다.

단계 907에서, 중계기기는 상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정한다.

중계기기가 상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 동작은 하기와 같은 두가지 형태가 있을 수 있다.

제1 형태는, 상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 시선 방향과 지정된 방향 사이의 제2 협각을 결정하며; 상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계이다.

제2 형태는, 중계기기가 상기 시선 방향을 상기 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 또한 상기 제2 이미지를 리턴하도록 하는 단계; 및 상기 스마트 촬영기기가 리턴한 제2 이미지를 수신하였을 경우, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계이다.

여기서, 중계기기가 상기 시선 방향을 상기 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 또한 상기 제2 이미지를 리턴하는 동작은, 중계기기가 상기 시선 방향을 상기 스마트 촬영기기에 송신하고, 스마트 촬영기기가 상기 중계기기가 송신한 시선 방향을 수신하였을 경우, 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 상기 시선 방향은 상기 중계기기가 상기 제1 이미지에 대한 분석을 통해 획득한 단계; 및 스마트기기가 상기 제2 이미지를 상기 중계기기에 송신하는 단계를 포함할 수 있다.

중계기기가 상기 스마트기기가 리턴한 제2 이미지를 수신하였을 경우, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 동작은 하기와 같은 두가지 형태가 있다.

1) 저장된 이미지 라이브러리에서, 상기 제2 이미지와 바인딩된 타겟 이미지를 선택하는 단계; 및 상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하는 단계이다.

2) 상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 스마트 마크를 인식하는 단계; 상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및 획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계이다.

상기 단계의 상세한 과정은 상기 실시예 단계 606을 참조할 수 있는 바, 본 발명의 실시예에서는 이에 대해 상세한 설명을 생략한다.

단계 908에서, 중계기기는 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어한다.

중계기기가 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 동작은, 상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하는 단계; 및 획득한 제어 동작에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함할 수 있다.

상기 단계의 상세한 과정은 상기 실시예 단계 607을 참조할 수 있는바, 본 발명의 실시예에서는 이에 대해 상세한 설명을 생략한다.

본 발명의 실시예에 있어서, 스마트 매트리스가 압력 임계값보다 크거나 같은 압력 데이터를 수신하였을 경우, 중계기기를 통해 스마트 촬영기기를 트리거하여 스마트 촬영기기로 하여금 이미지 수집을 진행하도록 하고, 또한 수집한 이미지를 중계기기에 송신하며, 중계기기를 통해 수집한 이미지에 대한 이미지 인식과 시선 인식을 진행함으로써 타겟 스마트기기를 결정하고, 타겟 스마트기기에 대한 제어를 진행함으로써 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있어 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

도10은 일 예시적 실시예에 근거하여 도시한 스마트기기 제어 장치의 블록도이다. 도10에 도시된 바와 같이, 상기 스마트기기 제어 장치는 이미지 수집 모듈(1001), 결정 모듈(1002) 및 송신 모듈(1003)을 포함한다.

이미지 수집 모듈(1001)은 중계기기를 통해 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 수집하도록 구성된다.

결정 모듈(1002)은 상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보를 결정하고, 아울러 상기 사용자의 안구 정보를 결정하도록 구성된다.

송신 모듈(1003)은 상기 기기 식별 정보와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하도록 구성된다.

본 발명의 다른 실시예에 있어서, 도11에 도시된 바와 같이, 상기 결정 모듈(1002)은,

상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하기 위한 제1 결정 유닛(10021); 및

상기 시선 방향에 기반하여 상기 기기 식별 정보를 결정하기 위한 제2 결정 유닛(10022)을 포함한다.

본 발명의 다른 실시예에 있어서, 도12에 도시된 바와 같이, 상기 제1 결정 유닛(10021)은,

상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하기 위한 제1 인식 서브 유닛(100211); 및

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하기 위한 제2 인식 서브 유닛(100212)을 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제2 인식 서브 유닛(100212)은,

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하고;

상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하도록 구성된다.

본 발명의 다른 실시예에 있어서, 도13에 도시된 바와 같이, 상기 제2 결정 유닛(10022)은,

상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 상기 제2 이미지를 상기 기기 식별 정보로 결정하기 위한 이미지 수집 서브 유닛(100221); 또는,

상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 제2 협각을 결정하며, 상기 제1 협각과 상기 제2 협각을 상기 기기 식별 정보로 결정하기 위한 결정 서브 유닛(100222)을 포함한다.

본 발명의 실시예에 있어서, 스마트 촬영기기는 중계기기를 통해 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고, 또한 이미지 수집을 진행할 수 있으며, 수집한 이미지를 통해 기기 식별 정보와 안구 정보를 결정하여 중계기기로 하여금 기기 식별 정보와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 진행하도록 함으로써 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있어 스마트기기에 대한 제어가 더욱 간편용이하여, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

도14는 일 예시적 실시예에 근거하여 도시한 다른 스마트기기 제어 장치 블록도이다. 도14를 참조하면, 상기 스마트기기 제어 장치는 제1 이미지 수집 모듈(1401), 결정 모듈(1402) 및 제1 송신 모듈(1403)을 포함한다.

제1 이미지 수집 모듈(1401)은 중계기기를 통해 송신한, 사용자가 스마트 매트리스를 사용할 시 트리거한 상기 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하도록 구성된다.

결정 모듈(1402)은 상기 사용자의 안구 정보를 결정하도록 구성된다.

제1 송신 모듈(1403)은 상기 제1 이미지와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하도록 구성된다.

본 발명의 다른 실시예에 있어서, 도15에 도시된 바와 같이, 상기 스마트기기 제어 장치는,

상기 중계기기가 송신한, 상기 중계기기가 상기 제1 이미지에 대한 분석을 통해 획득한 시선 방향을 수신하였을 경우, 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하기 위한 제2 이미지 수집 모듈(1404); 및

상기 제2 이미지를 상기 중계기기에 송신하기 위한 제2 송신 모듈(1405)을 더 포함한다.

본 발명의 실시예에 있어서, 스마트 촬영기기는 중계기기를 통해 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고, 또한 이미지 수집을 진행하며, 수집한 이미지를 통해 안구 정보를 결정하여, 중계기기로 하여금 수집한 이미지와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어에 진행하도록 함으로써 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있어 스마트기기에 대한 제어가 더욱 간편용이하여, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

도16은 일 예시적 실시예에 근거하여 도시한 다른 스마트기기 제어 장치 블록도이다. 도16에 도시된 바와 같이, 상기 스마트기기 제어 장치는 수신 모듈(1601), 송신 모듈(1602) 및 제어 모듈(1603)을 포함한다.

수신 모듈(1601)은 스마트 매트리스가 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 수신하도록 구성된다.

송신 모듈(1602)은 상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보와 상기 사용자의 안구 정보를 리턴하도록 구성된다.

제어 모듈(1603)은 상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하도록 구성된다.

본 발명의 다른 실시예에 있어서, 도17에 도시된 바와 같이, 상기 제어 모듈(1603)은,

상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하기 위한 결정 유닛(16031); 및

상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하기 위한 제어 유닛(16032)을 포함한다.

본 발명의 다른 실시예에 있어서, 도18에 도시된 바와 같이, 상기 결정 유닛(16031)은,

상기 기기 식별 정보가 제2 이미지일 경우, 저장된 이미지 라이브러리에서, 상기 스마트 촬영기기가 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 획득한 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하기 위한 선택 서브 유닛(160311); 및

상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하기 위한 제1 결정 서브 유닛(160312)을 포함한다.

본 발명의 다른 실시예에 있어서, 도19에 도시된 바와 같이, 상기 결정 유닛(16031)은,

상기 기기 식별 정보가 제2 이미지일 경우, 상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 기기 마크를 인식하기 위한 인식 서브 유닛(160313);

상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하기 위한 제1 획득 서브 유닛(160314); 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하기 위한 제2 결정 서브 유닛(160315)을 포함한다.

본 발명의 다른 실시예에 있어서, 도20에 도시된 바와 같이, 상기 결정 유닛(16031)은,

상기 기기 식별 정보가 상기 사용자의 시선 방향과 수평 방향 사이의 협각인 제1 협각과 상기 시선 방향과 지정된 방향 사이의 협각인 제2 협각일 경우, 상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하기 위한 제2 획득 서브 유닛(160316); 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하기 위한 제3 결정 서브 유닛(160317)을 포함한다.

본 발명의 다른 실시예에 있어서, 도21에 도시된 바와 같이, 상기 제어 유닛(16032)은,

상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하기 위한 제3 획득 서브 유닛(160321); 및

획득한 제어 동작에 기반하여 상기 타겟 스마트기기를 제어하기 위한 제어 서브 유닛(160322)을 포함한다.

본 발명의 실시예에 있어서, 중계기기는 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고, 또한 상기 요청을 스마트 촬영기기에 송신할 수 있으며, 스마트 촬영기기로 하여금 수집한 이미지에 기반하여 리턴한 기기 식별 정보와 안구 정보를 수신하고, 상기 기기 식별 정보와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 진행하여 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기에 대한 제어를 진행할 수 있도록 하여 스마트기기에 대한 제어가 더욱 간편하고 용이하도록 하고, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

도22는 일 예시적 실시예에 근거하여 도시한 다른 스마트기기 제어 장치 블록도이다. 도22에 도시된 바와 같이, 상기 스마트기기 제어 장치는 수신 모듈(2201), 송신 모듈(2202) 및 제어 모듈(2203)을 포함한다.

수신 모듈(2201)은 스마트 매트리스가 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 수신하도록 구성된다.

송신 모듈(2202)은 상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지와 상기 사용자의 안구 정보를 리턴하도록 구성된다.

제어 모듈(2203)은 상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하도록 구성된다.

본 발명의 다른 실시예에 있어서, 도23에 도시된 바와 같이, 상기 제어 모듈(2203)은,

상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하기 위한 제1 결정 유닛(22031);

상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하기 위한 제2 결정 유닛(22032); 및

상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하기 위한 제어 유닛(22033)을 포함한다.

본 발명의 다른 실시예에 있어서, 도24에 도시된 바와 같이, 상기 제1 결정 유닛(22031)은,

상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하기 위한 제1 인식 서브 유닛(220311); 및

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하기 위한 제2 인식 서브 유닛(220312)을 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제2 인식 서브 유닛(220312)은,

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하고;

상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하도록 구성된다.

본 발명의 다른 실시예에 있어서, 도25에 도시된 바와 같이, 상기 제2 결정 유닛(22032)은,

상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 제2 협각을 결정하기 위한 제1 결정 서브 유닛(220321);

상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2 협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하기 위한 제1 획득 서브 유닛(220322); 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하기 위한 제2 결정 서브 유닛(220323)을 포함한다.

본 발명의 다른 실시예에 있어서, 도26에 도시된 바와 같이, 상기 제2 결정 유닛(22032)은,

상기 시선 방향을 상기 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 또한 상기 제2 이미지를 리턴하도록 하기 위한 송신 서브 유닛(220324); 및

상기 스마트 촬영기기가 리턴한 제2 이미지를 수신하였을 경우, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하기 위한 제3 결정 서브 유닛(220325)을 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제3 결정 서브 유닛(220325)은,

저장된 이미지 라이브러리에서, 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하고;

상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하도록 구성된다.

본 발명의 다른 실시예에 있어서, 상기 제3 결정 서브 유닛(220325)은,

상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 기기 마크를 인식하고;

상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하며;

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하도록 구성된다.

본 발명의 다른 실시예에 있어서, 도27에 도시된 바와 같이, 상기 제어 유닛(22033)은,

상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하기 위한 제2 획득 서브 유닛(220331); 및

획득한 제어 동작에 기반하여 타겟 스마트기기를 제어하기 위한 제어 서브 유닛(220332)을 포함한다.

본 발명의 실시예에 있어서, 중계기기는 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고 또한 상기 요청을 스마트 촬영기기에 송신할 수 있으며, 스마트 촬영기기가 리턴한 이미지와 안구 정보를 수신하고, 상기 이미지와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 진행하여 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있어 스마트기기에 대한 제어가 더욱 간편용이하도록 하고, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

상기 실시예에 따른 장치와 관련하여, 여기서 각각의 모듈의 실행 동작에 대한 구체적인 형태는 이미 상기 스마트 제어 방법의 관련 실시예에서 상세하게 묘사하였기에 여기서는 상세한 설명을 생략한다.

도28일 예시적 실시예에 따라 도시한 스마트기기 제어 장치(2800)의 블록도이다. 예를 들어, 장치(2800)는 휴대폰, 컴퓨터, 디지털방송 단말기, 메시지 송수신 기기, 게임 콘솔, 태블릿기기, 의료기기, 휘트니스기기, 개인 휴대 정보 단말기 등일 수 있다.

도28을 참조하면, 장치(2800)는 프로세싱 컴포넌트(2802), 메모리(2804), 전원 컴포넌트(2806), 멀티미디어 컴포넌트(2808), 오디오 컴포넌트(2810), 입출력(I/O) 인터페이스(2812), 센서 컴포넌트(2814) 및 통신 컴포넌트(2816) 중의 하나 또는 다수의 컴포넌트를 포함할 수 있다.

프로세싱 컴포넌트(2802)는 통상적으로 표시, 전화 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련한 장치(2800)의 전체 동작을 제어한다. 프로세싱 컴포넌트(2802)는 상기 스마트기기 제어 방법의 전부 또는 일부 단계를 완성하도록 하나 또는 다수의 프로세서(2820)를 포함하여 인스트럭션을 실행할 수 있다. 이 외에, 프로세싱 컴포넌트(2802)는 프로세싱 컴포넌트(2802)와 기타 컴포넌트 사이의 상호 작용이 편리하도록, 하나 또는 다수의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(2802)는 멀티미디어 컴포넌트(2808)와 프로세싱 컴포넌트(2802) 사이의 상호 작용이 편리하도록 멀티미디어 모듈을 포함할 수 있다.

메모리(2804)는 장치(2800)의 작동을 지원하도록 각종 유형의 데이터를 저장하도록 구성된다. 이러한 데이터의 예시는 장치(2800)에서 작동하기 위한 그 어느 하나의 응용 프로그램 또는 방법의 인스트럭션, 연락처 데이터, 전화번호부 데이터, 메시지, 이미지, 동영상 등을 포함한다. 메모리(2804)는 스태틱 랜덤 액세스 메모리(SRAM), 전기적 소거 가능한 프로그램 가능 판독전용 메모리(EEPROM), 소거 및 프로그램 가능 판독전용 메모리(EPROM), 프로그램 가능 판독전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스크 또는 CD와 같은 모든 유형의 휘발성 또는 비휘발성 메모리 기기 또는 그들의 조합으로 이루어질 수 있다.

전원 컴포넌트(2806)는 장치(2800)의 각종 컴포넌트에 전력을 공급한다. 전원 컴포넌트(2806)는 전원관리시스템, 하나 또는 다수의 전원, 장치(2800)에 전력을 생성, 관리 및 분배하는 것과 관련되는 기타 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(2808)는 상기 장치(2800)와 사용자 사이에 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서 스크린은 액정디스플레이(LCD)와 터치패널(TP)을 포함할 수 있다. 스크린이 터치패널을 포함하면, 스크린은 사용자가 입력한 신호를 수신하도록 터치스크린으로 구현될 수 있다. 터치패널은 터치, 슬라이딩과 터치패널의 손동작을 감지하도록 하나 또는 다수의 터치센서를 포함한다. 상기 터치센서는 터치 또는 슬라이딩 동작의 경계를 감지할 수 있을 뿐만 아니라 상기 터치 또는 슬라이딩 동작과 관련한 지속시간과 압력도 검출할 수 있다. 일부 실시예에서, 멀티미디어 컴포넌트(2808)는 하나의 프론트 카메라 및/또는 리어 카메라를 포함한다. 장치(2800)가 작동모드 예를 들어, 촬영모드 또는 동영상 모드일 경우, 프론트 카메라 및/또는 리어 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 프론트 카메라와 리어 카메라는 하나의 고정된 광학렌즈 시스템이거나 초점 거리와 광학 줌 능력을 구비할 수 있다.

오디오 컴포넌트(2810)는 오디오신호를 출력 및/또는 입력한다. 예를 들어, 오디오 컴포넌트(2810)는 하나의 마이크(MIC)를 포함하는 바, 장치(2800)가 작동모드, 예를 들어 호출모드, 기록모드 및 음성인식 모드일 경우, 마이크는 외부의 오디오신호를 수신한다. 수신된 오디오신호는 메모리(2804)에 저장되거나 통신 컴포넌트(2816)를 거쳐 송신될 수 있다. 일부 실시예에서 오디오 컴포넌트(2810)는 오디오신호를 출력하기 위한 하나의 스피커를 더 포함한다.

입출력(I/O) 인터페이스(2812)는 프로세싱 컴포넌트(2802)와 주변 인터페이스모듈 사이에 인터페이스를 제공하되 상기 주변 인터페이스모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈버튼, 음량버튼, 작동버튼과 잠금버튼을 포함할 수 있지만 이에 한정되지는 않는다.

센서 컴포넌트(2814)는 하나 또는 다수의 센서를 포함하여 장치(2800)에 여러 방면의 상태평가를 제공한다. 예를 들어, 센서 컴포넌트(2814)는 장치(2800)의 온/오프상태, 컴포넌트의 상대적인 위치, 예를 들어 상기 컴포넌트는 장치(2800)의 모니터와 키패드를 검출할 수 있고, 센서 컴포넌트(2814)는 장치(2800) 또는 장치(2800)의 한 컴포넌트의 위치변화, 사용자와 장치(2800)의 접촉여부, 장치(2800) 방향 위치 또는 가속/감속과 장치(2800)의 온도변화를 검출할 수 있다. 센서 컴포넌트(2814)는 아무런 물리접촉이 없을 경우 주변 물체의 존재를 검출하도록 구성된 근접센서를 포함할 수 있다. 센서 컴포넌트(2814)는CMOS 또는 CCD 영상센서와 같은 광 센서를 더 포함하여 영상응용에 사용한다. 일부 실시예에서, 상기 센서 컴포넌트(2814)는 가속도센서, 자이로센서, 자기센서, 압력센서 또는 온도센서를 더 포함할 수 있다.

통신 컴포넌트(2816)는 장치(2800)와 기타 기기 사이의 유선 또는 무선방식의 통신이 편리하도록 구성된다. 장치(2800)는 통신표준에 의한 무선 네트워크, 예를 들어 WiFi, 2G 또는 3G 또는 이들의 조합의 무선 네트워크에 접속할 수 있다. 일 예시적 실시예에서, 통신 컴포넌트(2816)는 방송신호를 거쳐 외부 방송관리 시스템의 방송신호 또는 방송과 관련한 정보를 수신한다. 일 예시적 실시예에서, 상기 통신 컴포넌트(2816)는 근거리 통신을 촉진하도록 근거리 자기장 통신(NFC)모듈을 더 포함한다. 예를 들어 NFC모듈은 무선주파수 인식(RFID) 기술, 적외선 통신규격(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술과 기타 기술에 기반하여 구현할 수 있다.

예시적인 실시예에서 장치(2800)는 상기 스마트기기 제어 방법을 수행하도록 하나 또는 다수의 응용 주문형 집적회로(ASIC), 디지털신호 프로세서(DSP), 디지털신호 처리기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자부품에 의해 구현될 수 있다.

예시적인 실시예에서, 인스트럭션을 포함한 비일시적 컴퓨터 판독 가능한 기록매체, 예를 들어 상기 스마트기기 제어 방법을 실행하기 위한 장치(2800)의 프로세서(2820)에 의해 실행되는 인스트럭션을 포함한 메모리(2804)를 더 제공한다. 예를 들어, 상기 비일시적 컴퓨터 판독 가능한 기록매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 테이프, 플로피 디스켓과 광 데이터 저장기기 등일 수 있다.

스마트 촬영기기의 프로세서에 의해 실행되는 인스트럭션을 포함한 비일시적 컴퓨터 판독 가능한 저장 매체가 스마트 촬영기기로 하여금 실행할 수 있도록 하는 상기 스마트기기 제어 방법은,

중계기기를 통해 송신한，사용자가 스마트 매트리스를 사용할 시 트리거한 상기 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하는 단계;

상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보를 결정하고, 아울러 상기 사용자의 안구 정보를 결정하는 단계; 및

상기 기기 식별 정보와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하도록 하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제1 이미지에 기반하여 기기 식별 정보를 결정하는 단계는,

상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계; 및

상기 시선 방향에 기반하여 상기 기기 식별 정보를 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계는,

상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하는 단계; 및

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계는,

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하는 단계; 및

상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 시선 방향에 기반하여 상기 기기 식별 정보를 결정하는 단계는,

상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 상기 제2 이미지를 상기 기기 식별 정보로 결정하는 단계; 또는,

상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 제2 협각을 결정하며, 상기 제1 협각과 상기 제2 협각을 상기 기기 식별 정보로 결정하는 단계를 포함한다.

본 발명의 실시예에 있어서, 스마트 촬영기기는 중계기기를 통해 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고, 또한 이미지 수집을 진행할 수 있으며, 수집한 이미지를 통해 기기 식별 정보와 안구 정보를 결정하여 스마트 중계기기로 하여금 기기 식별 정보와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 진행하도록 함으로써 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있어 타겟 스마트기기에 대한 제어가 더욱 간편용이하여, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

도29는 일 예시적 실시예에 따라 예시한 스마트기기 제어 장치(2900)의 블록도이다. 예를 들어, 장치(2900)는 휴대폰, 컴퓨터, 디지털방송 단말기, 메시지 송수신 기기, 게임 콘솔, 태블릿기기, 의료기기, 휘트니스기기, 개인 휴대 정보 단말기 등일 수 있다.

도29를 참조하면, 장치(2900)는 프로세싱 컴포넌트(2902), 메모리(2904), 전원 컴포넌트(2906), 멀티미디어 컴포넌트(2908), 오디오 컴포넌트(2910), 입출력(I/O) 인터페이스(2912), 센서 컴포넌트(2914) 및 통신 컴포넌트(2916) 중의 하나 또는 다수의 컴포넌트를 포함할 수 있다.

프로세싱 컴포넌트(2902)는 통상적으로 표시, 데이터 통신, 카메라 동작 및 기록 동작과 관련한 장치(2900)의 전체 동작을 제어한다. 프로세싱 컴포넌트(2902)는 상기 스마트기기 제어 방법의 전부 또는 일부 단계를 완성하도록 하나 또는 다수의 프로세서(2920)를 포함하여 인스트럭션을 실행할 수 있다. 이 외에, 프로세싱 컴포넌트(2902)는 프로세싱 컴포넌트(2902)와 기타 컴포넌트 사이의 상호 작용이 편리하도록, 하나 또는 다수의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(2902)는 멀티미디어 컴포넌트(2908)와 프로세싱 컴포넌트(2902) 사이의 상호 작용이 편리하도록 멀티미디어 모듈을 포함할 수 있다.

메모리(2904)는 장치(2900)의 작동을 지원하도록 각종 유형의 데이터를 저장하도록 구성된다. 이러한 데이터의 예시는 장치(2900)에서 작동하기 위한 그 어느 하나의 응용 프로그램 또는 방법의 인스트럭션, 메시지, 이미지, 동영상 등을 포함한다. 메모리(2904)는 스태틱 랜덤 액세스 메모리(SRAM), 전기적 소거 가능한 프로그램 가능 판독전용 메모리(EEPROM), 소거 및 프로그램 가능 판독전용 메모리(EPROM), 프로그램 가능 판독전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스크 또는 CD와 같은 모든 유형의 휘발성 또는 비휘발성 메모리 기기 또는 그들의 조합으로 이루어질 수 있다.

전원 컴포넌트(2906)는 장치(2900)의 각종 컴포넌트에 전력을 공급한다. 전원 컴포넌트(2906)는 전원관리시스템, 하나 또는 다수의 전원, 장치(2900)에 전력을 생성, 관리 및 분배하는 것과 관련되는 기타 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(2908)는 상기 장치(2900)와 사용자 사이에 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서 스크린은 액정디스플레이(LCD)와 터치패널(TP)을 포함할 수 있다. 스크린이 터치패널을 포함하면, 스크린은 사용자가 입력한 신호를 수신하도록 터치스크린으로 구현될 수 있다. 터치패널은 터치, 슬라이딩과 터치패널의 손동작을 감지하도록 하나 또는 다수의 터치센서를 포함한다. 상기 터치센서는 터치 또는 슬라이딩 동작의 경계를 감지할 수 있을 뿐만 아니라 상기 터치 또는 슬라이딩 동작과 관련한 지속시간과 압력도 검출할 수 있다. 일부 실시예에서, 멀티미디어 컴포넌트(2908)는 하나의 프론트 카메라 및/또는 리어 카메라를 포함한다. 장치(2900)가 작동모드 예를 들어, 촬영모드 또는 동영상 모드일 경우, 프론트 카메라 및/또는 리어 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 프론트 카메라와 리어 카메라는 하나의 고정된 광학렌즈 시스템이거나 초점 거리와 광학 줌 능력을 구비할 수 있다.

오디오 컴포넌트(2910)는 오디오신호를 출력 및/또는 입력한다. 예를 들어, 오디오 컴포넌트(2910)는 하나의 마이크(MIC)를 포함하는 바, 장치(2900)가 작동모드, 예를 들어 호출모드, 기록모드 및 음성인식 모드일 경우, 마이크는 외부의 오디오신호를 수신한다. 수신된 오디오신호는 메모리(2904)에 저장되거나 통신 컴포넌트(2916)를 거쳐 송신될 수 있다. 일부 실시예에서 오디오 컴포넌트(2910)는 오디오신호를 출력하기 위한 하나의 스피커를 더 포함한다.

입출력(I/O) 인터페이스(2912)는 프로세싱 컴포넌트(2902)와 주변 인터페이스모듈 사이에 인터페이스를 제공하되 상기 주변 인터페이스모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈버튼, 음량버튼, 작동버튼과 잠금버튼을 포함할 수 있지만 이에 한정되지는 않는다.

센서 컴포넌트(2914)는 하나 또는 다수의 센서를 포함하여 장치(2900)에 여러 방면의 상태평가를 제공한다. 예를 들어, 센서 컴포넌트(2914)는 장치(2900)의 온/오프상태, 컴포넌트의 상대적인 위치, 예를 들어 상기 컴포넌트는 장치(2900)의 모니터와 키패드를 검출할 수 있고, 센서 컴포넌트(2914)는 장치(2900) 또는 장치(2900)의 한 컴포넌트의 위치변화, 사용자와 장치(2900)의 접촉여부, 장치(2900) 방향 위치 또는 가속/감속과 장치(2900)의 온도변화를 검출할 수 있다. 센서 컴포넌트(2914)는 아무런 물리접촉이 없을 경우 주변 물체의 존재를 검출하도록 구성된 근접센서를 포함할 수 있다. 센서 컴포넌트(2914)는CMOS 또는 CCD 영상센서와 같은 광 센서를 더 포함하여 영상응용에 사용한다. 일부 실시예에서, 상기 센서 컴포넌트(2914)는 가속도센서, 자이로센서, 자기센서, 압력센서 또는 온도센서를 더 포함할 수 있다.

통신 컴포넌트(2916)는 장치(2900)와 기타 기기 사이의 유선 또는 무선방식의 통신이 편리하도록 구성된다. 장치(2900)는 통신표준에 의한 무선 네트워크, 예를 들어 WiFi를 통해 접속할 수 있다. 일 예시적 실시예에서, 통신 컴포넌트(2916)는 방송신호를 거쳐 외부 방송관리 시스템의 방송신호 또는 방송과 관련한 정보를 수신한다. 일 예시적 실시예에서, 상기 통신 컴포넌트(2916)는 근거리 통신을 촉진하도록 근거리 자기장 통신(NFC)모듈을 더 포함한다. 예를 들어 NFC모듈은 무선주파수 인식(RFID) 기술, 적외선 통신규격(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술과 기타 기술에 기반하여 구현할 수 있다.

예시적인 실시예에서 장치(2900)는 상기 스마트기기 제어 방법을 수행하도록 하나 또는 다수의 응용 주문형 집적회로(ASIC), 디지털신호 프로세서(DSP), 디지털신호 처리기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자부품에 의해 구현될 수 있다.

예시적인 실시예에서, 인스트럭션을 포함한 비일시적 컴퓨터 판독 가능한 기록매체, 예를 들어 상기 스마트기기 제어 방법을 수행하기 위한 장치(2900)의 프로세서(2920)에 의해 실행되는 인스트럭션을 포함한 메모리(2904)를 더 제공한다. 예를 들어, 상기 비일시적 컴퓨터 판독 가능한 기록매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 테이프, 플로피 디스켓과 광 데이터 저장기기 등일 수 있다.

스마트 촬영기기의 프로세서에 의해 실행되는 인스트럭션을 포함한 비일시적 컴퓨터 판독 가능한 저장 매체가 스마트 촬영기기로 하여금 실행할 수 있도록 하는 상기 스마트기기 제어 방법은,

중계기기를 통해 송신한，사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스의 이미지 수집 요청을 수신하였을 경우, 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하는 단계;

상기 사용자의 안구 정보를 결정하는 단계; 및

상기 제1 이미지와 상기 안구 정보를 상기 중계기기에 송신하여 상기 중계기기로 하여금 상기 제1 이미지와 상기 안구 정보에 기반하여 타겟 스마트기기를 제어하도록 하는 단계를 더 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제1 이미지와 상기 안구 정보를 상기 중계기기에 송신한 단계 이후에,

상기 중계기기가 송신한, 상기 중계기기가 상기 제1 이미지에 대한 분석을 통해 획득한 시선 방향을 수신하였을 경우, 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하는 단계; 및

상기 제2 이미지를 상기 중계기기에 송신하는 단계를 더 포함한다.

본 발명의 실시예에 있어서, 스마트 촬영기기는 중계기기를 통해 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고 또한 이미지 수집을 진행할 수 있으며, 수집한 이미지와 안구 정보를 통해 중계기기로 하여금 수집한 이미지와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 진행하도록 함으로써 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있어 스마트기기에 대한 제어가 더욱 간편용이하여, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

도30은 일 예시적 실시예에 근거하여 도시한 스마트기기 제어 장치(3000)의 블록도이다. 예를 들어 장치(3000)는 하나의 중계기기로 제공될 수 있다. 도30을 참조하면 장치(3000)는 프로세싱 컴포넌트(3022)를 포함하고 이는 하나 또는 다수의 프로세서 및 프로세싱 컴포넌트(3022)가 실행 가능한 인스트럭션, 예를 들어 애플리케이션 프로그램을 저장하기 위한 메모리(3032)를 대표로 하는 메모리 리소스를 포함한다. 메모리(3032)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각 인스트럭션과 대응되는 모듈을 포함할 수 있다.

장치(3000)는 장치(3000)의 전원관리를 실행하도록 구성된 하나의 전원 컴포넌트(3026), 장치(3000)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(3050), 하나의 입출력(I/O) 인터페이스(3058)를 더 포함할 수 있다. 장치(3000)는 메모리(3032)에 저장된 운영체제, 예를 들어 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM등을 작동시킬 수 있다.

이외에, 인스트럭션을 실행하도록 구성된 프로세싱 컴포넌트(3022)에 의해 실행되는 하기 스마트기기 제어 방법은,

스마트 매트리스가 송신한, 스마트 매트리스를 휴대하고 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 이미지 수집 요청을 수신하는 단계;

상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지에 기반하여 제어하고자 하는 타겟 스마트기기를 결정하기 위한 기기 식별 정보와 상기 사용자의 안구 정보를 리턴하는 단계; 및

상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 기기 식별 정보와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계는,

상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계; 및

상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 기기 식별 정보가 제2 이미지일 경우, 저장된 이미지 라이브러리에서, 상기 스마트 촬영기기가 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 획득한 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하는 단계; 및

상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 기기 식별 정보가 제2 이미지일 경우, 상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 기기 마크를 인식하는 단계;

상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 기기 식별 정보에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 기기 식별 정보가 상기 사용자의 시선 방향과 수평 방향 사이의 협각인 제1 협각과 상기 시선 방향과 지정된 방향 사이의 협각인 제2 협각일 경우, 상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계는,

상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하는 단계; 및

획득한 제어 동작에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

본 발명의 실시예에 있어서, 중계기기는 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고, 또한 상기 요청을 스마트 촬영기기에 송신할 수 있으며, 스마트 촬영기기로 하여금 수집한 이미지에 기반하여 리턴한 기기 식별 정보와 안구 정보를 수신하고, 상기 기기 식별 정보와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 진행하도록 함으로써 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있어 스마트기기에 대한 제어가 더욱 간편용이하도록 하고, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

도31은 일 예시적 실시예에 근거하여 도시한 스마트기기 제어 장치(3100)의 블록도이다. 예를 들어 장치(3100)는 하나의 중계기기로 제공될 수 있다. 도31을 참조하면 장치(3100)는 프로세싱 컴포넌트(3122)를 포함하고 이는 하나 또는 다수의 프로세서 및 프로세싱 컴포넌트(3122)가 실행 가능한 인스트럭션, 예를 들어 애플리케이션 프로그램을 저장하기 위한 메모리(3132)를 대표로 하는 메모리 리소스를 포함한다. 메모리(3132)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각 인스트럭션과 대응되는 모듈을 포함할 수 있다.

장치(3100)는 장치(3100)의 전원관리를 실행하도록 구성된 하나의 전원 컴포넌트(3126), 장치(3100)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(3150), 하나의 입출력(I/O) 인터페이스(3158)를 더 포함할 수 있다. 장치(3100)는 메모리(3132)에 저장된 운영체제, 예를 들어 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM등과 같은 것을 작동시킬 수 있다.

이외에, 인스트럭션을 실행하도록 구성된 프로세싱 컴포넌트(3122)에 의해 실행되는 하기 스마트기기 제어 방법은,

스마트 매트리스가 송신한, 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 스마트 매트리스 식별자가 포함되어 있는 이미지 수집 요청을 수신하는 단계;

상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 바인딩된 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 제1 이미지를 획득하고, 또한 상기 제1 이미지와 상기 사용자의 안구 정보를 리턴하는 단계; 및

상기 제1 이미지와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제1 이미지와 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계는,

상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계;

상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 단계; 및

상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제1 이미지에서 상기 사용자의 시선 방향을 결정하는 단계는;

상기 제1 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈 위치를 획득하는 단계; 및

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계는,

상기 사용자의 눈 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하는 단계; 및

상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 시선 방향과 수평 방향 사이의 제1 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 제2 협각을 결정하는 단계;

상기 제1 협각과 상기 제2 협각에 기반하여, 저장된 제1 협각, 제2 협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 시선 방향을 상기 스마트 촬영기기에 송신하여 상기 스마트 촬영기기로 하여금 상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 제2 이미지를 획득하고, 또한 상기 제2 이미지를 리턴하도록 하는 단계; 및

상기 스마트 촬영기기가 리턴한 제2 이미지를 수신하였을 경우, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

저장된 이미지 라이브러리에서, 상기 제2 이미지에 매칭되는 타겟 이미지를 선택하는 단계; 및

상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 제2 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,

상기 제2 이미지에서 상기 제2 이미지 내의 스마트기기의 기기 마크를 인식하는 단계;

상기 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및

획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 있어서, 상기 안구 정보에 기반하여 상기 타겟 스마트기기를 제어하는 단계는,

상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하는 단계; 및

획득한 제어 동작에 기반하여 타겟 스마트기기를 제어하는 단계를 포함한다.

본 발명의 실시예에 있어서, 중계기기는 스마트 매트리스가 송신한 이미지 수집 요청을 수신하고, 또한 상기 요청을 스마트 촬영기기에 송신하며, 스마트 촬영기기가 리턴한 수집한 이미지와 안구 정보를 수신하고, 상기 이미지와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 진행함으로써 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있어 스마트기기에 대한 제어가 더욱 간편용이하도록 하고, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들은 명세서를 고려하여 여기서 개시한 발명을 실시한 후 본 발명의 기타 실시형태를 용이하게 생각해낼 수 있다. 본 발명은 본 발명의 모든 변형, 용도 또는 적응성 변화를 포함하고 이러한 변형, 용도 또는 적응성 변화는 본 발명의 일반적인 원리를 따르며 본 발명이 개시하지 않은 본 기술분야에서의 공지된 상식 또는 통상적인 기술수단을 포함한다. 명세서와 실시예는 예시적인 것일 뿐이며 본 발명의 진정한 범위와 기술적 사상은 하기의 청구범위에 의해 밝혀질 것이다.

본 발명은 상기에서 설명하고 도면에 도시한 정확한 구조에 한정되는 것이 아니라 그 범위를 벗어나지 않는 한, 여러가지 수정과 변경을 할 수 있음을 이해해야 한다. 본 발명의 범위는 첨부되는 청구범위에 의해서만 한정된다.

본 발명의 실시예에 따르면, 중계기기를 통해 스마트 매트리스, 스마트 촬영기기, 및 타겟 스마트기기 사이의 상호 작용을 구현함으로써, 스마트 매트리스로 하여금 이미지에 대한 수집을 수행하여 수집한 이미지에서 기기 식별 정보와 안구 정보를 획득하도록 함으로써, 기기 식별 정보와 안구 정보에 기반하여 타겟 스마트기기에 대한 제어를 실현하여 사용자가 리모컨을 사용할 필요 없이 타겟 스마트기기를 제어할 수 있도록 하고, 타겟 스마트기기를 제어할 시 사용자경험을 향상시킨다.

Claims (48)

1. 스마트기기 제어 방법으로서, 상기 방법은 중계기기에 사용되며,
   스마트 매트리스가 송신한 이미지 수집 요청을 수신하는 단계 - 상기 이미지 수집 요청은 스마트 매트리스 식별자가 포함되어 있고, 상기 이미지 수집 요청은 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 것임 - ;
   상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 연관된 스마트 촬영기기에 송신하는 단계;
   상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 상기 스마트 촬영기기에 의해 획득된 매트리스 위치 이미지 및 상기 사용자의 안구 정보를 수신하는 단계 - 상기 매트리스 위치 이미지는 상기 사용자의 얼굴 정면 이미지를 포함함 - ;
   상기 매트리스 위치 이미지에 기반하여 상기 사용자의 시선 방향을 결정하고, 상기 시선 방향에 기반하여 타겟 스마트기기를 결정하는 단계; 및
   상기 안구 정보에 기반하여 타겟 스마트기기를 제어하는 단계 - 상기 안구 정보는 상기 사용자가 상기 타겟 스마트기기를 주시하는 주시 시간을 포함함 - 를 포함하며,
   상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,
   상기 시선 방향과 수평 방향 사이의 시선 수평 협각을 결정하고, 아울러 상기 시선 방향과 지정된 방향 사이의 시선 지정 협각을 결정하는 단계;
   상기 시선 수평 협각과 상기 시선 지정 협각에 기반하여, 저장된 시선 수평 협각, 시선 지정 협각과 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및
   획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함하는 스마트기기 제어 방법.
   
2. 청구항1에 있어서,
   상기 시선 방향을 결정하는 단계는,
   상기 매트리스 위치 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈의 위치를 획득하는 단계; 및
   상기 눈의 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계를 포함하는 스마트기기 제어 방법.
3. 청구항2에 있어서,
   상기 사용자의 눈에 대한 시선 인식을 하는 것은,
   상기 눈의 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하는 단계; 및
   상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하는 단계를 포함하는 스마트기기 제어 방법.
4. 청구항 1에 있어서,
   상기 타겟 스마트기기를 제어하는 단계는,
   상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하는 단계; 및
   획득한 제어 동작에 기반하여 타겟 스마트기기를 제어하는 단계를 포함하는 스마트기기 제어 방법.
5. 스마트기기 제어 방법으로서, 상기 방법은 중계기기에 사용되며,
   스마트 매트리스가 송신한 이미지 수집 요청을 수신하는 단계 - 상기 이미지 수집 요청은 스마트 매트리스 식별자가 포함되어 있고, 상기 이미지 수집 요청은 사용자가 상기 스마트 매트리스를 사용할 시 트리거한 것임 - ;
   상기 스마트 매트리스 식별자에 기반하여 상기 이미지 수집 요청을 상기 스마트 매트리스와 연관된 스마트 촬영기기에 송신하는 단계;
   상기 스마트 매트리스의 위치에 대한 이미지 수집을 통해 상기 스마트 촬영기기에 의해 획득된 매트리스 위치 이미지 및 상기 사용자의 안구 정보를 수신하는 단계 - 상기 매트리스 위치 이미지는 상기 사용자의 얼굴 정면 이미지를 포함함 - ;
   상기 매트리스 위치 이미지에 기반하여 상기 사용자의 시선 방향을 결정하고, 상기 시선 방향에 기반하여 타겟 스마트기기를 결정하는 단계; 및
   상기 안구 정보에 기반하여 타겟 스마트기기를 제어하는 단계 - 상기 안구 정보는 상기 사용자가 상기 타겟 스마트기기를 주시하는 주시 시간을 포함함 - 를 포함하며,
   상기 시선 방향에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,
   상기 시선 방향을 상기 스마트 촬영기기에 송신하는 단계;
   상기 시선 방향이 가리키는 위치에 대한 이미지 수집을 통해 상기 스마트 촬영기기에 의해 획득된 시선 위치 이미지를 수신하는 단계; 및
   상기 시선 위치 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계를 포함하는 스마트기기 제어 방법.
6. 청구항5에 있어서,
   상기 시선 위치 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,
   저장된 이미지 라이브러리에서, 상기 시선 위치 이미지에 매칭되는 타겟 이미지를 선택하는 단계; 및
   상기 타겟 이미지 내의 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함하는 스마트기기 제어 방법.
7. 청구항5에 있어서,
   상기 시선 위치 이미지에 기반하여 상기 타겟 스마트기기를 결정하는 단계는,
   상기 시선 위치 이미지에서 상기 시선 위치 이미지 내의 스마트기기의 기기 마크를 인식하는 단계;
   상기 인식된 기기 마크에 기반하여, 저장된 기기 마크와 스마트기기 식별자 사이의 대응관계에서 대응되는 스마트기기 식별자를 획득하는 단계; 및
   획득한 스마트기기 식별자에 대응되는 스마트기기를 상기 타겟 스마트기기로 결정하는 단계를 포함하는 스마트기기 제어 방법.
8. 청구항 5에 있어서,
   상기 시선 방향을 결정하는 단계는,
   상기 매트리스 위치 이미지에 대한 얼굴 인식을 통해 상기 사용자의 눈의 위치를 획득하는 단계; 및
   상기 눈의 위치에 기반하여 상기 사용자의 눈에 대한 시선 인식을 통해 상기 사용자의 시선 방향을 획득하는 단계를 포함하는 스마트기기 제어 방법.
9. 청구항 8에 있어서,
   상기 사용자의 눈에 대한 시선 인식을 하는 것은,
   상기 눈의 위치에 기반하여 상기 사용자의 눈동자가 보통 시선 방향의 눈동자에 비해 기울어진 오프셋 각도를 결정하는 단계; 및
   상기 눈동자의 오프셋 각도에 기반하여 상기 사용자의 시선 방향을 결정하는 단계를 포함하는 스마트기기 제어 방법.
10. 청구항 5에 있어서,
    상기 타겟 스마트기기를 제어하는 단계는,
    상기 안구 정보에 기반하여, 저장된 안구 정보와 제어 동작 사이의 대응관계에서 대응되는 제어 동작을 획득하는 단계; 및
    획득한 제어 동작에 기반하여 타겟 스마트기기를 제어하는 단계를 포함하는 스마트기기 제어 방법.
11. 스마트기기 제어 장치로서,
    프로세서; 및
    인스트럭션을 저장하기 위한 메모리를 포함하고,
    상기 인스트럭션이 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금, 청구항 1 내지 청구항 4 중 어느 한 항에 따른 스마트기기 제어 방법을 실현하도록 하는 스마트기기 제어 장치
12. 프로세서; 및
    인스트럭션을 저장하기 위한 메모리를 포함하고,
    상기 인스트럭션이 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금, 청구항 5 내지 청구항 10 중 어느 한 항에 따른 스마트기기 제어 방법을 실현하도록 하는 스마트기기 제어 장치.
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제

Images