KR20190106930A - 지능형 디바이스 및 이를 이용한 프로젝션 타입의 정보 표시방법 - Google Patents

지능형 디바이스 및 이를 이용한 프로젝션 타입의 정보 표시방법 Download PDF

Info

Publication number
KR20190106930A
KR20190106930A KR1020190107769A KR20190107769A KR20190106930A KR 20190106930 A KR20190106930 A KR 20190106930A KR 1020190107769 A KR1020190107769 A KR 1020190107769A KR 20190107769 A KR20190107769 A KR 20190107769A KR 20190106930 A KR20190106930 A KR 20190106930A
Authority
KR
South Korea
Prior art keywords
mapping
user
area
image
information
Prior art date
Application number
KR1020190107769A
Other languages
English (en)
Inventor
맹지찬
김범오
김태현
신원호
채종훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190107769A priority Critical patent/KR20190106930A/ko
Priority to US16/573,852 priority patent/US10936062B2/en
Publication of KR20190106930A publication Critical patent/KR20190106930A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/12—Projectors or projection-type viewers; Accessories therefor adapted for projection of either still pictures or motion pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2838—Distribution of signals within a home automation network, e.g. involving splitting/multiplexing signals to/from different paths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path
    • H04L5/0044—Arrangements for allocating sub-channels of the transmission path allocation of payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path
    • H04L5/0048—Allocation of pilot signals, i.e. of signals known to the receiver
    • H04L5/0051—Allocation of pilot signals, i.e. of signals known to the receiver of dedicated pilots, i.e. pilots destined for a single user or terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/2849—Audio/video appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mobile Radio Communication Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 사용자에게 디바이스의 상태 정보를 표시하는 방법은 상태 정보를 표시하도록 상기 디바이스를 제어하는 제어명령을 수신하는 단계, 상기 사용자의 위치를 판단하는 단계, 상기 사용자가 위치한 영역 이외의 영역들을 맵핑 후보 영역들로 선정하는 단계, 및 상기 맵핑 후보 영역들 중에서, 적어도 어느 한 곳 이상을 맵핑 영역으로 선정하고, 상기 맵핑 영역에 프로젝션 방식으로 상기 상태 정보를 표시하는 단계를 포함한다.
본 발명의 실시 예는 인공 지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

Description

지능형 디바이스 및 이를 이용한 프로젝션 타입의 정보 표시방법{Intelligent Device and Method for Information Display with Projection Type Using the Same}
본 발명은 지능형 디바이스 및 이를 이용한 프로젝션 타입의 정보 표시방법에 관한 것으로, 사용자가 전자기기들의 동작 상태를 직관적이고 쉽게 확인할 수 있는 지능형 디바이스 및 이를 이용한 프로젝션 타입의 정보 표시방법에 관한 것이다.
전자기기들은 기기들의 고유한 기능 이외에도 사용자의 편의성을 위한 추가적인 기능을 갖는다. 대표적으로 많은 전자기기들은 각 기기들이 동작하는 상태를 표시할 수 있는 디스플레이를 갖는다. 전자기기들은 동작 상태를 사용자에게 표시함으로써, 사용자가 전자기기들을 제어하는 데에 도움을 줄 수 있다.
전자기기들의 동작 상태를 표시하는 디스플레이는 전자기기의 표면에서 노출되도록 배치되기 때문에, 사용자는 이를 확인하기 위해서는 전자기기에 접근하여야 한다.
또한, 일반적인 전자기기의 디스플레이는 단순한 텍스트 또는 이미지를 통해서 동작 상태를 표시하는데, 디스플레이의 위치 및 크기에 한계로 인해서 직관적인 정보를 표시하는 데에 한계가 있다.
본 발명은 전술한 필요성 및/또는 문제점을 해결하는 것을 목적으로 한다.
본 발명은 사용자가 전자기기에 접근하지 않은 상태에서도 손쉽게 전자기기의 상태 정보를 확인할 수 있는 디바이스를 제공하기 위한 것이다.
또한, 본 발명은 보다 직관적으로 상태 정보를 표시할 수 있는 디바이스를 제공하기 위한 것이다.
본 발명의 실시 예에 따른 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법은 상태 정보를 표시하도록 상기 디바이스를 제어하는 제어명령을 수신하는 단계; 상기 사용자의 위치를 판단하는 단계; 상기 사용자가 위치한 영역 이외의 영역들을 맵핑 후보 영역들로 선정하는 단계; 및 상기 맵핑 후보 영역들 중에서, 적어도 어느 한 곳 이상을 맵핑 영역으로 선정하고, 상기 맵핑 영역에 프로젝션 방식으로 상기 상태 정보를 표시하는 단계;를 포함한다.
상기 사용자의 위치를 확인하는 단계는, 라이더가 조사하는 파형이 상기 사용자로부터 반사되는 반사파를 분석하는 단계를 포함할 수 있다.
상기 사용자의 위치를 판단하는 단계는, 상기 디바이스 주변 영역에 대한 이미지를 획득하는 단계; 상기 이미지에서 객체들을 검출하는 단계; 및 인공지능 학습을 바탕으로, 상기 객체들 중에서 상기 사용자에 해당하는 사용자 객체를 검출하는 단계;를 포함할 수 있다.
상기 맵핑 영역을 설정하는 단계는, 상기 이미지에서 상기 사용자의 시선이 향하는 영역을 확인하는 단계; 및 상기 사용자의 시선이 향하는 영역을 상기 맵핑 영역으로 설정하는 단계를 포함할 수 있다.
상기 사용자의 시선이 향하는 영역을 확인하는 단계는, 상기 이미지에서 아이 트래킹을 수행하는 단계를 포함할 수 있다.
상기 맵핑 영역이 상기 사용자의 시선 보다 낮은 위치의 바닥면으로 선정되는 경우, 상기 상태 정보를 표시하는 단계는 상기 사용자의 시선 방향에 따라, 상기 맵핑 영역을 회전시킬 수 있다.
상기 맵핑 영역을 설정하는 단계는, 상기 맵핑 후보 영역들의 이미지들을 획득하는 단계; 및 상기 맵핑 후보 영역들의 이미지들의 계조 분포를 바탕으로, 상기 맵핑 후보 영역들 중에서 상기 프로젝션 맵핑 영역을 선정할 수 있다.
상기 맵핑 영역을 설정하는 단계는, 상기 맵핑 후보 영역들의 이미지들 중에서, 평균 계조값이 가장 낮은 이미지에 대응하는 맵핑 후보 영역을 상기 맵핑 영역으로 선정하는 단계를 포함할 수 있다.
상기 맵핑 영역을 설정하는 단계는, 상기 맵핑 후보 영역들의 이미지들 중에서, 엣지 검출 빈도가 가장 낮은 이미지에 대응하는 맵핑 후보 영역을 상기 맵핑 영역으로 선정하는 단계를 포함할 수 있다.
상기 사용자의 위치를 판단하는 단계 또는 상기 맵핑 영역을 선정하는 단계는, 상기 주변 이미지에 대한 정보 전송을 스케쥴링하기 위해 사용되는 DCI(Downlink Control Information)를 네트워크로부터 수신하는 단계;를 더 포함하고, 상기 상기 주변 이미지에 대한 정보는 상기 DCI에 기초하여 상기 네트워크로 전송될 수 있다.
상기 사용자의 위치를 판단하는 단계 또는 상기 맵핑 영역을 선정하는 단계는, SSB(Synchronization signal block)에 기초하여 상기 네트워크와 초기 접속 절차를 수행하는 단계;를 더 포함하고, 상기 주변 이미지에 대한 정보는 PUSCH를 통해 상기 네트워크로 전송되며, 상기 SSB와 상기 PUSCH의 DM-RS는 QCL type D에 대해 QCL되어 있는 것일 수 있다.
본 발명에 의한 지능형 디바이스는 상태 정보를 표시하도록 디바이스를 제어하는 제어명령을 수신하는 제어신호 수신부; 상기 디바이스의 주변 이미지를 획득하는 영상 획득부; 및 상기 제어명령에 응답하여 사용자의 위치를 판단하고, 상기 사용자가 위치한 영역 이외의 영역들을 맵핑 후보 영역들로 선정하며, 상기 맵핑 후보 영역들 중에서 적어도 어느 한 곳을 맵핑 영역으로 선정하고, 상기 맵핑 영역에 프로젝션 방식으로 상기 상태 정보를 표시하도록 제어하는 제어부;를 포함한다.
상기 제어부는, 상기 주변 이미지로에서 객체들을 검출하고, 상기 객체들 중에서 상기 사용자에 해당하는 객체를 검출함으로써, 상기 사용자의 위치를 판단할 수 있다.
상기 제어부는 상기 주변 이미지에서 상기 사용자의 시선이 향하는 영역을 확인하고, 상기 사용자의 시선이 향하는 영역을 상기 맵핑 영역으로 설정할 수 있다.
상기 제어부는, 상기 맵핑 영역이 상기 사용자의 시선 보다 낮은 위치의 바닥면으로 선정되는 경우, 상기 사용자의 시선 방향에 따라 상기 맵핑 영역을 회전시킬 수 있다.
상기 제어부는 상기 맵핑 후보 영역들의 이미지들을 획득하고, 상기 맵핑 후보 영역들의 이미지들 중에서, 평균 계조값이 가장 낮은 이미지에 대응하는 맵핑 후보 영역을 상기 맵핑 영역으로 선정할 수 있다.
본 발명에 따른 외부 디바이스의 상태 정보를 표시하도록 프로젝터 장치를 제어하는 지능형 디바이스는 상기 외부 디바이스의 상태 정보를 표시하도록 상기 지능형 디바이스를 제어하는 제어명령을 수신하고, 촬영장치들이 획득하는 주변 이미지를 수신하며, 상기 외부 디바이스로부터 상기 상태 정보를 제공받는 수신 모듈; 상기 제어명령에 응답하여 사용자의 위치를 판단하고, 상기 사용자가 위치한 영역 이외의 영역들을 맵핑 후보 영역들로 선정하며, 상기 맵핑 후보 영역들 중에서 적어도 어느 한 곳을 맵핑 영역으로 선정하고, 상기 맵핑 영역에 프로젝션 방식으로 상기 상태 정보를 표시하도록 상기 프로젝터 장치를 제어하는 제어신호를 생성하는 제어 모듈; 및 상기 제어신호를 상기 프로젝터 장치로 전송하는 송신 모듈;을 포함한다.
상기 제어 모듈은 상기 주변 이미지로에서 객체들을 검출하고, 상기 객체들 중에서 상기 사용자에 해당하는 객체를 검출함으로써, 상기 사용자의 위치를 판단할 수 있다.
상기 주변 이미지에서 상기 사용자의 시선이 향하는 영역을 확인하고, 상기 사용자의 시선이 향하는 영역을 상기 맵핑 영역으로 설정할 수 있다.
상기 제어 모듈은, 상기 맵핑 영역이 상기 사용자의 시선 보다 낮은 위치의 바닥면으로 선정되는 경우, 상기 사용자의 시선 방향에 따라 상기 맵핑 영역을 회전시킬 수 있다.
상기 제어 모듈은, 상기 맵핑 후보 영역들의 이미지들을 획득하고, 상기 맵핑 후보 영역들의 이미지들 중에서, 평균 계조값이 가장 낮은 이미지에 대응하는 맵핑 후보 영역을 상기 맵핑 영역으로 선정할 수 있다.
본 발명의 일 실시예에 따른 효과에 대해 설명하면 다음과 같다.
본 발명에 의하면, 디바이스는 프로젝션 타입으로 상태 정보를 표시하기 때문에, 디스플레이되는 공간에 구애를 덜 받고 직관적으로 상태 정보를 표시할 수 있다.
또한, 본 발명에 의하면, 지능형 디바이스는 별도의 프로젝터 장치를 이용하여 외부 디바이스들의 상태 정보를 표시할 수 있기 때문에, 상태 정보를 표시하는 외부 디바이스들에 접근할 필요없이 해당 기기의 상태 정보를 표시할 수 있다.
도 1은 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 시스템의 블록 구성도를 예시한다.
도 2는 무선 통신 시스템에서 신호 송/수신 방법의 일례를 나타낸 도이다.
도 3은 5G 통신 시스템에서 사용자 단말과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 4는 본 발명의 실시 예에 따른 지능형 디바이스의 구성을 나타내는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 AI 장치의 블록도이다.
도 6은 본 발명의 실시 예에 따른 상태 정보를 표시하는 방법을 나타내는 순서도이다.
도 7은 제어명령을 전달하는 방법을 설명하는 도면이다.
도 8은 맵핑 후보 영역을 획득하는 방법을 설명하는 도면이다.
도 9는 프로젝션 맵핑 방식으로 상태 정보를 표시하는 실시 예를 나타내는 도면이다.
도 10은 다른 실시 예에 따른 맵핑 영역을 설정하는 방법을 설명하는 도면이다.
도 11은 사용자 시선에 따른 프로젝션 맵핑 이미지의 표시방법을 설명하는 도면이다.
도 12는 또 다른 실시 예에 따른 맵핑 영역을 설정하는 방법을 나타내는 도면이다
도 13은 맵핑 영역을 설정하는 방법의 일례를 나타내는 도면이다.
도 14는 다른 실시 예에 의한 전자기기의 상태 정보를 표시하는 시스템을 나타내는 도면이다.
도 15는 도 14에 도시된 시스템을 이용한 상태 정보를 표시하는 방법을 설명하는 도면이다.
도 16은 본 발명의 다른 실시 예에 의한 사용자 위치 정보 및 맵핑 정보를 생성하는 방법을 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, AI 프로세싱된 정보를 필요로 하는 장치 및/또는 AI 프로세서가 필요로 하는 5G 통신(5th generation mobile communication)을 단락 A 내지 단락 G를 통해 설명하기로 한다.
A. UE 및 5G 네트워크 블록도 예시
도 1은 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 시스템의 블록 구성도를 예시한다.
도 1을 참조하면, AI 모듈을 포함하는 장치(AI 장치)를 제1 통신 장치로 정의(도 1의 910)하고, 프로세서(911)가 AI 상세 동작을 수행할 수 있다.
AI 장치와 통신하는 다른 장치(AI 서버)를 포함하는 5G 네트워크를 제2 통신 장치(도 1의 920)하고, 프로세서(921)가 AI 상세 동작을 수행할 수 있다.
5G 네트워크가 제 1 통신 장치로, AI 장치가 제 2 통신 장치로 표현될 수도 있다.
예를 들어, 상기 제 1 통신 장치 또는 상기 제 2 통신 장치는 기지국, 네트워크 노드, 전송 단말, 수신 단말, 무선 장치, 무선 통신 장치, 차량, 자율주행 기능을 탑재한 차량, 커넥티드카(Connected Car), 드론(Unmanned Aerial Vehicle, UAV), AI(Artificial Intelligence) 모듈, 로봇, AR(Augmented Reality) 장치, VR(Virtual Reality) 장치, MR(Mixed Reality) 장치, 홀로그램 장치, 공공 안전 장치, MTC 장치, IoT 장치, 의료 장치, 핀테크 장치(또는 금융 장치), 보안 장치, 기후/환경 장치, 5G 서비스와 관련된 장치 또는 그 이외 4차 산업 혁명 분야와 관련된 장치일 수 있다.
예를 들어, 단말 또는 UE(User Equipment)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등을 포함할 수 있다. 예를 들어, HMD는 머리에 착용하는 형태의 디스플레이 장치일 수 있다. 예를 들어, HMD는 VR, AR 또는 MR을 구현하기 위해 사용될 수 있다. 예를 들어, 드론은 사람이 타지 않고 무선 컨트롤 신호에 의해 비행하는 비행체일 수 있다. 예를 들어, VR 장치는 가상 세계의 객체 또는 배경 등을 구현하는 장치를 포함할 수 있다. 예를 들어, AR 장치는 현실 세계의 객체 또는 배경 등에 가상 세계의 객체 또는 배경을 연결하여 구현하는 장치를 포함할 수 있다. 예를 들어, MR 장치는 현실 세계의 객체 또는 배경 등에 가상 세계의 객체 또는 배경을 융합하여 구현하는 장치를 포함할 수 있다. 예를 들어, 홀로그램 장치는 홀로그래피라는 두 개의 레이저 광이 만나서 발생하는 빛의 간섭현상을 활용하여, 입체 정보를 기록 및 재생하여 360도 입체 영상을 구현하는 장치를 포함할 수 있다. 예를 들어, 공공 안전 장치는 영상 중계 장치 또는 사용자의 인체에 착용 가능한 영상 장치 등을 포함할 수 있다. 예를 들어, MTC 장치 및 IoT 장치는 사람의 직접적인 개입이나 또는 조작이 필요하지 않는 장치일 수 있다. 예를 들어, MTC 장치 및 IoT 장치는 스마트 미터, 벤딩 머신, 온도계, 스마트 전구, 도어락 또는 각종 센서 등을 포함할 수 있다. 예를 들어, 의료 장치는 질병을 진단, 치료, 경감, 처치 또는 예방할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 상해 또는 장애를 진단, 치료, 경감 또는 보정할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 구조 또는 기능을 검사, 대체 또는 변형할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 임신을 조절할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 진료용 장치, 수술용 장치, (체외) 진단용 장치, 보청기 또는 시술용 장치 등을 포함할 수 있다. 예를 들어, 보안 장치는 발생할 우려가 있는 위험을 방지하고, 안전을 유지하기 위하여 설치한 장치일 수 있다. 예를 들어, 보안 장치는 카메라, CCTV, 녹화기(recorder) 또는 블랙박스 등일 수 있다. 예를 들어, 핀테크 장치는 모바일 결제 등 금융 서비스를 제공할 수 있는 장치일 수 있다.
도 1을 참고하면, 제 1 통신 장치(910)와 제 2 통신 장치(920)은 프로세서(processor, 911,921), 메모리(memory, 914,924), 하나 이상의 Tx/Rx RF 모듈(radio frequency module, 915,925), Tx 프로세서(912,922), Rx 프로세서(913,923), 안테나(916,926)를 포함한다. Tx/Rx 모듈은 트랜시버라고도 한다. 각각의 Tx/Rx 모듈(915)는 각각의 안테나(926)을 통해 신호를 전송한다. 프로세서는 앞서 살핀 기능, 과정 및/또는 방법을 구현한다. 프로세서 (921)는 프로그램 코드 및 데이터를 저장하는 메모리 (924)와 관련될 수 있다. 메모리는 컴퓨터 판독 가능 매체로서 지칭될 수 있다. 보다 구체적으로, DL(제 1 통신 장치에서 제 2 통신 장치로의 통신)에서, 전송(TX) 프로세서(912)는 L1 계층(즉, 물리 계층)에 대한 다양한 신호 처리 기능을 구현한다. 수신(RX) 프로세서는 L1(즉, 물리 계층)의 다양한 신호 프로세싱 기능을 구현한다.
UL(제 2 통신 장치에서 제 1 통신 장치로의 통신)은 제 2 통신 장치(920)에서 수신기 기능과 관련하여 기술된 것과 유사한 방식으로 제 1 통신 장치(910)에서 처리된다. 각각의 Tx/Rx 모듈(925)는 각각의 안테나(926)을 통해 신호를 수신한다. 각각의 Tx/Rx 모듈은 RF 반송파 및 정보를 RX 프로세서(923)에 제공한다. 프로세서 (921)는 프로그램 코드 및 데이터를 저장하는 메모리 (924)와 관련될 수 있다. 메모리는 컴퓨터 판독 가능 매체로서 지칭될 수 있다.
본 발명의 일 실시예에 의하면, 상기 제1 통신 장치는 차량이 될 수 있으며, 상기 제2 통신 장치는 5G 네트워크가 될 수 있다.
B.물리 채널 및 일반적인 신호 전송
도 2는 3GPP 시스템에 이용되는 물리 채널들 및 일반적인 신호 전송을 예시한다. 무선 통신 시스템에서 단말은 기지국으로부터 하향링크(Downlink, DL)를 통해 정보를 수신하고, 단말은 기지국으로 상향링크(Uplink, UL)를 통해 정보를 전송한다. 기지국과 단말이 송수신하는 정보는 데이터 및 다양한 제어 정보를 포함하고, 이들이 송수신 하는 정보의 종류/용도에 따라 다양한 물리 채널이 존재한다.
단말은 전원이 켜지거나 새로이 셀에 진입한 경우 기지국과 동기를 맞추는 등의 초기 셀 탐색(Initial cell search) 작업을 수행한다(S201). 이를 위해, 단말은 기지국으로부터 주 동기 신호(Primary Synchronization Signal, PSS) 및 부 동기 신호(Secondary Synchronization Signal, SSS)을 수신하여 기지국과 동기를 맞추고, 셀 ID 등의 정보를 획득할 수 있다. 그 후, 단말은 기지국으로부터 물리 방송 채널(Physical Broadcast Channel, PBCH)를 수신하여 셀 내 방송 정보를 획득할 수 있다. 한편, 단말은 초기 셀 탐색 단계에서 하향링크 참조 신호(Downlink Reference Signal, DL RS)를 수신하여 하향링크 채널 상태를 확인할 수 있다.
초기 셀 탐색을 마친 단말은 물리 하향링크 제어 채널(Physical Downlink Control Channel, PDCCH) 및 상기 PDCCH에 실린 정보에 따라 물리 하향링크 공유 채널(Physical Downlink Control Channel; PDSCH)을 수신함으로써 좀더 구체적인 시스템 정보를 획득할 수 있다(S202).
한편, 기지국에 최초로 접속하거나 신호 송신을 위한 무선 자원이 없는 경우, 단말은 기지국에 대해 임의 접속 과정(Random Access Procedure, RACH)을 수행할 수 있다(S203 내지 S206). 이를 위해, 단말은 물리 임의 접속 채널(Physical Random Access Channel, PRACH)을 통해 특정 시퀀스를 프리앰블로 송신하고(S203 및 S205), PDCCH 및 대응하는 PDSCH를 통해 프리앰블에 대한 응답 메시지((RAR(Random Access Response) message)를 수신할 수 있다. 경쟁 기반 RACH의 경우, 추가적으로 충돌 해결 절차(Contention Resolution Procedure)를 수행할 수 있다(S206).
상술한 바와 같은 절차를 수행한 단말은 이후 일반적인 상/하향링크 신호 송신 절차로서 PDCCH/PDSCH 수신(S207) 및 물리 상향링크 공유 채널(Physical Uplink Shared Channel, PUSCH)/물리 상향링크 제어 채널(Physical Uplink Control Channel; PUCCH) 송신(S208)을 수행할 수 있다. 특히 단말은 PDCCH를 통하여 하향링크 제어 정보(Downlink Control Information, DCI)를 수신할 수 있다. 여기서, DCI는 단말에 대한 자원 할당 정보와 같은 제어 정보를 포함하며, 사용 목적에 따라 포맷이 서로 다르게 적용될 수 있다.
한편, 단말이 상향링크를 통해 기지국에 송신하는 또는 단말이 기지국으로부터 수신하는 제어 정보는 하향링크/상향링크 ACK/NACK 신호, CQI(Channel Quality Indicator), PMI(Precoding Matrix 인덱스), RI(Rank Indicator) 등을 포함할 수 있다. 단말은 상술한 CQI/PMI/RI 등의 제어 정보를 PUSCH 및/또는 PUCCH를 통해 송신할 수 있다.
C. URLLC (Ultra-Reliable and Low Latency Communication)
NR에서 정의하는 URLLC 전송은 (1) 상대적으로 낮은 트래픽 크기, (2) 상대적으로 낮은 도착 레이트(low arrival rate), (3) 극도의 낮은 레이턴시 요구사항(requirement)(예, 0.5, 1ms), (4) 상대적으로 짧은 전송 지속기간(duration)(예, 2 OFDM symbols), (5) 긴급한 서비스/메시지 등에 대한 전송을 의미할 수 있다. UL의 경우, 보다 엄격(stringent)한 레이턴시 요구 사항(latency requirement)을 만족시키기 위해 특정 타입의 트래픽(예컨대, URLLC)에 대한 전송이 앞서서 스케줄링된 다른 전송(예컨대, eMBB)과 다중화(multiplexing)되어야 할 필요가 있다. 이와 관련하여 한 가지 방안으로, 앞서 스케줄링 받은 UE에게 특정 자원에 대해서 프리엠션(preemption)될 것이라는 정보를 주고, 해당 자원을 URLLC UE가 UL 전송에 사용하도록 한다.
NR의 경우, eMBB와 URLLC 사이의 동적 자원 공유(sharing)이 지원된다. eMBB와 URLLC 서비스들은 비-중첩(non-overlapping) 시간/주파수 자원들 상에서 스케줄될 수 있으며, URLLC 전송은 진행 중인(ongoing) eMBB 트래픽에 대해 스케줄된 자원들에서 발생할 수 있다. eMBB UE는 해당 UE의 PDSCH 전송이 부분적으로 펑처링(puncturing)되었는지 여부를 알 수 없을 수 있고, 손상된 코딩된 비트(corrupted coded bit)들로 인해 UE는 PDSCH를 디코딩하지 못할 수 있다. 이 점을 고려하여, NR에서는 프리엠션 지시(preemption indication)을 제공한다. 상기 프리엠션 지시(preemption indication)는 중단된 전송 지시(interrupted transmission indication)으로 지칭될 수도 있다.
프리엠션 지시와 관련하여, UE는 BS로부터의 RRC 시그널링을 통해 DownlinkPreemption IE를 수신한다. UE가 DownlinkPreemption IE를 제공받으면, DCI 포맷 2_1을 운반(convey)하는 PDCCH의 모니터링을 위해 상기 UE는 DownlinkPreemption IE 내 파라미터 int-RNTI에 의해 제공된 INT-RNTI를 가지고 설정된다. 상기 UE는 추가적으로 servingCellID에 의해 제공되는 서빙 셀 인덱스들의 세트를 포함하는 INT-ConfigurationPerServing Cell에 의해 서빙 셀들의 세트와 positionInDCI에 의해 DCI 포맷 2_1 내 필드들을 위한 위치들의 해당 세트를 가지고 설정되고, dci-PayloadSize에 의해 DCI 포맷 2_1을 위한 정보 페이로드 크기를 가지고 설졍되며, timeFrequencySect에 의한 시간-주파수 자원들의 지시 입도(granularity)를 가지고 설정된다.
상기 UE는 상기 DownlinkPreemption IE에 기초하여 DCI 포맷 2_1을 상기 BS로부터 수신한다.
UE가 서빙 셀들의 설정된 세트 내 서빙 셀에 대한 DCI 포맷 2_1을 검출하면, 상기 UE는 상기 DCI 포맷 2_1이 속한 모니터링 기간의 바로 앞(last) 모니터링 기간의 PRB들의 세트 및 심볼들의 세트 중 상기 DCI 포맷 2_1에 의해 지시되는 PRB들 및 심볼들 내에는 상기 UE로의 아무런 전송도 없다고 가정할 수 있다. 예를 들어, UE는 프리엠션에 의해 지시된 시간-주파수 자원 내 신호는 자신에게 스케줄링된 DL 전송이 아니라고 보고 나머지 자원 영역에서 수신된 신호들을 기반으로 데이터를 디코딩한다.
D. 5G 통신을 이용한 AI 기본 동작
도 3은 5G 통신 시스템에서 사용자 단말과 5G 네트워크의 기본동작의 일 예를 나타낸다.
UE는 특정 정보 전송을 5G 네트워크로 전송한다(S1).그리고, 상기 5G 네트워크는 상기 특정 정보에 대한 5G 프로세싱을 수행한다(S2).여기서, 5G 프로세싱은 AI 프로세싱을 포함할 수 있다. 그리고, 상기 5G 네트워크는 AI 프로세싱 결과를 포함하는 응답을 상기 UE로 전송한다(S3).
E. 5G 통신 시스템에서 사용자 단말과 5G 네트워크 간의 응용 동작
이하, 도 1 및 도 2와 앞서 살핀 무선 통신 기술(BM 절차, URLLC, Mmtc 등)을 참고하여 5G 통신을 이용한 AI 동작에 대해 보다 구체적으로 살펴본다.
먼저, 후술할 본 발명에서 제안하는 방법과 5G 통신의 eMBB 기술이 적용되는 응용 동작의 기본 절차에 대해 설명한다.
도 3의 S1 단계 및 S3 단계와 같이, UE가 5G 네트워크와 신호, 정보 등을 송/수신하기 위해, UE는 도 3의 S1 단계 이전에 5G 네트워크와 초기 접속(initial access) 절차 및 임의 접속(random access) 절차를 수행한다.
보다 구체적으로, UE는 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다. 상기 초기 접속 절차 과정에서 UE가 5G 네트워크로부터 신호를 수신하는 과정에서 QCL(quasi-co location) 관계가 추가될 수 있다.
또한, UE는 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다. 그리고, 상기 5G 네트워크는 상기 UE로 특정 정보의 전송을 스케쥴링하기 위한 UL grant를 전송할 수 있다. 따라서, 상기 UE는 상기 UL grant에 기초하여 상기 5G 네트워크로 특정 정보를 전송한다. 그리고, 상기 5G 네트워크는 상기 UE로 상기 특정 정보에 대한 5G 프로세싱 결과의 전송을 스케쥴링하기 위한 DL grant를 전송한다. 따라서, 상기 5G 네트워크는 상기 DL grant에 기초하여 상기 UE로 AI 프로세싱 결과를 포함하는 응답을 전송할 수 있다.
다음으로, 후술할 본 발명에서 제안하는 방법과 5G 통신의 URLLC 기술이 적용되는 응용 동작의 기본 절차에 대해 설명한다.
앞서 설명한 바와 같이, UE가 5G 네트워크와 초기 접속 절차 및/또는 임의 접속 절차를 수행한 후, UE는 5G 네트워크로부터 DownlinkPreemption IE를 수신할 수 있다. 그리고, UE는 DownlinkPreemption IE에 기초하여 프리엠션 지시(pre-emption indication)을 포함하는 DCI 포맷 2_1을 5G 네트워크로부터 수신한다. 그리고, UE는 프리엠션 지시(pre-emption indication)에 의해 지시된 자원(PRB 및/또는 OFDM 심볼)에서 eMBB data의 수신을 수행(또는 기대 또는 가정)하지 않는다. 이후, UE는 특정 정보를 전송할 필요가 있는 경우 5G 네트워크로부터 UL grant를 수신할 수 있다.
앞서 살핀 5G 통신 기술은 후술할 본 발명에서 제안하는 방법들과 결합되어 적용될 수 있으며, 또는 본 발명에서 제안하는 방법들의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다.
도 4는 본 발명의 실시 예에 따른 지능형 디바이스의 구성을 나타내는 블록도이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 지능형 디바이스는 제어부(101), 전원 공급부(110), 제어신호 수신부(120), 영상 획득부(130), 위치 인식부(140), 표시부(150), 프로젝터(160), 하드웨어 모듈(170) 및 통신부(180)를 포함한다. 지능형 디바이스(100)는 가전기기 또는 전자기기 중에서 어느 하나일 수 있다.
제어부(101)는 하드웨어 모듈(170)을 포함하는 디바이스(100)의 전반적인 구동을 관리한다. 특히, 제어부(101)는 특정 제어 명령에 따라, 사용자의 위치를 벗어난 곳에 프로젝션 맵핑 영역을 설정하고, 프로젝션 맵핑 영역에 상태 정보를 표시한다.
특정 제어명령은 디바이스(100)의 상태 정보를 표시하도록 제어하는 명령이다. 상태 정보는 디바이스(100)가 현재 구동하는 상태 또는 디바이스(100)가 제공하는 부가정보를 포함할 수 있다. 예를 들어, 디바이스(100)가 에어컨일 경우, 상태 정보는 현재 에어컨의 온도 및 방향 설정 등에 대한 정보일 수 있고, 또는 현재 실내 온도, 습도 등의 부가 정보일 수 있다. 프로젝션 맵핑 영역은 프로젝터(160)가 상태 정보를 투사하는 영역을 지칭한다.
전원 공급부(110)는 배터리 및 배터리 드라이버(battery Driver)를 포함할 수 있다. 배터리는 리튬-이온 배터리(Li-Ion Battery) 등을 이용할 수 있고, 배터리 드라이버는 배터리의 충전과 방전을 관리할 수 있다.
제어신호 수신부(120)는 유저 인터페이스를 통해서 사용자가 입력하는 제어 명령을 수신한다. 제어신호 수신부(120)는 음성신호를 수신하는 음성 인식부(121) 및 IR 신 리모콘으로부터의 IR 신호를 수신하는 IR 수신부(122)를 포함할 수 있다.
IR 리모콘 수신부(181)는 로봇 청소기(100)를 원격 조정하기 위한 IR(Infrared) 리모콘의 신호를 신하는 센서를 포함할 수 있다
영상 획득부(130)는 2D 카메라(131) 및 3D 카메라(132)를 포함할 수 있다. 2D 카메라(131)는 2차원 영상을 기반으로 사람 또는 사물을 인식하기 위한 센서일 수 있다. 3D 카메라(132)는 RGB 센서 및 깊이(Depth) 데이터를 획득하는 센서를 포함할 수 있다.
위치 인식부(140)는 라이더(Lidar) 및 SLAM 카메라를 포함할 수 있다. SLAM 카메라(Simultaneous Localization And Mapping 카메라)는 동시간 위치 추적 및 지도 작성 기술을 구현할 수 있다. 라이더(Light Detection and Ranging; Lidar)는 레이저 레이더로서, 레이저 빔을 조사하고 객체로부터 반사되는 반사파를 수집, 분석하여 위치 인식을 수행하는 센서이다.
표시부(150)는 디바이스(100)의 동작 상태 또는 이벤트 상황 등을 표시하기 위한 것으로, 음성신호를 출력하는 음성 출력부(151) 및 영상을 표시하는 디스플레이(152)를 포함할 수 있다.
프로젝터(160)는 제어부(101)가 생성하는 상태 정보를 바탕으로 영상을 생성하고, 렌즈 등을 통해서 맵핑 영역에 상태 정보를 디스플레이한다. 프로젝터는 CRT 프로젝터(Cathode-Ray　Tube 프로젝터), LCD 프로젝터(Liquid Crystal Display 프로젝터), DLP 프로젝터(Digital Light Processing 프로젝터) 등으로 구현될 수 있다.
하드웨어 모듈(170)은 디바이스(100) 고유의 기능을 수행하는 구성들을 포함한다. 예를 들어, 디바이스(100)가 에어컨일 경우, 하드웨어 모듈(170)은 압축기, 응축기, 팽창장치 및 증발기 등을 포함할 수 있다.
통신부(180)는 무선랜 (WiFi), 블루투스(Bluetooth), IR(Infrared), UWB(Ultra Wideband), 지그비(Zigbee) 등 공지의 근거리 무선통신을 위한 통신모듈로 구성되거나, 3G, 4G, LTE, 5G 등의 이동통신 모듈로 구성될 수 있으며, 유선통신을 위한 공지의 통신포트로 구성될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 AI 장치의 블록도이다.
도 5를 참조하면, AI 장치(20)는 AI 프로세싱을 수행할 수 있는 AI 모듈을 포함하는 전자 기기 또는 AI 모듈을 포함하는 서버 등을 포함할 수 있다. 또한, AI 장치(20)는 도 4에 도시된 제어부(101)의 적어도 일부의 구성으로 포함되어 AI 프로세싱 중 적어도 일부를 함께 수행하도록 구비될 수도 있다.
AI 프로세싱은 도 4에 도시된 제어부(101)의 신뢰도 판단부(130)와 관련된 모든 동작들을 포함할 수 있다.
AI 장치(20)는 AI 프로세싱 결과를 직접 이용하는 클라이언트 디바이스이거나, AI 프로세싱 결과를 다른 기기에 제공하는 클라우드 환경의 디바이스일 수도 있다. AI 장치(20)는 신경망을 학습할 수 있는 컴퓨팅 장치로서, 서버, 데스크탑 PC, 노트북 PC, 태블릿 PC 등과 같은 다양한 전자 장치로 구현될 수 있다.
AI 장치(20)는 AI 프로세서(21), 메모리(25) 및/또는 통신부(27)를 포함할 수 있다.
AI 프로세서(21)는 메모리(25)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 특히, AI 프로세서(21)는 제어부(101)의 관련 데이터를 인식하기 위한 신경망을 학습할 수 있다. 여기서, 제어부(101)의 관련 데이터를 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 모드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고 받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고 받을 수 있다. 여기서 신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.
한편, 전술한 바와 같은 기능을 수행하는 프로세서는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU)일 수 있다.
메모리(25)는 AI 장치(20)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(25)는 비 휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD) 등으로 구현할 수 있다. 메모리(25)는 AI 프로세서(21)에 의해 액세스되며, AI 프로세서(21)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 메모리(25)는 본 발명의 일 실시예에 따른 데이터 분류/인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예를 들어, 딥 러닝 모델(26))을 저장할 수 있다.
한편, AI 프로세서(21)는 데이터 분류/인식을 위한 신경망을 학습하는 데이터 학습부(22)를 포함할 수 있다. 데이터 학습부(22)는 데이터 분류/인식을 판단하기 위하여 어떤 학습 데이터를 이용할지, 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식할지에 관한 기준을 학습할 수 있다. 데이터 학습부(22)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습데이터를 딥러닝 모델에 적용함으로써, 딥러닝 모델을 학습할 수 있다.
데이터 학습부(22)는 적어도 하나의 하드웨어 칩 형태로 제작되어 AI 장치(20)에 탑재될 수 있다. 예를 들어, 데이터 학습부(22)는 인공지능(AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 AI 장치(20)에 탑재될 수도 있다. 또한, 데이터 학습부(22)는 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 애플리케이션에 의해 제공될 수 있다.
데이터 학습부(22)는 학습 데이터 획득부(23) 및 모델 학습부(24)를 포함할 수 있다.
학습 데이터 획득부(23)는 데이터를 분류하고 인식하기 위한 신경망 모델에 필요한 학습 데이터를 획득할 수 있다.
모델 학습부(24)는 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(24)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다.
또는 모델 학습부(24)는 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 학습에 따른 상황 판단의 결과가 올바른지에 대한 피드백을 이용하여 강화 학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다.
신경망 모델이 학습되면, 모델 학습부(24)는 학습된 신경망 모델을 메모리에 저장할 수 있다. 모델 학습부(24)는 학습된 신경망 모델을 AI 장치(20)와 유선 또는 무선 네트워크로 연결된 서버의 메모리에 저장할 수도 있다.
데이터 학습부(22)는 인식 모델의 분석 결과를 향상시키거나, 인식 모델의 생성에 필요한 리소스 또는 시간을 절약하기 위해 학습 데이터 전처리부(미도시) 및 학습 데이터 선택부(미도시)를 더 포함할 수도 있다.
학습 데이터 전처리부는 획득된 데이터가 상황 판단을 위한 학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 예를 들어, 학습 데이터 전처리부는, 모델 학습부(24)가 이미지 인식을 위한 학습을 위하여 획득된 학습 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
또한, 학습 데이터 선택부는, 학습 데이터 획득부(23)에서 획득된 학습 데이터 또는 전처리부에서 전처리된 학습 데이터 중 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(24)에 제공될 수 있다. 예를 들어, 학습 데이터 선택부는, 세탁기(10)의 촬영수단을 통해 획득한 영상 중 특정 영역을 검출함으로써, 특정 영역에 포함된 객체에 대한 데이터만을 학습 데이터로 선택할 수 있다.
또한, 데이터 학습부(22)는 신경망 모델의 분석 결과를 향상시키기 위하여 모델 평가부(미도시)를 더 포함할 수도 있다.
모델 평가부는, 신경망 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(22)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다. 일 예로, 모델 평가부는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정되 임계치를 초과하는 경우, 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
통신부(27)는 AI 프로세서(21)에 의한 AI 프로세싱 결과를 외부 전자 기기로 전송할 수 있다. 예를 들어, 외부 전자 기기는 블루투스 장치, 자율주행 차량, 로봇, 드론, AR 기기, 모바일 기기, 가전 기기 등을 포함할 수 있다.
한편, 도 5에 도시된 AI 장치(20)는 AI 프로세서(21)와 메모리(25), 통신부(27) 등으로 기능적으로 구분하여 설명하였지만, 전술한 구성요소들이 하나의 모듈로 통합되어 AI 모듈로 호칭될 수도 있음을 밝혀둔다.
도 6은 본 발명의 실시 예에 따른 상태 정보를 표시하는 방법을 나타내는 순서도이다.
도 6을 참조하면, 본 발명의 실시 예에 따른 상태 정보를 표시하는 방법은 제1 단계(ㄴ610)에서, 제어 명령을 수신한다.
제어 명령은 도 7에서와 같이, 리모트 컨트롤러(109) 또는 음성인식 기능을 이용하여 전달될 수 있다. 예를 들어, 디바이스(100)의 제어신호 수신부(120)는 사용자로부터 "에어컨 모드 알려줘"라는 육성을 수신할 수 있다. 또는 디바이스(100)의 제어신호 수신부(120)는 리모트 컨트롤러(109)로부터의 IR 신호를 수신할 수 있다.
제2 단계(S620)에서, 사용자의 위치를 판단한다.
디바이스(100)는 영상 획득부(130) 또는 위치 인식부(140)를 통해서 사용자의 위치를 확인할 수 있다.
예를 들어, 사용자의 위치를 판단하기 위해서 위치 인식부(140)는 라이더가 조사하는 파형이 사용자로부터 반사되는 반사파를 분석할 수 있다.
또는, 제어부(101)는 영상 획득부(130)가 획득한 디바이스(100)의 주변 영역에 대한 주변 이미지를 바탕으로 사용자의 위치를 판단할 수 있다. 제어부(101)는 주변 이미지에서 객체들을 검출하고, 객체들 중에서 사용자에 해당하는 사용자 객체를 검출함으로써, 사용자의 위치를 판단할 수 있다.
제3 단계(S630)에서, 제어부(101)는 맵핑 후보 영역을 설정한다. 맵핑 후보 영역은 사용자가 위치한 곳 이외의 영역들로 설정될 수 있다.
제4 단계(S640)에서, 제어부(101)는 맵핑 후보 영역들 중에서 어느 한 곳 이상을 맵핑 영역으로 선정하고, 맵핑 영역에 프로젝션 맵핑 방식으로 상태 정보를 표시한다.
도 8은 맵핑 후보 영역을 획득하는 방법을 설명하는 도면이다. 즉, 도 8은 도 6에 도시된 제3 단계(S630)을 설명하는 도면이다.
도 8을 참조하면, 발명을 실시하는 대상이 되는 지능형 디바이스(100)는 그 주변 영역에 대한 주변 이미지를 획득한다. 지능형 디바이스(100)는 주변 영역의 평면을 좌표화하고, 주변 영역에 대한 이미지들에서 객체들을 검출한다.
제어부(101)는 객체들 중에서, 사용자(USER)에 해당하는 객체를 검출한다. 그리고, 제어부(101)는 평면 좌표에서 사용자(USER)에 해당하는 객체 좌표를 산출한다. 그리고, 제어부(101)는 객체 좌표를 포함하는 소정의 영역을 제외한 영역들을 맵핑 후보 영역으로 선정할 수 있다.
맵핑 후보 영역은 제1 내지 제4 맵핑 후보 영역들(MPA1~ MPA4)과 같이 벽면이 될 수 있다. 또는 맵핑 후보 영역은 제5 및 제6 맵핑 후보 영역(MPA5, MPA6)과 같이 바닥면이 될 수도 있다. 바닥면은 사물이 배치되지 않은 제5 맵핑 후보 영역(MPA5) 및 쇼파 등의 사물이 배치된 제6 맵핑 후보 영역(MPA6)으로 구분될 수도 있다.
도 9는 프로젝션 맵핑 방식으로 상태 정보를 표시하는 실시 예를 나타내는 도면이다. 즉, 도 9는 맵핑 후보 영역들 중에서 맵핑 영역을 선정하고, 해당 맵핑 영역에 상태 정보를 표시하는 것을 설명하고 있다.
도 9를 참조하면, 제어부(101)는 에어컨이 동작하고 있는 상태 정보를 프로젝션 맵핑 방식으로 표시할 수 있다. 디바이스(100)의 하드웨어 모듈(170)이 2개의 통풍구(AC1,AC2)를 포함할 경우, 제어부(101)는 각각의 통풍구(AC1, AC2)의 상태 정보를 직관적으로 표시하기 위해서 2개의 맵핑 영역들(M1,M2)을 설정할 수 있다. 예를 들어, 제어부(101)는 제1 통풍구(AC1)의 상태 정보를 표시하기 위한 제1 맵핑 영역(M1), 및 제2 통풍구(AC2)의 상태 정보를 표시하기 위한 제2 맵핑 영역(M2)을 설정할 수 있다.
이처럼, 디바이스(100)는 하드웨어 모듈(170)의 상대 정보를 직관적으로 표시하기 위해서 맵핑 영역의 개수 및 방향을 설정할 수 있다.
도 10은 다른 실시 예에 따른 맵핑 영역을 설정하는 방법을 설명하는 도면이다.
도 10을 참조하면, 제어부(101)는 사용자(USER)의 시야를 검출하고, 사용자의 시야 범위 내에서 맵핑 영역을 설정할 수 있다.
사용자(USER)가 벽면에 해당하는 제2 맵핑 후보 영역(MPA2)을 바라보고 있을 경우, 제어부(101)는 제2 맵핑 후보 영역(MPA) 범위 내에서 맵핑 영역(M21)을 설정한다. 이를 위해서, 제어부(101)는 하나의 맵핑 영역(M21)에 디바이스(100)의 동작 상태를 표시할 수 있다.
제어부(101)는 영상 획득부(130)를 이용하여 획득한 이미지에서 사용자의 안면을 검출하고, 사용자의 안면 위치를 시야 방향으로 간주할 수 있다. 또는 이미지의 해상도가 높을 경우, 제어부(101)는 아이 트리킹(eye tracking) 기법을 이용하여 사용자의 안면에서 홍채 위치를 검출하고, 홍채 위치를 바탕으로 사용자의 시선이 향하는 방향을 확인할 수 있다.
또는, 제어부(101)는 라이더를 이용하여 사용자로부터의 반사파를 획득하고, 반사파의 주파수를 분석하여 사용자의 형체 및 안면 위치를 파악할 수 있다.
이와 같이, 디바이스(100)는 사용자(USER)의 시선 방향으로 맵핑 영역을 설정하기 때문에, 사용자(USER)는 자신의 행동에 자유로운 상태에서 디바이스(100)의 상태 정보를 손쉽게 확인할 수 있다.
도 11은 사용자 시선에 따른 프로젝션 맵핑 이미지의 표시방법을 설명하는 도면이다.
도 11을 참조하면, 제어부(101)는 사용자의 시선보다 낮은 위치의 바닥면에 해당하는 제5 맵핑 후보 영역(MPA5)내에서 맵핑 영역들(M31,M32,M33)을 설정할 수 있다. 제어부(101)는 맵핑 영역들(M31,M32,M33) 중 어느 하나에 상태 정보를 표시하되, 사용자의 시선 방향에 따라 맵핑 영역들(M31,M32,M33)을 회전시킬 수 있다.
도 12는 또 다른 실시 예에 따른 맵핑 영역을 설정하는 방법을 나타내는 도면이다.
도 12를 참조하면, 본 발명의 다른 실시 예에 따른 맵핑 영역을 설정하는 방법은 제1 단계(S1210)에서, 맵핑 후보 영역을 선정한다. 맵핑 후보 영역을 선정하는 단계는 도 6에 도시된 제1 단계(S610) 내지 제3 단계(S630)의 절차를 포함할 수 있다.
제2 단계(S1220)에서, 맵핑 후보 영역들의 이미지를 획득한다. 맵핑 후보 영역들의 이미지는 영상 획득부(130)를 통해서 획득할 수 있다.
제3 단계(S1230)에서, 맵핑 후보 영역들의 이미지들 중에서, 제어부(101)는 계조 분포가 가장 작은 이미지에 대응하는 맵핑 후보 영역을 맵핑 영역으로 선정할 수 있다.
또는, 제어부(101)는 하나의 맵핑 후보 영역 내에서도, 낮은 계조를 갖는 영역을 검출하고, 낮은 계조를 갖는 영역을 맵핑 영역으로 설정할 수 있다. 예를 들어, 제2 맵핑 후보 영역(MPA2)가 도 13에서와 같이, 투명 창문(203) 및 명도가 낮은 커튼(201)을 포함하는 영역일 경우, 제2 맵핑 후보 영역(MPA2)의 이미지에서 투명창문(203)과 커튼(201) 영역에 대한 계조값은 큰 차이를 나타낼 수 있다. 만약, 햇빛이 비치는 낮에 제2 맵핑 후보 영역(MPA2)를 촬영할 경우, 투명 창문(201)의 평균 계조는 높게 나타나고 커튼(201)의 평균 계조는 낮게 나타난다.
제어부(101)는 이처럼 맵핑 후보 영역 내에서도 평균 계조가 낮은 영역을 검출하고, 검출된 평균 계조가 낮은 영역을 맵핑 영역(M3)으로 설정할 수 있다.
맵핑 영역(M3)은 프로젝션 맵핑이 수행되는 영역이기 때문에, 제어부(101)는 프로젝션 맵핑을 수행할 수 있는 최소 크기 단위로 평균 계조가 낮은 영역을 검색할 수 있다.
다른 실시 예에 의하면, 도 12에 도시된 제2 단계(S1220) 이후에, 제어부(101)는 맵핑 후보 영역들의 이미지에서 엣지 검출 빈도가 가장 낮은 이미지에 대응하는 맵핑 후보 영역을 맵핑 영역으로 선정할 수 있다. 엣지 검출 빈도가 낮은 이미지는 이미지의 배경이 단순한 것을 의미하고, 상태 정보를 표시하기 위한 맵핑 영역에 더 적합하기 때문이다.
도 14는 다른 실시 예에 의한 전자기기의 상태 정보를 표시하는 시스템을 나타내는 도면이다.
도 14를 참조하면, 다른 실시 예에 따른 전자기기의 상태 정보를 표시하는 시스템은 IOT 서버(201), IOT 허브(200), 촬영장치(310), 프로젝터 장치(320), 전자기기들(331~333)을 포함한다. 도 14에서 IOT 허브(200)는 프로젝션 방식으로 상태 정보를 표시하는 절차에 대한 전반적인 제어를 수행한다. 즉, IOT 허브(200)는 외부 디바이스에 해당하는 전자기기들(331~333)의 상태 정보를 제공받고, 프로젝터 장치(320)를 구동하여 상태 정보를 표시한다.
구체적으로 다른 실시 예에 따른 상태 정보를 표시하는 시스템은 다음과 같다.
IOT 서버(201)는 인터넷 망을 통해서 제1 내지 제3 전자기기들(331,332,333)과 IOT 허브(200)을 연결시킬 수 있다. IOT 서버(201)는 클라우드 서버를 포함할 수 있고, IOT 시스템에 관한 데이터베이스(database)를 포함할 수 있다. 또한, IOT 서버(201)는 데이터베이스를 바탕으로 빅데이터를 활용하여 분석을 수행할 수도 있다.
IOT 허브(200)는 촬영장치(310), 프로젝터 장치(320), 및 제1 내지 제3 전자기기들(331~333)을 제어한다. IOT 허브(200)는 제어 모듈(210), 수신 모듈(220) 및 송신 모듈(230)을 포함한다.
제어 모듈(210)은 제어명령에 응답하여 사용자의 위치를 판단하고, 사용자가 위치한 영역 이외의 영역들을 맵핑 후보 영역들로 선정한다. 제어 모듈(210)은 맵핑 후보 영역들 중에서 적어도 어느 한 곳을 맵핑 영역으로 선정한다. 제어 모듈(210)은 프로젝터 장치(320)를 구동하여 맵핑 영역에 프로젝션 방식으로 상태 정보를 표시한다.
수신 모듈(230)은 전자기기들(331~333)의 상태 정보를 표시하도록 제어하는 제어명령을 수신한다. 그리고, 수신 모듈(230)은 촬영장치들이 획득하는 주변 이미지를 수신하며, 전자기기들(331~333)로부터 상태 정보를 제공받는다.
송신 모듈(230)은 프로젝터 장치(320)를 구동하기 위한 제어신호를 프로젝터 장치로 제공하고, 전자기기들(331~333)의 상태 정보를 요청하기 위한 신호를 전송한다.
프로젝터 장치(320)는 상태 정보를 바탕으로 영상을 생성하고, 렌즈 등을 통해서 맵핑 영역에 상태 정보를 디스플레이한다. 프로젝터는 CRT 프로젝터(Cathode-Ray　Tube 프로젝터), LCD 프로젝터(Liquid Crystal Display 프로젝터), DLP 프로젝터(Digital Light Processing 프로젝터) 등으로 구현될 수 있다.
전자기기들(331~333)은 IOT 허브(200)의 제어하에 상태 정보를 IOT 허브(200)로 제공한다.
도 15는 도 14에 도시된 시스템을 이용한 상태 정보를 표시하는 방법을 설명하는 도면이다.
도 15를 참조하면, IOT 허브(200)는 전자기기들(331~333)과는 분리되는 프로젝터(160)를 이용하여 전자기기들(331~333)의 상태 정보를 표시할 수 있다.
도 14 및 도 15에 도시된 시스템에서, 상태 정보를 표시하는 방법은 도 6 및 도 12에 도시된 절차를 이용할 수 있다.
즉, 도 6에 도시된 바와 같이, 제1 단계(S610)에서, IOT 허브(200)는 사용자(USER)의 제어명령을 수신할 수 있다. 예를 들어, IOT 허브(200)는 세탁기(331)의 동작상태를 표시하라는 제어명령을 수신할 수 있다.
제2 단계(S620)에서, IOT 허브(200)는 사용자의 위치를 판단할 수 있다. IOT 허브(200)는 CCTV 또는 카메라 등의 촬영장치(310)를 이용하여 이미지를 획득하고, 이미지에서 사용자에 해당하는 객체를 검출할 수 있다.
제3 단계(S630)에서, IOT 허브(200)는 사용자의 위치 이외에서, 프로젝션 맵핑 후보 영역들을 선정한다.
제4 단계(S640)에서, IOT 허브(200)는 프로젝션 맵핑 후보 영역들 중에서 어느 한 곳 이상을 맵핑 영역으로 선정한다. 이때, IOT 허브(200)는 도 12에 도시된 실시 예를 이용할 수 있다. 그리고, IOT 허브(200)는 맵핑 영역(M41)에 프로젝션 맵핑 방식으로 세탁기(331)의 상태 정보를 표시하도록 프로젝터(160)를 구동시킨다. 이를 위해서, IOT 허브(200)는 세탁기(331)로부터 상태 정보를 수신하고, 수신된 상태 정보를 프로젝터(160)로 제공할 수 있다.
살펴본 바와 같이, IOT 허브(200)를 이용하여 프로젝션 맵핑 방식으로 가전기기들(331~333)의 상태 정보를 표시할 경우, 프로젝터(160)가 탑재되지 않은 전자기기들(331~333) 조차도 상태 정보를 프로젝션 맵핑 방식으로 표시할 수 있다.
또한, 도 14 및 도 15에 도시된 실시 예에서, 상태 정보는 전자기기들(331~333)로부터 직접 투사되는 것이 아니기 때문에, 사용자의 시야에 벗어난 전자기기들의 상태 정보를 표시할 수 있다.
도 16은 본 발명의 다른 실시 예에 의한 사용자 위치 정보 및 맵핑 정보를 생성하는 방법을 설명하는 도면이다.
도 16을 참조하면, UE는 이미지 정보를 5G 네트워크에 포함된 AI 프로세서로 전송하도록 통신 모듈을 제어할 수 있다. UE는 도 4에 도시된 디바이스(100)이고, 통신 모듈은 통신부(180)에 해당할 수 있다. 또는 UE는 도 14에 도시된 IOT 허브(200)이고, 통신 모듈은 영상획득장치에 해당하는 전자기기일 수 있다.
또한, UE는 AI 프로세서로부터 AI 프로세싱된 정보를 수신하도록 통신 모듈을 제어할 수 있다. AI 프로세싱된 정보는 사용자 위치 정보 또는 맵핑 정보일 수 있다.
UE는 DCI에 기초하여 영상 획득부가 획득한 이미지 정보를 네트워크로 전송할 수 있다(S1600). 이미지 정보는 PUSCH를 통해 5G 네트워크로 전송되며, SSB와 PUSCH의 DM-RS는 QCL type D에 대해 QCL될 수 있다.
5G 네트워크는 AI 프로세서 또는 AI 시스템을 포함할 수 있으며, 5G 네트워크의 AI 시스템은 수신된 정보에 기초하여 AI 프로세싱을 수행할 수 있다.
AI 시스템은, UE로부터 수신된 이미지 정보를 분석할 수 있다. AI 시스템은, 이미지 정보를 분석한다(S1610). 그리고, AI 시스템은 이미지 정보를 분석한 결과를 바탕으로 사용자 위치 정보 또는 맵핑 정보를 생성한다(S1620).
5G 네트워크는 AI 시스템에서 획득한 사용자 위치 정보 또는 맵핑 정보를 UE로 전송할 수 있다(S1630).
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
상술한 실시 예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시 예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시 예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (21)

  1. 사용자에게 디바이스의 상태 정보를 표시하는 방법에 있어서,
    상태 정보를 표시하도록 상기 디바이스를 제어하는 제어명령을 수신하는 단계;
    상기 사용자의 위치를 판단하는 단계;
    상기 사용자가 위치한 영역 이외의 영역들을 맵핑 후보 영역들로 선정하는 단계; 및
    상기 맵핑 후보 영역들 중에서, 적어도 어느 한 곳 이상을 맵핑 영역으로 선정하고, 상기 맵핑 영역에 프로젝션 방식으로 상기 상태 정보를 표시하는 단계;
    를 포함하는 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법.
  2. 제 1 항에 있어서,
    상기 사용자의 위치를 확인하는 단계는,
    라이더가 조사하는 파형이 상기 사용자로부터 반사되는 반사파를 분석하는 단계를 포함하는 것을 특징으로 하는 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법.
  3. 제 1 항에 있어서,
    상기 사용자의 위치를 판단하는 단계는,
    상기 디바이스 주변 영역에 대한 이미지를 획득하는 단계;
    상기 이미지에서 객체들을 검출하는 단계; 및
    인공지능 학습을 바탕으로, 상기 객체들 중에서 상기 사용자에 해당하는 사용자 객체를 검출하는 단계;를 포함하는 것을 특징으로 하는 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법.
  4. 제 3 항에 있어서,
    상기 맵핑 영역을 설정하는 단계는,
    상기 이미지에서 상기 사용자의 시선이 향하는 영역을 확인하는 단계; 및
    상기 사용자의 시선이 향하는 영역을 상기 맵핑 영역으로 설정하는 단계를 포함하는 것을 특징으로 하는 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법.
  5. 제 3 항에 있어서,
    상기 사용자의 시선이 향하는 영역을 확인하는 단계는,
    상기 이미지에서 아이 트래킹을 수행하는 단계를 포함하는 것을 특징으로 하는 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법.
  6. 제 5 항에 있어서,
    상기 맵핑 영역이 상기 사용자의 시선 보다 낮은 위치의 바닥면으로 선정되는 경우, 상기 상태 정보를 표시하는 단계는
    상기 사용자의 시선 방향에 따라, 상기 맵핑 영역을 회전시키는 것을 특징으로 하는 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법.
  7. 제 1 항에 있어서,
    상기 맵핑 영역을 설정하는 단계는,
    상기 맵핑 후보 영역들의 이미지들을 획득하는 단계; 및
    상기 맵핑 후보 영역들의 이미지들의 계조 분포를 바탕으로, 상기 맵핑 후보 영역들 중에서 상기 프로젝션 맵핑 영역을 선정하는 것을 특징으로 하는 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법.
  8. 제 7 항에 있어서,
    상기 맵핑 영역을 설정하는 단계는,
    상기 맵핑 후보 영역들의 이미지들 중에서, 평균 계조값이 가장 낮은 이미지에 대응하는 맵핑 후보 영역을 상기 맵핑 영역으로 선정하는 단계를 포함하는 것을 특징으로 하는 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법.
  9. 제 7 항에 있어서,
    상기 맵핑 영역을 설정하는 단계는,
    상기 맵핑 후보 영역들의 이미지들 중에서, 엣지 검출 빈도가 가장 낮은 이미지에 대응하는 맵핑 후보 영역을 상기 맵핑 영역으로 선정하는 단계를 포함하는 것을 특징으로 하는 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법.
  10. 제 3 항에 있어서,
    상기 사용자의 위치를 판단하는 단계 또는 상기 맵핑 영역을 선정하는 단계는,
    상기 주변 이미지에 대한 정보 전송을 스케쥴링하기 위해 사용되는 DCI(Downlink Control Information)를 네트워크로부터 수신하는 단계;를 더 포함하고,
    상기 상기 주변 이미지에 대한 정보는 상기 DCI에 기초하여 상기 네트워크로 전송되는 것을 특징으로 하는 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법.
  11. 제 10 항에 있어서,
    상기 사용자의 위치를 판단하는 단계 또는 상기 맵핑 영역을 선정하는 단계는,
    SSB(Synchronization signal block)에 기초하여 상기 네트워크와 초기 접속 절차를 수행하는 단계;를 더 포함하고,
    상기 주변 이미지에 대한 정보는 PUSCH를 통해 상기 네트워크로 전송되며,
    상기 SSB와 상기 PUSCH의 DM-RS는 QCL type D에 대해 QCL되어 있는 것을 특징으로 하는 지능형 디바이스를 이용한 프로젝션 타입의 정보 표시방법.
  12. 상태 정보를 표시하도록 디바이스를 제어하는 제어명령을 수신하는 제어신호 수신부;
    상기 디바이스의 주변 이미지를 획득하는 영상 획득부; 및
    상기 제어명령에 응답하여 사용자의 위치를 판단하고, 상기 사용자가 위치한 영역 이외의 영역들을 맵핑 후보 영역들로 선정하며, 상기 맵핑 후보 영역들 중에서 적어도 어느 한 곳을 맵핑 영역으로 선정하고, 상기 맵핑 영역에 프로젝션 방식으로 상기 상태 정보를 표시하도록 제어하는 제어부;
    를 포함하는 지능형 디바이스.
  13. 제 12 항에 있어서,
    상기 제어부는,
    상기 주변 이미지로에서 객체들을 검출하고, 상기 객체들 중에서 상기 사용자에 해당하는 객체를 검출함으로써, 상기 사용자의 위치를 판단하는 것을 특징으로 하는 지능형 디바이스.
  14. 제 12 항에 있어서,
    상기 제어부는
    상기 주변 이미지에서 상기 사용자의 시선이 향하는 영역을 확인하고, 상기 사용자의 시선이 향하는 영역을 상기 맵핑 영역으로 설정하는 것을 특징으로 하는 지능형 디바이스.
  15. 제 14 항에 있어서,
    상기 제어부는,
    상기 맵핑 영역이 상기 사용자의 시선 보다 낮은 위치의 바닥면으로 선정되는 경우, 상기 사용자의 시선 방향에 따라 상기 맵핑 영역을 회전시키는 것을 특징으로 하는 지능형 디바이스.
  16. 제 12 항에 있어서,
    상기 제어부는
    상기 맵핑 후보 영역들의 이미지들을 획득하고, 상기 맵핑 후보 영역들의 이미지들 중에서, 평균 계조값이 가장 낮은 이미지에 대응하는 맵핑 후보 영역을 상기 맵핑 영역으로 선정하는 것을 특징으로 하는 지능형 디바이스.
  17. 외부 디바이스의 상태 정보를 표시하도록 프로젝터 장치를 제어하는 지능형 디바이스에 있어서,
    상기 외부 디바이스의 상태 정보를 표시하도록 상기 지능형 디바이스를 제어하는 제어명령을 수신하고, 촬영장치들이 획득하는 주변 이미지를 수신하며, 상기 외부 디바이스로부터 상기 상태 정보를 제공받는 수신 모듈;
    상기 제어명령에 응답하여 사용자의 위치를 판단하고, 상기 사용자가 위치한 영역 이외의 영역들을 맵핑 후보 영역들로 선정하며, 상기 맵핑 후보 영역들 중에서 적어도 어느 한 곳을 맵핑 영역으로 선정하고, 상기 맵핑 영역에 프로젝션 방식으로 상기 상태 정보를 표시하도록 상기 프로젝터 장치를 제어하는 제어신호를 생성하는 제어 모듈; 및
    상기 제어신호를 상기 프로젝터 장치로 전송하는 송신 모듈;
    을 포함하는 지능형 디바이스.
  18. 제 17 항에 있어서,
    상기 제어 모듈은
    상기 주변 이미지로에서 객체들을 검출하고, 상기 객체들 중에서 상기 사용자에 해당하는 객체를 검출함으로써, 상기 사용자의 위치를 판단하는 것을 특징으로 하는 지능형 디바이스.
  19. 제 17 항에 있어서,
    상기 주변 이미지에서 상기 사용자의 시선이 향하는 영역을 확인하고, 상기 사용자의 시선이 향하는 영역을 상기 맵핑 영역으로 설정하는 것을 특징으로 하는 지능형 디바이스.
  20. 제 19 항에 있어서,
    상기 제어 모듈은,
    상기 맵핑 영역이 상기 사용자의 시선 보다 낮은 위치의 바닥면으로 선정되는 경우, 상기 사용자의 시선 방향에 따라 상기 맵핑 영역을 회전시키는 것을 특징으로 하는 지능형 디바이스.
  21. 제 17 항에 있어서,
    상기 제어 모듈은,
    상기 맵핑 후보 영역들의 이미지들을 획득하고, 상기 맵핑 후보 영역들의 이미지들 중에서, 평균 계조값이 가장 낮은 이미지에 대응하는 맵핑 후보 영역을 상기 맵핑 영역으로 선정하는 것을 특징으로 하는 지능형 디바이스.
KR1020190107769A 2019-08-30 2019-08-30 지능형 디바이스 및 이를 이용한 프로젝션 타입의 정보 표시방법 KR20190106930A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190107769A KR20190106930A (ko) 2019-08-30 2019-08-30 지능형 디바이스 및 이를 이용한 프로젝션 타입의 정보 표시방법
US16/573,852 US10936062B2 (en) 2019-08-30 2019-09-17 Intelligent device and method of information displaying with projection type using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190107769A KR20190106930A (ko) 2019-08-30 2019-08-30 지능형 디바이스 및 이를 이용한 프로젝션 타입의 정보 표시방법

Publications (1)

Publication Number Publication Date
KR20190106930A true KR20190106930A (ko) 2019-09-18

Family

ID=68071044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190107769A KR20190106930A (ko) 2019-08-30 2019-08-30 지능형 디바이스 및 이를 이용한 프로젝션 타입의 정보 표시방법

Country Status (2)

Country Link
US (1) US10936062B2 (ko)
KR (1) KR20190106930A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521248B2 (en) * 2019-12-13 2022-12-06 AiFi Inc. Method and system for tracking objects in an automated-checkout store based on distributed computing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8805059B2 (en) * 2011-10-24 2014-08-12 Texas Instruments Incorporated Method, system and computer program product for segmenting an image
US10895971B2 (en) * 2017-05-12 2021-01-19 Irobot Corporation Methods, systems, and devices for mapping, controlling, and displaying device status
US11797910B2 (en) * 2017-08-15 2023-10-24 United Parcel Service Of America, Inc. Hands-free augmented reality system for picking and/or sorting assets
US10535199B1 (en) * 2018-06-18 2020-01-14 Facebook Technologies, Llc Systems and methods for determining a safety boundary for a mobile artificial reality user
US20200018962A1 (en) * 2018-07-11 2020-01-16 Facebook Technologies, Llc Adaptive lenses for near-eye displays

Also Published As

Publication number Publication date
US10936062B2 (en) 2021-03-02
US20200012343A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
US11479894B2 (en) Method and apparatus for compensating vibration of deep-learning based washing machine
US11212132B2 (en) Method for providing IoT device information, apparatus and intelligent computing device thereof
KR102246659B1 (ko) 지능형 디바이스 및 지능형 디바이스의 영상 보정 방법
KR20190103090A (ko) 연합학습(Federated　learning)을　통한 단말의 POI 데이터를 생성하는 모델의 학습방법 및 이를 위한 장치
US10819844B2 (en) Intelligent electronic device and mode setting method
US20210125075A1 (en) Training artificial neural network model based on generative adversarial network
US11308954B2 (en) Method for associating an AI device with a device based on a behavior pattern of a user and an apparatus therefor
KR20190106939A (ko) 증강현실기기 및 이의 제스쳐 인식 캘리브레이션 방법
US11383720B2 (en) Vehicle control method and intelligent computing device for controlling vehicle
US20200107154A1 (en) Artificial device and method for controlling the same
US11423696B2 (en) Method for recognizing face using intelligent electronic device
US11057750B2 (en) Intelligent device controlling method, mobile terminal and intelligent computing device
KR20190108086A (ko) 상황 정보에 기반한 지능형 디바이스의 조도 제어 방법 및 지능형 디바이스
KR20190107290A (ko) 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
US11423881B2 (en) Method and apparatus for updating real-time voice recognition model using moving agent
KR20190106946A (ko) 지능형 디바이스 및 그 제어 방법
KR20190103085A (ko) 지능형 진단 디바이스
US20210405758A1 (en) Method of controlling augmented reality electronic device
US20210125478A1 (en) Intelligent security device
KR102321806B1 (ko) 음성신호 및 텍스트가 매칭된 데이터베이스의 구축방법 및 이를 위한 시스템, 이를 기록한 컴퓨터 판독 가능한 기록매체
KR20190106930A (ko) 지능형 디바이스 및 이를 이용한 프로젝션 타입의 정보 표시방법
KR20210077901A (ko) 영상획득장치 및 방법
US20200012957A1 (en) Method and apparatus for determining driver's drowsiness and intelligent computing device
KR20210059978A (ko) 음성 어시스턴트의 사용자 입력 처리방법
US11514725B2 (en) Intelligence device and user selection method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal