KR20190099165A - 가상 홈 서비스 장치 및 방법 - Google Patents
가상 홈 서비스 장치 및 방법 Download PDFInfo
- Publication number
- KR20190099165A KR20190099165A KR1020190095631A KR20190095631A KR20190099165A KR 20190099165 A KR20190099165 A KR 20190099165A KR 1020190095631 A KR1020190095631 A KR 1020190095631A KR 20190095631 A KR20190095631 A KR 20190095631A KR 20190099165 A KR20190099165 A KR 20190099165A
- Authority
- KR
- South Korea
- Prior art keywords
- home
- information
- vehicle
- virtual
- virtual home
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 96
- 238000004891 communication Methods 0.000 claims abstract description 125
- 238000013461 design Methods 0.000 claims description 86
- 238000010276 construction Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 13
- 230000003190 augmentative effect Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 29
- 238000003384 imaging method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000005406 washing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000000354 decomposition reaction Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000003672 processing method Methods 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 239000000446 fuel Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000004381 surface treatment Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2807—Exchanging configuration information on appliance services in a home automation network
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0227—Control of position or course in two dimensions specially adapted to land vehicles using mechanical sensing means, e.g. for sensing treated area
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2807—Exchanging configuration information on appliance services in a home automation network
- H04L12/2812—Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/283—Processing of data at an internetworking point of a home automation network
- H04L12/2834—Switching of information between an external network and a home network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Tourism & Hospitality (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 일 실시예는, 홈 내 설치된 가전 기기의 동작을 제어하는 가상 홈 인터페이스를 제공하는 차량 장치에 상기 가상 홈 인터페이스 지원을 위한 데이터를 제공하는 가상 홈 서비스 장치로서, 통신부; 상기 가전 기기의 사용자 식별 정보에 기초하여 상기 통신부를 통해 상기 홈의 설계 도면을 획득하고, 상기 설계 도면을 변환하여 3차원 도면을 획득하는 홈 정보 취합부; 상기 통신부를 통하여 홈의 내부 영상 및 SLAM 정보를 획득하고, 상기 내부 영상 및 상기 SLAM 정보에 기초하여 상기 가전 기기의 위치 및 상태를 식별하는 가전 식별부; 및 상기 3차원 도면에 상기 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 생성하는 가상 홈 구현부를 포함하고, 상기 가상 홈 정보는 상기 차량 장치에 상기 가상 홈 인터페이스 지원을 위한 데이터로 제공되는, 가상 홈 서비스 장치이다.
본 발명의 일 실시예에 따른 자율주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.
본 발명의 일 실시예에 따른 자율주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.
Description
본 발명은 차량에 설치되는 장치 또는 차량 플랫폼(Platform), 특히, 자율주행 차량에 설치되어 홈 가전 기기를 제어하는 인터페이스를 제공하는 가상 홈 서비스 장치 및 방법에 관한 것이다.
차량에 대한 사용자의 요구 사항이 증가하면서 홈 가전 및 사용자 단말기와 다양한 인터페이싱을 수행하는 차량 플랫폼에 대한 개발이 활발하게 이루어 지고 있다.
특히, 자율주행 차량은 차량 운행에 있어서 사람의 조작이 필요하지 않으므로 자율주행 차량 탑승자는 차량 내에서 주행 시간 동안 다양한 기능을 수행할 수 있는 인터페이스를 요구하게 된다.
상술한 차량 플랫폼에 관한 종래 기술 중 하나로, 한국공개특허 제2018-0004030호에 개시된 바와 같이 하나 이상의 다른 차량, 스마트 기기, 인프라스트럭쳐, 스마트 홈 및 개인 장치와 통신하면서 차량의 센서에 의해 획득된 정보를 차량과 연결된 기기와 공유하는 방법이 있다.
그러나, 상술한 한국공개특허 제2018-0004030호에 개시된 종래의 차량 플랫폼에 의하면 차량 플랫폼에 의해 제어되는 스마트 홈은 차고 문을 열거나 조명을 켜는 등 차량과 관련된 홈 내 장치만 제어될 뿐이고, 다양한 홈 내 가전 기기를 제어하는 인터페이스를 제공할 수 없다.
이러한 이유로 인하여 자율주행 차량 및 차량 내 창문형 투명 디스플레이 장치의 도입으로 인하여 차량 내에서도 홈 내 가전을 정밀하게 제어할 수 있는 시간 및 인터페이스 구현 가능 환경이 주어졌음에도 불구하고 이를 적절히 활용하지 못하는 문제점이 존재한다.
따라서, 운전 조작에서 자유로운 사용자에게 차량 내에서도 홈 내 가전 기기를 실제 가정 내에서 제어하는 것과 같은 인터페이스를 제공하는 장치 및 방법이 요구되고 있다.
본 발명의 실시예는, 상술한 문제점의 원인이었던 단순한 홈내 가전 기기와 차량 간의 통신에 의한 인터페이스가 아닌 사용자가 거주하는 홈의 정보를 정밀하게 반영한 가상 홈 인터페이스를 제공함으로써, 실제 가정 내에서 가전을 제어하는 것과 같은 경험을 가능하게 하는 가상 홈 서비스 장치 및 방법을 제공하는데 목적이 있다.
또한, 본 발명의 실시예는, 사용자가 보유한 로봇 청소기로부터 획득한 SLAM 및 사진 영상을 이용하여 가상 홈 인터페이스를 사용자 맞춤형으로 구현할 수 있는 가상 홈 서비스 장치 및 방법을 제공하는데 목적이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 달성하기 위하여 본 발명의 실시예에 따른 가상 홈 서비스 장치는 사용자 홈의 주소에 대응하는 설계 도면 및 로봇 청소기에서 제공되는 SLAM 및 영상을 이용하여 실제 가정 내에 있는 것과 같은 가전 기기 제어 환경을 제공하는 가상 홈 인터페이스를 구현할 수 있다.
구체적으로, 본 발명의 실시예는, 홈 내 설치된 가전 기기의 동작을 제어하는 가상 홈 인터페이스를 제공하는 차량 장치에 가상 홈 인터페이스 지원을 위한 데이터를 제공하는 가상 홈 서비스 장치로서, 통신부와, 가전 기기의 사용자 식별 정보에 기초하여 통신부를 통해 홈의 설계 도면을 획득하고, 설계 도면을 변환하여 3차원 도면을 획득하는 홈 정보 취합부와, 통신부를 통하여 홈의 내부 영상 및 SLAM 정보를 획득하고, 내부 영상 및 SLAM 정보에 기초하여 가전 기기의 위치 및 상태를 식별하는 가전 식별부와, 3차원 도면에 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 생성하는 가상 홈 구현부를 포함하고, 가상 홈 정보는 차량 장치에 가상 홈 인터페이스 지원을 위한 데이터로 제공되는, 가상 홈 서비스 장치일 수 있다.
본 발명의 실시예는, 홈 정보 취합부가, 가전 기기의 판매 시 등록된 주소를 사용자 식별 정보로 이용하여 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 설계 도면 요청 신호를 통신부를 통하여 부동산 중개업체 서버로 송신하며, 통신부는, 설계 도면을 포함하는 정보를 부동산 중개업체 서버로부터 수신하는, 가상 홈 서비스 장치일 수 있다.
본 발명의 실시예는, 홈 정보 취합부가, 가전 기기의 판매 시 등록된 주소를 사용자 식별 정보로 이용하여 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 설계 도면 요청 신호를 통신부를 통하여 부동산 건설업체 서버로 송신하며, 통신부는, 설계 도면을 포함하는 정보를 부동산 건설업체 서버로부터 수신하는, 가상 홈 서비스 장치일 수 있다.
본 발명의 실시예는, 통신부가, 차량 장치가 설치된 차량을 자율주행 모드로 운행하기 위해 연결된 5G 네트워크의 하향 링크 그랜트에 기초하여 내부 영상 및 SLAM 정보를 수신하고, 내부 영상 및 SLAM 정보는 5G 네트워크에 연결된 홈 내에 배치되는 로봇 청소기로부터 제공되는, 가상 홈 서비스 장치일 수 있다.
본 발명의 실시예는, 가상 홈 인터페이스를 제공하는 사용자 인터페이스부를 더 포함하고, 사용자 인터페이스부는, 차량 창문에 부착된 투명 디스플레이를 포함하는, 가상 홈 서비스 장치일 수 있다.
본 발명의 실시예는, 사용자 인터페이스부가, 음성 인식에 의해 가전 기기를 제어하는 입력 신호를 획득하는, 가상 홈 서비스 장치일 수 있다.
본 발명의 실시예는, 사용자 인터페이스부가, 투명 디스플레이의 가전 기기가 표시된 영역의 터치 검출에 의해 가전 기기를 제어하는 입력 신호를 획득하는, 가상 홈 서비스 장치일 수 있다.
본 발명의 실시예는, 사용자 인터페이스부는, 홈 내 추가 가전 기기 정보를 입력받는 인터페이스를 제공하고, 가전 식별부는, 사용자 인터페이스부를 통하여 추가 가전 기기 정보를 획득함에 따라 추가 가전 기기의 고유 특성을 판단하며, 고유 특성에 기초하여 로봇 청소기가 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 정의하고, 통신부를 통하여 갱신 내부 영상 및 갱신 SLAM 정보를 획득하고, 획득된 갱신 내부 영상 및 갱신 SLAM 정보에 기초하여 추가 가전 기기의 위치 및 상태를 식별하며, 로봇 청소기는, 가전 식별부에 의해 정의된 영역에 한해 갱신 내부 영상 및 갱신 SLAM 정보를 통신부로 제공하고, 가상 홈 구현부는, 3차원 도면에 추가 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 갱신하는, 가상 홈 서비스 장치일 수 있다.
본 발명의 실시예는, 사용자 인터페이스부가, 로봇 청소기가 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 지정하는 영역 지정 신호를 입력받는 인터페이스를 제공하고, 가전 식별부는, 사용자 인터페이스부를 통하여 입력된 영역 지정 신호에 기초하여 로봇 청소기가 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 정의하고, 통신부를 통하여 갱신 내부 영상 및 갱신 SLAM 정보를 획득하고, 획득된 갱신 내부 영상 및 갱신 SLAM 정보에 기초하여 추가 가전 기기의 위치 및 상태를 식별하며, 로봇 청소기는, 가전 식별부에 의해 정의된 영역에 한해 갱신 내부 영상 및 갱신 SLAM 정보를 통신부로 제공하고, 가상 홈 구현부는, 3차원 도면에 추가 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 갱신하는, 가상 홈 서비스 장치일 수 있다.
본 발명의 실시예는, 홈 내 설치된 가전 기기의 동작을 제어하는 가상 홈 인터페이스를 제공하는 차량 장치에 가상 홈 인터페이스 지원을 위한 데이터를 제공하는 가상 홈 서비스 방법으로서, 가전 기기의 사용자 식별 정보에 기초하여 홈의 설계 도면을 획득하고, 설계 도면을 변환하여 3차원 도면을 획득하는 제1 단계와, 홈의 내부 영상 및 SLAM 정보를 획득하고, 내부 영상 및 SLAM 정보에 기초하여 가전 기기의 위치 및 상태를 식별하는 제2 단계와, 3차원 도면에 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 생성하는 제3 단계를 포함하고, 가상 홈 정보는 차량 장치에 가상 홈 인터페이스 지원을 위한 데이터로 제공되는, 가상 홈 서비스 방법일 수 있다.
본 발명의 실시예는, 제1 단계가, 가전 기기의 판매 시 등록된 주소를 사용자 식별 정보로 이용하여 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 설계 도면 요청 신호를 부동산 중개업체 서버로 송신하는 단계와, 설계 도면을 포함하는 정보를 부동산 중개업체 서버로부터 수신하는 단계를 포함하는, 가상 홈 서비스 방법일 수 있다.
본 발명의 실시예는, 제1 단계가, 가전 기기의 판매 시 등록된 주소를 사용자 식별 정보로 이용하여 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 설계 도면 요청 신호를 부동산 건설업체 서버로 송신하는 단계와, 설계 도면을 포함하는 정보를 부동산 건설업체 서버로부터 수신하는 단계를 포함하는, 가상 홈 서비스 방법일 수 있다.
본 발명의 실시예는, 제2 단계가, 차량 장치가 설치된 차량을 자율주행 모드로 운행하기 위해 연결된 5G 네트워크의 하향 링크 그랜트에 기초하여 내부 영상 및 SLAM 정보를 수신하는 단계를 포함하고, 내부 영상 및 SLAM 정보는 5G 네트워크에 연결된 홈 내에 배치되는 로봇 청소기로부터 제공되는, 가상 홈 서비스 방법일 수 있다.
본 발명의 실시예는, 가상 홈 인터페이스를 제공하는 제4 단계를 더 포함하고, 가상 홈 인터페이스는, 차량 창문에 부착된 투명 디스플레이를 통하여 제공되는, 가상 홈 서비스 방법일 수 있다.
본 발명의 실시예는, 가상 홈 인터페이스는, 음성 인식에 의해 가전 기기를 제어하는 입력 신호를 획득하는 음성 인식 인터페이스인, 가상 홈 서비스 방법일 수 있다.
본 발명의 실시예는, 가상 홈 인터페이스는, 투명 디스플레이의 가전 기기가 표시된 영역의 터치 검출에 의해 가전 기기를 제어하는 입력 신호를 획득하는 터치 입력 인터페이스인, 가상 홈 서비스 방법일 수 있다.
본 발명의 실시예는, 홈 내 추가 가전 기기 정보를 입력받는 인터페이스를 제공하는 제5 단계와, 추가 가전 기기 정보를 획득함에 따라 추가 가전 기기의 고유 특성을 판단하며, 고유 특성에 기초하여 로봇 청소기가 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 정의하는 제6 단계와, 로봇 청소기로부터 제6 단계에서 정의된 영역에 한해 갱신 내부 영상 및 갱신 SLAM 정보를 제공받는 제7 단계와, 제7 단계에서 제공받은 갱신 내부 영상 및 갱신 SLAM 정보에 기초하여 추가 가전 기기의 위치 및 상태를 식별하는 제8 단계와, 3차원 도면에 추가 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 갱신하는 제9 단계를 더 포함하는, 가상 홈 서비스 방법일 수 있다.
본 발명의 실시예는, 로봇 청소기가 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 지정하는 영역 지정 신호를 입력받는 인터페이스를 제공하는 제10 단계와, 사용자 인터페이스부를 통하여 입력된 영역 지정 신호에 기초하여 로봇 청소기가 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 정의하는 제11 단계와, 로봇 청소기로부터 제11 단계에서 정의된 영역에 한해 갱신 내부 영상 및 갱신 SLAM 정보를 제공받는 제12 단계와, 제12 단계에서 제공받은 갱신 내부 영상 및 갱신 SLAM 정보에 기초하여 추가 가전 기기의 위치 및 상태를 식별하는 제13 단계와, 3차원 도면에 추가 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 갱신하는 제14 단계를 더 포함하는, 가상 홈 서비스 방법일 수 있다.
본 발명의 실시예는, 홈 내 설치된 가전 기기의 동작을 제어하는 가상 홈 인터페이스를 제공하는 차량 장치에 가상 홈 인터페이스 지원을 위한 데이터를 제공하는 로봇 청소기를 이용한 가상 홈 서비스 프로그램을 기록한 컴퓨터 판독 가능한 기록매체로서, 가전 기기의 사용자 식별 정보에 기초하여 홈의 설계 도면을 획득하고, 설계 도면을 변환하여 3차원 도면을 획득하는 수단과, 홈의 내부 영상 및 SLAM 정보를 획득하고, 내부 영상 및 SLAM 정보에 기초하여 가전 기기의 위치 및 상태를 식별하는 수단과, 3차원 도면에 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 생성하는 수단을 포함하고, 가상 홈 정보는 차량 장치에 상기 가상 홈 인터페이스 지원을 위한 데이터로 제공되는, 프로그램을 기록한 컴퓨터 판독 가능한 기록매체일 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면, 차량 탑승자가 실제 사용자의 홈 내 환경을 그대로 반영한 가상 홈 인터페이스를 이용하여 홈 내 가전 기기를 제어하므로, 탑승자는 차량 내에서도 홈 내에 머무는 것과 같이 익숙한 방식으로 가전 기기를 제어할 수 있는 효과가 있다.
본 발명의 실시예에 따르면, 로봇 청소기를 보유한 사용자는 별도의 장치가 없어도 실제 사용자의 홈에 배치된 가전 기기를 그대로 반영한 가상 홈 인터페이스를 제공받을 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 명확하게 이해할 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 가상 홈 서비스 장치가 적용되는 시스템을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량 측에 설치된 가상 홈 서비스 장치를 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 서버 측에 설치된 가상 홈 서비스 장치를 도시한 블록도이다.
도 4는 본 발명의 실시예에 따른 로봇 청소기 측에 설치된 가상 홈 서비스 장치를 도시한 블록도이다.
도 5는 5G 통신 시스템에서 자율주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸 도면이다.
도 6은 5G 통신 시스템에서 자율주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸 도면이다.
도 7 내지 도 10는 5G 통신을 이용한 자율주행 차량의 동작의 일 예를 나타낸 도면이다.
도 11 및 도 12는 본 발명의 실시예에 따른 가상 홈 서비스 방법을 도시한 동작흐름도이다.
도 13은 본 발명의 실시예에 따른 차량 측에 설치된 가상 홈 서비스 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 차량 측에 설치된 가상 홈 서비스 장치를 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 서버 측에 설치된 가상 홈 서비스 장치를 도시한 블록도이다.
도 4는 본 발명의 실시예에 따른 로봇 청소기 측에 설치된 가상 홈 서비스 장치를 도시한 블록도이다.
도 5는 5G 통신 시스템에서 자율주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸 도면이다.
도 6은 5G 통신 시스템에서 자율주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸 도면이다.
도 7 내지 도 10는 5G 통신을 이용한 자율주행 차량의 동작의 일 예를 나타낸 도면이다.
도 11 및 도 12는 본 발명의 실시예에 따른 가상 홈 서비스 방법을 도시한 동작흐름도이다.
도 13은 본 발명의 실시예에 따른 차량 측에 설치된 가상 홈 서비스 장치의 동작을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
도 1은 본 발명의 실시예에 따른 가상 홈 서비스 장치가 적용되는 시스템을 도시한 도면이다.
도 1을 참조하면, 모빌리티 차량(1000)은, 차량에 설치된 가상 홈 어플리케이션을 실행함으로써 서버(2000)와 통신할 수 있다.
서버(2000)는, 설계 도면을 보유하고 있는 외부 서버(2000), 예를 들면, 부동산 중개업체 서버, 부동산 건설업체 서버로부터 설계 도면을 제공받아 저장하고, 저장된 설계 도면을 가상 홈 정보 생성 시 사용할 수 있다.
서버(2000)는, 영상 및 SLAM 정보를 제공하는 로봇 청소기(4000)를 포함한 가전 기기와 통신하는 MQTT(Message Queuing Telemetry Transport) 서버를 포함할 수 있다.
여기서, 모빌리티 차량(1000)은, 도 1에 도시된 바와 같이, 서버(2000)를 통하여 가상 홈 인터페이스 구현에 필요한 가상 홈 정보를 제공받을 수 있으나, 서버(2000)의 지원 없이 직접 외부 서버(2000) 및 로봇 청소기(4000)로부터 수집한 설계 도면, 영상 및 SLAM 정보를 가공하여 가상 홈 정보를 생성할 수 있다.
로봇 청소기(4000)를 보유하지 않은 차량(1000) 탑승자의 경우, 서버(2000)와 연동 중인 홈 IoT(Internet of Things) 가전 기기 리스트를 활용하여 디폴트(Default) 가상 홈 인터페이스를 제공할 수 있다.
도 2는 본 발명의 실시예에 따른 차량 측에 설치된 가상 홈 서비스 장치를 도시한 블록도이다.
도 2를 참조하면, 가상 홈 서비스 장치는 차량 통신부(1100), 차량 제어부(1200), 차량 사용자 인터페이스부(1300), 오브젝트 검출부(1400), 운전 조작부(1500), 차량 구동부(1600), 운행부(1700), 센싱부(1800) 및 차량 저장부(1900)를 포함할 수 있다.
실시예에 따라 가상 홈 서비스 장치가 적용되는 차량(1000)은, 도 2에 도시되고 이하 설명되는 구성 요소 외에 다른 구성요소를 포함하거나, 도 2에 도시되고 이하 설명되는 구성요소 중 일부를 포함하지 않을 수 있다.
차량(1000)은 주행 상황에 따라 자율주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율주행 모드로 전환될 수 있다. 여기서, 주행 상황은 차량 통신부(1100)에 의해 수신된 정보, 오브젝트 검출부(1400)에 의해 검출된 외부 오브젝트 정보 및 내비게이션 모듈에 의해 획득된 내비게이션 정보 중 적어도 어느 하나에 의해 판단될 수 있다.
차량(1000)은 차량 사용자 인터페이스부(1300)를 통하여 수신되는 사용자 입력에 따라 자율주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율주행 모드로 전환될 수 있다.
차량(1000)이 자율주행 모드로 운행되는 경우, 차량(1000)은 주행, 출차, 주차 동작을 제어하는 운행부(1700)의 제어에 따라 운행될 수 있다. 한편, 차량(1000)이 매뉴얼 모드로 운행되는 경우, 차량(1000)은 운전자의 기계적 운전 조작을 통한 입력에 의해 운행될 수 있다.
차량 통신부(1100)는, 외부 장치와 통신을 수행하기 위한 모듈이다. 여기서, 외부 장치는, 서버(2000, 3000), 로봇 청소기(4000)와 같은 가전 기기일 수 있다.
차량 통신부(1100)는, 서버(2000)로부터 5G 네트워크의 하향 링크 그랜트에 기초하여 가상 홈 정보, 서버(3000)에서 제공하는 설계 도면, 로봇 청소기(4000)에서 획득한 내부 영상 및 SLAM(Simultaneous Localization And Mapping) 정보를 수신할 수 있다.
차량 통신부(1100)는, 사용자의 홈의 설계 도면을 포함하는 정보를 외부 서버(3000) 중 부동산 중개업체 서버 또는 부동산 건설업체 서버로부터 수신할 수 있다.
차량 통신부(1100)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
차량 통신부(1100)는, 근거리 통신(Short range communication), GPS 신호 수신, V2X 통신, 광통신, 방송 송수신 및 ITS(Intelligent Transport Systems) 통신 기능을 수행할 수 있다.
실시예에 따라, 차량 통신부(1100)는, 설명되는 기능 외에 다른 기능을 더 지원하거나, 설명되는 기능 중 일부를 지원하지 않을 수 있다.
차량 통신부(1100)는, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
차량 통신부(1100)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(1000)과 적어도 하나의 외부 장치 사이의 근거리 통신을 수행할 수 있다.
차량 통신부(1100)는, 차량(1000)의 위치 정보를 획득하기 위한 GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
차량 통신부(1100)는, 차량(1000)과 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신을 지원하는 모듈, 즉, V2X 통신 모듈을 포함할 수 있다. V2X 통신 모듈은, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
차량 통신부(1100)는, V2X 통신 모듈을 통하여, 타 차량이 송신하는 위험 정보 방송 신호를 수신할 수 있고, 위험 정보 질의 신호를 송신하고 그에 대한 응답으로 위험 정보 응답 신호를 수신할 수 있다.
차량 통신부(1100)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 광통신 모듈을 포함할 수 있다. 광통신 모듈은, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신 모듈 및 수신된 광 신호를 전기 신호로 전환하는 광수신 모듈을 포함할 수 있다.
실시예에 따라, 광발신 모듈은, 차량(1000)에 포함된 램프와 일체화되게 형성될 수 있다.
차량 통신부(1100)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 방송 통신 모듈을 포함할 수 있다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
차량 통신부(1100)는, 교통 시스템과 정보, 데이터 또는 신호를 교환하는 ITS 통신 모듈을 포함할 수 있다. ITS 통신 모듈은, 교통 시스템에 획득한 정보, 데이터를 제공할 수 있다. ITS 통신 모듈은, 교통 시스템으로부터, 정보, 데이터 또는 신호를 제공받을 수 있다. 예를 들면, ITS 통신 모듈은, 교통 시스템으로부터 도로 교통 정보를 수신하여, 차량 제어부(1200)에 제공할 수 있다. 예를 들면, ITS 통신 모듈은, 교통 시스템으로부터 제어 신호를 수신하여 차량 제어부(1200) 또는 차량(1000) 내부에 구비된 프로세서에 제공할 수 있다.
실시예에 따라, 차량 통신부(1100)의 각 모듈은 차량 통신부(1100) 내에 구비된 별도의 프로세서에 의해 전반적인 동작이 제어될 수 있다. 차량 통신부(1100)는, 복수개의 프로세서를 포함하거나, 프로세서를 포함하지 않을 수도 있다. 차량 통신부(1100)에 프로세서가 포함되지 않는 경우, 차량 통신부(1100)는, 차량(1000) 내 다른 장치의 프로세서 또는 차량 제어부(1200)의 제어에 따라, 동작될 수 있다.
차량 통신부(1100)는, 차량 사용자 인터페이스부(1300)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이 경우, 차량용 디스플레이 장치는, 텔레매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
도 5는 5G 통신 시스템에서 자율주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸 도면이다.
차량 통신부(1100)는, 차량(1000)이 자율주행 모드로 운행되는 경우, 특정 정보를 5G 네트워크로 전송할 수 있다(S1).
이 때, 특정 정보는 자율주행 관련 정보를 포함할 수 있다.
자율주행 관련 정보는, 차량의 주행 제어와 직접적으로 관련된 정보일 수 있다. 예를 들어, 자율주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.
자율주행 관련 정보는 자율주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 특정 정보는, 차량 사용자 인터페이스부(1300)를 통해 입력된 목적지와 차량의 안전 등급에 관한 정보를 포함할 수 있다.
또한, 5G 네트워크는 차량의 원격 제어 여부를 결정할 수 있다(S2).
여기서, 5G 네트워크는 자율주행 관련 원격 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.
또한, 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 자율주행 차량으로 전송할 수 있다(S3).
전술한 바와 같이, 원격 제어와 관련된 정보는 자율주행 차량에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율주행에 필요한 서비스 정보를 더 포함할 수 있다. 본 발명의 일 실시예에서 자율주행 차량은, 5G 네트워크에 연결된 서버를 통해 주행 경로 상에서 선택된 구간별 보험과 위험 구간 정보 등의 서비스 정보를 수신함으로써, 자율주행과 관련된 서비스를 제공할 수 있다.
이하, 도 6 내지 도 10을 참조하여 자율주행 가능 차량(1000)과 5G 네트워크 간의 5G 통신을 위한 필수 과정(예를 들어, 차량(1000)과 5G 네트워크 간의 초기 접속 절차 등)을 개략적으로 설명하면 다음과 같다.
먼저, 5G 통신 시스템에서 수행되는 자율주행 가능 차량(1000)과 5G 네트워크를 통한 응용 동작의 일 예는 다음과 같다.
차량(1000)은 5G 네트워크와 초기 접속(Initial access) 절차를 수행한다(초기 접속 단계, S20). 이때, 초기 접속 절차는 하향 링크(Downlink, DL) 동기 획득을 위한 셀 서치(Cell search) 과정 및 시스템 정보(System information)를 획득하는 과정 등을 포함한다.
또한, 차량(1000)은 5G 네트워크와 임의 접속(Random access) 절차를 수행한다(임의 접속 단계, S21). 이때, 임의 접속 절차는 상향 링크(Uplink, UL) 동기 획득 과정 또는 UL 데이터 전송을 위한 프리엠블 전송 과정, 임의 접속 응답 수신 과정 등을 포함한다.
한편, 5G 네트워크는 자율주행 가능 차량(1000)으로 특정 정보의 전송을 스케쥴링하기 위한 UL 그랜트(Uplink grant)를 전송한다(UL 그랜트 수신 단계, S22).
차량(1000)이 UL 그랜트를 수신하는 절차는 5G 네트워크로 UL 데이터의 전송을 위해 시간/주파수 자원을 배정받는 스케줄링 과정을 포함한다.
또한, 자율주행 가능 차량(1000)은 UL 그랜트에 기초하여 5G 네트워크로 특정 정보를 전송할 수 있다(특정 정보 전송 단계, S23).
한편, 5G 네트워크는 차량(1000)으로부터 전송된 특정 정보에 기초하여 차량(1000)의 원격 제어 여부를 결정할 수 있다(차량의 원격 제어 여부 결정 단계, S24).
또한, 자율주행 가능 차량(1000)은 5G 네트워크로부터 기 전송된 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 DL 그랜트를 수신할 수 있다(DL 그랜트 수신 단계, S25).
이후에, 5G 네트워크는 DL 그랜트에 기초하여 자율주행 가능 차량(1000)으로 원격 제어와 관련된 정보(또는 신호)를 전송할 수 있다(원격 제어와 관련된 정보 전송 단계, S26).
한편, 앞서 자율주행 가능 차량(1000)과 5G 네트워크의 초기 접속 과정 및/또는 임의 접속 과정 및 하향링크 그랜트 수신 과정이 결합된 절차를 예시적으로 설명하였지만, 본 발명은 이에 한정되지 않는다.
예를 들어, 초기 접속 단계, UL 그랜트 수신 단계, 특정 정보 전송 단계, 차량의 원격 제어 여부 결정 단계 및 원격 제어와 관련된 정보 전송 단계를 통해 초기 접속 과정 및/또는 임의접속 과정을 수행할 수 있다. 또한, 예를 들어 임의 접속 단계, UL 그랜트 수신 단계, 특정 정보 전송 단계, 차량의 원격 제어 여부 결정 단계, 원격 제어와 관련된 정보 전송 단계를 통해 초기접속 과정 및/또는 임의 접속 과정을 수행할 수 있다. 또한, 특정 정보 전송 단계, 차량의 원격 제어 여부 결정 단계, DL 그랜트 수신 단계, 원격 제어와 관련된 정보 전송 단계를 통해, AI 동작과 DL 그랜트 수신 과정을 결합한 방식으로 자율주행 가능 차량(1000)의 제어가 이루어질 수 있다.
또한, 앞서 기술한 자율주행 가능 차량(1000)의 동작은 예시적인 것이 불과하므로, 본 발명은 이에 한정되지 않는다.
예를 들어, 자율주행 가능 차량(1000)의 동작은, 초기 접속 단계, 임의 접속 단계, UL 그랜트 수신 단계 또는 DL 그랜트 수신 단계가, 특정 정보 전송 단계 또는 원격 제어와 관련된 정보 전송 단계와 선택적으로 결합되어 동작할 수 있다. 아울러, 자율주행 가능 차량(1000)의 동작은, 임의 접속 단계, UL 그랜트 수신 단계, 특정 정보 전송 단계 및 원격 제어와 관련된 정보 전송 단계로 구성될 수도 있다. 한편, 자율주행 가능 차량(1000)의 동작은, 초기 접속 단계, 임의 접속 단계, 특정 정보 전송 단계 및 원격 제어와 관련된 정보 전송 단계로 구성될 수 있다. 또한, 자율주행 가능 차량(1000)의 동작은, UL 그랜트 수신 단계, 특정 정보 전송 단계, DL 그랜트 수신 단계 및 원격 제어와 관련된 정보 전송 단계로 구성될 수 있다.
도 7에 도시된 바와 같이, 자율주행 모듈을 포함하는 차량(1000)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB(Synchronization Signal Block)에 기초하여 5G 네트워크와 초기 접속 절차를 수행할 수 있다(초기 접속 단계, S30).
또한, 자율주행 가능 차량(1000)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행할 수 있다(임의 접속 단계, S31).
한편, 자율주행 가능 차량(1000)은 특정 정보를 전송하기 위해 5G 네트워크로부터 UL 그랜트를 수신할 수 있다(UL 그랜트 수신 단계, S32).
또한, 자율주행 가능 차량(1000)은 UL 그랜트에 기초하여 특정 정보를 5G 네트워크로 전송한다(특정 정보 전송 단계, S33).
또한, 자율주행 가능 차량(1000)은 특정 정보에 대한 응답을 수신하기 위한 DL 그랜트를 5G 네트워크로부터 수신한다(DL 그랜트 수신 단계, S34).
또한, 자율주행 가능 차량(1000)은 원격 제어와 관련된 정보(또는 신호)를 DL 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S35).
초기 접속 단계에 빔 관리(Beam Management, BM) 과정이 추가될 수 있으며, 임의 접속 단계에 PRACH(Physical Random Access CHannel) 전송과 관련된 빔 실패 복구(Beam failure recovery) 과정이 추가될 수 있으며, UL 그랜트 수신 단계에 UL 그랜트를 포함하는 PDCCH(Physical Downlink Control CHannel)의 빔 수신 방향과 관련하여 QCL(Quasi Co-Located) 관계가 추가될 수 있으며, 특정 정보 전송 단계에 특정 정보를 포함하는 PUCCH/PUSCH(Physical Uplink Shared CHannel)의 빔 전송 방향과 관련하여 QCL 관계가 추가될 수 있다. 또한, DL 그랜트 수신 단계에 DL 그랜트를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계가 추가될 수 있다.
도 8에 도시된 바와 같이, 자율주행 가능 차량(1000)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(초기 접속 단계, S40).
또한, 자율주행 가능 차량(1000)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(임의 접속 단계, S41).
또한, 자율주행 가능 차량(1000)은 설정된 그랜트(Configured grant)에 기초하여 특정 정보를 5G 네트워크로 전송한다(UL 그랜트 수신 단계, S42). 즉, 상기 5G 네트워크로부터 UL 그랜트를 수신하는 과정 대신, 설정된 그랜트를 수신할 수 있다.
또한, 자율주행 가능 차량(1000)은 원격 제어와 관련된 정보(또는 신호)를 설정 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S43).
도 9에 도시된 바와 같이, 자율주행 가능 차량(1000)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행할 수 있다(초기 접속 단계, S50).
또한, 자율주행 가능 차량(1000)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(임의 접속 단계, S51).
또한, 자율주행 가능 차량(1000)은 5G 네트워크로부터 DL 선점(Downlink Preemption) IE(Information Element)를 수신한다(DL 선점 IE 수신, S52).
또한, 자율주행 가능 차량(1000)은 DL 선점 IE에 기초하여 선점 지시를 포함하는 DCI(Downlink Control Information) 포맷 2_1을 5G 네트워크로부터 수신한다(DCI 포맷 2_1 수신 단계, S53).
또한, 자율주행 가능 차량(1000)은 선점 지시(Pre-emption indication)에 의해 지시된 자원(PRB 및/또는 OFDM 심볼)에서 eMBB 데이터의 수신을 수행(또는 기대 또는 가정)하지 않는다(eMBB 데이터의 수신 미수행 단계, S54).
또한, 자율주행 가능 차량(1000)은 특정 정보를 전송하기 위해 5G 네트워크로 UL 그랜트를 수신한다(UL 그랜트 수신 단계, S55).
또한, 자율주행 가능 차량(1000)은 UL 그랜트에 기초하여 특정 정보를 5G 네트워크로 전송한다(특정 정보 전송 단계, S56).
또한, 자율주행 가능 차량(1000)은 특정 정보에 대한 응답을 수신하기 위한 DL 그랜트를 5G 네트워크로부터 수신한다(DL 그랜트 수신 단계, S57).
또한, 자율주행 가능 차량(1000)은 원격제어와 관련된 정보(또는 신호)를 DL 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S58).
도 10에 도시된 바에 의하면, 자율주행 가능 차량(1000)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(초기 접속 단계, S60).
또한, 자율주행 가능 차량(1000)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(임의 접속 단계, S61).
또한, 자율주행 가능 차량(1000)은 특정 정보를 전송하기 위해 5G 네트워크로 UL 그랜트를 수신한다(UL 그랜트 수신 단계, S62).
UL 그랜트는 특정 정보의 전송이 반복적으로 이루어지는 경우, 그 반복 횟수에 대한 정보를 포함하고, 특정 정보는 반복 횟수에 대한 정보에 기초하여 반복하여 전송된다(특정 정보 반복 전송 단계, S63).
또한, 자율주행 가능 차량(1000)은 UL 그랜트에 기초하여 특정 정보를 5G 네트워크로 전송한다.
또한, 특정 정보의 반복 전송은 주파수 호핑을 통해 수행되고, 첫 번째 특정 정보의 전송은 제 1 주파수 자원에서, 두 번째 특정 정보의 전송은 제 2 주파수 자원에서 전송될 수 있다.
특정 정보는 6RB(Resource Block) 또는 1RB(Resource Block)의 협대역(Narrowband)을 통해 전송될 수 있다.
또한, 자율주행 가능 차량(1000)은 특정 정보에 대한 응답을 수신하기 위한 DL 그랜트를 5G 네트워크로부터 수신한다(DL 그랜트 수신 단계, S64).
또한, 자율주행 가능 차량(1000)은 원격제어와 관련된 정보(또는 신호)를 DL 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S65).
앞서 기술한 5G 통신 기술은 도 1 내지 도 13f에서 후술할 본 명세서에서 제안하는 실시예와 결합되어 적용될 수 있으며, 또는 본 명세서에서 제안하는 실시예의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다.
차량(1000)은 통신망을 통해 외부 서버에 연결되고, 자율주행 기술을 이용하여 운전자 개입 없이 미리 설정된 경로를 따라 이동 가능하다.
이하의 실시예에서, 사용자는 운전자, 탑승자 또는 사용자 단말기의 소유자로 해석될 수 있다.
차량(1000)이 자율주행 모드로 주행 중인 경우에, 주변 위험 요소들을 실시간 센싱하는 능력에 따라 사고 발생 유형 및 빈도가 크게 달라질 수 있다. 목적지까지의 경로는 날씨, 지형 특성, 교통 혼잡도 등 다양한 원인에 의해 위험 수준이 서로 다른 구간들을 포함할 수 있다.
본 발명의 자율주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Inteligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.
예를 들어, 차량(1000)은 자율주행 중에 차량(1000)에 포함된 적어도 하나의 인공지능 모듈, 로봇과 연계되어 동작할 수 있다.
예를 들어, 차량(1000)은, 적어도 하나의 로봇(robot)과 상호 작용할 수 있다. 로봇은, 자력으로 주행이 가능한 이동 로봇(Autonomous Mobile Robot, AMR)일 수 있다. 이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행 중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다. 이동 로봇은, 비행 장치를 구비하는 비행형 로봇(예를 들면, 드론)일 수 있다. 이동 로봇은, 적어도 하나의 바퀴를 구비하고, 바퀴의 회전을 통해 이동되는 바퀴형 로봇일 수 있다. 이동 로봇은, 적어도 하나의 다리를 구비하고, 다리를 이용해 이동되는 다리식 로봇일 수 있다.
로봇은 차량 사용자의 편의를 보완하는 장치로 기능할 수 있다. 예를 들면, 로봇은, 차량(1000)에 적재된 짐을 사용자의 최종 목적지까지 이동하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량(1000)에서 하차한 사용자에게 최종 목적지까지 길을 안내하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량(1000)에서 하차한 사용자를 최종 목적지까지 수송하는 기능을 수행할 수 있다.
차량(1000)에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 로봇과 통신을 수행할 수 있다.
차량(1000)에 포함되는 적어도 하나의 전자 장치는, 로봇에 차량에 포함되는 적어도 하나의 전자 장치에서 처리한 데이터를 제공할 수 있다. 예를 들면, 차량(1000)에 포함되는 적어도 하나의 전자 장치는, 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, HD 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 적어도 어느 하나를 로봇에 제공할 수 있다.
차량(1000)에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터, 로봇에서 처리된 데이터를 수신할 수 있다. 차량(1000)에 포함되는 적어도 하나의 전자 장치는, 로봇에서 생성된 센싱 데이터, 오브젝트 데이터, 로봇 상태 데이터, 로봇 위치 데이터 및 로봇의 이동 플랜 데이터 중 적어도 어느 하나를 수신할 수 있다.
차량(1000)에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터 수신된 데이터에 더 기초하여, 제어 신호를 생성할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 오브젝트 검출 장치에 생성된 오브젝트에 대한 정보와 로봇에 의해 생성된 오브젝트에 대한 정보를 비교하고, 비교 결과에 기초하여, 제어 신호를 생성할 수 있다. 차량(1000)에 포함되는 적어도 하나의 전자 장치는, 차량의 이동 경로와 로봇의 이동 경로간의 간섭이 발생되지 않도록, 제어 신호를 생성할 수 있다.
차량(1000)에 포함되는 적어도 하나의 전자 장치는, 인공 지능(artificial intelligence, AI)을 구현하는 소프트웨어 모듈 또는 하드웨어 모듈(이하, 인공 지능 모듈)을 포함할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 획득되는 데이터를 인공 지능 모듈에 입력(input)하고, 인공 지능 모듈에서 출력(output)되는 데이터를 이용할 수 있다.
인공 지능 모듈은, 적어도 하나의 인공 신경망(artificial neural network, ANN)을 이용하여, 입력되는 데이터에 대한 기계 학습(machine learning)을 수행할 수 있다. 인공 지능 모듈은, 입력되는 데이터에 대한 기계 학습을 통해, 드라이빙 플랜 데이터를 출력할 수 있다.
차량(1000)에 포함되는 적어도 하나의 전자 장치는, 인공 지능 모듈에서 출력되는 데이터에 기초하여, 제어 신호를 생성할 수 있다.
실시예에 따라, 차량(1000)에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 외부 장치로부터, 인공 지능에 의해 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능에 의해 처리된 데이터에 기초하여, 제어 신호를 생성할 수 있다.
차량 제어부(1200)는, 홈 정보 취합 모듈, 가전 식별 모듈 및 가상 홈 구현 모듈을 포함할 수 있다.
차량 제어부(1200)는, 차량 통신부(1100)를 통하여 서버(2000)의 제어 신호를 수신하고, 제어 신호에 따라 자율주행 모드 운행을 제어할 수 있다.
차량 제어부(1200)는, 차량 사용자 인터페이스부(1300)를 통하여 홈 내 설치된 가전 기기의 동작을 제어하는 가상 홈 인터페이스를 제공할 수 있다.
차량 제어부(1200)의 홈 정보 취합 모듈은, 가전 기기의 사용자 식별 정보에 기초하여 차량 통신부(1100)를 통해 외부 서버(3000)가 제공하는 홈의 설계 도면을 획득하고, 설계 도면을 변환하여 3차원 도면을 획득할 수 있다.
차량 제어부(1200)의 홈 정보 취합 모듈은, 선 처리 방식, 면 처리 방식 및 구체 처리 방식에 따라 2차원인 설계 도면을 3차원 도면으로 변환할 수 있다.
이때, 선 처리 방식은 점을 연결하는 선분으로 표현하고, 면 처리 방식은 선분을 연결하여 면으로 표현하고, 구체 처리 방식은 면을 연결하여 구체로 표현한다.
이때, 구체 처리 방식은, 구조적입체기하학(CGS : Constructive Solid Geometry), 경계표현(B-Rep : Boundary Representation) 및 셀분해(Cell-Decomposition) 방식을 포함한다. 구조적입체기하학(CGS)은 미리 정의된 기본체(육면체, 원추, 원통, 구 등)를 사용하여 위치를 지정하면서 집합(합, 공통, 부분집합) 개념을 이용하여 구체를 만든다. 경계표현은 선과 면을 사용하여 구체를 형성하도록 한다. 또한, 셀분해 방식은 복잡한 형태의 구조물을 각기 다른 특성을 지닌 부분(정육각형, 삼각기둥, 블록 등)으로 연속적으로 분해하여 이들의 집합으로 표현한다.
차량 제어부(1200)의 홈 정보 취합 모듈은, 가전 기기의 판매 시 등록된 주소를 사용자 식별 정보로 이용하여 사용자 홈의 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 설계 도면 요청 신호를 차량 통신부(1100)를 통하여 외부 서버(3000) 중 부동산 중개업체 서버로 송신할 수 있다. 특히, 사용자의 홈이 아파트인 경우에, 주소 정보를 이용하면 부동산 중개업체 서버로부터 사용자가 거주하는 아파트명, 동호수에 대응하는 해당 평형의 설계 도면을 제공받을 수 있다.
차량 제어부(1200)의 홈 정보 취합 모듈은, 가전 기기의 판매 시 등록된 주소를 사용자 식별 정보로 이용하여 사용자 홈의 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 설계 도면 요청 신호를 차량 통신부(1100)를 통하여 외부 서버(3000) 중 부동산 건설업체 서버로 송신할 수 있다. 특히, 사용자의 홈이 대형 건설업체가 분양한 주택인 경우에, 주소 정보를 이용하면 부동산 건설업체 서버로부터 사용자가 분양 받은 주택에 대응하는 설계 도면을 제공받을 수 있다.
차량 제어부(1200)의 가전 식별 모듈은, 차량 통신부(1100)를 통하여 홈의 내부 영상 및 SLAM 정보를 획득하고, 내부 영상 및 SLAM 정보에 기초하여 가전 기기의 위치 및 상태를 식별할 수 있다.
이때, 차량 제어부(1200)의 가전 식별 모듈은, SLAM 정보를 이용하여 홈 정보 취합 모듈에 의해 생성된 3차원 도면을 보완할 수 있다.
차량 제어부(1200)의 가전 식별 모듈은, 차량 사용자 인터페이스부(1300)를 통하여 추가 가전 기기 정보를 획득함에 따라 추가 가전 기기의 고유 특성을 판단하며, 고유 특성에 기초하여 로봇 청소기가 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 정의하고, 차량 통신부(1100)를 통하여 갱신 내부 영상 및 갱신 SLAM 정보를 획득하고, 획득된 갱신 내부 영상 및 갱신 SLAM 정보에 기초하여 추가 가전 기기의 위치 및 상태를 식별할 수 있다.
예를 들면, 차량 제어부(1200)의 가전 식별 모듈은, 차량 사용자 인터페이스부(1300)를 통하여 입력된 추가 가전 기기가 세탁기인 경우, 세탁기의 고유 특성에 따라 배치될 가능성이 높은 장소, 예를 들면, 다용도실에 대해서만 로봇 청소기(4000)를 구동하여 획득된 내부 영상 및 SLAM 정보를 세탁기의 위치 및 상태 식별에 사용할 수 있다. 한편, 차량 제어부(1200)의 가전 식별 모듈은, 위와 같은 경우에 세탁기가 배치될 가능성이 낮은 장소, 예를 들면 침실을 제외하고 나머지 공간에 대해서만 로봇 청소기(4000)를 구동하여 획득된 내부 영상 및 SLAM 정보를 세탁기의 위치 및 상태 식별에 사용할 수 있다.
차량 제어부(1200)의 가전 식별 모듈은, 차량 사용자 인터페이스부(1300)를 통하여 입력된 영역 지정 신호에 기초하여 로봇 청소기(4000)가 홈 내 갱신 내부 영상 및 SLAM 정보를 획득할 영역을 정의하고, 차량 통신부(1100)를 통하여 갱신 내부 영상 및 갱신 SLAM 정보를 획득하고, 획득된 갱신 내부 영상 및 갱신 SLAM 정보에 기초하여 추가 가전 기기의 위치 및 상태를 식별할 수 있다.
차량 제어부(1200)의 가전 식별 모듈은, 사용자가 차량 사용자 인터페이스부(1300)를 통하여 갱신이 필요한 공간, 예를 들면, 침실 2곳 및 거실을 지정하면, 로봇 청소기(4000)는 지정된 공간에 대해서만 내부 영상 및 SLAM 정보를 획득하므로 로봇 청소기(4000) 작동에 소요되는 시간이 절감될 수 있고, 이에 따라, 홈 내 전체에 대하여 내부 영상 및 SLAM 정보를 획득하는 것에 비교하여 빠른 시간 내에 추가 가전 기기의 위치 및 상태를 식별할 수 있다.
차량 제어부(1200)의 가상 홈 구현 모듈은, 홈 정보 취합 모듈에서 생성한 3차원 도면에 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 생성할 수 있다. 여기서, 가상 홈 정보는, 차량 사용자 인터페이스부(1300)를 통하여 제공되는 가상 홈 인터페이스 지원을 위한 데이터로 제공될 수 있다.
차량 제어부(1200)의 가상 홈 구현 모듈은, 가전 식별 모듈에서 사용자가 지정한 영역 또는 추가 가전 기기의 고유 특성에 기초하여 식별된 추가 가전 기기의 위치 및 상태를 3차원 도면에 반영함으로써 가상 홈 정보를 갱신할 수 있다.
차량 제어부(1200)는, 차량 사용자 인터페이스부(1300)로부터 음성 인식에 의해 입력 신호, 특히, 홈 내 배치된 가전 기기를 제어하는 입력 신호, 예를 들면, "TV 꺼줘", "냉장고 닫아줘"와 같은 음성 명령을 제공받으면, 음성 명령에 대응하는 기기, 예를 들면, 전원 오프될 TV 또는 냉장고 문을 닫는 동작을 수행할 로봇 청소기(4000)를 제어하는 신호를 생성하고, 생성된 제어 신호를 차량 통신부(1100)를 통하여 송신할 수 있다.
차량 제어부(1200)는, 차량 사용자 인터페이스부(1300)로부터 음성 인식에 의해 가상 홈 어플리케이션 구동을 위한 입력 신호, "우리집 제어"와 같은 음성 명령을 제공받으면, 차량 저장부(1900)에 저장된 홈 내 배치된 가전 기기를 제어할 수 있는 애플리케이션인 가상 홈 어플리케이션을 활성화할 수 있다.
차량 제어부(1200)는, 차량 사용자 인터페이스부(1300)로부터 투명 디스플레이의 홈 내 가전 기기가 표시된 영역의 터치 검출에 의해 획득된 가전 기기를 제어하는 입력 신호를 제공받으면, 입력 신호에 대응하는 기기를 제어하는 신호를 생성하고, 생성된 제어 신호를 차량 통신부(1100)를 통하여 송신할 수 있다.
차량 제어부(1200)는, ASICs (Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(Processors), 제어기(Controllers), 마이크로 컨트롤러(Micro-controllers), 마이크로 프로세서(Microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
차량 사용자 인터페이스부(1300)는, 차량(1000)과 차량 이용자와의 소통을 위한 것으로, 이용자의 입력 신호를 수신하고, 수신된 입력 신호를 차량 제어부(1200)로 전달하며, 차량 제어부(1200)의 제어에 의해 이용자에게 차량(1000)이 보유하는 정보를 제공할 수 있다. 차량 사용자 인터페이스부(1300)는, 입력 모듈, 내부 카메라, 생체 감지 모듈 및 출력 모듈을 포함할 수 있으나 이에 한정되지 않는다.
차량 사용자 인터페이스부(1300)는, 차량 내에서 사용자가 실제로 홈 내에 머무는 것과 같은 경험을 제공하는 동시에 홈 내 가전 기기를 제어할 수 있도록 하는 가상 홈 인터페이스를 제공할 수 있다.
차량 사용자 인터페이스부(1300)는, 사용자로부터 가상 홈 애플리케이션에서 제공하는 인터페이스 또는 별도의 인터페이스를 통하여 홈 내 사용자가 새로 구입한 가전 기기 등과 같은 추가 가전 기기 정보를 입력받을 수 있다.
차량 사용자 인터페이스부(1300)는, 사용자로부터 가상 홈 애플리케이션에서 제공하는 인터페이스 또는 별도의 인터페이스를 통하여 로봇 청소기(4000)가 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역, 예를 들면, 침실, 거실 등을 지정하는 영역 지정 신호를 입력받을 수 있다.
입력 모듈은, 사용자로부터 정보를 입력 받기 위한 것으로, 입력 모듈에서 수집한 데이터는, 차량 제어부(1200)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력 모듈은, 마이크를 구비하고, 음성 인식에 의해 입력 신호, 특히, 홈 내 배치된 가전 기기를 제어하는 입력 신호, 예를 들면, "TV 꺼줘", "냉장고 닫아줘"와 같은 음성 명령을 입력받아 차량 제어부(1200)에 제공할 수 있다.
입력 모듈은, 사용자로부터 가상 홈 어플리케이션 구동을 위한 입력 신호, 예를 들면, "우리집 제어"와 같은 음성 명령을 입력받아 차량 제어부(1200)에 제공할 수 있다.
입력 모듈은, 사용자로부터 차량(1000)의 목적지를 입력받아 차량 제어부(1200)로 제공할 수 있다.
입력 모듈은, 사용자의 입력에 따라 오브젝트 검출부(1400)의 복수개의 센서 모듈 중 적어도 하나의 센서 모듈을 지정하여 비활성화하는 신호를 차량 제어부(1200)로 입력할 수 있다.
입력 모듈은, 차량 내부에 배치될 수 있다. 예를 들면, 입력 모듈은, 스티어링 휠(Steering wheel)의 일 영역, 인스투루먼트 패널(Instrument panel)의 일 영역, 시트(Seat)의 일 영역, 각 필러(Pillar)의 일 영역, 도어(Door)의 일 영역, 센타 콘솔(Center console)의 일 영역, 헤드 라이닝(Head lining)의 일 영역, 썬바이저(Sun visor)의 일 영역, 윈드 쉴드(Windshield)의 일 영역 또는 창문(Window)의 일 영역 등에 배치될 수 있다.
출력 모듈은, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력 모듈은, 음향 또는 이미지를 출력할 수 있다.
출력 모듈은, 디스플레이 모듈, 음향 출력 모듈 및 햅틱 출력 모듈 중 적어도 어느 하나를 포함할 수 있다.
디스플레이 모듈은, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이 모듈은 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉서블 디스플레이(Flexible display), 삼차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이 모듈은 터치 입력 모듈과 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이 모듈은 HUD(Head Up Display)로 구현될 수 있다. 디스플레이 모듈이 HUD로 구현되는 경우, 디스플레이 모듈은 투사 모듈을 구비하여 윈드 쉴드 또는 창문에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이 모듈은, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 창문에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
차량 사용자 인터페이스부(1300)는, 투명 디스플레이와 터치 입력 모듈을 포함하는 터치 스크린으로 구현되는 경우, 투명 디스플레이의 홈 내 가전 기기가 표시된 영역의 터치 검출에 의해 가전 기기를 제어하는 입력 신호를 획득하고, 획득된 입력 신호를 차량 제어부(1200)에 제공할 수 있다. 이때, 사용자가 차량 사용자 인터페이스부(1300)의 터치를 통하여 가전 기기를 제어하는 입력 신호를 입력하는 방식은, 터치의 횟수에 따라 명령을 대응 시키는 방식, 예를 들면, 한번 터치는 턴 오프, 두번 터치는 턴 온, 세번 터치는 기기 도어 닫기, 네번 터치는 기기 도어 열기와 같은 방식일 수 있다.
차량 사용자 인터페이스부(1300)는, 복수개의 디스플레이 모듈을 포함할 수 있다.
디스플레이 모듈은, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역, 시트의 일 영역, 각 필러의 일 영역, 도어의 일 영역, 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬 바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역, 창문의 일영역에 구현될 수 있다.
음향 출력 모듈은, 차량 제어부(1200)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 음향 출력 모듈은, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력 모듈은, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력 모듈은, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
오브젝트 검출부(1400)는, 차량(1000) 외부에 위치하는 오브젝트를 검출하기 위한 것으로, 센싱 데이터에 기초하여 오브젝트 정보를 생성하고, 생성된 오브젝트 정보를 차량 제어부(1200)로 전달할 수 있다. 이때, 오브젝트는 차량(1000)의 운행과 관련된 다양한 물체, 예를 들면, 차선, 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
오브젝트 검출부(1400)는, 복수개의 센서 모듈로서, 복수개의 촬상부로서의 카메라 모듈(1410a, 1410b, 1410c, 1410d), 라이다(LIDAR: Light Imaging Detection and Ranging), 초음파 센서, 레이다(RADAR: Radio Detection and Ranging)(1450) 및 적외선 센서를 포함할 수 있다.
오브젝트 검출부(1400)는, 복수개의 센서 모듈을 통하여 차량(1000) 주변의 환경 정보를 센싱할 수 있다.
실시예에 따라, 오브젝트 검출부(1400)는, 설명되는 구성 요소 외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
레이다는, 전자파 송신 모듈, 수신 모듈을 포함할 수 있다. 레이다는 전파 발사 원리상 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keying) 방식으로 구현될 수 있다.
레이다는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다는, 레이저 송신 모듈, 수신 모듈을 포함할 수 있다. 라이다는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다는, 모터에 의해 회전되며, 차량(1000) 주변의 오브젝트를 검출할 수 있고, 비구동식으로 구현되는 경우, 라이다는, 광 스티어링에 의해, 차량(1000)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(1000)은 복수개의 비구동식 라이다를 포함할 수 있다.
라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
촬상부는, 차량 외부 이미지를 획득하기 위해, 차량의 외부의 적절한 곳, 예를 들면, 차량의 전방, 후방, 우측 사이드 미러, 좌측 사이드 미러에 위치할 수 있다. 촬상부는, 모노 카메라일 수 있으나, 이에 한정되지 않으며, 스테레오 카메라, AVM(Around View Monitoring) 카메라 또는 360도 카메라일 수 있다.
촬상부는, 차량 전방의 이미지를 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 촬상부는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
촬상부는, 차량 후방의 이미지를 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 촬상부는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
촬상부는, 차량 측방의 이미지를 획득하기 위해, 차량의 실내에서 사이드 창문 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또한, 촬상부는 휀더 또는 도어 주변에 배치될 수 있다.
촬상부는, 획득된 이미지를 차량 제어부(1200)의 깊이 추정부(1210)에 제공할 수 있다.
초음파 센서는, 초음파 송신 모듈, 수신 모듈을 포함할 수 있다. 초음파 센서는, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서는, 적외선 송신 모듈, 수신 모듈을 포함할 수 있다. 적외선 센서는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
차량 제어부(1200)는, 오브젝트 검출부(1400)의 각 모듈의 전반적인 동작을 제어할 수 있다.
차량 제어부(1200)는, 레이다, 라이다, 초음파 센서 및 적외선 센서에 의해 센싱된 데이터와 기 저장된 데이터를 비교하여, 오브젝트를 검출하거나 분류할 수 있다.
차량 제어부(1200)는, 획득된 이미지에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 차량 제어부(1200)는, 이미지 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
예를 들면, 차량 제어부(1200)는, 획득된 이미지에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
예를 들면, 차량 제어부(1200)는, 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
차량 제어부(1200)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 차량 제어부(1200)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
차량 제어부(1200)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 차량 제어부(1200)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
차량 제어부(1200)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 차량 제어부(1200)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
차량 제어부(1200)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 차량 제어부(1200)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출부(1400)는, 차량 제어부(1200)와 별도의 프로세서를 내부에 포함할 수 있다. 또한, 레이다, 라이다, 초음파 센서 및 적외선 센서 각각 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출부(1400)에 프로세서가 포함된 경우, 오브젝트 검출부(1400)는, 차량 제어부(1200)의 제어를 받는 프로세서의 제어에 따라, 동작될 수 있다.
운전 조작부(1500)는, 운전을 위한 사용자 입력을 수신할 수 있다. 메뉴얼 모드인 경우, 차량(1000)은, 운전 조작부(1500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
차량 구동부(1600)는, 차량(1000)내 각종 장치의 구동을 전기적으로 제어할 수 있다. 차량 구동부(1600)는, 차량(1000)내 파워 트레인, 샤시, 도어/창문, 안전 장치, 램프 및 공조기의 구동을 전기적으로 제어할 수 있다.
운행부(1700)는, 차량(1000)의 각종 운행을 제어할 수 있다. 운행부(1700)는, 자율주행 모드에서 동작될 수 있다.
운행부(1700)는, 주행 모듈, 출차 모듈 및 주차 모듈을 포함할 수 있다.
실시예에 따라, 운행부(1700)는, 설명되는 구성 요소 외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
운행부(1700)는, 차량 제어부(1200)의 제어를 받는 프로세서를 포함할 수 있다. 운행부(1700)의 각 모듈은, 각각 개별적으로 프로세서를 포함할 수 있다.
실시예에 따라, 운행부(1700)가 소프트웨어적으로 구현되는 경우, 차량 제어부(1200)의 하위 개념일 수도 있다.
주행 모듈은, 차량(1000)의 주행을 수행할 수 있다.
주행 모듈은, 오브젝트 검출부(1400)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주행을 수행할 수 있다.
주행 모듈은, 차량 통신부(1100)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주행을 수행할 수 있다.
출차 모듈은, 차량(1000)의 출차를 수행할 수 있다.
출차 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 출차를 수행할 수 있다.
출차 모듈은, 오브젝트 검출부(1400)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 출차를 수행할 수 있다.
출차 모듈은, 차량 통신부(1100)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 출차를 수행할 수 있다.
주차 모듈은, 차량(1000)의 주차를 수행할 수 있다.
주차 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주차를 수행할 수 있다.
주차 모듈은, 오브젝트 검출부(1400)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주차를 수행할 수 있다.
주차 모듈은, 차량 통신부(1100)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주차를 수행할 수 있다.
내비게이션 모듈은, 차량 제어부(1200)에 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 모듈은, 차량(1000)이 진입한 주차장의 주차장 지도를 차량 제어부(1200)에 제공할 수 있다. 차량 제어부(1200)는, 차량(1000)이 주차장에 진입한 경우, 내비게이션 모듈로부터 주차장 지도를 제공받고, 산출된 이동 경로 및 고정 식별 정보를 제공된 주차장 지도에 투영하여 지도 데이터를 생성할 수 있다.
내비게이션 모듈은, 메모리를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 내비게이션 정보는 차량 통신부(1100)를 통해 수신된 정보에 의하여 갱신될 수 있다. 내비게이션 모듈은, 내장 프로세서에 의해 제어될 수도 있고, 외부 신호, 예를 들면, 차량 제어부(1200)로부터 제어 신호를 입력 받아 동작할 수 있으나 이에 한정되지 않는다.
운행부(1700)의 주행 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(1000)의 주행을 수행할 수 있다.
센싱부(1800)는, 차량(1000)에 장착된 센서를 이용하여 차량(1000)의 상태를 센싱, 즉, 차량(1000)의 상태에 관한 신호를 감지하고, 감지된 신호에 따라 차량(1000)의 이동 경로 정보를 획득할 수 있다. 센싱부(1800)는, 획득된 이동 경로 정보를 차량 제어부(1200)에 제공할 수 있다.
센싱부(1800)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(1800)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(1800)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(1800)는, 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다.
차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
차량 저장부(1900)는, 차량 제어부(1200)와 전기적으로 연결된다. 차량 저장부(1900)는 가상 홈 서비스 장치 각 부에 대한 기본 데이터, 가상 홈 서비스 장치 각 부의 동작 제어를 위한 제어 데이터, 입출력되는 데이터를 저장할 수 있다. 차량 저장부(1900)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 차량 저장부(1900)는 차량 제어부(1200)의 처리 또는 제어를 위한 프로그램 등, 차량(1000) 전반의 동작을 위한 다양한 데이터, 특히, 운전자 성향 정보를 저장할 수 있다. 이때, 차량 저장부(1900)는, 차량 제어부(1200)와 일체형으로 형성되거나, 차량 제어부(1200)의 하위 구성 요소로 구현될 수 있다.
도 3은 본 발명의 실시예에 따른 서버 측에 설치된 가상 홈 서비스 장치를 도시한 블록도이다.
도 3을 참조하면, 가상 홈 서비스 장치는 서버 통신부(2100), 서버 제어부(2200) 및 서버 저장부(2300)를 포함할 수 있다.
실시예에 따라 가상 홈 서비스 장치가 적용되는 서버(2000)는, 도 3에 도시되고 이하 설명되는 구성 요소 외에 다른 구성요소를 포함하거나, 도 3에 도시되고 이하 설명되는 구성요소 중 일부를 포함하지 않을 수 있다. 한편, 도 3에는 가상 홈 서비스 장치가 서버(2000)에 장착된 것을 가정하여 도시되어 있으나, 동일한 장치가 차량(1000)에 적용될 수 있다.
서버 통신부(2100)는, 차량(1000)에 대한 5G 네트워크의 하향 링크 그랜트에 기초하여 가상 홈 정보, 서버(3000)에서 제공하는 설계 도면, 로봇 청소기(4000)에서 획득한 내부 영상 및 SLAM 정보를 송신할 수 있다.
서버 통신부(2100)는, 사용자의 홈의 설계 도면을 포함하는 정보를 외부 서버(3000) 중 부동산 중개업체 서버 또는 부동산 건설업체 서버로부터 수신할 수 있다.
서버 제어부(2200)는, 홈 정보 취합 모듈, 가전 식별 모듈 및 가상 홈 구현 모듈을 포함할 수 있다.
서버 제어부(2200)의 홈 정보 취합 모듈은, 가전 기기의 사용자 식별 정보에 기초하여 서버 통신부(2100)를 통해 외부 서버(3000)가 제공하는 홈의 설계 도면을 획득하고, 설계 도면을 변환하여 3차원 도면을 획득할 수 있다.
서버 제어부(2200)의 홈 정보 취합 모듈은, 선 처리 방식, 면 처리 방식 및 구체 처리 방식에 따라 2차원인 설계 도면을 3차원 도면으로 변환할 수 있다.
이때, 선 처리 방식은 점을 연결하는 선분으로 표현하고, 면 처리 방식은 선분을 연결하여 면으로 표현하고, 구체 처리 방식은 면을 연결하여 구체로 표현한다.
이때, 구체 처리 방식은, 구조적입체기하학(CGS : Constructive Solid Geometry), 경계표현(B-Rep : Boundary Representation) 및 셀분해(Cell-Decomposition) 방식을 포함한다. 구조적입체기하학(CGS)은 미리 정의된 기본체(육면체, 원추, 원통, 구 등)를 사용하여 위치를 지정하면서 집합(합, 공통, 부분집합) 개념을 이용하여 구체를 만든다. 경계표현은 선과 면을 사용하여 구체를 형성하도록 한다. 또한, 셀분해 방식은 복잡한 형태의 구조물을 각기 다른 특성을 지닌 부분(정육각형, 삼각기둥, 블록 등)으로 연속적으로 분해하여 이들의 집합으로 표현한다.
서버 제어부(2200)의 홈 정보 취합 모듈은, 가전 기기의 판매 시 등록된 주소를 사용자 식별 정보로 이용하여 사용자 홈의 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 설계 도면 요청 신호를 서버 통신부(2100)를 통하여 외부 서버(3000) 중 부동산 중개업체 서버로 송신할 수 있다. 특히, 사용자의 홈이 아파트인 경우에, 주소 정보를 이용하면 부동산 중개업체 서버로부터 사용자가 거주하는 아파트명, 동호수에 대응하는 해당 평형의 설계 도면을 제공받을 수 있다.
서버 제어부(2200)의 홈 정보 취합 모듈은, 가전 기기의 판매 시 등록된 주소를 사용자 식별 정보로 이용하여 사용자 홈의 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 설계 도면 요청 신호를 서버 통신부(2100)를 통하여 외부 서버(3000) 중 부동산 건설업체 서버로 송신할 수 있다. 특히, 사용자의 홈이 대형 건설업체가 분양한 주택인 경우에, 주소 정보를 이용하면 부동산 건설업체 서버로부터 사용자가 분양받은 주택에 대응하는 설계 도면을 제공받을 수 있다.
서버 제어부(2200)의 가전 식별 모듈은, 서버 통신부(2100)를 통하여 홈의 내부 영상 및 SLAM 정보를 획득하고, 내부 영상 및 SLAM 정보에 기초하여 가전 기기의 위치 및 상태를 식별할 수 있다.
이때, 서버 제어부(2200)의 가전 식별 모듈은, SLAM 정보를 이용하여 홈 정보 취합 모듈에 의해 생성된 3차원 도면을 보완할 수 있다.
서버 제어부(2200)의 가전 식별 모듈은, 서버 통신부(2100)를 통하여 차량(1000)의 탑승자가 입력한 추가 가전 기기 정보를 획득함에 따라 추가 가전 기기의 고유 특성을 판단하며, 고유 특성에 기초하여 로봇 청소기(4000)가 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 정의하고, 서버 통신부(2100)를 통하여 갱신 내부 영상 및 갱신 SLAM 정보를 획득하고, 획득된 갱신 내부 영상 및 갱신 SLAM 정보에 기초하여 추가 가전 기기의 위치 및 상태를 식별할 수 있다.
예를 들면, 서버 제어부(2200)의 가전 식별 모듈은, 차량(1000)의 탑승자가 입력한 추가 가전 기기가 세탁기인 경우, 세탁기의 고유 특성에 따라 배치될 가능성이 높은 장소, 예를 들면, 다용도실에 대해서만 로봇 청소기(4000)를 구동하여 획득된 내부 영상 및 SLAM 정보를 세탁기의 위치 및 상태 식별에 사용할 수 있다. 한편, 서버 제어부(2200)의 가전 식별 모듈은, 위와 같은 경우에 세탁기가 배치될 가능성이 낮은 장소, 예를 들면 침실을 제외하고 나머지 공간에 대해서만 로봇 청소기(4000)를 구동하여 획득된 내부 영상 및 SLAM 정보를 세탁기의 위치 및 상태 식별에 사용할 수 있다.
서버 제어부(2200)의 가전 식별 모듈은, 서버 통신부(2100)를 통하여 제공된 차량(1000)의 탑승자가 입력한 영역 지정 신호에 기초하여 로봇 청소기(4000)가 홈 내 갱신 내부 영상 및 SLAM 정보를 획득할 영역을 정의하고, 서버 통신부(2100)를 통하여 갱신 내부 영상 및 갱신 SLAM 정보를 획득하고, 획득된 갱신 내부 영상 및 갱신 SLAM 정보에 기초하여 추가 가전 기기의 위치 및 상태를 식별할 수 있다.
서버 제어부(2200)의 가전 식별 모듈은, 차량(1000)의 탑승자가 갱신이 필요한 공간, 예를 들면, 침실 2곳 및 거실을 지정하면, 로봇 청소기(4000)는 서버 제어부(2200)가 생성한 제어 신호에 따라 지정된 공간에 대해서만 내부 영상 및 SLAM 정보를 획득하므로, 로봇 청소기(4000) 작동에 소요되는 시간이 절감될 수 있고, 이에 따라, 홈 내 전체에 대하여 내부 영상 및 SLAM 정보를 획득하는 것에 비교하여 빠른 시간 내에 추가 가전 기기의 위치 및 상태를 식별할 수 있다.
서버 제어부(2200)의 가상 홈 구현 모듈은, 홈 정보 취합 모듈에서 생성한 3차원 도면에 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 생성할 수 있다. 서버 제어부(2200)는, 생성된 가상 홈 정보를 서버 통신부(2100)를 통하여 차량(1000)에서 동작하는 가상 홈 인터페이스 지원을 위한 정보로서 제공할 수 있다.
서버 제어부(2200)의 가상 홈 구현 모듈은, 가전 식별 모듈에서 사용자가 지정한 영역 또는 추가 가전 기기의 고유 특성에 기초하여 식별된 추가 가전 기기의 위치 및 상태를 3차원 도면에 반영함으로써 가상 홈 정보를 갱신할 수 있다.
서버 제어부(2200)는, 서버 통신부(2100)를 통하여 차량(1000)의 탑승자가 발화한 음성 인식에 의한 입력 신호, 특히, 홈 내 배치된 가전 기기를 제어하는 입력 신호, 예를 들면, "TV 꺼줘", "냉장고 닫아줘"와 같은 음성 명령을 제공받으면, 음성 명령에 대응하는 기기, 예를 들면, 전원 오프될 TV 또는 냉장고 문을 닫는 동작을 수행할 로봇 청소기(4000)를 제어하는 신호를 생성하고, 생성된 제어 신호를 서버 통신부(2100)를 통하여 송신할 수 있다.
서버 제어부(2200)는, 서버 통신부(2100)를 통하여 차량(1000) 탑승자가 투명 디스플레이의 홈 내 가전 기기가 표시된 영역을 터치하는 방식에 의해 입력한 신호를 제공받으면, 입력 신호에 대응하는 기기를 제어하는 신호를 생성하고, 생성된 제어 신호를 서버 통신부(2100)를 통하여 송신할 수 있다.
서버 저장부(2300)는, 서버 통신부(2100)를 통하여 입력되는 설계 도면, 홈 내부 영상, SLAM 정보를 저장할 수 있다.
서버 저장부(2300)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 서버 저장부(2300)는 서버 제어부(2200)의 처리 또는 제어를 위한 프로그램 등, 서버(2000) 전반의 동작을 위한 다양한 데이터, 특히, 사용자 성향 정보를 저장할 수 있다. 이때, 서버 저장부(2300)는, 서버 제어부(2200)와 일체형으로 형성되거나, 서버 제어부(2200)의 하위 구성 요소로 구현될 수 있다.
도 4는 본 발명의 실시예에 따른 로봇 청소기 측에 설치된 가상 홈 서비스 장치를 도시한 블록도이다.
도 4를 참조하면, 가상 홈 서비스 장치는 기기 통신부(4100), 기기 제어부(4200), 기기 사용자 인터페이스부(4300), 촬상부(4400), SLAM 생성부(4500) 및 기기 저장부(4600)를 포함할 수 있다.
실시예에 따라 가상 홈 서비스 장치가 적용되는 로봇 청소기(4000)는, 도 4에 도시되고 이하 설명되는 구성 요소 외에 다른 구성요소를 포함하거나, 도 4에 도시되고 이하 설명되는 구성요소 중 일부를 포함하지 않을 수 있다.
기기 통신부(4100)는, 외부 장치와 통신을 수행하기 위한 모듈이다. 여기서, 외부 장치는, 차량(1000) 또는 서버(2000)일 수 있다.
기기 통신부(4100)는, 촬상부(4400) 및 SLAM 생성부(4500)에서 획득한 획득한 내부 영상 및 SLAM 정보를 차량(1000) 또는 서버(2000), 특히, 5G 네트워크의 하향 링크 그랜트에 기초하여 차량(1000)과 연결된 서버로 송신할 수 있다.
기기 제어부(4200)는, 기기 통신부(4100)를 통하여 내부 영상 및 SLAM 정보 획득을 위한 제어 신호를 입력받으면, 기기 저장부(4600)에 저장된 SLAM 정보를 활성화하고, 주행 엔진부(4300)를 제어하여 홈 내 청소를 수행하며, 촬상부(4400)를 제어하여 홈 내부 영상을 획득하고, 홈 내 청소를 완료함에 따라 SLAM 정보를 갱신할 수 있다.
기기 제어부(4200)는, 기기 통신부(4100)를 통하여 내부 영상 및 SLAM 정보를 차량(1000) 또는 서버(2000)에 송신할 수 있다. 여기서, SLAM 정보는 SLAM 생성부(4500)에 의해 작성된 지도에 대응하는 정보일 수 있다.
기기 제어부(4200)는, 차량 제어부(1200) 또는 서버 제어부(2200)의 가전 식별 모듈에 의해 정의된 영역에 한해 청소를 수행하고, 정의된 영역 내 청소를 완료함에 따라 생성된 갱신 내부 영상 및 갱신 SLAM 정보를 기기 통신부(4100)를 통하여 차량(1000) 또는 서버(2000)로 제공할 수 있다.
주행 엔진부(4300)는, 기기 제어부(4200)의 제어에 의해 소정의 경로로 로봇 청소기(4000)를 이동시킬 수 있다. 여기서, 소정의 경로는, 홈 내 가전 기기를 제어하기 위한 경로, 예를 들면, 냉장고 도어를 닫는 동작을 수행하기 위한 경로일 수 있다.
촬상부(4400)는, 기기 제어부(4200)의 제어에 의해 홈 내부 영상을 획득하고, 획득된 영상을 기기 제어부(4200)에 제공할 수 있다.
SLAM 생성부(4500)는, SLAM 기술을 통해 홈 내에서 로봇 청소기(4000)의 위치와 자세를 인식하고, 인식된 위치에 따라 지도를 작성하며, 작성된 지도를 기기 제어부(4200)에 제공할 수 있다.
기기 저장부(4600)는, SLAM 정보를 저장하고, 기기 제어부(4200)의 제어에 의해 저장된 SLAM 정보를 기기 제어부(4200)에 제공할 수 있다.
기기 저장부(4600)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 기기 저장부(4600)는 기기 제어부(4200)의 처리 또는 제어를 위한 프로그램 등, 로봇 청소기(4000) 전반의 동작을 위한 다양한 데이터, 특히, 사용자 성향 정보를 저장할 수 있다. 이때, 기기 저장부(4600)는, 기기 제어부(4200)와 일체형으로 형성되거나, 기기 제어부(4200)의 하위 구성 요소로 구현될 수 있다.
도 11 및 도 12는 발명의 실시예에 따른 가상 홈 서비스 방법을 도시한 동작흐름도이다.
도 13은 본 발명의 실시예에 따른 차량 측에 설치된 가상 홈 서비스 장치의 동작을 도시한 도면이다.
가상 홈 서비스 방법은 도 11 내지 도 13에 도시되고 이하 설명되는 구성 요소 외에 다른 단계를 포함하거나, 도 11 내지 도 13에 도시되고 이하 설명되는 단계 중 일부를 포함하지 않을 수 있다.
차량(1000) 또는 서버(2000)는 가전 기기의 사용자 식별 정보에 기초하여 부동산 중개업체 서버 또는 부동산 건설업체 서버와 같은 외부 서버(3000)로부터 홈의 설계 도면을 획득하고, 설계 도면을 변환하여 3차원 도면을 획득할 수 있다(S110).
차량(1000) 또는 서버(2000)는 로봇 청소기(4000)로부터 홈의 내부 영상 및 SLAM 정보를 획득하고, 내부 영상 및 SLAM 정보에 기초하여 가전 기기의 위치 및 상태를 식별할 수 있다(S120). 이때, 차량(1000) 또는 서버(2000)는 3차원 도면의 정밀도를 향상시키기 위하여 설계 도면 변환 시 로봇 청소기(4000)로부터 획득한 SLAM 정보를 반영할 수 있다.
차량(1000) 또는 서버(2000)는 3차원 도면에 가전 기기의 위치 및 상태를 반영, 즉, 3차원 도면에 식별된 가전 기기를 배치하여 가상 홈 정보 또는 데이터베이스를 생성할 수 있다(S130). 차량(1000) 또는 서버(2000)에서 생성된 가상 홈 정보 또는 데이터베이스는 차량(1000)에서 제공되는 가상 홈 인터페이스 지원을 위한 데이터로 제공될 수 있다.
도 12에 도시된 바에 의하면, 차량 제어부(1200)의 홈 정보 취합 모듈은, 가전 기기의 판매 시 등록된 주소를 이용하여 사용자를 식별할 수 있다(S1001).
제1 서버의 서버 제어부(2200)는, 차량(1000)으로부터 제공받은 사용자 식별 정보를 이용하여 사용자 홈의 설계 도면을 요청하는 설계 도면 요청 신호를 생성함과 아울러 로봇 청소기(4000)를 제어하는 제어 신호를 생성할 수 있다(S2001).
부동산 중개업체 서버 또는 부동산 건설업체 서버인 제2 서버(3000)는, 제1 서버(2000)의 설계 도면 요청 신호를 수신함에 따라, 해당 설계 도면을 제1 서버(2000)로 전송할 수 있다(S3001).
로봇 청소기(4000)의 기기 제어부(4200)는, 기기 통신부(4100)를 통하여 내부 영상 및 SLAM 정보 획득을 위한 제어 신호를 입력받으면, 기기 저장부(4600)에 저장된 SLAM 정보를 활성화하고(S4001), 주행 엔진부(4300)를 제어하여 홈 내 청소를 수행하며(S4002), 촬상부(4400)를 제어하여 홈 내부 영상을 획득하고(S4003), 홈 내 청소를 완료함에 따라 SLAM 정보를 갱신할 수 있다(S4004). 로봇 청소기(4000)는 해당 내부 영상 및 SLAM 정보를 제1 서버(2000)로 전송할 수 있다(S4005).
제1 서버(2000)는, 제2 서버(3000) 및 로봇 청소기(4000)로부터 설계 도면, 내부 영상, SLAM 정보 등을 수집할 수 있고(S2002), 수집된 정보를 이용하여 가상 홈 정보 또는 데이터베이스를 구현할 수 있다(S2003). 예를 들면, 제1 서버(2000)는, 설계 도면 및 SLAM 정보를 사용하여 3차원 홈 구조를 생성하고, 내부 영상을 인식하여 가전 기기의 상태를 식별하며, 식별된 가전 기기를 생성된 홈 구조 내에 배치함으로써 가상 홈 데이터베이스를 구축할 수 있다.
제1 서버(2000)에서 구현된 가상 홈 정보를 차량(1000)으로 전송되어 가상 홈 인터페이스를 지원하는 데이터로 사용될 수 있다(S1002).
차량(1000) 탑승자는, 가상 홈 인터페이스를 통하여 가전 기기를 제어하는 신호를 입력하고(S1003), 홈 내 가전 기기는 차량(1000) 탑승자가 입력한 신호에 의하여 동작할 수 있다(S5001).
도 13에 도시된 바와 같이, 로봇 청소기(4000)의 촬상부(4400), 예를 들면, 전방 카메라를 통하여 가전 기기를 포함하는 영상이 획득될 수 있고, 로봇 청소기(4000)가 청소 동작을 수행함에 따라 SLAM 정보가 획득될 수 있다.
가전 기기를 포함하는 영상은 차량(1000) 또는 서버(2000)에 제공되어 차량 제어부(1200) 또는 서버 제어부(2200)에 의해 가전 기기의 제품 인식 및 위치가 식별될 수 있다.
또한, 외부 서버(3000)인 부동산 중개업체 서버 또는 부동산 건설업체 서버는 사용자 홈의 설계 도면을 차량(1000) 또는 서버(2000)에 제공할 수 있다.
차량(2000)은, 외부 서버(3000) 및 로봇 청소기(4000)를 통하여 수집된 정보에 의해 생성된 가상 홈 정보를 제공받고, 제공받은 가상 홈 정보를 이용하여 창문에 부착된 투명 디스플레이를 통하여 실제 홈 내에서 경험할 수 있는 영상을 포함한 가상 홈 인터페이스를 제공할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
1000: 차량
1100: 차량 통신부
1200: 차량 제어부
1300: 차량 사용자 인터페이스부
1400: 오브젝트 검출부
1500: 운전 조작부
1600: 차량 구동부
1700: 운행부
1800: 센싱부
1900: 차량 저장부
2000: 서버
2100: 서버 통신부
2200: 서버 제어부
2300: 서버 저장부
3000: 중개업체, 건설업체 서버
4000: 로봇 청소기
4100: 기기 통신부
4200: 기기 제어부
4300: 주행 엔진부
4400: 촬상부
4500: SLAM 생성부
4600: 기기 저장부
1100: 차량 통신부
1200: 차량 제어부
1300: 차량 사용자 인터페이스부
1400: 오브젝트 검출부
1500: 운전 조작부
1600: 차량 구동부
1700: 운행부
1800: 센싱부
1900: 차량 저장부
2000: 서버
2100: 서버 통신부
2200: 서버 제어부
2300: 서버 저장부
3000: 중개업체, 건설업체 서버
4000: 로봇 청소기
4100: 기기 통신부
4200: 기기 제어부
4300: 주행 엔진부
4400: 촬상부
4500: SLAM 생성부
4600: 기기 저장부
Claims (19)
- 홈 내 설치된 가전 기기의 동작을 제어하는 가상 홈 인터페이스를 제공하는 차량 장치에 상기 가상 홈 인터페이스 지원을 위한 데이터를 제공하는 가상 홈 서비스 장치로서,
통신부;
상기 가전 기기의 사용자 식별 정보에 기초하여 상기 통신부를 통해 상기 홈의 설계 도면을 획득하고, 상기 설계 도면을 변환하여 3차원 도면을 획득하는 홈 정보 취합부;
상기 통신부를 통하여 홈의 내부 영상 및 SLAM 정보를 획득하고, 상기 내부 영상 및 상기 SLAM 정보에 기초하여 상기 가전 기기의 위치 및 상태를 식별하는 가전 식별부; 및
상기 3차원 도면에 상기 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 생성하는 가상 홈 구현부를 포함하고,
상기 가상 홈 정보는 상기 차량 장치에 상기 가상 홈 인터페이스 지원을 위한 데이터로 제공되는,
가상 홈 서비스 장치.
- 제1항에 있어서,
상기 홈 정보 취합부는, 상기 가전 기기의 판매 시 등록된 주소를 상기 사용자 식별 정보로 이용하여 상기 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 상기 설계 도면 요청 신호를 상기 통신부를 통하여 부동산 중개업체 서버로 송신하며,
상기 통신부는, 상기 설계 도면을 포함하는 정보를 상기 부동산 중개업체 서버로부터 수신하는,
가상 홈 서비스 장치.
- 제1항에 있어서,
상기 홈 정보 취합부는, 상기 가전 기기의 판매 시 등록된 주소를 상기 사용자 식별 정보로 이용하여 상기 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 상기 설계 도면 요청 신호를 상기 통신부를 통하여 부동산 건설업체 서버로 송신하며,
상기 통신부는, 상기 설계 도면을 포함하는 정보를 상기 부동산 건설업체 서버로부터 수신하는,
가상 홈 서비스 장치.
- 제1항에 있어서,
상기 통신부는, 상기 차량 장치가 설치된 차량을 자율주행 모드로 운행하기 위해 연결된 5G 네트워크의 하향 링크 그랜트에 기초하여 상기 내부 영상 및 상기 SLAM 정보를 수신하고,
상기 내부 영상 및 상기 SLAM 정보는 5G 네트워크에 연결된 상기 홈 내에 배치되는 로봇 청소기로부터 제공되는,
가상 홈 서비스 장치.
- 제4항에 있어서,
상기 가상 홈 인터페이스를 제공하는 사용자 인터페이스부를 더 포함하고,
상기 사용자 인터페이스부는, 차량 창문에 부착된 투명 디스플레이를 포함하는,
가상 홈 서비스 장치.
- 제5항에 있어서,
상기 사용자 인터페이스부는, 음성 인식에 의해 상기 가전 기기를 제어하는 입력 신호를 획득하는,
가상 홈 서비스 장치.
- 제5항에 있어서,
상기 사용자 인터페이스부는, 상기 투명 디스플레이의 상기 가전 기기가 표시된 영역의 터치 검출에 의해 상기 가전 기기를 제어하는 입력 신호를 획득하는,
가상 홈 서비스 장치.
- 제5항에 있어서,
상기 사용자 인터페이스부는, 상기 홈 내 추가 가전 기기 정보를 입력받는 인터페이스를 제공하고,
상기 가전 식별부는, 상기 사용자 인터페이스부를 통하여 상기 추가 가전 기기 정보를 획득함에 따라 상기 추가 가전 기기의 고유 특성을 판단하며, 상기 고유 특성에 기초하여 상기 로봇 청소기가 상기 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 정의하고, 상기 통신부를 통하여 상기 갱신 내부 영상 및 상기 갱신 SLAM 정보를 획득하고, 획득된 상기 갱신 내부 영상 및 상기 갱신 SLAM 정보에 기초하여 상기 추가 가전 기기의 위치 및 상태를 식별하며,
상기 로봇 청소기는, 상기 가전 식별부에 의해 정의된 영역에 한해 상기 갱신 내부 영상 및 상기 갱신 SLAM 정보를 상기 통신부로 제공하고,
상기 가상 홈 구현부는, 상기 3차원 도면에 상기 추가 가전 기기의 위치 및 상태를 반영하여 상기 가상 홈 정보를 갱신하는,
가상 홈 서비스 장치.
- 제5항에 있어서,
상기 사용자 인터페이스부는, 상기 로봇 청소기가 상기 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 지정하는 영역 지정 신호를 입력받는 인터페이스를 제공하고,
상기 가전 식별부는, 상기 사용자 인터페이스부를 통하여 입력된 상기 영역 지정 신호에 기초하여 상기 로봇 청소기가 상기 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 정의하고, 상기 통신부를 통하여 상기 갱신 내부 영상 및 상기 갱신 SLAM 정보를 획득하고, 획득된 상기 갱신 내부 영상 및 상기 갱신 SLAM 정보에 기초하여 상기 추가 가전 기기의 위치 및 상태를 식별하며,
상기 로봇 청소기는, 상기 가전 식별부에 의해 정의된 영역에 한해 상기 갱신 내부 영상 및 상기 갱신 SLAM 정보를 상기 통신부로 제공하고,
상기 가상 홈 구현부는, 상기 3차원 도면에 상기 추가 가전 기기의 위치 및 상태를 반영하여 상기 가상 홈 정보를 갱신하는,
가상 홈 서비스 장치.
- 홈 내 설치된 가전 기기의 동작을 제어하는 가상 홈 인터페이스를 제공하는 차량 장치에 상기 가상 홈 인터페이스 지원을 위한 데이터를 제공하는 가상 홈 서비스 방법으로서,
상기 가전 기기의 사용자 식별 정보에 기초하여 상기 홈의 설계 도면을 획득하고, 상기 설계 도면을 변환하여 3차원 도면을 획득하는 제1 단계;
상기 홈의 내부 영상 및 SLAM 정보를 획득하고, 상기 내부 영상 및 상기 SLAM 정보에 기초하여 상기 가전 기기의 위치 및 상태를 식별하는 제2 단계; 및
상기 3차원 도면에 상기 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 생성하는 제3 단계를 포함하고,
상기 가상 홈 정보는 상기 차량 장치에 상기 가상 홈 인터페이스 지원을 위한 데이터로 제공되는,
가상 홈 서비스 방법.
- 제10항에 있어서,
상기 제1 단계는,
상기 가전 기기의 판매 시 등록된 주소를 상기 사용자 식별 정보로 이용하여 상기 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 상기 설계 도면 요청 신호를 부동산 중개업체 서버로 송신하는 단계; 및
상기 설계 도면을 포함하는 정보를 상기 부동산 중개업체 서버로부터 수신하는 단계를 포함하는,
가상 홈 서비스 방법.
- 제10항에 있어서,
상기 제1 단계는,
상기 가전 기기의 판매 시 등록된 주소를 상기 사용자 식별 정보로 이용하여 상기 설계 도면을 요청하는 설계 도면 요청 신호를 생성하고, 생성된 상기 설계 도면 요청 신호를 부동산 건설업체 서버로 송신하는 단계; 및
상기 설계 도면을 포함하는 정보를 상기 부동산 건설업체 서버로부터 수신하는 단계를 포함하는,
가상 홈 서비스 방법.
- 제10항에 있어서,
상기 제2 단계는,
상기 차량 장치가 설치된 차량을 자율주행 모드로 운행하기 위해 연결된 5G 네트워크의 하향 링크 그랜트에 기초하여 상기 내부 영상 및 상기 SLAM 정보를 수신하는 단계를 포함하고,
상기 내부 영상 및 상기 SLAM 정보는 5G 네트워크에 연결된 상기 홈 내에 배치되는 로봇 청소기로부터 제공되는,
가상 홈 서비스 방법.
- 제13항에 있어서,
상기 가상 홈 인터페이스를 제공하는 제4 단계를 더 포함하고,
상기 가상 홈 인터페이스는, 차량 창문에 부착된 투명 디스플레이를 통하여 제공되는,
가상 홈 서비스 방법.
- 제14항에 있어서,
상기 가상 홈 인터페이스는, 음성 인식에 의해 상기 가전 기기를 제어하는 입력 신호를 획득하는 음성 인식 인터페이스인,
가상 홈 서비스 방법.
- 제14항에 있어서,
상기 가상 홈 인터페이스는, 상기 투명 디스플레이의 상기 가전 기기가 표시된 영역의 터치 검출에 의해 상기 가전 기기를 제어하는 입력 신호를 획득하는 터치 입력 인터페이스인,
가상 홈 서비스 방법.
- 제14항에 있어서,
상기 홈 내 추가 가전 기기 정보를 입력받는 인터페이스를 제공하는 제5 단계;
상기 추가 가전 기기 정보를 획득함에 따라 상기 추가 가전 기기의 고유 특성을 판단하며, 상기 고유 특성에 기초하여 상기 로봇 청소기가 상기 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 정의하는 제6 단계;
상기 로봇 청소기로부터 상기 제6 단계에서 정의된 영역에 한해 상기 갱신 내부 영상 및 상기 갱신 SLAM 정보를 제공받는 제7 단계;
상기 제7 단계에서 제공받은 상기 갱신 내부 영상 및 상기 갱신 SLAM 정보에 기초하여 상기 추가 가전 기기의 위치 및 상태를 식별하는 제8 단계;
상기 3차원 도면에 상기 추가 가전 기기의 위치 및 상태를 반영하여 상기 가상 홈 정보를 갱신하는 제9 단계를 더 포함하는,
가상 홈 서비스 방법.
- 제14항에 있어서,
상기 로봇 청소기가 상기 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 지정하는 영역 지정 신호를 입력받는 인터페이스를 제공하는 제10 단계;
상기 사용자 인터페이스부를 통하여 입력된 상기 영역 지정 신호에 기초하여 상기 로봇 청소기가 상기 홈 내 갱신 내부 영상 및 갱신 SLAM 정보를 획득할 영역을 정의하는 제11 단계;
상기 로봇 청소기로부터 상기 제11 단계에서 정의된 영역에 한해 상기 갱신 내부 영상 및 상기 갱신 SLAM 정보를 제공받는 제12 단계;
상기 제12 단계에서 제공받은 상기 갱신 내부 영상 및 상기 갱신 SLAM 정보에 기초하여 상기 추가 가전 기기의 위치 및 상태를 식별하는 제13 단계;
상기 3차원 도면에 상기 추가 가전 기기의 위치 및 상태를 반영하여 상기 가상 홈 정보를 갱신하는 제14 단계를 더 포함하는,
가상 홈 서비스 방법.
- 홈 내 설치된 가전 기기의 동작을 제어하는 가상 홈 인터페이스를 제공하는 차량 장치에 상기 가상 홈 인터페이스 지원을 위한 데이터를 제공하는 로봇 청소기를 이용한 가상 홈 서비스 프로그램을 기록한 컴퓨터 판독 가능한 기록매체로서,
상기 가전 기기의 사용자 식별 정보에 기초하여 상기 홈의 설계 도면을 획득하고, 상기 설계 도면을 변환하여 3차원 도면을 획득하는 수단;
상기 홈의 내부 영상 및 SLAM 정보를 획득하고, 상기 내부 영상 및 상기 SLAM 정보에 기초하여 상기 가전 기기의 위치 및 상태를 식별하는 수단; 및
상기 3차원 도면에 상기 가전 기기의 위치 및 상태를 반영하여 가상 홈 정보를 생성하는 수단을 포함하고,
상기 가상 홈 정보는 상기 차량 장치에 상기 가상 홈 인터페이스 지원을 위한 데이터로 제공되는,
프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190095631A KR20190099165A (ko) | 2019-08-06 | 2019-08-06 | 가상 홈 서비스 장치 및 방법 |
| US16/557,991 US11460838B2 (en) | 2019-08-06 | 2019-08-30 | Apparatus and method for virtual home service |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190095631A KR20190099165A (ko) | 2019-08-06 | 2019-08-06 | 가상 홈 서비스 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190099165A true KR20190099165A (ko) | 2019-08-26 |
Family
ID=67807991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190095631A KR20190099165A (ko) | 2019-08-06 | 2019-08-06 | 가상 홈 서비스 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11460838B2 (ko) |
| KR (1) | KR20190099165A (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190106943A (ko) * | 2019-08-30 | 2019-09-18 | 엘지전자 주식회사 | 차량 내에서 인공 지능 기반의 음성 분리 방법 및 장치 |
| CN110753130A (zh) * | 2019-10-31 | 2020-02-04 | 广东美的制冷设备有限公司 | 控制方法、装置、空调器和计算机存储介质 |
| US20210110137A1 (en) * | 2019-10-15 | 2021-04-15 | Alarm.Com Incorporated | Navigation using selected visual landmarks |
| KR20210136817A (ko) | 2020-05-07 | 2021-11-17 | 단국대학교 산학협력단 | 스마트홈 환경에서 ａｒ 기술을 활용한 슬립테크 제어를 위한 장치 및 방법 |
| CN114217626A (zh) * | 2021-12-14 | 2022-03-22 | 集展通航(北京)科技有限公司 | 一种基于无人机巡检视频的铁路工程检测方法和系统 |
| WO2023132461A1 (ko) * | 2022-01-04 | 2023-07-13 | 삼성전자주식회사 | 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 장치 및 방법 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7520585B2 (ja) | 2020-06-12 | 2024-07-23 | 株式会社竹中工務店 | データ変換システム、及びデータ変換プログラム |
| US20230237712A1 (en) * | 2022-01-25 | 2023-07-27 | The Procter & Gamble Company | Environmental imaging and graphical mapping systems and methods for tracking cleaning activity in a physical environment |
| CN114827227B (zh) * | 2022-06-09 | 2024-04-26 | 深圳福恋智能信息科技有限公司 | 一种家庭虚拟映像社交方法、装置、设备及可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180004030A (ko) | 2016-07-01 | 2018-01-10 | 삼성전자주식회사 | 차량 플랫폼을 위한 장치 및 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150370272A1 (en) * | 2014-06-23 | 2015-12-24 | Google Inc. | Intelligent configuration of a smart environment based on arrival time |
| US10553212B2 (en) * | 2016-10-05 | 2020-02-04 | Gentex Corporation | Vehicle-based remote control system and method |
| US20180239313A1 (en) * | 2017-02-22 | 2018-08-23 | Stellar Vdc Residential, Llc | Building model with virtual capture of as built features and objective performance tracking |
| KR102255273B1 (ko) * | 2019-01-04 | 2021-05-24 | 삼성전자주식회사 | 청소 공간의 지도 데이터를 생성하는 장치 및 방법 |
-
2019
- 2019-08-06 KR KR1020190095631A patent/KR20190099165A/ko active Search and Examination
- 2019-08-30 US US16/557,991 patent/US11460838B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180004030A (ko) | 2016-07-01 | 2018-01-10 | 삼성전자주식회사 | 차량 플랫폼을 위한 장치 및 방법 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190106943A (ko) * | 2019-08-30 | 2019-09-18 | 엘지전자 주식회사 | 차량 내에서 인공 지능 기반의 음성 분리 방법 및 장치 |
| US11158327B2 (en) | 2019-08-30 | 2021-10-26 | Lg Electronics Inc. | Method for separating speech based on artificial intelligence in vehicle and device of the same |
| US20210110137A1 (en) * | 2019-10-15 | 2021-04-15 | Alarm.Com Incorporated | Navigation using selected visual landmarks |
| US11640677B2 (en) * | 2019-10-15 | 2023-05-02 | Alarm.Com Incorporated | Navigation using selected visual landmarks |
| CN110753130A (zh) * | 2019-10-31 | 2020-02-04 | 广东美的制冷设备有限公司 | 控制方法、装置、空调器和计算机存储介质 |
| KR20210136817A (ko) | 2020-05-07 | 2021-11-17 | 단국대학교 산학협력단 | 스마트홈 환경에서 ａｒ 기술을 활용한 슬립테크 제어를 위한 장치 및 방법 |
| CN114217626A (zh) * | 2021-12-14 | 2022-03-22 | 集展通航(北京)科技有限公司 | 一种基于无人机巡检视频的铁路工程检测方法和系统 |
| CN114217626B (zh) * | 2021-12-14 | 2022-06-28 | 集展通航(北京)科技有限公司 | 一种基于无人机巡检视频的铁路工程检测方法和系统 |
| WO2023132461A1 (ko) * | 2022-01-04 | 2023-07-13 | 삼성전자주식회사 | 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200004237A1 (en) | 2020-01-02 |
| US11460838B2 (en) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190099165A (ko) | 가상 홈 서비스 장치 및 방법 | |
| US10847032B2 (en) | Apparatus for informing parking position and method thereof | |
| US20210122364A1 (en) | Vehicle collision avoidance apparatus and method | |
| AU2021203701B2 (en) | Recognizing assigned passengers for autonomous vehicles | |
| EP3877965B1 (en) | Detecting unfamiliar traffic signs | |
| US20200166945A1 (en) | Apparatus for providing map | |
| CN107757616B (zh) | 使用环境信息辅助用于自主车辆的图像处理 | |
| US20200135030A1 (en) | Traffic light detection and lane state recognition for autonomous vehicles | |
| CN109507994B (zh) | 安装在车辆上的车辆控制装置以及控制该车辆的方法 | |
| KR20190106843A (ko) | 다목적 자율주행 차량 제어 장치 및 방법 | |
| KR102667038B1 (ko) | 에너지 소모 제어 장치 및 방법 | |
| KR102120108B1 (ko) | 자율주행 차량 및 그 제어 방법 | |
| US20190370862A1 (en) | Apparatus for setting advertisement time slot and method thereof | |
| WO2020031812A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、及び移動体 | |
| US11673581B2 (en) | Puddle occupancy grid for autonomous vehicles | |
| KR20190106903A (ko) | 관심 정보 수집 장치 및 방법 | |
| KR102044703B1 (ko) | 자율주행 차량 및 그 제어 방법 | |
| US20230251846A1 (en) | Information processing apparatus, information processing method, information processing system, and program | |
| KR20240081899A (ko) | 차량원격제어 기술이 적용된 자동 주차 시스템. | |
| US20220178716A1 (en) | Electronic device for vehicles and operation method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |