KR20200055819A - 서비스 로봇 및 그의 운용 방법 - Google Patents

서비스 로봇 및 그의 운용 방법 Download PDF

Info

Publication number
KR20200055819A
KR20200055819A KR1020180136707A KR20180136707A KR20200055819A KR 20200055819 A KR20200055819 A KR 20200055819A KR 1020180136707 A KR1020180136707 A KR 1020180136707A KR 20180136707 A KR20180136707 A KR 20180136707A KR 20200055819 A KR20200055819 A KR 20200055819A
Authority
KR
South Korea
Prior art keywords
service
service robot
target vehicle
visual information
robot
Prior art date
Application number
KR1020180136707A
Other languages
English (en)
Other versions
KR102673293B1 (ko
Inventor
김계윤
한지민
이지아
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180136707A priority Critical patent/KR102673293B1/ko
Priority to US16/507,368 priority patent/US11538350B2/en
Priority to CN201910670016.6A priority patent/CN111152232B/zh
Publication of KR20200055819A publication Critical patent/KR20200055819A/ko
Application granted granted Critical
Publication of KR102673293B1 publication Critical patent/KR102673293B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 서비스 로봇 및 그의 운용 방법에 관한 것으로, 시각 정보를 투영하는 프로젝터, 사용자의 상태를 모니터링하는 모니터링부, 및 대상차량에 대한 안내 설명 중 시각 정보 서비스를 상기 사용자에게 제안하고 상기 모니터링부를 통해 상기 사용자의 제안 수락 여부를 확인하여 상기 시각 정보를 제공하는 제어부를 포함한다.

Description

서비스 로봇 및 그의 운용 방법{SERVICE ROBOT AND METHOD FOR OPERATING THEREOF}
본 발명은 전시 차량을 안내하고 설명하는 서비스 로봇 및 그의 운용 방법에 관한 것이다.
일반적으로, 차량 구매를 희망하는 경우, 차량 판매 대리점 혹은 모터스튜디오 등과 같은 차량 전시장에 방문하여 구매를 희망하는 차량에 대한 정보를 확인할 수 있다. 이와 같이 전시된 차량을 통해 차량 정보를 확인하는 경우 실제 차량의 주행 환경에서 차량 성능 및 기능을 정확하게 파악하기 어렵다. 따라서, 종래에는 차량 및 주행 환경에 따른 사용자 적합 여부를 판단할 수 없다.
KR 1020140118637 A
본 발명은 전시 차량에 대한 정보를 설명할 때 시각 정보를 제공하는 서비스 로봇 및 그의 운용 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시 예에 따른 서비스 로봇은 시각 정보를 투영하는 프로젝터, 사용자의 상태를 모니터링하는 모니터링부, 및 대상차량에 대한 안내 설명 중 시각 정보 서비스를 상기 사용자에게 제안하고 상기 모니터링부를 통해 상기 사용자의 제안 수락 여부를 확인하여 상기 시각 정보를 제공하는 제어부를 포함한다.
상기 모니터링부는, 상기 대상차량으로부터 정해진 반경 내 위치하는 사용자를 센싱하는 센서, 및 상기 센서로부터 출력되는 센싱 데이터를 분석하여 상기 사용자의 상태를 판단하는 프로세서를 포함하는 것을 특징으로 한다.
상기 센서는, 카메라 및 마이크 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
상기 서비스 로봇은 상기 대상차량 및 상기 서비스 로봇의 위치를 감지하는 센서부, 및 상기 대상차량과의 무선 통신을 수행하는 통신부를 더 포함하는 것을 특징으로 한다.
상기 제어부는, 상기 통신부를 통해 상기 대상차량의 식별정보를 획득하여 상기 대상차량을 인식하는 것을 특징으로 한다.
상기 제어부는, 상기 센서부를 통해 상기 대상차량 및 상기 서비스 로봇의 위치를 확인하고, 상기 대상차량의 중심과 일직선 상에 상기 서비스 로봇의 중심을 정렬시키는 것을 특징으로 한다.
상기 제어부는, 기저장된 차량 부위별 적정 위치 정보를 참조하여 상기 시각 정보 서비스를 위한 서비스 제공 위치를 확인하여 상기 서비스 로봇을 이동시키는 것을 특징으로 한다.
상기 제어부는, 시각 정보를 투영할 투영 위치를 인식하는 것을 특징으로 한다.
상기 제어부는, 상기 대상차량에 대한 영상을 획득하여 기저장된 기준 영상과 비교하고 비교결과에 근거하여 상기 서비스 로봇의 위치 조정 필요 여부를 결정하는 것을 특징으로 한다.
상기 제어부는, 상기 촬영된 영상과 기준 영상의 유사도가 임계치 미만이면 기저장된 차량 실루엣 정보에 근거하여 상기 서비스 로봇의 위치를 조정하는 것을 특징으로 한다.
한편, 본 발명의 일 실시 예에 따른 서비스 로봇의 운용 방법은 대상차량에 대한 안내 설명을 실시하는 단계, 상기 안내 설명 중 시각 정보 서비스를 제안하는 단계, 상기 제안에 대한 사용자의 수락 여부를 확인하는 단계, 및 상기 사용자의 제안 수락 여부에 따라 상기 시각 정보 서비스를 제공하는 단계를 포함한다.
상기 안내 설명을 실시하는 단계는, 상기 대상차량을 인식하는 단계, 및 상기 대상차량의 기능 및 조작 방법을 설명하는 단계를 포함하는 것을 특징으로 한다.
상기 대상차량을 인식하는 단계에서, 근거리 무선 통신을 이용하여 상기 대상차량에 부착된 태그 정보를 인식하는 것을 특징으로 한다.
상기 시각 정보 서비스를 제안하는 단계는, 상기 안내 설명 중 설명 콘텐트의 부가 설명 가능 여부를 판단하고 판단결과에 따라 상기 시각 정보 서비스를 상기 사용자에게 제안하는 것을 특징으로 한다.
상기 부가 설명은, 시각 정보로 구현되는 것을 특징으로 한다.
상기 사용자의 수락 여부를 확인하는 단계는, 마이크를 통해 입력되는 상기 사용자의 음성을 인식하여 상기 사용자의 수락 여부를 결정하는 것을 특징으로 한다.
상기 사용자의 수락 여부를 확인하는 단계는, 카메라를 통해 상기 사용자의 상태를 모니터링하여 상기 사용자의 수락 여부를 결정하는 것을 특징으로 한다.
상기 시각 정보 서비스를 제공하는 단계는, 상기 대상차량을 기준으로 상기 서비스 로봇의 위치를 정렬하는 단계, 및 상기 서비스 로봇의 위치 정렬이 완료되면 시각 정보를 투영하는 단계를 포함하는 것을 특징으로 한다.
상기 서비스 로봇의 위치를 정렬하는 단계는, 상기 서비스 로봇의 현재 위치를 확인하는 단계, 상기 시각 정보 서비스를 위한 서비스 제공 위치를 확인하는 단계, 상기 서비스 제공 위치로 상기 서비스 로봇을 이동시키는 단계, 및 상기 시각 정보를 투영할 투영 위치를 인식하는 단계를 포함하는 것을 특징으로 한다.
상기 서비스 로봇의 위치를 정렬하는 단계는, 상기 시각 정보 서비스를 위한 서비스 제공 위치를 확인하는 단계, 상기 서비스 제공 위치로 상기 서비스 로봇을 이동시키는 단계, 상기 대상차량의 영상을 촬영하는 단계, 상기 촬영된 영상과 기준 영상을 비교하는 단계, 상기 촬영된 영상과 기준 영상의 비교결과를 토대로 상기 서비스 로봇의 위치 조정 필요 여부를 결정하는 단계, 및 상기 서비스 로봇의 위치 조정이 필요한 경우 상기 서비스 로봇의 위치를 조정하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 전시 차량에 대한 정보를 설명할 때 실제 주행과 유사한 주변 환경을 시각 정보를 제공하므로, 차량 및 주행 환경에 따른 사용자 이해를 도울 수 있다.
도 1은 본 발명의 일 실시 예에 따른 서비스 로봇을 도시한 블록구성도.
도 2는 본 발명과 관련된 차량 부위별 정보를 설명하기 위한 도면.
도 3은 본 발명의 일 실시 예에 따른 서비스 로봇의 운용 방법을 도시한 흐름도.
도 4는 도 3에 도시된 대상차량을 기준으로 로봇의 위치를 정렬하는 과정을 도시한 일 예.
도 5는 도 3에 도시된 대상차량을 기준으로 로봇의 위치를 정렬하는 과정을 도시한 다른 일 예.
도 6 내지 도 10은 본 발명에 따른 시각 정보를 투영한 예를 도시한 예시도.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서 서비스 로봇(service robot)은 차량 판매 대리점 또는 모터스튜디오 등에서 전시된 차량들을 관람객에게 안내하며 음성으로 전시 차량에 대한 기능 및 작동 방법 등을 설명하는 도슨트 로봇(docent robot)을 말한다.
도 1은 본 발명의 일 실시 예에 따른 서비스 로봇을 도시한 블록구성도이고, 도 2는 본 발명과 관련된 차량 부위별 정보를 설명하기 위한 도면이다.
도 1을 참조하면, 서비스 로봇(100)은 통신부(110), 센서부(120), 저장부(130), 프로젝터(projector)(140), 모니터링부(150), 구동부(160) 및 제어부(170)를 포함한다.
통신부(110)는 무선 통신망에 연결된 전자기기(예: 전자태그, 차량 단말, 스마트폰 및 서버 등)와 데이터를 주고 받는다. 통신부(110)는 무선 인터넷망 접속을 위한 무선 인터넷 모듈 및/또는 근거리 통신을 위한 근거리 무선 통신 모듈 등을 포함할 수 있다. 무선 통신 기술로는 WLAN(Wireless LAN)(WiFi), Wibro(Wireless broadband) 및 Wimax(World Interoperability for Microwave Access) 등의 무선 인터넷 기술 및/또는 블루투스(Bluetooth), NFC(Near Field Communication), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband) 및 지그비(ZigBee) 등의 근거리 통신 기술이 이용될 수 있다.
통신부(110)는 각각의 전시 차량으로부터 전송되는 식별정보를 수신한다. 예컨대, 통신부(110)는 전시장에 전시된 차량들 중 설명대상차량(이후, 대상차량)에 부착된 전자태그로부터 전송되는 태그 정보를 수신한다. 여기서, 태그 정보는 대상차량의 식별정보(예: 차대번호, 차종, 차량모델)를 포함할 수 있다.
센서부(120)는 서비스 로봇(이하, 로봇)(100)의 주변 객체를 감지하고, 로봇(100)과 주변 객체의 현재 위치를 측정한다. 또한, 센서부(120)는 로봇 주변의 시각 정보, 청각 정보 및 촉각 정보를 획득한다. 이러한 센서부(120)는 거리 센서, 관성 센서, 액티브 비컨 센서(active beacon sensor), 이미지 센서, 촉각 센서 및 청각 센서를 포함할 수 있다.
거리 센서는 로봇(100)과 대상차량(주변 객체) 간의 거리를 측정한다. 거리 센서는 레이더(Radio Detecting And Ranging,radar) 및 초음파 센서 등의 센서들 중 적어도 하나 이상으로 구현될 수 있다.
관성 센서는 로봇(100)이 움직일 때의 가속도 및 각속도를 측정하는 것으로, 각속도 센서 및 가속도 센서를 포함한다. 관성 센서에 의해 측정된 가속도 및 각속도는 로봇(100)의 위치 및 자세를 인식하는데 사용된다.
액티브 비컨 센서는 관성 센서와 함께 로봇(100)의 위치를 추정하는 사용되는 센서이다. 특히, 액티브 비컨 센서는 실내에서 로봇(100) 및 대상차량의 위치를 추정하는데 주로 이용된다. 액티브 비컨 센서는 초음파를 발생시켜 되돌아오는 시간을 계산하여 로봇(100)이나 대상차량의 위치를 추정할 수 있다. 이러한 액티브 비컨 센서 및 관성 센서를 위치 추정 센서로 통칭할 수 있다.
이미지 센서는 로봇(100)의 주변 영상 또는 대상차량의 영상을 획득한다. 이미지 센서는 CCD(charge coupled device) 이미지 센서(image sensor), CMOS(complementary metal oxide semi-conductor) 이미지 센서, CPD(charge priming device) 이미지 센서 및 CID(charge injection device) 이미지 센서 등의 센서들 중 적어도 하나 이상으로 구현될 수 있다.
촉각 센서는 로봇(100)의 촉각 감지를 위한 것으로 외부의 접촉 자극을 인식한다. 촉각 센서는 터치 센서, 압력 센서 및/또는 힘 센서 등을 포함할 수 있다.
청각 센서는 외부에서 발생되는 음향 신호를 감지한다. 청각 센서로는 마이크(소리 센서)가 이용될 수 있다.
저장부(130)는 차량 모델별로 차량 제원 정보, 차량 실루엣 정보, 차량 부위별 프로젝션 적정 위치 및 차량 투영 정보 등의 정보를 데이터베이스 형태로 저장한다. 차량 실루엣 정보는 차량의 전면, 후면 및 옆면 4방향에 대한 길이 정보 및 타이어 위치 정보 등을 포함한다. 차량 부위별 정보는 도 2에 도시된 바와 같이 차량의 중심으로 8방향 및 3단계 거리에서 촬영된 영상(이미지)를 저장하고, 각 영상마다 차량 부위(요소)의 위치가 태그되어 저장된다.
또한, 저장부(130)는 도로교통법 내 차로폭 및 주차구획 기준 정보를 저장한다. 저장부(130)는 로봇 제어 알고리즘, 위치 추정 알고리즘, 영상 처리 알고리즘 및 영상 비교 알고리즘 등을 저장할 수도 있다.
저장부(130)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), PROM(Programmable Read Only Memory), EEPROM(Electrically Erasable and Programmable ROM), EPROM(Erasable and Programmable ROM), 레지스터, 착탈형 디스크 및 웹 스토리지(web storage) 등의 저장매체 중 적어도 하나 이상의 저장매체(기록매체)로 구현될 수 있다.
프로젝터(140)는 저장부(130)에 저장된 시각 정보(프로젝션 영상)를 투영 위치에 출력한다. 프로젝터(140)에는 프로젝션 영상을 원하는 투영 위치에 출력하기 위해 프로젝터(140)의 각도(tilt) 및 회전(roll, pitch, yaw)을 조정할 수 있는 액츄에이터(actuator)가 연결된다. 액츄에이터는 제어부(170)의 제어에 따라 동작한다.
모니터링부(150)는 사용자 즉, 전시된 차량을 관람하는 관람객의 상태를 모니터링한다. 모니터링부(150)는 카메라(151), 마이크(152), 메모리(153) 및 프로세서(154)를 포함한다.
카메라(151)는 사용자의 영상을 획득한다. 카메라(151)는 CCD 이미지 센서, CMOS 이미지 센서, CPD 이미지 센서 및 CID 이미지 센서 등의 센서들 중 적어도 하나 이상의 이미지 센서를 포함할 수 있다.
마이크(152)는 마이크로폰(Microphone)을 통해 외부로부터 외부의 음향 신호를 입력 받아 전기적인 음성 데이터(음성 신호)로 처리한다. 마이크(152)에는 외부로부터 음성 신호를 입력 받을 때 발생되는 잡음을 제거하기 위한 잡음 제거 알고리즘이 구현될 수 있다.
메모리(153)는 프로세서(154)의 동작을 위한 프로그램을 저장하고, 입/출력되는 데이터들을 임시 저장할 수 있다. 메모리(153)는 영상 처리 및 분석 알고리즘, 시선 인식 알고리즘 및 음성 인식 알고리즘 등을 저장한다.
메모리(153)는 플래시 메모리, 하드디스크, RAM, SRAM, ROM, EEPROM, PROM, 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나 이상의 저장매체로 구현될 수 있다.
프로세서(154)는 모니터링부(150)의 전반적인 동작을 제어한다. 프로세서(154)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나 이상으로 구현될 수 있다.
프로세서(153)는 카메라(151)를 통해 획득한 사용자 영상을 분석하여 사용자의 상태를 파악한다. 여기서, 사용자의 상태는 시선, 시선 머문 시간, 시선 위치, 머리 움직임 및 차량 탑승 여부 등의 정보를 포함한다.
프로세서(154)는 음성 인식 기술을 이용하여 마이크(152)를 통해 입력되는 사용자의 음성 신호를 분석하여 단어나 문장으로 변환한다. 프로세서(154)는 사용자의 음성을 인식하여 음성 인식 결과를 제어부(170)에 전송한다.
본 실시예에서는 카메라(151) 및/또는 마이크(152)를 이용하여 사용자의 상태를 모니터링하는 모니터링부(150)를 별도로 구현하였으나, 로봇(100)의 센서부(120)에 마련된 이미지 센서 및 청각 센서를 이용하여 사용자의 상태를 모니터링할 수도 있다.
구동부(160)는 제어부(170)의 지시에 따라 로봇(100)의 움직임을 제어한다. 다시 말해서, 구동부(160)는 로봇(100)의 이동(주행) 또는 회전 등을 제어하는 액츄에이터를 구비한다.
제어부(170)는 로봇(100)의 전반적인 동작을 제어한다. 제어부(170)는 프로세서 및 프로세서가 정해진 동작을 수행하도록 프로그램된 프로그램이 저장된 메모리(예: ROM, RAM, EEPROM) 등을 포함한다. 프로세서는 ASIC, DSP, PLD, FPGA, CPU, 마이크로 컨트롤러 및 마이크로 프로세서 중 적어도 하나 이상으로 구현될 수 있다.
제어부(170)는 통신부(110)를 통해 외부로부터 전송되는 제어 명령에 따라 로봇(100)의 동작을 제어할 수 있다. 예컨대, 사용자(안내자)가 스마트폰에 설치된 컨트롤러를 통해 로봇(100)을 제어하는 경우, 제어부(170)는 통신부(110)를 통해 스마트폰으로부터 전송되는 제어 명령을 수신하고, 수신된 제어 명령에 따라 로봇(100)의 동작을 제어한다.
한편, 제어부(170)는 센서부(120) 또는 모니터링부(150)를 통해 사용자의 음성 명령을 인식하고 인식된 음성 명령에 따라 로봇(100)의 동작을 제어할 수도 있다. 예컨대, 제어부(170)는 모니터링부(150)의 마이크(152)를 통해 사용자의 음성 명령 "안내 시작"을 인식하면 전시 차량의 안내를 시작한다.
제어부(170)는 저장부(130)에 저장된 동선 정보를 토대로 구동부(160)를 제어하여 로봇(100)을 이동시킬 수 있다. 다시 말해서, 제어부(170)는 미리 정해진 동선을 따라 설명할 대상차량으로 관람객을 안내한다. 한편, 제어부(170)는 모니터링부(150)를 통해 관람객들의 이동 동선을 인식하고 인식된 이동 동선에 따라 로봇(100)을 이동시킬 수도 있다.
제어부(170)는 전시 차량들 중 대상차량을 인식한다. 제어부(170)는 대상차량에 부착된 전자태그 또는 물리적 태그를 판독하여 대상차량의 위치를 확인한다. 제어부(170)는 구동부(160)를 제어하여 로봇(100)을 대상차량의 위치로 이동시킨다.
제어부(170)는 대상차량의 위치로 이동이 완료되면 대상차량에 대한 정보를 저장부(130)로부터 판독하여 관람객(사용자)에게 안내한다. 제어부(170)는 문자 음성 변환(Text To Speech, TTS) 어플리게이션을 이용하여 대상차량에 대한 정보(대상차량 정보)를 음성 신호로 변환하여 스피커(미도시)를 통해 출력할 수 있다. 여기서, 대상차량 정보는 음성 데이터로 저장될 수도 있다. 이 경우, 제어부(170)는 음성 데이터인 대상차량 정보를 재생하여 스피커로 출력한다.
제어부(170)는 대상차량 정보를 토대로 대상차량을 설명하는 중 시각 정보 서비스를 사용자(관람객)에게 제안한다. 다시 말해서, 제어부(170)는 대상차량의 설명 콘텐츠 내 시각적 부가 설명 기능이 포함된 경우, 사용자에게 해당 부가 설명 제공을 제안할 수 있다. 예컨대, 제어부(170)는 차량의 전폭을 설명하는 중 "도록폭 또는 주차장 대비 차량의 전폭 크기를 보여드릴까요?"라고 시각 정보 서비스를 제안할 수 있다. 한편, 제어부(170)는 ADAS 기능 설명 중 "사각지대 위치에 차량이 있을 경우를 보여드릴까요?"라고 서비스 제안을 할 수 있다.
제어부(170)는 시각 정보 서비스 제안 후 정해진 시간 동안 사용자(관람객)의 응답을 대기한다. 제어부(170)는 모니터링부(150)를 통해 사용자의 응답을 수신할 수 있다. 제어부(170)는 모니터링부(150)를 통해 사용자의 시선 또는 머리 움직임 등을 분석하여 서비스 제안 수락 여부를 판정한다. 또는, 제어부(170)는 모니터링부(150)의 마이크(152)를 통해 입력되는 사용자의 음성을 인식하여 서비스 제안 수락 여부를 판정한다. 한편, 제어부(170)는 터치스크린과 같은 입/출력 장치를 통한 사용자의 입력에 따라 서비스 제안 수락 여부를 결정할 수도 있다.
제어부(170)는 사용자의 서비스 제안 수락 여부에 따라 시각 정보를 투영(프로젝션)하여 출력한다. 제어부(180)는 사용자가 서비스 제안을 수락하지 않으면 시각적 부가 설명을 하지 않고 대상차량에 대한 다음 설명을 한다.
한편, 제어부(170)는 사용자가 서비스 제안을 수락하면, 프로젝션 거리를 확보하기 위해 대상차량을 기준으로 로봇(100)을 정렬하고 거리를 조절(조정)한다. 제어부(170)는 대상차량에 부착된 위치 태그를 인지하여 기준을 설정할 수 있다. 위치 태그는 차량의 전방 중앙, 후방 중앙, 전방 타이어 2개 및 후방 타이어 2개에 각각 부착된다. 차량의 전방 중앙 및 후방 중앙에 부착된 위치 태그는 정렬 기준이 되고, 전방 타이어 및 후방 타이어에 부착된 위치 태그는 정렬 조정 기준으로 사용된다.
보다 구체적으로, 대상차량에 로봇(100)을 정렬하는 방법을 설명한다.
제어부(170)는 차량의 전방 중앙 또는 후방 중앙에 부착된 태그를 통해 대상차량의 중앙 위치를 확인한다. 제어부(170)는 대상차량의 중앙 위치로부터 전방 방향으로 일직선 상에 로봇(100)의 중앙이 위치하도록 정렬한다.
제어부(170)는 시각 정보를 투영하기 위하여 필요한 투영 거리(프로젝션 거리)를 확보한다. 투영 거리는 시각 정보별로 사전에 정해진다.
제어부(170)는 대상차량의 전방 타이어 2개 또는 후방 타이어 2개에 부착된 위치 태그 및 저장부(130)에 저장된 차량 제원 데이터베이스에 기반하여 대상차량의 중앙을 기준으로 로봇(100)을 재정렬한다.
제어부(170)는 로봇(100)의 정렬이 완료되면 저장부(130)로부터 시각 정보를 대상차량에 투영한다. 여기서, 시각 정보는 주차구획선, 도로 폭, 차선 등을 나타내는 영상 데이터로 구현된다.
도 3은 본 발명의 일 실시 예에 따른 서비스 로봇의 운용 방법을 도시한 흐름도이다.
도 3을 참조하면, 로봇(100)의 제어부(170)는 설명할 대상차량을 인식한다(S110). 제어부(170)는 대상차량이 위치한 지점으로 로봇(100)으로 이동시킨 후 대상차량에 부착된 전자태그를 인식한다. 전자태그에는 차량 모델 정보와 같은 식별정보를 포함한다. 따라서, 제어부(170)는 전자태그에 저장된 차량 모델 정보를 통해 설명할 대상차량을 인식할 수 있다.
제어부(170)는 대상차량에 대한 설명을 출력한다(S120). 제어부(170)는 인식한 대상차량에 대한 정보를 저장부(130)로부터 판독하고 판독된 정보를 토대로 차량 설명을 실시한다. 이때, 제어부(170)는 차량 설명을 음성으로 출력할 수 있다.
제어부(170)는 시각 정보 서비스의 제공을 사용자에게 제안한다(S130). 제어부(170)는 대상차량 설명 중 설명 콘텐트에 부가 설명이 가능한 시각 정보가 포함된 경우, 시각 정보 서비스 제공을 사용자(관람객)에게 제안한다.
제어부(170)는 시각 정보 서비스의 제공에 대한 사용자의 제안 수락 여부를 확인한다(S140). 제어부(170)는 모니터링부(150)를 통해 사용자의 제안 수락 여부를 확인할 수 있다. 예컨대, 로봇(100)이 차량에 장착된 타이어에 대한 설명 중 “차량 A, 차량 B 및 차량 C과 타이어 사이즈를 비교해줄까?”라고 시각 정보 서비스를 제안하고, 관람객이 “대상차량과 차량 A의 타이어 사이즈를 비교해줘"라고 하면, 로봇(100)의 제어부(170)는 모니터링부(150)의 마이크(152)를 통해 관람객의 음성을 인식한다.
제어부(170)는 대상차량을 기준으로 로봇(100)의 위치를 정렬한다(S150). 제어부(170)는 대상차량의 중심으로부터 전장 방향으로 일직선 상에 로봇(100)의 중심이 위치하도록 구동부(160)를 제어하여 로봇(100)을 이동시킨다.
제어부(170)는 로봇(100)의 정렬이 완료되면 시각 정보를 투영한다(S160). 제어부(170)는 대상차량을 향해 시각 정보를 투영한다.
도 4는 도 3에 도시된 대상차량을 기준으로 로봇의 위치를 정렬하는 과정을 도시한 일 예이다. 본 실시 예는 4방향 차량 실루엣 정보를 활용하여 로봇의 프로젝션 위치를 정렬하는 것을 설명한다. 여기서, 4방향 차량 실루엣 정보는 차량의 전면, 후면 및 옆면에 대한 길이 정보 및 타이어 위치 정보 등을 포함한다. 본 실시예는 다른 제품 또는 다른 차종과의 사이즈(예: 타이어, 차량 너비) 및 모양(예: 외관, 세단 및 헤치백) 비교와 같이 정확한 위치 및 사이즈의 비교가 필요한 경우에 적용할 수 있다.
로봇(100)의 제어부(170)는 S140에서 사용자가 시각 정보 서비스 제안을 수락한 경우, 시각 정보 서비스를 위한 서비스 제공 위치를 확인한다(S1501). 제어부(150)는 부가 설명할 차량 부위를 파악하고, 저장부(130)에 저장된 차량 부위별 프로젝션 적정 위치 정보를 참조하여 서비스 제공 위치를 확인한다.
제어부(170)는 구동부(160)를 제어하여 서비스 제공 위치로 로봇(100)을 이동시킨다(S1502).
제어부(170)는 대상차량의 영상을 촬영한다(S1503). 제어부(170)는 부가 설명할 차량 부위의 영상을 촬영한다.
제어부(170)는 촬영 영상과 기준 영상을 비교한다(S1504). 제어부(170)는 촬영 영상을 저장부(130)에 저장된 차량 실루엣 정보와 비교한다. 제어부(170)는 촬영 영상과 차량 실루엣 정보에 포함된 영상의 유사도를 산출한다.
제어부(170)는 비교결과에 따라 위치 조정 필요 여부를 결정한다(S1505). 제어부(170)는 유사도가 95% 미만이면 위치 조정이 필요하다고 판정한다. 제어부(170)는 유사도가 95% 이상이면 위치 조정 불필요로 판정한다.
제어부(170)는 위치 조정이 필요한 경우, 로봇(100)의 위치를 재조정한다(S1506). 제어부(170)는 유사도가 75% 미만이면 현재 위치한 서비스 제공 위치로부터 로봇(100)을 설정된 거리 만큼 추가로 이동시킨다. 제어부(170)는 유사도가 75% 이상 95% 미만이면 세밀 조정하여 서비스 제공 위치를 재선정한다.
제어부(170)는 로봇(100)의 위치 조정이 완료되면 부가 설명할 차량 부위에 시각 정보를 투영하여 표시한다(S160).
도 5는 도 3에 도시된 대상차량을 기준으로 로봇의 위치를 정렬하는 과정을 도시한 다른 일 예이다. 본 실시 예는 8방향 3단계 거리에서 촬영된 차량 영상(이미지) 정보를 활용하여 로봇의 프로젝션 위치를 정렬하는 것을 설명한다. 본 실시 예는 A/B 필러 위치 확인, 해드 램프 위치 확인 등 다양한 차량 요소의 대략적인 위치를 포인팅해야 하는 경우 사용될 수 있다.
로봇(100)의 제어부(170)는 S140에서 사용자의 제안 수락을 확인한 경우, 로봇 자신의 위치를 확인한다(S1511). 제어부(170)는 카메라를 통해 획득한 영상을 분석하여 로봇 자신의 위치를 파악한다. 즉, 제어부(170)는 대상차량을 기준으로 한 로봇(100)의 상대적인 위치를 확인한다.
제어부(170)는 시각 정보 서비스를 위한 서비스 제공 위치를 확인한다(S1512). 제어부(170)는 저장부(130)에 저장된 차량 부위별 프로젝션 적정 위치 정보를 참조하여 부가 설명할 차량 부위에 대응하는 서비스 제공 위치를 확인한다.
제어부(170)는 서비스 제공 위치로 로봇(100)을 이동시킨다(S1513). 제어부(170)는 구동부(160)를 통해 로봇(100)의 주행을 제어하여 부가 설명할 차량 부위를 포인팅할 수 있는 위치로 로봇(100)을 이동시킨다.
제어부(170)는 대상차량의 투영 위치(포인팅 위치)를 인식한다(S1514). 제어부(170)는 로봇(100) 및 부가 설명할 차량 부위의 위치를 고려하여 시각 정보가 포인팅될 위치를 인식한다.
제어부(170)는 시각 정보를 포인팅할 위치 즉, 투영 위치가 인식되면 해당 투영 위치로 시각 정보를 출력한다(S160).
도 6 내지 도 10은 본 발명에 따른 시각 정보를 투영한 예를 도시한 예시도이다.
도 6을 참조하면, 차량의 전폭에 대한 설명 중 주차공간과 비교하여 차량의 크기를 보여주는 경우, 제어부(170)는 도로교통법 내 주차구획 기준정보에 근거하여 대상차량의 주변에 주차구획선을 시각적으로 투영하여 표시한다.
한편, 제어부(170)는 차량의 크기를 차로폭과 대비하여 설명하는 경우, 프로젝터(140)를 제어하여 대상차량의 주변에 차선을 시각적으로 표시한다. 이때, 제어부(170)는 실제 도로의 차로폭을 반영하여 차선의 표시 위치를 선정한다.
다음, LAKS 및 LDWS 등과 같은 차량의 안전 기능에 대한 설명을 하는 경우, 제어부(170)는 해당 안전 기능의 동작 및 조작 방법을 설명하기 위해 도 7에 도시된 바와 같이 대상차량 주변에 차선을 투영한다. 그리고, 제어부(170)는 해당 안전 기능이 작동하는 상황 및 동작을 시각 정보로 출력하여 사용자의 이해를 돕는다.
도 8에 도시된 바와 같이, 차량의 사각지대 내 자신이 위치하며 차선 표시를 통해 실내 승객이 사각지대 내 로봇(100)을 볼 수 없음을 시연한다.
도 9를 참조하면, 로봇(100)은 차량의 특정 부위에 대해 설명할 때 해당 부위 또는 해당 영역을 시각 정보(예: 화살표 이미지 등)를 투영하여 포인팅할 수 있다. 예컨대, 로봇(100)가 “B 필러가 얇아 디자인적으로 날렵한 느낌을 주고 있습니다.”와 같은 설명을 출력할 때, B 필러에 해당하는 위치를 포인팅한다. 따라서, B 필러라는 용어를 모르는 관람객도 로봇(100)이 설명하는 차량 부위를 쉽게 이해할 수 있도록 돕는다.
한편, 타이어 등과 같이 옵션이 다르게 들어갈 수 있는 외관의 경우 시각적으로 비교하여 보여줄 수 있다. 예컨대, 도 10에 도시된 바와 같이, 로봇(100)은 대상차량에 현재 장착된 타이어와 대비되도록 비교 타이어의 크기를 대상차량의 타이어에 투영하여 표시한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 서비스 로봇
110: 통신부
120: 센서부
130: 저장부
140: 프로젝터
150: 모니터링부
160: 구동부
170: 제어부

Claims (20)

  1. 시각 정보를 투영하는 프로젝터,
    사용자의 상태를 모니터링하는 모니터링부, 및
    대상차량에 대한 안내 설명 중 시각 정보 서비스를 상기 사용자에게 제안하고 상기 모니터링부를 통해 상기 사용자의 제안 수락 여부를 확인하여 상기 시각 정보를 제공하는 제어부를 포함하는 서비스 로봇.
  2. 제1항에 있어서,
    상기 모니터링부는,
    상기 대상차량으로부터 정해진 반경 내 위치하는 사용자를 센싱하는 센서, 및
    상기 센서로부터 출력되는 센싱 데이터를 분석하여 상기 사용자의 상태를 판단하는 프로세서를 포함하는 것을 특징으로 하는 서비스 로봇.
  3. 제2항에 있어서,
    상기 센서는,
    카메라 및 마이크 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 서비스 로봇.
  4. 제1항에 있어서,
    상기 대상차량 및 상기 서비스 로봇의 위치를 감지하는 센서부, 및
    상기 대상차량과의 무선 통신을 수행하는 통신부를 더 포함하는 것을 특징으로 하는 서비스 로봇
  5. 제4항에 있어서,
    상기 제어부는,
    상기 통신부를 통해 상기 대상차량의 식별정보를 획득하여 상기 대상차량을 인식하는 것을 특징으로 하는 서비스 로봇.
  6. 제4항에 있어서,
    상기 제어부는,
    상기 센서부를 통해 상기 대상차량 및 상기 서비스 로봇의 위치를 확인하고, 상기 대상차량의 중심과 일직선 상에 상기 서비스 로봇의 중심을 정렬시키는 것을 특징으로 하는 서비스 로봇.
  7. 제4항에 있어서,
    상기 제어부는,
    기저장된 차량 부위별 적정 위치 정보를 참조하여 상기 시각 정보 서비스를 위한 서비스 제공 위치를 확인하여 상기 서비스 로봇을 이동시키는 것을 특징으로 하는 서비스 로봇.
  8. 제7항에 있어서,
    상기 제어부는,
    시각 정보를 투영할 투영 위치를 인식하는 것을 특징으로 하는 서비스 로봇.
  9. 제7항에 있어서,
    상기 제어부는,
    상기 대상차량에 대한 영상을 획득하여 기저장된 기준 영상과 비교하고 비교결과에 근거하여 상기 서비스 로봇의 위치 조정 필요 여부를 결정하는 것을 특징으로 하는 서비스 로봇.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 촬영된 영상과 기준 영상의 유사도가 임계치 미만이면 기저장된 차량 실루엣 정보에 근거하여 상기 서비스 로봇의 위치를 조정하는 것을 특징으로 하는 서비스 로봇.
  11. 대상차량에 대한 안내 설명을 실시하는 단계,
    상기 안내 설명 중 시각 정보 서비스를 제안하는 단계,
    상기 제안에 대한 사용자의 수락 여부를 확인하는 단계, 및
    상기 사용자의 제안 수락 여부에 따라 상기 시각 정보 서비스를 제공하는 단계를 포함하는 서비스 로봇의 운용 방법.
  12. 제11항에 있어서,
    상기 안내 설명을 실시하는 단계는,
    상기 대상차량을 인식하는 단계, 및
    상기 대상차량의 기능 및 조작 방법을 설명하는 단계를 포함하는 것을 특징으로 하는 서비스 로봇의 운용 방법.
  13. 제12항에 있어서,
    상기 대상차량을 인식하는 단계에서,
    근거리 무선 통신을 이용하여 상기 대상차량에 부착된 태그 정보를 인식하는 것을 특징으로 하는 서비스 로봇의 운용 방법.
  14. 제11항에 있어서,
    상기 시각 정보 서비스를 제안하는 단계는,
    상기 안내 설명 중 설명 콘텐트의 부가 설명 가능 여부를 판단하고 판단결과에 따라 상기 시각 정보 서비스를 상기 사용자에게 제안하는 것을 특징으로 하는 서비스 로봇의 운용 방법.
  15. 제14항에 있어서,
    상기 부가 설명은,
    시각 정보로 구현되는 것을 특징으로 하는 서비스 로봇의 운용 방법.
  16. 제11항에 있어서,
    상기 사용자의 수락 여부를 확인하는 단계는,
    마이크를 통해 입력되는 상기 사용자의 음성을 인식하여 상기 사용자의 수락 여부를 결정하는 것을 특징으로 하는 서비스 로봇의 운용 방법.
  17. 제11항에 있어서,
    상기 사용자의 수락 여부를 확인하는 단계는,
    카메라를 통해 상기 사용자의 상태를 모니터링하여 상기 사용자의 수락 여부를 결정하는 것을 특징으로 하는 서비스 로봇의 운용 방법.
  18. 제11항에 있어서,
    상기 시각 정보 서비스를 제공하는 단계는,
    상기 대상차량을 기준으로 상기 서비스 로봇의 위치를 정렬하는 단계, 및
    상기 서비스 로봇의 위치 정렬이 완료되면 시각 정보를 투영하는 단계를 포함하는 것을 특징으로 하는 서비스 로봇의 운용 방법.
  19. 제18항에 있어서,
    상기 서비스 로봇의 위치를 정렬하는 단계는,
    상기 서비스 로봇의 현재 위치를 확인하는 단계,
    상기 시각 정보 서비스를 위한 서비스 제공 위치를 확인하는 단계,
    상기 서비스 제공 위치로 상기 서비스 로봇을 이동시키는 단계, 및
    상기 시각 정보를 투영할 투영 위치를 인식하는 단계를 포함하는 것을 특징으로 하는 서비스 로봇의 운용 방법.
  20. 제18항에 있어서,
    상기 서비스 로봇의 위치를 정렬하는 단계는,
    상기 시각 정보 서비스를 위한 서비스 제공 위치를 확인하는 단계,
    상기 서비스 제공 위치로 상기 서비스 로봇을 이동시키는 단계,
    상기 대상차량의 영상을 촬영하는 단계,
    상기 촬영된 영상과 기준 영상을 비교하는 단계,
    상기 촬영된 영상과 기준 영상의 비교결과를 토대로 상기 서비스 로봇의 위치 조정 필요 여부를 결정하는 단계, 및
    상기 서비스 로봇의 위치 조정이 필요한 경우 상기 서비스 로봇의 위치를 조정하는 단계를 포함하는 것을 특징으로 하는 서비스 로봇의 운용 방법.
KR1020180136707A 2018-11-08 2018-11-08 서비스 로봇 및 그의 운용 방법 KR102673293B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180136707A KR102673293B1 (ko) 2018-11-08 2018-11-08 서비스 로봇 및 그의 운용 방법
US16/507,368 US11538350B2 (en) 2018-11-08 2019-07-10 Service robot and method for operating thereof
CN201910670016.6A CN111152232B (zh) 2018-11-08 2019-07-24 服务机器人以及用于操作该服务机器人的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180136707A KR102673293B1 (ko) 2018-11-08 2018-11-08 서비스 로봇 및 그의 운용 방법

Publications (2)

Publication Number Publication Date
KR20200055819A true KR20200055819A (ko) 2020-05-22
KR102673293B1 KR102673293B1 (ko) 2024-06-11

Family

ID=70550590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180136707A KR102673293B1 (ko) 2018-11-08 2018-11-08 서비스 로봇 및 그의 운용 방법

Country Status (3)

Country Link
US (1) US11538350B2 (ko)
KR (1) KR102673293B1 (ko)
CN (1) CN111152232B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565724A (zh) * 2020-12-01 2021-03-26 北京航迹科技有限公司 一种图像投射方法和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867338B2 (en) 2019-01-22 2020-12-15 Capital One Services, Llc Offering automobile recommendations from generic features learned from natural language inputs
US10489474B1 (en) 2019-04-30 2019-11-26 Capital One Services, Llc Techniques to leverage machine learning for search engine optimization
US10565639B1 (en) 2019-05-02 2020-02-18 Capital One Services, Llc Techniques to facilitate online commerce by leveraging user activity
US10796355B1 (en) * 2019-12-27 2020-10-06 Capital One Services, Llc Personalized car recommendations based on customer web traffic

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293052A (ja) * 2004-03-31 2005-10-20 Honda Motor Co Ltd 顧客応対ロボット
KR20060077501A (ko) * 2004-12-30 2006-07-05 엘지전자 주식회사 카메라가 탑재된 티브이 및 그 티브이의 영상 정보 제공방법과 그 시스템
JP2007152442A (ja) * 2005-11-30 2007-06-21 Mitsubishi Heavy Ind Ltd ロボット案内システム
JP2009166184A (ja) * 2008-01-17 2009-07-30 Saitama Univ ガイドロボット
JP2009285818A (ja) * 2008-05-30 2009-12-10 Fujitsu Ltd 移動説明装置、および、移動説明プログラム
KR20100086262A (ko) * 2009-01-22 2010-07-30 삼성전자주식회사 로봇 및 그 제어방법
JP2011020223A (ja) * 2009-07-16 2011-02-03 Otsuka Bijutsu Zaidan 展示品説明ロボット及びロボットを使用した展示品説明方法
KR20140118637A (ko) 2013-03-31 2014-10-08 목포대학교산학협력단 프로젝터와 카메라 및 거리센서를 이용하여 안내화면을 제공하는 전시장용 도슨트 이동로봇
JP2015066624A (ja) * 2013-09-27 2015-04-13 株式会社国際電気通信基礎技術研究所 ロボット制御システム、ロボット制御プログラムおよび説明ロボット

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2781178B1 (en) * 2007-05-09 2021-04-21 iRobot Corporation Autonomous coverage robot
US9138891B2 (en) * 2008-11-25 2015-09-22 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
JP5610211B2 (ja) * 2010-09-24 2014-10-22 株式会社Ihi 投影面情報提示装置と方法
US8818556B2 (en) * 2011-01-13 2014-08-26 Microsoft Corporation Multi-state model for robot and user interaction
KR101309670B1 (ko) * 2012-11-29 2013-09-23 주식회사 디아이랩 차량 정보 서비스를 위한 차량 시스템 및 방법
KR101515179B1 (ko) * 2012-12-10 2015-04-24 주식회사 케이티 프로젝션 기능을 갖는 로봇 및 로봇의 프로젝터 제어 방법
CN104511905A (zh) * 2013-09-28 2015-04-15 沈阳新松机器人自动化股份有限公司 一种基于结构光的机器人视觉伺服控制方法
KR101526424B1 (ko) * 2013-12-18 2015-06-05 현대자동차 주식회사 차량용 헤드 업 디스플레이 검사장치 및 그 방법
US10065314B2 (en) * 2014-08-29 2018-09-04 General Electric Company System and method for manipulation platform
US9717387B1 (en) * 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
FI4235628T3 (fi) * 2015-06-08 2024-03-13 Battlekart Europe Järjestelmä ympäristön luomiseksi
EP3332923A4 (en) * 2015-08-04 2019-04-10 Beijing Evolver Robotics Co., Ltd MULTIFUNCTIONAL HOUSE ROBOT
US9895809B1 (en) * 2015-08-20 2018-02-20 X Development Llc Visual annotations in robot control interfaces
US9607347B1 (en) * 2015-09-04 2017-03-28 Qiang Li Systems and methods of 3D scanning and robotic application of cosmetics to human
KR102521493B1 (ko) * 2015-10-27 2023-04-14 삼성전자주식회사 청소 로봇 및 그 제어방법
CN105313123B (zh) * 2015-11-30 2017-05-03 上海理工大学 红外感应投影交互机器人
CN105500371A (zh) * 2016-01-06 2016-04-20 山东优宝特智能机器人有限公司 服务机器人控制器及其控制方法
US10129510B2 (en) * 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
KR20170109283A (ko) * 2016-03-21 2017-09-29 현대자동차주식회사 차량 및 차량의 제어방법
KR102565823B1 (ko) * 2016-05-30 2023-08-10 엘지전자 주식회사 이동 로봇 및 그 이동 로봇의 제어 방법
KR102395276B1 (ko) * 2016-09-13 2022-05-09 현대자동차주식회사 운전자 지원 시스템 검사 장치 및 그 제어 방법
KR102597216B1 (ko) * 2016-10-10 2023-11-03 엘지전자 주식회사 공항용 안내 로봇 및 그의 동작 방법
CN106393142A (zh) * 2016-11-01 2017-02-15 王华勤 一种智能机器人
JP7351745B2 (ja) * 2016-11-10 2023-09-27 ワーナー・ブラザース・エンターテイメント・インコーポレイテッド 環境制御機能を有する社会ロボット
CN106406119B (zh) * 2016-11-15 2019-05-10 福州大学 基于语音交互、云技术及集成智能家居监控的服务机器人
US11204787B2 (en) * 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
CN106903695B (zh) * 2017-01-16 2019-04-26 北京光年无限科技有限公司 应用于智能机器人的投影交互方法及系统
US11100384B2 (en) * 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
KR20180096078A (ko) * 2017-02-20 2018-08-29 엘지전자 주식회사 모듈형 가정용 로봇
JP6830032B2 (ja) * 2017-05-10 2021-02-17 株式会社日立製作所 サービス提供システム
CN107030733B (zh) * 2017-06-19 2023-08-04 合肥虹慧达科技有限公司 一种轮式机器人
KR20190057687A (ko) * 2017-11-20 2019-05-29 삼성전자주식회사 챗봇 변경을 위한 위한 전자 장치 및 이의 제어 방법
EP3596729A1 (en) * 2018-03-07 2020-01-22 Google LLC. Systems and methods for voice-based initiation of custom device actions
US20200051001A1 (en) * 2018-08-08 2020-02-13 Uatc, Llc Systems and Methods for Autonomous Robot Delivery and Retrieval
US11377045B2 (en) * 2018-08-08 2022-07-05 Uatc, Llc Distinct user and item delivery for autonomous vehicles
US11340625B2 (en) * 2018-08-08 2022-05-24 Uatc, Llc Autonomous vehicle compatible robot
CN108748219A (zh) * 2018-09-07 2018-11-06 绵香物联网技术有限公司 一种检测助理机器人系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293052A (ja) * 2004-03-31 2005-10-20 Honda Motor Co Ltd 顧客応対ロボット
KR20060077501A (ko) * 2004-12-30 2006-07-05 엘지전자 주식회사 카메라가 탑재된 티브이 및 그 티브이의 영상 정보 제공방법과 그 시스템
JP2007152442A (ja) * 2005-11-30 2007-06-21 Mitsubishi Heavy Ind Ltd ロボット案内システム
JP2009166184A (ja) * 2008-01-17 2009-07-30 Saitama Univ ガイドロボット
JP2009285818A (ja) * 2008-05-30 2009-12-10 Fujitsu Ltd 移動説明装置、および、移動説明プログラム
KR20100086262A (ko) * 2009-01-22 2010-07-30 삼성전자주식회사 로봇 및 그 제어방법
JP2011020223A (ja) * 2009-07-16 2011-02-03 Otsuka Bijutsu Zaidan 展示品説明ロボット及びロボットを使用した展示品説明方法
KR20140118637A (ko) 2013-03-31 2014-10-08 목포대학교산학협력단 프로젝터와 카메라 및 거리센서를 이용하여 안내화면을 제공하는 전시장용 도슨트 이동로봇
JP2015066624A (ja) * 2013-09-27 2015-04-13 株式会社国際電気通信基礎技術研究所 ロボット制御システム、ロボット制御プログラムおよび説明ロボット

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565724A (zh) * 2020-12-01 2021-03-26 北京航迹科技有限公司 一种图像投射方法和系统

Also Published As

Publication number Publication date
CN111152232A (zh) 2020-05-15
CN111152232B (zh) 2024-06-18
US11538350B2 (en) 2022-12-27
US20200152073A1 (en) 2020-05-14
KR102673293B1 (ko) 2024-06-11

Similar Documents

Publication Publication Date Title
KR20200055819A (ko) 서비스 로봇 및 그의 운용 방법
US11673569B2 (en) Alert control apparatus and alert control method
US10078966B2 (en) Warning method outside vehicle, driver assistance apparatus for executing method thereof and vehicle having the same
US10665106B2 (en) Method and device for controlling driving based on sensing information
US11366477B2 (en) Information processing device, information processing method, and computer readable medium
WO2019206270A1 (zh) 测距方法、智能控制方法及装置、电子设备和存储介质
US20200223362A1 (en) Display system and method for a vehicle
US10088676B2 (en) Enhanced safety through augmented reality and shared data
US20150336502A1 (en) Communication between autonomous vehicle and external observers
US20180217255A1 (en) Radar for vehicle and vehicle provided therewith
JP6614359B2 (ja) 障害物判定方法、駐車支援方法、出庫支援方法、及び障害物判定装置
US11267394B2 (en) Projection apparatus for indicating a recommended position to observe a movable body, portable device, and recording medium
US10531048B2 (en) System and method for identifying a person, object, or entity (POE) of interest outside of a moving vehicle
US10885788B2 (en) Notification control apparatus and method for controlling notification
KR102266354B1 (ko) 다중설정을 위한 생체인증 장치 및 방법
US20200062173A1 (en) Notification control apparatus and method for controlling notification
WO2022141648A1 (zh) 人机交互方法与人机交互装置
US20220242430A1 (en) Vehicle information display system, vehicle information display device, and vehicle control system
US11351963B2 (en) User authentication device and method using authentication score
US20230061098A1 (en) Apparatus for determining a traffic light, system having the same and method thereof
US11587336B2 (en) Gaze target detector
US20220126841A1 (en) Platooning Controller Based on Driver State, System Including the Same, and Method Thereof
JP2018075866A (ja) 駐車制御装置の姿勢推定方法、及び姿勢推定装置
US20230202049A1 (en) Service Robot System and Method for Operating the Same
CN114265403B (zh) 一种基于迎宾引导的自动泊车方法、系统、设备及车辆

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant