KR20200009986A - 차량용 로봇 및 상기 로봇의 제어 방법 - Google Patents

차량용 로봇 및 상기 로봇의 제어 방법 Download PDF

Info

Publication number
KR20200009986A
KR20200009986A KR1020180135414A KR20180135414A KR20200009986A KR 20200009986 A KR20200009986 A KR 20200009986A KR 1020180135414 A KR1020180135414 A KR 1020180135414A KR 20180135414 A KR20180135414 A KR 20180135414A KR 20200009986 A KR20200009986 A KR 20200009986A
Authority
KR
South Korea
Prior art keywords
vehicle
robot
user
processor
information
Prior art date
Application number
KR1020180135414A
Other languages
English (en)
Other versions
KR102135379B1 (ko
Inventor
김형국
임형진
홍윤정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/490,522 priority Critical patent/US11318961B2/en
Priority to PCT/KR2019/000693 priority patent/WO2020017716A1/ko
Publication of KR20200009986A publication Critical patent/KR20200009986A/ko
Application granted granted Critical
Publication of KR102135379B1 publication Critical patent/KR102135379B1/ko

Links

Images

Classifications

    • H04N5/23299—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523—Matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1526—Dual-view displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/566—Mobile devices displaying vehicle information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/573—Mobile devices controlling vehicle functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0005—Dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/12—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4043—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Combustion & Propulsion (AREA)
  • Robotics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Electromagnetism (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량에 구비 및 상기 차량에 관련된 기능을 수행하는 로봇에 대한 것으로, 바디와, 상기 바디 위에 위치하는 헤드와, 상기 헤드가 상기 바디에 대하여 상대 이동이 가능하도록 외력을 가하는 액추에이터와, 상기 헤드에 배치되어 영상을 촬영하도록 이루어지는 카메라와, 상기 차량에 구비된 하나 또는 그 이상의 장치들과 통신을 수행하도록 이루어지는 통신부, 및 상기 통신부를 통해 수신된 정보에 근거하여, 상기 카메라가 상기 차량의 내부 또는 외부를 향하도록 상기 액추에이터를 제어하는 프로세서를 포함하는 것을 특징으로 한다.

Description

차량용 로봇 및 상기 로봇의 제어 방법{ROBOT FOR VEHICLE AND CONTROL METHOD OF THE ROBOT}
본 발명은 차량에 구비 및 상기 차량에 관련된 기능을 수행하는 로봇에 대한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 것이 가능한 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.
차량은 교통수단에 포함될 수 있다. 교통수단은 사람이 이동하거나 짐을 옮기는데 쓰는 수단을 의미할 수 있으며, 일 예로, 자동차, 오토바이, 자전거, 기차, 버스 또는 트램 등을 포함할 수 있다. 본 명세서에서 설명하는 차량과 관련된 내용은, 모든 종류의 교통수단에 동일/유사하게 유추적용될 수 있다.
한편 요즈음에는 인공지능(AI : Artificial Intelligence)과 관련된 연구가 활발하게 진행 중이다. 그리고 상기 인공지능과 차량을 결합하여 사용자가 보다 편리하게 이용할 수 있는 차량이 연구 중인 실정이다. 그리고 이러한 연구의 일환으로서 자율 주행 차량과 같은 차량이 등장하고 있다.
또한 상기 인공지능 연구의 일환으로서, 보다 강화된 인터렉션을 통해 보다 쉽고 편리하게 상기 인공지능을 이용할 수 있도록 하는 연구가 활발하게 이루어지고 있다. 그리고 보다 강화된 인터렉션(interaction)의 일환으로서, 사용자가 친밀감을 가질 수 있는 외형을 가지는 로봇을 이용하여, 차량의 기능을 사용자가 보다 쉽게 이용할 수 있도록 하고, 또한 상기 인공지능을 활용한 새로운 기능을 제공할 수 있도록 하는 방안이 대두되고 있다. 이를 위해 사용자와 보다 우수한 인터렉션을 이룰 수 있는 로봇 및 그 로봇의 제어 방법이 활발하게 연구 중인 실정이다.
본 발명의 일 목적은, 차량에서 제공할 수 있는 기능을 사용자가 보다 쉽고 직관적으로 제공받을 수 있도록 하는 로봇 및 그 로봇의 제어 방법을 제공하는 것이다.
본 발명의 다른 목적은, 주변 상황을 감지 및 분석한 결과로부터 사용자가 원하는 기능을 제공함으로써, 보다 우수한 사용자와의 인터렉션을 제공할 수 있는 로봇 및 그 로봇의 제어 방법을 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명은, 차량에 배치되는 로봇으로, 바디와, 상기 바디 위에 위치하는 헤드와, 상기 헤드가 상기 바디에 대하여 상대 이동이 가능하도록 외력을 가하는 액추에이터와, 상기 헤드에 배치되어 영상을 촬영하도록 이루어지는 카메라와, 상기 차량에 구비된 하나 또는 그 이상의 장치들과 통신을 수행하도록 이루어지는 통신부, 및 상기 통신부를 통해 수신된 정보에 근거하여, 상기 카메라가 상기 차량의 내부 또는 외부를 향하도록 상기 액추에이터를 제어하는 프로세서를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량을 기준으로 정의되는 소정영역에 물체가 진입하는 경우, 상기 물체를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량에 구비된 이미지 센서로부터 수신된 영상을 이용하여 상기 소정영역으로 진입하는 상기 물체를 탐색하며, 상기 물체의 위치에 따라 상기 카메라가 서로 다른 방향을 향하도록 상기 액추에이터를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 차량의 윈드실드로 시각정보를 출력하도록 이루어지는 영상 출력부를 더 포함하고, 상기 프로세서는 상기 물체의 위치에 근거하여 상기 윈드실드의 일부 영역을 영상 표시 영역으로 설정하고, 상기 영상 표시 영역에 상기 시각정보가 표시되도록 상기 액추에이터를 제어하며, 상기 물체의 위치에 따라 상기 영상 표시 영역이 가변되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 카메라가 촬영하는 상기 영상을 이용하여 상기 영상 표시 영역에 가해지는 터치를 식별하고, 식별된 터치에 근거하여 적어도 하나의 기능을 수행하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 시각정보의 타겟을 결정하고, 상기 타겟이 상기 차량의 내부에 있는 경우 상기 시각정보를 그대로 출력하고, 상기 타겟이 상기 차량의 외부에 있는 경우 상기 시각정보를 좌우 반전시켜 출력하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 차량의 시동이 꺼지는 경우, 상기 차량에 구비된 하나 또는 그 이상의 장치들 중 적어도 하나는 동작하여 상기 통신부를 통해 정보를 전송하며, 상기 차량의 시동이 꺼진 상태에서 동작하는 적어도 하나의 장치는 상기 프로세서에 의하여 가변적으로 결정되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량의 시동이 꺼진 상태에서 상기 물체가 상기 소정영역에 진입하는 것에 응답하여 상기 물체에 대한 사용자 인증을 수행하고, 상기 사용자 인증이 성공하는 경우, 상기 하나 또는 그 이상의 장치들 중 적어도 하나가 동작하도록 제어하는 제어 명령을 상기 통신부를 통해 전송하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 물체의 위치에 근거하여 상기 차량에 구비된 복수의 램프들, 도어 잠금 장치들, 방향 지시등들, 경적 중 적어도 하나를 선택하고, 선택된 적어도 하나가 동작하도록 상기 제어 명령을 상기 제어 명령을 상기 통신부를 통해 전송하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 소정영역에 복수의 물체들이 진입하는 경우, 각 물체의 크기, 속도 및 유형 중 적어도 하나에 근거하여 우선순위를 산출하고, 최우선순위의 물체를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 물체를 촬영하기 위한 주행 방향 및 주행 속도 중 적어도 하나를 산출하고, 상기 산출된 적어도 하나에 따라 상기 차량이 자율 주행하도록 상기 통신부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 메모리를 더 포함하며, 상기 프로세서는, 상기 차량의 시동이 꺼진 상태에서 상기 소정영역에 진입하는 상기 물체에 관한 물체 정보를 상기 메모리에 저장하고, 상기 메모리에 저장된 물체 정보에 근거하여 물체가 가장 많이 접근한 방향을 기본 촬영 방향으로 설정하며, 상기 차량의 시동이 꺼지는 것에 응답하여 상기 카메라가 상기 기본 촬영 방향을 향하도록 상기 액추에이터를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량에 탑승한 탑승객으로부터 음성명령이 입력되는 경우, 상기 카메라가 상기 탑승객을 향하도록 상기 액추에이터를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 통신부를 통해 수신된 정보에 근거하여 상기 차량에 탑승한 탑승객이 바라보고 있는 물체를 탐지하고, 상기 카메라가 상기 탐지된 물체를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 메모리를 더 포함하며, 상기 프로세서는, 상기 탑승객의 생체 신호가 기준 조건을 만족하는 경우, 상기 카메라가 촬영한 영상을 상기 메모리에 저장하고, 상기 생체 신호는 상기 탑승객의 심박수, 음성, 표정, 제스처 및 눈 움직임 중 적어도 하나에 의하여 정의되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 헤드의 이동속도 및 이동거리 중 적어도 하나가 상기 차량의 주행 속도에 따라 달라지도록, 상기 액추에이터를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량의 운전석에 탑승한 운전자가 기설정된 사람인 경우, 상기 카메라가 상기 차량의 외부를 촬영하도록 상기 액추에이터를 제어하고, 상기 운전자가 상기 기설정된 사람이 아닌 경우, 상기 카메라가 상기 운전자를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량에 탑승객이 있는 경우, 상기 차량의 내부를 촬영하고, 상기 차량에 탑승객이 없는 경우, 상기 차량의 외부를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량이 수동 주행 중인 경우 상기 카메라가 상기 차량의 외부를 촬영하고, 상기 차량이 자율 주행 중인 경우 상기 카메라가 상기 차량의 내부를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량이 수동 주행 중인 상태에서 상기 차량의 운전자가 기설정된 행동을 하는 경우, 상기 카메라가 상기 차량의 외부가 아닌 상기 차량의 운전자를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 한다.
본 발명의 실시 예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 본 발명은 사용자와 인터렉션하는 로봇을 통해 사용자가 원하는 기능을 직관적으로 제공함으로서, 보다 쉽고 편리하게 차량이 제공하는 기능을 사용자가 이용할 수 있도록 한다는 효과가 있다.
둘째, 본 발명은 사용자와의 인터렉션을 통해 차량이 제공할 수 있는 새로운 기능을 제공함으로써, 사용자의 편의성을 보다 증대시킬 수 있다는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시 예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시 예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시 예에 따른 차량을 설명하는데 참조되는 블록도이다.
도 8은 본 발명의 실시 예에 따른 로봇을 설명하기 위한 블록도이다.
도 9a 내지 도 9c는 본 발명의 실시 예에 따른 로봇의 구조 및 외관의 예를 설명하기 위한 개념도이다.
도 10은 본 발명의 실시 예에 따른 로봇이 차량에 설치된 예를 설명하기 위한 개념도이다.
도 11은 본 발명의 실시 예에 따른 로봇의 제어 방법을 설명하기 위한 흐름도이다.
도 12a는 본 발명의 실시 예에 따른 로봇이 사용자와 인터렉션을 수행하는 예를 도시한 예시도이다.
도 12b는 상기 도 12a에서, 윈드 쉴드 상에 표시되는 이미지가 차량의 이동에 따라 가변되는 예를 도시한 예시도이다.
도 13은 본 발명의 실시 예에 따른 로봇이, 차량의 주차 시에 차량 외부에 대한 모니터링을 수행하는 예를 도시한 예시도이다.
도 14는 본 발명의 실시 예에 따른 로봇이, 차량 외부에 위치한 사람을 인식 및 인식 결과에 따른 기능을 수행하는 예를 도시한 예시도이다.
도 15는 본 발명의 실시 예에 따른 로봇이, 운전자를 인식 및 인식 결과에 따라 차량 내부를 모니터링하는 예를 도시한 예시도이다.
도 16은 본 발명의 실시 예에 따른 로봇이, 차량 외부에 위치한 사람을 인식 및 인식 결과에 따른 기능을 수행하는 다른 예를 도시한 예시도이다.
도 17은 본 발명의 실시 예에 따른 로봇이, 운전자의 생체 신호에 근거하여 모니터링 정보를 구분하여 저장하는 동작 과정을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시 예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시 예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시 예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시 예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다.
차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 사용자 인터페이스 장치(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다.
예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다.
예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 인터페이스부(130), 메모리(140), 제어부(170) 및 전원공급부를 포함할 수 있다.
실시 예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다.
실시 예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(200)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(200)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(200)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(200)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
실시 예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다.
실시 예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다.
출력부(250)는, 디스플레이부(251), 음향출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시 예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다.
사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다.
오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다.
도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시 예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시 예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시 예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시 예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시 예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시 예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시 예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시 예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다.
변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다.
샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.
실시 예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시 예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시 예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시 예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시 예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다.
한편, 인터페이스부(130)는 연결된 기기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 인터페이스부(130)는 전원공급부에서 공급되는 전기 에너지를 연결된 기기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시 예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원공급부(860)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원공급부(860)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
도 1 내지 도 7에서 설명한 차량(100)과 관련된 내용은, 이하에서 설명하는 차량(100)에 포함될 수 있다. 즉, 본 발명과 관련된 차량(100)은, 도 1 내지 도 7에서 설명한 구성요소들 중 적어도 하나를 포함할 수 있다.
이하에서는 첨부된 도면을 참조하여, 차량(또는 교통수단)과 통신 가능한 로봇에 대하여 보다 구체적으로 살펴본다.
도 8은 본 발명의 실시 예에 따른 로봇(800)을 설명하기 위한 블록도이다.
도 8을 참조하여 살펴보면, 본 발명의 실시 예에 따른 로봇(800)은 제어부(870)와 상기 제어부(870)에 의해 제어되며, 상기 제어부(870)와 연결되는 통신부(810), 센싱부(820), 구동부(830), 메모리(840), 출력부(850), 및 전원 공급부(860) 등을 포함할 수 있다. 도 8에 도시된 구성요소들은 본 발명의 실시 예에 따른 로봇(800)을 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 로봇(800)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 통신부(810)는, 로봇(800)과 다른 기기 사이의 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 여기서 상기 다른 기기는, 차량의 내부 및 외부에 구비된 다양한 기기들일 수 있으며, 또는 상기 차량을 제어하는 제어 장치, 또는 상기 차량 그 자체일 수도 있다.
센싱부(820)는 상기 로봇(800)의 주변 상황을 감지하기 위한 적어도 하나의 센서를 구비할 수 있다. 이러한 센서는 영상 신호를 센싱할 수 있는 카메라(821)를 포함할 수 있다. 상기 카메라(821)는 하나 또는 복수개 구비될 수 있으며, 카메라(821)가 복수개 구비되는 경우 상기 복수의 카메라는 각각 독립적으로 구동되어 각각 별개의 영상 신호를 센싱할 수 있도록 형성될 수 있다. 또한 상기 센서부(820)는 오디오 신호를 센싱할 수 있는 마이크로폰(microphone, 822, 이하 마이크)을 구비할 수 있다. 그리고 상기 카메라(821) 및 마이크(822)를 통해 센싱되는 영상 신호 또는 오디오 신호는 상기 제어부(870)에 의해 분석되어 사용자에게 제공될 수 있으며, 상기 제어부(870)를 통해 생성되거나 또는 사용자에 의해 인가되는 제어 명령을 통해 처리될 수 있다.
한편, 본 명세서에 개시된 로봇(800)은, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
구동부(830)는 로봇(800)을 구성하는 각 구성부를 회전시키거나 또는 틸팅시킬 수 있도록 형성될 수 있다. 이를 위해 로봇(800)은 몸통, 얼굴, 팔 부위와 같은 복수의 구성부가 각각을 연결하는 연결부를 통해 연결되어 형성될 수 있으며, 상기 복수의 구성부 각각을 회전 또는 이동시킬 수 있도록 상기 구동부(830)에 의해 구동되는 복수의 액추에이터를 포함하여 형성될 수 있다. 따라서 구동부(830)는 제어부(870)의 제어에 따라 상기 복수의 액추에이터 중 적어도 하나를 구동시킬 수 있으며, 이에 따라 상기 로봇(800)을 구성하는 구성부들 중 적어도 일부가 회전하거나 틸팅되어 상기 로봇(800)의 움직임을 생성할 수 있다.
한편 메모리(840)는 로봇(800)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(840)는 로봇(800)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 로봇(800)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 로봇(800)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 로봇(800)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(840)에 저장되고, 로봇(800) 상에 설치되어, 제어부(870)이 제어에 따라 동작(또는 기능)을 수행하도록 구동될 수 있다.
한편 출력부(850)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(851), 음향 출력부(852), 햅팁 모듈(853), 광 출력부(854) 중 적어도 하나를 포함할 수 있다.
또한, 제어부(870)는 통상적으로 로봇(800)의 전반적인 동작을 제어한다. 제어부(870)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(840)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(870)는 메모리(840)에 저장된 응용 프로그램을 구동하기 위하여, 도 8에서 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(870)는 상기 응용 프로그램의 구동을 위하여, 로봇(800)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(860)는 제어부(870)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 로봇(800)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(860)는 배터리를 포함할 수 있으며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다. 또한 상기 배터리는 차량으로부터 충전되도록 형성될 수도 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 로봇(800)의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 로봇(800)의 동작, 제어, 또는 제어방법은 상기 메모리(840)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 구현될 수 있다.
이하에서는, 위에서 살펴본 로봇(800)를 통하여 구현되는 다양한 실시 예들을 살펴보기에 앞서, 위에서 열거된 구성요소들에 대하여 도 8을 참조하여 보다 구체적으로 살펴본다.
먼저, 통신부(810)에 대하여 살펴보면, 통신부(810)는 이동 통신 모듈, 무선 인터넷 모듈, 및 근거리 통신 모듈을 적어도 하나 포함할 수 있다.
여기서 이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 로봇(800)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
WiBro, HSDPA, HSUPA, GSM, CDMA, WCDMA, LTE, LTE-A 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈은 상기 이동통신 모듈의 일종으로 이해될 수도 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 통신 모듈은, 근거리 무선 통신망(Wireless Area Networks)을 통해 로봇(800)과 무선 통신 시스템 사이, 로봇(800)과 다른 기기 사이, 또는 로봇(800)과 다른 기기가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 상기 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 기기는 본 발명에 따른 로봇(800)과 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display))가 될 수 있다. 근거리 통신 모듈은, 로봇(800) 주변에, 상기 로봇(800)과 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(870)는 상기 감지된 웨어러블 디바이스가 본 발명에 따른 로봇(800)과 통신하도록 인증된 디바이스인 경우, 로봇(800)에서 처리되는 데이터의 적어도 일부를, 상기 근거리 통신 모듈을 통해 웨어러블 디바이스로 전송할 수 있다. 따라서 웨어러블 디바이스의 사용자는, 로봇(800)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다.
한편 상기 통신부(810)는 위치정보 모듈을 포함할 수 있다. 위치정보 모듈은 로봇(800)의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 로봇(800)은 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 자신의 위치를 획득할 수 있다. 다른 예로서, 로봇(800)은 Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 자신의 위치를 획득할 수 있다. 필요에 따라서, 위치정보 모듈은 치환 또는 부가적으로 로봇(800)의 위치에 관한 데이터를 얻기 위해 통신부(810)의 다른 모듈 중 어느 하나의 기능을 수행할 수 있다. 위치정보 모듈은 로봇의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 로봇의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.
다음으로, 센싱부(820)는 영상 정보(또는 신호), 오디오 정보(또는 신호)의 센싱을 위한 것으로서, 영상 정보의 입력을 위하여, 로봇(800)은 하나 또는 복수의 카메라(821)를 구비할 수 있다. 카메라(821)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(851)에 표시되거나 메모리(840)에 저장될 수 있다. 한편, 로봇(800)에 구비되는 복수의 카메라(821)는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라(821)를 통하여, 로봇(800)에는 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다. 또한, 복수의 카메라(821)는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다.
마이크(822)는 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 로봇(800)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크(822)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
한편, 센서부(820)는 로봇(800) 또는 차량을 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킬 수 있다. 제어부(870)는 이러한 센싱 신호에 기초하여, 로봇(800)의 구동 또는 동작을 제어하거나, 로봇(800)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행 할 수 있다.
센서부(840)에 포함될 수 있는 다양한 센서 중 대표적인 센서들의 대하여, 보다 구체적으로 살펴본다.
먼저, 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선 등을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다.
근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.
초음파 센서는 초음파를 이용하여, 감지대상의 위치정보를 인식할 수 있다. 한편 제어부(870)는 광 센서와 복수의 초음파 센서로부터 감지되는 정보를 통해, 파동 발생원의 위치를 산출하는 것이 가능하다. 파동 발생원의 위치는, 광이 초음파보다 매우 빠른 성질, 즉, 광이 광 센서에 도달하는 시간이 초음파가 초음파 센서에 도달하는 시간보다 매우 빠름을 이용하여, 산출될 수 있다. 보다 구체적으로 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치가 산출될 수 있다.
한편, 센싱부(820)의 구성으로 살펴본, 카메라(821)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함한다.
디스플레이부(851)는 로봇(800)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(851)는 로봇(800)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다. 상기 디스플레이부(851)는 빔을 투사하여 이미지를 출력하는 프로젝터(projector)로 형성될 수 있으며, 이 경우 프로젝터에서 출력되는 빔은 윈드 쉴드 글래스를 스크린으로, 상기 윈드 쉴드 글래스의 전체 또는 일부에 이미지를 출력할 수 있다. 이 경우 상기 이미지가 출력되는 윈드 쉴드 글래스의 영역 및 위치는 상기 제어부(870)의 제어에 따라 결정될 수 있다.
또한, 상기 디스플레이부(851)는 입체영상을 표시하는 입체 디스플레이부로서 구성될 수 있다.
상기 입체 디스플레이부에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다.
음향 출력부(852)는 통신부(810)로부터 수신되거나 메모리(840)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(852)는 로봇(800)에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(852)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
햅틱 모듈(haptic module)(853)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(853)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅틱 모듈(853)에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(853)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(853)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(853)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(853)은 로봇(800)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
광 출력부(854)는 로봇(800)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 광 출력부(854)가 출력하는 신호는 로봇(800)의 헤드에 형성된 적어도 하나의 광 출력부(854)가 통해 단색이나 복수색의 빛을 발광하여 이루어질 수 있다.
메모리(840)는 제어부(870)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음성 데이터, 정지 영상 데이터, 동영상 데이터 등)을 임시 저장할 수도 있다. 또한 제어부(870)의 제어에 따라 카메라(821) 및 마이크(822)를 통해 저장되는 모니터링 정보들을, 다른 모니터링 정보들과 구분하여 저장할 수 있다.
한편, 앞서 살펴본 것과 같이, 제어부(870)는 응용 프로그램과 관련된 동작과, 통상적으로 로봇(800)의 전반적인 동작을 제어한다. 또한 로봇(800)과 연결된 차량을 제어하기 위한 제어 명령을 생성하고 이를 통신부(810)를 통해 차량에 전송함으로써, 상기 차량이 수행할 수 있는 기능 중 적어도 하하나를 제어할 수 있다.
또한 제어부(870)는 차량의 상태에 따라 차량 내부 또는 외부를 모니터링할 수 있다. 이 경우 제어부(870)는 구동부(830)를 제어하여 로봇(800)이 차량의 내부의 영상을 센싱하거나 또는 차량 외부의 영상을 센싱하도록 할 수 있다. 이 경우 제어부(870)는 차량에 구비된 적어도 하나의 이미지 센서로부터 수신된 영상을 이용하여 상기 차량 외부로부터 기 설정된 거리 이내의 영역, 즉 소정의 영역에 진압하는 물체 또는 사람을 탐색할 수 있으며, 상기 탐색된 물체 또는 사람이 이동하는 경우 그 위치에 따라 상기 로봇(800)의 카메라(821)가 다른 방향을 향하도록 제어할 수 있다. 이 경우 제어부(870)는 카메라(821)가 형성된 로봇(800)의 일부분, 예를 들어 헤드 또는 바디가 상기 이동한 물체 또는 사람의 위치에 따른 방향으로 회전하도록 상기 헤드 또는 바디에 외력을 인가하는 액추에이터를 제어할 수 있다.
한편 제어부(870)는 차량이 주행 중인 경우 주행과 관련된 다양한 기능을 제공할 수 있다. 일 예로 차량이 주행 중인 경우 제어부(870)는 사용자, 즉 운전자의 시선에 대응하는 사물, 랜드마크(land mark) 등을 식별할 수 있다. 그리고 식별된 사물 또는 랜드마크에 대한 정보를 사용자의 요청에 따라 출력할 수 있다.
한편 차량이 주행 중이 아닌 경우, 제어부(870)는 차량의 정차 또는 주차에 관련된 다양한 기능을 제공할 수 있다. 일 예로 제어부(870)는 주차된 차량에 근접하는 사람 및 사물들을 감지하고, 감지 결과에 따라 영상을 촬영 및 저장할 수 있다. 또한 제어부(870)는 차량 외부에 위치한 사람으로부터 인식 정보를 획득할 수 있으며, 획득된 인식 정보에 따라 현재 차량 외부에 위치한 사람을 식별할 수 있다. 그리고 식별된 사람이 기 등록된 사람이거나, 사용자에 의해 접근이 허가된 탑승자인 경우 차량의 잠금 상태를 해제하는 등, 사용자에 의해 기 설정된 다양한 기능들을 수행할 수 있다.
이를 위해 제어부(870)는 다양한 인증 기능을 구비할 수 있다. 일 예로 제어부(870)는 센싱된 영상으로부터 사람의 얼굴을 검출하고, 검출된 얼굴로부터 추출되는 특징과 기 저장된 얼굴 특징에 근거하여 인증을 수행할 수 있다(안면 인식 기능). 따라서 제어부(870)는 기 저장된 사용자의 얼굴 특징과, 운전석에 착석한 사람의 얼굴 영상으로부터 추출된 특징에 근거하여. 현재 차량을 운전하는 운전자가 사용자인지를 식별하고 식별 결과에 따른 기능을 수행할 수 있다.
이와 유사하게 제어부(870)는, 차량에 탑승한 탑승객 중 사용자에 의해 지정된 탑승객의 얼굴 영상으로부터 얼굴 특징을 추출할 수 있다. 이러한 경우 추출된 특징 정보는 사용자가 지정한 탑승객 또는 탑승이 허용된 탑승객(이하 지정 탑승객)의 인증 정보로서 등록될 수 있다. 따라서 제어부(870)는 상기 추출된 특징 정보에 근거하여 상기 탑승객을 식별할 수 있으며, 식별된 결과에 따라 사용자가 지정한 또는 허용한 다양한 기능을 수행할 수 있다.
한편 상술한 바와 같이 사용자 또는 지정 탑승객의 인증은 사용자의 얼굴 영상 또는 상기 지정 탑승객의 얼굴 영상에 근거하여 이루어질 수 있다. 이 경우 상기 얼굴 영상은 사용자 또는 상기 지정 탑승객이 차량 외부에 있는 경우에도, 로봇(800)의 카메라(821)를 통해 획득이 가능함은 물론이다. 따라서 제어부(870)는 사용자 또는 상기 지정 탑승객이, 차량 내부에 있는 경우 뿐만 아니라 차량 외부에 있는 경우에도 상기 인증을 수행하고 인증 결과에 따른 기능을 수행할 수 있다.
한편 제어부(870)는 상기 안면 인식 기능 외에도, 지문 인식, 손금 인식 또는 음성 인식 등 다양한 인식 기능을 구비할 수 있다. 일 예로 제어부(870)는 사용자 또는 지정 탑승객의 안면 뿐만 아니라 지문 또는 손금 등을 통해 상기 사용자 또는 지정 탑승객을 인증할 수도 있음은 물론이다. 이러한 경우 제어부(870)는 프로젝터를 통해 영사되는 빔으로 상기 인증 정보를 입력할 영역을 표시할 수 있으며, 상기 인증 정보 입력 영역을 통해 감지되는 사용자 또는 지정 탑승객의 지문이나 손금을 통해 상기 사용자 또는 지정 탑승객을 인식할 수 있다. 한편 음성 인식이 이루어지는 경우 제어부(870)는 프로젝터를 통해 영사되는 빔으로 상기 인증 정보를 위해 발성할 문장 내용을 표시할 수 있으며, 상기 표시된 문장 내용에 대응하는 음성에 근거하여 상기 사용자 또는 지정 탑승객을 인식할 수도 있다.
한편 제어부(870)는 센서부(820)에 구비된 적어도 하나의 센서를 통해 사용자의 생체 신호를 감지할 수도 있다. 그리고 감지된 생체 신호에 근거하여 사용자의 상태를 판단하고 판단된 결과에 근거하여, 차량 내부의 공기를 순환시키거나 음악을 재생하는 등, 환기를 위한 기능을 수행할 수 있다. 또한 감지된 생체 신호가 기 설정된 조건을 만족하는 경우, 차량 내부 또는 외부에서 모니터링 되는 정보를 저장할 수 있다. 이 경우 저장되는 모니터링 정보들은 다른 정보들과 구분되어 저장될 수 있다. 즉, 사용자가 크게 놀라거나 흥분하는 경우에, 제어부(870)는 모니터링 되는 정보들을 구분하여 저장함으로써, 차후 사용자가 이를 활용할 수 있도록 할 수 있다.
또한 제어부(870)는 사용자와 보다 우수한 인터렉션이 이루어지도록 하기 위해서, 구동부(830)를 제어하여 로봇(800)을 구성하는 각 부분이, 감지되는 사용자의 행위 또는 사용자의 반응에 따라 움직이도록 할 수 있다. 일 예로 카메라(821)가 구비된 로봇(800)의 헤드 전면, 즉 얼굴 부위는, 상기 모니터링이 수행되는 방향을 바라보도록 상기 제어부(870)의 제어에 따라 회전되거나 또는 틸팅(tilting) 될 수 있다. 또한 사용자가 로봇(800)을 호출하는 등의 경우에, 로봇(800)이 사용자를 바라보도록, 헤드를 회전 및 틸딩함으로써 로봇(800)이 사용자의 호출에 반응하고 있음을 나타낼 수 있다.
나아가 제어부(870)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 로봇(800) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
전원 공급부(860)는 제어부(870)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원공급부(190)는 배터리를 포함하며, 배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다.
다른 예로서, 전원공급부(860)는 연결포트를 이용하지 않고 무선방식으로 배터리를 충전하도록 이루어질 수 있다. 이 경우에, 전원공급부(860)는 외부의 무선 전력 전송장치로부터 자기 유도 현상에 기초한 유도 결합(Inductive Coupling) 방식이나 전자기적 공진 현상에 기초한 공진 결합(Magnetic Resonance Coupling) 방식 중 하나 이상을 이용하여 전력을 전달받을 수 있다.
한편, 이하에서 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
한편 도 9a 내지 도 9c는 본 발명의 실시 예에 따른 로봇(800)의 구조 및 외관의 예를 설명하기 위한 개념도이다.
먼저 본 발명의 실시 예에 따른 로봇(800)은 도 9a에서 보이고 있는 바와 같이 헤드(head)(902)와 바디(body)(906), 그리고 상기 헤드(902)와 바디(906)를 서로 연결하는 회전축(904)을 포함할 수 있다. 이 경우 상기 헤드(902) 또는 바디(906)는 각각 전면과 후면, 그리고 측면이 구분되도록 형성될 수 있으며, 상기 헤드(902)의 전면 또는 바디(906)의 전면 중 적어도 하나에는 카메라(821)가 형성될 수 있다. 그리고 상기 카메라(821)가 형성된 부위는, 상기 회전축(904)을 중심으로 영상을 센싱하는 방향이 변경될 수 있도록, 좌우 어느 방향으로도 소정 각도만큼 회전 가능하도록 형성될 수 있다. 따라서 상기 회전축(904)을 중심으로 상기 로봇(800) 주변의 영상이 센싱될 수 있다.
우선 도 9a의 (a) 및 (b)를 참조하여 살펴보면, 도 9a의 (a) 및 (b)는 로봇(800)의 헤드(902)에 카메라(821)가 형성되는 예를 도시한 것이다. 여기서 상기 카메라(821)가 형성되는 헤드(902)의 일 부분은 헤드(902)의 전면이 될 수 있다.
이처럼 헤드(902)의 전면에만 카메라(821)가 형성되는 경우, 로봇(800)은 바디(906)가 고정된 상태에서 상기 헤드(902)만 회전가능하도록 형성될 것일 수 있다. 이를 위해 바디(906)와 헤드(902)는 회전축(904)을 통해 서로 연결될 수 있으며, 상기 회전축(904)은 헤드(902)와 바디(906)을 연결하는 목(neck) 부위가 될 수 있다.
한편 상기 카메라(821)는 도 9a의 (b)에서 보이고 있는 바와 같이 로봇(800)의 바디(906)에 형성될 수도 있다. 이 경우 제어부(870)는 카메라(821)의 촬영 방향을 변경하기 위해, 상기 바디(906)가 회전축(904)을 중심으로 소정 각도 회전되도록 구동부(830)를 제어할 수 있다.
여기서 상기 바디(906)와 헤드(902)는 일체형으로 형성될 수 있다. 그리고 바디(906)와 헤드(902)가 일체형으로 생성되는 경우, 상기 바디(906)의 회전에 따라 헤드(902)가 함께 회전될 수 있다. 따라서 모니터링 방향에 따라 모니터링 정보(영상 정보)를 센싱하는 방향이 변경되면 로봇(800)의 헤드(902)가 따라서 회전되어, 상기 로봇(800)의 헤드(902)가 로봇(800)의 모니터링 방향을 항상 주시하도록 형성될 수 있다.
그러나 상기 바디(906)와 헤드(902)는 각각 다른 개별적으로 구동될 수도 있음은 물론이다. 이 경우 상기 바디(906)와 헤드(902)는 각각 다르게 구동될 수 있다. 즉, 바디(906)에 카메라(821)가 형성되어 있는 경우이므로, 로봇(800)의 바디(906)가 현재 설정된 모니터링 방향을 향하도록 회전되는 경우에도, 헤드(902)는 회전이 이루어지지 않을 수 있다.
나아가 차량의 주행에 따라 로봇(800)이 차량의 전방을 모니터링하는 경우, 바디(906)는 상기 모니터링 방향, 즉 차량의 전방을 향한다고 할지라도, 상기 로봇(800)의 헤드(902)는 차량의 전방이 아닌 다른 방향을 바라보도록 회전될 수 있다. 따라서 차량의 주행 중에 사용자가 로봇(800)을 호출하는 경우, 카메라(821)가 형성된 바디(906)는 계속 전방을 주시하면서, 헤드(902)의 전면이 사용자를 바라보도록 상기 로봇(800)의 헤드(902)만 회전될 수도 있다. 뿐만 아니라 상기 로봇(800)은 주행 중 운전자(예 : 사용자)가 아닌 다른 탑승객이 호출하는 경우, 그 탑승객을 향해 헤드(902)의 전면이 향하도록 헤드(902)를 회전할 수도 있음은 물론이다.
한편 상술한 설명에서는 하나의 카메라(821)가 형성되는 예를 설명하였으나 상기 카메라(821)는 복수개 구비될 수도 있음은 물론이다. 도 9b의 (a)는 이처럼 복수개의 카메라(821)가 구비되는 예를 도시한 것이다.
도 9b의 (a) 및 (b)를 참조하여 살펴보면, 도 9b의 (a) 및 (b)는 같은 높이에 복수의 카메라가 형성된 예를 보이고 있다. 보다 자세하게 도 9b의 (a)는 로봇(800)의 헤드(902)에, 도 9b의 (b)는 로봇(800)의 바디(906)에 각각 복수의 카메라가 형성된 예를 도시한 것이다. 그리고 상기 복수의 카메라는 회전축(904)을 중심으로 소정의 사이각을 이루도록 형성된 것일 수 있다.
여기서 상기 복수의 카메라는 각각 독립적으로 구동될 수 있다. 따라서 각각 서로 다른 방향의 영상을 센싱할 수 있으며, 이에 따라 동시에 두개 이상의 서로 다른 방향에 대한 모니터링을 수행할 수 있다. 일 예로 복수의 카메라 중 어느 하나는 차량의 전방을 모니터링하고, 다른 하나의 카메라는 사각 지대를 모니터링하는 용도로 사용될 수 있다. 이와 같은 경우, 사용자의 호출 등으로 인해 헤드(902)가 회전되면, 회전에 따라 차량의 전방을 모니터링하는 카메라는 사용자를 바라보게 되고, 다른 하나의 카메라가 차량의 전방을 바라보도록 함으로써, 회전이 발생함에도 불구하고 사용자와 차량의 전방이 동시에 모니터링할 수도 있다.
또한 상기 복수의 카메라 중 어느 하나는 차량의 전방을 모니터링하고, 다른 하나는 운전자를 모니터링할 수도 있다. 이 경우 차량의 전방 및 차량의 내측을 동시에 모니터링 할 수 있다.
한편, 상기 소정의 사이각은 120도 전후가 될 수 있다. 이는 로봇(800)이 차량의 대쉬 보드 중앙에 설치되는 경우, 운전석과 운전석 옆의 보조석이 형성된 일반적인 차량에서 운전자는 차량의 중심이 아닌, 차량 중심으로부터 좌측 또는 우측에 위치하므로, 로봇(800)이 설치된 위치로부터 차량의 전방과 운전자 사이의 각도가 대략 120도 전후가 될 수 있기 때문이다.
그러나 이는 상기 소정의 사이각의 일 예로서, 차량의 특성 및 종류에 따라 다르게 얼마든지 달라질 수도 있음은 물론이다. 일 예로 보조석이 없는 1인용 차량의 경우 상기 소정의 사이각은 180도일 수 있다. 이는 보조석이 없는 1인용 차량의 경우, 차량의 중심에 사용자가 위치하므로, 대쉬보드가 설치된 로봇(800)의 후방에 운전자가 위치할 수 있기 때문이다.
한편, 상기 도 9b의 (a) 및 (b)에서는 카메라(821)가 두 개인 경우를 예로 들어 설명하였으나, 얼마든지 더 많은 수의 카메라를 구비할 수도 있음은 물론이다. 일 예로 상기 복수의 카메라는 회전축(904)을 중심으로 120도 간격으로 3개가 구비될 수 있다. 이 경우 하나는 차량의 전방을, 다른 두 개는 각각 운전석에 착석한 운전자와, 보조석에 착석한 탑승자를 각각 모니터링하도록 제어될 수 있다.
또한 로봇(800)의 헤드(902)에는 도 9b의 (c)에서 보이고 있는 바와 같이 헤드(902)를 틸팅시킬 수 있는 틸팅 모터(950)가 더 구비될 수 있다. 여기서 '틸팅'은, 마치 로봇(800)이 위를 올려다보는 것과 같이, 상기 로봇(800)의 헤드 전면이 향하는 방향을 보다 위쪽 방향으로 변경하는 것일 수 있다. 뿐만 아니라 상기 '틸팅'은 마치 로봇(800)이 아래를 내려다보는 바와 같이, 상기 로봇(800)의 헤드 전면이 향하는 방향을 보다 아래쪽으로 변경하는 것일 수 있다. 이러한 틸팅 구동으로 상기 로봇(800)은 마치 고개를 끄덕이는, 즉 고개(얼굴 부위, 헤드(902))를 상하로 주억거리는 동작을 수행할 수 있다. 이에 따라 제어부(870)는 상기 틸팅 모터(950)와, 회전축(904)에 연결되는 회전축 구동 모터(960)를 병용하여, 상기 로봇(800)의 헤드(902), 보다 상세하게 헤드(902)의 전면이 향하는 방향을 상하좌우로 변경할 수 있다. 또한 상기 틸팅 모터는 헤드(902)가 상하 방향 뿐만 아니라 좌우 방향으로 이동하도록 구현될 수도 있다. 이 경우 상기 로봇(800)의 헤드는 상하 방향 뿐만 아니라 좌우 방향으로 이동(틸팅)될 수도 있다.
한편 도 9c는 본 발명의 실시 예에 따른 로봇(800) 외관의 예로서, 로봇(800)의 전면을 바라본 예를 보이고 있는 것이다.
도 9c를 참조하여 살펴보면, 본 발명의 실시 예에 따른 로봇(800)은 헤드(902)의 전면에는, 마치 눈(eye) 모양의 형상을 가지는 두 개의 광 출력부(854)가 형성될 수 있다. 그리고 제어부(870)는 사용자의 호출을 감지한 경우 또는 사용자 또는 기 등록되거나 사용자가 지정한 사람이 인식되었을 때에 상기 광 출력부(854)가 빛을 발광하도록 제어함으로써, 상기 호출이 감지되었음을 또는 인식이 완료되었음을 나타낼 수 있다.
또한 모니터링을 수행하는 경우에, 현재 모니터링이 이루어지고 있음을 나타내기 위해 상기 광 출력부(854)가 빛을 발광하도록 제어할 수 있다. 예를 들어 상기 로봇(800)은, 차량 블랙박스(black box) 기능의 일환으로, 차량의 시동이 오프(off)되고, 주차가 완료된 상태인 경우 상기 차량의 주변의 영상을 센싱하고 저장할 수 있는 기능을 수행할 수 있다. 이러한 경우 로봇(800)은 차량 외부에서 차량으로 기 설정된 거리 이내로 사람 또는 사물이 근접하면, 상기 광 출력부(854)를 발광시킴으로서 근접한 사람 또는 사물에 대한 모니터링이 이루어지고 있음을 표시할 수 있다. 즉, 차량으로 접근한 사람 또는 다른 차량을 운전하는 운전자에게, 현재 로봇(800)이 설치된 차량에 대한 모니터링이 이루어지고 있음을 주지함으로써, 차량에 대한 잠재적인 위협을 미연에 제거할 수 있다.
한편 상기 헤드(902)의 전면은 카메라(821)가 형성될 수 있다. 이처럼 카메라(821)가 헤드(902) 전면에 형성되는 경우, 카메라(821)가 영상을 센싱하는 방향, 즉 모니터링을 수행하는 방향에 따라 상기 헤드(902)의 전면이 향하는 방향이 변경될 수 있다. 상술한 설명에 따르면 상기 카메라(821)는 헤드(902) 뿐만 아니라 바디(906)에도 얼마든지 형성될 수 있으나, 이하의 설명에서는 도 9c의 (a)에서 보이고 있는 바와 같이, 헤드(902)의 전면은 카메라(821)가 형성되는 경우를 예로 들어 설명하기로 한다.
한편 상기 로봇(800)의 바디(906)에는 도시되지는 않았으나, 오디오 데이터를 출력하기 위한 음향 출력부(852)가 구비될 수 있으며, 사용자의 음성 및 차량 내부 또는 외부에서 발생하는 음향을 감지하기 위한 마이크(822)가 구비될 수 있다.
또한 본 발명의 실시 예에 따른 로봇(800)은 바디(906)에 연결되는 복수의 암(arm) 들(970a, 970b)을 포함할 수 있다. 상기 암 들(970a, 970b)은 연결축을 통해 상기 바디(906)와 연결될 수 있다. 또한 상기 연결축은 서로 다른 회전축 구동 모터에 의해 구동될 수 있으며, 각각 서로 독립적으로 구동될 수 있다. 이에 따라 도 9c의 (b)에서 보이고 있는 바와 같이, 로봇(800)이 한쪽 팔을 들어 올리는 제스처와 같이, 암 들(970a, 970b) 중 어느 하나만 소정 각도 회전시킬 수 있다. 또는 도 9c의 (c)에서 보이고 있는 바와 같이, 로봇(800)이 양팔을 모두 들어올리는 제스처를 취할 수 있도록 암 들(970a, 970b) 모두를 소정 각도 회전시킬 수도 있다.
한편 이러한 로봇(800)의 제스처는 상기 광출력부(850)의 출력과 연계되어 이루어 질 수도 있다. 즉 광 출력부(854)의 빛을 서로 다르게 출력 및 상기 암 들(970a, 970b)을 이용한 제스처를 서로 다르게 함으로써, 감정 표현과 같은 효과를 내도록 할 수도 있음은 물론이다.
일 예로, 사용자가 인식되는 경우 로봇(800)의 제어부(870)는 광 출력부(854)가 빛을 빠르게 점멸하면서 양 팔을 모두 들어올리는 제스처를 취하도록 제어할 수 있다. 또한 음향 출력부(852)를 통해 '반갑습니다. 어서오세요!!' 와 같은 음성 메시지가 출력되도록 함으로써, 로봇(800)이 인식된 사용자를 반갑게 맞이하는 것과 같은 효과를 낼 수 있다. 여기서 사용자는 상기 로봇(800)의 소유자일 수 있으며, 상기 로봇(800)이 설치된 차량의 소유자 또는 상기 차량의 지정된 운전자일 수 있다.
반면 사용자가 아닌 탑승자(예 : 사용자에 의해 탑승이 허가된 자, 또는 탑승이 지정된 자)인 경우라면, 로봇(800)은 한쪽 팔만을 들거나, 또는 광 출력부(854)의 적은 발광량 및, '어서 오세요.' 와 같은 축약된 멘트 만을 출력할 수도 있음은 물론이다. 따라서 로봇(800)과 사용자 사이의 유대감이 보다 깊어질 수 있으며, 상기 로봇(800)이 사용자에 대해 보다 깊은 인터렉션을 가지는 것으로 사용자가 느끼도록 할 수 있다
한편 상기 로봇(800)은 통신부(810)를 통해 다양한 기기와 연결될 수 있다. 여기서 상기 다양한 기기는 사용자의 이동 단말기를 포함할 수 있다. 즉, 로봇(800)은 사용자의 이동 단말기를 통해 사용자의 이동 단말기에 저장된 다양한 정보를 제공받을 수 있으며, 제공받은 정보를 저장할 수 있다. 그리고 저장된 정보에 따라 다양한 기능을 수행할 수 있다.
일 예로, 제어부(870)는 이동 단말기에 저장된 사용자의 개인 정보로부터 사용자의 생일, 결혼 기념일과 같은 기념일이나 스케줄 정보를 획득할 수 있다. 그리고 사용자가 인증되는 경우 상기 기념일 또는 스케줄 정보와 현재 날짜에 근거하여 사용자의 기념일을 축하하거나, 그날의 스케줄을 사용자에게 음성 등으로 통지할 수 있다. 이 경우 제어부(870)는 발광 및 암 들(970a, 970b)을 이용한 제스처를 취하도록 상기 광 출력부(854) 및 암 들(970a, 970b)과 연결된 회전축 구동 모터들을 제어할 수 있다.
한편 상술한 설명에서 틸팅 모터 및 회전축 구동 모터는 액추에이터로 구현될 수 있다. 상기 액추에이터는 상기 헤드(902) 또는 바디(906)가 회전할 수 있는 외력을 가하도록 형성될 수 있다. 일 예로 상기 헤드(902)가 회전할 수 있도록 형성된 경우, 액추에이터는 상기 헤드(902)가 바디(906)에 대해 상대 이동이 가능한 외력을 발생시킬 수 있다. 또한 상기 암 들(970a, 970b) 각각과 연결된 액추에이터들은 바디(906)에 대해 상대 이동이 가능한 외력을 각각 발생시킴으로서, 상기 암 들(970a, 970b) 중 적어도 하나를 상기 바디(906)에 대해 상대 이동시킬 수 있도록 형성될 수 있다. 따라서 헤드(902) 또는 바디(906)나 암(970a 또는 970b)의 구동은 상기 액추에이터를 제어부(870)가 제어함으로서 이루어질 수 있다. 그러므로 이하 헤드(902) 또는 바디(906)나 암(970a 또는 970b)이 회전 또는 틸팅되도록 액추에이터가 제어되는 것을, 상기 헤드(902) 또는 바디(906)나 암(970a 또는 970b)이 구동된다고 설명하기로 한다.
한편 도 10은 본 발명의 실시 예에 따른 로봇(800)이 차량에 설치된 예를 설명하기 위한 개념도이다.
먼저 도 10의 (a)를 참조하여 살펴보면, 본 발명의 실시 예에 따른 로봇(800)은 차량의 윈드 쉴드 글래스(1050) 아래에 형성된 대쉬보드(1000) 상에 설치될 수 있다. 그리고 차량의 상태, 즉 차량이 주행 중인지 그렇지 않은지 여부, 그리고 차량을 운전하는 운전자가 사용자인지 여부 등에 따라 차량 내부를 모니터링하거나 또는 차량 외부를 모니터링 할 수 있다.
도 10의 (a)는 로봇(800)이 차량 내부를 모니터링 하는 경우의 예를 보이고 있는 것이다. 이러한 경우 로봇(800)의 광 출력부(854), 카메라(821) 등이 형성된 로봇(800)의 헤드(902) 전면이 차량 내부를 향할 수 있으며, 이에 따라 차량 내부로부터 센싱되는 정보들이 수집 및 저장될 수 있다. 일 예로 로봇(800)은 차량 내부의 모니터링을 통해 현재 차량을 운전하는 운전자를 식별할 수 있으며, 운전자가 사용자인지 여부에 따라 서로 다른 기능을 제공할 수 있다.
한편 도 10b는 로봇(800)이 차량 외부를 모니터링 하는 경우의 예를 보이고 있는 것이다. 이러한 경우 도 10b에서 보이고 있는 바와 같이 로봇(800)의 헤드(902) 전면은 차량의 주행 방향, 즉 차량의 전방을 향할 수 있다. 한편 상기 로봇(800)의 헤드(902)는 상술한 바와 같이 좌우로 회전될 수 있으며, 이에 따라 로봇(800)의 헤드(902)가 향하는 방향, 즉 로봇(800)의 주시 방향(1010)이 좌우로 변경될 수 있다.
도 11은 본 발명의 실시 예에 따른 로봇(800)의 제어 방법을 설명하기 위한 흐름도이다.
도 11을 참조하여 살펴보면, 먼저 로봇(800)의 제어부(870)는 로봇(800)과 연결된 차량의 상태를 감지할 수 있다(S1100). 일 예로 상기 S1100 단계는 상기 차량이 주행 중인지 또는 주행 중이 아닌 상태인지 여부를 판단하는 단계일 수 있다. 여기서 상기 차량이 주행 중인지 여부는 차량이 시동이 걸려있는 상태인지 여부에 따라 결정될 수 있다. 즉 시동이 온 된 상태인 경우 로봇(800)은 현재 차량이 주행 중인 상태라고 판단할 수 있으며, 시동이 오프된 상태인 경우 로봇(800)은 현재 차량이 주행하지 않는 상태라고 판단할 수 있다.
여기서 차량이 주행하지 않는 상태, 즉 차량의 시동이 오프된 상태인 경우라면, 제어부(870)는 상기 차량에 구비된 적어도 하나의 기능 및 장치가, 상기 차량의 시동이 꺼진 상태에서도 동작하도록 할 수 있다. 일 예로 로봇(800)은 차량의 시동이 꺼진 상태에서라도 상기 차량 주변에 사람 또는 사물이 근접하는 것을 감지하기 위한 적어도 하나의 센서가 동작하도록 제어할 수 있으며, 상기 차량 주변으로부터 모니터링 되는 정보를 수집 및 저장하는 블랙박스 기능의 동작이 유지되도록 할 수 있다. 이를 위해 상기 로봇(800)의 제어부(870)는, 상기 차량의 시동이 꺼진 상태에서 상기 차량의 적어도 하나의 기능 및 장치를 선택적으로 제어할 수 있다. 이처럼 차량의 시동이 꺼진 상태에서 적어도 하나의 차량의 장치가 동작하도록 차량이 제어되는 것을 저전력 모드라고 칭할 수도 있다.
또한 상기 S1100 단계는 차량에 사람이 탑승하는지 하자하는지 여부를 감지하는 단계일 수 있다. 즉 제어부(870)는 시동이 꺼지지 않은 상태라고 할지라도, 차량이 이동하지 않은 상태에서 차량이 도어가 오픈되는 경우 탑승자가 있거나 또는 탑승자가 하차를 하는 경우가 발생한 것으로 판단할 수 있다. 이처럼 상기 S1100 단계는 차량의 동작 상태 및 차량 내부 및 외부에서 발생하는 변화를 감지하는 단계일 수 있다.
또한 상기 S1100 단계는 차량의 주행 모드를 판별하는 단계일 수 있다. 이 경우 제어부(870)는 S1100 단계에서, 차량이 현재 자율 주행 중인지 또는 운전자가 직접 운전하는 수동 주행 중인지 여부를 감지할 수 있다.
한편 S1100 단계에서 차량의 상태가 감지되면 제어부(870)는 감지된 차량의 상태에 따라 차량의 내부 또는 외부를 모니터링 할 수 있다(S1101).
기본적으로 차량이 주행하는 상태인 경우에, 제어부(870)는 차량 외부의 주행 환경을 모니터링할 수 있다. 이에 제어부(870)는 로봇(800)의 헤드(902)가 차량 전방을 향하도록 제어할 수 있으며, 상기 차량의 전방 우측 또는 좌측으로, 지나가는 다른 차량이나 건물 또는 사람 등이 있는 경우, 상기 다른 차량이나 건물 또는 사람 등을 감지할 수 있도록 헤드(902)를 회전시킬 수 있다. 이에 따라 상기 로봇(800)의 헤드(902)는 차량의 주행에 따라 차량 전방의 좌측 및 우측으로 회전될 수 있으며, 마치 로봇(800)이 좌우를 두리번거리는 것과 같은 모양을 연출할 수 있다. 여기서 상기 로봇(800)의 헤드(902)가 회전되는 속도는 차량의 속도에 따라 결정될 수 있다. 즉 차량의 속도가 기 설정된 속도 이하일 때에는 로봇(800)이 설치된 차량 주변의 사물이 느리게 이동하는 것처럼 보이므로, 상기 헤드(902)는 느린 속도로 회전될 수 있다.
반면 차량의 속도가 기 설정된 속도를 초과할 때에는 로봇(800)이 설치된 차량 주변의 사물이 보다 빠르게 이동하는 것처럼 보이므로, 헤드(902)가 회전되는 속도는 보다 빨라질 수 있다. 한편 상기 헤드(902)가 회전 뿐만 아니라 틸팅과 같이 상하 및/또는 좌우 방향으로 이동 가능하게 형성된 경우, 또는 그 외의 구성으로 인해 헤드(902)가 이동 가능하게 형성된 경우, 상기 헤드(902)의 이동 속도와 이동 거리가 상기 차량의 주행 속도에 따라 결정될 수 있다.
한편 상기 S1100 단계에서 차량의 상태를 감지 결과, 탑승객(운전자)이 승차 또는 하차 하는 등의 변화가 감지된 경우라면, 로봇(800)의 제어부(870)는 차량 내부의 모니터링을 수행할 수 있다. 이 경우 제어부(870)는 로봇(800)의 헤드(902)가 차량 내부를 향하도록 제어할 수 있으며, 상기 차량의 내부로부터 감지되는 운전자 및 탑승자를 식별할 수 있다.
이 경우 제어부(870)는 운전자의 영상으로부터 운전자가 사용자인지 여부를 식별할 수 있다. 여기서 사용자는 상기 로봇(800) 또는 로봇(800)이 설치된 차량의 소유자일 수 있으며, 상기 로봇(800) 또는 차량에 사용자로서 등록된 자일 수 있다.
반면 제어부(870)는 차량의 운전자가 사용자가 아닌 경우, 즉 등록되지 않은 운전자가 차량을 운전하는 경우, 로봇(800)의 제어부(870)는 차량 내부의 모니터링을 지속적으로 수행할 수 있다. 여기서 상기 등록되지 않은 운전자는 대리 운전 기사, 발렛 파킹 요원 등을 의미할 수 있다. 이 경우 로봇(800)의 카메라를 통해 상기 운전자의 영상이 센싱 및 저장될 수 있다.
그러나 제어부(870)는 운전자를 식별한 결과, 차량의 운전자가 기 등록된 사용자인 경우, 다시 차량 외부의 주행 환경을 모니터링할 수 있으며, 이 경우 로봇(800)의 헤드(902)는 다시 차량의 전방을 향하도록 제어될 수 있다.
또한 제어부(870)는 차량에 운전자 외에 탑승자가 있는지 여부에 따라 차량 내부 또는 외부의 모니터링을 수행할 수도 있다. 즉, 차량의 운전자가 기 등록된 사용자인 경우, 운전자를 제외한 탑승객이 있는 경우라면 로봇(800)은 차량 내부의 모니터링을 수행할 수 있다. 그러나 운전자를 제외한 탑승객이 없는 경우라면 다시 차량 외부의 주행 환경을 모니터링할 수 있다.
또한 제어부(870)는 차량의 운전 모드에 따라 차량 내부 또는 외부의 모니터링을 수행할 수도 있다. 즉, 차량이 자율 주행 중이라면 로봇(800)은 차량 내부의 모니터링을 수행할 수 있다. 그러나 차량이 수동 주행 중이라면 로봇(800)은 차량 외부의 주행 환경을 모니터링할 수 있다.
한편 제어부(870)는 기 설정된 조건이 충족되는 경우에, 현재 차량의 운전자가, 상기 로봇(800) 또는 차량의 사용자라도, 사용자를 모니터링 할 수 있다. 일 예로 제어부(870)는 사용자가 로봇(800)을 호출하는 경우 사용자로부터 명령을 인가받기 위해 사용자를 모니터링할 수도 있다. 또는 사용자가 운전 중에 통화를 하는 경우 상기 사용자를 모니터링 할 수도 있다. 또는 차량에 기 설정된 수준 이상의 충격 또는 진동이나 온도 상승 등이 감지되는 경우, 상기 사용자를 모니터링 할 수도 있다. 이는 갑작스러운 사고 상황이 발생할 때에 사용자를 모니터링 한 결과를, 구조대 또는 지인에게 송부함으로써 사용자가 보다 빨리 구조될 수 있도록 하기 위함이다. 또한 이 경우 로봇(800)의 자신의 위치 정보를 함께 전송할 수 있다. 그리고 이처럼 사용자를 모니터링하는 경우, 제어부(870)는 로봇(800)의 헤드(902)가 차량 내부, 즉 사용자를 향하도록 제어할 수 있다.
한편 상기 S1100 단계에서 차량의 상태를 감지 결과, 차량이 주행하지 않는 상태, 예를 들어 시동이 오프된 상태라면, 제어부(870)는 블랙박스 기능을 통해 차량 주변의 상황을 모니터링 할 수 있다. 일 예로 제어부(870)는 차량 외부로부터 기 설정된 거리 이내에 사람 또는 사물이 근접하는 경우 이를 감지할 수 있다. 그리고 감지되는 방향으로 로봇(800)의 헤드(902) 전면이 향하도록 상기 로봇(800)의 헤드를 구동하여, 상기 근접한 사람 또는 사물을 향해 지향 촬영이 이루어질 수 있도록 한다. 이는 상술한 바와 같이 로봇(800)의 구조 상 회전 및 틸딩 가능한 헤드(902)를 가지고 있으므로, 강한 지향성을 가지기 때문이다. 따라서 예를 들어 차량의 측면에 다른 차량이 주차하는 경우, 주차 과정과 주차 후 상기 다른 차량의 운전자가 하차하는 상황을 지속적으로 지향 촬영함으로써, 상기 다른 차량으로 인한 차량 손상 여부를 방지 및 발생된 차량 손상에 대한 책임 여부를 규명을 위한 증거 자료를 저장할 수 있다.
한편 상기 차량의 외부로부터 기 설정된 거리 이내에 근접하는 사람 또는 사물이 다수인 경우, 제어부(870)는 상기 다수의 사람 및 사물 각각에 대한 우선순위를 산출할 수 있다. 예를 들어 제어부(870)는 차량에 근접하는 대상이 사람인지 사물인지 유형을 결정하고, 결정된 유형 및 사람 또는 사물의 크기, 그리고 차량에 상기 사람 또는 사물이 근접하는 속도 중 적어도 하나에 근거하여 상기 우선순위를 산출할 수 있다. 그리고 산출된 우선순위 중 가장 높은 우선순위를 가지는 대상을 촬영하도록 상기 로봇(800)의 헤드(902)를 구동할 수 있다.
한편 차량 외부로부터 기 설정된 거리 이내로 근접하는 사람 또는 사물이 감지되는 경우에, 상기 근접하는 사람 또는 사물의 촬영이 어려운 경우, 제어부(870)는 상기 근접하는 사람 또는 사물의 촬영을 위해 차량을 제어하기 위한 제어 명령을 생성할 수 있다. 이 경우 생성된 제어 명령은 통신부(810)를 통해 차량으로 전송될 수 있으며, 이에 따라 상기 제어부(870)의 제어에 따른 차량의 자율 주행이 이루어질 수 있다.
한편 S1102 단계의 모니터링 중에 감지되는 상황에 근거하여 제어부(870)는 헤드(902)를 구동 및 오디오 데이터 또는 빛이 발광되도록 출력부(850)를 제어할 수 있다(S1102).
우선 제어부(870)는 차량 외부의 주행 환경을 모니터링 하는 중에 사용자의 입력이 있는 경우, 사용자의 입력에 따라 헤드(902)를 구동할 수 있다. 예를 들어 제어부(870)는 차량의 주행 중에, 사용자로부터 특정 사물 또는 랜드마크에 대한 정보의 확인을 요청받을 수 있으며, 이 경우 사용자의 시선에 대응하는 사물 또는 랜드마크에 대한 정보를 검색 및 이를 출력할 수 있다. 이를 위해 로봇(800)은 차량의 카메라(821)로부터 사용자의 안구 및 동공 영상을 수신할 수 있으며, 수신된 영상으로부터 사용자의 시선에 대응하는 차량 외부의 사물 또는 랜드마크를 검출할 수 있다. 이 경우 제어부(870)는 상기 검출된 사물, 즉 사용자의 시선에 대응하는 사물 또는 랜드마크를 지향하도록 헤드(902)를 구동할 수 있으며, 음향 출력부(852)를 통해 상기 사용자의 시선에 대응하는 사물 또는 랜드마크의 검색 결과를 출력할 수 있다.
한편 본 발명의 실시 예에 따른 로봇(800)은 디스플레이부(851)로서 프로젝터를 포함할 수 있다. 이 경우 제어부(870)는 상기 프로젝터를 통해 빔을 윈드 쉴드 글래스의 적어도 일부 영역에 영사할 수 있으며, 영사되는 빔을 통해 이미지 정보를 출력할 수 있다. 즉, 상기 윈드 쉴드 글래스는 이미지 정보가 표시되는 스크린으로서의 역할을 수행할 수 있다.
한편 상기 이미지 정보는 차량 외부로부터 식별되는 다양한 사물에 대응되는 것일 수 있다. 일 예로 상기 이미지 정보는 다른 차량을 식별한 정보, 주행 중인 차량 주변의 사물이나 건물 또는 랜드마크일 수 있다. 따라서 상술한 바와 같이 랜드마크가 검색되는 경우, 제어부(870)는 프로젝터에서 영사되는 빔으로 상기 검색된 정보를 윈드 쉴드 글래스 상에 표시할 수 있다. 이 경우 상기 윈드 쉴드 글래스 상에 표시되는 정보는 상기 윈드 쉴드 글래스를 통해 보여지는 사물 또는 건물이나 랜드마크의 위치에 표시될 수 있다.
이처럼 이미지 정보가 윈드 쉴드 글래스 상에 표시되는 상태에서, 차량의 주행에 따라 상기 윈드 쉴드 글래스를 통해 보여지는 사물이나 사람 또는 건물이나 랜드마크의 위치가 변경되는 경우, 제어부(870)는 상기 변경되는 위치에 따라 상기 이미지 정보가 표시되는 영역을 변경할 수 있다. 따라서 상기 표시되는 이미지 정보는 상기 사물 이나 사람, 건물 또는 랜드마크의 이동에 따라 이동되어 표시될 수 있다.
이를 위해 제어부(870)는 차량을 중심으로 생성되는 방사형 좌표를 이용하여 차량 전방으로부터 사용자의 시선에 대응하는 사물이나 건물 또는 랜드마크가 위치한 방향을 산출할 수 있으며, 산출된 방향 및 네비게이션 정보 또는 지형 정보에 근거하여 상기 사용자의 시선에 대응하는 사물이나 건물 또는 랜드마크를 식별할 수 있다.
또한 차량이 주행 속도와 상기 차량 중심 방사형 좌표를 이용하여 상기 윈드 쉴드 글래스를 통해 보여지는 상기 식별된 사물이나 건물 또는 랜드마크의 위치 이동을 검출할 수 있다. 또는 로봇(800)의 카메라(821)로부터 윈드 쉴드 글래스를 촬영한 결과로부터 상기 윈드 쉴드 글래스를 통해 보여지는 상기 식별된 사물이나 건물 또는 랜드마크의 위치 이동을 검출할 수도 있다.
한편 제어부(870)는 상기 윈드 쉴드 글래스에 대해 인가되는 사용자의 터치를 식별할 수 있다. 그리고 인가되는 터치에 따른 기능을 사용할 수 있다. 일 예로 제어부(870)는 윈드 쉴드 글래스로부터 센싱되는 영상에 근거하여 사용자의 터치가 입력된 상기 윈드 쉴드 글래스의 일 지점을 식별할 수 있다. 그리고 식별된 지점이 상기 이미지 정보가 표시되는 지점인 경우라면, 출력되는 이미지 정보, 즉 검색된 사물이나 건물 또는 랜드마크의 정보를 음성 신호 또는 이미지 정보로 출력할 수 있다.
뿐만 아니라 제어부(870)는 상기 터치가 식별된 지점에 대응하는 사물이나 건물 또는 랜드마크의 정보를 검색할 수도 있다. 일 예로 제어부(870)는 사용자의 시선, 상기 윈드 쉴드 글래스로부터 센싱된 영상 및, 상기 차량을 중심으로 형성되는 방사형 좌표계 중 적어도 하나에 근거하여, 현재 윈드 쉴드 글래스를 통해 보여지는 사물이나 건물 또는 랜드마크 중, 사용자가 터치한 윈드 쉴드 글래스의 일 지점에 대응하는 것을 식별할 수 있다. 그리고 식별된 사물이나 건물 또는 랜드마크에 대한 검색을 수행하고 검색 결과를 출력할 수 있다.
한편 제어부(870)는 블랙박스 기능을 통해 차량 주변의 상황이 모니터링되는 경우 상기 로봇(800)의 헤드(902)에 구비된 광 출력부(854)가 빛을 발광하도록 함으로써, 차량에 기 설정된 거리 이내로 접근하는 사람에게 현재 블랙박스 기능을 위한 모니터링이 수행되고 있음을 나타낼 수도 있다. 이 경우 제어부(870)는 로봇(800)의 상기 발광하는 광 출력부(854)가 구비된 헤드(902) 전면이 차량에 근접한 사람 또는 사물 방향을 향하도록 상기 헤드(902)를 구동할 수 있다.
또한 제어부(870)는 근접한 사람 또는 사물과 차량 사이의 거리에 근거하여 차량의 라이트(예 : 비상 조명등, 헤드 라이트 등)를 적어도 하나 발광되도록 함으로써, 인접한 거리에 차량이 있음을 알리는 효과를 증대시킬 수 있다.
한편 제어부(870)는 사용자의 음성 신호를 검출한 결과에 따라 헤드(902)의 전면이 사용자를 향하도록 헤드(902)를 구동할 수 있다. 예를 들어 사용자가 로봇(800)을 호출하는 경우 사용자로부터 명령을 인가받기 위해 사용자가 위치하는 방향으로 헤드(902)의 전면 방향이 향하도록 상기 헤드(902)가 구동될 수 있다. 또는 사용자가 운전 중에 통화를 하거나, 차량에 기 설정된 수준 이상의 충격 또는 진동이나 온도 상승 등이 감지되는 경우, 제어부(870)는 로봇(800)의 헤드(902)가 차량 내부, 즉 사용자를 향하도록 헤드(902)를 구동할 수 있다.
그리고 제어부(870)는 모니터링 결과에 따라 서로 다른 기능들을 수행할 수 있다(S1104).
일 예로 차량의 내부 모니터링을 통해 운전자가 사용자인지 여부를 식별한 결과, 운전자가 기 등록된 사용자라면 광 출력부(854)에서 발광되는 빛 또는 음성 메시지 등으로 반가움을 표시할 수 있다. 이 경우 현재 날짜가 기 등록된 사용자의 기념일인 경우라면 보다 발광되는 빛의 세기 또는 암의 움직임 등이 보다 커지도록 할 수 있다. 반면 등록된 사용자가 아닌 경우라면 '안전 운전 부탁드립니다.'와 같은 안전 운전을 요청하는 음성 메시지를 출력할 수 있다.
한편 상기 블랙박스 기능을 통해 차량 주변의 상황을 모니터링 하는 경우에 기 설정된 상황이 발생하는 경우 기 등록된 사용자의 이동 단말기로 모니터링 된 정보를 바로 전송할 수 있다. 여기서 상기 기 설정된 상황은 기 설정된 세기 이상의 충격 또는 진동이 발생하거나, 기 설정된 크기 이상의 소음이 발생하는 경우 등일 수 있다.
한편 상기 블랙박스 기능을 통해 차량 주변의 상황을 모니터링 하는 경우에 차량으로 사람 또는 사물이 보다 근접하는 경우라면, 제어부(870)는 경고를 출력하거나 또는 안내 메시지를 출력할 수 있다. 일 예로 제어부(870)는 차량이 비상등 또는 라이트 등이 발광되도록 제어하거나, 또는 '무엇을 도와드릴까요'와 같은 음성 메시지를 출력할 수 있다. 그리고 차량 가까이에 접근한 사람의 요청이 있는 경우 기 등록된 사용자의 이동 단말기에 호를 착신하고, 사용자의 이동 단말기가 연결되면, 상기 로봇(800)의 카메라(821) 또는 마이크(822) 중 어느 하나로부터 센싱되는 영상 신호 및 음성 신호 중 적어도 하나를 사용자의 이동 단말기에 전송할 수 있다.
한편 차량의 시동이 오프된 경우 제어부(870)는 차량 외부의 상황을 모니터링 할 수 있다. 이 경우 기 등록된 사용자가 차량 외부에서 감지되는 경우 제어부(870)는 사용자가 바로 차량에 탑승할 수 있도록 자동으로 차량의 도어를 오픈할 수 있다. 예를 들어 제어부(870)는 기 등록된 사용자의 음성 또는 걸음걸이 등으로 상기 사용자를 인증하거나 또는 사용자의 얼굴로부터 추출된 특징에 근거하여 사용자를 인증할 수 있다(안면 인식).
이 경우 제어부(870)는 사용자의 인증이 성공적으로 이루어졌음을 나타내기 위해 차량의 다양한 장치들 중 어느 하나가 동작하도록 제어 명령을 생성할 수 있다. 여기서 상기 차량의 다양한 장치들은 클락션이나, 방향 지시등, 또는 적어도 하나의 차량 내부의 램프등을 포함할 수 있다. 여기서 제어부(870)는 상기 인식된 사용자와 상기 차량 사이의 거리에 따라 상기 다양한 장치들이 서로 다르게 동작하도록 제어 명령을 생성할 수 있다.
한편 상기 사용자의 인증은, 사용자가 구비한 물체, 예를 들어 이동 단말기를 통해 수행될 수도 있음은 물론이다. 이러한 경우 제어부(870)는 상기 사용자의 이동 단말기가 차량으로부터 기 설정된 거리 이내에 근접함에 따라 사용자의 인증을 수행할 수 있으며, 인증 결과에 따라 또는 상기 인증된 사용자와 차량 사이의 거리에 따라 상기 차량에 구비된 복수의 장치가 선택적으로 동작하도록 제어하기 위한 제어 명령을 생성할 수 있다.
한편 상술한 바와 같이 기 등록된 사용자가 인증되는 경우, 로봇(800)의 제어부(870)는 다양한 제스처 및 광 출력부(854)의 발광을 통한 웰커밍 리액션(well coming reaction)을 출력할 수 있음을 언급한 바 있다. 이 경우 기 등록된 사용자가 여러명 있는 경우라면 제어부(870)는 각각의 사용자마다 서로 다르게 웰 커밍 리액션을 출력할 수 있다.
한편 상기 블랙박스 기능을 통해 차량 주변의 상황을 모니터링 하는 경우에 제어부(870)는, 차량의 각 방향에 대하여, 차량으로부터 기 설정된 거리 이내로 접근하는 사람 또는 사물에 대한 정보를 메모리에 저장할 수 있다. 그리고 상기 차량의 각 방향에 대해, 차량에 접근한 사람 또는 사물의 정보에 근거하여 각 방향에 대한 접근 횟수의 통계를 산출할 수 있다. 그리고 산출된 횟수에 근거하여 사람 또는 사물이 가장 많이 접근한 차량의 일 방향을 기본 촬영 방향으로 설정할 수 있다. 이에 따라 차량의 시동이 오프되면, 카메라(821)가 상기 기본 촬영 방향을 향하도록 제어부(870)는 헤드(902)를 구동할 수 있다.
한편 차량이 주차 또는 정차된 상태(시동이 오프된 상태 포함)에서 차량에 접근하는 사람이 있는 경우, 제어부(870)는 감지된 사람의 얼굴을 센싱하기 위해, 헤드(902)의 전면이 상기 감지된 사람의 얼굴 방향을 향하도록 상기 헤드(902)를 구동할 수 있다.
일 예로 제어부(870)는 차량에 탑승된 이력이 있는 탑승자의 경우, 기 등록된 사용자의 지정에 따라 해당 탑승자의 얼굴 영상을 센싱하고 센신된 영상으로부터 추출되는 얼굴 특징에 근거하여 상기 지정 탑승자를 감지할 수 있다. 또는 제어부(870)는 사용자로부터 지정 탑승자의 얼굴 영상이 입력되는 경우, 입력된 영상으로부터 상기 지정 탑승자의 식별을 위한 얼굴 특징을 검출할 수 있다. 여기서 상기 지정 탑승자의 얼굴 영상은 상기 기 등록된 사용자의 이동 단말기를 통해 입력될 수도 있음은 물론이다.
한편 사용자는 상기 지정 탑승자의 얼굴 특징이 제어부(870)에 전송된 이력이 있는 경우 상기 지정 탑승자의 이름을 지정하여 미리 지정 탑승자의 탑승을 예약할 수도 있다. 또는 이동 단말기를 통해 로봇(800)과 연결하여 음성으로 상기 지정 탑승자의 탑승을 예약할 수 있다. 이 경우 제어부(870)는 사용자의 음성을 인식한 결과를 통해, 올바른 사용자로부터 입력된 음성 명령인지 여부를 판별할 수 있다.
이처럼 지정 탑승자의 탑승이 예약된 상태인 경우, 제어부(870)는 차량에 접근한 사람의 얼굴 영상을 센싱하고, 센싱된 영상으로부터 추출된 특징과 상기 탑승이 예약된 지정 탑승자의 얼굴 특징을 비교할 수 있다. 그리고 비교 결과 예약된 지정 탑승자가 차량에 접근한 경우라면, 상기 지정 탑승자가 도어를 열고 차량에 탑승할 수 있도록, 차량의 도어 락을 해제할 수 있다. 그리고 상기 인증이 완료되었음을 나타내기 위해 램프를 발광하거나 또는 지정된 버저음이 출력되도록 차량을 제어하기 위한 제어 명령을 생성할 수 있다.
한편 상기 지정 탑승자의 경우, 탑승 가능한 좌석 및 이용 가능한 기능이 제한될 수 있다. 일 예로 지정 탑승자는 보조석 또는 뒷좌석에 착석하도록 제한될 수 있다. 또한 지정 탑승자의 경우 AVN(Audio Video System) 및 실내 공조 시스템의 조작은 가능하나, 차량의 주행 제어와 관련된 기능은 조작이 불가능할 수 있다. 즉, 지정 탑승자가 차량의 시동을 온 하는 등 주행을 위한 제어를 시도하는 경우, 제어부(870)는 상기 지정 탑승자의 제어에 따라 차량이 제어되지 않도록 차량을 제어하기 위한 제어 명령을 생성할 수 있다. 또한 허가되지 않은 운전자임을 알리는 안내 메시지를 출력할 수 있다.
한편 상기 지정 탑승자가 차량에 근접하지 않은 경우에도, 상기 지정 탑승자가 감지되는 경우 제어부(870)는 상기 지정 탑승자에게 차량의 위치를 알리기 위한 신호를 출력할 수 있다. 이를 위해 제어부(870)는 차량의 클락션 또는 라이트를 구동하기 위한 제어 명령을 생성할 수 있다. 이 경우 상기 지정 탑승자가 차량 가까이로 근접함에 따라, 제어부(870)는 상기 지정 탑승자가 차량의 위치를 보아 명확하게 식별할 수 있도록, 상기 차량과 지정 탑승자 사이의 거리에 따라 차량에 구비된 복수의 장치(예 : 클락션, 라이트, 램프 등)를 선택적으로 제어하기 위한 제어 명령을 생성할 수 있다. 또한 지정 탑승자가 충분히 가까운 거리에 근접하는 경우, 상기 지정 탑승자에게 탑승을 권유하는 음성 알람을 출력할 수 있다. 그리고 지정 탑승자가 차량에 탑승하는 경우 기 등록된 사용자의 이동 단말기로, 상기 지정 탑승자의 탑승을 알리기 위한 정보를 전송할 수 있다.
한편 이상의 설명에서는 본 발명의 실시 예에 따른 로봇(800)의 구조 및 차량으로부터 감지되는 상태에 따라 차량 내부 및 외부를 모니터링하고, 모니터링 결과에 따른 기능을 수행하는 상기 로봇(800)의 동작 과정들을 자세히 살펴보았다.
이하의 설명에서는 본 발명의 실시 예에 따른 로봇(800)이 차량 내부 및 외부를 모니터링하고 모니터링 결과에 따른 기능을 수행하는 다양한 실시 예들을 하기 도 12a 내지 도 16을 참조하여 보다 자세하게 살펴보기로 한다.
도 12a는 본 발명의 실시 예에 따른 로봇(800)이 사용자와 인터렉션을 수행하는 예를 도시한 예시도이다. 그리고 도 12b는 상기 도 12a에서, 윈드 쉴드 상에 표시되는 이미지가 차량의 이동에 따라 가변되는 예를 도시한 예시도이다.
먼저 도 12a의 (a)를 참조하여 살펴보면, 도 12의 (a)는 본 발명의 실시 예에 따른 로봇(800)은 대쉬보드(1000) 상에 설치된 예를 보이고 있으며, 차량이 주행함에 따라 상기 차량의 외부 주행 환경을 모니터링 하는 예를 보이고 있다.
이러한 경우, 상기 로봇(800)의 제어부(870)는 차량으로부터 센싱되는 사용자 안구 및 동공의 영상에 근거하여 사용자의 시선(1200)을 검출할 수 있다. 그리고 차량의 방사형 좌표계에 근거하여 상기 시선(1200)에 대응하는 지형지물(1210)을 검출할 수 있다. 일 예로 상기 지형지물(1220)은 지형 정보 또는 네비게이션 정보에 근거하여 검출될 수 있다. 그러면 검출된 지형지물(1220)이 위치한 방향을 로봇(800)의 헤드(902) 전면이 향하도록 상기 헤드(902)를 구동할 수 있다. 이에 따라 도 12a의 (a)에서 보이고 있는 바와 같이 사용자의 시선(1200)과 로봇(800)의 헤드(902) 전면이 향하는 방향(1210)은 윈드 쉴드 글래스(1050)를 통해 보여지는 동일한 지형지물(1220)을 향할 수 있다. 따라서 로봇(800)의 제어부(870)는 사용자가 바라보는 방향으로부터 탐지되는 물체를 상기 로봇(800)의 카메라(821)를 통해 촬영할 수 있다.
이러한 상태에서 도 12a의 (a)에서 보이고 있는 바와 같이, 사용자가 현재 바라보고 있는 지형지물(1220)과 관련된 정보를 요청하면, 제어부(870)는 상기 검출된 지형지물(1220)에 대한 정보를 검색할 수 있다. 그리고 도 12a의 (b)에서 보이고 있는 바와 같이 제어부(870)는 검색된 정보를 음향 정보의 형태로 출력할 수 있다.
한편 도 12a의 (b)에서는 음향 정보의 형태로 검색된 정보를 출력하는 예를 설명하였으나, 상기 정보는 이미지 정보의 형태로 출력될 수도 있음은 물론이다. 이 경우 로봇(800)의 제어부(870)는 프로젝터를 통해 상기 검색된 정보에 대응하는 이미지 정보를 윈드 쉴드 글래스(1050)의 일 영역에 영사할 수 있다. 이 경우 상기 이미지 정보는, 도 12b의 (a)에서 보이고 있는 바와 같이 상기 윈드 쉴드 글래스(1050)를 통해 보여지는 지형지물(1220)의 위치(터널의 상층부)에 대응하는 윈드 쉴드 글래스(1050) 상의 위치에 표시될 수 있다.
한편 차량이 계속 주행 중인 경우, 상기 지형지물(1220)의 위치는 계속 변경될 수 있다. 일 예로 도 12b의 (b)에서 보이고 있는 바와 같이 지형지물(1220)이 차량의 주행 방향 전방에 위치하는 경우라면, 상기 지형지물은 차량의 주행에 따라 점점 커질 수 있으며, 이에 따라 윈드 쉴드 글래스(1050)를 통해 보여지는 지형지물(1220), 즉 터널의 상층부가 윈드 쉴드 글래스(1050) 위쪽 부분으로 이동될 수 있다.
한편 제어부(870)는 차량의 주행 속도에 따라 변경되는 상기 지형지물(1220)과 차량 사이의 거리 및 각도 변화를 산출할 수 있다. 그리고 상기 거리 변화에 따라 윈드 쉴드 글래스(1050) 상에서 상기 지형지물(1220)이 표시되는 위치가 이동하는 속도를 산출하고, 상기 각도 변화에 따라 윈드 쉴드 글래스(1050) 상에서 상기 지형지물(1220)이 표시되는 위치가 이동하는 방향을 산출하여, 상기 이미지 정보(1250)가 이동하는 방향 및 이동 속도를 산출할 수 있다. 그리고 산출된 이동 방향 및 이동 속도에 따라 이미지 정보(1250)가 윈드 쉴드 글래스(1050) 상에서 표시되는 위치를 변경할 수 있다. 또는 제어부(870)는 로봇(800)의 카메라(821)를 통해 센싱되는 윈드 쉴드 글래스(1050)의 영상을 이용하여 상기 이미지 정보(1250)가 이동할 위치를 결정할 수도 있다.
따라서 만약 도 12b의 (a)에서 보이고 있는 바와 같이 이미지 정보(1250)가 상기 터널(1220)의 상층부에 표시되는 경우라면, 제어부(870)는 상기 이미지 정보(1250)를, 도 12b의 (b)에서 보이고 있는 바와 같이 윈드 쉴드 글래스(1050)를 통해 보여지는 터널(1220) 상층부의 위치 이동에 따라 이동하여 표시할 수 있다. 이에 따라 차량의 주행에 의해 사용자의 시선에 대응하는 지형지물의 위치가 변경되는 경우, 해당 지형지물에 대해 표시되는 이미지 정보 역시 따라서 그 위치가 변경될 수 있다.
도 13은 본 발명의 실시 예에 따른 로봇(800)이, 차량(1300)의 주차 시에 차량(1300) 외부에 대한 모니터링을 수행하는 예를 도시한 예시도이다.
먼저 차량(1300)이 주차되는 경우, 즉 차량(1300)의 시동이 오프되는 경우, 본 발명의 실시 예에 따른 로봇(800)은, 도 13의 (a)에서 보이고 있는 바와 같이 블랙박스 기능을 통해 차량(1300)의 외부 환경을 모니터링할 수 있다.
이러한 상태에서 도 13의 (b)에서 보이고 있는 바와 같이, 상기 차량(1300)으로부터 기 설정된 거리 이내(제1 거리)로 접근하는 사람이 있는 경우, 제어부(870)는 이를 감지할 수 있다. 그리고 제어부(870)는 사람이 감지된 방향으로 헤드(902)의 전면이 향하도록 상기 로봇(800)의 헤드(902)를 구동할 수 있다.
한편 상기 감지된 사람이 차량으로 보다 접근하는 경우, 예를 들어 상기 제1 거리보다 더 가까운 제2 거리 이내로 접근하는 경우 로봇(800)의 제어부(870)는 현재 차량(1300)이 모니터링 상태라는 것을 상기 접근하는 사람에게 나타낼 수 있다. 일 예로 제어부(870)는 로봇(800)의 광 출력부(854)가 빛을 발광하도록 제어할 수 있다. 이 경우 상기 접근하는 사람을 바라보며 상기 로봇(800)의 눈 부분에 형성된 광 출력부(854)가 빛을 발광할 수 있다. 또한 제어부(870)는 상기 로봇(800)의 카메라(821)가 영상을 촬영하도록 제어하여, 상기 접근하는 사람에 대한 지향 촬영을 수행할 수 있다.
그럼에도 불구하고, 상기 접근하는 사람이 상기 제2 거리보다 더 가까운 인접 거리(제3 거리) 내로 접근하는 경우, 제어부(870)는 지향 촬영 상태를 유지하면서, 경고음 또는 현재 모니터링이 이루어지고 있는 상태임을 알리기 위한 음향 신호를 출력할 수 있다. 또한 필요에 따라 사용자의 이동 단말기로 호를 착신하여 현재 모니터링된 정보를 전송할 수 있다.
한편 제어부(870)는 도 13의 (d)에서 보이고 있는 바와 같이, 상기 인접한 거리로 접근하는 사람에게 용무가 있는지 여부를 묻는 음성 메시지를 출력할 수 있다. 이 경우 제어부(870)는 마이크(822)를 통해 상기 인접 거리 내로 접근한 사람의 음성을 수신할 수 있으며, 수신된 음성에 대한 응답으로 사용자의 이동 단말기 호출 번호를 음향 신호로 출력하거나, 또는 사용자의 이동 단말기로 호를 착신하여, 로봇(800)을 통해 상기 인접 거리 내로 접근한 사람과 사용자 간의 연결이 이루어지도록 할 수도 있다.
한편, 상기 제3 거리는 상기 제2 거리보다 더 가까운 거리 일 수 있다. 또한 제2 거리는 상기 제1 거리보다 더 가까운 거리일 수 있다. 그리고 상기 제1 거리는 차량에 구비된 적어도 하나의 센서를 구동하여 감지될 수 있는 거리일 수 있다. 그리고 제2 거리 이하의 거리는 로봇(800)의 센서부(820)를 통해 감지될 수 있는 거리 일 수 있다.
즉, 본 발명의 실시 예에 따른 로봇(800)의 제어부(870)는 차량(1300)의 시동이 오프되는 경우, 차량(1300)에 구비된 적어도 하나의 센서를 이용하여 로봇(800)의 센서부(820)를 통해 감지될 수 있는 거리보다 더 먼 거리에 있는 사람을 감지할 수 있으며, 상기 감지된 사람이 상기 로봇(800)의 센서부(820)를 통해 감지될 수 있는 거리 내로 진입하는 경우, 상기 로봇(800)의 광 출력부(854)를 발광하거나, 모니터링과 관련된 음향 신호를 출력하도록 할 수 있다.
도 14는 본 발명의 실시 예에 따른 로봇(800)이, 차량 외부에 위치한 지정 탑승자를 인식 및 인식 결과에 따른 기능을 수행하는 예를 도시한 예시도이다.
먼저 도 14의 (a)를 참조하여 살펴보면, 도 14의 (a)는 등록된 사용자로부터 지정 탑승자의 탑승 예약을 입력받는 예를 보이고 있다. 예를 들어 지정 탑승자가, 인증을 위한 얼굴 특징 정보가 이미 저장되어 있는 경우에, 도 14의 (a)에서 보이고 있는 바와 같이 사용자는 음성으로 지정 탑승자를 설정하는 것만으로, 상기 지정 탑승자의 탑승을 예약할 수 있다.
이러한 상태에서 로봇(800)의 제어부(870)는, 차량(1300) 외부의 영상을 센싱한 결과에 근거하여, 차량(1300)이 접근한 지정 탑승자(1450)를 감지할 수 있다. 그러면 제어부(870)는 클락션이나 라이트(1410) 또는 램프 등으로 차량의 위치를 알릴 수 있다. 그리고 지정 탑승자(1450)가 보다 접근하는 경우 상기 지정 탑승자(1450)의 얼굴을 센싱한 영상으로부터 추출한 특징 정보와, 현재 탑승이 예약된 지정 탑승자의 얼굴 특징 정보를 비교하여, 상기 지정 탑승자(1450)를 인증할 수 있다. 그리고 접근한 사람이 탑승이 예약된 지정 탑승자(1450)인 경우, 웰커밍 리액션과 함께 인증 완료를 알리는 신호를 출력할 수 있다. 또한 차량(1300)의 도어 락(lock) 상태를 해제함으로써, 상기 탑승이 예약된 지정 탑승자가 차량(1300)에 탑승하도록 할 수 있다.
한편 이 경우, 좌석이 지정된 경우라면, 제어부(870)는 차량(1300)의 도어 중 지정된 좌석에 대응하는 도어의 락 만을 해제할 수도 있음은 물론이다. 이 경우 제어부(870)는 상기 웰커밍 리액션과 함께, 상기 지정된 좌석에 대응하는 도어를 안내하기 위한 음향 신호를 출력할 수도 있다.
도 15는 본 발명의 실시 예에 따른 로봇(800)이, 운전자를 인식 및 인식 결과에 따라 차량 내부를 모니터링하는 예를 도시한 예시도이다.
상술한 설명에 따르면, 본 발명의 실시 예에 따른 로봇(800)의 제어부(870)는 차량을 운전하는 운전자가 기 등록된 사용자인지 여부를 식별할 수 있다. 일 예로 제어부(870)는 도 15의 (a)에서 보이고 있는 바와 같이, 차량 내부 모니터링을 통해 운전자의 얼굴이 향하는 방향으로 헤드(902)의 전면이 향하도록, 상기 헤드(902)를 구동할 수 있다. 그리고 헤드(902) 전면에 형성된 카메라(821)를 통해 센싱되는 운전자의 얼굴과 기 등록된 사용자의 얼굴 특징을 비교하여, 운전자가 기 등록된 운전자인지 여부를 식별할 수 있다.
한편 운전자를 식별한 결과, 운전자가 기 등록된 사용자가 맞는 경우라면, 제어부(870)는 웰커밍 리액션과 함께 차량의 주행에 따른 모니터링, 즉 차량 외부의 주행 환경을 모니터링할 수 있다. 그러나 운전자를 식별한 결과, 운전자가 기 등록된 사용자가 아닌 경우라면, 도 15의 (b)에서 보이고 있는 바와 같이 차량 내부의 모니터링을 지속할 수 있으며, 안전 운전을 요청하는 음성 신호를 출력할 수 있다. 그리고 차량의 주행 상황을 기 등록된 사용자에게 알릴 수 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 로봇(800)은 얼굴 인식 이외에도 다양한 방법으로 사용자를 인식할 수 있다. 또한 로봇(800)은 프로젝터를 통해 이미지 정보를 영사할 수 있음을 언급한 바 있다. 이에따라 상기 로봇(800)은, 차량의 윈도우를 통해 인증 정보를 입력할 수 있는 인증 영역을 표시 및 안내할 수도 있다.
도 16은 이러한 경우에 본 발명의 실시 예에 따른 로봇(800)이, 차량 외부에 위치한 사람을 인식 및 인식 결과에 따른 기능을 수행하는 다른 예를 도시한 예시도이다. 이하의 도면에서 왼쪽 상단에서 오른쪽 상단, 오른쪽 하단에서 왼쪽 하단의 순서로 설명하기로 하며, 상기 왼쪽 상단의 도면을 첫 번째 도면에서 오른쪽 상단의 도면을 두 번째 도면, 오른쪽 하단의 도면을 세 번째 도면, 왼쪽 하단의 도면을 네 번째 도면으로 지칭하기로 한다.
먼저 도 16의 첫 번째 도면을 참조하여 살펴보면, 도 16의 첫 번째 도면은, 차량의 외부에서 인증을 요청하는 사람이 감지됨에 따라, 로봇(800)의 프로젝터를 통해 사용자 인증 정보 입력과 관련된 안내 정보(1600)가 차량의 보조석 윈도우 상에 영사되는 예를 도시한 것이다.
이러한 경우 요구되는 사용자 인증 방식이 사용자의 손 모양 또는 지문 정보 인 경우, 상기 안내 정보(1600)는 도 16의 두 번째 도면에서 보이고 있는 바와 같이, 손 모양 또는 손가락 모양이 표시되는 안내 정보일 수 있다.
이에 따라 도 16의 세 번째 도면에서 보이고 있는 바와 같이, 상기 보조석 윈도우 상에 표시되는 안내 정보(1600) 상에 손 또는 손가락을 접촉하면, 사용자의 손 모양(또는 손금) 또는 손가락의 지문에 근거하여 사용자의 인증이 이루어질 수 있다. 그러면 로봇(800)의 제어부(870)는 도 16의 네 번째 도면에서 보이고 있는 바와 같이 웰커밍 리액션을 출력할 수 있다.
한편 상기 본 발명의 실시 예에 따른 로봇(800)의 제어부(870)는 사용자가 기념일 또는 스케줄을 입력하는 경우, 또는 사용자의 이동 단말기를 통해 기념일 또는 스케줄에 대한 정보가 입력되는 경우, 현재 날짜와 상기 기념일 또는 스케줄에 따른 상기 웰커밍 리액션을 출력할 때에 함께 출력할 수 있다. 따라서 현재의 날짜가, 상기 인증된 사용자의 생일인 경우에는 도 16의 네 번째 도면에서 보이고 있는 바와 같이 웰커밍 리액션과 함께 생일 축하 메시지 또는 생일 축하와 관련된 멜로디 등이 로봇(800)을 통해 출력될 수 있다.
한편 본 발명의 실시 예에 따른 로봇(800)은 운전자를 모니터링 하는 DSM(Driver Status Monitoring) 기능을 제공할 수 있다.
도 17은 이러한 DSM 기능의 일환으로 본 발명의 실시 예에 따른 로봇(800)이, 운전자의 생체 신호에 근거하여 모니터링 정보를 구분하여 저장하는 동작 과정을 도시한 흐름도이다.
먼저 제어부(870)는 운전자의 생체 신호를 감지할 수 있다(S1700). 여기서 상기 생체 신호는 운전자의 동공 크기, 맥박, 혈압, 음성, 표정, 제스처, 눈 움직임 등 다양한 생체 신호를 포함할 수 있다.
생체 신호가 감지되면, 제어부(870)는 상기 감지된 생체 신호가 기 설정된 조건을 만족하였는지 여부를 판단할 수 있다(S1702).
예를 들어 상기 S1702 단계의 기 설정된 조건은, 상기 S1700 단계에서 감지된 생체 신호의 값들이, 적어도 하나 이상 기 설정된 기준에 달성되었는지 여부에 따라 결정될 수 있다. 그리고 상기 기 설정된 기준은 사용자가 일정 수준 이상 놀라는 경우 또는 흥분하는 경우에 대응하는 생체 신호의 값들일 수 있다. 즉, 상기 S1702 단계는 사용자의 생체 신호를 분석한 결과 사용자가 일정 수준 이상 놀라거나 흥분하였는지 여부를 검출하는 단계일 수 있다.
한편 상기 S1702 단계의 판단 결과, 수집된 생체 신호가 기 설정된 조건을 충족하는 경우, 즉, 사용자가 일정 수준 이상 놀라거나 흥분한 경우라면, 제어부(870)는 차량의 내부 및 외부 중 적어도 하나로부터 모니터링되는 정보들을 구분하여 저장할 수 있다(S1704). 즉, 사용자가 사고의 위험을 겪었을 때와 같이 놀라는 경우, 또는 교통 사고 현장 등을 목격하여 생체 신호가 불한정하게 변할 때, 제어부(870)는 이를 감지하여 모니터링 되는 정보들을 저장할 수 있다.
여기서 상기 제어부(870)는 상기 S1704 단계에서 저장되는 모니터링 정보들을 다른 모니터링 정보들과 구분하여 저장할 수 있다. 예를 들어 제어부(870)는 상기 S1704 단계에서 모니터링 정보들이 저장될 때, 상기 S1700 단계에서 수집된 생체 신호에 근거하여 판단되는 사용자의 상태에 대한 정보를 함께 저장할 수 있다. 이에 따라 상기 S1704 단계에서 저장된 모니터링 정보들은 사용자의 상태에 따라 그룹화되어 저장될 수 있다.
한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 로봇(800)이 디스플레이부(851)로서 프로젝터를 포함하고, 프로젝터를 통해 빔을 윈드 쉴드 글래스의 적어도 일부 영역에 영사하여, 이미지 정보를 출력할 수 있음을 언급한 바 있다. 여기서 제어부(870)는 상기 이미지 정보를 출력할 대상이 차량의 내부에 있는지 차량의 외부에 있는지 여부에 따라 상기 이미지 정보를 좌우 반전하여 출력할 수도 있음은 물론이다.
일 예로 상술한 바와 같이, 차량 내부에 위치한 사용자가 로봇(800)에 요청을 입력한 경우, 로봇(800)은 출력될 이미지 정보의 타겟이 차량 내부에 있는 것으로 판단할 수 있다. 따라서 차량 내부에 위치한 사용자에게 정상적으로 글씨가 보이도록 제1 방향으로 이미지 정보를 출력할 수 있다.
반면 차량 외부에 위치한 사용자가 로봇(800)에 요청을 입력한 경우, 로봇(800)은 출력될 이미지 정보의 타겟이 차량 외부에 있는 것으로 판단할 수 있다. 따라서 차량 외부에 위치한 사용자에게 정상적으로 글씨가 보이도록 제2 방향으로 이미지 정보를 출력할 수 있다. 이 경우 상기 제1 방향은 제2 방향과 서로 좌우 반전된 방향일 수 있다.
한편 상술한 설명에서는 차량 내부의 환경 역시 모니터링 될 수 있음을 언급한 바 있다. 이러한 경우 제어부(870)는 차량 내부의 모니터링 결과에 근거하여 운전자가 난폭 운전을 하는 상태인지 여부도 검출할 수 있음은 물론이다. 일 예로 운전자가 핸들을 과도하게 조작하거나, 비난 욕설과 같은 언급을 하는 경우, 또한 차량이 필요 이상으로 과속을 하는 등, 기 설정된 행동을 하는 경우 제어부(870)는 운전자가 난폭 운전을 하는 것으로 판단할 수 있다. 그리고 차량의 외부가 아닌, 차량의 운전자를 모니터링 하도록 운전자가 위치한 방향으로 헤드(902)를 구동할 수 있다. 그리고 상기 운전자를 촬영할 수 있다.
또한 제어부(870)는 운전자의 난폭 운전을 자제시키기 위한 음성 메시지 또는 음원 등을 출력할 수 있다. 한편 상기 운전자가 기 등록된 사용자가 아닌 경우라면, 제어부(870)는 기 등록된 사용자에게, 상기 운전자의 난폭 운전 사실을 알리고, 차량의 현재 주행 상태에 관련된 정보들을 사용자의 이동 단말기로 전송할 수도 있다.
또한 제어부(870)는 상기 차량 내부의 모니터링 결과에 근거하여 운전자의 졸음 운전 여부를 검출할 수도 있음은 물론이다. 이러한 경우 제어부(870)는 휴식을 권고하거나, 차량 내부의 공기가 순환되도록 차량을 제어하기위한 제어 신호를 생성할 수도 있다.
본 발명의 실시 예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 본 발명은 사용자와 인터렉션하는 로봇을 통해 사용자가 원하는 기능을 직관적으로 제공함으로서, 보다 쉽고 편리하게 차량이 제공하는 기능을 사용자가 이용할 수 있도록 한다는 효과가 있다.
둘째, 본 발명은 사용자와의 인터렉션을 통해 차량이 제공할 수 있는 새로운 기능을 제공함으로써, 사용자의 편의성을 보다 증대시킬 수 있다는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
800 : 로봇 810 : 통신부
820 : 센서부 821 : 카메라
822 : 마이크 830 : 구동부
840 : 메모리 850 : 출력부
851 : 디스플레이부 852 : 음향 출력부
853 : 햅틱 모듈 854 : 광 출력부
860 : 전원 공급부 870 : 제어부

Claims (20)

  1. 차량에 배치되는 로봇으로,
    바디;
    상기 바디 위에 위치하는 헤드;
    상기 헤드가 상기 바디에 대하여 상대 이동이 가능하도록 외력을 가하는 액추에이터;
    상기 헤드에 배치되어 영상을 촬영하도록 이루어지는 카메라;
    상기 차량에 구비된 하나 또는 그 이상의 장치들과 통신을 수행하도록 이루어지는 통신부; 및,
    상기 통신부를 통해 수신된 정보에 근거하여, 상기 카메라가 상기 차량의 내부 또는 외부를 향하도록 상기 액추에이터를 제어하는 프로세서를 포함하는 로봇.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 차량을 기준으로 정의되는 소정영역에 물체가 진입하는 경우, 상기 물체를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 하는 로봇.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 차량에 구비된 이미지 센서로부터 수신된 영상을 이용하여 상기 소정영역으로 진입하는 상기 물체를 탐색하며, 상기 물체의 위치에 따라 상기 카메라가 서로 다른 방향을 향하도록 상기 액추에이터를 제어하는 것을 특징으로 하는 로봇.
  4. 제3항에 있어서,
    상기 차량의 윈드실드로 시각정보를 출력하도록 이루어지는 영상 출력부를 더 포함하고,
    상기 프로세서는 상기 물체의 위치에 근거하여 상기 윈드실드의 일부 영역을 영상 표시 영역으로 설정하고, 상기 영상 표시 영역에 상기 시각정보가 표시되도록 상기 액추에이터를 제어하며,
    상기 물체의 위치에 따라 상기 영상 표시 영역이 가변되는 것을 특징으로 하는 로봇.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 카메라가 촬영하는 상기 영상을 이용하여 상기 영상 표시 영역에 가해지는 터치를 식별하고, 식별된 터치에 근거하여 적어도 하나의 기능을 수행하는 것을 특징으로 하는 로봇.
  6. 제4항에 있어서,
    상기 프로세서는,
    상기 시각정보의 타겟을 결정하고, 상기 타겟이 상기 차량의 내부에 있는 경우 상기 시각정보를 그대로 출력하고, 상기 타겟이 상기 차량의 외부에 있는 경우 상기 시각정보를 좌우 반전시켜 출력하는 것을 특징으로 하는 로봇.
  7. 제2항에 있어서,
    상기 차량의 시동이 꺼지는 경우, 상기 차량에 구비된 하나 또는 그 이상의 장치들 중 적어도 하나는 동작하여 상기 통신부를 통해 정보를 전송하며,
    상기 차량의 시동이 꺼진 상태에서 동작하는 적어도 하나의 장치는 상기 프로세서에 의하여 가변적으로 결정되는 것을 특징으로 하는 로봇.
  8. 제7에 있어서,
    상기 프로세서는,
    상기 차량의 시동이 꺼진 상태에서 상기 물체가 상기 소정영역에 진입하는 것에 응답하여 상기 물체에 대한 사용자 인증을 수행하고, 상기 사용자 인증이 성공하는 경우, 상기 하나 또는 그 이상의 장치들 중 적어도 하나가 동작하도록 제어하는 제어 명령을 상기 통신부를 통해 전송하는 것을 특징으로 하는 로봇.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 물체의 위치에 근거하여 상기 차량에 구비된 복수의 램프들, 도어 잠금 장치들, 방향 지시등들, 경적 중 적어도 하나를 선택하고, 선택된 적어도 하나가 동작하도록 상기 제어 명령을 상기 제어 명령을 상기 통신부를 통해 전송하는 것을 특징으로 하는 로봇.
  10. 제2항에 있어서,
    상기 프로세서는,
    상기 소정영역에 복수의 물체들이 진입하는 경우, 각 물체의 크기, 속도 및 유형 중 적어도 하나에 근거하여 우선순위를 산출하고, 최우선순위의 물체를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 하는 로봇.
  11. 제2항에 있어서,
    상기 프로세서는,
    상기 물체를 촬영하기 위한 주행 방향 및 주행 속도 중 적어도 하나를 산출하고, 상기 산출된 적어도 하나에 따라 상기 차량이 자율 주행하도록 상기 통신부를 제어하는 것을 특징으로 하는 로봇.
  12. 제2항에 있어서,
    메모리를 더 포함하며,
    상기 프로세서는,
    상기 차량의 시동이 꺼진 상태에서 상기 소정영역에 진입하는 상기 물체에 관한 물체 정보를 상기 메모리에 저장하고, 상기 메모리에 저장된 물체 정보에 근거하여 물체가 가장 많이 접근한 방향을 기본 촬영 방향으로 설정하며, 상기 차량의 시동이 꺼지는 것에 응답하여 상기 카메라가 상기 기본 촬영 방향을 향하도록 상기 액추에이터를 제어하는 것을 특징으로 하는 로봇.
  13. 제1항에 있어서,
    상기 프로세서는,
    상기 차량에 탑승한 탑승객으로부터 음성명령이 입력되는 경우, 상기 카메라가 상기 탑승객을 향하도록 상기 액추에이터를 제어하는 것을 특징으로 하는 로봇.
  14. 제1항에 있어서,
    상기 프로세서는,
    상기 통신부를 통해 수신된 정보에 근거하여 상기 차량에 탑승한 탑승객이 바라보고 있는 물체를 탐지하고, 상기 카메라가 상기 탐지된 물체를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 하는 로봇.
  15. 제14항에 있어서,
    메모리를 더 포함하며,
    상기 프로세서는,
    상기 탑승객의 생체 신호가 기준 조건을 만족하는 경우, 상기 카메라가 촬영한 영상을 상기 메모리에 저장하고,
    상기 생체 신호는 상기 탑승객의 심박수, 음성, 표정, 제스처 및 눈 움직임 중 적어도 하나에 의하여 정의되는 것을 특징으로 하는 로봇.
  16. 제1항에 있어서,
    상기 프로세서는,
    상기 헤드의 이동속도 및 이동거리 중 적어도 하나가 상기 차량의 주행 속도에 따라 달라지도록, 상기 액추에이터를 제어하는 것을 특징으로 하는 로봇.
  17. 제1항에 있어서,
    상기 프로세서는,
    상기 차량의 운전석에 탑승한 운전자가 기설정된 사람인 경우, 상기 카메라가 상기 차량의 외부를 촬영하도록 상기 액추에이터를 제어하고, 상기 운전자가 상기 기설정된 사람이 아닌 경우, 상기 카메라가 상기 운전자를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 하는 로봇.
  18. 제1항에 있어서,
    상기 프로세서는,
    상기 차량에 탑승객이 있는 경우, 상기 차량의 내부를 촬영하고, 상기 차량에 탑승객이 없는 경우, 상기 차량의 외부를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 하는 로봇.
  19. 제1항에 있어서,
    상기 프로세서는,
    상기 차량이 수동 주행 중인 경우 상기 카메라가 상기 차량의 외부를 촬영하고, 상기 차량이 자율 주행 중인 경우 상기 카메라가 상기 차량의 내부를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 하는 로봇.
  20. 제1항에 있어서,
    상기 프로세서는,
    상기 차량이 수동 주행 중인 상태에서 상기 차량의 운전자가 기설정된 행동을 하는 경우, 상기 카메라가 상기 차량의 외부가 아닌 상기 차량의 운전자를 촬영하도록 상기 액추에이터를 제어하는 것을 특징으로 하는 로봇.
KR1020180135414A 2018-07-20 2018-11-06 차량용 로봇 및 상기 로봇의 제어 방법 KR102135379B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/490,522 US11318961B2 (en) 2018-07-20 2019-01-17 Robot for vehicle and control method thereof
PCT/KR2019/000693 WO2020017716A1 (ko) 2018-07-20 2019-01-17 차량용 로봇 및 상기 로봇의 제어 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862700917P 2018-07-20 2018-07-20
US62/700,917 2018-07-20

Publications (2)

Publication Number Publication Date
KR20200009986A true KR20200009986A (ko) 2020-01-30
KR102135379B1 KR102135379B1 (ko) 2020-07-20

Family

ID=69322065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180135414A KR102135379B1 (ko) 2018-07-20 2018-11-06 차량용 로봇 및 상기 로봇의 제어 방법

Country Status (1)

Country Link
KR (1) KR102135379B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241698A (zh) * 2020-10-12 2021-01-19 安徽富煌科技股份有限公司 一种基于人脸识别的公交车载机
CN112818956A (zh) * 2021-03-19 2021-05-18 张秀霞 一种智慧交通数据采集系统及其采集方法
CN114572100A (zh) * 2022-02-24 2022-06-03 岚图汽车科技有限公司 代客泊车的灯光迎宾方法、装置、设备及可读存储介质
CN115042187A (zh) * 2022-07-19 2022-09-13 重庆工商大学 基于mpu6050的虚拟现实机械臂控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9315152B1 (en) * 2015-07-27 2016-04-19 Tom Maestas Vehicle security system and method
KR20170028126A (ko) * 2015-09-03 2017-03-13 엘지전자 주식회사 차량 운전 보조 장치 및 차량

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9315152B1 (en) * 2015-07-27 2016-04-19 Tom Maestas Vehicle security system and method
KR20170028126A (ko) * 2015-09-03 2017-03-13 엘지전자 주식회사 차량 운전 보조 장치 및 차량

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241698A (zh) * 2020-10-12 2021-01-19 安徽富煌科技股份有限公司 一种基于人脸识别的公交车载机
CN112818956A (zh) * 2021-03-19 2021-05-18 张秀霞 一种智慧交通数据采集系统及其采集方法
CN114572100A (zh) * 2022-02-24 2022-06-03 岚图汽车科技有限公司 代客泊车的灯光迎宾方法、装置、设备及可读存储介质
CN114572100B (zh) * 2022-02-24 2023-10-13 岚图汽车科技有限公司 代客泊车的灯光迎宾方法、装置、设备及可读存储介质
CN115042187A (zh) * 2022-07-19 2022-09-13 重庆工商大学 基于mpu6050的虚拟现实机械臂控制方法

Also Published As

Publication number Publication date
KR102135379B1 (ko) 2020-07-20

Similar Documents

Publication Publication Date Title
US11318961B2 (en) Robot for vehicle and control method thereof
EP3424791B1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
CN109572702B (zh) 车辆控制装置和包括该车辆控制装置的车辆
KR101891612B1 (ko) 자율 주행 차량
US10296083B2 (en) Driver assistance apparatus and method for controlling the same
KR101853396B1 (ko) 차량 내 휴대 기기를 제어하는 장치 및 방법
KR101922009B1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
CN107054245B (zh) 车辆用便利装置及车辆
KR101959300B1 (ko) 차량용 스마트 키 및 시스템
KR101969805B1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
US10573177B2 (en) Vehicle controlling technology
KR20190033368A (ko) 주행 시스템 및 차량
KR102384642B1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR102135379B1 (ko) 차량용 로봇 및 상기 로봇의 제어 방법
US10549779B2 (en) Vehicle control device mounted on vehicle and method for controlling vehicle
KR102212777B1 (ko) 영상 출력 장치
KR102122263B1 (ko) 차량 실내 인원 모니터링 장치 및 방법
KR102053201B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR102043954B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR102023995B1 (ko) 차량 제어 방법
KR102053200B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR102089955B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant