WO2022239972A1 - 가상 운전자 서비스를 제공하는 장치, 방법 및 컴퓨터 프로그램 - Google Patents

가상 운전자 서비스를 제공하는 장치, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2022239972A1
WO2022239972A1 PCT/KR2022/005167 KR2022005167W WO2022239972A1 WO 2022239972 A1 WO2022239972 A1 WO 2022239972A1 KR 2022005167 W KR2022005167 W KR 2022005167W WO 2022239972 A1 WO2022239972 A1 WO 2022239972A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual driver
vehicle
virtual
information
hologram
Prior art date
Application number
PCT/KR2022/005167
Other languages
English (en)
French (fr)
Inventor
유철종
Original Assignee
(주)다산지앤지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)다산지앤지 filed Critical (주)다산지앤지
Priority to EP22807620.4A priority Critical patent/EP4324714A1/en
Priority to CN202280035000.8A priority patent/CN117295648A/zh
Publication of WO2022239972A1 publication Critical patent/WO2022239972A1/ko
Priority to US18/506,630 priority patent/US20240075814A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Definitions

  • the present invention relates to an apparatus, method and computer program for providing a virtual driver service.
  • a self-driving car is a self-driving car that uses various sensors such as a precise map and global navigation system (GPS) to determine the driving situation on its own without the driver manipulating the steering wheel, accelerator pedal, or brake. Means a car driving to its destination.
  • GPS global navigation system
  • Self-driving cars involve gradual self-driving technology stages from non-automated to fully automated, depending on how much the system is involved in driving and how the driver controls the car.
  • the self-driving technology level consists of a total of 6 levels: level 0 is non-automation, level 1 is driver assistance, level 2 is partial automation, level 3 is conditional automation, level 4 is highly automated, and level 5 is fully automated. .
  • Korean Patent Publication No. 2017-0054186 which is a prior art, discloses an autonomous vehicle control device and method.
  • an embodiment of the present invention provides a hologram output unit for outputting a first hologram for a virtual driver on a projection area inside a vehicle, and navigation information for autonomous driving of the vehicle. and a driving information derivation unit for deriving driving information based on the driving information and a virtual driver control unit for controlling an operation of the virtual driver based on the driving information, wherein the hologram output unit displays a first hologram for the virtual driver reflecting the operation
  • An output device can be provided.
  • outputting a first hologram for a virtual driver on a projection area inside a vehicle deriving driving information based on navigation information for autonomous driving of the vehicle, and It is possible to provide a virtual driver service providing method comprising controlling an operation of the virtual driver based on the above and outputting a first hologram for the virtual driver in which the operation is reflected.
  • Another embodiment of the present invention when the computer program is executed by a computing device, outputs a first hologram for a virtual driver on a projection area inside the vehicle and drives the vehicle based on navigation information for autonomous driving.
  • a computer program stored in a medium including a sequence of instructions for deriving information, controlling a motion of the virtual driver based on the driving information, and outputting a first hologram for the virtual driver in which the motion is reflected.
  • a device, method, and computer for displaying a virtual driver seated in a driver's seat accurately by outputting a first hologram of the virtual driver on a projection area inside the vehicle. to provide a program.
  • FIG. 1 is a block diagram of a virtual driver service providing system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an apparatus for providing a virtual driver service according to an embodiment of the present invention.
  • FIG 3 is an exemplary diagram for explaining a process of outputting a first hologram by a device according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram for explaining a process of outputting first and second holograms by a device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of a method of providing a virtual driver service in the virtual driver service providing apparatus according to an embodiment of the present invention.
  • a "unit” includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized using two or more hardware, and two or more units may be realized by one hardware.
  • some of the operations or functions described as being performed by a terminal or device may be performed instead by a server connected to the terminal or device.
  • some of the operations or functions described as being performed by the server may also be performed in a terminal or device connected to the corresponding server.
  • a virtual driver service providing system 1 may include a virtual driver service providing device 110 and a server (not shown).
  • the virtual driver service providing system 1 may further include a vehicle terminal 120 and a user terminal 125 .
  • the virtual driver service providing device 110 , the server, the vehicle terminal 120 and the user terminal 125 are examples of components that can be controlled by the virtual driver service providing system 1 .
  • Each component of the virtual driver service providing system 1 of FIG. 1 is generally connected through a network.
  • the virtual driver service providing device 110 may be connected to the server, the vehicle terminal 120, or the user terminal 125 at the same time or at a time interval.
  • a network refers to a connection structure capable of exchanging information between nodes such as terminals and servers, such as a local area network (LAN), a wide area network (WAN), and the Internet (WWW: World Wide Web), wired and wireless data communication network, telephone network, and wired and wireless television communication network.
  • wireless data communication networks include 3G, 4G, 5G, World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasonic communication, visible light communication (VLC: Visible Light Communication), LiFi ), etc., but are not limited thereto.
  • the virtual driver service providing device 110 may communicate with the vehicle terminal 120 .
  • the virtual driver service providing apparatus 110 may receive navigation information for autonomous driving of the vehicle 100 from the vehicle terminal 120 .
  • the navigation information includes route information including a departure point, a waypoint, a destination, and a required time to the destination, vehicle control information for controlling the vehicle 100 so that the vehicle 100 drives autonomously, road information, traffic information, and weather information.
  • vehicle control information is, for example, direct control information such as steering timing, steering speed, steering angle, acceleration timing, acceleration degree, acceleration duration, braking timing, braking degree, and braking duration of the steering device 130, and It may include indirect control information including the location and speed of a neighboring vehicle, and the direction and timing in which the vehicle 100 will move.
  • the virtual driver service providing device 110 may communicate with the user terminal 125 .
  • the virtual driver service providing apparatus 110 may receive setting information about the virtual driver 115 from the user terminal 125 .
  • the setting information for the virtual driver 115 may include, for example, location information of a projection area, posture information of the virtual driver 115, location information for each body part, character information, and the like.
  • the virtual driver service providing apparatus 110 may provide posture information about the virtual driver 115, such as whether or not the upper body of the virtual driver 115 is in close contact with the driver's seat, from the user terminal 125, and the position of the virtual driver 115's hands. Like location information, location information for each body part of the virtual driver 115 may be received.
  • the virtual driver service providing apparatus 110 may output a first hologram of the virtual driver 115 to a projection area inside the vehicle 100 .
  • the projection area may be a driver's seat area of the vehicle 100 .
  • the virtual driver service providing apparatus 110 may adjust the position of the projection area, the posture of the virtual driver 115, and the position of each body part based on the received setting information. For example, the virtual driver service providing apparatus 110 may adjust the location of the projection area to the center of the driver's seat based on the setting information. For another example, when the upper body of the virtual driver 115 is too closely attached to the driver's seat, the virtual driver service providing apparatus 110 moves the upper body of the virtual driver 115 closer to the steering device 130 based on setting information. The posture of the virtual driver 115 may be adjusted. As another example, when the position of the hand of the virtual driver 115 is out of the steering device 130, the virtual driver service providing device 110 steering the position of the hand of the virtual driver 115 based on setting information. It can be adjusted to be placed on the device 130 .
  • the virtual driver service providing apparatus 110 may derive driving information based on navigation information for autonomous driving of the vehicle 100 .
  • the driving information may include steering timing, steering speed, steering angle, acceleration timing, acceleration degree, acceleration duration, braking timing, braking degree, and braking duration of the steering device 130 .
  • the virtual driver service providing device 110 may control the operation of the virtual driver 115 based on driving information.
  • the virtual driver service providing device 110 controls the operation of the virtual driver 115 so that the virtual driver 115 virtually manipulates the steering device 130 based on driving information and the position of the steering device 130. can do.
  • virtual manipulation refers to synchronizing the operation of the virtual driver 115 with the operation of the steering device 130 based on the driving information, so that the virtual driver 115 looks like actually manipulating the steering device 130. can mean
  • the steering device 130 built into the vehicle 100 is exposed, and the virtual driver service providing device 110 may output a first hologram for the virtual driver 115 in which motions are reflected.
  • the virtual driver service providing apparatus 110 may output only the first hologram and may not output the second hologram described later.
  • the virtual driver service providing device 110 when the steering device 130 of the vehicle 100 is built into the vehicle 100, the virtual driver service providing device 110 generates a second hologram for the virtual steering device as well as a first hologram. can output
  • the virtual driver service providing device 110 may control the operation of the virtual driver 115 so that the virtual driver 115 virtually manipulates the virtual steering device based on driving information.
  • the virtual driver service providing apparatus 110 may recognize a voice uttered by a passenger 105 of the vehicle 100 and allow the virtual driver 115 to communicate with the passenger 105 based on the recognized voice. For example, when the virtual driver service providing apparatus 110 recognizes the voice spoken by the passenger 105, after transmitting the recognized voice to a server (not shown), based on the voice from the server (not shown), The derived answer may be received.
  • the virtual driver service providing device 110 may output an answer based on setting information for the virtual driver 115 .
  • the virtual driver service providing apparatus 110 may output an answer to the virtual driver 115 based on character information.
  • the character information may include any one character selected by the passenger 105 from among a plurality of female characters, a plurality of male characters, and a plurality of game/animal characters.
  • the character, motion, facial expression, and tone of the virtual driver 115 may be expressed differently according to predetermined hand gestures, motions related to gestures, facial expressions, and tone of voice.
  • the virtual driver service providing apparatus 110 when a character for the virtual driver 115 from among a plurality of female characters is selected as a female secretary character, the virtual driver service providing apparatus 110 provides the virtual driver 115 expressed with a polite tone of voice, businesslike gestures, and facial expressions. ) can communicate with the occupant 105.
  • the virtual driver service providing apparatus 110 when a character for the virtual driver 115 is selected as a male bodycard character from among a plurality of male characters, the virtual driver service providing apparatus 110 provides a blunt tone of voice, a polite gesture, and a facial expression of the virtual driver. (115) can be made to talk to the occupant (105).
  • the virtual driver service providing apparatus 110 provides a cute tone, chuimsae, unique gestures, hand gestures, and gestures.
  • the virtual driver 115 represented by facial expressions may have a conversation with the passenger 105 .
  • the vehicle terminal 120 may communicate with the virtual driver service providing device 110 .
  • the vehicle terminal 120 may transmit navigation information for autonomous driving of the vehicle 100 to the virtual driver service providing device 110 .
  • the vehicle terminal 120 may include a navigation device, an infotainment device of the vehicle 100, and the like.
  • the vehicle terminal 120 When the vehicle terminal 120 supports the virtual driver service provision service, the vehicle terminal 120 receives setting information related to the virtual driver 115 from the occupant 105, and sets settings related to the input virtual driver 115. Information may be transmitted to the virtual driver service providing device 110 . In this case, setting information related to the virtual driver 115 may be transmitted to the virtual driver service providing device 110 via a server (not shown).
  • the user terminal 125 receives setting information related to the virtual driver 115 from the occupant 105 through the virtual driver service providing app, and inputs the setting information.
  • Setting information related to the virtual driver 115 may be transmitted to the virtual driver service providing device 110 .
  • setting information related to the virtual driver 115 may be transmitted to the virtual driver service providing device 110 via the server.
  • the setting information of the virtual driver 115 may be set through the user terminal 125 or the virtual driver service providing app installed on the vehicle terminal 120 .
  • the user terminal 125 may set character information, personality, clothes, and the like for the virtual driver 115 .
  • character information, personality, clothes, etc. of the virtual driver 115 may be set by the passenger 105 through purchase or rental in a virtual driver service providing app.
  • the virtual driver ( 115) can be set to be expressed by applying a distinctive tone of voice, gestures, facial expressions, etc. to the appearance of a female secretary character wearing a suit.
  • the user terminal 125 may set the position of the projection area of the vehicle 100, the posture of the virtual driver 115, and the position of each body part. For example, the user terminal 125 may set an approximate posture and position of the virtual driver 115 located in the driver's seat. At this time, while viewing the first hologram of the virtual driver 115 output on the projection area, the user terminal 125 determines the position of each body part of the virtual driver 115 (for example, the position of a hand) in detail. can be set At this time, the user terminal 125 may transmit posture information and location information of the set virtual driver 115 to the virtual driver service providing device 110 .
  • the virtual driver service providing device 110 includes a communication unit 210, a hologram output unit 220, an adjustment unit 230, a driving information derivation unit 240, a virtual driver control unit 250, and a conversation service provider. Study 260 may be included.
  • the communication unit 210 may communicate with at least one of the vehicle terminal 120 and the user terminal 125 .
  • the communication unit 210 may receive setting information about the virtual driver 115 from the user terminal 125 .
  • setting information related to the virtual driver 115 includes location information of a projection area for the virtual driver 115 selected by the passenger 105, posture information of the virtual driver 115, location information for each body part, character information, and the like. can include
  • the communication unit 210 may receive navigation information for autonomous driving of the vehicle 100 from the user terminal 125 or the vehicle terminal 120 .
  • the navigation information includes route information including a departure point, a waypoint, a destination, and a required time to the destination, vehicle control information for controlling the vehicle 100 so that the vehicle 100 drives autonomously, road information, traffic information, and weather information.
  • vehicle control information is, for example, direct control information such as steering timing, steering speed, steering angle, acceleration timing, acceleration degree, acceleration duration, braking timing, braking degree, and braking duration of the steering device 130, and It may include indirect control information including the location and speed of a neighboring vehicle, and the direction and timing in which the vehicle 100 will move.
  • the hologram output unit 220 may output a first hologram of the virtual driver 115 to a projection area inside the vehicle 100 .
  • the adjustment unit 230 may adjust the position of the projection area, the posture of the virtual driver 115, and the position of each body part based on the received setting information. For example, the adjustment unit 230 may adjust the position of the projection area to the center of the driver's seat based on the setting information. As another example, when the upper body of the virtual driver 115 is in close contact with the driver's seat, the adjuster 230 adjusts the virtual driver 115 to bring the upper body of the virtual driver 115 closer to the steering device 130 based on the setting information. position can be adjusted. As another example, the adjuster 230 may change the position of the hand of the virtual driver 115 to the steering device 130 when the hand position of the virtual driver 115 is out of the steering device 130 based on the setting information. The position of each body part with respect to the virtual driver 115 may be adjusted so as to be placed on the virtual driver 115 .
  • the driving information deriving unit 240 may derive driving information based on navigation information for autonomous driving of the vehicle 100 .
  • the virtual driver controller 250 may control an operation of the virtual driver 115 so that the virtual driver 115 virtually manipulates the steering device 130 based on driving information and the position of the steering device 130 .
  • the hologram output unit 220 may output a first hologram for the virtual driver 115 in which motions are reflected. The process of outputting the first hologram will be described in detail with reference to FIG. 3 .
  • FIG 3 is an exemplary diagram for explaining a process of outputting a first hologram by a device according to an embodiment of the present invention.
  • the hologram output unit 220 may output a first hologram for a virtual driver on a projection area inside the vehicle 100.
  • the hologram output unit 220 may generate a virtual image based on position information of the projection area based on setting information received from the user terminal 125 and position information set for the virtual driver 115 and position information for each body part.
  • a first hologram representing the head, torso, arms, legs, etc. of the driver 115 may be output.
  • the driving information deriving unit 240 may derive driving information based on navigation information for autonomous driving of the vehicle 100 . For example, if the current location of the vehicle 100 is Gangnam Station and the occupant 105 intends to move to Gwanghwamun, the driving information derivation unit 240 steers based on 'origin: Gangnam Station' and 'destination: Gwanghwamun'.
  • the steering timing, steering speed, steering angle, acceleration timing, acceleration amount, acceleration duration, braking timing, braking amount, and braking duration of the device 130 may be derived.
  • the virtual driver controller 250 may control the operation of the virtual driver 115 based on driving information.
  • the virtual driver controller 250 may control the operation of the virtual driver 115 so that the virtual driver 115 virtually manipulates the steering device 130 based on driving information and the position of the steering device 130 .
  • virtual manipulation refers to synchronizing the operation of the virtual driver 115 with the operation of the steering device 130 based on the driving information, so that the virtual driver 115 looks like actually manipulating the steering device 130. can mean
  • the hologram output unit 220 may output a first hologram for the virtual driver 115 in which the steering device 130 built in the vehicle 100 is exposed and motions are reflected.
  • the virtual driver control unit 250 controls the motion of the virtual driver 115 so that the virtual driver 115's two hands holding the steering device 130 are expressed. You can control it.
  • the virtual driver 115 based on driving information of the vehicle 100 and the position of the steering device 130
  • the operation of the virtual driver 115 may be controlled to virtually manipulate the steering device 130 .
  • the hand motion of the virtual driver 115 is a motion of driving the vehicle 100, and the hand motion may be expressed in synchronization with driving information.
  • the virtual driver controller 250 displays a picture of the two hands of the virtual driver 115 holding the steering device 130 based on driving information of the vehicle 100. It is possible to control the operation of the virtual driver 115 to be expressed as . For another example, when a right turn (or left turn) of the vehicle 100 is scheduled, the virtual driver controller 250 allows the virtual driver 115 to turn the steering device 130 in the right direction based on driving information of the vehicle 100. The motion of the virtual driver 115 may be controlled so that the virtual driver 115 rotates (or to the left).
  • the virtual driver control unit 250 controls the virtual driver 115 to use a steering device ( 130) may be controlled to control the motion of the virtual driver 115 so that an appearance of rotating the robot to the end in one direction is expressed.
  • the virtual driver controller 250 allows the virtual driver 115 to move the vehicle 100 by using the gear knob 310 based on driving information of the vehicle 100. The operation of the virtual driver 115 may be controlled so that a state of parking the vehicle is expressed.
  • the hologram output unit 220 may further output a second hologram for the virtual steering device.
  • the virtual driver controller 250 may control the operation of the virtual driver 115 to virtually manipulate the virtual steering device based on driving information.
  • the hologram output unit 220 may output a first hologram for the virtual driver 115 whose motion is reflected, and output a second hologram for the virtual steering device. A process of outputting the first hologram and the second hologram will be described in detail with reference to FIG. 4 .
  • FIG. 4 is an exemplary diagram for explaining a process of outputting first and second holograms according to an embodiment of the present invention.
  • the hologram output unit 220 may output a first hologram of the virtual driver 115 to a projection area inside the vehicle 100 .
  • the hologram output unit 220 may output the head, torso, arms, legs, etc. of the virtual driver 115 based on position information of the projection area, posture information set for the virtual driver 115, and position information for each body part.
  • the first hologram may be output to express this.
  • the hologram output unit 220 may further output a second hologram for the virtual steering device 320 as well as the first hologram.
  • the driving information deriving unit 240 may derive driving information based on navigation information for autonomous driving of the vehicle 100 . For example, when a right turn is required at 300 m ahead, the driving information deriving unit 240 may derive driving information indicating that the steering device 130 is steered at a steering angle of 90 degrees as the steering angle after 10 seconds as the steering timing. For another example, when the preceding vehicle makes a sudden stop, the driving information deriving unit 240 may derive driving information indicating that the vehicle immediately brakes as the braking timing and brakes strongly as the degree of braking.
  • the virtual driver controller 250 may control the operation of the virtual driver 115 so that the virtual driver 115 virtually manipulates the virtual steering device 320 based on driving information.
  • the virtual driver controller 250 may control the operation of the virtual driver 115 so that the virtual driver 115 virtually manipulates the virtual steering device 320 based on driving information and the position of the virtual steering device 320.
  • the virtual manipulation means that the motion of the virtual driver 115 is synchronized with the operation of the virtual steering device 320 based on driving information so that the virtual driver 115 looks like actually manipulating the virtual steering device 320. can mean doing
  • the hologram output unit 220 may output a first hologram for the virtual driver 115 in which the steering device 130 is built into the vehicle 100 and motions are reflected.
  • the virtual driver control unit 250 controls the virtual driver's 115's position so that two hands of the virtual driver 115 are holding the virtual steering device 320. You can control the action.
  • the virtual driver control unit 250 controls the virtual driver 115 to set the virtual steering device 320 based on driving information of the vehicle 100 when the vehicle 100 drives straight, left turn, right turn, or U-turn.
  • the operation of the virtual driver 115 may be controlled to perform virtual manipulation.
  • the virtual driver control unit 250 controls the two hands of the virtual driver 115 based on driving information of the vehicle 100 and the position of the virtual steering device 320.
  • An operation of the virtual driver 115 may be controlled so as to be expressed as holding the virtual steering device 320 .
  • the virtual driver controller 250 performs a virtual driver 115 based on driving information of the vehicle 100 and the position of the virtual steering device 320.
  • the operation of the virtual driver 115 may be controlled so that a state of rotating the virtual steering device 320 in the right direction (or left direction) is expressed.
  • the virtual driver control unit 250 may perform a virtual driver (based on driving information of the vehicle 100 and the position of the virtual steering device 320). 115) may control the motion of the virtual driver 115 so that an appearance of rotating the virtual steering device 320 to the end in one direction for a U-turn is expressed.
  • the virtual driver controller 250 sets the virtual driver 115 to a virtual gear based on driving information of the vehicle 100 and the position of the virtual steering device 320 .
  • An operation of the virtual driver 115 may be controlled by using the knob 330 to express a state of parking the vehicle 100 .
  • the conversation service provider 260 may recognize a voice uttered by a passenger 105 of the vehicle 100 and provide a service allowing the virtual driver 115 to communicate with the passenger 105 based on the recognized voice. have. For example, when the conversation service provider 260 recognizes a voice uttered by a vehicle occupant 105, it transmits the recognized voice data to a server (not shown) through the communication unit 210, and the server (not shown) An answer derived based on the voice data may be received from the city).
  • the conversation service provider 260 may output an answer based on character information set for the virtual driver 115 .
  • the character information may include any one character selected by the passenger 105 from among a plurality of female characters, a plurality of male characters, and a plurality of game/animal characters.
  • the conversation service providing unit 260 determines the character of the virtual driver 115 according to predetermined hand gestures, motions related to gestures, facial expressions, tone of voice, etc. for each character based on the character information of the virtual driver 115. It is possible to provide a conversation service by expressing motions, facial expressions, and tone of voice differently.
  • the conversation service provider 260 sets a virtual speech position based on the position of the mouth of the virtual driver 115 and outputs an answer based on the set virtual speech position, so that the passenger 105 can communicate with the virtual driver. You can also make it feel like you are having a real conversation with (115).
  • a method of providing a virtual driver service in the virtual driver service providing apparatus 110 shown in FIG. 5 includes steps processed time-sequentially by the virtual driver service providing system 1 according to the embodiment shown in FIGS. 1 to 4 include them Therefore, even if the content is omitted below, it is also applied to the method of providing the virtual driver service in the virtual driver service providing apparatus 110 according to the embodiments shown in FIGS. 1 to 4 .
  • step S510 the virtual driver service providing apparatus 110 may output a first hologram of the virtual driver 115 to the projection area inside the vehicle 100 .
  • step S520 the virtual driver service providing apparatus 110 may derive driving information based on navigation information for autonomous driving of the vehicle 100 .
  • step S530 the virtual driver service providing device 110 may control the operation of the virtual driver 115 based on the driving information.
  • step S540 the virtual driver service providing apparatus 110 may output a first hologram of the virtual driver 115 in which motions are reflected.
  • steps S510 to S540 may be further divided into additional steps or combined into fewer steps, depending on an embodiment of the present invention. Also, some steps may be omitted as needed, and the order of steps may be switched.
  • the method of providing virtual driver service in the virtual driver service providing apparatus described with reference to FIGS. 1 to 5 is also implemented in the form of a computer program stored in a medium executed by a computer or a recording medium including instructions executable by a computer. It can be. Also, the method of providing the virtual driver service in the apparatus for providing virtual driver service described with reference to FIGS. 1 to 5 may be implemented in the form of a computer program stored in a medium executed by a computer.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

가상 운전자 서비스를 제공하는 장치는 차량의 내부의 투영 영역에 가상 운전자에 대한 제 1 홀로그램을 출력하는 홀로그램 출력부, 상기 차량의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출하는 주행 정보 도출부 및 상기 주행 정보에 기초하여 상기 가상 운전자의 동작을 제어하는 가상 운전자 제어부를 포함하고, 상기 홀로그램 출력부는 상기 동작이 반영된 상기 가상 운전자에 대한 제 1 홀로그램을 출력한다.

Description

가상 운전자 서비스를 제공하는 장치, 방법 및 컴퓨터 프로그램
본 발명은 가상 운전자 서비스를 제공하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
자율주행차(self-driving car)란, 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 정밀한 지도, 위성항법시스템(GPS) 등 차량의 각종 센서를 이용하여 차량이 스스로 운행 상황을 파악함으로써, 목적지까지 주행하는 자동차를 의미한다.
자율주행차는 시스템이 운전에 관여하는 정도와 운전자가 차를 제어하는 방법에 따라 비자동화부터 완전 자동화까지 점진적인 자율 주행 기술 단계를 포함한다. 자율 주행 기술 단계는 총 6단계로 구성되며, 0단계는 비자동화, 1단계는 운전자 보조, 2단계는 부분 자동화, 3단계는 조건부 자동화, 4단계는 고도 자동화, 5단계는 완전 자동화로 구분된다.
이러한 자율 주행 기술과 관련하여, 선행기술인 한국공개특허 제 2017-0054186호는 자율주행차량 제어 장치 및 그 방법을 개시하고 있다.
차량의 내부의 투영 영역에 가상 운전자에 대한 제 1 홀로그램을 출력하는 가상 운전자 서비스를 제공하는 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
차량의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출하고, 주행 정보에 기초하여 가상 운전자의 동작을 제어하고, 동작이 반영된 가상 운전자에 대한 제 1 홀로그램을 출력하는 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 차량의 내부의 투영 영역에 가상 운전자에 대한 제 1 홀로그램을 출력하는 홀로그램 출력부, 상기 차량의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출하는 주행 정보 도출부 및 상기 주행 정보에 기초하여 상기 가상 운전자의 동작을 제어하는 가상 운전자 제어부를 포함하고, 상기 홀로그램 출력부는 상기 동작이 반영된 상기 가상 운전자에 대한 제 1 홀로그램을 출력하는 것인 장치를 제공할 수 있다.
본 발명의 다른 실시예는, 차량의 내부의 투영 영역에 가상 운전자에 대한 제 1 홀로그램을 출력하는 단계, 상기 차량의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출하는 단계, 상기 주행 정보에 기초하여 상기 가상 운전자의 동작을 제어하는 단계 및 상기 동작이 반영된 상기 가상 운전자에 대한 제 1 홀로그램을 출력하는 단계를 포함하는 가상 운전자 서비스 제공 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 차량의 내부의 투영 영역에 가상 운전자에 대한 제 1 홀로그램을 출력하고, 상기 차량의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출하고, 상기 주행 정보에 기초하여 상기 가상 운전자의 동작을 제어하고, 상기 동작이 반영된 상기 가상 운전자에 대한 제 1 홀로그램을 출력하도록 하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 차량의 내부의 투영 영역에 가상 운전자에 대한 제 1 홀로그램을 출력함으로써, 가상 운전자가 운전석에 정확하게 착석한 모습이 표현되도록 하는 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
차량의 주행 정보에 기초하여 가상 운전자의 동작을 제어함으로써, 차량의 동승석 또는 뒷좌석에 탑승한 탑승자에게 현재 차량이 주행 정보에 따라 올바르게 주행되고 있음을 인지하게 하는 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
도 1은 본 발명의 일 실시예에 따른 가상 운전자 서비스 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 가상 운전자 서비스 제공 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 장치가 제 1 홀로그램을 출력하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 장치가 제 1 및 제 2 홀로그램을 출력하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 가상 운전자 서비스 제공 장치에서 가상 운전자 서비스를 제공하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 가상 운전자 서비스 제공 시스템의 구성도이다. 도 1을 참조하면, 가상 운전자 서비스 제공 시스템(1)은 가상 운전자 서비스 제공 장치(110) 및 서버(미도시)를 포함할 수 있다. 가상 운전자 서비스 제공 시스템(1)은 차량 단말(120) 및 사용자 단말(125)을 더 포함할 수도 있다. 가상 운전자 서비스 제공 장치(110), 서버, 차량 단말(120) 및 사용자 단말(125)은 가상 운전자 서비스 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 가상 운전자 서비스 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 가상 운전자 서비스 제공 장치(110)는 서버, 차량 단말(120) 또는 사용자 단말(125)과 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
가상 운전자 서비스 제공 장치(110)는 차량 단말(120)과 통신을 수행할 수 있다. 예를 들어, 가상 운전자 서비스 제공 장치(110)는 차량 단말(120)로부터 차량(100)의 자율 주행을 위한 내비게이션 정보를 수신할 수 있다. 여기서, 내비게이션 정보는 출발지, 경유지, 목적지, 목적지까지의 소요시간을 포함하는 경로 정보, 차량(100)이 자율 주행하도록 차량(100)을 제어하기 위한 차량 제어 정보, 도로 정보, 교통 정보 및 날씨 정보를 포함할 수 있다. 이 때, 차량 제어 정보는 예를 들어, 조향 장치(130)의 조향 타이밍, 조향 속도, 조향각, 가속 타이밍, 가속 정도, 가속 지속 시간, 제동 타이밍, 제동 정도, 제동 지속 시간 등의 직접 제어 정보 및 인접 차량의 위치와 속도, 차량(100)이 이동할 방향과 타이밍을 포함하는 간접 제어 정보를 포함할 수 있다.
가상 운전자 서비스 제공 장치(110)는 사용자 단말(125)과 통신을 수행할 수 있다. 가상 운전자 서비스 제공 장치(110)는 사용자 단말(125)로부터 가상 운전자(115)에 대한 설정 정보를 수신할 수 있다. 가상 운전자(115)에 대한 설정 정보는 예를 들어, 투영 영역의 위치 정보, 가상 운전자(115)의 자세 정보 및 신체 부위별 위치 정보, 캐릭터 정보 등을 포함할 수 있다. 예를 들어, 가상 운전자 서비스 제공 장치(110)는 사용자 단말(125)로부터 가상 운전자(115)의 상반신의 운전석 밀착 여부와 같이 가상 운전자(115)에 대한 자세 정보 및 가상 운전자(115)의 손의 위치 정보와 같이 가상 운전자(115)에 대한 각 신체 부위별 위치 정보를 수신할 수 있다.
가상 운전자 서비스 제공 장치(110)는 차량(100)의 내부의 투영 영역에 가상 운전자(115)에 대한 제 1 홀로그램을 출력할 수 있다. 여기서, 투영 영역은 차량(100)의 운전석 영역일 수 있다.
가상 운전자 서비스 제공 장치(110)는 수신한 설정 정보에 기초하여 투영 영역의 위치, 가상 운전자(115)의 자세 및 신체 부위별 위치를 조정할 수 있다. 예를 들어, 가상 운전자 서비스 제공 장치(110)는 설정 정보에 기초하여 투영 영역의 위치를 운전석의 중심으로 조정할 수 있다. 다른 예를 들어, 가상 운전자 서비스 제공 장치(110)는 가상 운전자(115)의 상반신이 운전석에 너무 밀착한 경우, 설정 정보에 기초하여 가상 운전자(115)의 상반신을 조향 장치(130)와 가까워지도록 가상 운전자(115)의 자세를 조정할 수 있다. 또 다른 예를 들어, 가상 운전자(115)의 손의 위치가 조향 장치(130)로부터 벗어난 경우, 가상 운전자 서비스 제공 장치(110)는 설정 정보에 기초하여 가상 운전자(115)의 손의 위치를 조향 장치(130) 상에 놓여지도록 조정할 수 있다.
가상 운전자 서비스 제공 장치(110)는 차량(100)의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출할 수 있다. 예를 들어, 주행 정보는 조향 장치(130)의 조향 타이밍, 조향 속도, 조향각, 가속 타이밍, 가속 정도, 가속 지속 시간, 제동 타이밍, 제동 정도 및 제동 지속 시간을 포함할 수 있다.
가상 운전자 서비스 제공 장치(110)는 주행 정보에 기초하여 가상 운전자(115)의 동작을 제어할 수 있다. 예를 들어, 가상 운전자 서비스 제공 장치(110)는 주행 정보 및 조향 장치(130)의 위치에 기초하여 가상 운전자(115)가 조향 장치(130)를 가상 조작하도록 가상 운전자(115)의 동작을 제어할 수 있다. 여기서, 가상 조작이란 주행 정보에 기초하여 가상 운전자(115)의 동작이 조향 장치(130)의 작동과 동기화됨으로써, 가상 운전자(115)가 조향 장치(130)를 실제로 조작하는 모습처럼 보이도록 하는 것을 의미할 수 있다.
일 실시예에 따르면, 차량(100)에 내장된 조향 장치(130)가 노출되고, 가상 운전자 서비스 제공 장치(110)는 동작이 반영된 가상 운전자(115)에 대한 제 1 홀로그램을 출력할 수 있다. 이 때, 가상 운전자 서비스 제공 장치(110)는 제 1 홀로그램만을 출력하고, 후술하는 제 2 홀로그램은 출력하지 않을 수 있다.
일 실시예에 따르면, 가상 운전자 서비스 제공 장치(110)는 차량(100)의 조향 장치(130)가 차량(100)의 내부로 내장된 경우, 제 1 홀로그램뿐만 아니라 가상 조향 장치에 대한 제 2 홀로그램을 출력할 수 있다.
가상 운전자 서비스 제공 장치(110)는 주행 정보에 기초하여 가상 운전자(115)가 가상 조향 장치를 가상 조작하도록 가상 운전자(115)의 동작을 제어할 수 있다.
가상 운전자 서비스 제공 장치(110)는 차량(100)의 탑승자(105)가 발화한 음성을 인식하고, 인식된 음성에 기초하여 가상 운전자(115)가 탑승자(105)와 대화하도록 할 수 있다. 예를 들어, 가상 운전자 서비스 제공 장치(110)는 탑승자(105)가 발화한 음성을 인식한 경우, 인식된 음성을 서버(미도시)로 전송한 후, 서버(미도시)로부터 음성에 기초하여 도출된 답변을 수신할 수 있다.
가상 운전자 서비스 제공 장치(110)는 가상 운전자(115)에 대한 설정 정보에 기초하여 답변을 출력할 수 있다. 예를 들어, 가상 운전자 서비스 제공 장치(110)는 가상 운전자(115)에 대해 캐릭터 정보에 기초하여 답변을 출력할 수 있다. 여기서, 캐릭터 정보는 복수의 여성 캐릭터, 복수의 남성 캐릭터, 복수의 게임/동물 캐릭터 중 탑승자(105)에 의해 선택된 어느 하나의 캐릭터를 포함할 수 있다. 예를 들어, 가상 운전자(115)의 캐릭터 정보는 캐릭터별로 기설정된 손짓, 몸짓과 관련된 동작, 얼굴 표정, 말투 등에 따라 가상 운전자(115)의 캐릭터, 동작, 얼굴 표정, 말투 등이 각각 다르게 표현될 수 있다.
예를 들어, 복수의 여성 캐릭터 중 가상 운전자(115)에 대한 캐릭터가 여성 비서 캐릭터로 선택된 경우, 가상 운전자 서비스 제공 장치(110)는 공손한 말투, 사무적인 몸짓 및 얼굴 표정으로 표현되는 가상 운전자(115)가 탑승자(105)와 대화하도록 할 수 있다. 다른 예를 들어, 복수의 남성 캐릭터 중 가상 운전자(115)에 대한 캐릭터가 남성 보디카드 캐릭터로 선택된 경우, 가상 운전자 서비스 제공 장치(110)는 무뚝뚝한 말투, 정중한 몸짓 및 얼굴 표정으로 표현되는 가상 운전자(115)가 탑승자(105)와 대화하도록 할 수 있다. 또 다른 예를 들어, 복수의 게임/동물 캐릭터 중 가상 운전자(115)에 대한 캐릭터가 펭귄 캐릭터로 선택된 경우, 가상 운전자 서비스 제공 장치(110)는 귀여운 말투, 추임새, 톡톡튀는 개성적인 몸짓, 손짓 및 얼굴 표정으로 표현되는 가상 운전자(115)가 탑승자(105)와 대화하도록 할 수 있다. 차량 단말(120)은 가상 운전자 서비스 제공 장치(110)와 연동되어 통신을 수행할 수 있다.
차량 단말(120)은 차량(100)의 자율 주행을 위한 내비게이션 정보를 가상 운전자 서비스 제공 장치(110)로 전송할 수 있다. 이러한 차량 단말(120)은 내비게이션 장치, 차량(100)의 인포테인먼트 장치 등을 포함할 수 있다.
차량 단말(120)이 가상 운전자 서비스 제공 서비스를 지원하는 경우, 차량 단말(120)은 탑승자(105)로부터 가상 운전자(115)와 관련된 설정 정보를 입력받고, 입력된 가상 운전자(115)와 관련된 설정 정보는 가상 운전자 서비스 제공 장치(110)로 전송될 수 있다. 이 때, 가상 운전자(115)와 관련된 설정 정보는 서버(미도시)를 경유하여 가상 운전자 서비스 제공 장치(110)로 전송될 수 있다.
이와 달리, 차량 단말(120)이 가상 운전자 서비스를 지원하지 않는 경우, 사용자 단말(125)은 가상 운전자 서비스 제공 앱을 통해 탑승자(105)로부터 가상 운전자(115)와 관련된 설정 정보를 입력받고, 입력된 가상 운전자(115)와 관련된 설정 정보는 가상 운전자 서비스 제공 장치(110)로 전송될 수 있다. 이 때, 가상 운전자(115)와 관련된 설정 정보는 서버를 경유하여 가상 운전자 서비스 제공 장치(110)로 전송될 수 있다.
이러한 가상 운전자(115)의 설정 정보는 사용자 단말(125) 또는 차량 단말(120)에 설치된 가상 운전자 서비스 제공 앱을 통해 설정될 수 있다.
사용자 단말(125)은 가상 운전자(115)에 대한 캐릭터 정보, 성격, 의상 등을 설정할 수 있다. 여기서, 가상 운전자(115)의 캐릭터 정보, 성격, 의상 등은 가상 운전자 서비스 제공 앱에서 구매 또는 대여를 통해 탑승자(105)에 의해 설정될 수 있다. 예를 들어, 탑승자(105)는 사용자 단말(125)의 가상 운전자 서비스 제공 앱을 통해 복수의 캐릭터 중 여성 비서 캐릭터, 복수의 성격 중 톡톡튀는 성격, 복수의 의상 중 정장을 선택한 경우, 가상 운전자(115)가 정장을 착용한 여성 비서 캐릭터의 모습에 톡톡튀는 성격의 말투, 몸짓, 얼굴 표정 등이 적용되어 표현되도록 설정할 수 있다. 사용자 단말(125)은 차량(100)의 투영 영역의 위치, 가상 운전자(115)의 자세 및 신체 부위별 위치를 설정할 수 있다. 예를 들어, 사용자 단말(125)은 운전석에 위치한 가상 운전자(115)에 대한 대략적인 자세 및 위치를 설정할 수 있다. 이 때, 사용자 단말(125)은 투영 영역에 출력된 가상 운전자(115)에 대한 제 1 홀로그램을 보면서, 세부적으로 가상 운전자(115)의 각 신체부위별 위치(예를 들어, 손의 위치)를 설정할 수 있다. 이 때, 사용자 단말(125)은 설정한 가상 운전자(115)에 대한 자세 정보 및 위치 정보를 가상 운전자 서비스 제공 장치(110)로 전송할 수 있다.
도 2는 본 발명의 일 실시예에 따른 가상 운전자 서비스 제공 장치의 구성도이다. 도 2를 참조하면, 가상 운전자 서비스 제공 장치(110)는 통신부(210), 홀로그램 출력부(220), 조정부(230), 주행 정보 도출부(240), 가상 운전자 제어부(250) 및 대화 서비스 제공부(260)를 포함할 수 있다.
통신부(210)는 차량 단말(120) 또는 사용자 단말(125) 중 적어도 하나와 통신을 수행할 수 있다. 예를 들어, 통신부(210)는 사용자 단말(125)로부터 가상 운전자(115)에 대한 설정 정보를 수신할 수 있다. 여기서, 가상 운전자(115)와 관련된 설정 정보는 탑승자(105)에 의해 선택된 가상 운전자(115)에 대한 투영 영역의 위치 정보, 가상 운전자(115)의 자세 정보 및 신체 부위별 위치 정보, 캐릭터 정보 등을 포함할 수 있다.
통신부(210)는 사용자 단말(125) 또는 차량 단말(120)로부터 차량(100)의 자율 주행을 위한 내비게이션 정보를 수신할 수 있다. 여기서, 내비게이션 정보는 출발지, 경유지, 목적지, 목적지까지의 소요시간을 포함하는 경로 정보, 차량(100)이 자율 주행하도록 차량(100)을 제어하기 위한 차량 제어 정보, 도로 정보, 교통 정보 및 날씨 정보를 포함할 수 있다. 이 때, 차량 제어 정보는 예를 들어, 조향 장치(130)의 조향 타이밍, 조향 속도, 조향각, 가속 타이밍, 가속 정도, 가속 지속 시간, 제동 타이밍, 제동 정도, 제동 지속 시간 등의 직접 제어 정보 및 인접 차량의 위치와 속도, 차량(100)이 이동할 방향과 타이밍을 포함하는 간접 제어 정보를 포함할 수 있다.
홀로그램 출력부(220)는 차량(100)의 내부의 투영 영역에 가상 운전자(115)에 대한 제 1 홀로그램을 출력할 수 있다.
조정부(230)는 수신한 설정 정보에 기초하여 투영 영역의 위치, 가상 운전자(115)의 자세 및 신체 부위별 위치를 조정할 수 있다. 예를 들어, 조정부(230)는 설정 정보에 기초하여 투영 영역의 위치를 운전석의 중심으로 조정할 수 있다. 다른 예를 들어, 가상 운전자(115)의 상반신이 운전석에 밀착된 경우, 조정부(230)는 설정 정보에 기초하여 가상 운전자(115)의 상반신을 조향 장치(130)와 가까워지도록 가상 운전자(115)의 자세를 조정할 수 있다. 또 다른 예를 들어, 조정부(230)는 설정 정보에 기초하여 가상 운전자(115)의 손의 위치가 조향 장치(130)를 벗어난 경우, 가상 운전자(115)의 손의 위치가 조향 장치(130) 상에 놓여지도록 가상 운전자(115)에 대한 각 신체부위별 위치를 조정할 수 있다.
주행 정보 도출부(240)는 차량(100)의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출할 수 있다.
가상 운전자 제어부(250)는 주행 정보 및 조향 장치(130)의 위치에 기초하여 가상 운전자(115)가 조향 장치(130)를 가상 조작하도록 가상 운전자(115)의 동작을 제어할 수 있다.
홀로그램 출력부(220)는 동작이 반영된 가상 운전자(115)에 대한 제 1 홀로그램을 출력할 수 있다. 이러한 제 1 홀로그램을 출력하는 과정에 대해서는 도 3을 통해 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 장치가 제 1 홀로그램을 출력하는 과정을 설명하기 위한 예시적인 도면이다.
도 3을 참조하면, 차량(100)의 조향 장치(130)가 노출된 경우, 홀로그램 출력부(220)는 차량(100)의 내부의 투영 영역에 가상 운전자에 대한 제 1 홀로그램을 출력할 수 있다. 예를 들어, 홀로그램 출력부(220)는 사용자 단말(125)로부터 수신한 설정 정보에 기초하여 투영 영역의 위치 정보 및 가상 운전자(115)에 대해 설정된 자세 정보 및 신체 부위별 위치 정보에 기초하여 가상 운전자(115)의 머리, 몸통, 팔, 다리 등이 표현된 제 1 홀로그램을 출력할 수 있다.
주행 정보 도출부(240)는 차량(100)의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출할 수 있다. 예를 들어, 현재 차량(100)의 위치가 강남역이고, 탑승자(105)가 광화문으로 이동하고자 하는 경우, 주행 정보 도출부(240)는 '출발지: 강남역', '목적지: 광화문'에 기초하여 조향 장치(130)의 조향 타이밍, 조향 속도, 조향각, 가속 타이밍, 가속 정도, 가속 지속 시간, 제동 타이밍, 제동 정도 및 제동 지속 시간 등을 도출할 수 있다.
가상 운전자 제어부(250)는 주행 정보에 기초하여 가상 운전자(115)의 동작을 제어할 수 있다. 여기서, 가상 운전자 제어부(250)는 주행 정보 및 조향 장치(130)의 위치에 기초하여 가상 운전자(115)가 조향 장치(130)를 가상 조작하도록 가상 운전자(115)의 동작을 제어할 수 있다. 여기서, 가상 조작이란 주행 정보에 기초하여 가상 운전자(115)의 동작이 조향 장치(130)의 작동과 동기화됨으로써, 가상 운전자(115)가 조향 장치(130)를 실제로 조작하는 모습처럼 보이도록 하는 것을 의미할 수 있다.
홀로그램 출력부(220)는 차량(100)에 내장된 조향 장치(130)가 노출되고, 동작이 반영된 가상 운전자(115)에 대한 제 1 홀로그램을 출력할 수 있다.
예를 들어, 가상 운전자 제어부(250)는 조향 장치(130)의 위치에 기초하여 가상 운전자(115)의 두 손이 조향 장치(130)를 쥐고 있는 모습이 표현되도록 가상 운전자(115)의 동작을 제어할 수 있다.
이후, 가상 운전자 제어부(250)는 차량(100)이 직진, 좌회전, 우회전, 유턴 등으로 주행할 경우, 차량(100)의 주행 정보 및 조향 장치(130)의 위치에 기초하여 가상 운전자(115)가 조향 장치(130)를 가상 조작하도록 가상 운전자(115)의 동작을 제어할 수 있다. 이 때, 가상 운전자(115)의 손의 동작은 차량(100)을 운전하는 동작으로, 주행 정보와 동기화되어 손 동작이 표현될 수 있다.
예를 들어, 차량(100)의 직진 주행이 예정된 경우, 가상 운전자 제어부(250)는 차량(100)의 주행 정보에 기초하여 가상 운전자(115)의 두 손이 조향 장치(130)를 쥐고 있는 모습으로 표현되도록 가상 운전자(115)의 동작을 제어할 수 있다. 다른 예를 들어, 차량(100)의 우회전(또는 좌회전)이 예정된 경우, 가상 운전자 제어부(250)는 차량(100)의 주행 정보에 기초하여 가상 운전자(115)가 조향 장치(130)를 우측 방향(또는 좌측 방향)으로 회전시키는 모습이 표현되도록 가상 운전자(115)의 동작을 제어할 수 있다. 또 다른 예를 들어, 차량(100)의 유턴(U-turn)이 예정된 경우, 가상 운전자 제어부(250)는 차량(100)의 주행 정보에 기초하여 가상 운전자(115)가 유턴을 위해 조향 장치(130)를 한 쪽 방향으로 끝까지 회전시키는 모습이 표현되도록 가상 운전자(115)의 동작을 제어할 수 있다. 또 다른 예를 들어, 차량(100)이 목적지에 도착한 경우, 가상 운전자 제어부(250)는 차량(100)의 주행 정보에 기초하여 가상 운전자(115)가 기어 노브(310)를 이용하여 차량(100)을 주차시키는 모습이 표현되도록 가상 운전자(115)의 동작을 제어할 수 있다.
다시 도 2로 돌아와서, 홀로그램 출력부(220)는 차량(100)의 조향 장치(130)가 차량(100)의 내부로 내장된 경우, 가상 조향 장치에 대한 제 2 홀로그램을 더 출력할 수 있다.
가상 운전자 제어부(250)는 주행 정보에 기초하여 가상 조향 장치를 가상 조작하도록 가상 운전자(115)의 동작을 제어할 수 있다.
홀로그램 출력부(220)는 동작이 반영된 가상 운전자(115)에 대한 제 1 홀로그램을 출력하고, 가상 조향 장치에 대한 제 2 홀로그램을 출력할 수 있다. 이러한 제 1 홀로그램 및 제 2 홀로그램을 출력하는 과정에 대해서는 도 4를 통해 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 제 1 및 제 2 홀로그램을 출력하는 과정을 설명하기 위한 예시적인 도면이다.
홀로그램 출력부(220)는 차량(100)의 내부의 투영 영역에 가상 운전자(115) 에 대한 제 1 홀로그램을 출력할 수 있다. 예를 들어, 홀로그램 출력부(220)는 투영 영역의 위치 정보, 가상 운전자(115)에 대해 설정된 자세 정보 및 신체 부위별 위치 정보에 기초하여 가상 운전자(115)의 머리, 몸통, 팔, 다리 등이 표현되도록 제 1 홀로그램을 출력할 수 있다.
또한, 홀로그램 출력부(220)는 제 1 홀로그램뿐만 아니라, 가상 조향 장치(320)에 대한 제 2 홀로그램을 더 출력할 수 있다.
주행 정보 도출부(240)는 차량(100)의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출할 수 있다. 예를 들어, 300m 전방에서 우회전을 해야 하는 경우, 주행 정보 도출부(240)는 조향 타이밍으로서 10초 뒤, 조향각으로서 조향 장치(130)를 90도의 조향각으로 조향한다는 주행 정보를 도출할 수 있다. 다른 예를 들어, 전방 차량이 급정거를 할 경우, 주행 정보 도출부(240)는 제동 타이밍으로서 즉시, 제동 정도로서 강하게 제동한다는 주행 정보를 도출할 수 있다.
가상 운전자 제어부(250)는 주행 정보에 기초하여 가상 운전자(115)가 가상 조향 장치(320)를 가상 조작하도록 가상 운전자(115)의 동작을 제어할 수 있다. 여기서, 가상 운전자 제어부(250)는 주행 정보 및 가상 조향 장치(320)의 위치에 기초하여 가상 운전자(115)가 가상 조향 장치(320)를 가상 조작하도록 가상 운전자(115)의 동작을 제어할 수 있다. 여기서, 가상 조작이란 주행 정보에 기초하여 가상 운전자(115)의 동작이 가상 조향 장치(320)의 작동과 동기화됨으로써, 가상 운전자(115)가 가상 조향 장치(320)를 실제로 조작하는 모습처럼 보이도록 하는 것을 의미할 수 있다.
홀로그램 출력부(220)는 조향 장치(130)가 차량(100)에 내장되고, 동작이 반영된 가상 운전자(115)에 대한 제 1 홀로그램을 출력할 수 있다.
예를 들어, 가상 운전자 제어부(250)는 가상 조향 장치(320)의 위치에 기초하여 가상 운전자(115)의 두 손이 가상 조향 장치(320)를 쥐고 있는 모습이 표현되도록 가상 운전자(115)의 동작을 제어할 수 있다.
이후, 가상 운전자 제어부(250)는 차량(100)이 직진, 좌회전, 우회전, 유턴 등으로 주행할 경우, 가상 운전자(115)가 차량(100)의 주행 정보에 기초하여 가상 조향 장치(320)를 가상 조작하도록 가상 운전자(115)의 동작을 제어할 수 있다.
예를 들어, 차량(100)의 직진 주행이 예정된 경우, 가상 운전자 제어부(250)는 차량(100)의 주행 정보 및 가상 조향 장치(320)의 위치에 기초하여 가상 운전자(115)의 두 손이 가상 조향 장치(320)를 쥐고 있는 모습으로 표현되도록 가상 운전자(115)의 동작을 제어할 수 있다. 다른 예를 들어, 차량(100)의 우회전(또는 좌회전)이 예정된 경우, 가상 운전자 제어부(250)는 차량(100)의 주행 정보 및 가상 조향 장치(320)의 위치에 기초하여 가상 운전자(115)가 가상 조향 장치(320)를 우측 방향(또는 좌측 방향)으로 회전시키는 모습이 표현되도록 가상 운전자(115)의 동작을 제어할 수 있다. 또 다른 예를 들어, 차량(100)의 유턴(U-turn)이 예정된 경우, 가상 운전자 제어부(250)는 차량(100)의 주행 정보 및 가상 조향 장치(320)의 위치에 기초하여 가상 운전자(115)가 가상 조향 장치(320)를 유턴을 위해 한 쪽 방향으로 끝까지 회전시키는 모습이 표현되도록 가상 운전자(115)의 동작을 제어할 수 있다. 또 다른 예를 들어, 차량(100)이 목적지에 도착한 경우, 가상 운전자 제어부(250)는 차량(100)의 주행 정보 및 가상 조향 장치(320)의 위치에 기초하여 가상 운전자(115)가 가상 기어 노브(330)를 이용하여 차량(100)을 주차시키는 모습이 표현되도록 가상 운전자(115)의 동작을 제어할 수 있다.
대화 서비스 제공부(260)는 차량(100)의 탑승자(105)가 발화한 음성을 인식하고, 인식된 음성에 기초하여 가상 운전자(115)가 탑승자(105)와 대화하도록 하는 서비스를 제공할 수 있다. 예를 들어, 대화 서비스 제공부(260)는 차량의 탑승자(105)가 발화한 음성을 인식한 경우, 통신부(210)를 통해 인식된 음성 데이터를 서버(미도시)로 전송하고, 서버(미도시)로부터 음성 데이터에 기초하여 도출된 답변을 수신할 수 있다.
대화 서비스 제공부(260)는 가상 운전자(115)에 대해 설정된 캐릭터 정보에 기초하여 답변을 출력할 수 있다. 여기서, 캐릭터 정보는 복수의 여성 캐릭터, 복수의 남성 캐릭터, 복수의 게임/동물 캐릭터 중 탑승자(105)에 의해 선택된 어느 하나의 캐릭터를 포함할 수 있다. 예를 들어, 이 때, 대화 서비스 제공부(260)는 가상 운전자(115)의 캐릭터 정보에 기초하여 캐릭터별로 기설정된 손짓, 몸짓과 관련된 동작, 얼굴 표정, 말투 등에 따라 가상 운전자(115)의 캐릭터, 동작, 얼굴 표정, 말투 등을 각각 다르게 표현하여 대화 서비스를 제공할 수 있다.
이 때, 대화 서비스 제공부(260)는 가상 운전자(115)의 입의 위치에 기초하여 가상 발화 위치를 설정하고, 설정된 가상 발화 위치에 기초하여 답변이 출력되도록 함으로써, 탑승자(105)가 가상 운전자(115)와 실제 대화하는 느낌을 받도록 할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 가상 운전자 서비스 제공 장치에서 가상 운전자 서비스를 제공하는 방법의 순서도이다. 도 5에 도시된 가상 운전자 서비스 제공 장치(110)에서 가상 운전자 서비스를 제공하는 방법은 도 1 내지 도 4에 도시된 실시예에 따른 가상 운전자 서비스 제공 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 4에 도시된 실시예에 따른 가상 운전자 서비스 제공 장치(110)에서 가상 운전자 서비스를 제공하는 방법에도 적용된다.
단계 S510에서 가상 운전자 서비스 제공 장치(110)는 차량(100)의 내부의 투영 영역에 가상 운전자(115)에 대한 제 1 홀로그램을 출력할 수 있다.
단계 S520에서 가상 운전자 서비스 제공 장치(110)는 차량(100)의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출할 수 있다.
단계 S530에서 가상 운전자 서비스 제공 장치(110)는 주행 정보에 기초하여 가상 운전자(115)의 동작을 제어할 수 있다.
단계 S540에서 가상 운전자 서비스 제공 장치(110)는 동작이 반영된 가상 운전자(115)에 대한 제 1 홀로그램을 출력할 수 있다.
상술한 설명에서, 단계 S510 내지 S540은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 5를 통해 설명된 가상 운전자 서비스 제공 장치에서 가상 운전자 서비스를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 5를 통해 설명된 가상 운전자 서비스 제공 장치에서 가상 운전자 서비스를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (19)

  1. 가상 운전자 서비스를 제공하는 장치에 있어서,
    차량의 내부의 투영 영역에 가상 운전자에 대한 제 1 홀로그램을 출력하는 홀로그램 출력부;
    상기 차량의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출하는 주행 정보 도출부; 및
    상기 주행 정보에 기초하여 상기 가상 운전자의 동작을 제어하는 가상 운전자 제어부를 포함하고,
    상기 홀로그램 출력부는 상기 동작이 반영된 상기 가상 운전자에 대한 제 1 홀로그램을 출력하는 것인, 장치.
  2. 제 1 항에 있어서,
    상기 가상 운전자 제어부는 상기 주행 정보 및 조향 장치의 위치에 기초하여 상기 가상 운전자가 상기 조향 장치를 가상 조작하도록 상기 가상 운전자의 동작을 제어하는 것인, 장치.
  3. 제 1 항에 있어서,
    상기 차량의 조향 장치가 상기 차량의 내부로 내장된 경우,
    상기 홀로그램 출력부는 가상 조향 장치에 대한 제 2 홀로그램을 더 출력하는 것인, 장치.
  4. 제 3 항에 있어서,
    상기 가상 운전자 제어부는 상기 주행 정보에 기초하여 상기 가상 조향 장치를 가상 조작하도록 상기 가상 운전자의 동작을 제어하는 것인, 장치.
  5. 제 1 항에 있어서,
    차량 단말 또는 사용자 단말 중 적어도 하나와 통신을 수행하는 통신부를 더 포함하는 것인, 장치.
  6. 제 5 항에 있어서,
    상기 통신부는 상기 사용자 단말로부터 상기 가상 운전자에 대한 설정 정보를 수신하는 것인, 장치.
  7. 제 6 항에 있어서,
    상기 수신한 설정 정보에 기초하여 상기 투영 영역의 위치, 상기 가상 운전자의 자세 및 신체 부위별 위치를 조정하는 조정부를 더 포함하는 것인, 장치.
  8. 제 5 항에 있어서,
    상기 통신부는 상기 사용자 단말 또는 상기 차량 단말 중 적어도 하나로부터 상기 차량의 자율 주행을 위한 내비게이션 정보를 수신하는 것인, 장치.
  9. 제 1 항에 있어서,
    상기 차량의 탑승자가 발화한 음성을 인식하고, 상기 인식된 음성에 기초하여 상기 가상 운전자가 상기 탑승자와 대화하는 대화 서비스 제공부를 더 포함하는 것인, 장치.
  10. 가상 운전자 서비스를 제공하는 방법에 있어서,
    차량의 내부의 투영 영역에 가상 운전자에 대한 제 1 홀로그램을 출력하는 단계;
    상기 차량의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출하는 단계;
    상기 주행 정보에 기초하여 상기 가상 운전자의 동작을 제어하는 단계; 및
    상기 동작이 반영된 상기 가상 운전자에 대한 제 1 홀로그램을 출력하는 단계
    를 포함하는 것인, 가상 운전자 서비스 제공 방법.
  11. 제 10 항에 있어서,
    상기 주행 정보 및 조향 장치의 위치에 기초하여 상기 가상 운전자가 상기 조향 장치를 가상 조작하도록 상기 가상 운전자의 동작을 제어하는 단계를 더 포함하는 것인, 가상 운전자 서비스 제공 방법.
  12. 제 10 항에 있어서,
    상기 차량의 조향 장치가 상기 차량의 내부로 내장된 경우,
    가상 조향 장치에 대한 제 2 홀로그램을 더 출력하는 단계를 더 포함하는 것인, 가상 운전자 서비스 제공 방법.
  13. 제 12 항에 있어서,
    상기 주행 정보에 기초하여 상기 가상 조향 장치를 가상 조작하도록 상기 가상 운전자의 동작을 제어하는 단계를 더 포함하는 것인, 가상 운전자 서비스 제공 방법.
  14. 제 10 항에 있어서,
    차량 단말 또는 사용자 단말 중 적어도 하나와 통신을 수행하는 단계를 더 포함하는 것인, 가상 운전자 서비스 제공 방법.
  15. 제 14 항에 있어서,
    상기 사용자 단말로부터 상기 가상 운전자에 대한 설정 정보를 수신하는 단계를 더 포함하는 것인, 가상 운전자 서비스 제공 방법.
  16. 제 15 항에 있어서,
    상기 수신한 설정 정보에 기초하여 상기 투영 영역의 위치, 상기 가상 운전자의 자세 및 신체 부위별 위치를 조정하는 단계를 더 포함하는 것인, 가상 운전자 서비스 제공 방법.
  17. 제 14 항에 있어서,
    상기 통신을 수행하는 단계는,
    상기 사용자 단말 또는 상기 차량 단말 중 적어도 하나로부터 상기 차량의 자율 주행을 위한 내비게이션 정보를 수신하는 단계를 포함하는 것인, 가상 운전자 서비스 제공 방법.
  18. 제 10 항에 있어서,
    상기 차량의 탑승자가 발화한 음성을 인식하고, 상기 인식된 음성에 기초하여 상기 가상 운전자가 상기 탑승자와 대화하는 단계를 더 포함하는 것인, 가상 운전자 서비스 제공 방법.
  19. 가상 운전자 서비스를 제공하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    차량의 내부의 투영 영역에 가상 운전자에 대한 제 1 홀로그램을 출력하고, 상기 차량의 자율 주행을 위한 내비게이션 정보에 기초하여 주행 정보를 도출하고,
    상기 주행 정보에 기초하여 상기 가상 운전자의 동작을 제어하고,
    상기 동작이 반영된 상기 가상 운전자에 대한 제 1 홀로그램을 출력하도록 하는 명령어들의 시퀀스를 포함하는, 매체에 저장된 컴퓨터 프로그램.
PCT/KR2022/005167 2021-05-14 2022-04-11 가상 운전자 서비스를 제공하는 장치, 방법 및 컴퓨터 프로그램 WO2022239972A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22807620.4A EP4324714A1 (en) 2021-05-14 2022-04-11 Apparatus, method, and computer program for providing virtual driver service
CN202280035000.8A CN117295648A (zh) 2021-05-14 2022-04-11 提供虚拟驾驶员服务的装置、方法及计算机程序
US18/506,630 US20240075814A1 (en) 2021-05-14 2023-11-10 Apparatus, method and computer program for providing virtual driver service

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210062322A KR102609600B1 (ko) 2021-05-14 2021-05-14 가상 운전자 서비스를 제공하는 장치, 방법 및 컴퓨터 프로그램
KR10-2021-0062322 2021-05-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/506,630 Continuation US20240075814A1 (en) 2021-05-14 2023-11-10 Apparatus, method and computer program for providing virtual driver service

Publications (1)

Publication Number Publication Date
WO2022239972A1 true WO2022239972A1 (ko) 2022-11-17

Family

ID=84028397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005167 WO2022239972A1 (ko) 2021-05-14 2022-04-11 가상 운전자 서비스를 제공하는 장치, 방법 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US20240075814A1 (ko)
EP (1) EP4324714A1 (ko)
KR (3) KR102609600B1 (ko)
CN (1) CN117295648A (ko)
WO (1) WO2022239972A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102637748B1 (ko) * 2021-06-14 2024-02-20 (주)다산지앤지 가상 운전자 서비스를 제공하는 장치, 방법 및 사용자 단말

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170054186A (ko) 2015-11-09 2017-05-17 현대자동차주식회사 자율주행차량 제어 장치 및 그 방법
WO2019011812A1 (de) * 2017-07-10 2019-01-17 Audi Ag Verfahren zum betreiben einer ausgabeeinrichtung eines kraftfahrzeugs, fahrerassistenzeinrichtung, und kraftfahrzeug
KR20190135347A (ko) * 2018-05-28 2019-12-06 최준기 홀로그램을 이용한 차량용 가상 마네킹
JP2020154527A (ja) * 2019-03-19 2020-09-24 本田技研工業株式会社 車載装置、車載装置の制御方法、およびプログラム
KR20210005756A (ko) * 2019-07-04 2021-01-15 한양대학교 에리카산학협력단 자율주행차량의 가상 조향 핸들 제공 시스템
US20210018986A1 (en) * 2015-06-10 2021-01-21 Wayne Patrick O'Brien Interactive holographic human-computer interface

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140136288A (ko) * 2013-05-20 2014-11-28 노영희 사용자 참여형 테마파크 영상 제작 서비스 제공 시스템 및 방법
US11107281B2 (en) * 2018-05-18 2021-08-31 Valeo Comfort And Driving Assistance Shared environment for vehicle occupant and remote user
WO2020246632A1 (ko) * 2019-06-04 2020-12-10 엘지전자 주식회사 자율 주행 차량과 그 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210018986A1 (en) * 2015-06-10 2021-01-21 Wayne Patrick O'Brien Interactive holographic human-computer interface
KR20170054186A (ko) 2015-11-09 2017-05-17 현대자동차주식회사 자율주행차량 제어 장치 및 그 방법
WO2019011812A1 (de) * 2017-07-10 2019-01-17 Audi Ag Verfahren zum betreiben einer ausgabeeinrichtung eines kraftfahrzeugs, fahrerassistenzeinrichtung, und kraftfahrzeug
KR20190135347A (ko) * 2018-05-28 2019-12-06 최준기 홀로그램을 이용한 차량용 가상 마네킹
JP2020154527A (ja) * 2019-03-19 2020-09-24 本田技研工業株式会社 車載装置、車載装置の制御方法、およびプログラム
KR20210005756A (ko) * 2019-07-04 2021-01-15 한양대학교 에리카산학협력단 자율주행차량의 가상 조향 핸들 제공 시스템

Also Published As

Publication number Publication date
KR20240018564A (ko) 2024-02-13
US20240075814A1 (en) 2024-03-07
KR102650178B1 (ko) 2024-03-22
KR102609600B1 (ko) 2023-12-06
KR20220155495A (ko) 2022-11-23
EP4324714A1 (en) 2024-02-21
CN117295648A (zh) 2023-12-26
KR102637764B1 (ko) 2024-02-20
KR20230169892A (ko) 2023-12-18

Similar Documents

Publication Publication Date Title
JP7146585B2 (ja) 視線検出装置、プログラム、及び、視線検出方法
US11798552B2 (en) Agent device, agent control method, and program
JP7053432B2 (ja) 制御装置、エージェント装置及びプログラム
US20180093673A1 (en) Utterance device and communication device
US20200108720A1 (en) Agent system, agent control method, and storage medium
CN110968048B (zh) 智能体装置、智能体控制方法以及存储介质
WO2022239972A1 (ko) 가상 운전자 서비스를 제공하는 장치, 방법 및 컴퓨터 프로그램
JP2000193480A (ja) 車載入出力装置
CN111261154A (zh) 智能体装置、智能体提示方法及存储介质
WO2020222333A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
CN111007968A (zh) 智能体装置、智能体提示方法及存储介质
CN111016824A (zh) 交流支援系统、交流支援方法及存储介质
GB2578766A (en) Apparatus and method for controlling vehicle system operation
KR20240023581A (ko) 가상 운전자 서비스를 제공하는 장치, 방법 및 사용자 단말
US11449555B2 (en) Conversational AI based on real-time contextual information for autonomous vehicles
WO2021256483A1 (ja) 制御装置、投影システム、制御方法及びプログラム
WO2017003041A1 (ko) 지도 축적 변화에 따른 웹 벡터 지도 표시 시스템 및 방법
JP2020059401A (ja) 車両制御装置、車両制御方法、プログラム
WO2020196931A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
Piersma et al. GIDS architecture
JP2020130502A (ja) 情報処理装置および情報処理方法
US11853232B2 (en) Device, method and computer program
CN115195743B (zh) 基于无人驾驶的车辆自动变道方法、装置、设备及介质
US20240262205A1 (en) Method for providing media content which is adapted to the movement of a vehicle, and vehicle
JP2022064053A (ja) 制御装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22807620

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280035000.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022807620

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022807620

Country of ref document: EP

Effective date: 20231116

NENP Non-entry into the national phase

Ref country code: DE