WO2024071942A1 - 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치 - Google Patents

신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치 Download PDF

Info

Publication number
WO2024071942A1
WO2024071942A1 PCT/KR2023/014734 KR2023014734W WO2024071942A1 WO 2024071942 A1 WO2024071942 A1 WO 2024071942A1 KR 2023014734 W KR2023014734 W KR 2023014734W WO 2024071942 A1 WO2024071942 A1 WO 2024071942A1
Authority
WO
WIPO (PCT)
Prior art keywords
microservice
signal processing
data
processing device
virtual machine
Prior art date
Application number
PCT/KR2023/014734
Other languages
English (en)
French (fr)
Inventor
이철희
정준영
유은혜
김은진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2024071942A1 publication Critical patent/WO2024071942A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023—Avoiding failures by using redundant parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles

Definitions

  • the present disclosure relates to a signal processing device and a vehicle display device including the same, and more specifically, to a signal processing device capable of efficiently processing data based on safety levels and a vehicle display device provided therewith.
  • a vehicle is a device that moves the user in the desired direction.
  • a representative example is a car.
  • a vehicle signal processing device is installed inside the vehicle.
  • a signal processing device inside a vehicle receives and processes sensor data from various sensor devices inside the vehicle.
  • ADAS vehicle driver assistance
  • autonomous driving the data that must be processed is increasing.
  • the problem that the present disclosure aims to solve is to provide a signal processing device that can efficiently process data based on safety levels and a vehicle display device equipped with the same.
  • Another problem that the present disclosure aims to solve is to provide a signal processing device that can efficiently process data using microservices and a vehicle display device equipped with the same.
  • a signal processing device and a vehicle display device including the same include a processor that executes a hypervisor, and the processor executes a plurality of virtual machines on the hypervisor, and one of the plurality of virtual machines is The first virtualization machine executes a plurality of microservices corresponding to the first security level, and virtualizes result data of the first microservice among the plurality of microservices into a plurality of virtualization machines corresponding to a second security level that is lower than the first security level. It is transmitted to a second virtual machine among the machines or a virtual machine in the second signal processing device.
  • the first virtual machine may distinguish and execute a plurality of microservices to execute the first application corresponding to the first security level.
  • the second virtual machine executes a second application corresponding to the second security level, and the second application may be executed based on result data of the first microservice.
  • the second virtualization machine may not transmit the result data of the microservice being executed or the result data of the application to the first virtualization machine.
  • the first virtual machine among the plurality of virtualization machines may not transmit the result data of the first microservice among the plurality of microservices to the virtualization machine at the third security level higher than the first security level.
  • some cores of the processor may execute a first virtualization machine, and other cores of the processor may execute a second virtualization machine.
  • the signal processing device further includes a second processor different from the processor, the second processor executing an application or a virtualization machine, and the second processor executing an application or a virtualization machine running on the second processor.
  • the safety level may be higher than the first safety level.
  • the second processor may not run a hypervisor.
  • the processor receives sensor data or camera data from the second signal processing device, and the first virtualization machine executes a plurality of microservices corresponding to the first safety level based on the sensor data or camera data, Result data of a first microservice among a plurality of microservices may be transmitted to a second virtualization machine corresponding to a second security level that is lower than the first security level.
  • the first virtual machine executes a plurality of microservices corresponding to the first security level based on sensor data or camera data, and converts the result data of the first microservice among the plurality of microservices to the first security level. It can be transmitted to a virtualization machine in the second signal processing device corresponding to the second safety level below.
  • the first virtual machine among the plurality of virtual machines is based on received camera data, face detection microservice, eye movement microservice, eye tracking microservice, warning ( alert)
  • Each microservice can be executed, and the resulting data of the eye tracking microservice can be transmitted to a second virtual machine corresponding to the second safety level.
  • the second virtual machine can be controlled to execute the augmented reality microservice based on the result data of the eye tracking microservice and display the result data of the augmented reality microservice on the display.
  • the second virtual machine may execute a face recognition microservice based on received camera data and execute additional microservices based on result data of the face recognition microservice.
  • the second virtual machine executes the occupant seating microservice, occupant movement microservice, occupant detection microservice, and graphics provision microservice, respectively, based on the received sensor data or camera data, and the service results of the occupant detection microservice. Data may not be transmitted to the first virtual machine.
  • the first virtual machine operates the occupant seating microservice, occupant movement microservice, and occupant detection based on the received sensor data or camera data. You can run microservices and alert microservices, respectively.
  • the first virtualization machine may use the shared memory to transmit the result data of the first microservice to the second virtualization machine corresponding to the second security level that is lower than the first security level.
  • the first virtualization machine may use shared memory to transmit result data of the first microservice to at least one virtualization machine corresponding to a second security level that is lower than the first security level.
  • one of the plurality of virtual machines executes a data path controller for transmitting result data of the first micro service, and the data path controller determines the safety level of the first micro service and the micro service in the second virtual machine.
  • transferable information may be transmitted to the proxy of the first micro service.
  • a signal processing device and a vehicle display device including the same include a processor that executes a hypervisor, and the processor includes, on the hypervisor, a first virtualization machine corresponding to a first security level and , executing a second virtualization machine corresponding to a second security level that is lower than or equal to the first security level, the first virtualization machine executing the first application, and sending result data or intermediate result data of the first application to the second virtualization machine or Transmit to the virtualization machine in the second signal processing device corresponding to the second safety level.
  • the first virtual machine may execute a first application including a plurality of microservices and transmit result data of at least some of the plurality of microservices to a second virtualization machine or a second signal processing device.
  • a signal processing device and a vehicle display device including the same include a processor that executes a hypervisor, and the processor executes a plurality of virtual machines on the hypervisor, and one of the plurality of virtual machines is The first virtualization machine executes a plurality of microservices corresponding to the first security level, and virtualizes result data of the first microservice among the plurality of microservices into a plurality of virtualization machines corresponding to a second security level that is lower than the first security level. It is transmitted to a second virtual machine among the machines or a virtual machine in the second signal processing device. Accordingly, data processing can be efficiently performed based on the safety level. Furthermore, data processing can be performed efficiently using microservices.
  • the first virtual machine may distinguish and execute a plurality of microservices to execute the first application corresponding to the first security level. Accordingly, data processing can be efficiently performed based on the safety level.
  • the second virtual machine executes a second application corresponding to the second security level, and the second application may be executed based on result data of the first microservice. Accordingly, data processing can be efficiently performed based on the safety level.
  • the second virtualization machine may not transmit the result data of the microservice being executed or the result data of the application to the first virtualization machine. Accordingly, data processing can be efficiently performed based on the safety level.
  • the first virtual machine among the plurality of virtualization machines may not transmit the result data of the first microservice among the plurality of microservices to the virtualization machine at the third security level higher than the first security level. Accordingly, data processing can be efficiently performed based on the safety level.
  • some cores of the processor may execute a first virtualization machine, and other cores of the processor may execute a second virtualization machine. Accordingly, data processing can be efficiently performed based on the safety level.
  • the signal processing device further includes a second processor different from the processor, the second processor executing an application or a virtualization machine, and the second processor executing an application or a virtualization machine running on the second processor.
  • the safety level may be higher than the first safety level. Accordingly, data processing can be efficiently performed based on the safety level.
  • the processor receives sensor data or camera data from the second signal processing device, and the first virtualization machine executes a plurality of microservices corresponding to the first safety level based on the sensor data or camera data, Result data of a first microservice among a plurality of microservices may be transmitted to a second virtualization machine corresponding to a second security level that is lower than the first security level. Accordingly, data processing can be efficiently performed based on the safety level.
  • the first virtual machine executes a plurality of microservices corresponding to the first security level based on sensor data or camera data, and converts the result data of the first microservice among the plurality of microservices to the first security level. It can be transmitted to a virtualization machine in the second signal processing device corresponding to the second safety level below. Accordingly, data processing can be efficiently performed based on the safety level.
  • the first virtual machine among the plurality of virtual machines is based on received camera data, face detection microservice, eye movement microservice, eye tracking microservice, warning ( alert)
  • Each microservice can be executed, and the resulting data of the eye tracking microservice can be transmitted to a second virtual machine corresponding to the second safety level. Accordingly, data processing can be efficiently performed based on the safety level.
  • the second virtual machine can be controlled to execute the augmented reality microservice based on the result data of the eye tracking microservice and display the result data of the augmented reality microservice on the display. Accordingly, data processing can be efficiently performed based on the safety level.
  • the second virtual machine may execute a face recognition microservice based on received camera data and execute additional microservices based on result data of the face recognition microservice. Accordingly, data processing can be efficiently performed based on the safety level.
  • the second virtual machine executes the occupant seating microservice, occupant movement microservice, occupant detection microservice, and graphics provision microservice based on the received sensor data or camera data, respectively, and the service results of the occupant detection microservice.
  • Data may not be transmitted to the first virtual machine. Accordingly, data processing can be efficiently performed based on the safety level.
  • the first virtual machine operates the occupant seating microservice, occupant movement microservice, and occupant detection based on the received sensor data or camera data. You can run microservices and alert microservices, respectively. Accordingly, data processing can be efficiently performed based on the safety level.
  • the first virtualization machine may use the shared memory to transmit the result data of the first microservice to the second virtualization machine corresponding to the second security level that is lower than the first security level. Accordingly, data processing can be efficiently performed based on the safety level.
  • the first virtualization machine may use shared memory to transmit result data of the first microservice to at least one virtualization machine corresponding to a second security level that is lower than the first security level. Accordingly, data processing can be efficiently performed based on the safety level.
  • one of the plurality of virtual machines executes a data path controller for transmitting result data of the first micro service, and the data path controller determines the safety level of the first micro service and the micro service in the second virtual machine.
  • transferable information may be transmitted to the proxy of the first micro service. Accordingly, data processing can be efficiently performed based on the safety level.
  • a signal processing device and a vehicle display device including the same include a processor that executes a hypervisor, and the processor includes, on the hypervisor, a first virtualization machine corresponding to a first security level and , executing a second virtualization machine corresponding to a second security level that is lower than or equal to the first security level, the first virtualization machine executing the first application, and sending result data or intermediate result data of the first application to the second virtualization machine or Transmit to the virtualization machine in the second signal processing device corresponding to the second safety level. Accordingly, data processing can be efficiently performed based on the safety level. Furthermore, data processing can be performed efficiently using microservices.
  • the first virtual machine may execute a first application including a plurality of microservices and transmit result data of at least some of the plurality of microservices to a second virtualization machine or a second signal processing device. Accordingly, data processing can be efficiently performed based on the safety level.
  • FIG. 1 is a diagram showing an example of the exterior and interior of a vehicle.
  • FIGS. 2 to 2C are diagrams showing various architectures of a vehicle communication gateway.
  • FIG. 3A is a diagram illustrating an example of the arrangement of a vehicle display device inside a vehicle.
  • FIG. 3B is a diagram illustrating another example of the arrangement of a vehicle display device inside a vehicle.
  • FIG. 4 is an example of an internal block diagram of the vehicle display device of FIG. 3B.
  • FIGS. 5A to 5D are diagrams illustrating various examples of vehicle display devices.
  • Figure 6 is an example of a block diagram of a vehicle display device according to an embodiment of the present disclosure.
  • FIGS. 7A to 7B are diagrams referenced in the description of a signal processing device related to the present disclosure.
  • 8A to 8E are diagrams illustrating various examples of microservice execution according to an embodiment of the present disclosure.
  • Figure 9 is an example of an internal block diagram of a signal processing device according to an embodiment of the present disclosure.
  • Figure 10 is an example of an internal block diagram of a signal processing device according to another embodiment of the present disclosure.
  • FIG. 11 is a flowchart showing a method of operating a signal processing device according to an embodiment of the present disclosure.
  • FIGS. 12 to 16B are diagrams referenced in the description of the operation of FIGS. 9 to 11 .
  • module and “part” for components used in the following description are simply given in consideration of the ease of writing this specification, and do not in themselves give any particularly important meaning or role. Accordingly, the terms “module” and “unit” may be used interchangeably.
  • FIG. 1 is a diagram showing an example of the exterior and interior of a vehicle.
  • the vehicle 200 is operated by a plurality of wheels 103FR, 103FL, 103RL, etc. rotated by a power source and a steering wheel 150 to control the moving direction of the vehicle 200. .
  • the vehicle 200 may be further equipped with a camera 195 for acquiring images in front of the vehicle.
  • the vehicle 200 may be equipped with a plurality of displays 180a and 180b inside for displaying images, information, etc.
  • a cluster display 180a and an Audio Video Navigation (AVN) display 180b are illustrated as a plurality of displays 180a and 180b.
  • AVB Audio Video Navigation
  • HUD Head Up Display
  • the AVN (Audio Video Navigation) display 180b may also be called a center information display.
  • the vehicle 200 described in this specification may be a concept that includes all of a vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, an electric vehicle having an electric motor as a power source, etc. there is.
  • FIGS. 2 to 2C are diagrams showing various architectures of a vehicle communication gateway.
  • Figure 2 is a diagram showing the first architecture of a vehicle communication gateway.
  • the first architecture 300a may correspond to a zone-based architecture.
  • sensor devices and processors inside the vehicle may be placed in each of the plurality of zones (Z1 to Z4), and in the central area of the plurality of zones (Z1 to Z4), a vehicle communication gateway ( A signal processing device 170a including GWDa) may be disposed.
  • the signal processing device 170a may further include an autonomous driving control module (ACC), a cockpit control module (CPG), etc., in addition to the vehicle communication gateway (GWDa).
  • ACC autonomous driving control module
  • CPG cockpit control module
  • GWDa vehicle communication gateway
  • the vehicle communication gateway (GWDa) in the signal processing device 170a may be a High Performance Computing (HPC) gateway.
  • HPC High Performance Computing
  • the signal processing device 170a of FIG. 2 is an integrated HPC and can exchange data with an external communication module (not shown) or a processor (not shown) within a plurality of zones (Z1 to Z4).
  • FIG. 3A is a diagram illustrating an example of the arrangement of a vehicle display device inside a vehicle.
  • cluster display 180a
  • AVN Audio Video Navigation
  • Rear Seat Entertainment display 180c, 180d
  • room mirror display not shown
  • FIG. 3B is a diagram illustrating another example of the arrangement of a vehicle display device inside a vehicle.
  • the vehicle display device 100 performs signal processing to display images, information, etc. on a plurality of displays 180a to 180b, and a plurality of displays 180a to 180b, and at least one A signal processing device 170 that outputs an image signal to the displays 180a to 180b may be provided.
  • the first display (180a) is a cluster display (180a) for displaying driving status, operation information, etc.
  • the second display (180b) is a cluster display (180a) for displaying vehicle operation information, navigation maps, and various other displays. It may be an AVN (Audio Video Navigation) display 180b for displaying entertainment information or images.
  • AVN Audio Video Navigation
  • the signal processing device 170 has a processor 175 therein, and can execute first to third virtualization machines (not shown) on a hypervisor (not shown) within the processor 175.
  • a second virtualization machine (not shown) may operate for the first display 180a, and a third virtualization machine (not shown) may operate for the second display 180b.
  • the first virtualization machine (not shown) in the processor 175 shares the hypervisor 505 based on the second virtualization machine (not shown) and the third virtualization machine (not shown) to transmit the same data.
  • the memory 508 can be controlled to be set. Accordingly, the same information or the same image can be displayed in synchronization on the first display 180a and the second display 180b within the vehicle.
  • the first virtual machine (not shown) in the processor 175 shares at least part of the data with the second virtual machine (not shown) and the third virtual machine (not shown) for data sharing processing. Accordingly, data can be shared and processed by multiple virtual machines for multiple displays within the vehicle.
  • the first virtual machine (not shown) in the processor 175 receives and processes wheel speed sensor data of the vehicle into at least one of a second virtual machine (not shown) or a third virtual machine (not shown). , the processed wheel speed sensor data can be transmitted. Accordingly, it is possible to share the vehicle's wheel speed sensor data with at least one virtual machine, etc.
  • the vehicle display device 100 may further include a Rear Seat Entertainment display 180c for displaying driving status information, simple navigation information, and various entertainment information or images. You can.
  • the signal processing device 170 executes a fourth virtualization machine (not shown) in addition to the first to third virtualization machines (not shown) on the hypervisor (not shown) in the processor 175, and performs RSE
  • the display 180c can be controlled.
  • some of the plurality of displays 180a to 180c may operate based on Linux OS, and others may operate based on web OS.
  • the signal processing device 170 can control displays 180a to 180c operating under various operating systems (OS) to display the same information or the same image in synchronization.
  • OS operating systems
  • the vehicle speed indicator 212a and the vehicle internal temperature indicator 213a are displayed on the first display 180a, and a plurality of applications and the vehicle speed indicator 212b are displayed on the second display 180b.
  • a home screen 222 including a vehicle interior temperature indicator 213b is displayed, and a second home screen 222b including a plurality of applications and a vehicle interior temperature indicator 213c is displayed on the third display 180c. Example of what is displayed.
  • FIG. 4 is an example of an internal block diagram of the vehicle display device of FIG. 3B.
  • a vehicle display device 100 includes an input unit 110, a communication unit 120 for communication with an external device, and a plurality of communication modules (EMa to EMd) for internal communication. , it may be provided with a memory 140, a signal processing device 170, a plurality of displays (180a to 180c), an audio output unit 185, and a power supply unit 190.
  • a plurality of communication modules may be respectively disposed in a plurality of zones (Z1 to Z4) in FIG. 2 .
  • the signal processing device 170 may be provided with a communication switch 736b therein for data communication with each communication module (EM1 to EM4).
  • Each communication module may perform data communication with a plurality of sensor devices (SN) or ECU (770) or area signal processing device (170Z).
  • the plurality of sensor devices SN may include a camera 195, LIDAR 196, radar 197, or location sensor 198.
  • the input unit 110 may be equipped with physical buttons, pads, etc. for button input, touch input, etc.
  • the input unit 110 may be equipped with a microphone (not shown) for user voice input.
  • the communication unit 120 can exchange data with the mobile terminal 800 or the server 900 in a wireless manner.
  • the communication unit 120 can exchange data wirelessly with the vehicle driver's mobile terminal.
  • various data communication methods such as Bluetooth, WiFi, WiFi Direct, and APiX are possible.
  • the communication unit 120 may receive weather information, road traffic situation information, for example, Transport Protocol Expert Group (TPEG) information, from the mobile terminal 800 or the server 900.
  • TPEG Transport Protocol Expert Group
  • the communication unit 120 may be equipped with a mobile communication module (not shown).
  • a plurality of communication modules receive sensor data, etc. from the ECU (770), sensor device (SN), or area signal processing device (170Z), and transmit the received sensor data to the signal processing device (170). Can be transmitted.
  • sensor data includes vehicle direction data, vehicle location data (GPS data), vehicle angle data, vehicle speed data, vehicle acceleration data, vehicle tilt data, vehicle forward/backward data, battery data, fuel data, tire data, vehicle It may include at least one of lamp data, vehicle interior temperature data, and vehicle interior humidity data.
  • These sensor data include heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/reverse sensor, wheel sensor, vehicle speed sensor, It can be obtained from a vehicle body tilt sensor, battery sensor, fuel sensor, tire sensor, steering sensor by steering wheel rotation, vehicle interior temperature sensor, vehicle interior humidity sensor, etc.
  • the position module may include a GPS module or a location sensor 198 for receiving GPS information.
  • At least one of the plurality of communication modules may transmit location information data sensed by the GPS module or the location sensor 198 to the signal processing device 170.
  • At least one of the plurality of communication modules receives vehicle front image data, vehicle side image data, vehicle rear image data, and vehicle surroundings from the camera 195, lidar 196, or radar 197. Obstacle distance information, etc. may be received, and the received information may be transmitted to the signal processing device 170.
  • the memory 140 may store various data for the overall operation of the vehicle display device 100, such as a program for processing or controlling the signal processing device 170.
  • the memory 140 may store data related to a hypervisor and first to third virtualization machines for execution in the processor 175.
  • the audio output unit 185 converts the electrical signal from the signal processing device 170 into an audio signal and outputs it. For this purpose, speakers, etc. may be provided.
  • the power supply unit 190 can supply power required for the operation of each component under the control of the signal processing device 170.
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • the signal processing device 170 controls the overall operation of each unit within the vehicle display device 100.
  • the signal processing device 170 may include a processor 175 that performs signal processing for the vehicle displays 180a and 180b.
  • the processor 175 may execute first to third virtualization machines (not shown) on a hypervisor (not shown) within the processor 175.
  • the first virtual machine (not shown) may be called a Server Virtual Machine (Server Virtual maschine), and the second to third virtual machines (not shown) may be referred to as Server Virtual maschine. ) can be named a Guest Virtual maschine.
  • Server Virtual maschine a Server Virtual Machine
  • Guest Virtual maschine a Guest Virtual maschine.
  • a first virtualization machine (not shown) in processor 175 may store sensor data from a plurality of sensor devices, such as vehicle sensor data, location information data, camera image data, audio data, or touch input data. can be received, processed or processed and output.
  • the first virtual machine directly receives CAN data, Ethernet data, audio data, radio data, USB data, and wireless communication data for the second to third virtual machines (not shown). and can be processed.
  • the first virtualization machine may transmit the processed data to the second to third virtualization machines (not shown).
  • the first virtual machine (not shown) among the first to third virtual machines (not shown) receives sensor data, communication data, or external input data from a plurality of sensor devices, and performs signal processing.
  • the burden of signal processing on other virtual machines is reduced, 1:N data communication becomes possible, and synchronization during data sharing becomes possible.
  • the first virtualization machine (not shown) records data in the shared memory 508 and controls the same data to be shared with the second virtualization machine (not shown) and the third virtualization machine (not shown). .
  • a first virtualization machine (not shown) records vehicle sensor data, the location information data, the camera image data, or the touch input data to the shared memory 508, and writes the second virtualization machine (not shown) to the shared memory 508. ) and a third virtual machine (not shown) can be controlled to share the same data. Accordingly, sharing of data in a 1:N manner becomes possible.
  • the first virtualization machine (not shown) in the processor 175 shares the hypervisor 505 based on the second virtualization machine (not shown) and the third virtualization machine (not shown) to transmit the same data.
  • the memory 508 can be controlled to be set.
  • the signal processing device 170 can process various signals, such as audio signals, video signals, and data signals.
  • the signal processing device 170 may be implemented in the form of a system on chip (SOC).
  • the signal processing device 170 in the display device 100 of FIG. 4 may be the same as the signal processing devices 170, 170a1, and 170a2 of the vehicle display device shown in FIG. 5A and below.
  • FIGS. 5A to 5D are diagrams illustrating various examples of vehicle display devices.
  • FIG. 5A shows an example of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 800a includes signal processing devices 170a1 and 170a2 and a plurality of region signal processing devices 170Z1 to 170Z4.
  • the signal processing devices 170a1 and 170a2 may also be called HPC (High Performance Computing) signal processing devices.
  • the plurality of area signal processing devices 170Z1 to 170Z4 are disposed in each area Z1 to Z4 and can transmit sensor data to the signal processing devices 170a1 and 170a2.
  • the signal processing devices 170a1 and 170a2 receive data by wire from a plurality of area signal processing devices 170Z1 to 170Z4 or the communication device 120.
  • data is exchanged between the signal processing devices 170a1 and 170a2 and a plurality of area signal processing devices 170Z1 to 170Z4 based on wired communication, and the signal processing devices 170a1 and 170a2 and the server 400 are wirelessly connected.
  • data is exchanged based on wireless communication between the communication device 120 and the server 400, and the signal processing devices 170a1 and 170a2 and the communication device 120 are, Data can be exchanged based on wired communication.
  • data received by the signal processing devices 170a1 and 170a2 may include camera data or sensor data.
  • sensor data within a vehicle includes vehicle wheel speed data, vehicle direction data, vehicle location data (GPS data), vehicle angle data, vehicle speed data, vehicle acceleration data, vehicle tilt data, vehicle forward/reverse data, and battery. It may include at least one of data, fuel data, tire data, vehicle lamp data, vehicle interior temperature data, vehicle interior humidity data, vehicle exterior radar data, and vehicle exterior lidar data.
  • camera data may include camera data outside the vehicle and camera data inside the vehicle.
  • the signal processing devices 170a1 and 170a2 may execute a plurality of virtual machines 820, 830, and 840 based on safety.
  • a processor 175 in the signal processing device 170a executes a hypervisor 505, and on the hypervisor 505, according to automotive safety integrity levels (Automotive SIL (ASIL)), first to third Executing virtual machines (820 to 840) is illustrated.
  • ASIL Automotive SIL
  • the first virtual machine 820 may be a virtual machine corresponding to Quality Management (QM), which is the lowest safety level and non-mandatory level in the Automotive Safety Integrity Level (ASIL).
  • QM Quality Management
  • ASIL Automotive Safety Integrity Level
  • the first virtual machine 820 can run an operating system 822, a container runtime 824 on the operating system 822, and containers 827 and 829 on the container runtime 824.
  • the second virtual machine 820 is an automotive safety integrity level (ASIL) corresponding to ASIL A or ASIL B, where the sum of severity, exposure, and controllability is 7 or 8. It may be a virtual machine.
  • ASIL automotive safety integrity level
  • the second virtual machine 820 may run an operating system 832, a container runtime 834 on the operating system 832, and containers 837 and 839 on the container runtime 834.
  • the third virtual machine 840 is an automotive safety integrity level (ASIL) corresponding to ASIL C or ASIL D, where the sum of severity, exposure, and controllability is 9 or 10. It may be a virtual machine.
  • ASIL automotive safety integrity level
  • ASIL D can correspond to grades requiring the highest safety level.
  • the third virtual machine 840 can run the safety operating system 842 and the application 845 on the operating system 842.
  • the third virtual machine 840 may run the safety operating system 842, the container runtime 844 on the safety operating system 842, and the container 847 on the container runtime 844.
  • the third virtual machine 840 may be executed through a separate core rather than the processor 175. This will be described later with reference to FIG. 5B.
  • FIG. 5B shows another example of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 800b includes signal processing devices 170a1 and 170a2 and a plurality of region signal processing devices 170Z1 to 170Z4.
  • the vehicle display device 800b of FIG. 5B is similar to the vehicle display device 800a of FIG. 5A, but the signal processing device 170a1 has some differences from the signal processing device 170a1 of FIG. 5A.
  • the signal processing device 170a1 may include a processor 175 and a second processor 177.
  • the processor 175 in the signal processing device 170a1 executes a hypervisor 505, and on the hypervisor 505, according to an automotive safety integrity level (Automotive SIL (ASIL)), first to second virtualization machines ( 820 ⁇ 830).
  • ASIL Automotive SIL
  • the first virtual machine 820 can run an operating system 822, a container runtime 824 on the operating system 822, and containers 827 and 829 on the container runtime 824.
  • the second virtual machine 820 may run an operating system 832, a container runtime 834 on the operating system 832, and containers 837 and 839 on the container runtime 834.
  • the second processor 177 in the signal processing device 170a1 may execute the third virtual machine 840.
  • the third virtual machine 840 can execute the safety operating system 842, Autosa 845 on the operating system 842, and application 845 on Autosa 845. That is, unlike FIG. 5A, Autosa 846 on the operating system 842 can be further executed.
  • the third virtual machine 840 may run the safety operating system 842, the container runtime 844 on the safety operating system 842, and the container 847 on the container runtime 844, similar to FIG. 5A. there is.
  • the third virtual machine 840 which requires a high security level, is preferably executed on a second processor 177, which is a different core or different processor, unlike the first to second virtual machines 820 to 830. .
  • the second signal processing device 170a2 which serves as a backup, may operate.
  • the signal processing devices 170a1 and 170a2 can operate simultaneously, with the first signal processing device 170a operating as the main and the second signal processing device 170a2 operating as the sub. This will be described with reference to FIGS. 5C and 5D.
  • Figure 5C shows another example of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 800c includes signal processing devices 170a1 and 170a2 and a plurality of region signal processing devices 170Z1 to 170Z4.
  • the signal processing devices 170a1 and 170a2 may be called HPC (High Performance Computing) signal processing devices.
  • the plurality of area signal processing devices 170Z1 to 170Z4 are disposed in each area Z1 to Z4 and can transmit sensor data to the signal processing devices 170a1 and 170a2.
  • the signal processing devices 170a1 and 170a2 receive data by wire from a plurality of area signal processing devices 170Z1 to 170Z4 or the communication device 120.
  • data is exchanged between the signal processing devices 170a1 and 170a2 and a plurality of area signal processing devices 170Z1 to 170Z4 based on wired communication, and the signal processing devices 170a1 and 170a2 and the server 400 are wirelessly connected.
  • data is exchanged based on wireless communication between the communication device 120 and the server 400, and the signal processing devices 170a1 and 170a2 and the communication device 120 are, Data can be exchanged based on wired communication.
  • data received by the signal processing devices 170a1 and 170a2 may include camera data or sensor data.
  • the processor 175 in the first signal processing device 170a1 among the signal processing devices 170a1 and 170a2 runs the hypervisor 505, and on the hypervisor 505, the safety virtualization machine 860 ) and a non-safety virtualization machine 870 can be run, respectively.
  • the processor 175b in the second signal processing device 170a2 among the signal processing devices 170a1 and 170a2 executes the hypervisor 505b, and operates the safety virtualization machine 880 on the hypervisor 505. ) can only be executed.
  • FIG. 5D shows another example of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 800d includes signal processing devices 170a1 and 170a2 and a plurality of region signal processing devices 170Z1 to 170Z4.
  • the vehicle display device 800d of FIG. 5D is similar to the vehicle display device 800c of FIG. 5C, but the second signal processing device 170a2 has some differences from the second signal processing device 170a2 of FIG. 5C.
  • the processor 175b in the second signal processing device 170a2 of FIG. 5D runs a hypervisor 505b, and on the hypervisor 505, a safety virtualization machine 880 and a non-safety virtualization machine ( 890) can be executed respectively.
  • the difference is that the processor 175b in the second signal processing device 170a2 further executes the non-safety virtualization machine 890.
  • safety and non-safety processing are separated between the first signal processing device 170a1 and the second signal processing device 170a2, thereby improving stability and processing speed. .
  • Figure 6 is an example of a block diagram of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 900 includes a signal processing device 170 and at least one display.
  • At least one display is illustrated, including a cluster display 180a and an AVN display 180b.
  • the vehicle display device 900 may further include a plurality of region signal processing devices 170Z1 to 170Z4.
  • the signal processing device 170 is a high-performance, centralized signal processing and control device having a plurality of CPUs 175, GPUs 178, and NPUs 179, and is a High Performance Computing (HPC) signal processing device or It can be called a central signal processing unit.
  • HPC High Performance Computing
  • the plurality of area signal processing devices 170Z1 to 170Z4 and the signal processing device 170 are connected with wired cables (CB1 to CB4).
  • the plurality of area signal processing devices 170Z1 to 170Z4 may be connected with wired cables (CBa to CBd), respectively.
  • the wired cable may include a CAN communication cable, an Ethernet communication cable, or a PCI Express cable.
  • the signal processing device 170 may include at least one processor (175, 178, 177) and a large-capacity storage device 925.
  • the signal processing device 170 may include a central processor 175 and 177, a graphics processor 178, and a neural processor 179.
  • sensor data may be transmitted to the signal processing device 170 from at least one of the plurality of area signal processing devices 170Z1 to 170Z4.
  • sensor data may be stored in the storage device 925 within the signal processing device 170.
  • the sensor data includes camera data, lidar data, radar data, vehicle direction data, vehicle location data (GPS data), vehicle angle data, vehicle speed data, vehicle acceleration data, vehicle tilt data, vehicle forward/backward data, It may include at least one of battery data, fuel data, tire data, vehicle lamp data, vehicle interior temperature data, and vehicle interior humidity data.
  • camera data from the camera 195a and lidar data from the lidar sensor 196 are input to the first area signal processing device 170Z1, and camera data and lidar data are input to the second area. In this example, it is transmitted to the signal processing device 170 via the signal processing device 170Z2 and the third area signal processing device 170Z3.
  • the data reading or writing speed to the storage device 925 is faster than the network speed when sensor data is transmitted to the signal processing device 170 from at least one of the plurality of area signal processing devices 170Z1 to 170Z4. Therefore, it is desirable to perform multi-path routing to prevent network bottlenecks from occurring.
  • the signal processing device 170 may perform multi-path routing based on a software defined network (SDN). Accordingly, it is possible to secure a stable network environment when reading or writing data in the storage device 925. Furthermore, since data can be transmitted to the storage device 925 using multiple paths, data can be transmitted by dynamically changing the network configuration.
  • SDN software defined network
  • Data communication between the signal processing device 170 and the plurality of area signal processing devices 170Z1 to 170Z4 in the vehicle display device 900 according to an embodiment of the present disclosure is performed using high-speed external components for high-bandwidth, low-latency communication. It is preferable that it is a connection (Peripheral Component Interconnect Express) communication.
  • connection Peripheral Component Interconnect Express
  • FIGS. 7A to 7B are diagrams referenced in the description of a signal processing device related to the present disclosure.
  • Figure 7a illustrates that an application based on camera data, etc. is executed on a signal processing device.
  • the signal processing device 170x related to the present disclosure is based on camera data from the vehicle interior camera 195i, sensor data from the pressure sensor SNp, and sensor data from the gas sensor SNc.
  • the Driver Monitoring Systems (DMS) application 785 can be executed and, based on the result data, a warning sound can be controlled to be output to the audio output unit 185.
  • DMS Driver Monitoring Systems
  • FIG. 7B is a diagram referenced in the description of the operation of FIG. 7A.
  • a signal processing device 170x related to the present disclosure includes a processor 175x, and the processor 175x can execute a hypervisor 505.
  • the processor 175x related to the present disclosure runs a plurality of virtualization machines (520x, 530x, 540x) on the hypervisor 505, and a second virtualization machine (2) among the plurality of virtualization machines (520x, 530x, 540x) 530x) executes a driver monitoring system (DMS) application 785 based on camera data from the in-vehicle camera 195i, sensor data from the pressure sensor (SNp), and sensor data from the gas sensor (SNc).
  • DMS driver monitoring system
  • SNp sensor data from the pressure sensor
  • SNc sensor data from the gas sensor
  • the Lane Keep Assist System (LKAS) application 787 can be executed based on camera data outside the vehicle.
  • the third virtual machine 540x among the plurality of virtual machines 520x, 530x, and 540x may execute the Forward Collision Warning (FCW) application 789 based on vehicle exterior camera data.
  • FCW Forward Collision Warning
  • the third virtual machine 540x is executed in a separate virtual machine from the lane keeping assist system 787, which is commonly based on vehicle exterior camera data when the forward collision warning (FCW) application 789 is executed. , there is a problem that the workload is performed inefficiently.
  • FCW forward collision warning
  • this disclosure proposes a method of sharing intermediate result data of applications, etc. when executing similar applications.
  • the signal processing device 170 separates the application into a plurality of micro services and executes other micro services based on the results of the micro services, etc., and executes the workload. ) to be distributed efficiently.
  • the signal processing device 170 includes a plurality of micro services.
  • the first micro service is performed in the first virtualization machine, and the second micro service is performed in the second virtualization machine. Although it is performed on a machine, the results of the first micro service can be shared using the shared memory 508, etc., so that the second micro service can be controlled to be executed based on the result data of the first virtual machine. Accordingly, data processing can be performed efficiently.
  • the signal processing device 170 can distinguish and execute a plurality of virtual machines according to security levels.
  • the signal processing device 170 can classify and execute applications or microservices according to safety levels.
  • data processing can be performed stably according to the automotive safety integrity level (Automotive SIL; ASIL) in relation to vehicle driving assistance (ADAS) or autonomous driving.
  • ASIL Automotive safety integrity level
  • ADAS vehicle driving assistance
  • 8A to 8E are diagrams illustrating various examples of microservice execution according to an embodiment of the present disclosure.
  • FIG. 8A illustrates that a plurality of microservices corresponding to ASIL B are executed based on camera data from the internal camera 195i.
  • the signal processing device 170 may execute a driver monitoring system (DMS) application 905 corresponding to ASIL B.
  • DMS driver monitoring system
  • the signal processing device 170 can separate and execute the driver monitoring system (DMS) application 905 into a plurality of micro services.
  • DMS driver monitoring system
  • microservices for the driver monitoring system (DMS) application 905 including a face detection microservice 910b, an eye movement microservice 915b, and an eye tracking microservice.
  • DMS driver monitoring system
  • Microservice 920b and alert microservice 930b are exemplified.
  • the signal processing device 170 includes a plurality of microservices for the driver monitoring system (DMS) application 905 corresponding to ASIL B, such as a face detection microservice 910b, an eye A movement microservice (915b), an eye tracking microservice (920b), and a warning microservice (930b) can each be executed.
  • DMS driver monitoring system
  • the face detection microservice 910b is executed based on camera data from the internal camera 195i, and the resulting data of the face detection microservice 910b is transmitted to the eye movement microservice 915b.
  • the eye movement microservice 915b is executed based on the result data of the face detection microservice 910b, and the result data of the eye movement microservice 915b is transmitted to the eye tracking microservice 920b.
  • the eye tracking microservice 920b is executed based on the result data of the eye movement microservice 915b, and the result data of the eye tracking microservice 920b is transmitted to the alert microservice 930b.
  • the warning microservice 930b is executed based on the result data of the eye tracking microservice 920b, and the result data is input to the audio output unit 185, and a warning sound is output from the audio output unit 185. It can be.
  • the signal processing device 170 includes a second face detection microservice 910c, a head movement microservice ( 915c) can each be further executed.
  • the second face detection microservice 910c is executed based on camera data from the internal camera 195i, and the resulting data of the second face detection microservice 910c is sent to the head movement microservice 915c. .
  • the head movement microservice 915c is executed based on the result data of the second face detection microservice 910c, and the result data of the head movement microservice 915c is transmitted to the eye tracking microservice 920b. .
  • the eye tracking microservice 920b is executed based on the result data of the head movement microservice 915c and the result data of the eye movement microservice 915b, and the result data of the eye tracking microservice 920b is The alert may be sent to the microservice 930b.
  • the signal processing device 170 may further execute a plurality of microservices unrelated to ASIL B, for example, corresponding to QM (Quality Management).
  • QM Quality Management
  • a third face detection microservice 910a, a face recognition microservice 915a, and a personal microservice 920a may be executed as a plurality of microservices unrelated to ASIL B.
  • Figure 8B illustrates an example of execution of a plurality of microservices corresponding to ASIL B and microservices corresponding to QM based on camera data from internal camera 195i.
  • the signal processing device 170 may execute a driver monitoring system (DMS) application 905 corresponding to ASIL B, similar to FIG. 8A.
  • DMS driver monitoring system
  • the signal processing device 170 includes a face detection microservice 910b as a plurality of microservices for a driver monitoring system (DMS) application 905 corresponding to ASIL B.
  • the eye movement microservice (915b), the eye tracking microservice (920b), and the warning microservice (930b) can each be executed.
  • the signal processing device 170 includes a second face detection microservice 910c, a head movement microservice ( 915c) can each be further executed.
  • the signal processing device 170 includes a plurality of microservices unrelated to ASIL B, including a third face detection microservice 910a, a face recognition microservice 915a, and a personal microservice. (920a) can be executed respectively.
  • the signal processing device 170 can execute the augmented reality microservice 930c, which is a microservice corresponding to QM and is an example of a graphics providing microservice.
  • the signal processing device 170 sends the result data of the eye tracking microservice 920b among the microservices in the application 905 corresponding to ASIL B to QM, which has a lower safety level. It can be transmitted to the corresponding augmented reality micro service 930c.
  • the augmented reality microservice 930c corresponding to QM is executed based on the result data of the eye tracking microservice 920b, and the result data of the augmented reality microservice 930c is transmitted to the display 180 can be displayed.
  • Figure 8c illustrates that a plurality of microservices corresponding to QM are executed.
  • the signal processing device 170 may execute a passenger monitoring application 940 corresponding to QM.
  • the signal processing device 170 can separate and execute the passenger monitoring application 940 into a plurality of micro services.
  • a plurality of microservices for the passenger monitoring application 940 include a passenger seating (press detection) microservice (950b), a passenger movement (passenger movement) microservice (955b), and a passenger detection (passenger detection) microservice ( 960b), illustrating the graphics providing microservice 965b.
  • the signal processing device 170 includes a plurality of micro services for the passenger monitoring application 940 corresponding to QM, including the passenger seating micro service 950b and the passenger movement micro service 955b. ), the occupant detection microservice 960b, and the graphics provision microservice 965b can each be executed.
  • the occupant seating microservice 950b is executed based on sensor data from the pressure sensor SNp, and the resulting data of the occupant seating microservice 950b is transmitted to the occupant movement microservice 955b.
  • the occupant movement microservice 955b is executed based on the result data of the occupant seating microservice 950b, and the result data of the occupant movement microservice 955b is transmitted to the occupant detection microservice 960b.
  • the occupant detection microservice 960b is executed based on the result data of the occupant movement microservice 955b, and the result data of the occupant detection microservice 960b is transmitted to the graphics providing microservice 965b.
  • the graphics providing microservice 965b is executed based on the result data of the occupant detection microservice 960b, and the result data of the graphics providing microservice 965b may be transmitted to and displayed on the display 180.
  • the signal processing device 170 may further execute a gas detection (co2 detection) micro service 950c for the occupant monitoring application 940 corresponding to QM.
  • a gas detection (co2 detection) micro service 950c for the occupant monitoring application 940 corresponding to QM.
  • the CO2 detection microservice 950c is executed based on sensor data from the gas sensor SNc, and the resulting data of the CO2 detection microservice 950c is generated by the occupant movement microservice 955b. ) is transmitted.
  • the occupant movement microservice 955b is executed based on the result data of the gas detection (co2 detection) microservice 950c, and the result data of the occupant movement microservice 955b is sent to the occupant detection microservice 960b. is transmitted.
  • the signal processing device 170 may further execute a plurality of micro services unrelated to the passenger monitoring application 940.
  • the signal processing unit 170 is comprised of a plurality of microservices unrelated to the occupant monitoring application 940, including a face detection microservice 910a based on camera data from the in-vehicle camera 195i, a facial recognition microservice, and This example illustrates executing the service 915a and the personal microservice 920a, respectively.
  • Figure 8d illustrates that a plurality of microservices corresponding to ASIL B and microservices corresponding to QM are executed.
  • the signal processing device 170 may execute the occupant monitoring application 940 corresponding to QM, similar to FIG. 8C.
  • the signal processing device 170 includes a plurality of micro services for the passenger monitoring application 940 corresponding to QM, such as a passenger seating micro service 950b and a passenger movement micro service. (955b), occupant detection microservice (960b), and graphics provision microservice (965b) may be executed, respectively.
  • the signal processing device 170 may further execute a gas detection (co2 detection) micro service 950c for the occupant monitoring application 940 corresponding to QM.
  • a gas detection (co2 detection) micro service 950c for the occupant monitoring application 940 corresponding to QM.
  • the signal processing device 170 includes a plurality of micro services unrelated to the passenger monitoring application 940, including a face detection micro service 910a, a face recognition micro service 915a, and a personal service.
  • Each microservice 920a can be executed.
  • the signal processing device 170 may further execute the occupant monitoring application 945 corresponding to ASIL B.
  • a plurality of microservices for the occupant monitoring application 945 corresponding to ASIL B include an occupant seating microservice (950d), an occupant movement microservice (955d), an occupant detection microservice (960d), and a warning microservice ( 965d) is illustrated.
  • the occupant seating microservice 950d is executed based on sensor data from the pressure sensor SNp, and the resulting data of the occupant seating microservice 950d is transmitted to the occupant movement microservice 955d.
  • the occupant movement microservice 955d is executed based on the result data of the occupant seating microservice 950d, and the result data of the occupant movement microservice 955d is transmitted to the occupant detection microservice 960d.
  • the occupant detection microservice 960d is executed based on the result data of the occupant movement microservice 955d, and the result data of the occupant detection microservice 960d is transmitted to the warning microservice 965d.
  • the warning microservice 965d is executed based on the result data of the occupant detection microservice 960d, and the result data of the warning microservice 965d may be transmitted to the audio output unit 185 and output.
  • the signal processing device 170 may further execute a gas detection (co2 detection) micro service 950e for the occupant monitoring application 945 corresponding to ASIL B.
  • a gas detection (co2 detection) micro service 950e for the occupant monitoring application 945 corresponding to ASIL B.
  • the CO2 detection microservice 950e is executed based on sensor data from the gas sensor SNc, and the result data of the CO2 detection microservice 950e is transmitted to the occupant movement microservice. Can be transmitted to (955d).
  • the signal processing device 170 uses the result data of the occupant detection microservice 960b among the microservices in the occupant monitoring application 940 corresponding to QM to monitor the occupant corresponding to ASIL B. It may not be sent to the alert microservice 965d within the application 945.
  • the safety level of the occupant detection microservice 960b in the occupant monitoring application 940 corresponding to QM is lower than the safety level of the warning microservice 965d in the occupant monitoring application 945 corresponding to ASIL B
  • the signal processing device 170 according to an embodiment of the present disclosure cannot transmit the result data of the occupant detection microservice 960b to the warning microservice 965d in the occupant monitoring application 945 corresponding to ASIL B. Accordingly, each safety level can be maintained.
  • Figure 8E illustrates another example of execution of a plurality of microservices corresponding to ASIL B and microservices corresponding to QM based on camera data from internal camera 195i.
  • the signal processing device 170 may execute a driver monitoring system (DMS) application 985 corresponding to ASIL B, similar to FIG. 8B.
  • DMS driver monitoring system
  • the driver monitoring system (DMS) application 985 is similar to the driver monitoring system (DMS) application 905 of FIG. 8B, but the difference is that the second face detection microservice 910c is not performed.
  • the signal processing device 170 includes a face detection microservice 910b as a plurality of microservices for a driver monitoring system (DMS) application 985 corresponding to ASIL B.
  • a face detection microservice 910b as a plurality of microservices for a driver monitoring system (DMS) application 985 corresponding to ASIL B.
  • eye movement microservice (915b) eye movement microservice (915b), head movement microservice (915c), eye tracking microservice (920b), and warning microservice (930b) can be executed, respectively.
  • DMS driver monitoring system
  • the head movement microservice 915c is executed based on the result data of the face detection microservice 910b, and the result data of the head movement microservice 915c is transmitted to the eye tracking microservice 920b.
  • the signal processing device 170 includes a plurality of microservices unrelated to ASIL B, including a third face detection microservice 910a, a face recognition microservice 915a, and a personal microservice. (920a) can be executed respectively.
  • the signal processing device 170 may execute the augmented reality microservice 930c as a microservice corresponding to QM.
  • the signal processing device 170 sends the result data of the eye tracking microservice 920b among the microservices in the application 985 corresponding to ASIL B to QM, which has a lower safety level. It can be transmitted to the corresponding augmented reality micro service 930c.
  • the augmented reality microservice 930c corresponding to QM is executed based on the result data of the eye tracking microservice 920b, and the result data of the augmented reality microservice 930c is transmitted to the display 180 can be displayed.
  • Figure 9 is an example of an internal block diagram of a signal processing device according to an embodiment of the present disclosure.
  • the signal processing device 170 in the system 1000 includes a processor 175 executing a hypervisor 505.
  • processor 175 may correspond to the central processor (CPU) of FIG. 6.
  • the processor 175 may include a plurality of processor cores.
  • some of the plurality of processor cores may operate based on the safety level of ASIL B, and others may operate based on the safety level of QM.
  • the signal processing device 170 includes a second processor including an M core or a micomcut (MCU) to execute applications of ASIL D, which is the highest safety level. (177) may be further included.
  • MCU micomcut
  • the processor 175 executes a plurality of virtual machines 810 to 830 on the hypervisor 505.
  • the first virtual machine 830 among the plurality of virtualization machines 810 to 830 executes a plurality of microservices 910b, 915b, 920b, and 930b corresponding to a first safety level such as ASIL B.
  • the first virtual machine 830 among the plurality of virtualization machines 810 to 830 converts the result data of the first microservice 920b among the plurality of microservices into a second security level corresponding to the first security level or lower. It is transmitted to the second virtual machine 820 or the virtual machine in the second signal processing device 170Z among the plurality of virtual machines 810 to 830. Accordingly, data processing can be efficiently performed based on the safety level. Furthermore, data processing can be performed efficiently using microservices.
  • the first virtual machine 830 may distinguish and execute a plurality of microservices to execute the first application corresponding to the first security level.
  • the first virtual machine 830 among the plurality of virtual machines 810 to 830 serves as a plurality of micro services for the driver monitoring system (DMS) application 905 corresponding to the first safety level such as ASIL B.
  • the face detection microservice (910b), eye movement microservice (915b), eye tracking microservice (920b), and warning microservice (930b) can be separately executed.
  • the second virtual machine 820 executes a second application corresponding to the second security level, and the second application may be executed based on the result data of the first micro service 920b.
  • the second virtual machine 820 among the plurality of virtual machines 810 to 830 is a microservice corresponding to QM, which is the second security level, and executes the augmented reality microservice 930c, as shown in FIG. 8B. You can.
  • the second virtual machine 820 among the plurality of virtual machines 810 to 830 is a micro service corresponding to QM, the second security level, and can further execute the face recognition micro service 915a, as shown in FIG. 8B. there is.
  • the second virtualization machine 820 is a microservice corresponding to QM and can execute the augmented reality microservice 930c.
  • the first virtual machine 830 transfers the result data of the eye tracking microservice 920b among the microservices in the application 905 corresponding to ASIL B to the augmented reality microservice corresponding to QM, which has a lower safety level. It can be transmitted to (930c).
  • the first virtualization machine 830 converts the result data of the eye tracking microservice 920b among the microservices in the application 905 corresponding to ASIL B into a second virtualization machine with a lower safety level, as shown in FIG. 8B. It may be transmitted to the augmented reality microservice 930c within the machine 820.
  • the first virtual machine 830 operates a face detection microservice 910b, an eye movement microservice 915b, an eye tracking microservice 920b, and a warning microservice 930b, based on the received camera data. may be executed, respectively, and the resulting data of the eye tracking microservice 920b may be transmitted to the second virtual machine 820 corresponding to the second safety level.
  • the second virtual machine 820 executes the augmented reality microservice 930c, as shown in FIG. 8B, based on the result data of the eye tracking microservice 920b, and displays the result of the augmented reality microservice 930c. Data can be controlled to be displayed on the display 180.
  • the first virtualization machine 830 uses the shared memory 508 to transfer the result data of the first micro service 920b to at least one virtualization machine corresponding to a second security level that is lower than the first security level. Can be transmitted.
  • the first virtualization machine 830 uses the shared memory 508 to store result data of the first microservice 920b in the second virtualization machine 820 corresponding to a second security level that is lower than the first security level. ) can be transmitted.
  • the first virtual machine 830 transfers the result data of the eye tracking microservice 920b to the augmented reality microservice 930c in the second virtual machine 820 using the shared memory in the hypervisor 505. Can be transmitted.
  • the second virtual machine 820 may not transmit result data of an executing micro service or application result data to the first virtual machine 830.
  • the second virtualization machine 820 may not transmit data to the first virtualization machine 830, which has a higher security level.
  • the result data of the face recognition micro service 915a in the second virtual machine 820 is not transmitted to the first virtual machine 830. Accordingly, it is possible to maintain the safety level of each virtual machine.
  • the first virtualization machine 830 among the plurality of virtualization machines 810 to 830 virtualizes the result data of the first microservice 920b among the plurality of microservices at a third safety level higher than the first safety level. It may not be transmitted to the machine.
  • the third virtual machine 810 among the plurality of virtual machines 810 to 830 is ASIL D and has a third safety level higher than the first safety level
  • the first virtual machine 830 has a plurality of micro
  • the result data of the first micro service 920b during the service may not be transmitted to the third virtual machine 810 or the fourth virtual machine 840 of a third security level higher than the first security level. Accordingly, it is possible to maintain the safety level of each virtual machine.
  • some cores of the processor 175 may execute the first virtualization machine 830, and other cores of the processor 175 may execute the second virtualization machine 820.
  • some cores of the processor 175 run the first virtualization machine 830 corresponding to ASIL B, the first security level, and other cores of the processor 175 correspond to QM, the second security level.
  • the second processor 177 may execute an application or a virtualization machine of ASIL D, which is the highest safety level.
  • the security level of the application or virtualization machine running on the second processor 177 may be higher than the first security level. Accordingly, data processing can be efficiently performed based on the safety level.
  • the second virtual machine 820 executes the face recognition microservice 915a, as shown in FIG. 8D, and based on the result data of the face recognition microservice, an additional microservice, A personal microservice 920a can be executed.
  • the second virtual machine 820 operates the passenger seating microservice 950b, passenger movement, and the passenger monitoring application 940 corresponding to QM, as shown in FIG. 8D.
  • the microservice 955b, the occupant detection microservice 960b, and the graphics providing microservice 965b may be executed, respectively, and the service result data of the occupant detection microservice 960b may not be transmitted to the first virtual machine 830. there is.
  • the first virtual machine 830 performs the service based on the received sensor data or camera data, as shown in FIG. 8D. Therefore, for the occupant monitoring application 945 corresponding to ASIL B, the occupant seating microservice (950d), occupant movement microservice (955d), occupant detection microservice (960d), and warning microservice (965d) can be executed, respectively. there is. Accordingly, data processing can be efficiently performed based on the safety level.
  • the first virtualization machine 830 in the signal processing device 170 executes the first application and transfers result data or intermediate result data of the first application to the second virtualization machine 820. ) or transmitted to the virtualization machine in the second signal processing device 170Z corresponding to the second safety level. Accordingly, data processing can be efficiently performed based on the safety level. Furthermore, data processing can be performed efficiently using microservices.
  • the first virtual machine 830 executes a first application including a plurality of micro services, and sends result data of at least some of the plurality of micro services to the second virtual machine 820 or the second signal processing device. It can be transmitted to (170Z).
  • Figure 10 is an example of an internal block diagram of a signal processing device according to another embodiment of the present disclosure.
  • the signal processing device 170 in the system 1000b transmits data to the second signal processing device 170 or receives data from the second signal processing device 170. can receive.
  • the second signal processing device 170z may be a region signal processing device.
  • the second signal processing device 170z includes a processor 175z that executes a hypervisor 505z.
  • the processor 175z in the second signal processing device 170z may include a plurality of processor cores.
  • the second signal processing device 170z further includes a separate processor 177z including an M core or a micomcut (MCU) to execute applications of ASIL D, the highest safety level. can do.
  • a separate processor 177z including an M core or a micomcut (MCU) to execute applications of ASIL D, the highest safety level. can do.
  • processor 175z may execute at least one virtualization machine 830z on the hypervisor 505.
  • a separate processor 177z can execute a virtualization machine 840z corresponding to ASIL D, the highest safety level, on the M core.
  • camera data from the internal camera 195i may be transmitted to the signal processing device 170 or the second signal processing device 170z.
  • the figure illustrates that the virtualization machine 830z in the processor 175z executes a video stream application 9993 based on camera data.
  • the processor 175 in the signal processing device 170 may receive sensor data or camera data from the second signal processing device 170Z.
  • the first virtual machine 830 in the signal processing device 170 executes a plurality of micro services corresponding to the first security level based on sensor data or camera data, and, as shown in FIG. 8B, a plurality of micro services Result data of the first micro service 920b among services may be transmitted to the second virtual machine 820 corresponding to a second safety level that is lower than the first safety level.
  • the first virtual machine 830 in the signal processing device 170 executes a plurality of micro services corresponding to the first safety level based on sensor data or camera data, and selects a first micro service among the plurality of micro services.
  • Result data of the service 920b may be transmitted to a virtualization machine in the second signal processing device 170Z corresponding to a second safety level that is lower than the first safety level.
  • the first virtualization machine 830 in the signal processing unit 170 sends the result data of the eye tracking microservice 920b to the second signal processing unit 170Z corresponding to ASIL B, the same safety level. It can be transferred to a virtualization machine (830z).
  • the virtual machine 830z in the second signal processing device 170Z does not need to separately execute the eye tracking microservice 920b, and thus can efficiently perform data processing based on the safety level.
  • FIG. 11 is a flowchart showing a method of operating a signal processing device according to an embodiment of the present disclosure.
  • the processor 175 in the signal processing device 170 may execute a plurality of microservices to execute an application (S1110).
  • the processor 175 checks the safety level of the microservice (S1115).
  • the processor 175 may check whether the safety level of the microservice is ASIL D, ASIL C, ASIL B, ASIL A, or QM.
  • ASIL D may be the highest safety level
  • QM may be the lowest safety level.
  • the processor 175 determines whether the safety level of the result data of the completed microservice is higher than the safety level of the received microservice (S1120) and, if applicable, approves transmission of the result data (S1125) ).
  • the result data of the microservice that has completed execution can be transmitted to the receiving microservice.
  • step 1120 if the safety level of the result data of the microservice that has been executed is less than the safety level of the received microservice, the processor 175 refuses to transmit the result data (S1127).
  • the processor 175 determines whether a microservice higher than the completed microservice exists (S1130), and if applicable, in step 1120 (S1120) ) can be performed again from . Accordingly, it is possible to share result data.
  • FIGS. 12 to 16B are diagrams referenced in the description of the operation of FIGS. 9 to 11 .
  • Figure 12 is a diagram showing transferable information for each security level of microservices.
  • the resulting data can be transmitted only if the safety level of the receiving microservice is QM, and in the case of ASIL A, ASIL B, ASIL C, and ASIL D, transmission is possible. This becomes impossible.
  • the resulting data can be transmitted only if the safety level of the receiving microservice is QM and ASIL A, and transmission is not possible if the safety level of the receiving microservice is ASIL B, ASIL C, or ASIL D. I do it.
  • the resulting data can only be transmitted if the safety level of the receiving microservice is QM, ASIL A, or ASIL B. If it is ASIL C or ASIL D, transmission is not possible. I do it.
  • the resulting data can be transmitted only if the safety level of the receiving microservice is QM, ASIL A, ASIL B, or ASIL C. If it is ASIL D, transmission is not possible. I do it.
  • the safety level of the transmitting microservice is ASIL D
  • the safety level of the receiving microservice is QM, ASIL A, ASIL B, ASIL C, and ASIL D.
  • Figure 13 is a diagram illustrating an example of a data control method for transmitting microservice result data.
  • the processor 175 in the signal processing device 170 can execute a master node (MN), a worker node (WN), an orchestrator (ORC), and a data control manager 1330 for data transmission.
  • MN master node
  • WN worker node
  • ORC orchestrator
  • data control manager 1330 for data transmission.
  • the gateway 1309 running on the master node (MN) can receive data and transmit it to the node agent 1316, middleware 1313, etc. in the worker node (WN).
  • the gateway 1309 running in the master node (MN) may receive data and transmit it to the API server 1319 in the orchestrator (ORC).
  • ORC orchestrator
  • the API server 1319 in the orchestrator may transmit data to the application controller 1334 and the data access controller 1336 in the data control manager 1330.
  • the API server 1319 in the orchestrator can transmit data to the orchestrator client 1325 and the container runtime 1327.
  • the data control manager 1330 includes or executes a data path controller 1332 and can exchange data with proxies 1320a, 1320b, and 1320c within a plurality of vehicle applications.
  • the data path controller 1332 may operate to transmit result data.
  • the data path controller 1332 determines the safety level of the first microservice 920b and the microservice or Based on the security level of the application, transferable information may be transmitted to the proxy of the first micro service 920b.
  • one of the plurality of virtual machines 810 to 830 executes a data path controller 1332 for transmitting the result data of the first micro service 920b, and accordingly processes the data based on the safety level. can be performed efficiently.
  • Figure 14A illustrates an example of proxy operation attached to the first microservice, eye tracking microservice 920b.
  • the signal processing device 170 connects a plurality of micro services and QM corresponding to ASIL B based on camera data from the internal camera 195i. You can run corresponding microservices.
  • the signal processing device 170 includes a face detection microservice 910b as a plurality of microservices for a driver monitoring system (DMS) application 905 corresponding to ASIL B.
  • the eye movement microservice (915b), the eye tracking microservice (920b), and the warning microservice (930b) can each be executed.
  • the signal processing device 170 can execute the augmented reality microservice 930c, which is a microservice corresponding to QM and is an example of a graphics providing microservice.
  • the signal processing device 170 sends the result data of the eye tracking microservice 920b among the microservices in the application 905 corresponding to ASIL B to QM, which has a lower safety level.
  • a proxy 1410 attached to the eye tracking microservice 920b may be executed to transmit to the corresponding augmented reality microservice 930c.
  • the proxy 1410 attached to the eye tracking microservice 920b may exchange data with the data control manager 1330 of FIG. 13.
  • the proxy 1410 attached to the eye tracking microservice 920b includes the application controller 1334, data access controller 1336, data path controller 1332, and resource 1337 in the data control manager 1330. ), a request to confirm that data transmission is possible is transmitted to the data path controller 1332 in the rule table 1335.
  • the data path controller 1332 sets the safety level of the eye tracking microservice 920b, which is a transmitting microservice, and the safety level of the augmented reality microservice 930c, which is a receiving microservice, in the rule table 1335. Check through.
  • the data path controller 1332 transmits data transmission possible information or data transmission impossible information to the proxy 1410 as a result of checking each safety level.
  • the data path controller 1332 transmits data transmission availability information to the proxy 1410 because the safety level of the transmitting microservice is higher than the safety level of the receiving microservice.
  • the proxy 1410 attached to the eye tracking microservice 920b transmits the result data of the eye tracking microservice 920b to the augmented reality microservice 930c based on data transmission capability information. Accordingly, data processing can be efficiently performed based on the safety level.
  • Figure 14b illustrates another example of proxy operation attached to the first microservice, eye tracking microservice 960b.
  • the signal processing device 170 connects a plurality of micro services corresponding to ASIL B and QM based on camera data from the internal camera 195i. You can run corresponding microservices.
  • the signal processing device 170 for the passenger monitoring application 940 corresponding to QM, as a plurality of micro services, as a plurality of micro services, the passenger seating micro service 950b ), the occupant movement microservice (955b), the occupant detection microservice (960b), and the graphics provision microservice (965b) can each be executed.
  • the signal processing device 170 includes a plurality of micro services for the passenger monitoring application 945 corresponding to ASIL B, including a passenger seating micro service 950d and a passenger movement micro service 955d. ), occupant detection microservice (960d), and warning microservice (965d) can each be executed.
  • the signal processing device 170 uses the result data of the occupant detection microservice 960b among the microservices in the occupant monitoring application 940 corresponding to QM to ASIL, which has a higher safety level.
  • a proxy 1450 attached to the occupant detection microservice 960b may be executed.
  • the proxy 1450 attached to the occupant detection microservice 960b may exchange data with the data control manager 1330 of FIG. 13.
  • the proxy 1450 attached to the occupant detection microservice 960b includes the application controller 1334, data access controller 1336, data path controller 1332, and resource 1337 in the data control manager 1330. ), a request to confirm that data transmission is possible is transmitted to the data path controller 1332 in the rule table 1335.
  • the data path controller 1332 determines the safety level of the occupant detection microservice 960b, which is a transmitting microservice, and the safety level of the warning microservice 965d, which is a receiving microservice, through the rule table 1335. Confirm.
  • the data path controller 1332 transmits data transmission possible information or data transmission impossible information to the proxy 1450 as a result of checking each safety level.
  • the data path controller 1332 transmits data transmission impossibility information to the proxy 1450 because the safety level of the transmitting microservice is lower than the safety level of the receiving microservice.
  • the proxy 1450 attached to the occupant detection microservice 960b does not transmit the result data of the occupant detection microservice 960b to the warning microservice 965d based on the data transmission impossibility information. Accordingly, each safety level can be maintained.
  • FIGS. 15A to 15E are diagrams referenced in explaining the operation of the orchestrator (ORC) of FIG. 13.
  • Figure 15a illustrates the operation of the redundancy orchestrators 1510a and 1510b, respectively, when transmitting input data.
  • the first redundancy orchestrator 1510a transmits the input data to service A in the first service 1515a through a first path, and transmits the input data to the redundant service in the first service 1515a through a second path. It can be transmitted to A'. Accordingly, even in the case of an error in any one path, input data can be stably transmitted.
  • the second redundancy orchestrator 1510b transmits the input data from the first service 1515a to service B in the second service 1515b through a third path, and transmits the input data through a fourth path. can be transmitted to redundant service B' in the second service 1515b. Accordingly, even in the case of an error in any one path, input data can be stably transmitted.
  • FIG. 15B is an example of an internal block diagram of the second redundancy orchestrator 1510b of FIG. 15A.
  • the second redundancy orchestrator 1510b may include a redundancy comparison selector 1511 and a redundancy scheduler 1512.
  • the redundancy comparison selector 1511 may select input data of the first path among input data of the first path and input data of the second path.
  • the redundancy scheduler 1512 may separate and output the input data of the third path and the input data of the fourth path, based on the input data of the selected first path. Accordingly, even in the case of an error in any one path, input data can be stably transmitted.
  • Figure 15c is a diagram explaining multi-version redundancy service orchestration.
  • the first redundancy orchestrator (1530a) transmits input data to services A-1, A-2, and It can be transmitted as A-3, A'-1, A'-2, and A'-3. Accordingly, even in the case of an error in any one path, input data can be stably transmitted.
  • the second redundancy orchestrator (1530b) transmits the input data to service B-1 through the 7th to 12th paths. It can be transmitted to ,B-2,B-3,B'-1,B'-2,B'-3. Accordingly, even in the case of an error in any one path, input data can be stably transmitted.
  • service A or B in FIGS. 15A to 15C may be application A or B or microservice A or B within the application.
  • Figure 15d is a diagram explaining multi-version redundancy service orchestration.
  • input data is transmitted to the first micro service through the first service orchestrator 1550a, and result data of the first micro service is transmitted to the second micro service through the second service orchestrator 1550b. It is transmitted to the service, and the result data of the second micro service can be output as the result data of service A through the third service orchestrator 1550c.
  • the second service orchestrator 1550b may transmit the result data of the first micro service to the third micro service within Service B, which is another service.
  • the third micro service in Service B operates based on the result data of the first micro service, and the result data of the third micro service is converted to the result data of Service B through the fourth service orchestrator 1550d. can be printed.
  • the third service orchestrator 1550c may transmit the result data of the second micro service to the fourth micro service in service C, which is another service.
  • the fourth microservice in service C operates based on the result data of the second microservice, and the result data of the fourth microservice is converted to the result data of service C through the fifth service orchestrator 1550e. can be printed.
  • Figure 15e illustrates transmission of input data using a service orchestrator.
  • the service orchestrator 1570a transmits input data to a plurality of services A in the first work node 1577a through the first path and the second path, and transmits the input data through the third path and the fourth path. Through, it can be transmitted to a plurality of services A in the second work node 1577b).
  • the plurality of services A in the first work node 1577a each output result data
  • the plurality of services A in the second work node 1577b each output result data. Due to this parallel path structure, rapid service performance is possible.
  • Figures 16a and 16b are diagrams illustrating the arrangement or design of microservices according to the purpose of use.
  • FIG. 16A is a diagram illustrating a microservice being executed in the central signal processing unit among the area signal processing unit and the central signal processing unit.
  • the area signal processing device 170z may operate at a safety level of ASIl C.
  • the central signal processing unit 170 may operate at a safety level of ASIl C.
  • the central signal processing unit 170 may execute the obstacle avoidance planner micro service 1610 based on camera data from the front camera.
  • the graphics processor 178 in the central signal processing unit 170 executes an obstacle avoidance planner microservice 1610 corresponding to a safety level of ASIl C, based on camera data from the front camera. You can.
  • FIG. 16b is a diagram illustrating that result data of a micro service executed in the central signal processing unit among the area signal processing unit and the central signal processing unit is transmitted to the area signal processing unit.
  • the result data of the obstacle avoidance planner microservice 1610 in the central signal processing unit 170 is the obstacle velocity limiter microservice (Obstacle velocity limiter microservice) in the area signal processing unit 170z at the same safety level. 1615).
  • the result data of the obstacle speed limiter microservice 1615 may be transmitted to the obstacle stop planner microservice 1618 at the same safety level.
  • the obstacle stopping planner micro service 1618 can quickly stop the vehicle when an emergency stop is required due to an obstacle ahead.
  • the resulting data of the microservice is transmitted to the receiving microservice that is below the safety level of the transmitting microservice, making it possible to quickly and efficiently process data and perform corresponding operations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 개시의 일 실시예에 따른 신호 처리 장치는, 하이퍼바이저를 실행하는 프로세서를 구비하고, 프로세서는, 하이퍼바이저 상에 복수의 가상화 머신을 실행하고, 복수의 가상화 머신 중 제1 가상화 머신은, 제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 복수의 마이크로 서비스 중 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 복수의 가상화 머신 중 제2 가상화 머신 또는 제2 신호 처리 장치 내의 가상화 머신으로 전송한다. 이에 의해, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.

Description

신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
본 개시는 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치에 관한 것이며, 더욱 상세하게는 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있는 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 차량 내부에 차량용 신호 처리 장치가 탑재되고 있다.
차량 내부의 신호 처리 장치는, 내부의 다양한 센서 장치로부터 센서 데이터를 수신하여 처리한다.
한편, 차량 운전 보조(ADAS) 또는 자율 주행 등으로 인해, 차량에 장착되는 센서의 종류와 개수가 증가하면서, 처리되어야 하는 데이터가 증가하는 추세이다.
한편, 차량 운전 보조(ADAS) 또는 자율 주행 등과 관련하여, 자동차 안전 무결성 수준(Automotive SIL;ASIL)에 따라, 데이터 처리를 수행하여야 하므로, 안전 레벨 기반 하에 데이터 처리를 하기 위해서, 효율적인 데이터 처리 또는 효율적인 신호 처리가 어렵다는 문제가 있다.
본 개시가 해결하고자 하는 과제는, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있는 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치를 제공하는 것이다.
본 개시가 해결하고자 하는 다른 과제는, 마이크로 서비스를 이용하여 데이터 처리를 효율적으로 수행할 수 있는 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치를 제공하는 것이다.
본 개시의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치는, 하이퍼바이저를 실행하는 프로세서를 구비하고, 프로세서는, 하이퍼바이저 상에 복수의 가상화 머신을 실행하고, 복수의 가상화 머신 중 제1 가상화 머신은, 제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 복수의 마이크로 서비스 중 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 복수의 가상화 머신 중 제2 가상화 머신 또는 제2 신호 처리 장치 내의 가상화 머신으로 전송한다.
한편, 제1 가상화 머신은, 제1 안전 레벨에 대응하는 제1 애플리케이션의 실행을 위해, 복수의 마이크로 서비스를 구분하여 실행할 수 있다.
한편, 제2 가상화 머신은, 제2 안전 레벨에 대응하는 제2 애플리케이션을 실행하며, 제2 애플리케이션은, 제1 마이크로 서비스의 결과 데이터에 기초하여, 실행될 수 있다.
한편, 제2 가상화 머신은, 실행되는 마이크로 서비스의 결과 데이터 또는 애플리케이션의 결과 데이터를 제1 가상화 머신으로 전송하지 않을 수 있다.
한편, 복수의 가상화 머신 중 제1 가상화 머신은, 복수의 마이크로 서비스 중 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 보다 높은 제3 안전 레벨의 가상화 머신으로 전송하지 않을 수 있다.
한편, 프로세서의 일부 코어는, 제1 가상화 머신을 실행하고, 프로세서의 다른 코어는, 제2 기상화 머신을 실행할 수 있다.
한편, 본 개시의 일 실시예에 따른 신호 처리 장치는, 프로세서와 다른 제2 프로세서를 더 포함하고, 제2 프로세서는, 애플리케이션 또는 가상화 머신을 실행하고, 제2 프로세서에서 실행되는 애플리케이션 또는 가상화 머신의 안전 레벨은, 제1 안전 레벨 보다 더 높을 수 있다.
한편, 제2 프로세서는, 하이퍼바이저를 실행하지 않을 수 있다.
한편, 프로세서는, 제2 신호 처리 장치로부터 센서 데이터 또는 카메라 데이터를 수신하고, 제1 가상화 머신은, 센서 데이터 또는 카메라 데이터에 기초하여, 제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 복수의 마이크로 서비스 중 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 가상화 머신으로 전송할 수 있다.
한편, 제1 가상화 머신은, 센서 데이터 또는 카메라 데이터에 기초하여, 제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 복수의 마이크로 서비스 중 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 신호 처리 장치 내의 가상화 머신으로 전송할 수 있다.
한편, 복수의 가상화 머신 중 제1 가상화 머신은, 수신되는 카메라 데이터에 기초하여, 얼굴 검출(face detection) 마이크로 서비스, 눈 움직임(eye movement) 마이크로 서비스, 시선 추적(eye tracking) 마이크로 서비스, 경고(alert) 마이크로 서비스를 각각 실행하고, 시선 추적 마이크로 서비스의 결과 데이터를 제2 안전 레벨에 대응하는 제2 가상화 머신으로 전송할 수 있다.
한편, 제2 가상화 머신은, 시선 추적 마이크로 서비스의 결과 데이터에 기초하여, 증강 현실 마이크로 서비스를 실행하고, 증강 현실 마이크로 서비스의 결과 데이터를 디스플레이에 표시하도록 제어할 수 있다.
한편, 제2 가상화 머신은, 수신되는 카메라 데이터에 기초하여, 얼굴 인식(face recognition) 마이크로 서비스를 실행하고, 얼굴 인식 마이크로 서비스의 결과 데이터에 기초하여, 추가 마이크로 서비스를 실행할 수 있다.
한편, 제2 가상화 머신은, 수신되는 센서 데이터 또는 카메라 데이터에 기초하여, 탑승자 착석 마이크로 서비스, 탑승자 움직임 마이크로 서비스, 탑승자 검출 마이크로 서비스, 그래픽 제공 마이크로 서비스를 각각 실행하고, 탑승자 검출 마이크로 서비스의 서비스 결과 데이터를 제1 가상화 머신으로 전송하지 않을 수 있다.
한편, 제1 가상화 머신은, 제2 가상화 머신으로부터 탑승자 검출 마이크로 서비스의 서비스 결과 데이터가 수신되지 않는 경우, 수신되는 센서 데이터 또는 카메라 데이터에 기초하여, 탑승자 착석 마이크로 서비스, 탑승자 움직임 마이크로 서비스, 탑승자 검출 마이크로 서비스, 경고 마이크로 서비스를 각각 실행할 수 있다.
한편, 제1 가상화 머신은, 공유 메모리를 이용하여, 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 가상화 머신으로 전송할 수 있다.
한편, 제1 가상화 머신은, 공유 메모리를 이용하여, 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 적어도 하나의 가상화 머신으로 전송할 수 있다.
한편, 복수의 가상화 머신 중 어느 하나는, 제1 마이크로 서비스의 결과 데이터의 전송을 위한 데이터 패쓰 컨트롤러를 실행하고, 데이터 패쓰 컨트롤러는, 제1 마이크로 서비스의 안전 레벨과, 제2 가상화 머신 내의 마이크로 서비스 또는 애플리케이션의 안전 레벨에 기초하여, 전송 가능 정보를 제1 마이크로 서비스의 프록시로 전송할 수 있다.
본 개시의 다른 실시예에 따른 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치는, 하이퍼바이저를 실행하는 프로세서를 구비하고, 프로세서는, 하이퍼바이저 상에, 제1 안전 레벨에 대응하는 제1 가상화 머신과, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 가상화 머신을 실행하고, 제1 가상화 머신은, 제1 애플리케이션을 실행하고, 제1 애플리케이션의 결과 데이터 또는 중간 결과 데이터를 제2 가상화 머신 또는 제2 안전 레벨에 대응하는 제2 신호 처리 장치 내의 가상화 머신으로 전송한다.
한편, 제1 가상화 머신은, 복수의 마이크로 서비스를 포함하는 제1 애플리케이션을 실행하고, 복수의 마이크로 서비스 중 적어도 일부의 결과 데이터를, 제2 가상화 머신 또는 제2 신호 처리 장치로 전송할 수 있다.
본 개시의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치는, 하이퍼바이저를 실행하는 프로세서를 구비하고, 프로세서는, 하이퍼바이저 상에 복수의 가상화 머신을 실행하고, 복수의 가상화 머신 중 제1 가상화 머신은, 제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 복수의 마이크로 서비스 중 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 복수의 가상화 머신 중 제2 가상화 머신 또는 제2 신호 처리 장치 내의 가상화 머신으로 전송한다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다. 나아가, 마이크로 서비스를 이용하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제1 가상화 머신은, 제1 안전 레벨에 대응하는 제1 애플리케이션의 실행을 위해, 복수의 마이크로 서비스를 구분하여 실행할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제2 가상화 머신은, 제2 안전 레벨에 대응하는 제2 애플리케이션을 실행하며, 제2 애플리케이션은, 제1 마이크로 서비스의 결과 데이터에 기초하여, 실행될 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제2 가상화 머신은, 실행되는 마이크로 서비스의 결과 데이터 또는 애플리케이션의 결과 데이터를 제1 가상화 머신으로 전송하지 않을 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 복수의 가상화 머신 중 제1 가상화 머신은, 복수의 마이크로 서비스 중 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 보다 높은 제3 안전 레벨의 가상화 머신으로 전송하지 않을 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 프로세서의 일부 코어는, 제1 가상화 머신을 실행하고, 프로세서의 다른 코어는, 제2 기상화 머신을 실행할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 본 개시의 일 실시예에 따른 신호 처리 장치는, 프로세서와 다른 제2 프로세서를 더 포함하고, 제2 프로세서는, 애플리케이션 또는 가상화 머신을 실행하고, 제2 프로세서에서 실행되는 애플리케이션 또는 가상화 머신의 안전 레벨은, 제1 안전 레벨 보다 더 높을 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 프로세서는, 제2 신호 처리 장치로부터 센서 데이터 또는 카메라 데이터를 수신하고, 제1 가상화 머신은, 센서 데이터 또는 카메라 데이터에 기초하여, 제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 복수의 마이크로 서비스 중 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 가상화 머신으로 전송할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제1 가상화 머신은, 센서 데이터 또는 카메라 데이터에 기초하여, 제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 복수의 마이크로 서비스 중 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 신호 처리 장치 내의 가상화 머신으로 전송할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 복수의 가상화 머신 중 제1 가상화 머신은, 수신되는 카메라 데이터에 기초하여, 얼굴 검출(face detection) 마이크로 서비스, 눈 움직임(eye movement) 마이크로 서비스, 시선 추적(eye tracking) 마이크로 서비스, 경고(alert) 마이크로 서비스를 각각 실행하고, 시선 추적 마이크로 서비스의 결과 데이터를 제2 안전 레벨에 대응하는 제2 가상화 머신으로 전송할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제2 가상화 머신은, 시선 추적 마이크로 서비스의 결과 데이터에 기초하여, 증강 현실 마이크로 서비스를 실행하고, 증강 현실 마이크로 서비스의 결과 데이터를 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제2 가상화 머신은, 수신되는 카메라 데이터에 기초하여, 얼굴 인식(face recognition) 마이크로 서비스를 실행하고, 얼굴 인식 마이크로 서비스의 결과 데이터에 기초하여, 추가 마이크로 서비스를 실행할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제2 가상화 머신은, 수신되는 센서 데이터 또는 카메라 데이터에 기초하여, 탑승자 착석 마이크로 서비스, 탑승자 움직임 마이크로 서비스, 탑승자 검출 마이크로 서비스, 그래픽 제공 마이크로 서비스를 각각 실행하고, 탑승자 검출 마이크로 서비스의 서비스 결과 데이터를 제1 가상화 머신으로 전송하지 않을 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제1 가상화 머신은, 제2 가상화 머신으로부터 탑승자 검출 마이크로 서비스의 서비스 결과 데이터가 수신되지 않는 경우, 수신되는 센서 데이터 또는 카메라 데이터에 기초하여, 탑승자 착석 마이크로 서비스, 탑승자 움직임 마이크로 서비스, 탑승자 검출 마이크로 서비스, 경고 마이크로 서비스를 각각 실행할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제1 가상화 머신은, 공유 메모리를 이용하여, 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 가상화 머신으로 전송할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제1 가상화 머신은, 공유 메모리를 이용하여, 제1 마이크로 서비스의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 적어도 하나의 가상화 머신으로 전송할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 복수의 가상화 머신 중 어느 하나는, 제1 마이크로 서비스의 결과 데이터의 전송을 위한 데이터 패쓰 컨트롤러를 실행하고, 데이터 패쓰 컨트롤러는, 제1 마이크로 서비스의 안전 레벨과, 제2 가상화 머신 내의 마이크로 서비스 또는 애플리케이션의 안전 레벨에 기초하여, 전송 가능 정보를 제1 마이크로 서비스의 프록시로 전송할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
본 개시의 다른 실시예에 따른 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치는, 하이퍼바이저를 실행하는 프로세서를 구비하고, 프로세서는, 하이퍼바이저 상에, 제1 안전 레벨에 대응하는 제1 가상화 머신과, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 가상화 머신을 실행하고, 제1 가상화 머신은, 제1 애플리케이션을 실행하고, 제1 애플리케이션의 결과 데이터 또는 중간 결과 데이터를 제2 가상화 머신 또는 제2 안전 레벨에 대응하는 제2 신호 처리 장치 내의 가상화 머신으로 전송한다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다. 나아가, 마이크로 서비스를 이용하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제1 가상화 머신은, 복수의 마이크로 서비스를 포함하는 제1 애플리케이션을 실행하고, 복수의 마이크로 서비스 중 적어도 일부의 결과 데이터를, 제2 가상화 머신 또는 제2 신호 처리 장치로 전송할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
도 1은 차량 외부 및 차량 내부의 일예를 도시한 도면이다.
도 2 내지 도 2c는 차량용 통신 게이트웨이의 다양한 아키텍쳐를 도시한 도면이다.
도 3a는 차량 내부의 차량용 디스플레이 장치의 배치의 일예를 도시한 도면이다.
도 3b는 차량 내부의 차량용 디스플레이 장치의 배치의 다른 예를 도시한 도면이다.
도 4는 도 3b의 차량용 디스플레이 장치의 내부 블록도의 일예이다.
도 5a 내지 도 5d는 차량용 디스플레이 장치의 다양한 예를 도시하는 도면이다.
도 6은 본 개시의 실시예에 따른 차량용 디스플레이 장치의 블록도의 일 예이다.
도 7a 내지 도 7b는 본 개시와 관련한 신호 처리 장치의 설명에 참조되는 도면이다.
도 8a 내지 도 8e는 본 개시의 실시예에 따른 마이크로 서비스의 실행의 다양한 예를 도시하는 도면이다.
도 9는 본 개시의 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이다.
도 10은 본 개시의 다른 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이다.
도 11은 본 개시의 실시예에 따른 신호 처리 장치의 동작 방법을 나타내는 순서도이다.
도 12 내지 도 16b는 도 9 내지 도 11의 동작 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 개시를 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 차량 외부 및 차량 내부의 일예를 도시한 도면이다.
도면을 참조하면, 차량(200)은, 동력원에 의해 회전하는 복수의 바퀴(103FR,103FL,103RL,..), 차량(200)의 진행 방향을 조절하기 위한 스티어링휠(150)에 의해 동작한다.
한편, 차량(200)은, 차량 전방의 영상 획득을 위한 카메라(195) 등을 더 구비할 수 있다.
한편, 차량(200)은, 내부에 영상, 정보 등의 표시를 위한 복수의 디스플레이(180a,180b)를 구비할 수 있다.
도 1에서는, 복수의 디스플레이(180a,180b)로, 클러스터 디스플레이(180a), AVN(Audio Video Navigation) 디스플레이(180b)를 예시한다. 그 외, HUD(Head Up Display) 등도 가능하다.
한편, AVN(Audio Video Navigation) 디스플레이(180b)는, 센터 정보 디스플레이(Center Information Dislpay)라 명명할 수도 있다.
한편, 본 명세서에서 기술되는 차량(200)은, 동력원으로서 엔진을 구비하는 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
도 2 내지 도 2c는 차량용 통신 게이트웨이의 다양한 아키텍쳐를 도시한 도면이다.
먼저, 도 2는 차량용 통신 게이트웨이의 제1 아키텍쳐를 도시한 도면이다.
도면을 참조하면, 제1 아키텍쳐(300a)는, 존(zone) 기반의 아키텍쳐에 대응할 수 있다.
이에 따라, 복수의 존(zone)(Z1~Z4)에, 각각 차량 내부의 센서 장치와 프로세서가 배치될 수 있으며, 복수의 존(zone)(Z1~Z4)의 중앙 영역에, 차량용 통신 게이트웨이(GWDa)를 포함하는 신호 처리 장치(170a)가 배치될 수 있다.
한편, 신호 처리 장치(170a)는, 차량용 통신 게이트웨이(GWDa) 외에, 추가로, 자율 주행 제어 모듈(ACC), 칵핏 제어 모듈(CPG) 등을 더 포함할 수 있다.
이러한, 신호 처리 장치(170a) 내의 차량용 통신 게이트웨이(GWDa)는, HPC(High Performance Computing) 게이트웨이일 수 있다.
즉, 도 2의 신호 처리 장치(170a)는 통합형 HPC로서, 외부의 통신 모듈(미도시) 또는 복수의 존(zone)(Z1~Z4) 내의 프로세서(미도시)와 데이터를 교환할 수 있다.
도 3a는 차량 내부의 차량용 디스플레이 장치의 배치의 일예를 도시한 도면이다.
도면을 참조하면, 차량 내부에는, 클러스터 디스플레이(180a), AVN(Audio Video Navigation) 디스플레이(180b), 뒷 좌석 엔터테인먼트(Rear Seat Entertainment) 디스플레이(180c,180d), 룸미러 디스플레이(미도시) 등이 장착될 수 있다.
도 3b는 차량 내부의 차량용 디스플레이 장치의 배치의 다른 예를 도시한 도면이다.
본 개시의 실시예에 따른 차량용 디스플레이 장치(100)는, 복수의 디스플레이(180a~180b), 및 복수의 디스플레이(180a~180b)에 영상, 정보 등을 표시하기 위한 신호 처리를 수행하고, 적어도 하나의 디스플레이(180a~180b)에 영상 신호를 출력하는 신호 처리 장치(170)를 구비할 수 있다.
복수의 디스플레이(180a~180b) 중 제1 디스플레이(180a)는, 주행 상태, 동작 정보 등의 표시를 위한 클러스터 디스플레이(180a)이고, 제2 디스플레이(180b)는, 챠량 운행 정보, 네비게이션 지도, 다양한 엔터테인먼트 정보 또는 영상의 표시를 위한 AVN(Audio Video Navigation) 디스플레이(180b)일 수 있다.
신호 처리 장치(170)는, 내부에 프로세서(175)를 구비하며, 프로세서(175) 내의 하이퍼바이저(미도시) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(미도시)을 실행할 수 있다.
제2 가상화 머신(미도시)은 제1 디스플레이(180a)를 위해 동작하며, 제3 가상화 머신(미도시)은, 제2 디스플레이(180b)를 위해 동작할 수 있다.
한편, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 제2 가상화 머신(미도시) 및 제3 가상화 머신(미도시)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어할 수 있다. 이에 따라, 차량 내의 제1 디스플레이(180a)와 제2 디스플레이(180b)에 동일한 정보 또는 동일한 영상을 동기화하여 표시할 수 있게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 데이터 분담 처리를 위해, 제2 가상화 머신(미도시)과 제3 가상화 머신(미도시)에 데이터의 적어도 일부를 공유한다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 가상화 머신에서 데이터를 분담하여 처리할 수 있게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 차량의 휠 속도 센서 데이터를 수신하고, 처리하여, 제2 가상화 머신(미도시) 또는 제3 가상화 머신(미도시) 중 적어도 하나로, 처리된 휠 속도 센서 데이터를 전송할 수 있다. 이에 따라, 차량의 휠 속도 센서 데이터를, 적어도 하나의 가상화 머신 등에 공유할 수 있게 된다.
한편, 본 개시의 실시예에 따른 차량용 디스플레이 장치(100)는, 주행 상태 정보, 간이 네비게이션 정보, 다양한 엔터테인먼트 정보 또는 영상의 표시를 위한 뒷 좌석 엔터테인먼트(Rear Seat Entertainment) 디스플레이(180c)를 더 구비할 수 있다.
신호 처리 장치(170)는, 프로세서(175) 내의 하이퍼바이저(미도시) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(미도시) 외에 추가로 제4 가상화 머신(미도시)를 실행하여, RSE 디스플레이(180c)를 제어할 수 있다.
이에 따라, 하나의 신호 처리 장치(170)를 이용하여, 다양한 디스플레이(180a~180c)를 제어할 수 있게 된다.
한편, 복수의 디스플레이(180a~180c) 중 일부는, 리눅스 OS 기반 하에 동작하며, 다른 일부는 웹 OS 기반 하에 동작할 수 있다.
본 개시의 실시예에 따른 신호 처리 장치(170)는, 다양한 운영 체제(Operating system;OS) 하에 동작하는 디스플레이(180a~180c)에서도, 동일한 정보 또는 동일한 영상을 동기화하여 표시하도록 제어할 수 있다.
한편, 도 3b에서는, 제1 디스플레이(180a)에, 차량 속도 인디케이터(212a), 차량 내부 온도 인디케이터(213a)가 표시되고, 제2 디스플레이(180b)에, 복수의 애플리케이션과 차량 속도 인디케이터(212b)와 차량 내부 온도 인디케이터(213b)를 포함하는 홈 화면(222)이 표시되고, 제3 디스플레이(180c)에, 복수의 애플리케이션과 차량 내부 온도 인디케이터(213c)를 포함하는 제2 홈 화면(222b)이 표시되는 것을 예시한다.
도 4는 도 3b의 차량용 디스플레이 장치의 내부 블록도의 일예이다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(100)는, 입력부(110), 외부 장치와의 통신을 위한 통신부(120), 내부 통신을 위한 복수의 통신 모듈(EMa~EMd), 메모리(140), 신호 처리 장치(170), 복수의 디스플레이(180a~180c), 오디오 출력부(185), 전원 공급부(190)를 구비할 수 있다.
복수의 통신 모듈(EMa~EMd)은, 예를 들어, 도 2의 복수의 존(zone)(Z1~Z4)에 각각 배치될 수 있다.
한편, 신호 처리 장치(170)는, 내부에, 각 통신 모듈(EM1~EM4)과의 데이터 통신을 위한 통신 스위치(736b)를 구비할 수 있다.
각 통신 모듈(EM1~EM4)은, 복수의 센서 장치(SN) 또는 ECU(770) 또는 영역 신호 처리 장치(170Z)와 데이터 통신을 수행할 수 있다.
한편, 복수의 센서 장치(SN)는, 카메라(195), 라이다(196), 레이더(197) 또는 위치 센서(198)를 포함할 수 있다.
입력부(110)는, 버튼 입력, 터치 입력 등을 위한 물리적인 버튼, 패드 등을 구비할 수 있다.
한편, 입력부(110)는, 사용자 음성 입력을 위한 마이크(미도시)를 구비할 수 있다.
통신부(120)는, 이동 단말기(800) 또는 서버(900)와 무선(wireless) 방식으로, 데이터를 교환할 수 있다.
특히, 통신부(120)는, 차량 운전자의 이동 단말기와, 무선으로 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는, 블루투스(Bluetooth), WiFi, WiFi Direct, APiX 등 다양한 데이터 통신 방식이 가능하다.
통신부(120)는, 이동 단말기(800) 또는 서버(900)로부터, 날씨 정보, 도로의 교통 상황 정보, 예를 들어, TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다. 이를 위해, 통신부(120)는, 이동 통신 모듈(미도시)를 구비할 수 있다.
복수의 통신 모듈(EM1~EM4)은, ECU(770) 또는 센서 장치(SN) 또는 영역 신호 처리 장치(170Z)로부터, 센서 데이터 등을 수신하고, 수신한 센서 데이터를 신호 처리 장치(170)로 전송할 수 있다.
여기서, 센서 데이터는, 차량 방향 데이터, 차량 위치 데이터(GPS 데이터), 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 차량 전진/후진 데이터, 배터리 데이터, 연료 데이터, 타이어 데이터, 차량 램프 데이터, 차량 내부 온도 데이터, 차량 내부 습도 데이터 중 적어도 하나를 포함할 수 있다.
이러한 센서 데이터는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서 등으로부터 획득될 수 있다.
한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈 또는 위치 센서(198)을 포함할 수 있다.
한편, 복수의 통신 모듈(EM1~EM4) 중 적어도 하나는, GPS 모듈 또는 위치 센서(198)에서 센싱된 위치 정보 데이터를 신호 처리 장치(170)로 전송할 수 있다.
한편, 복수의 통신 모듈(EM1~EM4) 중 적어도 하나는, 카메라(195) 또는 라이다(196) 또는 레이더(197) 등으로부터 차량 전방 영상 데이터, 차량 측방 영상 데이터, 차량 후방 영상 데이터, 차량 주변 장애물 거리 정보 등을 수신하고, 수신한 정보를 신호 처리 장치(170)로 전송할 수 있다.
메모리(140)는, 신호 처리 장치(170)의 처리 또는 제어를 위한 프로그램 등, 차량용 디스플레이 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
예를 들어, 메모리(140)는, 프로세서(175) 내에서 실행하기 위한, 하이퍼바이저, 제1 가상화 머신 내지 제3 가상화 머신에 관한 데이터를 저장할 수 있다.
오디오 출력부(185)는, 신호 처리 장치(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 스피커 등을 구비할 수 있다.
전원 공급부(190)는, 신호 처리 장치(170)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
신호 처리 장치(170)는, 차량용 디스플레이 장치(100) 내의 각 유닛의 전반적인 동작을 제어한다.
예를 들어, 신호 처리 장치(170)는, 차량용 디스플레이(180a,180b)를 위한 신호 처리를 수행하는 프로세서(175)를 포함할 수 있다.
프로세서(175)는, 프로세서(175) 내의 하이퍼바이저(미도시) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(미도시)을 실행할 수 있다.
제1 가상화 머신 내지 제3 가상화 머신(미도시) 중 제1 가상화 머신(미도시)은, 서버 가상화 머신(Server Virtual Maschine)이라 명명할 수 있으며, 제2 가상화 머신 내지 제3 가상화 머신(미도시)은 게스트 가상화 머신(Guest Virtual Maschine)이라 명명할 수 있다.
예를 들어, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 복수의 센서 장치로부터의 센서 데이터, 예를 들어, 차량 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 오디오 데이터 또는 터치 입력 데이터를 수신하고, 처리 또는 가공하여 출력할 수 있다.
이와 같이, 제1 가상화 머신(미도시)에서 대부분의 데이터 처리를 수행함으로써, 1:N 방식의 데이터의 공유가 가능하게 된다.
다른 예로, 제1 가상화 머신(미도시)은, 제2 가상화 머신 내지 제3 가상화 머신(미도시)을 위해, CAN 데이터, 이더넷 데이터, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터를 직접 수신하고 처리할 수 있다.
그리고, 제1 가상화 머신(미도시)은, 처리된 데이터를 제2 가상화 머신 내지 제3 가상화 머신(미도시)으로 전송할 수 있다.
이에 따라, 제1 가상화 머신 내지 제3 가상화 머신(미도시) 중 제1 가상화 머신(미도시)만, 복수의 센서 장치로부터의 센서 데이터, 통신 데이터, 또는 외부 입력 데이터를 수신하여, 신호 처리를 수행할 수행함으로써, 다른 가상화 머신에서의 신호 처리 부담이 경감되며, 1:N 데이터 통신이 가능하게 되어, 데이터 공유시의 동기화가 가능하게 된다.
한편, 제1 가상화 머신(미도시)은, 데이터를 공유 메모리(508)에 기록하여, 제2 가상화 머신(미도시) 및 제3 가상화 머신(미도시)으로 동일한 데이터를 공유하도록 제어할 수 있다.
예를 들어, 제1 가상화 머신(미도시)은, 차량 센서 데이터, 상기 위치 정보 데이터, 상기 카메라 영상 데이터, 또는 상기 터치 입력 데이터를 공유 메모리(508)에 기록하여, 제2 가상화 머신(미도시) 및 제3 가상화 머신(미도시)으로 동일한 데이터를 공유하도록 제어할 수 있다. 이에 따라, 1:N 방식의 데이터의 공유가 가능하게 된다.
결국, 제1 가상화 머신(미도시)에서 대부분의 데이터 처리를 수행함으로써, 1:N 방식의 데이터의 공유가 가능하게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 제2 가상화 머신(미도시) 및 제3 가상화 머신(미도시)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어할 수 있다.
한편, 신호 처리 장치(170)는, 오디오 신호, 영상 신호, 데이터 신호 등 다양한 신호를 처리할 수 있다. 이를 위해, 신호 처리 장치(170)는, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있다.
한편, 도 4의 디스플레이 장치(100) 내의 신호 처리 장치(170)는, 도 5a 이하 등의 차량용 디스플레이 장치의 신호 처리 장치(170,170a1,170a2)와 동일할 수 있다.
도 5a 내지 도 5d는 차량용 디스플레이 장치의 다양한 예를 도시하는 도면이다.
도 5a는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 일예를 도시한다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(800a)는, 신호 처리 장치(170a1,170a2), 복수의 영역 신호 처리 장치(170Z1~170Z4)를 포함한다.
한편, 도면에서는, 신호 처리 장치(170a1,170a2)로 2개를 예시하나, 이는 백업 등을 위해서 예시한 것이며, 1개도 가능하다.
한편, 신호 처리 장치(170a1,170a2)는, HPC(High Performance Computing) 신호 처리 장치로 명명될 수도 있다.
복수의 영역 신호 처리 장치(170Z1~170Z4)는, 각 영역(Z1~Z4)에 배치되어, 센서 데이터를, 신호 처리 장치(170a1,170a2)로 전송할 수 있다.
신호 처리 장치(170a1,170a2)는, 복수의 영역 신호 처리 장치(170Z1~170Z4) 또는 통신 장치(120)로부터 유선으로 데이터를 수신한다.
도면에서는, 신호 처리 장치(170a1,170a2)와 복수의 영역 신호 처리 장치(170Z1~170Z4) 사이에서 유선 통신에 기반하여 데이터를 교환하고, 신호 처리 장치(170a1,170a2)와 서버(400)는 무선 통신에 기반하여 데이터를 교환하는 것을 예시하나, 통신 장치(120)와 서버(400) 사이에서 무선 통신에 기반하여 데이터를 교환하고, 신호 처리 장치(170a1,170a2)와 통신 장치(120)는, 유선 통신에 기반하여 데이터를 교환할 수 있다.
한편, 신호 처리 장치(170a1,170a2)에 수신되는 데이터는, 카메라 데이터 또는 센서 데이터를 포함할 수 있다.
예를 들어, 차량 내의 센서 데이터는, 차량 휠 속도 데이터, 차량 방향 데이터, 차량 위치 데이터(GPS 데이터), 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 차량 전진/후진 데이터, 배터리 데이터, 연료 데이터, 타이어 데이터, 차량 램프 데이터, 차량 내부 온도 데이터, 차량 내부 습도 데이터, 차량 외부 레이더 데이터, 차량 외부 라이다 데이터 중 적어도 하나를 포함할 수 있다.
한편, 카메라 데이터는, 차량 외부 카메라 데이터, 차량 내부 카메라 데이터를 포함할 수 있다.
한편, 신호 처리 장치(170a1,170a2)는, 세이프티(safety) 기준으로 복수의 가상화 머신(820,830,840)을 실행할 수 있다.
도면에서는, 신호 처리 장치(170a) 내의 프로세서(175)가, 하이퍼바이저(505)를 실행하고, 하이퍼바이저(505) 상에서, 자동차 안전 무결성 수준(Automotive SIL;ASIL)에 따라, 제1 내지 제3 가상화 머신(820~840)을 실행하는 것을 예시한다.
제1 가상화 머신(820)은, 자동차 안전 무결성 수준(ASIL)에서 가장 낮은 안전 레벨이며 강제성이 없는 등급인, QM(Quality Management)에 대응하는 가상화 머신일 수 있다.
제1 가상화 머신(820)은, 운영 체제(822), 운영 체제(822) 상의 컨테이너 런타임(824), 컨테이너 런타임(824) 상의 컨테이너(827,829)를 실행할 수 있다.
제2 가상화 머신(820)은, 자동차 안전 무결성 수준(ASIL)에서, 심각도 (Severity), 발생 빈도 (Exposure) 및 제어 가능성 (Contrallability)의 합이 7 또는 8인, ASIL A 또는 ASIL B에 대응하는 가상화 머신일 수 있다.
제2 가상화 머신(820)은, 운영 체제(832), 운영 체제(832) 상의 컨테이너 런타임(834), 컨테이너 런타임(834) 상의 컨테이너(837,839)를 실행할 수 있다.
제3 가상화 머신(840)은, 자동차 안전 무결성 수준(ASIL)에서, 심각도 (Severity), 발생 빈도 (Exposure) 및 제어 가능성 (Contrallability)의 합이 9 또는 10인, ASIL C 또는 ASIL D에 대응하는 가상화 머신일 수 있다.
한편, ASIL D는, 가장 높은 안전 레벨을 요구하는 등급에 대응할 수 있다.
제3 가상화 머신(840)은, 세이프티 운영 체제(842), 운영 체제(842) 상의 어플리케이션(845)를 실행할 수 있다.
한편, 제3 가상화 머신(840)은, 세이프티 운영 체제(842), 세이프티 운영 체제(842) 상의 컨테이너 런타임(844), 컨테이너 런타임(844) 상의 컨테이너(847)를 실행할 수도 있다.
한편, 도면과 달리, 제3 가상화 머신(840)은, 프로세서(175)가 아닌, 별도의 코어를 통해 실행되는 것도 가능하다. 이에 대해서는 도 5b를 참조하여 후술한다.
도 5b는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 다른 예를 도시한다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(800b)는, 신호 처리 장치(170a1,170a2), 복수의 영역 신호 처리 장치(170Z1~170Z4)를 포함한다.
도 5b의 차량용 디스플레이 장치(800b)는, 도 5a의 차량용 디스플레이 장치(800a)와 유사하나, 신호 처리 장치(170a1)가 도 5a의 신호 처리 장치(170a1)와 일부 차이가 있다.
그 차이를 중심으로 기술하면, 신호 처리 장치(170a1)는, 프로세서(175)와 제2 프로세서(177)를 구비할 수 있다.
신호 처리 장치(170a1) 내의 프로세서(175)는, 하이퍼바이저(505)를 실행하고, 하이퍼바이저(505) 상에서, 자동차 안전 무결성 수준(Automotive SIL;ASIL)에 따라, 제1 내지 제2 가상화 머신(820~830)을 실행한다.
제1 가상화 머신(820)은, 운영 체제(822), 운영 체제(822) 상의 컨테이너 런타임(824), 컨테이너 런타임(824) 상의 컨테이너(827,829)를 실행할 수 있다.
제2 가상화 머신(820)은, 운영 체제(832), 운영 체제(832) 상의 컨테이너 런타임(834), 컨테이너 런타임(834) 상의 컨테이너(837,839)를 실행할 수 있다.
한편, 신호 처리 장치(170a1) 내의 제2 프로세서(177)는, 제3 가상화 머신(840)을 실행할 수 있다.
제3 가상화 머신(840)은, 세이프티 운영 체제(842), 운영 체제(842) 상의 오토사(845), 오토사(845) 상의 어플리케이션(845)를 실행할 수 있다. 즉, 도 5a와 달리, 운영 체제(842) 상의 오토사(846)를 더 실행할 수 있다.
한편, 제3 가상화 머신(840)은, 도 5a와 유사하게, 세이프티 운영 체제(842), 세이프티 운영 체제(842) 상의 컨테이너 런타임(844), 컨테이너 런타임(844) 상의 컨테이너(847)를 실행할 수도 있다.
한편, 높은 안전 레벨을 요구하는 제3 가상화 머신(840)은, 제1 내지 제2 가상화 머신(820~830)과 달리, 다른 코어 또는 다른 프로세서인 제2 프로세서(177)에서 실행되는 것이 바람직하다.
한편, 도 5a와 도 5b의 신호 처리 장치(170a1,170a2)는, 제1 신호 처리 장치(170a)의 이상시, 백업용인 제2 신호 처리 장치(170a2)가 동작할 수 있다.
이와 달리, 신호 처리 장치(170a1,170a2)가 동시에 동작하며, 그 중 제1 신호 처리 장치(170a)가 메인으로 동작하고, 제2 신호 처리 장치(170a2)가 서브로 동작하는 것도 가능하다. 이에 대해서는 도 5c와 도 5d를 참조하여 기술한다.
도 5c는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 또 다른 예를 도시한다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(800c)는, 신호 처리 장치(170a1,170a2), 복수의 영역 신호 처리 장치(170Z1~170Z4)를 포함한다.
한편, 도면에서는, 신호 처리 장치(170a1,170a2)로 2개를 예시하나, 이는 백업 등을 위해서 예시한 것이며, 1개도 가능하다.
한편, 신호 처리 장치(170a1,170a2)는, HPC(High Performance Computing) 신호 처리 장치로 명명될 수도 있다.
복수의 영역 신호 처리 장치(170Z1~170Z4)는, 각 영역(Z1~Z4)에 배치되어, 센서 데이터를, 신호 처리 장치(170a1,170a2)로 전송할 수 있다.
신호 처리 장치(170a1,170a2)는, 복수의 영역 신호 처리 장치(170Z1~170Z4) 또는 통신 장치(120)로부터 유선으로 데이터를 수신한다.
도면에서는, 신호 처리 장치(170a1,170a2)와 복수의 영역 신호 처리 장치(170Z1~170Z4) 사이에서 유선 통신에 기반하여 데이터를 교환하고, 신호 처리 장치(170a1,170a2)와 서버(400)는 무선 통신에 기반하여 데이터를 교환하는 것을 예시하나, 통신 장치(120)와 서버(400) 사이에서 무선 통신에 기반하여 데이터를 교환하고, 신호 처리 장치(170a1,170a2)와 통신 장치(120)는, 유선 통신에 기반하여 데이터를 교환할 수 있다.
한편, 신호 처리 장치(170a1,170a2)에 수신되는 데이터는, 카메라 데이터 또는 센서 데이터를 포함할 수 있다.
한편, 신호 처리 장치(170a1,170a2) 중 제1 신호 처리 장치(170a1) 내의 프로세서(175)는, 하이퍼바이저(505)를 실행하고, 하이퍼바이저(505) 상에서, 세이프티(safety) 가상화 머신(860)과, non-safety 가상화 머신(870)을 각각 실행할 수 있다.
한편, 신호 처리 장치(170a1,170a2) 중 제2 신호 처리 장치(170a2) 내의 프로세서(175b)는, 하이퍼바이저(505b)를 실행하고, 하이퍼바이저(505) 상에서, 세이프티(safety) 가상화 머신(880)만을 실행할 수 있다.
이러한 방식에 의하면, 세이프티(safety)에 대한 처리가 제1 신호 처리 장치(170a1)와 제2 신호 처리 장치(170a2)가 분리되므로, 안정성 및 처리 속도 향상을 도모할 수 있게 된다.
한편, 제1 신호 처리 장치(170a1)와 제2 신호 처리 장치(170a2) 사이에는 고속의 네트워크 통신이 수행될 수 있다.
도 5d는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 또 다른 예를 도시한다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(800d)는, 신호 처리 장치(170a1,170a2), 복수의 영역 신호 처리 장치(170Z1~170Z4)를 포함한다.
도 5d의 차량용 디스플레이 장치(800d)는, 도 5c의 차량용 디스플레이 장치(800c)와 유사하나, 제2 신호 처리 장치(170a2)가 도 5c의 제2 신호 처리 장치(170a2)와 일부 차이가 있다.
도 5d의 제2 신호 처리 장치(170a2) 내의 프로세서(175b)는, 하이퍼바이저(505b)를 실행하고, 하이퍼바이저(505) 상에서, 세이프티(safety) 가상화 머신(880)과 non-safety 가상화 머신(890)을 각각 실행할 수 있다.
즉, 도 5c와 달리, 제2 신호 처리 장치(170a2) 내의 프로세서(175b)가, non-safety 가상화 머신(890)을 더 실행하는 것에 그 차이가 있다.
이러한 방식에 의하면, 세이프티(safety)와 non-safety에 대한 처리가, 제1 신호 처리 장치(170a1)와 제2 신호 처리 장치(170a2)가 분리되므로, 안정성 및 처리 속도 향상을 도모할 수 있게 된다.
도 6은 본 개시의 실시예에 따른 차량용 디스플레이 장치의 블록도의 일 예이다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(900)는, 신호 처리 장치(170)와 적어도 하나의 디스플레이를 구비한다.
도면에서는, 적어도 하나의 디스플레이로, 클러스터 디스플레이(180a)와, AVN 디스플레이(180b)를 예시한다.
한편, 차량용 디스플레이 장치(900)는, 복수의 영역 신호 처리 장치(170Z1~170Z4)를 더 구비할 수 있다.
이때의 신호 처리 장치(170)는, 복수의 CPU(175), GPU(178), NPU(179) 등을 갖는 고성능의 중앙 집중식 신호 처리 및 제어 장치로서, HPC(High Performance Computing) 신호 처리 장치 또는 중앙 신호 처리 장치라 명명할 수 있다.
복수의 영역 신호 처리 장치(170Z1~170Z4)와 신호 처리 장치(170) 사이는 유선 케이블(CB1~CB4)로 연결된다.
한편, 복수의 영역 신호 처리 장치(170Z1~170Z4) 사이에는, 각각 유선 케이블(CBa~CBd)로 연결될 수 있다.
이때의 유선 케이블(CBa~CBd)은, 캔(CAN) 통신 케이블 또는 이더넷(Ethernet) 통신 케이블 또는 PCI Express 케이블을 포함할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 적어도 하나의 프로세서(175,178,177)와, 대용량의 저장 장치(925)를 구비할 수 있다.
예를 들어, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 중앙 프로세서(175, 177), 그래픽 프로세서(178), 및 뉴럴 프로세서(179)를 포함할 수 있다.
한편, 복수의 영역 신호 처리 장치(170Z1~170Z4) 중 적어도 하나에서 센서 데이터가, 신호 처리 장치(170)로 전송될 수 있다. 특히, 센서 데이터가, 신호 처리 장치(170) 내의 저장 장치(925)로 저장될 수 있다.
이때의 센서 데이터는, 카메라 데이터, 라이다 데이터, 레이더 데이터, 차량 방향 데이터, 차량 위치 데이터(GPS 데이터), 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 차량 전진/후진 데이터, 배터리 데이터, 연료 데이터, 타이어 데이터, 차량 램프 데이터, 차량 내부 온도 데이터, 차량 내부 습도 데이터 중 적어도 하나를 포함할 수 있다.
도면에서는, 카메라(195a)로부터의 카메라 데이터와, 라이다 센서(196)로부터의 라이다 데이터가, 제1 영역 신호 처리 장치(170Z1)로 입력되고, 카메라 데이터와 라이다 데이터가, 제2 영역 신호 처리 장치(170Z2)와 제3 영역 신호 처리 장치(170Z3) 등을 경유하여, 신호 처리 장치(170)로 전송되는 것을 예시한다.
한편, 저장 장치(925)로의 데이터 읽기 속도 또는 쓰기 속도가, 복수의 영역 신호 처리 장치(170Z1~170Z4) 중 적어도 하나에서 센서 데이터가, 신호 처리 장치(170)로 전송될 때의 네트워크 속도 보다 빠르므로, 네트워크 병목 현상이 발생하지 않도록, 멀티 패쓰 라우팅이 수행되는 것이 바람직하다.
이를 위해 본 개시의 실시예에 따른 신호 처리 장치(170)는, 소프트웨어 정의 네트워크(Software Defined Network; SDN) 기반의 멀티 패쓰 라우팅을 수행할 수 있다. 이에 따라, 저장 장치(925)의 데이터 읽기 또는 쓰기시의 안정적인 네트워크 환경을 확보할 수 있게 된다. 나아가, 다중 경로를 사용하여 저장 장치(925)로 데이터를 전송할 수 있으므로, 동적으로 네트워크 구성을 변경하여 데이터를 전송할 수 있게 된다.
본 개시의 실시예에 따른 차량용 디스플레이 장치(900) 내의 복수의 영역 신호 처리 장치(170Z1~170Z4)와 신호 처리 장치(170) 사이의 데이터 통신은, 고대역 저지연의 통신을 위해, 외장 컴포넌트 고속 연결(Peripheral Component Interconnect Express) 통신인 것이 바람직하다.
도 7a 내지 도 7b는 본 개시와 관련한 신호 처리 장치의 설명에 참조되는 도면이다.
도 7a는 카메라 데이터 등에 기반한 애플리케이션이 신호 처리 장치에서 실행되는 것을 예시한다.
도면을 참조하면, 본 개시와 관련한 신호 처리 장치(170x)는, 차량 내부 카메라(195i)로부터의 카메라 데이터, 압력 센서(SNp)로부터의 센서 데이터, 가스 센서(SNc)로부터의 센서 데이터에 기초하여, 운전자 모니터링 시스템(Driver Monitoring Systems ;DMS) 애플리케이션(785)을 실행하고, 결과 데이터에 기초하여, 오디오 출력부(185)로 경고 사운드가 출력되도록 제어할 수 있다.
도 7b는 도 7a의 동작 설명에 참조되는 도면이다.
도면을 참조하면, 본 개시와 관련한 신호 처리 장치(170x)는, 프로세서(175x)를 구비하고, 프로세서(175x)는 하이퍼바이저(505)를 실행할 수 있다.
한편, 본 개시와 관련한 프로세서(175x)는 하이퍼바이저(505) 상에서, 복수의 가상화 머신(520x, 530x, 540x)을 실행하며, 복수의 가상화 머신(520x, 530x, 540x) 중 제2 가상화 머신(530x)은, 차량 내부 카메라(195i)로부터의 카메라 데이터, 압력 센서(SNp)로부터의 센서 데이터, 가스 센서(SNc)로부터의 센서 데이터에 기초하여, 운전자 모니터링 시스템(DMS) 애플리케이션(785)를 실행하고, 차량 외부 카메라 데이터에 기초하여 차선 유지 보조 시스템(Lane Keep Assist System; LKAS) 애플리케이션(787)을 실행할 수 있다.
한편, 복수의 가상화 머신(520x, 530x, 540x) 중 제3 가상화 머신(540x)은, 차량 외부 카메라 데이터에 기초하여, 전방 추돌 경고(Forward Collision Warning; FCW) 애플리케이션(789)을 실행할 수 있다.
한편, 도 7a 및 도 7b와 같이, 제2 가상화 머신(530x) 내에서, 운전자 모니터링 시스템(DMS) 애플리케이션(785)과, 차선 유지 보조 시스템(787)을 실행하는 경우, 제2 가상화 머신(530x)의 워크로드(Workload)가 상당하다는 문제가 있다.
특히, 운전자 모니터링 시스템(DMS) 애플리케이션(785)의 실행을 위해, 차량 내부 카메라(195i)로부터의 카메라 데이터, 압력 센서(SNp)로부터의 센서 데이터, 가스 센서(SNc)로부터의 센서 데이터를 수신하고, 이를 처리하여야 하므로, 제2 가상화 머신(530x)의 워크로드(Workload)가 상당하다는 문제가 있다.
한편, 제3 가상화 머신(540x)은, 전방 추돌 경고(FCW) 애플리케이션(789)의 실행시, 차량 외부 카메라 데이터에 공통으로 기초하는, 차선 유지 보조 시스템(787)과 별도의 가상화 머신에서 실행되므로, 워크로드(Workload)가 비효율적으로 수행되는 문제가 있다.
이에 본 개시에서는, 유사한 애플리케이션의 실행시에, 애플리케이션의 중간 결과 데이터 등을 공유하는 방안을 제안한다.
이를 위해, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 애플리케이션을 복수의 마이크로 서비스(Micro service)로 분리하고, 마이크로 서비스의 결과 등에 기초하여 다른 마이크로 서비스를 실행시켜, 워크로드(Workload)를 효율적으로 분담하도록 한다.
예를 들어, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 복수의 마이크로 서비스(Micro service) 증 제1 마이크로 서비스는, 제1 가상화 머신에서 수행하고, 제2 마이크로 서비스는 제2 가상화 머신에서 수행하되, 제1 마이크로 서비스의 결과를 공유 메모리(508) 등을 이용하여 공유하여, 제2 마이크로 서비스가 제1 가상화 머신의 결과 데이터에 기초하여 실행되도록 제어할 수 있다. 이에 따라, 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 안전 레벨 별로, 복수의 가상화 머신을 구분하여 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 안전 레벨 별로, 애플리케이션 또는 마이크로 서비스를 구분하여 실행할 수 있다.
이에 따라, 차량 운전 보조(ADAS) 또는 자율 주행 등과 관련하여, 자동차 안전 무결성 수준(Automotive SIL;ASIL)에 따라, 데이터 처리를 안정적으로 수행할 수 있게 된다.
도 8a 내지 도 8e는 본 개시의 실시예에 따른 마이크로 서비스의 실행의 다양한 예를 도시하는 도면이다.
도 8a는 내부 카메라(195i)로부터의 카메라 데이터에 기초하여 ASIL B에 대응하는 복수의 마이크로 서비스가 실행되는 것을 예시한다.
도면을 참조하면, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 운전자 모니터링 시스템(DMS) 애플리케이션(905)을 실행할 수 있다.
예를 들어, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 운전자 모니터링 시스템(DMS) 애플리케이션(905)을 복수의 마이크로 서비스로 분리하여 실행할 수 잇다.
도면에서는, 운전자 모니터링 시스템(DMS) 애플리케이션(905)을 위한 복수의 마이크로 서비스로, 얼굴 검출(face detection) 마이크로 서비스(910b), 눈 움직임(eye movement) 마이크로 서비스(915b), 시선 추적(eye tracking) 마이크로 서비스(920b), 경고(alert) 마이크로 서비스(930b)를 예시한다.
즉, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 운전자 모니터링 시스템(DMS) 애플리케이션(905)을 위해, 복수의 마이크로 서비스로서, 얼굴 검출 마이크로 서비스(910b), 눈 움직임 마이크로 서비스(915b), 시선 추적 마이크로 서비스(920b), 경고 마이크로 서비스(930b)를 각각 실행할 수 있다.
한편, 얼굴 검출 마이크로 서비스(910b)는, 내부 카메라(195i)로부터의 카메라 데이터에 기초하여, 실행되며, 얼굴 검출 마이크로 서비스(910b)의 결과 데이터는 눈 움직임 마이크로 서비스(915b)로 전송된다.
한편, 눈 움직임 마이크로 서비스(915b)는, 얼굴 검출 마이크로 서비스(910b)의 결과 데이터에 기초하여 실행되며, 눈 움직임 마이크로 서비스(915b)의 결과 데이터는 시선 추적 마이크로 서비스(920b)로 전송된다.
한편, 시선 추적 마이크로 서비스(920b)는, 눈 움직임 마이크로 서비스(915b)의 결과 데이터에 기초하여 실행되며, 시선 추적 마이크로 서비스(920b)의 결과 데이터는 경고 마이크로 서비스(930b)로 전송된다.
한편, 경고 마이크로 서비스(930b)는, 시선 추적 마이크로 서비스(920b)의 결과 데이터에 기초하여 실행되며, 결과 데이터는 오디오 출력부(185)로 입력되어, 경고 사운드가 오디오 출력부(185)에서 출력될 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 운전자 모니터링 시스템(DMS) 애플리케이션(905)을 위해, 제2 얼굴 검출 마이크로 서비스(910c), 헤드 움직임 마이크로 서비스(915c)를 각각 더 실행할 수 있다.
제2 얼굴 검출 마이크로 서비스(910c)는, 내부 카메라(195i)로부터의 카메라 데이터에 기초하여, 실행되며, 제2 얼굴 검출 마이크로 서비스(910c)의 결과 데이터는 헤드 움직임 마이크로 서비스(915c)로 전송된다.
한편, 헤드 움직임 마이크로 서비스(915c)는, 제2 얼굴 검출 마이크로 서비스(910c)의 결과 데이터에 기초하여 실행되며, 헤드 움직임 마이크로 서비스(915c)의 결과 데이터는 시선 추적 마이크로 서비스(920b)로 전송된다.
한편, 시선 추적 마이크로 서비스(920b)는, 헤드 움직임 마이크로 서비스(915c)의 결과 데이터와, 눈 움직임 마이크로 서비스(915b)의 결과 데이터에 기초하여 실행되며, 시선 추적 마이크로 서비스(920b)의 결과 데이터는 경고 마이크로 서비스(930b)로 전송될 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B와 관련 없는, 예를 들어, QM(Quality Management)에 대응하는 복수의 마이크로 서비스를 더 실행할 수 있다.
도면에서는, ASIL B와 관련 없는, 복수의 마이크로 서비스로, 제3 얼굴 검출 마이크로 서비스(910a), 얼굴 인식 마이크로 서비스(915a), 개인용 마이크로 서비스(920a)를 각각 실행할 수 있다.
도 8b는 내부 카메라(195i)로부터의 카메라 데이터에 기초하여 ASIL B에 대응하는 복수의 마이크로 서비스와 QM에 대응하는 마이크로 서비스 실행의 일예를 예시한다.
도면을 참조하면, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 8a와 유사하게, ASIL B에 대응하는 운전자 모니터링 시스템(DMS) 애플리케이션(905)을 실행할 수 있다.
예를 들어, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 운전자 모니터링 시스템(DMS) 애플리케이션(905)을 위해, 복수의 마이크로 서비스로서, 얼굴 검출 마이크로 서비스(910b), 눈 움직임 마이크로 서비스(915b), 시선 추적 마이크로 서비스(920b), 경고 마이크로 서비스(930b)를 각각 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 운전자 모니터링 시스템(DMS) 애플리케이션(905)을 위해, 제2 얼굴 검출 마이크로 서비스(910c), 헤드 움직임 마이크로 서비스(915c)를 각각 더 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B와 관련 없는, 복수의 마이크로 서비스로, 제3 얼굴 검출 마이크로 서비스(910a), 얼굴 인식 마이크로 서비스(915a), 개인용 마이크로 서비스(920a)를 각각 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, QM에 대응하는 마이크로 서비스로, 그래픽 제공 마이크로 서비스의 일예인 증강 현실 마이크로 서비스(930c)를 실행할 수 있다.
이때, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 애플리케이션(905) 내의 마이크로 서비스 중 시선 추적 마이크로 서비스(920b)의 결과 데이터를, 안전 레벨이 더 낮은, QM에 대응하는 증강 현실 마이크로 서비스(930c)로 전송할 수 있다.
이에 따라, QM에 대응하는 증강 현실 마이크로 서비스(930c)는, 시선 추적 마이크로 서비스(920b)의 결과 데이터에 기초하여 실행되며, 증강 현실 마이크로 서비스(930c)의 결과 데이터는 디스플레이(180)로 전송되어 표시될 수 있다.
도 8c는 QM에 대응하는 복수의 마이크로 서비스가 실행되는 것을 예시한다.
도면을 참조하면, 본 개시의 실시예에 따른 신호 처리 장치(170)는, QM에 대응하는 탑승자 모니터링 애플리케이션(940)을 실행할 수 있다.
예를 들어, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 탑승자 모니터링 애플리케이션(940)을 복수의 마이크로 서비스로 분리하여 실행할 수 잇다.
도면에서는, 탑승자 모니터링 애플리케이션(940)을 위한 복수의 마이크로 서비스로, 탑승자 착석(press detection) 마이크로 서비스(950b), 탑승자 움직임(passenger movement) 마이크로 서비스(955b), 탑승자 검출(passenger detection) 마이크로 서비스(960b), 그래픽 제공 마이크로 서비스(965b)를 예시한다.
즉, 본 개시의 실시예에 따른 신호 처리 장치(170)는, QM에 대응하는 탑승자 모니터링 애플리케이션(940)을 위해, 복수의 마이크로 서비스로서, 탑승자 착석 마이크로 서비스(950b), 탑승자 움직임 마이크로 서비스(955b), 탑승자 검출 마이크로 서비스(960b), 그래픽 제공 마이크로 서비스(965b)를 각각 실행할 수 있다.
한편, 탑승자 착석 마이크로 서비스(950b)는, 압력 센서(SNp)로부터의 센서 데이터에 기초하여, 실행되며, 탑승자 착석 마이크로 서비스(950b)의 결과 데이터는 탑승자 움직임 마이크로 서비스(955b)로 전송된다.
한편, 탑승자 움직임 마이크로 서비스(955b)는, 탑승자 착석 마이크로 서비스(950b)의 결과 데이터에 기초하여 실행되며, 탑승자 움직임 마이크로 서비스(955b)의 결과 데이터는 탑승자 검출 마이크로 서비스(960b)로 전송된다.
한편, 탑승자 검출 마이크로 서비스(960b)는, 탑승자 움직임 마이크로 서비스(955b)의 결과 데이터에 기초하여 실행되며, 탑승자 검출 마이크로 서비스(960b)의 결과 데이터는 그래픽 제공 마이크로 서비스(965b)로 전송된다.
한편, 그래픽 제공 마이크로 서비스(965b)는, 탑승자 검출 마이크로 서비스(960b)의 결과 데이터에 기초하여 실행되며, 그래픽 제공 마이크로 서비스(965b)의 결과 데이터는 디스플레이(180)로 전송되어 표시될 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, QM에 대응하는 탑승자 모니터링 애플리케이션(940)을 위해, 기체 검출(co2 detection) 마이크로 서비스(950c)를 더 실행할 수 있다.
기체 검출(co2 detection) 마이크로 서비스(950c)는, 가스 센서(SNc)로부터의 센서 데이터에 기초하여, 실행되며, 기체 검출(co2 detection) 마이크로 서비스(950c)의 결과 데이터는 탑승자 움직임 마이크로 서비스(955b)로 전송된다.
한편, 탑승자 움직임 마이크로 서비스(955b)는, 기체 검출(co2 detection) 마이크로 서비스(950c)의 결과 데이터에 기초하여 실행되며, 탑승자 움직임 마이크로 서비스(955b)의 결과 데이터는 탑승자 검출 마이크로 서비스(960b)로 전송된다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 탑승자 모니터링 애플리케이션(940)과 관련 없는 복수의 마이크로 서비스를 더 실행할 수 있다.
도면에서는, 신호 처리 장치(170)가, 탑승자 모니터링 애플리케이션(940)과 관련 없는, 복수의 마이크로 서비스로, 차량 내부 카메라(195i)로부터의 카메라 데이터에 기반한 얼굴 검출 마이크로 서비스(910a), 얼굴 인식 마이크로 서비스(915a), 개인용 마이크로 서비스(920a)를 각각 실행하는 것을 예시한다.
도 8d는 ASIL B에 대응하는 복수의 마이크로 서비스와 QM에 대응하는 마이크로 서비스가 실행되는 것을 예시한다.
도면을 참조하면, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 8c와 유사하게, QM에 대응하는 탑승자 모니터링 애플리케이션(940)을 실행할 수 있다.
예를 들어, 본 개시의 실시예에 따른 신호 처리 장치(170)는, QM에 대응하는 탑승자 모니터링 애플리케이션(940)을 위해, 복수의 마이크로 서비스로서, 탑승자 착석 마이크로 서비스(950b), 탑승자 움직임 마이크로 서비스(955b), 탑승자 검출 마이크로 서비스(960b), 그래픽 제공 마이크로 서비스(965b)를 각각 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, QM에 대응하는 탑승자 모니터링 애플리케이션(940)을 위해, 기체 검출(co2 detection) 마이크로 서비스(950c)를 더 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 탑승자 모니터링 애플리케이션(940)과 관련 없는, 복수의 마이크로 서비스로, 얼굴 검출 마이크로 서비스(910a), 얼굴 인식 마이크로 서비스(915a), 개인용 마이크로 서비스(920a)를 각각 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 탑승자 모니터링 애플리케이션(945)을 더 실행할 수 있다.
도면에서는, ASIL B에 대응하는 탑승자 모니터링 애플리케이션(945)을 위한 복수의 마이크로 서비스로, 탑승자 착석 마이크로 서비스(950d), 탑승자 움직임 마이크로 서비스(955d), 탑승자 검출 마이크로 서비스(960d), 경고 마이크로 서비스(965d)를 예시한다.
한편, 탑승자 착석 마이크로 서비스(950d)는, 압력 센서(SNp)로부터의 센서 데이터에 기초하여, 실행되며, 탑승자 착석 마이크로 서비스(950d)의 결과 데이터는 탑승자 움직임 마이크로 서비스(955d)로 전송된다.
한편, 탑승자 움직임 마이크로 서비스(955d)는, 탑승자 착석 마이크로 서비스(950d)의 결과 데이터에 기초하여 실행되며, 탑승자 움직임 마이크로 서비스(955d)의 결과 데이터는 탑승자 검출 마이크로 서비스(960d)로 전송된다.
한편, 탑승자 검출 마이크로 서비스(960d)는, 탑승자 움직임 마이크로 서비스(955d)의 결과 데이터에 기초하여 실행되며, 탑승자 검출 마이크로 서비스(960d)의 결과 데이터는 경고 마이크로 서비스(965d)로 전송된다.
한편, 경고 마이크로 서비스(965d)는, 탑승자 검출 마이크로 서비스(960d)의 결과 데이터에 기초하여 실행되며, 경고 마이크로 서비스(965d)의 결과 데이터는 오디오 출력부(185)로 전송되어 출력될 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 탑승자 모니터링 애플리케이션(945)을 위해, 기체 검출(co2 detection) 마이크로 서비스(950e)를 더 실행할 수 있다.
한편, 기체 검출(co2 detection) 마이크로 서비스(950e)는, 가스 센서(SNc)로부터의 센서 데이터에 기초하여, 실행되며, 기체 검출(co2 detection) 마이크로 서비스(950e)의 결과 데이터는 탑승자 움직임 마이크로 서비스(955d)로 전송될 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, QM에 대응하는 탑승자 모니터링 애플리케이션(940) 내의 마이크로 서비스 중 탑승자 검출 마이크로 서비스(960b)의 결과 데이터를, ASIL B에 대응하는 탑승자 모니터링 애플리케이션(945) 내의 경고 마이크로 서비스(965d)로 전송하지 않을 수 있다.
즉, QM에 대응하는 탑승자 모니터링 애플리케이션(940) 내의 탑승자 검출 마이크로 서비스(960b)의 안전 레벨이, ASIL B에 대응하는 탑승자 모니터링 애플리케이션(945) 내의 경고 마이크로 서비스(965d)의 안전 레벨 보다 낮으므로, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 탑승자 검출 마이크로 서비스(960b)의 결과 데이터를 ASIL B에 대응하는 탑승자 모니터링 애플리케이션(945) 내의 경고 마이크로 서비스(965d)로 전송하지 못하게 된다. 이에 따라, 각각의 안전 레벨을 유지할 수 있게 된다.
도 8e는 내부 카메라(195i)로부터의 카메라 데이터에 기초하여 ASIL B에 대응하는 복수의 마이크로 서비스와 QM에 대응하는 마이크로 서비스 실행의 또 다른 예를 예시한다.
도면을 참조하면, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 8b와 유사하게, ASIL B에 대응하는 운전자 모니터링 시스템(DMS) 애플리케이션(985)을 실행할 수 있다.
운전자 모니터링 시스템(DMS) 애플리케이션(985)는, 도 8b의 운전자 모니터링 시스템(DMS) 애플리케이션(905)와 유사하나, 제2 얼굴 검출 마이크로 서비스(910c)가 수행되지 않는 차이가 있다.
예를 들어, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 운전자 모니터링 시스템(DMS) 애플리케이션(985)을 위해, 복수의 마이크로 서비스로서, 얼굴 검출 마이크로 서비스(910b), 눈 움직임 마이크로 서비스(915b), 헤드 움직임 마이크로 서비스(915c), 시선 추적 마이크로 서비스(920b), 경고 마이크로 서비스(930b)를 각각 실행할 수 있다.
한편, 헤드 움직임 마이크로 서비스(915c)는, 얼굴 검출 마이크로 서비스(910b)의 결과 데이터에 기초하여 실행되며, 헤드 움직임 마이크로 서비스(915c)의 결과 데이터는 시선 추적 마이크로 서비스(920b)로 전송된다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B와 관련 없는, 복수의 마이크로 서비스로, 제3 얼굴 검출 마이크로 서비스(910a), 얼굴 인식 마이크로 서비스(915a), 개인용 마이크로 서비스(920a)를 각각 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, QM에 대응하는 마이크로 서비스로, 증강 현실 마이크로 서비스(930c)를 실행할 수 있다.
이때, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 애플리케이션(985) 내의 마이크로 서비스 중 시선 추적 마이크로 서비스(920b)의 결과 데이터를, 안전 레벨이 더 낮은, QM에 대응하는 증강 현실 마이크로 서비스(930c)로 전송할 수 있다.
이에 따라, QM에 대응하는 증강 현실 마이크로 서비스(930c)는, 시선 추적 마이크로 서비스(920b)의 결과 데이터에 기초하여 실행되며, 증강 현실 마이크로 서비스(930c)의 결과 데이터는 디스플레이(180)로 전송되어 표시될 수 있다.
도 9는 본 개시의 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이다.
도면을 참조하면, 본 개시의 일 실시예에 따른 시스템(1000) 내의 신호 처리 장치(170)는, 하이퍼바이저(505)를 실행하는 프로세서(175)를 구비한다.
한편, 프로세서(175)는, 도 6의 중앙 프로세서(CPU)에 대응할 수 있다.
한편, 프로세서(175)는, 복수의 프로세서 코어(core)를 구비할 수 있다.
도면에서는, 복수의 프로세서 코어(core)가, 각각 ASIL B의 안전 레벨에 기초하여 동작하는 것을 예시하나, 이와 달리 다양한 변형이 가능하다.
예를 들어, 복수의 프로세서 코어(core) 중 일부는 ASIL B의 안전 레벨에 기초하여 동작하며, 다른 일부는 QM의 안전 레벨에 기초하여 동작할 수 있다.
한편, 본 개시의 일 실시예에 따른 신호 처리 장치(170)는, 가장 높은 안전 레벨인 ASIL D의 애플리케이션 등의 실행을 위해, M 코어(core) 또는 MCU(micom nuit)를 포함하는 제2 프로세서(177)를 더 포함할 수 있다.
한편, 프로세서(175)는, 하이퍼바이저(505) 상에 복수의 가상화 머신(810~830)을 실행한다.
한편, 복수의 가상화 머신(810~830) 중 제1 가상화 머신(830)은, ASIL B와 같은 제1 안전 레벨에 대응하는 복수의 마이크로 서비스(910b,915b,920b,930b)를 실행한다.
한편, 복수의 가상화 머신(810~830) 중 제1 가상화 머신(830)은, 복수의 마이크로 서비스 중 제1 마이크로 서비스(920b)의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 복수의 가상화 머신(810~830) 중 제2 가상화 머신(820) 또는 제2 신호 처리 장치(170Z) 내의 가상화 머신으로 전송한다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다. 나아가, 마이크로 서비스를 이용하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제1 가상화 머신(830)은, 제1 안전 레벨에 대응하는 제1 애플리케이션의 실행을 위해, 복수의 마이크로 서비스를 구분하여 실행할 수 있다.
즉, 복수의 가상화 머신(810~830) 중 제1 가상화 머신(830)은, ASIL B와 같은 제1 안전 레벨에 대응하는 운전자 모니터링 시스템(DMS) 애플리케이션(905)을 위해, 복수의 마이크로 서비스로서, 얼굴 검출 마이크로 서비스(910b), 눈 움직임 마이크로 서비스(915b), 시선 추적 마이크로 서비스(920b), 경고 마이크로 서비스(930b)를 각각 구분하여 실행할 수 있다.
한편, 제2 가상화 머신(820)은, 제2 안전 레벨에 대응하는 제2 애플리케이션을 실행하며, 제2 애플리케이션은, 제1 마이크로 서비스(920b)의 결과 데이터에 기초하여, 실행될 수 있다.
예를 들어, 복수의 가상화 머신(810~830) 중 제2 가상화 머신(820)은, 제2 안전 레벨인 QM에 대응하는 마이크로 서비스로, 도 8b와 같이, 증강 현실 마이크로 서비스(930c)를 실행할 수 있다.
한편, 복수의 가상화 머신(810~830) 중 제2 가상화 머신(820)은, 제2 안전 레벨인 QM에 대응하는 마이크로 서비스로, 도 8b와 같이, 얼굴 인식 마이크로 서비스(915a)를 더 실행할 수 있다.
한편, 복수의 가상화 머신(810~830) 중 제2 가상화 머신(820)은, QM에 대응하는 마이크로 서비스로, 증강 현실 마이크로 서비스(930c)를 실행할 수 있다.
한편, 제1 가상화 머신(830)은, ASIL B에 대응하는 애플리케이션(905) 내의 마이크로 서비스 중 시선 추적 마이크로 서비스(920b)의 결과 데이터를, 안전 레벨이 더 낮은, QM에 대응하는 증강 현실 마이크로 서비스(930c)로 전송할 수 있다.
즉, 제1 가상화 머신(830)은, ASIL B에 대응하는 애플리케이션(905) 내의 마이크로 서비스 중 시선 추적 마이크로 서비스(920b)의 결과 데이터를, 도 8b와 같이, 안전 레벨이 더 낮은, 제2 가상화 머신(820) 내의 증강 현실 마이크로 서비스(930c)로 전송할 수 있다.
구체적으로, 제1 가상화 머신(830)은, 수신되는 카메라 데이터에 기초하여, 얼굴 검출 마이크로 서비스(910b), 눈 움직임 마이크로 서비스(915b), 시선 추적 마이크로 서비스(920b), 경고 마이크로 서비스(930b)를 각각 실행하고, 시선 추적 마이크로 서비스(920b)의 결과 데이터를 제2 안전 레벨에 대응하는 제2 가상화 머신(820)으로 전송할 수 있다.
한편, 제2 가상화 머신(820)은, 시선 추적 마이크로 서비스(920b)의 결과 데이터에 기초하여, 도 8b와 같이, 증강 현실 마이크로 서비스(930c)를 실행하고, 증강 현실 마이크로 서비스(930c)의 결과 데이터를 디스플레이(180)에 표시하도록 제어할 수 있다.
이와 같이, 제2 가상화 머신(820) 내에서 별도의 시선 추적 마이크로 서비스(920b) 등을 실행하지 않아도 되므로, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제1 가상화 머신(830)은, 공유 메모리(508)를 이용하여, 제1 마이크로 서비스(920b)의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 적어도 하나의 가상화 머신으로 전송할 수 있다.
한편, 제1 가상화 머신(830)은, 공유 메모리(508)를 이용하여, 제1 마이크로 서비스(920b)의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 가상화 머신(820)으로 전송할 수 있다.
한편, 제1 가상화 머신(830)은, 시선 추적 마이크로 서비스(920b)의 결과 데이터를, 하이퍼바이저(505 ) 내의 공유 메모리를 이용하여 제2 가상화 머신(820) 내의 증강 현실 마이크로 서비스(930c)로 전송할 수 있다.
이와 같이, 결과 데이터 전송시 공유 메모리(508)를 이용는 경우, 1:n의 결과 데이터 전송이 가능하게 된다.
한편, 제2 가상화 머신(820)은, 실행되는 마이크로 서비스의 결과 데이터 또는 애플리케이션의 결과 데이터를 제1 가상화 머신(830)으로 전송하지 않을 수 있다.
즉, 제2 가상화 머신(820)은, 안전 레벨이 더 높은 제1 가상화 머신(830)으로 데이터를 전송하지 않을 수 있다.
예를 들어, 제2 가상화 머신(820) 내의 얼굴 인식 마이크로 서비스(915a)의 결과 데이터를 제1 가상화 머신(830)로 전송하지 않게 된다. 이에 따라, 각 가상화 머신의 안전 레벨을 유지할 수 있게 된다.
한편, 복수의 가상화 머신(810~830) 중 제1 가상화 머신(830)은, 복수의 마이크로 서비스 중 제1 마이크로 서비스(920b)의 결과 데이터를, 제1 안전 레벨 보다 높은 제3 안전 레벨의 가상화 머신으로 전송하지 않을 수 있다.
예를 들어, 복수의 가상화 머신(810~830) 중 제3 가상화 머신(810)이 ASIL D로서 제1 안전 레벨 보다 높은 제3 안전 레벨인 경우, 제1 가상화 머신(830)은, 복수의 마이크로 서비스 중 제1 마이크로 서비스(920b)의 결과 데이터를, 제1 안전 레벨 보다 높은 제3 안전 레벨의 제3 가상화 머신(810) 또는 제4 가상화 머신(840)으로 전송하지 않을 수 있다. 이에 따라, 각 가상화 머신의 안전 레벨을 유지할 수 있게 된다.
한편, 프로세서(175)의 일부 코어는, 제1 가상화 머신(830)을 실행하고, 프로세서(175)의 다른 코어는, 제2 기상화 머신(820)을 실행할 수 있다.
도면에서는, 프로세서(175)의 일부 코어가, 제1 안전 레벨인 ASIL B에 대응하는 제1 가상화 머신(830)을 실행하고, 프로세서(175)의 다른 코어가, 제2 안전 레벨인 QM에 대응하는 제2 기상화 머신(820)을 실행하는 것을 예시한다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제2 프로세서(177)는, 가장 높은 안전 레벨인 ASIL D의 애플리케이션 또는 가상화 머신을 실행할 수 있다.
한편, 제2 프로세서(177)에서 실행되는 애플리케이션 또는 가상화 머신의 안전 레벨은, 제1 안전 레벨 보다 더 높을 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제2 가상화 머신(820)은, 수신되는 카메라 데이터에 기초하여, 도 8d와 같이, 얼굴 인식 마이크로 서비스(915a)를 실행하고, 얼굴 인식 마이크로 서비스의 결과 데이터에 기초하여, 추가 마이크로 서비스인 개인용 마이크로 서비스(920a)를 실행할 수 있다.
한편, 제2 가상화 머신(820)은, 수신되는 센서 데이터 또는 카메라 데이터에 기초하여, 도 8d와 같이, QM에 대응하는 탑승자 모니터링 애플리케이션(940)을 위해, 탑승자 착석 마이크로 서비스(950b), 탑승자 움직임 마이크로 서비스(955b), 탑승자 검출 마이크로 서비스(960b), 그래픽 제공 마이크로 서비스(965b)를 각각 실행하고, 탑승자 검출 마이크로 서비스(960b)의 서비스 결과 데이터를 제1 가상화 머신(830)으로 전송하지 않을 수 있다.
한편, 제1 가상화 머신(830)은, 제2 가상화 머신(820)으로부터 탑승자 검출 마이크로 서비스(960b)의 서비스 결과 데이터가 수신되지 않는 경우, 도 8d와 같이, 수신되는 센서 데이터 또는 카메라 데이터에 기초하여, ASIL B에 대응하는 탑승자 모니터링 애플리케이션(945)을 위해, 탑승자 착석 마이크로 서비스(950d), 탑승자 움직임 마이크로 서비스(955d), 탑승자 검출 마이크로 서비스(960d), 경고 마이크로 서비스(965d)를 각각 실행할 수 있다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 본 개시의 다른 실시예에 따른 신호 처리 장치(170) 내의 제1 가상화 머신(830)은, 제1 애플리케이션을 실행하고, 제1 애플리케이션의 결과 데이터 또는 중간 결과 데이터를 제2 가상화 머신(820) 또는 제2 안전 레벨에 대응하는 제2 신호 처리 장치(170Z) 내의 가상화 머신으로 전송한다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다. 나아가, 마이크로 서비스를 이용하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 제1 가상화 머신(830)은, 복수의 마이크로 서비스를 포함하는 제1 애플리케이션을 실행하고, 복수의 마이크로 서비스 중 적어도 일부의 결과 데이터를, 제2 가상화 머신(820) 또는 제2 신호 처리 장치(170Z)로 전송할 수 있다.
도 10은 본 개시의 다른 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이다.
도면을 참조하면, 본 개시의 다른 실시예에 따른 시스템(1000b) 내의 신호 처리 장치(170)는, 제2 신호 처리 장치(170)로 데이터를 전송하거나, 제2 신호 처리 장치(170)로부터 데이터를 수신할 수 있다.
도 9와의 차이를 중심으로 기술하면, 제2 신호 처리 장치(170z)는, 영역 신호 처리 장치일 수 있다.
제2 신호 처리 장치(170z)는, 하이퍼바이저(505z)를 실행하는 프로세서(175z)를 구비한다.
한편, 제2 신호 처리 장치(170z) 내의 프로세서(175z)는, 복수의 프로세서 코어(core)를 구비할 수 있다.
한편, 제2 신호 처리 장치(170z)는, 가장 높은 안전 레벨인 ASIL D의 애플리케이션 등의 실행을 위해, M 코어(core) 또는 MCU(micom nuit)를 포함하는 별도의 프로세서(177z)를 더 포함할 수 있다.
한편, 프로세서(175z)는, 하이퍼바이저(505) 상에 적어도 하나의 가상화 머신(830z)을 실행할 수 있다.
한편, 별도의 프로세서(177z)는, M 코어 상에 가장 높은 안전 레벨인 ASIL D에 대응하는 가상화 머신(840z)을 실행할 수 있다.
한편, 내부 카메라(195i)로부터의 카메라 데이터는, 신호 처리 장치(170) 또는 제2 신호 처리 장치(170z)로 전송될 수 있다.
도면에서는, 프로세서(175z) 내의 가상화 머신(830z)이 카메라 데이터 기반의 비디오 스트림 애플리케이션9993)을 실행하는 것을 예시한다.
한편, 신호 처리 장치(170) 내의 프로세서(175)는, 제2 신호 처리 장치(170Z)로부터 센서 데이터 또는 카메라 데이터를 수신할 수 있다.
한편, 신호 처리 장치(170) 내의 제1 가상화 머신(830)은, 센서 데이터 또는 카메라 데이터에 기초하여, 제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 도 8b와 같이, 복수의 마이크로 서비스 중 제1 마이크로 서비스(920b)의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 가상화 머신(820)으로 전송할 수 있다.
한편, 신호 처리 장치(170) 내의 제1 가상화 머신(830)은, 센서 데이터 또는 카메라 데이터에 기초하여, 제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 복수의 마이크로 서비스 중 제1 마이크로 서비스(920b)의 결과 데이터를, 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 신호 처리 장치(170Z) 내의 가상화 머신으로 전송할 수 있다.
예를 들어, 신호 처리 장치(170) 내의 제1 가상화 머신(830)은, 시선 추적 마이크로 서비스(920b)의 결과 데이터를, 동일한 안전 레벨인 ASIL B에 대응하는 제2 신호 처리 장치(170Z) 내의 가상화 머신(830z)로 전송할 수 있다.
이에 따라, 제2 신호 처리 장치(170Z) 내의 가상화 머신(830z)은, 시선 추적 마이크로 서비스(920b)를 별도로 실행하지 않아도 되므로, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
도 11은 본 개시의 실시예에 따른 신호 처리 장치의 동작 방법을 나타내는 순서도이다.
도면을 참조하면, 본 개시의 실시예에 따른 신호 처리 장치(170) 내의 프로세서(175)는, 애플리케이션 실행을 위해 복수의 마이크로 서비스를 실행할 수 있다(S1110).
프로세서(175)는, 마이크로 서비스의 안전 레벨을 확인한다(S1115).
예를 들어, 프로세서(175)는, 마이크로 서비스의 안전 레벨이, ASIL D, ASIL C, ASIL B, ASIL A, QM 인지 확인할 수 있다. ASIL D가 가장 높은 안전 레벨이며, QM이 가장 낮은 안전 레벨일 수 잇다.
다음, 프로세서(175)는, 실행 완료된 마이크로 서비스의 결과 데이터의 안전 레벨이, 수신되는 마이크로 서비스의 안전 레벨 이상인 지 여부를 판단하고(S1120), 해당하는 경우, 결과 데이터의 전송을 승인한다(S1125).
이에 따라, 실행 완료된 마이크로 서비스의 결과 데이터가, 수신되는 마이크로 서비스로 전송될 수 있게 된다.
한편, 제1120 단계(S1120)에서, 실행 완료된 마이크로 서비스의 결과 데이터의 안전 레벨이, 수신되는 마이크로 서비스의 안전 레벨 미만인 경우, 프로세서(175)는, 결과 데이터의 전송을 거절한다(S1127).
이에 결과 데이터의 전송이 수행되지 못하게 된다.
한편, 프로세서(175)는, 실행 완료된 마이크로 서비스의 결과 데이터의 전송을 위해, 실행 완료된 마이크로 서비스 보다 상위의 마이크로 서비스가 존재 하는 지 여부를 판단하고(S1130), 해당하는 경우, 제1120 단계(S1120) 부터 다시 수행할 수 있다. 이에 따라, 결과 데이터의 공유를 수행할 수 있게 된다.
도 12 내지 도 16b는 도 9 내지 도 11의 동작 설명에 참조되는 도면이다.
도 12는 마이크로 서비스의 안전 레벨 별 전송 가능 정보를 도시한 도면이다.
도면을 참조하면, 전송하는 마이크로 서비스의 안전 레벨이 QM인 경우, 수신 마이크로 서비스의 안전 레벨은 QM인 경우에만 결과 데이터의 전송 가능하며, ASIL A, ASIL B, ASIL C, ASIL D인 경우는 전송이 불가하게 된다.
한편, 전송하는 마이크로 서비스의 안전 레벨이 ASIL A인 경우, 수신 마이크로 서비스의 안전 레벨은 QM, ASIL A인 경우에만 결과 데이터의 전송 가능하며, ASIL B, ASIL C, ASIL D인 경우는 전송이 불가하게 된다.
한편, 전송하는 마이크로 서비스의 안전 레벨이 ASIL B인 경우, 수신 마이크로 서비스의 안전 레벨은 QM, ASIL A, ASIL B인 경우에만 결과 데이터의 전송 가능하며, ASIL C, ASIL D인 경우는 전송이 불가하게 된다.
한편, 전송하는 마이크로 서비스의 안전 레벨이 ASIL C인 경우, 수신 마이크로 서비스의 안전 레벨은 QM, ASIL A, ASIL B, ASIL C인 경우에만 결과 데이터의 전송 가능하며, ASIL D인 경우는 전송이 불가하게 된다.
한편, 전송하는 마이크로 서비스의 안전 레벨이 ASIL D인 경우, 수신 마이크로 서비스의 안전 레벨은 QM, ASIL A, ASIL B, ASIL C, ASIL D인 경우 모두 가능하게 된다.
도 13은 마이크로 서비스의 결과 데이터 전송을 위한 데이터 컨트롤 방안의 일예를 예시하는 도면이다.
도면을 참조하면, 신호 처리 장치(170) 내의 프로세서(175)는, 데이터 전송을 위한 마스터 노드(MN)과 워커 노드(WN), 오케스트레이터(ORC), 데이터 컨트롤 매니저(1330)을 실행할 수 있다.
마스터 노드(MN)에서 실행되는 게이트웨이(1309)는, 데이터를 수신하여, 워커 노드(WN) 내의 노드 에이전트(1316), 미들웨어(1313) 등에 전송할 수 있다.
또는, 마스터 노드(MN)에서 실행되는 게이트웨이(1309)는, 데이터를 수신하여, 오케스트레이터(ORC) 내의 API 서버(1319)로 전송할 수 있다.
한편, 오케스트레이터(ORC) 내의 API 서버(1319)는, 데이터를, 데이터 컨트롤 매니저(1330) 내의 애플리케이션 컨트롤러(1334), 데이터 억세스 컨트롤러(1336)로 전송할 수 있다.
한편, 오케스트레이터(ORC) 내의 API 서버(1319)는, 오케스트레이터 클라이언트(1325), 컨테이너 런타임(1327)로 데이터를 전송할 수 있다.
한편, 데이터 컨트롤 매니저(1330)는, 데이터 패쓰 컨트롤러(1332)를 구비 또는 실행하며, 복수의 차량 애플리케이션 내의 프록시(1320a,1320b,1320c) 등과 데이터를 교환할 수 있다.
한편, 데이터 패쓰 컨트롤러(1332)는, 결과 데이터의 전송을 위해 동작할 수 있다.
예를 들어, 데이터 패쓰 컨트롤러(1332)는, 제1 마이크로 서비스(920b)의 결과 데이터의 전송을 위해, 제1 마이크로 서비스(920b)의 안전 레벨과, 제2 가상화 머신(820) 내의 마이크로 서비스 또는 애플리케이션의 안전 레벨에 기초하여, 전송 가능 정보를 제1 마이크로 서비스(920b)의 프록시로 전송할 수 있다.
한편, 복수의 가상화 머신(810~830) 중 어느 하나는, 제1 마이크로 서비스(920b)의 결과 데이터의 전송을 위한 데이터 패쓰 컨트롤러(1332)를 실행하고, 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
이에 대해서는 도 14a 등을 참조하여 기술한다.
도 14a는 제1 마이크로 서비스인 시선 추적 마이크로 서비스(920b)에 부착되는 프록시 동작의 일예를 예시한다.
도면을 참조하면, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 8b와 유사하게, 내부 카메라(195i)로부터의 카메라 데이터에 기초하여 ASIL B에 대응하는 복수의 마이크로 서비스와 QM에 대응하는 마이크로 서비스를 실행할 수 있다.
예를 들어, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 운전자 모니터링 시스템(DMS) 애플리케이션(905)을 위해, 복수의 마이크로 서비스로서, 얼굴 검출 마이크로 서비스(910b), 눈 움직임 마이크로 서비스(915b), 시선 추적 마이크로 서비스(920b), 경고 마이크로 서비스(930b)를 각각 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, QM에 대응하는 마이크로 서비스로, 그래픽 제공 마이크로 서비스의 일예인 증강 현실 마이크로 서비스(930c)를 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 애플리케이션(905) 내의 마이크로 서비스 중 시선 추적 마이크로 서비스(920b)의 결과 데이터를, 안전 레벨이 더 낮은, QM에 대응하는 증강 현실 마이크로 서비스(930c)로 전송하기 위해, 시선 추적 마이크로 서비스(920b)에 부착되는 프록시(1410)를 실행할 수 있다.
시선 추적 마이크로 서비스(920b)에 부착되는 프록시(1410)는, 도 13의 데이터 컨트롤 매니저(1330)와 데이터를 교환할 수 있다.
예를 들어, 시선 추적 마이크로 서비스(920b)에 부착되는 프록시(1410)는, 데이터 컨트롤 매니저(1330) 내의 애플리케이션 컨트롤러(1334), 데이터 억세스 컨트롤러(1336), 데이터 패쓰 컨트롤러(1332), 리소스(1337), 룰 테이블(1335) 중 데이터 패쓰 컨트롤러(1332)에게 데이터 전송 가능 확인 요청을 전송한다.
이에 대응하여, 데이터 패쓰 컨트롤러(1332)는, 전송 마이크로 서비스인 시선 추적 마이크로 서비스(920b)의 안전 레벨과, 수신 마이크로 서비스인 증강 현실 마이크로 서비스(930c)의 안전 레벨을, 룰 테이블(1335)을 통해 확인한다.
그리고, 데이터 패쓰 컨트롤러(1332)는, 각각의 안전 레벨 확인 결과, 프록시(1410)로 데이터 전송 가능 정보 또는 전송 불가능 정보를 전송한다.
이때, 데이터 패쓰 컨트롤러(1332)는, 전송 마이크로 서비스의 안전 레벨이 수신 마이크로 서비스의 안전 레벨 보다 높으므로, 프록시(1410)로 데이터 전송 가능 정보를 전송한다.
한편, 시선 추적 마이크로 서비스(920b)에 부착되는 프록시(1410)는, 데이터 전송 가능 정보에 기초하여, 시선 추적 마이크로 서비스(920b)의 결과 데이터를 증강 현실 마이크로 서비스(930c)로 전송한다. 이에 따라, 안전 레벨에 기초하여 데이터 처리를 효율적으로 수행할 수 있게 된다.
도 14b는 제1 마이크로 서비스인 시선 추적 마이크로 서비스(960b)에 부착되는 프록시 동작의 다른 예를 예시한다.
도면을 참조하면, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 8d와 유사하게, 내부 카메라(195i)로부터의 카메라 데이터에 기초하여 ASIL B에 대응하는 복수의 마이크로 서비스와 QM에 대응하는 마이크로 서비스를 실행할 수 있다.
예를 들어, 본 개시의 실시예에 따른 신호 처리 장치(170)는, QM에 대응하는 탑승자 모니터링 애플리케이션(940)을 위해, 복수의 마이크로 서비스로서, 복수의 마이크로 서비스로서, 탑승자 착석 마이크로 서비스(950b), 탑승자 움직임 마이크로 서비스(955b), 탑승자 검출 마이크로 서비스(960b), 그래픽 제공 마이크로 서비스(965b)를 각각 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, ASIL B에 대응하는 탑승자 모니터링 애플리케이션(945)을 위한 복수의 마이크로 서비스로, 탑승자 착석 마이크로 서비스(950d), 탑승자 움직임 마이크로 서비스(955d), 탑승자 검출 마이크로 서비스(960d), 경고 마이크로 서비스(965d)를 각각 실행할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, QM에 대응하는 탑승자 모니터링 애플리케이션(940) 내의 마이크로 서비스 중 탑승자 검출 마이크로 서비스(960b)의 결과 데이터를, 안전 레벨이 더 높은, ASIL B에 대응하는 경고 마이크로 서비스(965d)로 전송하기 위해, 탑승자 검출 마이크로 서비스(960b)에 부착되는 프록시(1450)를 실행할 수 있다.
탑승자 검출 마이크로 서비스(960b)에 부착되는 프록시(1450)는, 도 13의 데이터 컨트롤 매니저(1330)와 데이터를 교환할 수 있다.
예를 들어, 탑승자 검출 마이크로 서비스(960b)에 부착되는 프록시(1450)는, 데이터 컨트롤 매니저(1330) 내의 애플리케이션 컨트롤러(1334), 데이터 억세스 컨트롤러(1336), 데이터 패쓰 컨트롤러(1332), 리소스(1337), 룰 테이블(1335) 중 데이터 패쓰 컨트롤러(1332)에게 데이터 전송 가능 확인 요청을 전송한다.
이에 대응하여, 데이터 패쓰 컨트롤러(1332)는, 전송 마이크로 서비스인 탑승자 검출 마이크로 서비스(960b)의 안전 레벨과, 수신 마이크로 서비스인 경고 마이크로 서비스(965d)의 안전 레벨을, 룰 테이블(1335)을 통해 확인한다.
그리고, 데이터 패쓰 컨트롤러(1332)는, 각각의 안전 레벨 확인 결과, 프록시(1450)로 데이터 전송 가능 정보 또는 전송 불가능 정보를 전송한다.
이때, 데이터 패쓰 컨트롤러(1332)는, 전송 마이크로 서비스의 안전 레벨이 수신 마이크로 서비스의 안전 레벨 보다 낮으므로, 프록시(1450)로 데이터 전송 불가능 정보를 전송한다.
한편, 탑승자 검출 마이크로 서비스(960b)에 부착되는 프록시(1450)는, 데이터 전송 불가능 정보에 기초하여, 탑승자 검출 마이크로 서비스(960b)의 결과 데이터를 경고 마이크로 서비스(965d)로 전송하지 않는다. 이에 따라 안전 레벨을 각각 유지할 수 있게 된다.
도 15a 내지 도 15e는 도 13의 오케스트레이터(ORC)의 동작 설명에 참조되는 도면이다.
도 15a는 입력 데이터의 전송시 리던던시 오케스트레이터(1510a,1510b)가 각각 동작하는 것을 예시한다.
제1 리던던시 오케스트레이터(1510a)는, 제1 패쓰를 통해, 입력 데이터를 제1 서비스(1515a) 내의 서비스 A로 전송하고, 제2 패쓰를 통해, 입력 데이터를 제1 서비스(1515a) 내의 리던던트 서비스 A'로 전송할 수 있다. 이에 따라, 어느 하나의 패쓰의 이상인 경우에도, 안정적으로 입력 데이터를 전송할 수 있게 된다.
다음, 제2 리던던시 오케스트레이터(1510b)는, 제3 패쓰를 통해, 제1 서비스(1515a)로부터의 입력 데이터를 제2 서비스(1515b) 내의 서비스 B로 전송하고, 제4 패쓰를 통해, 입력 데이터를 제2 서비스(1515b) 내의 리던던트 서비스 B'로 전송할 수 있다. 이에 따라, 어느 하나의 패쓰의 이상인 경우에도, 안정적으로 입력 데이터를 전송할 수 있게 된다.
한편, 도 8b, 도 8e, 도 14a의 결과 데이터 전송시, 도 15a의 방식이 적용될 수 있다.
도 15b는 도 15a의 제2 리던던시 오케스트레이터(1510b)의 내부 블록도의 일예이다.
도면을 참조하면, 제2 리던던시 오케스트레이터(1510b)는, 리던던시 비교 선택기(1511)와, 리던던시 스케쥴러(1512)를 구비할 수 있다.
예를 들어, 리던던시 비교 선택기(1511)는, 제1 패쓰의 입력 데이터와 제2 패쓰의 입력 데이터 중 제1 패쓰의 입력 데이터를 선택할 수 있다.
다음, 리던던시 스케쥴러(1512)는, 선택된 제1 패쓰의 입력 데이터에 기초하여, 제3 패쓰의 입력 데이터와 제4 패쓰의 입력 데이터를 분리하여 출력할 수 있다. 이에 따라, 어느 하나의 패쓰의 이상인 경우에도, 안정적으로 입력 데이터를 전송할 수 있게 된다.
한편, 도 8b, 도 8e, 도 14a의 결과 데이터 전송시, 도 15b의 방식이 적용될 수 있다.
도 15c는 다중 버젼 리던던시 서비스 오케스트레이션을 설명하는 도면이다.
도면을 참조하면, 입력 데이터의, 서비스 A(1535)로의 전송을 위해, 제1 리던던시 오케스트레이터(1530a)는, 제1 내지 제6 패쓰를 통해, 입력 데이터를 서비스 A-1,A-2,A-3,A'-1,A'-2,A'-3로 전송할 수 있다. 이에 따라, 어느 하나의 패쓰의 이상인 경우에도, 안정적으로 입력 데이터를 전송할 수 있게 된다.
다음, 서비스 A(1535)로부터의 입력 데이터의 제2 서비스 B(1545)로의 전송을 위해, 제2 리던던시 오케스트레이터(1530b)는, 제7 내지제12 패쓰를 통해, 입력 데이터를 서비스 B-1,B-2,B-3,B'-1,B'-2,B'-3로 전송할 수 있다. 이에 따라, 어느 하나의 패쓰의 이상인 경우에도, 안정적으로 입력 데이터를 전송할 수 있게 된다.
한편, 도 8b, 도 8e, 도 14a의 결과 데이터 전송시, 도 15b의 방식이 적용될 수 있다.
한편, 도 15a 내지 도 15c의 서비스 A 또는 B는, 애플리케이션 A 또는 B 이거나 애플리케이션 내의 마이크로 서비스 A 또는 B일 수 있다.
도 15d는 다중 버젼 리던던시 서비스 오케스트레이션을 설명하는 도면이다.
도면을 참조하면, 입력 데이터는 제1 서비스 오케스트레이터(1550a)를 통해, 제1 마이크로 서비스로 전송되고, 제1 마이크로 서비스의 결과 데이터는, 제2 서비스 오케스트레이터(1550b)를 통해, 제2 마이크로 서비스로 전송되고, 제2 마이크로 서비스의 결과 데이터는, 제3 서비스 오케스트레이터(1550c)를 통해, 서비스 A의 결과 데이터로 출력될 수 있다.
한편, 제2 서비스 오케스트레이터(1550b)는, 제1 마이크로 서비스의 결과 데이터를 다른 서비스인 서비스 B 내의 제3 마이크로 서비스로 전송할 수 있다.
이에 따라, 서비스 B 내의 제3 마이크로 서비스는, 제1 마이크로 서비스의 결과 데이터에 기초하여 동작하고, 제3 마이크로 서비스의 결과 데이터는 제4 서비스 오케스트레이터(1550d)를 통해, 서비스 B의 결과 데이터로 출력될 수 있다.
한편, 제3 서비스 오케스트레이터(1550c)는, 제2 마이크로 서비스의 결과 데이터를 다른 서비스인 서비스 C 내의 제4 마이크로 서비스로 전송할 수 있다.
이에 따라, 서비스 C 내의 제4 마이크로 서비스는, 제2 마이크로 서비스의 결과 데이터에 기초하여 동작하고, 제4 마이크로 서비스의 결과 데이터는 제5 서비스 오케스트레이터(1550e)를 통해, 서비스 C의 결과 데이터로 출력될 수 있다.
즉, 서비스 A의 안전 레벨이, 서비스 B 또는 서비스 c의 안전 레벨 이상인 경우, 도면과 같이, 복합적으로 결과 데이터의 전송이 가능하게 된다. 이에 따라, 효율적인 데이터 처리 및 활용이 가능하게 되어, 로드(load) 저감이 가능하게 된다.
도 15e는 서비스 오케스트레이터를 이용한 입력 데이터의 전송을 예시한다.
도면을 참조하면, 서비스 오케스트레이터(1570a)는, 입력 데이터를, 제1 패쓰와 제2 패쓰를 통해, 제1 워크 노드(1577a) 내의 복수의 서비스 A로 전송하고, 제3 패쓰와 제4 패쓰를 통해, 제2 워크 노드1577b) 내의 복수의 서비스 A로 전송할 수 있다.
한편, 제1 워크 노드(1577a) 내의 복수의 서비스 A는 각각 결과 데이터를 출력하고, 제2 워크 노드1577b) 내의 복수의 서비스 A는 각각 결과 데이터를 출력한다. 이러한 병렬 패쓰 구조로 인하여, 신속한 서비스 수행 등이 가능하게 된다.
한편, 도 8b, 도 8e, 도 14a의 결과 데이터 전송시, 도 15e의 방식이 적용될 수 있다.
도 16a 내지 도 16b는 사용 목적에 따른 마이크로 서비스의 배치 또는 설계를 예시하는 도면이다.
도 16a는 영역 신호 처리 장치와 중앙 신호 처리 장치 중 중앙 신호 처리 장치에서 마이크로 서비스가 실행되는 것을 예시하는 도면이다.
도면을 참조하면, 영역 신호 처리 장치(170z)는 ASIl C인 안전 레벨로 동작할 수 있다.
한편, 중앙 신호 처리 장치(170)는 ASIl C인 안전 레벨로 동작할 수 있다.
중앙 신호 처리 장치(170)는, 전방 카메라로부터의 카메라 데이터에 기초하여, 장애물 회피 플래너 마이크로 서비스(1610)를 실행할 수 있다.
특히, 중앙 신호 처리 장치(170) 내의 그래픽 프로세서(178)는, 전방 카메라로부터의 카메라 데이터에 기초하여, ASIl C인 안전 레벨에 대응하는 장애물 회피 플래너(obstacle avoidance planner) 마이크로 서비스(1610)를 실행할 수 있다.
도 16b는 영역 신호 처리 장치와 중앙 신호 처리 장치 중 중앙 신호 처리 장치에서 실행된 마이크로 서비스의 결과 데이터가 영역 신호 처리 장치로 전송되는 것을 예시하는 도면이다.
도면을 참조하면, 중앙 신호 처리 장치(170) 내의 장애물 회피 플래너 마이크로 서비스(1610)의 결과 데이터는, 동일한 안전 레벨인 영역 신호 처리 장치(170z) 내의 장애물 속도 제한기(Obstacle velocity limiter) 마이크로 서비스(1615)로 전송될 수 있다.
다음, 장애물 속도 제한기 마이크로 서비스(1615)의 결과 데이터는, 동일한 안전 레벨인 장애물 정지 플래너(Obstacle stop planner) 마이크로 서비스(1618)로 전송될 수 있다.
이에 따라, 장애물 정지 플래너 마이크로 서비스(1618)는, 전방의 장애물로 인하여 긴급 정지가 필요한 경우, 신속하게 차량을 정지시킬 수 있게 된다.
이와 같이, 마이크로 서비스의 결과 데이터를, 전송 마이크로 서비스의 안전 레벨 이하인 수신 마이크로 서비스로 전송하므로, 신속하고 효율적인 데이터 치리 및 그에 대응하는 동작 수행이 가능하게 된다.
이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (20)

  1. 하이퍼바이저를 실행하는 프로세서;를 구비하고,
    상기 프로세서는,
    상기 하이퍼바이저 상에 복수의 가상화 머신을 실행하고,
    상기 복수의 가상화 머신 중 제1 가상화 머신은,
    제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 상기 복수의 마이크로 서비스 중 제1 마이크로 서비스의 결과 데이터를, 상기 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 상기 복수의 가상화 머신 중 제2 가상화 머신 또는 제2 신호 처리 장치 내의 가상화 머신으로 전송하는 신호 처리 장치.
  2. 제1항에 있어서,
    상기 제1 가상화 머신은,
    상기 제1 안전 레벨에 대응하는 제1 애플리케이션의 실행을 위해, 상기 복수의 마이크로 서비스를 구분하여 실행하는 것인 신호 처리 장치.
  3. 제1항에 있어서,
    상기 제2 가상화 머신은,
    상기 제2 안전 레벨에 대응하는 제2 애플리케이션을 실행하며,
    상기 제2 애플리케이션은,
    상기 제1 마이크로 서비스의 결과 데이터에 기초하여, 실행되는 것인 신호 처리 장치.
  4. 제1항에 있어서,
    상기 제2 가상화 머신은,
    실행되는 마이크로 서비스의 결과 데이터 또는 애플리케이션의 결과 데이터를 상기 제1 가상화 머신으로 전송하지 않는 것인 신호 처리 장치.
  5. 제1항에 있어서,
    상기 복수의 가상화 머신 중 제1 가상화 머신은,
    상기 복수의 마이크로 서비스 중 제1 마이크로 서비스의 결과 데이터를, 상기 제1 안전 레벨 보다 높은 제3 안전 레벨의 가상화 머신으로 전송하지 않는 것인 신호 처리 장치.
  6. 제1항에 있어서,
    상기 프로세서의 일부 코어는,
    상기 제1 가상화 머신을 실행하고,
    상기 프로세서의 다른 코어는,
    상기 제2 기상화 머신을 실행하는 것인 신호 처리 장치.
  7. 제1항에 있어서,
    상기 프로세서와 다른 제2 프로세서;를 더 포함하고,
    상기 제2 프로세서는,
    애플리케이션 또는 가상화 머신을 실행하고,
    상기 제2 프로세서에서 실행되는 상기 애플리케이션 또는 상기 가상화 머신의 안전 레벨은, 상기 제1 안전 레벨 보다 더 높은 것인 신호 처리 장치.
  8. 제7항에 있어서,
    상기 제2 프로세서는,
    상기 하이퍼바이저를 실행하지 않는 것인 신호 처리 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 신호 처리 장치로부터 센서 데이터 또는 카메라 데이터를 수신하고,
    상기 제1 가상화 머신은,
    상기 센서 데이터 또는 카메라 데이터에 기초하여, 제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 상기 복수의 마이크로 서비스 중 상기 제1 마이크로 서비스의 결과 데이터를, 상기 제1 안전 레벨 이하인 상기 제2 안전 레벨에 대응하는 제2 가상화 머신으로 전송하는 것인 신호 처리 장치.
  10. 제1항에 있어서,
    상기 제1 가상화 머신은,
    센서 데이터 또는 카메라 데이터에 기초하여, 제1 안전 레벨에 대응하는 복수의 마이크로 서비스를 실행하고, 상기 복수의 마이크로 서비스 중 상기 제1 마이크로 서비스의 결과 데이터를, 상기 제1 안전 레벨 이하인 상기 제2 안전 레벨에 대응하는 상기 제2 신호 처리 장치 내의 가상화 머신으로 전송하는 것인 신호 처리 장치.
  11. 제1항에 있어서,
    상기 복수의 가상화 머신 중 제1 가상화 머신은,
    수신되는 카메라 데이터에 기초하여, 얼굴 검출(face detection) 마이크로 서비스, 눈 움직임(eye movement) 마이크로 서비스, 시선 추적(eye tracking) 마이크로 서비스, 경고(alert) 마이크로 서비스를 각각 실행하고,
    상기 시선 추적 마이크로 서비스의 결과 데이터를 상기 제2 안전 레벨에 대응하는 제2 가상화 머신으로 전송하는 것인 신호 처리 장치.
  12. 제11항에 있어서,
    상기 제2 가상화 머신은,
    상기 시선 추적 마이크로 서비스의 결과 데이터에 기초하여, 증강 현실 마이크로 서비스를 실행하고, 상기 증강 현실 마이크로 서비스의 결과 데이터를 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  13. 제1항에 있어서,
    상기 제2 가상화 머신은,
    수신되는 카메라 데이터에 기초하여, 얼굴 인식(face recognition) 마이크로 서비스를 실행하고, 상기 얼굴 인식 마이크로 서비스의 결과 데이터에 기초하여, 추가 마이크로 서비스를 실행하는 것인 신호 처리 장치.
  14. 제1항에 있어서,
    상기 제2 가상화 머신은,
    수신되는 센서 데이터 또는 카메라 데이터에 기초하여, 탑승자 착석 마이크로 서비스, 탑승자 움직임 마이크로 서비스, 탑승자 검출 마이크로 서비스, 그래픽 제공 마이크로 서비스를 각각 실행하고,
    상기 탑승자 검출 마이크로 서비스의 서비스 결과 데이터를 상기 제1 가상화 머신으로 전송하지 않는 것인 신호 처리 장치.
  15. 제1항에 있어서,
    상기 제1 가상화 머신은,
    상기 제2 가상화 머신으로부터 상기 탑승자 검출 마이크로 서비스의 서비스 결과 데이터가 수신되지 않는 경우, 수신되는 센서 데이터 또는 카메라 데이터에 기초하여, 탑승자 착석 마이크로 서비스, 탑승자 움직임 마이크로 서비스, 탑승자 검출 마이크로 서비스, 경고 마이크로 서비스를 각각 실행하는 것인 신호 처리 장치.
  16. 제1항에 있어서,
    상기 제1 가상화 머신은,
    공유 메모리를 이용하여, 상기 제1 마이크로 서비스의 결과 데이터를, 상기 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 가상화 머신으로 전송하는 것인 신호 처리 장치.
  17. 제1항에 있어서,
    상기 복수의 가상화 머신 중 어느 하나는,
    상기 제1 마이크로 서비스의 결과 데이터의 전송을 위한 데이터 패쓰 컨트롤러를 실행하고,
    상기 데이터 패쓰 컨트롤러는,
    상기 제1 마이크로 서비스의 안전 레벨과, 상기 제2 가상화 머신 내의 마이크로 서비스 또는 애플리케이션의 안전 레벨에 기초하여, 전송 가능 정보를 상기 제1 마이크로 서비스의 프록시로 전송하는 것인 신호 처리 장치.
  18. 하이퍼바이저를 실행하는 프로세서;를 구비하고,
    상기 프로세서는,
    상기 하이퍼바이저 상에, 제1 안전 레벨에 대응하는 제1 가상화 머신과, 상기 제1 안전 레벨 이하인 제2 안전 레벨에 대응하는 제2 가상화 머신을 실행하고,
    상기 제1 가상화 머신은,
    제1 애플리케이션을 실행하고, 상기 제1 애플리케이션의 결과 데이터 또는 중간 결과 데이터를 상기 제2 가상화 머신 또는 상기 제2 안전 레벨에 대응하는 제2 신호 처리 장치 내의 가상화 머신으로 전송하는 신호 처리 장치.
  19. 제18항에 있어서,
    상기 제1 가상화 머신은,
    복수의 마이크로 서비스를 포함하는 상기 제1 애플리케이션을 실행하고, 상기 복수의 마이크로 서비스 중 적어도 일부의 결과 데이터를, 상기 제2 가상화 머신 또는 상기 제2 신호 처리 장치로 전송하는 것인 신호 처리 장치.
  20. 적어도 하나의 디스플레이;
    상기 디스플레이에 영상 신호를 출력하는 신호 처리 장치;를 포함하고,
    상기 신호 처리 장치는,
    제1항 내지 제19항의 신호 처리 장치를 포함하는 차량용 디스플레이 장치.
PCT/KR2023/014734 2022-09-27 2023-09-26 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치 WO2024071942A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220122192 2022-09-27
KR10-2022-0122192 2022-09-27
KR10-2023-0081051 2023-06-23
KR20230081051 2023-06-23

Publications (1)

Publication Number Publication Date
WO2024071942A1 true WO2024071942A1 (ko) 2024-04-04

Family

ID=90478724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/014734 WO2024071942A1 (ko) 2022-09-27 2023-09-26 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치

Country Status (1)

Country Link
WO (1) WO2024071942A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5758914B2 (ja) * 2010-12-21 2015-08-05 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 仮想計算機システム及び仮想計算機システム制御方法
US20170039084A1 (en) * 2015-08-06 2017-02-09 Ionroad Technologies Ltd. Enhanced advanced driver assistance system (adas) system on chip
US20190258251A1 (en) * 2017-11-10 2019-08-22 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
KR20210067415A (ko) * 2019-11-29 2021-06-08 주식회사 데브스택 클라우드 컴퓨팅 기반의 플랫폼 제공 시스템 및 이를 이용한 플랫폼 제공 방법
US20220171611A1 (en) * 2020-11-27 2022-06-02 Denso Corporation Electronic control unit, software update method, software update program product and electronic control system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5758914B2 (ja) * 2010-12-21 2015-08-05 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 仮想計算機システム及び仮想計算機システム制御方法
US20170039084A1 (en) * 2015-08-06 2017-02-09 Ionroad Technologies Ltd. Enhanced advanced driver assistance system (adas) system on chip
US20190258251A1 (en) * 2017-11-10 2019-08-22 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
KR20210067415A (ko) * 2019-11-29 2021-06-08 주식회사 데브스택 클라우드 컴퓨팅 기반의 플랫폼 제공 시스템 및 이를 이용한 플랫폼 제공 방법
US20220171611A1 (en) * 2020-11-27 2022-06-02 Denso Corporation Electronic control unit, software update method, software update program product and electronic control system

Similar Documents

Publication Publication Date Title
WO2019132344A1 (en) Method for controlling earpiece and electronic device for supporting the same
WO2016047887A1 (ko) 이동단말기의 운용 체제 전환장치 및 방법, 차량 및 그 차량의 운용 체제 전송장치 및 방법
EP3146796A1 (en) Method and apparatus for providing notification
WO2022182103A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2015093665A1 (ko) 전자기기 및 전자기기의 제어방법
WO2022203168A1 (ko) Uwb 통신을 통해 데이터를 전송하는 전자 장치 및 전자 장치의 동작 방법
WO2024071942A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2019194428A1 (ko) 외부 전자 장치의 키를 공유하는 전자 장치 및 전자 장치의 동작 방법
WO2021075910A1 (en) Electronic device and method for operating screen capturing by electronic device
WO2024071947A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2024085580A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2024071945A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2023239008A1 (ko) 차량의 신호 처리 장치 및 이를 구비하는 차량용 통신 장치용 통신 장치
WO2023136376A1 (ko) 차량용 디스플레이 장치
WO2024034708A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023136374A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024034709A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023113078A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024085283A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024085284A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024034752A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 증강현실 장치
WO2023191223A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024071475A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023277637A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 통신 장치
WO2023195559A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23873057

Country of ref document: EP

Kind code of ref document: A1