WO2023136369A1 - 차량용 디스플레이 장치 - Google Patents

차량용 디스플레이 장치 Download PDF

Info

Publication number
WO2023136369A1
WO2023136369A1 PCT/KR2022/000478 KR2022000478W WO2023136369A1 WO 2023136369 A1 WO2023136369 A1 WO 2023136369A1 KR 2022000478 W KR2022000478 W KR 2022000478W WO 2023136369 A1 WO2023136369 A1 WO 2023136369A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal processing
processing device
data
vehicle
processor
Prior art date
Application number
PCT/KR2022/000478
Other languages
English (en)
French (fr)
Inventor
윤재구
최형규
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2022/000478 priority Critical patent/WO2023136369A1/ko
Priority to EP22920702.2A priority patent/EP4300302A1/en
Publication of WO2023136369A1 publication Critical patent/WO2023136369A1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45579I/O management, e.g. providing access to device drivers or storage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display

Definitions

  • the present invention relates to a display device for a vehicle, and more particularly, to a display device for a vehicle capable of increasing transmission efficiency when data is transmitted between a plurality of signal processing devices in a vehicle.
  • a vehicle is a device that allows a user to move in a desired direction.
  • a typical example is a car.
  • a vehicle display device is mounted inside the vehicle.
  • a display is arranged in a cluster or the like to display various kinds of information.
  • various displays such as an AVN (Audio Video Navigation) display and a rear seat entertainment display, are being installed in vehicles separately from the cluster.
  • AVN Audio Video Navigation
  • Korean Patent Publication No. 2018-0083572 (hereinafter referred to as 'prior literature') discloses a plurality of connectors to which a plurality of functional modules can be mounted, respectively, and transmission of information to a plurality of functional modules mounted on each connector. Based on the information received from each of the plurality of functional modules, the suitability according to the function and priority of each of the plurality of functional modules is determined, and when all the functional modules required for the specific function are installed, the specific function is performed. Disclosed is an electronic device including a host device that controls a functional module to do so.
  • An object of the present invention is to provide a display device for a vehicle capable of increasing transmission efficiency when data is transmitted between a plurality of signal processing devices in a vehicle.
  • another object of the present invention is to provide a display device for a vehicle capable of efficiently managing resources in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • another object of the present invention is to provide a display device for a vehicle capable of increasing transmission efficiency when data is transmitted between a plurality of virtual machines for a plurality of displays in a vehicle.
  • another object of the present invention is to provide a display device for a vehicle capable of efficiently managing resources or distributing loads among a plurality of signal processing devices.
  • a vehicle display device for achieving the above object is a first display and a second display mounted on a vehicle, and a processor that performs signal processing for at least one of the first display and the second display. and a second signal processing device including a second processor that performs signal processing, wherein the processor in the signal processing device executes a server virtual machine and a guest virtual machine, and processes the second signal.
  • a second processor in the device runs at least one guest virtualization machine.
  • the vehicle display device may further include a third display mounted on the vehicle, and a second processor in the second signal processing device may perform signal processing for the third display. .
  • the second processor in the second signal processing apparatus may execute at least one guest virtual machine based on the server virtual machine executed by the processor.
  • the signal processing device and the second signal processing device may transmit or receive data using a combined shared memory.
  • the server virtualization machine may control a guest virtualization machine executed in the processor and a guest virtualization machine executed in the second processor.
  • the signal processing device may operate as a master signal processing device and the second signal processing device may operate as a slave signal processing device.
  • the signal processing device executes the first hypervisor
  • the second signal processing device executes the second hypervisor. You can run a hypervisor.
  • the signal processing device and the second signal processing device may execute the same hypervisor.
  • the signal processing device executes the first hypervisor and processes the second signal.
  • the device may execute the second hypervisor.
  • the server virtualization machine may control resource management of a guest virtualization machine running in the processor and a guest virtualization machine running in the second processor.
  • the server virtualization machine may vary resources to be allocated to the processor or the second processor based on usage rates of the processor and the second processor, memory bandwidth, and cache miss rate.
  • the processor or the second processor may distinguish and control a local virtual machine and a remote virtual machine according to the location of input/output of data.
  • the server virtualization machine receives and processes vehicle wheel speed sensor data, location information data, camera image data, or touch input data, and vehicle wheel speed sensor data, location information data, camera image data, or touch input data. Data may be transferred through a server interface to a client interface in a guest virtualization machine within a processor.
  • the server virtualization machine controls wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle to be recorded in a first shared memory in the signal processing device, and the guest virtualization machine in the signal processing device , vehicle wheel speed sensor data, location information data, camera image data, or touch input data recorded in the first shared memory may be read.
  • the server virtualization machine receives and processes wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle, and through a high-speed interface between the signal processing device and the second signal processing device, It is possible to control wheel speed sensor data, location information data, camera image data, or touch input data to be transmitted to the guest virtual machine in the second signal processing device.
  • the server virtualization machine controls wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle to be recorded in a second shared memory in the second signal processing device, and
  • the guest virtualization machine may read vehicle wheel speed sensor data, location information data, camera image data, or touch input data recorded in the second shared memory.
  • the server virtualization machine controls wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle to be recorded in a first shared memory in the signal processing device, and the first shared memory in the signal processing device. and the second shared memory in the second signal processing device are coupled, the guest virtual machine in the signal processing device, through the second shared memory coupled to the first shared memory, wheel speed sensor data of the vehicle, location information data, Camera image data or touch input data may be read.
  • the server virtualization machine controls camera data to be recorded in at least one of a first shared memory in the signal processing device and a second shared memory in the second signal processing device, and the guest virtualization machine in the first processor, A portion of the camera data recorded in the memory is received and processed, and the processed data is written to the first shared memory, or at least one guest virtualization machine in the second processor receives another portion of the camera data recorded in the second shared memory. may be received and processed, and the processed data may be written to the second shared memory.
  • the server virtualization machine controls camera data to be recorded in a first shared memory in the signal processing device, and the guest virtualization machine in the first processor receives, processes, and processes the camera data recorded in the first shared memory.
  • the data is recorded in the first shared memory, and the second processor in the second signal processing device processes the augmented reality camera data through a neural network processing process, and records the augmented reality processed data in the shared memory or the second shared memory.
  • a vehicle display device for achieving the above object is a first display and a second display mounted on a vehicle, and a processor that performs signal processing for at least one of the first display and the second display. and a second signal processing device including a second processor that performs signal processing, data transmission is performed between the signal processing device and the second signal processing device, and The second signal processing unit runs the same hypervisor.
  • a vehicle display device includes a signal processing device including a first display and a second display mounted in a vehicle and a processor that performs signal processing for at least one of the first display and the second display. and a second signal processing device including a second processor performing signal processing, wherein the processor in the signal processing device executes a server virtualization machine and a guest virtualization machine, and the second processor in the second signal processing device , running at least one guest virtualization machine. Accordingly, it is possible to increase transmission efficiency when data is transmitted between a plurality of signal processing devices in the vehicle. In addition, it is possible to efficiently manage resources in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • the vehicle display device may further include a third display mounted on the vehicle, and a second processor in the second signal processing device may perform signal processing for the third display. . Accordingly, it is possible to increase transmission efficiency when data is transmitted between a plurality of signal processing devices in the vehicle.
  • the second processor in the second signal processing apparatus may execute at least one guest virtual machine based on the server virtual machine executed by the processor. Accordingly, it is possible to increase transmission efficiency when data is transmitted between a plurality of virtual machines for a plurality of displays in a vehicle.
  • the signal processing device and the second signal processing device may transmit or receive data using a combined shared memory. Accordingly, it is possible to increase transmission efficiency when data is transmitted between a plurality of signal processing devices in the vehicle.
  • the server virtualization machine may control a guest virtualization machine executed in the processor and a guest virtualization machine executed in the second processor. Accordingly, it is possible to efficiently manage resources in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • the signal processing device may operate as a master signal processing device and the second signal processing device may operate as a slave signal processing device. Accordingly, it is possible to efficiently manage resources in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • the signal processing device executes the first hypervisor
  • the second signal processing device executes the second hypervisor. You can run a hypervisor. Accordingly, it is possible to efficiently manage resources in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • the signal processing device and the second signal processing device may execute the same hypervisor. Accordingly, it is possible to efficiently manage resources in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • the signal processing device executes the first hypervisor and processes the second signal.
  • the device may execute the second hypervisor. Accordingly, it is possible to efficiently manage resources in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • the server virtualization machine may control resource management of a guest virtualization machine running in the processor and a guest virtualization machine running in the second processor. Accordingly, it is possible to efficiently manage resources in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • the server virtualization machine may vary resources to be allocated to the processor or the second processor based on usage rates of the processor and the second processor, memory bandwidth, and cache miss rate. Accordingly, it is possible to efficiently manage resources in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • the processor or the second processor may distinguish and control a local virtual machine and a remote virtual machine according to the location of input/output of data. Accordingly, it is possible to efficiently manage resources in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • the server virtualization machine receives and processes vehicle wheel speed sensor data, location information data, camera image data, or touch input data, and vehicle wheel speed sensor data, location information data, camera image data, or touch input data.
  • Data may be transferred through a server interface to a client interface in a guest virtualization machine within a processor. Accordingly, it is possible to increase transmission efficiency when data is transmitted between a plurality of signal processing devices in the vehicle.
  • the server virtualization machine controls wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle to be recorded in a first shared memory in the signal processing device, and the guest virtualization machine in the signal processing device , vehicle wheel speed sensor data, location information data, camera image data, or touch input data recorded in the first shared memory may be read. Accordingly, it is possible to increase transmission efficiency when data is transmitted between virtual machines in the in-vehicle signal processing device.
  • the server virtualization machine receives and processes wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle, and through a high-speed interface between the signal processing device and the second signal processing device, It is possible to control wheel speed sensor data, location information data, camera image data, or touch input data to be transmitted to the guest virtual machine in the second signal processing device. Accordingly, it is possible to increase transmission efficiency when data is transmitted between a plurality of signal processing devices in the vehicle.
  • the server virtualization machine controls wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle to be recorded in a second shared memory in the second signal processing device, and
  • the guest virtualization machine may read vehicle wheel speed sensor data, location information data, camera image data, or touch input data recorded in the second shared memory. Accordingly, it is possible to increase transmission efficiency when data is transmitted between a plurality of signal processing devices in the vehicle.
  • the server virtualization machine controls wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle to be recorded in a first shared memory in the signal processing device, and the first shared memory in the signal processing device. and the second shared memory in the second signal processing device are coupled, the guest virtual machine in the signal processing device, through the second shared memory coupled to the first shared memory, wheel speed sensor data of the vehicle, location information data, Camera image data or touch input data may be read. Accordingly, it is possible to increase transmission efficiency when data is transmitted between a plurality of signal processing devices in the vehicle.
  • the server virtualization machine controls camera data to be recorded in at least one of a first shared memory in the signal processing device and a second shared memory in the second signal processing device, and the guest virtualization machine in the first processor, A portion of the camera data recorded in the memory is received and processed, and the processed data is written to the first shared memory, or at least one guest virtualization machine in the second processor receives another portion of the camera data recorded in the second shared memory. may be received and processed, and the processed data may be written to the second shared memory. Accordingly, it is possible to perform load sharing in processing camera data.
  • the server virtualization machine controls camera data to be recorded in a first shared memory in the signal processing device, and the guest virtualization machine in the first processor receives, processes, and processes the camera data recorded in the first shared memory.
  • the data is recorded in the first shared memory, and the second processor in the second signal processing device processes the augmented reality camera data through a neural network processing process, and records the augmented reality processed data in the shared memory or the second shared memory. can be controlled to Accordingly, it is possible to perform load sharing in processing camera data.
  • a display device for a vehicle includes a first display and a second display mounted on a vehicle, and a processor that performs signal processing for at least one of the first display and the second display.
  • a second signal processing device including a processing device and a second processor performing signal processing, wherein data transmission is performed between the signal processing device and the second signal processing device, and the signal processing device and the second signal processing device are performed.
  • Devices run the same hypervisor. Accordingly, it is possible to increase transmission efficiency when data is transmitted between a plurality of signal processing devices in the vehicle. In addition, it is possible to efficiently manage resources in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • 1A is a diagram illustrating an example of a vehicle exterior and a vehicle interior.
  • 1B is a view showing another example of the inside of a vehicle.
  • FIG. 2 is a diagram illustrating an appearance of a display device for a vehicle according to an embodiment of the present invention.
  • FIG. 3 illustrates an example of an internal block diagram of the vehicle display device of FIG. 2 .
  • FIG. 4 is a diagram showing a system driven by a signal processing device related to the present invention.
  • FIG. 5 is a diagram showing an example of a system driven by a signal processing apparatus according to an embodiment of the present invention.
  • FIG. 6 is a reference diagram for describing the operation of a system driven by a signal processing apparatus according to an embodiment of the present invention.
  • FIGS. 7A and 7B are diagrams illustrating a display device for a vehicle related to the present invention.
  • FIG. 8 is a diagram illustrating a display device for a vehicle according to an embodiment of the present invention.
  • FIG. 9 to 15 are views referred to in the description of FIG. 8 .
  • module and “unit” for the components used in the following description are simply given in consideration of ease of writing this specification, and do not themselves give a particularly important meaning or role. Accordingly, the “module” and “unit” may be used interchangeably.
  • 1A is a diagram illustrating an example of a vehicle exterior and a vehicle interior.
  • the vehicle 200 is operated by a plurality of wheels 103FR, 103FL, 103RL, .. rotated by a power source, and a steering wheel 150 for adjusting the traveling direction of the vehicle 200. .
  • the vehicle 200 may further include a camera 195 for obtaining an image of the front of the vehicle.
  • the vehicle 200 may include a plurality of displays 180a and 180b for displaying images and information therein.
  • FIG. 1A illustrates a cluster display 180a and an audio video navigation (AVN) display 180b as the plurality of displays 180a and 180b.
  • APN audio video navigation
  • HUD Head Up Display
  • the AVN (Audio Video Navigation) display 180b may also be named a center information display (Center Information Dislpay).
  • An embodiment of the present invention proposes a method of sharing data processing in a vehicle display device 100 having a plurality of displays 180a and 180b.
  • the vehicle 200 described in this specification may be a concept that includes all of a vehicle including an engine as a power source, a hybrid vehicle including an engine and an electric motor as a power source, and an electric vehicle including an electric motor as a power source. there is.
  • 1B is a view showing another example of the inside of a vehicle.
  • a cluster display 180a inside the vehicle, a cluster display 180a, an AVN (Audio Video Navigation) display 180b, rear seat entertainment displays 180c and 180d, a room mirror display (not shown), and the like are provided.
  • AVN Audio Video Navigation
  • rear seat entertainment displays 180c and 180d a room mirror display (not shown), and the like are provided.
  • FIG. 2 is a diagram illustrating an appearance of a display device for a vehicle according to an embodiment of the present invention.
  • a vehicle display device 100 is a signal processing device that performs signal processing for displaying images and information on a plurality of displays 180a to 180b and a plurality of displays 180a to 180b. 170, at least one display 180c to 180d, and a second signal processing device 170b that performs signal processing for displaying images and information on the at least one display 180c to 180d.
  • the signal processing device 170 and the second signal processing device 170b may be spaced apart from each other.
  • the second signal processing device 170b may be driven according to an operating system (OS) different from that of the signal processing device 170 .
  • OS operating system
  • the first display 180a is a cluster display 180a for displaying driving conditions and operation information
  • the second display 180b displays vehicle driving information, navigation maps, and various other information. It may be an AVN (Audio Video Navigation) display 180b for displaying entertainment information or images.
  • AVN Audio Video Navigation
  • the third display 180c may be a display for entertainment in the right rear seat of the vehicle
  • the fourth display 180d may be a display for entertainment in the left rear seat of the vehicle.
  • At least one of the displays 180c to 180d may display driving state information, simple navigation information, various entertainment information or images.
  • the signal processing device 170 has a processor 175 therein, and may execute server virtual machines and first and second guest virtual machines 520 to 540 on the hypervisor 505 in the processor 175. there is.
  • the server virtual machine 520 may correspond to a server virtual machine, and the first to second guest virtual machines may correspond to a guest virtual machine.
  • data communication may be performed between the server virtualization machine 520 and the second or second guest virtualization machines 530 and 50 according to the server interface and the client interface.
  • the first guest virtualization machine 530 may operate for the first display 180a, and the second guest virtualization machine 540 may operate for the second display 180b.
  • server virtualization machine 520 in the processor 175 may share at least a portion of data with the first guest virtualization machine 530 and the second guest virtualization machine 540 for data sharing processing.
  • the server virtualization machine 520 in the processor 175 receives and processes wheel speed sensor data of the vehicle, and operates at least one of the first guest virtualization machine 530 and the second guest virtualization machine 540 or the second guest virtualization machine 540 .
  • the processed wheel speed sensor data may be transmitted to the signal processing device 170b. Accordingly, wheel speed sensor data of the vehicle can be shared with at least one virtual machine or a second signal processing device.
  • the server virtualization machine 520 in the processor 175 writes part of the data to the first shared memory 508a to be transferred to the first guest virtualization machine 530, and another part of the data to the second guest virtualization machine 530.
  • the data is written in the first shared memory 508a to be transmitted to the machine, and the first guest virtual machine 530 and the second guest virtual machine 540 process the received data, respectively, so that the processed data is stored in the second shared memory. (not shown) can be controlled to be recorded. Accordingly, it is possible to efficiently process data in a plurality of signal processing devices in the vehicle.
  • the hypervisor 505-based shared memory ( 508) can be controlled to be set. Accordingly, the same information or the same image can be synchronized and displayed on the first display 180a and the second display 180b in the vehicle.
  • the signal processing device 170 has a processor 175 therein, and may execute server virtual machines and first and second guest virtual machines 520 to 540 on the hypervisor 505 in the processor 175. there is.
  • the server virtual machine 520 may correspond to a server virtual machine, and the first to second guest virtual machines may correspond to a guest virtual machine.
  • data communication may be performed between the server virtualization machine 520 and the second or second guest virtualization machines 530 and 50 according to the server interface and the client interface.
  • the second signal processing apparatus 170b has a second processor 175b therein, and on the hypervisor 505b in the second processor 175b, a server virtual machine (VIMc), You can run a guest virtual machine (VIMd), etc.
  • VIPc server virtual machine
  • VIMd guest virtual machine
  • some of the plurality of displays 180a to 180d may operate based on a Linux OS, and some may operate based on a web OS.
  • the signal processing device 170 and the second signal processing device 170b may divide and process data even in the displays 180a to 180d operating under various operating systems (OS).
  • OS operating systems
  • the signal processing device 170 and the second signal processing device 170b according to an embodiment of the present invention provide the same information or the same information even in the displays 180a to 180d operating under various operating systems (OS). It can be controlled to synchronize and display images.
  • OS operating systems
  • the signal processing device 170 and the second signal processing device 170b may share at least a portion of data for data sharing processing. Accordingly, data can be divided and processed by the plurality of signal processing devices 170 and 170b for a plurality of displays in the vehicle. In addition, resources can be efficiently managed in the plurality of signal processing devices 170 and 170b.
  • FIG. 3 illustrates an example of an internal block diagram of a display device for a vehicle according to an embodiment of the present invention.
  • a vehicle display device 100 includes an input unit 110, a communication unit 120, an interface 130, a second interface 130b, a signal processing device 170, a first Two signal processing devices 170b, a plurality of displays 180a to 180d, an audio output unit 185, and a power supply unit 190 may be provided.
  • the input unit 110 may include a physical button or pad for button input or touch input.
  • the input unit 110 may include a microphone (not shown) for user voice input.
  • the communication unit 120 may exchange data with the mobile terminal 800 or the server 900 in a wireless manner.
  • the communication unit 120 may wirelessly exchange data with the vehicle driver's mobile terminal.
  • various data communication methods such as Bluetooth, WiFi, WiFi Direct, and APiX are possible.
  • the communication unit 120 may receive weather information and road traffic condition information, eg, Transport Protocol Expert Group (TPEG) information, from the mobile terminal 800 or the server 900 . To this end, the communication unit 120 may include a mobile communication module (not shown).
  • TPEG Transport Protocol Expert Group
  • the interface 130 may receive sensor information or the like from the ECU 770 or the sensor device 760 and transmit the received information to the signal processing device 170 .
  • the second interface 130b may receive sensor information or the like from the ECU 770 or the sensor device 760 and transmit the received information to the second signal processing device 170b.
  • the sensor information includes vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward/reverse information, battery information, fuel information, tire information, vehicle It may include at least one of lamp information, vehicle internal temperature information, and vehicle internal humidity information.
  • Such sensor information includes heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/backward sensor, wheel sensor, vehicle speed sensor, It may be obtained from a vehicle body tilt detection sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel rotation, a vehicle internal temperature sensor, a vehicle internal humidity sensor, and the like.
  • the position module may include a GPS module for receiving GPS information.
  • the interface 130 receives image data from the front of the vehicle, image data from the side of the vehicle, image data from the rear of the vehicle, distance information from obstacles around the vehicle, etc. It can be transmitted to the signal processing device 170.
  • the memory 140 may store various data for overall operation of the vehicle display device 100, such as a program for processing or controlling the signal processing device 170.
  • the memory 140 may store data related to a hypervisor, a server virtual machine, and first and second guest virtual machines to be executed in the processor 175 .
  • the memory 140 may be included in the signal processing device 170 as shown in the drawing, but is not limited thereto and may be disposed outside the signal processing device 170.
  • the audio output unit 185 converts the electrical signal from the signal processing device 170 into an audio signal and outputs it. To this end, a speaker or the like may be provided.
  • the power supply 190 may supply power required for operation of each component under the control of the signal processing device 170 .
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • the signal processing device 170 controls the overall operation of each unit in the vehicle display device 100 .
  • the signal processing device 170 may include a processor 175 and a memory 140 that perform signal processing for at least one of the first display 180a or the second display 180b.
  • the processor 175 may execute a server virtual machine and first to second guest virtual machines 520 to 540 on a hypervisor (505 in FIG. 5) within the processor 175.
  • the server virtual machine 520 may be referred to as a server virtual machine, and the first guest virtual machine to the first guest virtual machine 520 may be referred to as a server virtual machine.
  • the 2 guest virtual machines 530 to 540 may be referred to as guest virtual machines.
  • the first guest virtual machine 530 may operate for the first display 180a
  • the second guest virtual machine 540 may operate for the second display 180b.
  • the server virtualization machine 520 in the processor 175 may receive vehicle sensor data, location information data, camera image data, audio data, or touch input data, and may process or process and output the received data.
  • vehicle sensor data location information data
  • camera image data location information data
  • audio data audio data
  • touch input data may process or process and output the received data.
  • data processing can be performed efficiently.
  • 1:N data sharing is possible.
  • the server virtualization machine 520 directly receives CAN communication data, audio data, radio data, USB data, and wireless communication data for the first to second guest virtualization machines 530 to 540, and can be dealt with
  • the server virtualization machine 520 may transmit the processed data to the first guest virtualization machine or the second guest virtualization machine 530 to 540 .
  • the server virtualization machine 520 among the server virtualization machine and the first to second guest virtualization machines 520 to 540 receives communication data and external input data and performs signal processing, thereby performing signal processing in other virtualization machines.
  • the burden of signal processing is reduced, 1:N data communication becomes possible, and synchronization at the time of data sharing becomes possible.
  • the server virtualization machine 520 records part of the data in the first shared memory 508a to be transferred to the first guest virtualization machine 530, and transfers another part of the data to the second guest virtualization machine. 1 is written in the shared memory 508a, and the first guest virtual machine 530 and the second guest virtual machine 540 respectively process the received data, and the processed data is stored in the second shared memory (not shown). control to be recorded. Accordingly, it is possible to efficiently process data between a plurality of signal processing devices in the vehicle.
  • the data at this time may be any one of video data, audio data, navigation data, or voice recognition data.
  • the server virtualization machine 520 may process another portion of data and control the processed data to be recorded in a second shared memory (not shown). That is, in addition to the first guest virtual machine 530 and the second guest virtual machine, the server virtual machine 520 may process data.
  • the server virtualization machine 520 may generate command queues for distributed processing of data in the first to second guest virtualization machines 530 and 540 . Accordingly, it is possible to divide and process data in a plurality of virtual machines.
  • the server virtualization machine 520 in the processor 175 may generate one identical command queue when the first guest virtualization machine to the second guest virtualization machine 530 or 540 share the same data. Accordingly, the same data can be synchronized and shared.
  • server virtualization machine 520 may generate command queues corresponding to the number of virtualization machines for distributed processing of data.
  • the server virtualization machine 520 transfers at least a portion of the data to at least one of the first guest virtualization machine 530 and the second guest virtualization machine 540 or the second signal processing device 170b for data distribution processing. ) can be controlled to be transmitted.
  • the server virtualization machine 520 transmits at least a portion of data to at least one of the first guest virtualization machine 530 and the second guest virtualization machine 540 or to the second signal processing device 170b.
  • a first shared memory 508a is allocated for the first shared memory 508a, and image data processed by the first guest virtual machine 530 or the second guest virtual machine 540 may be recorded in a second shared memory (not shown).
  • server virtualization machine 520 may record data in the shared memory 508 and control the first guest virtualization machine 530 and the second guest virtualization machine 540 to share the same data.
  • the server virtualization machine 520 records radio data or wireless communication data in the shared memory 508 and shares the same data with the first guest virtualization machine 530 and the second guest virtualization machine 540. can be controlled to Accordingly, it is possible to share data in a 1:N manner.
  • the hypervisor 505-based shared memory ( 508) can be controlled to be set.
  • the server virtualization machine 520 in the processor 175 uses the shared memory 508 based on the hypervisor 505 as the first guest virtualization machine 530 and the second guest virtualization machine 540,
  • the same data can be synchronized and transmitted. Accordingly, the same image can be synchronized and displayed on the plurality of displays 180a to 180b in the vehicle.
  • the signal processing device 170 may process various signals such as audio signals, video signals, and data signals.
  • the signal processing device 170 may be implemented in the form of a System On Chip (SOC).
  • SOC System On Chip
  • the second signal processing device 170b performs signal processing for the vehicle displays 180c and 180d, and may include a second processor 175b and a second memory 140b for this purpose.
  • the second processor 175b may execute a server virtualization machine (VIMc in FIG. 9 ) and a guest virtualization machine (VIMd in FIG. 9 ) on a hypervisor (505b in FIG. 9 ) in the second processor 175b.
  • VIPc server virtualization machine
  • VVMd guest virtualization machine
  • the server virtualization machine (VIMc) in the second processor 175b from the server virtualization machine 520 in the processor 175 in the signal processing device 170, vehicle sensor data, location information data, camera image data , audio data or touch input data may be received, processed or processed, and then output.
  • VIMc server virtualization machine
  • the server virtualization machine (VIMc) may transmit the processed data to the guest virtualization machine (VIMd).
  • the server virtualization machine (VIMc) records part of the data in a shared memory (not shown) to be transferred to the guest virtualization machine (VIMd), and the guest virtualization machine (VIMd) processes the received data, respectively. It is possible to control the recorded data to be recorded in a shared memory (not shown). Accordingly, it is possible to divide and process data in a plurality of signal processing devices for a plurality of displays in a vehicle.
  • the data at this time may be any one of video data, audio data, navigation data, or voice recognition data.
  • the server virtualization machine may generate each command queue for distributed processing of data in a plurality of virtualization machines. Accordingly, it is possible to divide and process data in a plurality of virtual machines.
  • the server virtualization machine (VIMc) in the second processor 175b may generate one identical command queue when sharing the same data in a plurality of virtualization machines. Accordingly, the same data can be synchronized and shared.
  • server virtualization machine VIMc may generate command queues corresponding to the number of virtualization machines for distributed processing of data.
  • the server virtualization machine (VIMc) may control at least a part of data to be transmitted to the guest virtualization machine (VIMd) for data distribution processing.
  • the server virtualization machine (VIMc) allocates a shared memory (not shown) for transmitting at least a portion of data to the guest virtualization machine (VIMd), and the image data processed in the guest virtualization machine (VIMd) is It can be written to a shared memory (not shown).
  • the server virtualization machine (VIMc) may record data in a shared memory (not shown) and control the same data to be shared with the guest virtualization machine (VIMd).
  • the server virtualization machine may record radio data or wireless communication data in a shared memory (not shown) and control the same data to be shared with the guest virtualization machine (VIMd). Accordingly, it is possible to share data in a 1:N manner.
  • the server virtualization machine (VIMc) in the second processor 175b may control the hypervisor 505b-based shared memory (not shown) to be set for the same data transmission as the guest virtualization machine (VIMd). there is.
  • the server virtualization machine (VIMc) in the second processor 175b may synchronize and transmit the same data to the guest virtualization machine (VIMd) using a shared memory (not shown) based on the hypervisor 505b. . Accordingly, the same image can be synchronized and displayed on the plurality of displays 180c to 180d in the vehicle.
  • the second signal processing device 170b may process various signals such as an audio signal, a video signal, and a data signal.
  • the second signal processing device 170b may be implemented in the form of a System On Chip (SOC).
  • SOC System On Chip
  • FIG. 4 is a diagram showing a system driven by a signal processing device related to the present invention.
  • FIG. 4 is a diagram illustrating that virtual machines are used for the cluster display 180a and the AVN display 180b, respectively.
  • a cluster virtualization machine 430 and an AVN virtualization machine 440 are executed on a hypervisor 405 in a processor 175 in the signal processing device 170. exemplify that
  • system 400 driven by the signal processing apparatus of FIG. 4 illustrates that a legacy virtual machine 410 is also executed on the hypervisor 405 in the processor 175 .
  • the legacy virtualization machine 410 includes an interface 412 for data communication with the memory 140 and an interface 413 for Ethernet communication.
  • the cluster virtual machine 430 includes an interface 431 for CAN communication, an interface 432 for communication with the interface 412 of the legacy virtual machine 410, and a legacy virtual machine 410 An interface 433 for communication with the interface 413 of ) may be provided.
  • the AVN virtualization machine 440 includes an interface 441 for input/output of audio data, radio data, USB data, and wireless communication data, and an interface for communication with the interface 412 of the legacy virtualization machine 410. 442, and an interface 443 for communication with the interface 413 of the legacy virtualization machine 410.
  • the AVN virtualization machine 440 since CAN communication data is input and output only in the cluster virtualization machine 430, the AVN virtualization machine 440 has a disadvantage in that CAN communication data cannot be utilized.
  • the cluster virtualization machine 430 and the cluster virtualization machine 430 have to have separate interfaces 431, 432, 441, 442, respectively. there is.
  • the virtual machine is divided into a server virtual machine and a guest virtual machine, and various memory data, communication data, etc. are input and output from the server virtual machine rather than from the guest virtual machine. This will be described with reference to FIG. 5 below.
  • FIG. 5 is a diagram showing an example of a system driven by a signal processing apparatus according to an embodiment of the present invention.
  • the system 500 of FIG. 5 includes a server virtualization machine 520, a first guest virtualization machine 530, a first guest virtualization machine 530, and a hypervisor 505 in a processor 175 in a signal processing device 170.
  • 2 illustrates that the guest virtualization machine 540 is running.
  • the first guest virtual machine 530 may be a virtual machine for the cluster display 180a
  • the second guest virtual machine 540 may be a virtual machine for the AVN display 180b.
  • the first guest virtualization machine 530 and the second guest virtualization machine 540 may operate for image rendering of the cluster display 180a and the AVN display 180b, respectively.
  • system 500 driven by the signal processing device 170 of FIG. 5 illustrates that a legacy virtual machine 510 is also executed on the hypervisor 505 in the processor 175 .
  • the legacy virtual machine 510 includes an interface 511 for data communication with the memory 140 and Ethernet communication.
  • the legacy virtual machine 510 may further include a virtio-backend interface 512 for data communication with the first and second guest virtual machines 530 and 540 .
  • the server virtualization machine 520 may include an interface 521 for input/output of audio data, radio data, USB data, and wireless communication data, and an input/output server interface 522 for data communication with the guest virtual machine.
  • the server virtualization machine 520 can provide I/Os that are difficult to virtualize by standard virtualization technology (VirtIO) to a plurality of guest virtualization machines, for example, the first to second guest virtualization machines 530 and 540. there is.
  • VirtualIO virtualization technology
  • the server virtualization machine 520 may control radio data, audio data, and the like at the supervisor level, and provide the data to a plurality of guest virtualization machines, for example, first to second guest virtualization machines 530 and 540.
  • the server virtualization machine 520 processes vehicle data, sensor data, information around the vehicle, and the like, and transfers the processed data or information to a plurality of guest virtualization machines, for example, first to second guest virtualization machines ( 530,540) and the like.
  • server virtualization machine 520 may provide services (Supervisory Services) such as vehicle data processing and audio routing management.
  • Services such as vehicle data processing and audio routing management.
  • the first guest virtual machine 530 may include an input/output client interface 532 for data communication with the server virtual machine 520 and APIs 533 that control the input/output client interface 532. .
  • the first guest virtual machine 530 may have a virtio-backend interface for data communication with the legacy virtual machine 510 .
  • the first guest virtual machine 530 is a memory by communication with the memory 140 from an interface (virtio-backend interface) 512 of the legacy virtual machine 510 through an interface (virtio-backend interface). Data, Ethernet data can be received by Ethernet communication.
  • the second guest virtual machine 540 may include an input/output client interface 542 for data communication with the server virtual machine 520 and APIs 543 controlling the input/output client interface 542 .
  • the second guest virtualization machine 540 may have a virtio-backend interface for data communication with the legacy virtualization machine 510 .
  • the second guest virtual machine 540 is a memory by communication with the memory 140 from an interface (virtio-backend interface) 512 of the legacy virtual machine 510 through an interface (virtio-backend interface). Data, Ethernet data can be received by Ethernet communication.
  • legacy (legacy) virtual machine 510 unlike FIG. 5, it is also possible to be provided in the server virtual machine 520.
  • CAN communication data is input and output only in the server virtualization machine 520, but through data processing in the server virtualization machine 520, a plurality of guest virtualization machines, for example, the first to the th 2 guest virtual machines 530 and 540 may be provided. Accordingly, 1:N data communication by processing of the server virtualization machine 520 is possible.
  • audio data, radio data, USB data, and wireless communication data are input and output only in the server virtualization machine 520, but through data processing in the server virtualization machine 520, many of guest virtualization machines, for example, first to second guest virtualization machines 530 and 540. Accordingly, 1:N data communication by processing of the server virtualization machine 520 is possible.
  • the first and second guest virtual machines 530 and 540 may operate based on different OSs.
  • the first guest virtual machine 540 may operate based on a Linux OS, and the second guest virtual machine 540 may operate based on a web OS.
  • the server virtualization machine 520 may set the hypervisor 505-based shared memory 508 for data sharing even if the first and second guest virtualization machines 530 and 540 operate under different OSs. Accordingly, even if the first and second guest virtual machines 530 and 540 operate under different operating systems (OS), the same data or the same image can be synchronized and shared. As a result, the same data or the same image can be synchronized and displayed on the plurality of displays 180a and 180b.
  • OS operating systems
  • FIG. 6 is a reference diagram for describing the operation of a system driven by a signal processing apparatus according to an embodiment of the present invention.
  • a processor 175 in the signal processing device 170 executes a server virtual machine and first to second guest virtual machines 520 to 540 on a hypervisor 505 in the processor 175, and , the server virtualization machine 520 in the processor 175, to the first guest virtualization machine 530 and the second guest virtualization machine 540, for the same data transfer, the hypervisor 505-based shared memory 508 ) is set.
  • the same image data may be exemplified as the same data. Accordingly, the same image can be synchronized and displayed on the plurality of displays 180a to 180b in the vehicle.
  • the same data can be transmitted synchronously.
  • CAN communication data, audio data, radio data, USB data, wireless communication data, location information data, or touch data may be exemplified as the same data. Accordingly, the same data can be synchronized and displayed on the plurality of displays 180a to 180b in the vehicle.
  • the legacy virtualization machine 510 transmits memory data from the memory 140 and Ethernet data through Ethernet communication using the shared memory 508 based on the hypervisor 505,
  • the first guest virtual machine 530 and the second guest virtual machine 540 may be synchronized and transmitted. That is, 1:N data communication for memory data or Ethernet data can be performed. Accordingly, the same data can be synchronized and transmitted.
  • FIGS. 7A and 7B are diagrams illustrating a display device for a vehicle related to the present invention.
  • FIG. 7A shows an example of data movement in the vehicle display device 100k having a plurality of signal processing devices 170 and 170b.
  • the signal processing apparatus 170 executes a first hypervisor 505, and on the first hypervisor 505, a server virtual machine 520 and first to second guest virtual machines ( 630,540) can be executed.
  • the second signal processing apparatus 170b executes the second hypervisor 505b, and on the second hypervisor 505b, the second server virtualization machine 520b and the third to fourth guest virtualization machines (630, 540b) can be executed.
  • the input/output server interface 522 in the server virtualization machine 520 in the signal processing device 170 the security manager 526 A request for allocation of the shared memory 508 is transmitted to (STe1).
  • the security manager 526 may allocate the shared memory 508 by using the hypervisor 505 (STe2) and write the shared data in the shared memory 508.
  • the input/output server interface 522b in the second server virtualization machine 520b in the second signal processing device 170b may transmit a connection request to the input/output server interface 522 after the shared memory 508 is allocated ( STe3).
  • the input/output server interface 522 is the input/output server interface 522b in the second server virtualization machine 520b in the second signal processing device 170b after the shared memory 508 is allocated, and shares the key data.
  • Information on the memory 508 is transmitted (STe4).
  • the key data at this time may be private key data.
  • the input/output server interface 522b in the second server virtualization machine 520b in the second signal processing device 170b transfers the second shared memory 508b to the security manager 526b based on the received key data.
  • An allocation request is transmitted (STe5).
  • the security manager 526b may allocate the second shared memory 508b by using the hypervisor 505b (STe6), and may record shared data in the second shared memory 508b (STe7).
  • FIG. 7B shows another example of data movement in the vehicle display device 100k having a plurality of signal processing devices 170 and 170b.
  • performance scores of the server virtualization machine 520 and the second server virtualization machine 520b may be checked.
  • the server virtual machine 520 in the signal processing device 170 attempts to access the second server virtual machine 520b in the second signal processing device 170b (STf2).
  • the second server virtual machine 520b in the second signal processing device 170b transfers the benchmark score, current CPU/RAM/GPU resource usage, etc. to the server virtual machine 520 in the signal processing device 170.
  • the status information is delivered as a result message (STf3).
  • the server virtual machine 520 in the signal processing device 170 checks the result message of the second server virtual machine 520b in the second signal processing device 170b, and the signal processing device 170 and the second signal It is determined which signal processing device among the processing devices 170b will become the master device (STf4).
  • a server virtual machine is executed only in one signal processing device 170 among a plurality of signal processing devices, and only a guest virtual machine is executed without running a server virtual machine in the remaining signal processing devices 170b. Suggest a plan to implement
  • the signal processing device 170 in which the server virtual machine is executed becomes the master signal processing device, and the remaining signal processing devices 170b are automatically set as slave signal processing devices, the determination of the master and slave signal processing devices The step for is omitted, enabling rapid and efficient data movement or rapid and efficient data processing. This will be described with reference to FIG. 8 below.
  • FIG. 8 is a diagram illustrating a display device for a vehicle according to an embodiment of the present invention.
  • a vehicle display device 100 includes a signal processing device 170 including a processor 175 that performs signal processing, and a second processor 175b that performs signal processing. ) and a second signal processing device 170b including a.
  • the signal processing device 170 performs signal processing for at least one of the first display 180a or the second display 180b in the vehicle 200 .
  • the second signal processing device 170b performs signal processing for at least one of the third display 180c and the fourth display 180d in the vehicle 200 .
  • the processor 175 in the signal processing device 170 executes the server virtualization machine 520 and at least one guest virtualization machine 530 and 540 .
  • the processor 175 in the signal processing device 170 illustrates the execution of the first and second guest virtual machines 530 and 540 .
  • the second processor 175b in the second signal processing device 170b executes at least one guest virtual machine 520b, 530b, and 540b.
  • the second processor 175b in the second signal processing device 170b executes the third to fifth guest virtual machines 520b, 530b, and 540b, but is not limited thereto. It is also possible to execute only the fourth guest virtual machines 520b and 530b.
  • the processor 175 in the signal processing device 170 in the vehicle display device 100 executes the server virtualization machine 520 and at least one guest virtualization machine 530 and 540, and the second processor 175b in the two-signal processing unit 170b executes at least one guest virtual machine 520b, 530b, and 540b without executing the server virtual machine.
  • the server virtual machine 520 in the signal processing device 170 is executed in at least one guest virtual machine 530 and 540 executed in the signal processing device 170 and the second signal processing device 170b.
  • At least one guest virtualization machine (520b, 530b, 540b) can be efficiently controlled.
  • transmission efficiency at the time of data transmission between the plurality of signal processing devices 170 and 170b in the vehicle 200 can be increased.
  • resources can be efficiently managed in the plurality of signal processing devices 170 for the plurality of displays in the vehicle 200 .
  • server virtualization machine 520 may include a resource manager for resource management and an input/output server interface 522 for data communication with the guest virtualization machine.
  • the first to fifth guest virtual machines 530 , 540 , 520 b , 530 b , and 540 b each have a resource manager for resource management and an input/output client interface 532 , 542 , and 522 b for data communication with the server virtual machine 520 . , 532b, 542b) may be provided.
  • the signal processing device 170 includes a plurality of processor cores 175a1 to 175a4, a cache, a plurality of memories 140a1 to 140a4, a location information driver GS for receiving or processing location information data, and touch input data.
  • a touch driver (TU) for receiving or processing the camera driver (CA) for receiving or processing camera image data may be provided.
  • the signal processing device 170 may further include a neural network processor (NPa) for a neural network processing process, a graphics processor (GPa) for a graphic processing processor, and a high-speed interface (HSI) for high-speed data transmission.
  • NPa neural network processor
  • GPa graphics processor
  • HSA high-speed interface
  • the high-speed interface (HSI) at this time may support PCIe, CCIX, or CXL.
  • the second signal processing device 170b may include a plurality of processor cores 175b1 to 175b4, a cache, and a plurality of memories 140b1 to 140b4.
  • the second signal processing device 170b may further include a neural network processor (NPb) for a neural network processing process, a graphics processor (GPb) for a graphic processing processor, and a high-speed interface (HSIb) for high-speed data transmission.
  • NPb neural network processor
  • GPb graphics processor
  • HSUb high-speed interface
  • the high-speed interface (HSIb) at this time may support PCIe, CCIX, or CXL.
  • the server virtualization machine 520 may control the guest virtualization machine 530 running in the processor 175 and the guest virtualization machines 520b, 530b, and 540b running in the second processor 175b. there is. Accordingly, it is possible to efficiently manage resources in the plurality of signal processing devices 170 for the plurality of displays in the vehicle 200 .
  • the server virtualization machine 520 receives and processes wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle 200, and wheel speed sensor data and location information of the vehicle 200.
  • Data, camera image data, or touch input data may be transmitted to the client interfaces 532 and 542 of the at least one guest virtualization machine 530 and 540 of the processor 175 through the server interface 522b. Accordingly, it is possible to increase transmission efficiency during data transmission between the plurality of virtual machines 520 , 530 , and 540 in the signal processing apparatus 170 .
  • the signal processing device 170 and the second signal processing device 170b may execute the same hypervisor. Accordingly, it is possible to efficiently manage resources in the plurality of signal processing devices 170 for the plurality of displays in the vehicle 200 .
  • the server virtualization machine 520 records wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle 200 in the first shared memory 508 in the signal processing device 170.
  • the guest virtualization machine 530 in the signal processing device 170 receives wheel speed sensor data, location information data, camera image data, or touch input of the vehicle 200 recorded in the first shared memory 508. Data can be read. Accordingly, transmission efficiency during data transmission between the plurality of virtual machines 520 and 530 in the signal processing apparatus 170 can be increased.
  • the server virtualization machine 520 receives and processes wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle 200, and the signal processing device 170 and the second signal processing device Through the high-speed interface (HSI, HSIb) between (170b), the wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle 200, at least one in the second signal processing device (170b) It can be controlled to be transmitted to the guest virtualization machines 520b, 530b, and 540b. Accordingly, transmission efficiency during data transmission between the plurality of signal processing devices 170 and 170b in the vehicle 200 can be increased.
  • the server virtualization machine 520 transfers wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle 200 to the second shared memory 508b in the second signal processing device 170b.
  • at least one guest virtualization machine (520b, 530b, 540b) in the second signal processing device (170b) wheel speed sensor data of the vehicle 200 recorded in the second shared memory (508b), Location information data, camera image data, or touch input data may be read. Accordingly, transmission efficiency during data transmission between the plurality of signal processing devices 170 and 170b in the vehicle 200 can be increased.
  • the server virtualization machine 520 records wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle 200 in the first shared memory 508 in the signal processing device 170.
  • the guest virtual machine in the signal processing device 170 530 reads wheel speed sensor data, location information data, camera image data, or touch input data of the vehicle 200 through the second shared memory 508b coupled to the first shared memory 508.
  • the signal processing device 170 and the second signal processing device 170b may transmit or receive data using the combined shared memory 508 . Accordingly, transmission efficiency during data transmission between the plurality of signal processing devices 170 and 170b in the vehicle 200 can be increased.
  • FIG. 9 to 19 are views referred to in the description of FIG. 8 .
  • FIG. 9 is a flowchart illustrating a method of operating a display device for a vehicle according to an embodiment of the present invention.
  • the signal processing device 170 checks whether the second signal processing device 170b is electrically connected (S905).
  • the signal processing device 170 is an extension module, and when the second signal processing device 170b is connected, based on a signal input from the second signal processing device 170b, the second signal processing device It can be determined that 170b is connected.
  • the signal processing device 170 transmits data to the second signal processing device 170b when the second signal processing device 170b is connected, and after data transmission, a transmission completion message is displayed. If received, it can be determined that the second signal processing device 170b is connected.
  • the signal processing device 170 may determine whether the second signal processing device 170b supports the interface protocol in a state in which the second signal processing device 170b is electrically connected (S910).
  • the signal processing unit 170 determines whether at least one guest virtual machine 520b, 530b, and 540b in the second signal processing unit 170b has an input/output client interface 522b, 532b 542b, respectively. can judge whether at least one guest virtual machine 520b, 530b, and 540b in the second signal processing unit 170b has an input/output client interface 522b, 532b 542b, respectively. can judge
  • Step 920 may be performed.
  • the signal processing device 170 may determine whether the high-speed interfaces HSI and HSIb are supported between the signal processing device 170 and the second signal processing device 170b (S925).
  • step 925 S925
  • operation S935 may be performed.
  • the signal processing device 170 When the high-speed interface (HSI, HSIb) is not supported between the signal processing device 170 and the second signal processing device 170b, the signal processing device 170, as shown in FIG. 7A or 7B, the signal processing device ( 170) and the second signal processing device 170b, a master signal processing device and a slave signal processing device may be determined based on the amount of use (S925).
  • the signal processing device 170 may operate as a master signal processing device, and the second signal processing device 170b may operate as a slave signal processing device. .
  • the second signal processing device 170b may operate as a master signal processing device and the signal processing device 170 may operate as a slave signal processing device. there is.
  • step 925 when the signal processing device 170 and the second signal processing device 170b operate as a master signal processing device and a slave processing device based on usage, etc., the signal processing device ( 170) and the second signal processing device 170b, as shown in FIG. 7A or 7B, may execute different hypervisors (S930).
  • the signal processing device 170 may execute the first hypervisor 505 and the second signal processing device 170b may execute the second hypervisor 505b.
  • the signal processing device 170 when a high-speed interface (HSI, HSIb) is supported between the signal processing device 170 and the second signal processing device 170b, the signal processing device 170 performs non-uniform memory access (Non It is determined whether Uniform Memory Access (NUMA) is supported (S935).
  • HSI high-speed interface
  • HSIb high-speed interface
  • NUMA Uniform Memory Access
  • NUMA Non-uniform memory access
  • HSI high-speed interfaces
  • NUMA non-uniform memory access
  • HSI high-speed interfaces
  • NUMA non-uniform memory access
  • step 935 high-speed interfaces (HSI, HSIb) are supported between the signal processing device 170 and the second signal processing device 170b, but Non Uniform Memory Access (NUMA) If is not supported, a 950th step (S950) is performed.
  • NUMA Non Uniform Memory Access
  • the signal processing device 170 uses the first hyper
  • the visor 505 may be executed, and the second signal processing device 170b may execute the second hypervisor 505b.
  • step 940 high-speed interfaces (HSI, HSIb) are supported between the signal processing device 170 and the second signal processing device 170b, and Non Uniform Memory Access (NUMA) When is supported but spanning is not supported, a 950 step (S950) is performed.
  • HSI high-speed interfaces
  • NUMA Non Uniform Memory Access
  • the signal processing unit 170 may execute the first hypervisor 505, and the second signal processing device 170b may execute the second hypervisor 505b.
  • step 950 the signal processing device 170, as shown in FIG. 7a or 7b, based on the amount of use among the signal processing device 170 and the second signal processing device 170b, the master signal processing device and A slave signal processing device may be determined (S950).
  • step 950 when the signal processing device 170 and the second signal processing device 170b operate as a master signal processing device and a slave processing device based on usage, etc., the signal processing device ( 170) and the second signal processing device 170b, as shown in FIG. 7A or 7B, may execute different hypervisors (S955).
  • FIG. 10 is a flowchart illustrating a method of operating a display device for a vehicle according to another embodiment of the present invention.
  • the server virtualization machine 520 in the signal processing device 170 determines input/output to be used (S1010).
  • the server virtualization machine 520 in the signal processing device 170 includes a location information driver (GS), a touch driver (TU), a camera driver (CA), and a neural network processor (NPa) in the signal processing device 170. , or whether one of the graphic processor (GPa), the neural network processor (NPb) in the second signal processing unit 170b, or the graphic processor (GPb) is used.
  • GS location information driver
  • TU touch driver
  • CA camera driver
  • NPa neural network processor
  • the server virtualization machine 520 in the signal processing device 170 may perform monitoring for operation allocation of the processor 175 or the second processor 175b (S1013).
  • the server virtualization machine 520 in the signal processing device 170 may determine whether the input/output to be used and the position of the signal processing device to be used are the same (S1016).
  • the input/output to be used is the location information driver GS
  • the input/output to be used is the location information driver GS
  • step 1016 if they match, the server virtualization machine 520 in the signal processing device 170 may temporarily allocate a processor in the signal processing device including the output to be used (S1019).
  • the processor 175 in the signal processing device 170 may be temporarily assigned.
  • step 1016 if they do not match, the server virtualization machine 520 in the signal processing device 170 may temporarily allocate a processor in another signal processing device that does not include an output to be used (S1019).
  • the second processor 175b in the second signal processing device 170b may be temporarily allocated.
  • the server virtual machine 520 in the signal processing device 170 checks the usage rate of each processor 175, 175b (S1023 ), it is determined whether the usage rate of each processor exceeds a reference value (S1026).
  • step 1028 is performed for resource or load sharing of the processor.
  • the server virtualization machine 520 in the signal processing apparatus 170 calculates the memory bandwidth (S1028), calculates the cache missing rate (Cache Missing Rate) S1030), based on the calculated memory bandwidth and cache missing rate, it is determined whether the local processor has a higher usage rate than the remote processor (S1032), and if so, allocating resources to the local processor (S1035), if not applicable, allocates resources to the remote processor (S1034).
  • the server virtualization machine 520 based on the usage rate of the processor 175 and the second processor 175b, the memory bandwidth, and the cache missing rate, the processor 175 or the second processor 175b
  • the resources to be allocated to can be varied. Accordingly, it is possible to efficiently manage resources in the plurality of signal processing devices 170 for the plurality of displays in the vehicle 200 .
  • step 1026 when the usage rate of each processor is equal to or less than the reference value, since resources or loads are available in each processor, existing resources are allocated as they are (S1038).
  • the server virtualization machine 520 in the signal processing device 170 terminates the resource allocation of the processors 175 and 175b (S1040).
  • the server virtualization machine 520 in the signal processing device 170 performs monitoring for memory allocation (S1043).
  • the server virtualization machine 520 in the signal processing device 170 determines whether the input/output requires high-speed interface support (S1045), and if not, controls to use the local memory (S1048). ).
  • the server virtualization machine 520 in the signal processing device 170 determines whether the high-speed interface output exceeds the reference value (S1050), and if applicable, the memory bandwidth Calculate and empty the memory (S1055).
  • the server virtualization machine 520 in the signal processing unit 170 determines whether the local processor has a higher usage rate than the remote processor (S1058), uses the local memory if applicable (S1048), and If not, the remote memory is used (S1060).
  • resources between the processor 175 in the signal processing device 170 and the second processor 175b in the second signal processing device 170b can be allocated as evenly as possible.
  • resources between the memories 140a1 to 140a4 in the signal processing device 170 and the memories 140b1 to 140b4 in the second signal processing device 170b can be allocated as evenly as possible.
  • the processor 175 or the second processor 175b may classify and control a local virtual machine and a remote virtual machine according to the location of data input/output. Accordingly, it is possible to efficiently manage resources in the plurality of signal processing devices 170 for the plurality of displays in the vehicle 200 .
  • FIG. 11 is a diagram illustrating processors and memories allocated for each input/output according to the flowchart of FIG. 10 .
  • the server virtual machine 520 in the signal processing device 170 includes a plurality of processor cores 175a1 to 175a4
  • the first processor core 175a1 and the first memory 140a1 among the plurality of memories 140a1 to 140a4 may be allocated and controlled to be utilized in the first guest virtualization machine 530 .
  • the server virtualization machine 520 in the signal processing device 170 may include one of the plurality of processor cores 175a1 to 175a4. 2 The processor core 175a2 and the second memory 140a2 among the plurality of memories 140a1 to 140a4 may be allocated and controlled to be utilized in the second guest virtual machine 540 .
  • the server virtualization machine 520 in the signal processing device 170 among the plurality of processor cores 175b1 to 175b4
  • the fifth processor core 175b1 and the fifth memory 140b1 among the plurality of memories 140b1 to 140b4 may be allocated and controlled to be used in the third guest virtualization machine 520b.
  • the server virtual machine 520 in the signal processing device 170 includes one of the plurality of processor cores 175b1 to 175b4.
  • the sixth processor core 175b2 and the third memory 140a3 among the plurality of memories 140a1 to 140a4 may be allocated and controlled to be utilized in the fourth guest virtual machine 540 .
  • the input/output resource is the graphic processor (GPb) in the second signal processing device 170b
  • the location of the processor core and the location of the memory are respectively the signal processing device 170 and the second signal processing device 170b.
  • the location of the processor core and the location of the memory are respectively the signal processing device 170 and the second signal processing device 170b.
  • FIG. 12 is a diagram illustrating an example of data transmission in the vehicle display device of FIG. 8 .
  • high-speed interfaces (HSI, HSIb) are supported between the signal processing device 170 and the second signal processing device 170b, non-uniform memory access (NUMA) is supported, and spanning When spanning is supported, as shown in FIG. 8 , the signal processing device 170 and the second signal processing device 170b may execute the same hypervisor.
  • NUMA non-uniform memory access
  • data may be transmitted using the shared memory 508 .
  • the location information interface in the input/output server interface 522 controls the location information data to be recorded in the shared memory 508 (Skd)
  • the input/output client interface 532 in the first guest virtualization machine 530 may read location information data recorded in the shared memory 508 (Skc).
  • the touch input interface or camera interface in the input/output server interface 522 is a shared memory 508 to record touch input data or camera image data, and the input/output client interface 532 in the first guest virtual machine 530 writes the touch input data or camera image data recorded in the shared memory 508.
  • the camera interface in the input/output server interface 522 For example, when camera image data from the camera driver CA is received (Skb), the camera interface in the input/output server interface 522, through the high-speed interfaces HCI and HCIb, the second signal processing unit 170b ), the camera image data is transmitted (Skg), and the camera image data is controlled to be recorded in the second shared memory 508b (Skf).
  • the input/output client interface 522b in the third guest virtual machine 520b may read touch input data or camera image data recorded in the second shared memory 508b (Ske).
  • GS location information driver
  • TU touch driver
  • CA camera driver
  • 13A is a diagram illustrating another example of data transmission in the vehicle display device of FIG. 7A or 7B.
  • a high-speed interface (HSI, HSIb) is supported between the signal processing device 170 and the second signal processing device 170b in the vehicle display apparatus 100k, the signal processing device 170 and the second signal processing device 170 Based on the amount of signal processing device 170b used, etc., it may operate as a master signal processing device and a slave processing device, respectively.
  • the server virtualization machine 520 may transmit data to the first guest virtualization machine 530 or the second guest virtualization machine 540 using the shared memory 508 .
  • the server virtualization machine 520 may control data to be transmitted between the signal processing device 170 and the second signal processing device 170b through high-speed interfaces HSI and HSIb.
  • the second signal processing apparatus 170b executes a second server virtualization machine 520b and a plurality of guest virtualization machines 530b and 540b, and the second server virtualization machine 520b has a second shared memory. Data may be transmitted to the third guest virtual machine 530b or the fourth guest virtual machine 540b using step 508b.
  • server virtual machines 520 and 520b are executed in each signal processing apparatus 170 and 170b, a collision occurs between each server virtual machine 520 and 520b during execution, resulting in transmission efficiency during data transmission. this may deteriorate.
  • FIG. 13B is a diagram illustrating another example of data transmission in the vehicle display device of FIG. 8 .
  • a server virtualization machine 520 in a signal processing device 170 in a vehicle display apparatus 100 transfers data to a first guest virtualization machine using a shared memory 508.
  • the server virtualization machine 520 in the signal processing device 170 transfers data to the third guest virtualization machine 520b or the fourth guest virtualization machine 520b by using the high-speed interfaces HCI and HCIb and the second shared memory 508b. It may be transmitted to the guest virtualization machine 530b or the fifth guest virtualization machine 540b. Transmission efficiency at the time of data transmission between the plurality of signal processing devices 170 and 170b in the vehicle 200 can be increased.
  • FIG. 14 is a diagram illustrating an example of camera data transmission in the vehicle display device of FIG. 8 .
  • the server virtualization machine 520 uses high-speed interfaces (HCI, HICb) to process camera data 1310 from the camera 185 only in the second signal processing device 170b. 2 It can be controlled to be transmitted to the signal processing unit 175b (Sjc) and recorded in the second shared memory 508b (Sje).
  • HCI high-speed interfaces
  • HICb high-speed interfaces
  • the server virtualization machine 520 records a part 130b of the camera data 1310 in the first buffer of the second shared memory 508b, and writes another part 130c of the camera data 1310 to a second buffer.
  • the second buffer of the shared memory 508b and another part 130d of the camera data 1310 may be controlled to be written to the third buffer of the second shared memory 508b.
  • the third to fifth guest virtual machines 520b, 530b, and 540b in the second signal processing device 170b are respectively a part 130b, another part 130c, and another part (130b) of the camera data 1310. 130d) may be read from the second shared memory 508b, respectively, and processing may be performed.
  • the third to fifth guest virtual machines 520b, 530b, and 540b in the second signal processing device 170b perform object detection on the received image data 130b, 130c, and 130d, respectively;
  • the object detection image data may be controlled to be recorded in the second shared memory 508b. Accordingly, load sharing in data processing is performed.
  • the server virtualization machine 520 reads the data recorded in the second shared memory 508b again, and controls the data to be transmitted to the shared memory 508, eventually through the shared memory 508, the object detected image data can be received.
  • the server virtualization machine 520 may receive object detection-processed image data and control the processed image 1315 to be displayed on the display 180a or 180b or 180c.
  • the server virtualization machine 520 controls the camera data 1310 from the camera 185 to be processed by the signal processing device 175 as well as the second signal processing device 175b.
  • the server virtualization machine 520 transfers the camera data 1310 to the first shared memory 508 in the signal processing device 170 and the second shared memory 508b in the second signal processing device 170b.
  • control to record in at least one and the guest virtualization machine 530 in the first processor 175 receives and processes a part of the camera data recorded in the first shared memory 508, and processes the processed data in the first shared memory 508.
  • the at least one guest virtual machine 520b, 530b, 540b in the memory 508 or the second processor 175b receives and processes another part of the camera data recorded in the second shared memory 508b, , the processed data may be written to the second shared memory 508b. Accordingly, it is possible to perform load sharing in processing camera data.
  • FIG. 15 is a diagram illustrating another example of camera data transmission in the vehicle display device of FIG. 8 .
  • the server virtualization machine 520 controls camera data to be recorded in the first shared memory 508 in the signal processing device 170 (Skd), and the guest virtualization machine in the first processor 175 ( 530) may receive and process camera data recorded in the first shared memory 508, and record the processed data in the first shared memory 508 (Ske).
  • the second signal processing unit 170b receives camera data recorded in the first shared memory 508 through the high-speed interfaces HCI and HCib, and the second processor 175b performs a neural network processing process.
  • Camera data may be augmented reality processed, and the augmented reality processed data may be controlled to be recorded in the shared memory 508 or the second shared memory 508b. Accordingly, it is possible to perform load sharing in processing camera data.
  • the server virtualization machine 520 may synthesize augmented reality processed data and processed camera data and display the synthesized image on the display 180a or 180b or 180c. Accordingly, it is possible to quickly display the augmented reality processed image 1400 .

Abstract

본 발명은 차량용 디스플레이 장치에 관한 것이다. 본 발명의 일 실시 예에 따른 차량용 디스플레이 장치는, 차량에 장착되는 제1 디스플레이 및 제2 디스플레이와, 제1 디스플레이 또는 제2 디스플레이 중 적어도 하나를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치와, 신호 처리를 수행하는 제2 프로세서를 포함하는 제2 신호 처리 장치를 포함하고, 신호 처리 장치 내의 프로세서는, 서버 가상화 머신 및 게스트 가상화 머신을 실행하고, 제2 신호 처리 장치 내의 제2 프로세서는, 적어도 하나의 게스트 가상화 머신을 실행한다. 이에 의해, 차량 내의 복수의 신호 처리 장치 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.

Description

차량용 디스플레이 장치
본 발명은 차량용 디스플레이 장치에 관한 것이며, 더욱 상세하게는 차량 내의 복수의 신호 처리 장치 사이의 데이터 전송시의 전송 효율을 증대할 수 있는 차량용 디스플레이 장치에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 차량 내부에 차량용 디스플레이 장치가 탑재되고 있다.
예를 들어, 클러스터 등에 디스플레이가 배치되어, 각 종 정보를 표시한다. 한편, 차량 주행 정보 등의 표시를 위해, 클러스터와 별도로, AVN(Audio Video Navigation) 디스플레이, 뒷 좌석 엔터테인먼트(Rear Seat Entertainment) 디스플레이 등 다양한 디스플레이가 차량에 장착되는 추세이다.
이와 같이, 차량용 디스플레이 장치 내에 디스플레이의 개수가 증가함에 따라, 복수의 디스플레이를 위해 복수의 신호 처리 장치가 사용되고 있다.
한편, 복수의 디스플레이를 위해 복수의 신호 처리 장치 사용시, 각 신호 처리 장치 사이에 데이터가 공유되지 않고 사용되는 경우, 리소스 등에서 비효율적으로 운영되는 문제가 있다.
한국 공개특허번호 제2018-0083572호(이하, '선행 문헌' 이라 함)는, 복수의 기능모듈이 각각 장착될 수 있는 복수의 커넥터와, 각 커넥터에 장착된 복수의 기능모듈에 정보의 전송을 요청하고, 복수의 기능모듈 각각으로부터 수신된 정보에 기초하여 복수의 기능모듈 각각의 기능 및 우선순위에 따른 적합성을 판단하고, 특정 기능에 필수적으로 요구되는 기능모듈이 모두 장착된 경우 특정 기능을 수행하도록 기능모듈을 제어하는 호스트디바이스를 포함하는 전자 장치가 개시된다.
그러나, 선행 문헌에 의하면, 각 기능 모듈이, 통신라인(26)을 통해, 호스트디바이스(21)에 연결되며, 개별 구동되므로, 데이터 전송 효율이 낮은 문제가 있다.
본 발명의 목적은, 차량 내의 복수의 신호 처리 장치 사이의 데이터 전송시의 전송 효율을 증대할 수 있는 차량용 디스플레이 장치를 제공함에 있다.
한편, 본 발명의 다른 목적은, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 리소스를 효율적으로 관리할 수 있는 차량용 디스플레이 장치를 제공함에 있다.
한편, 본 발명의 다른 목적은, 차량 내의 복수의 디스플레이를 위한 복수의 가상화 머신 사이의 데이터 전송시의 전송 효율을 증대할 수 있는 차량용 디스플레이 장치를 제공함에 있다.
한편, 본 발명의 또 다른 목적은, 복수의 신호 처리 장치 사이에 효율적인 리소스 관리 또는 로드 분산을 수행할 수 있는 차량용 디스플레이 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량용 디스플레이 장치는, 차량에 장착되는 제1 디스플레이 및 제2 디스플레이와, 제1 디스플레이 또는 제2 디스플레이 중 적어도 하나를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치와, 신호 처리를 수행하는 제2 프로세서를 포함하는 제2 신호 처리 장치를 포함하고, 신호 처리 장치 내의 프로세서는, 서버 가상화 머신 및 게스트 가상화 머신을 실행하고, 제2 신호 처리 장치 내의 제2 프로세서는, 적어도 하나의 게스트 가상화 머신을 실행한다.
한편, 본 발명의 일 실시예에 따른 차량용 디스플레이 장치는, 차량에 장착되는 제3 디스플레이를 더 포함하고, 제2 신호 처리 장치 내의 제2 프로세서는, 제3 디스플레이를 위한 신호 처리를 수행할 수 있다.
한편, 제2 신호 처리 장치 내의 제2 프로세서는, 프로세서에 의해 실행되는 서버 가상화 머신에 기초하여, 적어도 하나의 게스트 가상화 머신을 실행할 수 있다.
한편, 신호 처리 장치와 제2 신호 처리 장치는, 결합 공유 메모리를 이용하여, 데이터를 전송하거나 수신할 수 있다.
한편, 서버 가상화 머신은, 프로세서 내에서 실행되는 게스트 가상화 머신과, 제2 프로세서 내에서 실행되는 게스트 가상화 머신을 제어할 수 있다.
한편, 신호 처리 장치와 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되지 않는 경우, 신호 처리 장치가 마스터 신호 처리 장치로 동작하고, 제2 신호 처리 장치가, 슬레이브 신호 처리 장치로 동작할 수 있다.
한편, 신호 처리 장치와 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되며, 비균일 메모리 액세스가 지원되지 않는 경우, 신호 처리 장치는 제1 하이퍼바이저를 실행하고, 제2 신호 처리 장치는, 제2 하이퍼바이저를 실행할 수 있다.
한편, 신호 처리 장치와 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되며, 비균일 메모리 액세스가 지원되며, 스패닝이 지원되는 경우, 신호 처리 장치와 제2 신호 처리 장치는 동일한 하이퍼바이저를 실행할 수 있다.
한편, 신호 처리 장치와 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되며, 비균일 메모리 액세스가 지원되며, 스패닝이 지원되지 않는 경우, 신호 처리 장치는 제1 하이퍼바이저를 실행하고, 제2 신호 처리 장치는, 제2 하이퍼바이저를 실행할 수 있다.
한편, 서버 가상화 머신은, 프로세서 내에서 실행되는 게스트 가상화 머신과, 제2 프로세서 내에서 실행되는 게스트 가상화 머신에 대한 리소스 관리를 제어할 수 있다.
한편, 서버 가상화 머신은, 프로세서와 제2 프로세서의 사용율, 메모리 대역폭, 캐쉬 미싱 레이트에 기초하여, 프로세서 또는 제2 프로세서에 할당할 리소스를 가변할 수 있다.
한편, 프로세서 또는 제2 프로세서는, 데이터의 입출력의 위치에 따라, 로컬 가상화 머신과 리모트 가상화 머신을 구분하여 제어할 수 있다.
한편, 서버 가상화 머신은, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를 수신하고 처리하며, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 서버 인터페이스를 통해, 프로세서 내의 게스트 가상화 머신 내의 클라이언트 인터페이스로 전송할 수 있다.
한편, 서버 가상화 머신은, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 신호 처리 장치 내의 제1 공유 메모리에 기록되도록 제어하고, 신호 처리 장치 내의 게스트 가상화 머신은, 제1 공유 메모리에 기록된 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출할 수 있다.
한편, 서버 가상화 머신은, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를 수신하고 처리하며, 신호 처리 장치와 제2 신호 처리 장치 사이의 고속 인터페이스를 통해, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 제2 신호 처리 장치 내의 게스트 가상화 머신으로 전송되도록 제어할 수 있다.
한편, 서버 가상화 머신은, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 제2 신호 처리 장치 내의 제2 공유 메모리에 기록되도록 제어하고, 제2 신호 처리 장치 내의 게스트 가상화 머신은, 제2 공유 메모리에 기록된 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출할 수 있다.
한편, 서버 가상화 머신은, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 신호 처리 장치 내의 제1 공유 메모리에 기록되도록 제어하고, 신호 처리 장치 내의 제1 공유 메모리와 제2 신호 처리 장치 내의 제2 공유 메모리가 결합된 경우, 신호 처리 장치 내의 게스트 가상화 머신은, 제1 공유 메모리에 결합된 제2 공유 메모리를 통해, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출할 수 있다.
한편, 서버 가상화 머신은, 카메라 데이터를 신호 처리 장치 내의 제1 공유 메모리와 제2 신호 처리 장치 내의 제2 공유 메모리 중 적어도 하나에 기록하도록 제어하고, 제1 프로세서 내의 게스트 가상화 머신은, 제1 공유 메모리에 기록된 카메라 데이터의 일부를 수신하여 처리하고, 처리된 데이터를 제1 공유 메모리에 기록하거나, 제2 프로세서 내의 적어도 하나의 게스트 가상화 머신은, 제2 공유 메모리에 기록된 카메라 데이터의 다른 일부를 수신하여 처리하고, 처리된 데이터를 제2 공유 메모리에 기록할 수 있다.
한편, 서버 가상화 머신은, 카메라 데이터를 신호 처리 장치 내의 제1 공유 메모리에 기록하도록 제어하고, 제1 프로세서 내의 게스트 가상화 머신은, 제1 공유 메모리에 기록된 카메라 데이터를 수신하여 처리하고, 처리된 데이터를 제1 공유 메모리에 기록하며, 제2 신호 처리 장치 내의 제2 프로세서는, 신경망 처리 프로세스를 통해, 카메라 데이터를 증강 현실 처리하고, 증강 현실 처리된 데이터를 공유 메모리 또는 제2 공유 메모리에 기록하도록 제어할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 차량용 디스플레이 장치는, 차량에 장착되는 제1 디스플레이 및 제2 디스플레이와, 제1 디스플레이 또는 제2 디스플레이 중 적어도 하나를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치와, 신호 처리를 수행하는 제2 프로세서를 포함하는 제2 신호 처리 장치를 포함하고, 신호 처리 장치와 제2 신호 처리 장치 사이에, 데이터 전송이 수행되며, 신호 처리 장치와 제2 신호 처리 장치는 동일한 하이퍼바이저를 실행한다.
본 발명의 일 실시예에 따른 차량용 디스플레이 장치는, 차량에 장착되는 제1 디스플레이 및 제2 디스플레이와, 제1 디스플레이 또는 제2 디스플레이 중 적어도 하나를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치와, 신호 처리를 수행하는 제2 프로세서를 포함하는 제2 신호 처리 장치를 포함하고, 신호 처리 장치 내의 프로세서는, 서버 가상화 머신 및 게스트 가상화 머신을 실행하고, 제2 신호 처리 장치 내의 제2 프로세서는, 적어도 하나의 게스트 가상화 머신을 실행한다. 이에 따라, 차량 내의 복수의 신호 처리 장치 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다. 또한, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 본 발명의 일 실시예에 따른 차량용 디스플레이 장치는, 차량에 장착되는 제3 디스플레이를 더 포함하고, 제2 신호 처리 장치 내의 제2 프로세서는, 제3 디스플레이를 위한 신호 처리를 수행할 수 있다. 이에 따라, 차량 내의 복수의 신호 처리 장치 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 제2 신호 처리 장치 내의 제2 프로세서는, 프로세서에 의해 실행되는 서버 가상화 머신에 기초하여, 적어도 하나의 게스트 가상화 머신을 실행할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 가상화 머신 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 신호 처리 장치와 제2 신호 처리 장치는, 결합 공유 메모리를 이용하여, 데이터를 전송하거나 수신할 수 있다. 이에 따라, 차량 내의 복수의 신호 처리 장치 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 서버 가상화 머신은, 프로세서 내에서 실행되는 게스트 가상화 머신과, 제2 프로세서 내에서 실행되는 게스트 가상화 머신을 제어할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 신호 처리 장치와 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되지 않는 경우, 신호 처리 장치가 마스터 신호 처리 장치로 동작하고, 제2 신호 처리 장치가, 슬레이브 신호 처리 장치로 동작할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 신호 처리 장치와 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되며, 비균일 메모리 액세스가 지원되지 않는 경우, 신호 처리 장치는 제1 하이퍼바이저를 실행하고, 제2 신호 처리 장치는, 제2 하이퍼바이저를 실행할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 신호 처리 장치와 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되며, 비균일 메모리 액세스가 지원되며, 스패닝이 지원되는 경우, 신호 처리 장치와 제2 신호 처리 장치는 동일한 하이퍼바이저를 실행할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 신호 처리 장치와 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되며, 비균일 메모리 액세스가 지원되며, 스패닝이 지원되지 않는 경우, 신호 처리 장치는 제1 하이퍼바이저를 실행하고, 제2 신호 처리 장치는, 제2 하이퍼바이저를 실행할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 서버 가상화 머신은, 프로세서 내에서 실행되는 게스트 가상화 머신과, 제2 프로세서 내에서 실행되는 게스트 가상화 머신에 대한 리소스 관리를 제어할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 리소스 관리를 효율적으로 관리할 수 있게 된다.
한편, 서버 가상화 머신은, 프로세서와 제2 프로세서의 사용율, 메모리 대역폭, 캐쉬 미싱 레이트에 기초하여, 프로세서 또는 제2 프로세서에 할당할 리소스를 가변할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 프로세서 또는 제2 프로세서는, 데이터의 입출력의 위치에 따라, 로컬 가상화 머신과 리모트 가상화 머신을 구분하여 제어할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 리소스 관리를 효율적으로 관리할 수 있게 된다.
한편, 서버 가상화 머신은, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를 수신하고 처리하며, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 서버 인터페이스를 통해, 프로세서 내의 게스트 가상화 머신 내의 클라이언트 인터페이스로 전송할 수 있다. 이에 따라, 차량 내의 복수의 신호 처리 장치 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 서버 가상화 머신은, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 신호 처리 장치 내의 제1 공유 메모리에 기록되도록 제어하고, 신호 처리 장치 내의 게스트 가상화 머신은, 제1 공유 메모리에 기록된 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출할 수 있다. 이에 따라, 차량 내의신호 처리 장치 내의 가상화 머신 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 서버 가상화 머신은, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를 수신하고 처리하며, 신호 처리 장치와 제2 신호 처리 장치 사이의 고속 인터페이스를 통해, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 제2 신호 처리 장치 내의 게스트 가상화 머신으로 전송되도록 제어할 수 있다. 이에 따라, 차량 내의 복수의 신호 처리 장치 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 서버 가상화 머신은, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 제2 신호 처리 장치 내의 제2 공유 메모리에 기록되도록 제어하고, 제2 신호 처리 장치 내의 게스트 가상화 머신은, 제2 공유 메모리에 기록된 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출할 수 있다. 이에 따라, 차량 내의 복수의 신호 처리 장치 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 서버 가상화 머신은, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 신호 처리 장치 내의 제1 공유 메모리에 기록되도록 제어하고, 신호 처리 장치 내의 제1 공유 메모리와 제2 신호 처리 장치 내의 제2 공유 메모리가 결합된 경우, 신호 처리 장치 내의 게스트 가상화 머신은, 제1 공유 메모리에 결합된 제2 공유 메모리를 통해, 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출할 수 있다. 이에 따라, 차량 내의 복수의 신호 처리 장치 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 서버 가상화 머신은, 카메라 데이터를 신호 처리 장치 내의 제1 공유 메모리와 제2 신호 처리 장치 내의 제2 공유 메모리 중 적어도 하나에 기록하도록 제어하고, 제1 프로세서 내의 게스트 가상화 머신은, 제1 공유 메모리에 기록된 카메라 데이터의 일부를 수신하여 처리하고, 처리된 데이터를 제1 공유 메모리에 기록하거나, 제2 프로세서 내의 적어도 하나의 게스트 가상화 머신은, 제2 공유 메모리에 기록된 카메라 데이터의 다른 일부를 수신하여 처리하고, 처리된 데이터를 제2 공유 메모리에 기록할 수 있다. 이에 따라, 카메라 데이터의 처리시의 로드 분담을 수행할 수 있게 된다.
한편, 서버 가상화 머신은, 카메라 데이터를 신호 처리 장치 내의 제1 공유 메모리에 기록하도록 제어하고, 제1 프로세서 내의 게스트 가상화 머신은, 제1 공유 메모리에 기록된 카메라 데이터를 수신하여 처리하고, 처리된 데이터를 제1 공유 메모리에 기록하며, 제2 신호 처리 장치 내의 제2 프로세서는, 신경망 처리 프로세스를 통해, 카메라 데이터를 증강 현실 처리하고, 증강 현실 처리된 데이터를 공유 메모리 또는 제2 공유 메모리에 기록하도록 제어할 수 있다. 이에 따라, 카메라 데이터의 처리시의 로드 분담을 수행할 수 있게 된다.
한편, 본 발명의 다른 실시예에 따른 차량용 디스플레이 장치는, 차량에 장착되는 제1 디스플레이 및 제2 디스플레이와, 제1 디스플레이 또는 제2 디스플레이 중 적어도 하나를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치와, 신호 처리를 수행하는 제2 프로세서를 포함하는 제2 신호 처리 장치를 포함하고, 신호 처리 장치와 제2 신호 처리 장치 사이에, 데이터 전송이 수행되며, 신호 처리 장치와 제2 신호 처리 장치는 동일한 하이퍼바이저를 실행한다. 이에 따라, 차량 내의 복수의 신호 처리 장치 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다. 또한, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 리소스를 효율적으로 관리할 수 있게 된다.
도 1a는 차량 외부 및 차량 내부의 일예를 도시한 도면이다.
도 1b는 차량 내부의 다른 예를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량용 디스플레이 장치의 외관을 도시한 도면이다.
도 3은 도 2의 차량용 디스플레이 장치의 내부 블록도의 일예를 예시한다.
도 4는 본 발명와 관련한 신호 처리 장치에서 구동되는 시스템을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 일예를 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 동작 설명에 참조되는 도면이다.
도 7a 및 도 7b는 본 발명과 관련한 차량용 디스플레이 장치를 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 차량용 디스플레이 장치를 도시한 도면이다.
도 9 내지 도 15는 도 8의 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1a는 차량 외부 및 차량 내부의 일예를 도시한 도면이다.
도면을 참조하면, 차량(200)은, 동력원에 의해 회전하는 복수의 바퀴(103FR,103FL,103RL,..), 차량(200)의 진행 방향을 조절하기 위한 스티어링휠(150)에 의해 동작한다.
한편, 차량(200)은, 차량 전방의 영상 획득을 위한 카메라(195) 등을 더 구비할 수 있다.
한편, 차량(200)은, 내부에 영상, 정보 등의 표시를 위한 복수의 디스플레이(180a,180b)를 구비할 수 있다.
도 1a에서는, 복수의 디스플레이(180a,180b)로, 클러스터 디스플레이(180a), AVN(Audio Video Navigation) 디스플레이(180b)를 예시한다. 그 외, HUD(Head Up Display) 등도 가능하다.
한편, AVN(Audio Video Navigation) 디스플레이(180b)는, 센터 정보 디스플레이(Center Information Dislpay)라 명명할 수도 있다.
본 발명의 실시예는, 복수의 디스플레이(180a,180b)를 구비하는 차량용 디스플레이 장치(100)에서, 데이터 처리를 분담하는 방안을 제시한다.
한편, 본 명세서에서 기술되는 차량(200)은, 동력원으로서 엔진을 구비하는 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
도 1b는 차량 내부의 다른 예를 도시한 도면이다.
도면을 참조하면, 차량 내부에는, 클러스터 디스플레이(180a), AVN(Audio Video Navigation) 디스플레이(180b), 뒷 좌석 엔터테인먼트(Rear Seat Entertainment) 디스플레이(180c,180d), 룸미러 디스플레이(미도시) 등이 장착될 수 있다.
도 2는 본 발명의 실시예에 따른 차량용 디스플레이 장치의 외관을 도시한 도면이다.
본 발명의 실시예에 따른 차량용 디스플레이 장치(100)는, 복수의 디스플레이(180a~180b), 및 복수의 디스플레이(180a~180b)에 영상, 정보 등을 표시하기 위한 신호 처리를 수행하는 신호 처리 장치(170)와, 적어도 하나의 디스플레이(180c~180d), 및 적어도 하나의 디스플레이(180c~180d)에 영상, 정보 등을 표시하기 위한 신호 처리를 수행하는 제2 신호 처리 장치(170b)를 구비할 수 있다.
신호 처리 장치(170)와 제2 신호 처리 장치(170b)는, 서로 이격되어 배치될 수 있다.
한편, 제2 신호 처리 장치(170b)는, 신호 처리 장치(170)와 서로 다른 운영 체체(OS)에 따라 구동될 수 있다.
복수의 디스플레이(180a~180b) 중 제1 디스플레이(180a)는, 주행 상태, 동작 정보 등의 표시를 위한 클러스터 디스플레이(180a)이고, 제2 디스플레이(180b)는, 챠량 운행 정보, 네비게이션 지도, 다양한 엔테테인먼트 정보 또는 영상의 표시를 위한 AVN(Audio Video Navigation) 디스플레이(180b)일 수 있다.
적어도 하나의 디스플레이(180c~180d) 중 제3 디스플레이(180c)는, 차량 우측 뒷좌석 엔터테인먼트를 위한 디스플레이이고, 제4 디스플레이(180d)는, 차량 좌측 뒷좌석 엔터테인먼트를 위한 디스플레이일 수 있다.
적어도 하나의 디스플레이(180c~180d)는, 주행 상태 정보, 간이 네비게이션 정보, 다양한 엔테테인먼트 정보 또는 영상의 표시를 수행할 수 있다.
신호 처리 장치(170)는, 내부에 프로세서(175)를 구비하며, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 서버 가상화 머신, 제1 내지 제2 게스트 가상화 머신(520~540)을 실행할 수 있다.
서버 가상화 머신(520)은, 서버 가상화 머신(Server virtual maschine)에 대응하며, 제1 내지 제2 게스트 가상화 머신은, 게스트 가상화 머신(guest virtual maschine)에 대응할 수 있다.
이에 따라, 서버 가상화 머신(520)과, 제2 또는 제2 게스트 가상화 머신(530,50) 사이에는, 서버 인터페이스와 클라이언트 인터페이스에 따라, 데이터 통신이 수행될 수 있다.
제1 게스트 가상화 머신(530)은 제1 디스플레이(180a)를 위해 동작하며, 제2 게스트 가상화 머신(540)은, 제2 디스플레이(180b)를 위해 동작할 수 있다.
한편, 프로세서(175) 내의 서버 가상화 머신(520)은, 데이터 분담 처리를 위해, 제1 게스트 가상화 머신(530)과 제2 게스트 가상화 머신(540)에 데이터의 적어도 일부를 공유할 수 있다.
한편, 프로세서(175) 내의 서버 가상화 머신(520)은, 차량의 휠 속도 센서 데이터를 수신하고, 처리하여, 제1 게스트 가상화 머신(530) 또는 제2 게스트 가상화 머신(540) 중 적어도 하나로 또는 제2 신호 처리 장치(170b)로, 처리된 휠 속도 센서 데이터를 전송할 수 있다. 이에 따라, 차량의 휠 속도 센서 데이터를, 적어도 하나의 가상화 머신 또는 제2 신호 처리 장치 등에 공유할 수 있게 된다.
한편, 프로세서(175) 내의 서버 가상화 머신(520)은, 데이터의 일부를 제1 게스트 가상화 머신(530)으로 전달되도록 제1 공유 메모리(508a)에 기록하고, 데이터의 다른 일부를 제2 게스트 가상화 머신으로 전달되도록 제1 공유 메모리(508a)에 기록하며, 제1 게스트 가상화 머신(530)과 제2 게스트 가상화 머신(540)은, 각각 전달받은 데이터를 처리하여, 처리된 데이터가 제2 공유 메모리(미도시)에 기록되도록 제어할 수 있다. 이에 따라, 차량 내의 복수의 신호 처리 장치에서 데이터 처리를 효율적으로 수행할 수 있게 된다.
한편, 프로세서(175) 내의 서버 가상화 머신(520)은, 제1 게스트 가상화 머신(530) 및 제2 게스트 가상화 머신(540)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어할 수 있다. 이에 따라, 차량 내의 제1 디스플레이(180a)와 제2 디스플레이(180b)에 동일한 정보 또는 동일한 영상을 동기화하여 표시할 수 있게 된다.
신호 처리 장치(170)는, 내부에 프로세서(175)를 구비하며, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 서버 가상화 머신, 제1 내지 제2 게스트 가상화 머신(520~540)을 실행할 수 있다.
서버 가상화 머신(520)은, 서버 가상화 머신(Server virtual maschine)에 대응하며, 제1 내지 제2 게스트 가상화 머신은, 게스트 가상화 머신(guest virtual maschine)에 대응할 수 있다.
이에 따라, 서버 가상화 머신(520)과, 제2 또는 제2 게스트 가상화 머신(530,50) 사이에는, 서버 인터페이스와 클라이언트 인터페이스에 따라, 데이터 통신이 수행될 수 있다.
한편, 제2 신호 처리 장치(170b)는, 내부에 제2 프로세서(175b)를 구비하며, 제2 프로세서(175b) 내의 하이퍼바이저(505b) 상에서, 서버 가상화 머신(Server virtual maschine)(VIMc), 게스트 가상화 머신(guest virtual maschine)(VIMd) 등을 실행할 수 있다.
한편, 복수의 디스플레이(180a~180d) 중 일부는, 리눅스 OS 기반 하에 동작하며, 다른 일부는 웹 OS 기반 하에 동작할 수 있다.
본 발명의 실시예에 따른 신호 처리 장치(170)와 제2 신호 처리 장치(170b)는, 다양한 운영 체제(Operating system;OS) 하에 동작하는 디스플레이(180a~180d)에서도, 데이터를 분담하여 처리할 수 있다.
한편, 본 발명의 실시예에 따른 신호 처리 장치(170)와 제2 신호 처리 장치(170b)는, 다양한 운영 체제(Operating system;OS) 하에 동작하는 디스플레이(180a~180d)에서도, 동일한 정보 또는 동일한 영상을 동기화하여 표시하도록 제어할 수 있다.
한편, 본 발명의 실시예에 따른 신호 처리 장치(170)와 제2 신호 처리 장치(170b)는, 데이터 분담 처리를 위해, 데이터의 적어도 일부를 공유할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치(170,170b)에서 데이터를 분담하여 처리할 수 있게 된다. 또한, 복수의 신호 처리 장치(170,170b)에서 리소스를 효율적으로 관리할 수 있게 된다.
도 3은 본 발명의 실시예에 따른 차량용 디스플레이 장치의 내부 블록도의 일예를 예시한다.
도면을 참조하면, 본 발명의 실시예에 따른 차량용 디스플레이 장치(100)는, 입력부(110), 통신부(120), 인터페이스(130), 제2 인터페이스(130b), 신호 처리 장치(170), 제2 신호 처리 장치(170b), 복수의 디스플레이(180a~180d), 오디오 출력부(185), 전원 공급부(190)를 구비할 수 있다.
입력부(110)는, 버튼 입력, 터치 입력 등을 위한 물리적인 버튼, 패드 등을 구비할 수 있다.
한편, 입력부(110)는, 사용자 음성 입력을 위한 마이크(미도시)를 구비할 수 있다.
통신부(120)는, 이동 단말기(800) 또는 서버(900)와 무선(wireless) 방식으로, 데이터를 교환할 수 있다.
특히, 통신부(120)는, 차량 운전자의 이동 단말기와, 무선으로 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는, 블루투스(Bluetooth), WiFi, WiFi Direct, APiX 등 다양한 데이터 통신 방식이 가능하다.
통신부(120)는, 이동 단말기(800) 또는 서버(900)로부터, 날씨 정보, 도로의 교통 상황 정보, 예를 들어, TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다. 이를 위해, 통신부(120)는, 이동 통신 모듈(미도시)를 구비할 수 있다.
인터페이스(130)는, ECU(770) 또는 센서 장치(760)로부터, 센서 정보 등을 수신하고, 수신한 정보를 신호 처리 장치(170)로 전송할 수 있다.
제2 인터페이스(130b)는, ECU(770) 또는 센서 장치(760)로부터, 센서 정보 등을 수신하고, 수신한 정보를 제2 신호 처리 장치(170b)로 전송할 수 있다.
여기서, 센서 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보 중 적어도 하나를 포함할 수 있다.
이러한 센서 정보는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서 등으로부터 획득될 수 있다. 한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다.
한편, 인터페이스(130)는, 카메라(195) 또는 라이더(미도시) 등으로부터 ㅊ차량 전방 영상 데이터, 차량 측방 영상 데이터, 차량 후방 영상 데이터, 차량 주변 장애물 거리 정보 등을 수신하고, 수신한 정보를 신호 처리 장치(170)로 전송할 수 있다.
메모리(140)는, 신호 처리 장치(170)의 처리 또는 제어를 위한 프로그램 등, 차량용 디스플레이 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
예를 들어, 메모리(140)는, 프로세서(175) 내에서 실행하기 위한, 하이퍼바이저, 서버 가상화 머신, 제1 내지 제2 게스트 가상화 머신에 관한 데이터를 저장할 수 있다.
한편, 메모리(140)는, 도면과 같이, 신호 처리 장치(170) 내에 구비될 수 있으나, 이에 한정되지 않고, 신호 처리 장치(170) 외부에 배치되는 것도 가능하다.
오디오 출력부(185)는, 신호 처리 장치(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 스피커 등을 구비할 수 있다.
전원 공급부(190)는, 신호 처리 장치(170)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
신호 처리 장치(170)는, 차량용 디스플레이 장치(100) 내의 각 유닛의 전반적인 동작을 제어한다.
예를 들어, 신호 처리 장치(170)는, 제1 디스플레이(180a) 또는 제2 디스플레이(180b) 중 적어도 하나를 위한 신호 처리를 수행하는 프로세서(175)와 메모리(140)를 포함할 수 있다.
프로세서(175)는, 프로세서(175) 내의 하이퍼바이저(도 5의 505) 상에서, 서버 가상화 머신, 제1 내지 제2 게스트 가상화 머신(520~540)을 실행할 수 있다.
서버 가상화 머신, 제1 내지 제2 게스트 가상화 머신(도 5의 520~540) 중 서버 가상화 머신(520)은, 서버 가상화 머신(Server Virtual Maschine)이라 명명할 수 있으며, 제1 게스트 가상화 머신 내지 제2 게스트 가상화 머신(530~540)은 게스트 가상화 머신(Guest Virtual Maschine)이라 명명할 수 있다.
이때, 제1 게스트 가상화 머신(530)은 제1 디스플레이(180a)를 위해 동작하며, 제2 게스트 가상화 머신(540)은, 제2 디스플레이(180b)를 위해 동작할 수 있다.
예를 들어, 프로세서(175) 내의 서버 가상화 머신(520)은, 차량 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 오디오 데이터 또는 터치 입력 데이터를 수신하고, 처리 또는 가공하여 출력할 수 있다. 레가시 가상화 머신에서만 처리하는 데이터와, 서버 가상화 머신(520)에서 처리되는 데이터를 구분함으로써, 데이터 처리를 효율적으로 수행할 수 있게 된다. 특히, 서버 가상화 머신(520)에서 대부분의 데이터 처리를 수행함으로써, 1:N 방식의 데이터의 공유가 가능하게 된다.
다른 예로, 서버 가상화 머신(520)은, 제1 게스트 가상화 머신 내지 제2 게스트 가상화 머신(530~540)을 위해, CAN 통신 데이터, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터를 직접 수신하고 처리할 수 있다.
그리고, 서버 가상화 머신(520)은, 처리된 데이터를 제1 게스트 가상화 머신 내지 제2 게스트 가상화 머신(530~540)으로 전송할 수 있다.
이에 따라, 서버 가상화 머신, 제1 내지 제2 게스트 가상화 머신(520~540) 중 서버 가상화 머신(520)만, 통신 데이터, 외부 입력 데이터를 수신하여, 신호 처리를 수행함으로써, 다른 가상화 머신에서의 신호 처리 부담이 경감되며, 1:N 데이터 통신이 가능하게 되어, 데이터 공유시의 동기화가 가능하게 된다.
한편, 서버 가상화 머신(520)은, 데이터의 일부를 제1 게스트 가상화 머신(530)으로 전달되도록 제1 공유 메모리(508a)에 기록하고, 데이터의 다른 일부를 제2 게스트 가상화 머신으로 전달되도록 제1 공유 메모리(508a)에 기록하며, 제1 게스트 가상화 머신(530)과 제2 게스트 가상화 머신(540)은, 각각 전달받은 데이터를 처리하여, 처리된 데이터가 제2 공유 메모리(미도시)에 기록되도록 제어한다. 이에 따라, 차량 내의 복수의 신호 처리 장치 사이에서 데이터 처리를 효율적으로 수행할 수 있게 된다.
이때의 데이터는, 영상 데이터, 오디오 데이터, 네비게이션 데이터, 또는 음성 인식 데이터 중 어느 하나일 수 있다.
한편, 서버 가상화 머신(520)은, 데이터의 또 다른 일부를 처리하여, 제2 공유 메모리(미도시)에 처리된 데이터가 기록되도록 제어할 수 있다. 즉, 제1 게스트 가상화 머신(530)과 제2 게스트 가상화 머신 외에 추가로 서버 가상화 머신(520)이 데이터 처리를 수행할 수 있다.
한편, 서버 가상화 머신(520)은, 제1 게스트 가상화 머신 내지 제2 게스트 가상화 머신(530,540)에서의 데이터의 분산 처리를 위한 각각의 커맨드 큐를 생성할 수 있다. 이에 따라, 복수의 가상화 머신에서 데이터를 분담하여 처리할 수 있게 된다.
한편, 프로세서(175) 내의 서버 가상화 머신(520)은, 제1 게스트 가상화 머신 내지 제2 게스트 가상화 머신(530,540)에서 동일한 데이터를 공유하는 경우, 1개의 동일한 커맨드 큐를 생성할 수 있다. 이에 따라, 동일한 데이터를 동기화하여 공유할 수 있게 된다.
한편, 서버 가상화 머신(520)은, 데이터의 분산 처리를 위한 가상화 머신의 개수에 대응하는 커맨드 큐를 생성할 수 있다.
한편, 서버 가상화 머신(520)은, 데이터 분산 처리를 위해, 데이터의 적어도 일부를, 제1 게스트 가상화 머신(530) 또는 제2 게스트 가상화 머신(540) 중 적어도 하나로 또는 제2 신호 처리 장치(170b)로 전송되도록 제어할 수 있다.
예를 들어, 서버 가상화 머신(520)은, 데이터의 적어도 일부를, 제1 게스트 가상화 머신(530) 또는 제2 게스트 가상화 머신(540) 중 적어도 하나로 또는 제2 신호 처리 장치(170b)로 전송하기 위한 제1 공유 메모리(508a)를 할당하고, 제1 게스트 가상화 머신(530) 또는 제2 게스트 가상화 머신(540)에서 처리된 영상 데이터는 제2 공유 메모리(미도시)에 기록될 수 있다.
한편, 서버 가상화 머신(520)은, 데이터를 공유 메모리(508)에 기록하여, 제1 게스트 가상화 머신(530) 및 제2 게스트 가상화 머신(540)으로 동일한 데이터를 공유하도록 제어할 수 있다.
예를 들어, 서버 가상화 머신(520)은, 라디오 데이터 또는 무선 통신 데이터를 공유 메모리(508)에 기록하여, 제1 게스트 가상화 머신(530) 및 제2 게스트 가상화 머신(540)으로 동일한 데이터를 공유하도록 제어할 수 있다. 이에 따라, 1:N 방식의 데이터의 공유가 가능하게 된다.
결국, 서버 가상화 머신(520)에서 대부분의 데이터 처리를 수행함으로써, 1:N 방식의 데이터의 공유가 가능하게 된다.
한편, 프로세서(175) 내의 서버 가상화 머신(520)은, 제1 게스트 가상화 머신(530) 및 제2 게스트 가상화 머신(540)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어할 수 있다.
즉, 프로세서(175) 내의 서버 가상화 머신(520)은, 하이퍼바이저(505) 기반의 공유 메모리(508)를 이용하여, 제1 게스트 가상화 머신(530) 및 제2 게스트 가상화 머신(540)으로, 동일한 데이터를 동기화하여 전송할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이(180a~180b)에서 동일한 영상을 동기화하여 표시할 수 있게 된다.
한편, 신호 처리 장치(170)는, 오디오 신호, 영상 신호, 데이터 신호 등 다양한 신호를 처리할 수 있다. 이를 위해, 신호 처리 장치(170)는, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있다.
제2 신호 처리 장치(170b)는, 차량용 디스플레이(180c,180d)를 위한 신호 처리를 수행하며, 이를 위해 제2 프로세서(175b)와 제2 메모리(140b)를 포함할 수 있다.
제2 프로세서(175b)는, 제2 프로세서(175b) 내의 하이퍼바이저(도 9의 505b) 상에서, 서버 가상화 머신(도 9의 VIMc)과, 게스트 가상화 머신(도 9의 VIMd)을 실행할 수 있다.
예를 들어, 제2 프로세서(175b) 내의 서버 가상화 머신(VIMc)은, 신호 처리 장치(170) 내의 프로세서(175) 내의 서버 가상화 머신(520)으로부터, 차량 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 오디오 데이터 또는 터치 입력 데이터를 수신하고, 처리 또는 가공하여 출력할 수 있다.
다른 예로, 서버 가상화 머신(VIMc)은, 게스트 가상화 머신(VIMd)을 위해, 신호 처리 장치(170) 내의 프로세서(175) 내의 서버 가상화 머신(520)으로부터, CAN 통신 데이터, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터를 수신하고 처리할 수 있다.
그리고, 서버 가상화 머신(VIMc)은, 처리된 데이터를 게스트 가상화 머신(VIMd)으로 전송할 수 있다.
이에 따라, 서버 가상화 머신(VIMc)과, 게스트 가상화 머신(VIMd) 중 서버 가상화 머신(VIMc)만, 통신 데이터, 외부 입력 데이터를 수신하여, 신호 처리를 수행함으로써, 게스트 가상화 머신(VIMd)에서의 신호 처리 부담이 경감되며, 1:N 데이터 통신이 가능하게 되어, 데이터 공유시의 동기화가 가능하게 된다.
한편, 서버 가상화 머신(VIMc)은, 데이터의 일부를 게스트 가상화 머신(VIMd)으로 전달되도록 공유 메모리(미도시)에 기록하고, 게스트 가상화 머신(VIMd)은, 각각 전달받은 데이터를 처리하여, 처리된 데이터가 공유 메모리(미도시)에 기록되도록 제어할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치에서 데이터를 분담하여 처리할 수 있게 된다.
이때의 데이터는, 영상 데이터, 오디오 데이터, 네비게이션 데이터, 또는 음성 인식 데이터 중 어느 하나일 수 있다.
한편, 서버 가상화 머신(VIMc)은, 복수의 가상화 머신에서의 데이터의 분산 처리를 위한 각각의 커맨드 큐를 생성할 수 있다. 이에 따라, 복수의 가상화 머신에서 데이터를 분담하여 처리할 수 있게 된다.
한편, 제2 프로세서(175b) 내의 서버 가상화 머신(VIMc)은, 복수의 가상화 머신에서 동일한 데이터를 공유하는 경우, 1개의 동일한 커맨드 큐를 생성할 수 있다. 이에 따라, 동일한 데이터를 동기화하여 공유할 수 있게 된다.
한편, 서버 가상화 머신(VIMc)은, 데이터의 분산 처리를 위한 가상화 머신의 개수에 대응하는 커맨드 큐를 생성할 수 있다.
한편, 서버 가상화 머신(VIMc)은, 데이터 분산 처리를 위해, 데이터의 적어도 일부를, 게스트 가상화 머신(VIMd)로 전송되도록 제어할 수 있다.
예를 들어, 서버 가상화 머신(VIMc)은, 데이터의 적어도 일부를, 게스트 가상화 머신(VIMd)으로 전송하기 위한 공유 메모리(미도시)를 할당하고, 게스트 가상화 머신(VIMd)에서 처리된 영상 데이터는 공유 메모리(미도시)에 기록될 수 있다.
한편, 서버 가상화 머신(VIMc)은, 데이터를 공유 메모리(미도시)에 기록하여, 게스트 가상화 머신(VIMd)으로 동일한 데이터를 공유하도록 제어할 수 있다.
예를 들어, 서버 가상화 머신(VIMc)은, 라디오 데이터 또는 무선 통신 데이터를 공유 메모리(미도시)에 기록하여, 게스트 가상화 머신(VIMd)으로 동일한 데이터를 공유하도록 제어할 수 있다. 이에 따라, 1:N 방식의 데이터의 공유가 가능하게 된다.
결국, 서버 가상화 머신(VIMc)에서 대부분의 데이터 처리를 수행함으로써, 1:N 방식의 데이터의 공유가 가능하게 된다.
한편, 제2 프로세서(175b) 내의 서버 가상화 머신(VIMc)은, 게스트 가상화 머신(VIMd)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505b) 기반의 공유 메모리(미도시)가 설정되도록 제어할 수 있다.
즉, 제2 프로세서(175b) 내의 서버 가상화 머신(VIMc)은, 하이퍼바이저(505b) 기반의 공유 메모리(미도시)를 이용하여, 게스트 가상화 머신(VIMd)으로, 동일한 데이터를 동기화하여 전송할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이(180c~180d)에서 동일한 영상을 동기화하여 표시할 수 있게 된다.
한편, 제2 신호 처리 장치(170b)는, 오디오 신호, 영상 신호, 데이터 신호 등 다양한 신호를 처리할 수 있다. 이를 위해, 제2 신호 처리 장치(170b)는, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있다.
도 4는 본 발명와 관련한 신호 처리 장치에서 구동되는 시스템을 도시한 도면이다.
도면을 참조하면, 도 4는 클러스터 디스플레이(180a)와 AVN 디스플레이(180b)를 위해, 가상화 머신이 각각 사용되는 것을 예시하는 도면이다.
도 4의 신호 처리 장치에서 구동되는 시스템(400)은, 신호 처리 장치(170) 내의 프로세서(175) 내의 하이퍼바이저(405) 상에서, 클러스터 가상화 머신(430), AVN 가상화 머신(440)이 실행되는 것을 예시한다.
한편, 도 4의 신호 처리 장치에서 구동되는 시스템(400)은, 프로세서(175) 내의 하이퍼바이저(405) 상에서, 레가시(legacy) 가상화 머신(410)도 실행되는 것을 예시한다.
레가시(legacy) 가상화 머신(410)은, 메모리(140)와의 데이터 통신을 위한 인터페이스(412), 이더넷 통신을 위한 인터페이스(413)을 구비한다.
한편, 클러스터 가상화 머신(430)은, CAN 통신을 위한 인터페이스(431), 레가시(legacy) 가상화 머신(410)의 인터페이스(412)와의 통신을 위한 인터페이스(432), 레가시(legacy) 가상화 머신(410)의 인터페이스(413)와의 통신을 위한 인터페이스(433)를 구비할 수 있다.
한편, AVN 가상화 머신(440)은, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터의 입출력을 위한 인터페이스(441), 레가시(legacy) 가상화 머신(410)의 인터페이스(412)와의 통신을 위한 인터페이스(442), 레가시(legacy) 가상화 머신(410)의 인터페이스(413)와의 통신을 위한 인터페이스(443)를 구비할 수 있다.
이러한 시스템(400)에 의하면, CAN 통신 데이터는, 클러스터 가상화 머신(430)에서만 입출력되므로, AVN 가상화 머신(440)에서는 CAN 통신 데이터를 활용하지 못하는 단점이 있다.
또한, 도 4의 시스템(400)에 의하면, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터는, AVN 가상화 머신(440)에서만 입출력되므로, 클러스터 가상화 머신(430)에서는 이러한 데이터를 활용하지 못하는 단점이 있다.
한편, 레가시(legacy) 가상화 머신(410)에서 입출력되는 메모리 데이터, 이더넷 통신 데이터를 위해, 클러스터 가상화 머신(430)과 클러스터 가상화 머신(430)가 각각 별도의 인터페이스(431,432,441,442)를 구비해야 하는 단점이 있다.
이에 본 발명에서는, 도 4의 시스템을 개선하기 위한 방안을 제시한다. 즉, 도 4와 달리, 가상화 머신을 서버 가상화 머신과 게스트 가상화 머신으로 구분하고, 각종 메모리 데이터, 통신 데이터 등을 게스트 가상화 머신에서 입출력되지 않고, 서버 가상화 머신에서 입출력되도록 한다. 이에 대해서는 도 5 이하를 참조하여 기술한다.
도 5는 본 발명의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 일예를 도시한 도면이다.
도면을 참조하면, 도 5의 시스템(500)은, 신호 처리 장치(170) 내의 프로세서(175) 내의 하이퍼바이저(505) 상에서, 서버 가상화 머신(520), 제1 게스트 가상화 머신(530), 제2 게스트 가상화 머신(540)이 실행되는 것을 예시한다.
제1 게스트 가상화 머신(530)은, 클러스터 디스플레이(180a)를 위한 가상화 머신이고, 제2 게스트 가상화 머신(540)은 AVN 디스플레이(180b)를 위한 가상화 머신일 수 있다.
즉, 제1 게스트 가상화 머신(530)과, 제2 게스트 가상화 머신(540)은, 각각 클러스터 디스플레이(180a)과 AVN 디스플레이(180b)의 영상 렌더링을 위해 동작할 수 있다.
한편, 도 5의 신호 처리 장치(170)에서 구동되는 시스템(500)은, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 레가시(legacy) 가상화 머신(510)도 실행되는 것을 예시한다.
레가시(legacy) 가상화 머신(510)은, 메모리(140)와의 데이터 통신, 및 이더넷 통신을 위한 인터페이스(511)을 구비한다.
한편, 레가시(legacy) 가상화 머신(510)은, 제1 내지 제2 게스트 가상화 머신(530,540)과의 데이터 통신을 위한 인터페이스(virtio-backend interface)(512)를 더 구비할 수 있다.
서버 가상화 머신(520)은, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터의 입출력을 위한 인터페이스(521), 게스트 가상화 머신과의 데이터 통신을 위한 입출력 서버 인터페이스(522)를 구비할 수 있다.
즉, 서버 가상화 머신(520)은, 표준가상화기술(VirtIO)에 의해 가상화되기 힘든 I/O 들을 다수의 게스트 가상화 머신, 예를 들어, 제1 내지 제2 게스트 가상화 머신(530,540) 등에 제공할 수 있다.
한편, 서버 가상화 머신(520)은, 라디오 데이터, 오디오 데이터 등을 Supervisor수준에서 제어하고, 다수의 게스트 가상화 머신, 예를 들어, 제1 내지 제2 게스트 가상화 머신(530,540) 등에 제공할 수 있다.
한편, 서버 가상화 머신(520)은, 차량 데이터, 센서 데이터, 차량 주변 정보 등을 처리하고, 처리된 데이터 또는 정보 등을 다수의 게스트 가상화 머신, 예를 들어, 제1 내지 제2 게스트 가상화 머신(530,540) 등에 제공할 수 있다.
한편, 서버 가상화 머신(520)은, 차량 데이터(vehicle data)의 처리, 오디오 라우팅(Audio routing) 관리 등과 같은, 서비스(Supervisory Services)를 제공할 수 있다.
다음, 제1 게스트 가상화 머신(530)은, 서버 가상화 머신(520)과의 데이터 통신을 위한 입출력 클라이언트 인터페이스(532)와, 입출력 클라이언트 인터페이스(532)를 제어하는 APIs(533)를 구비할 수 있다.
또한, 제1 게스트 가상화 머신(530)은, 레가시 가상화 머신(510)과의 데이터 통신을 위한 인터페이스(virtio-backend interface)를 구비할 수 있다.
제1 게스트 가상화 머신(530)은, 인터페이스(virtio-backend interface)를 통해, 레가시(legacy) 가상화 머신(510)의 인터페이스(virtio-backend interface)(512)로부터 메모리(140)와의 통신에 의한 메모리 데이터, 이더넷 통신에 의한 이더넷 데이터를 수신할 수 있다.
다음, 제2 게스트 가상화 머신(540)은, 서버 가상화 머신(520)과의 데이터 통신을 위한 입출력 클라이언트 인터페이스(542)와 입출력 클라이언트 인터페이스(542)를 제어하는 APIs(543)를 구비할 수 있다.
또한, 제2 게스트 가상화 머신(540)은, 레가시 가상화 머신(510)과의 데이터 통신을 위한 인터페이스(virtio-backend interface)를 구비할 수 있다.
제2 게스트 가상화 머신(540)은, 인터페이스(virtio-backend interface)를 통해, 레가시(legacy) 가상화 머신(510)의 인터페이스(virtio-backend interface)(512)로부터 메모리(140)와의 통신에 의한 메모리 데이터, 이더넷 통신에 의한 이더넷 데이터를 수신할 수 있다.
한편, 레가시(legacy) 가상화 머신(510)은, 도 5와 달리, 서버 가상화 머신(520) 내에 구비되는 것도 가능하다.
이러한 시스템(500)에 의하면, CAN 통신 데이터는, 서버 가상화 머신(520)에서만 입출력되나, 서버 가상화 머신(520)에서의 데이터 처리를 통해, 다수의 게스트 가상화 머신, 예를 들어, 제1 내지 제2 게스트 가상화 머신(530,540) 등에 제공될 수 있다. 따라서, 서버 가상화 머신(520)의 처리에 의한 1:N 데이터 통신이 가능하게 된다.
또한, 도 5의 시스템(500)에 의하면, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터는, 서버 가상화 머신(520)에서만 입출력되나, 서버 가상화 머신(520)에서의 데이터 처리를 통해, 다수의 게스트 가상화 머신, 예를 들어, 제1 내지 제2 게스트 가상화 머신(530,540) 등에 제공될 수 있다. 따라서, 서버 가상화 머신(520)의 처리에 의한 1:N 데이터 통신이 가능하게 된다.
한편, 도 5의 시스템(500)에서 제1 내지 제2 게스트 가상화 머신(530,540)은 서로 다른 OS 기반으로 동작할 수 있다.
예를 들어, 제1 게스트 가상화 머신(540)은 리눅스 OS 기반 하에 동작하며, 제2 게스트 가상화 머신(540)은 웹 OS 기반 하에 동작할 수 있다.
서버 가상화 머신(520)은, 제1 내지 제2 게스트 가상화 머신(530,540)이 서로 다른 OS 기반 하에 동작하더라도, 데이터 공유를 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)를 설정할 수 있다. 이에 따라, 제1 내지 제2 게스트 가상화 머신(530,540)이, 서로 다른 운영 체제(Operating system;OS) 하에 동작하더라도, 동일한 데이터 또는 동일한 영상을 동기화하여 공유할 수 있게 된다. 결국, 복수의 디스플레이(180a,180b)에 동일한 데이터 또는 동일한 영상을 동기화하여 표시할 수 있게된다.
도 6은 본 발명의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 동작 설명에 참조되는 도면이다.
도면을 참조하면, 신호 처리 장치(170) 내의 프로세서(175)는, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 서버 가상화 머신, 제1 내지 제2 게스트 가상화 머신(520~540)을 실행하며, 프로세서(175) 내의 서버 가상화 머신(520)은, 제1 게스트 가상화 머신(530) 및 제2 게스트 가상화 머신(540)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어한다.
예를 들어, 동일한 데이터로, 동일한 영상 데이터가 예시될 수 있다. 이에 따라, 차량 내의 복수의 디스플레이(180a~180b)에서 동일한 영상을 동기화하여 표시할 수 있게 된다.
한편, 도 6의 시스템(500)에 의하면, 신호 처리 장치(170) 내의 프로세서(175)는, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 서버 가상화 머신, 제1 내지 제2 게스트 가상화 머신(520~540)을 실행하며, 프로세서(175) 내의 서버 가상화 머신(520)은, 하이퍼바이저(505) 기반의 공유 메모리(508)를 이용하여, 제1 게스트 가상화 머신(530) 및 제2 게스트 가상화 머신(540)으로, 동일한 데이터를 동기화하여 전송할 수 있다.
예를 들어, 동일한 데이터로, CAN 통신 데이터, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터, 위치 정보 데이터, 또는 터치 데이터 등이 예시될 수 있다. 이에 따라, 차량 내의 복수의 디스플레이(180a~180b)에서 동일한 데이터를 동기화하여 표시할 수 있게 된다.
한편, 도 6에는 표시되지 않았지만, 레가시 가상화 머신(510)은, 메모리(140)로부터의 메모리 데이터, 이더넷 통신에 의해 이더넷 데이터를, 하이퍼바이저(505) 기반의 공유 메모리(508)를 이용하여, 제1 게스트 가상화 머신(530) 및 제2 게스트 가상화 머신(540)으로, 동기화하여 전송할 수 있다. 즉, 메모리 데이터 또는 이더넷 데이터에 대한 1:N 데이터 통신을 수행할 수 있다. 이에 따라, 동일한 데이터를 동기화하여 전송할 수 있게 된다.
도 7a 및 도 7b는 본 발명과 관련한 차량용 디스플레이 장치를 도시한 도면이다.
먼저, 도 7a는 복수의 신호 처리 장치(170,170b)를 구비하는 차량용 차량용 디스플레이 장치(100k)에서 데이터 이동의 일예를 도시한다.
도면을 참조하면, 신호 처리 장치(170)는, 제1 하이퍼바이저(505)를 실행하며, 제1 하이퍼바이저(505) 상에서, 서버 가상화 머신(520)과, 제1 내지 제2 게스트 가상화 머신(630,540)을 실행할 수 있다.
한편, 제2 신호 처리 장치(170b)는, 제2 하이퍼바이저(505b)를 실행하며, 제2 하이퍼바이저(505b) 상에서, 제2 서버 가상화 머신(520b)과, 제3 내지 제4 게스트 가상화 머신(630,540b)을 실행할 수 있다.
한편, 신호 처리 장치(170)에서 제2 신호 처리 장치(170b)로의 데이터 전송을 위해, 신호 처리 장치(170) 내의 서버 가상화 머신(520) 내의 입출력 서버 인터페이스(522)는, 보안 매니저(526)로 공유 메모리(508)의 할당 요청을 전송한다(STe1).
다음, 보안 매니저(526)는, 하이퍼바이저(505)를 이용하여 공유 메모리(508)를 할당하고(STe2), 공유 메모리(508)에 공유 데이터를 기록할 수 있다.
한편, 제2 신호 처리 장치(170b) 내의 제2 서버 가상화 머신(520b) 내의 입출력 서버 인터페이스(522b)는, 공유 메모리(508) 할당 이후, 입출력 서버 인터페이스(522)로 연결 요청을 전송할 수 있다(STe3).
한편, 입출력 서버 인터페이스(522)는, 공유 메모리(508) 할당 이후, 제2 신호 처리 장치(170b) 내의 제2 서버 가상화 머신(520b) 내의 입출력 서버 인터페이스(522b)로, 키 데이터를 포함하는 공유 메모리(508)에 대한 정보를 전송한다(STe4). 이때의 키 데이터는, private key 데이터일 수 있다.
다음, 제2 신호 처리 장치(170b) 내의 제2 서버 가상화 머신(520b) 내의 입출력 서버 인터페이스(522b)는, 수신한 키 데이터에 기초하여, 보안 매니저(526b)로 제2 공유 메모리(508b)의 할당 요청을 전송한다(STe5).
다음, 보안 매니저(526b)는, 하이퍼바이저(505b)를 이용하여 제2 공유 메모리(508b)를 할당하고(STe6), 제2 공유 메모리(508b)에 공유 데이터를 기록할 수 있다(STe7).
다음, 도 7b는 복수의 신호 처리 장치(170,170b)를 구비하는 차량용 차량용 디스플레이 장치(100k)에서 데이터 이동의 다른 예를 도시한다.
도면을 참조하면, 도 7b의 시스템 구성은 도 7a의 시스템 구성과 동일하므로, 데이터 이동을 중심으로 기술한다.
도면을 참조하면, 신호 처리 장치(170) 내의 서버 가상화 머신(520)과 제2 신호 처리 장치(170b) 내의 제2 서버 가상화 머신(520b)은, 부팅 시퀀스가 종료된 후, 벤치마크(Benchmark) 프로그램을 수행하여, 각 프로세서(175,175b)의 성능 점수를 저장한다(STf1).
구체적으로, 서버 가상화 머신(520)과 제2 서버 가상화 머신(520b)의 성능 점수를 확인할 수 있다.
다음, 신호 처리 장치(170) 내의 서버 가상화 머신(520)이 제2 신호 처리 장치(170b) 내의 제2 서버 가상화 머신(520b)에 접속을 시도한다(STf2).
접속이 이루어지면, 제2 신호 처리 장치(170b) 내의 제2 서버 가상화 머신(520b)가 신호 처리 장치(170) 내의 서버 가상화 머신(520)으로 벤치마크 점수, 현재 CPU/RAM/GPU resource 사용량 등 상태 정보를 결과 메시지로 전달한다(STf3).
다음, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은 제2 신호 처리 장치(170b) 내의 제2 서버 가상화 머신(520b)의 결과 메시지를 확인하고, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 중 어느 신호 처리 장치가 마스터 장치가 될지 결정한다(STf4).
한편, 사용량에 반비례하는 가용 성능 점수를 기준으로 어느 신호 처리 장치가 마스터 장치가 될지 결정할 수 있다.
도 7a와 도 7b와 같이, 신호 처리 장치(170)와, 제2 신호 처리 장치(170b) 내에 각각의 서버 가상화 머신(520,520b)이 존재하는 경우, 사용량 등에 기초하여, 마스터 신호 처리 장치와 슬레이브 신호 처리 장치를 정해야하는 혼잡함이 있다. 따라서, 신속한 데이터 이동 또는 신속한 데이터 처리가 어렵게 된다.
이에 본 발명의 실시예에서는, 복수의 신호 처리 장치 중 어느 하나의 신호 처리 장치(170)에만 서버 가상화 머신이 실행되고, 나머지 신호 처리 장치(170b)에서는 서버 가상화 머신의 실행 없이, 게스트 가상화 머신만 실행되는 방안을 제시한다.
이러한 방식에 의하면, 서버 가상화 머신이 실행되는 신호 처리 장치(170)가 마스터 신호 처리 장치가 되고, 나머지 신호 처리 장치(170b)가 슬레이브 신호 처리 장치가 자동 설정되므로, 마스터와 슬레이브 신호 처리 장치의 결정을 위한 단계가 생략되어, 신속하고 효율적인 데이터 이동 또는 신속하고 효율적인 데이터 처리가 가능하게 된다. 이에 대해서는, 도 8 이하를 참조하여 기술한다.
도 8은 본 발명의 실시예에 따른 차량용 디스플레이 장치를 도시한 도면이다.
도면을 참조하면, 본 발명의 실시예에 따른 차량용 디스플레이 장치(100)는, 신호 처리를 수행하는 프로세서(175)를 포함하는 신호 처리 장치(170)와, 신호 처리를 수행하는 제2 프로세서(175b)를 포함하는 제2 신호 처리 장치(170b)를 포함한다.
신호 처리 장치(170)는, 차량(200) 내의 제1 디스플레이(180a) 또는 제2 디스플레이(180b) 중 적어도 하나를 위한 신호 처리를 수행한다.
제2 신호 처리 장치(170b)는, 차량(200) 내의 제3 디스플레이(180c) 또는 제4 디스플레이(180d) 중 적어도 하나를 위한 신호 처리를 수행한다.
한편, 신호 처리 장치(170) 내의 프로세서(175)는, 서버 가상화 머신(520) 및 적어도 하나의 게스트 가상화 머신(530,540)을 실행한다.
도면에서는, 신호 처리 장치(170) 내의 프로세서(175)가, 제1 내지 제2 게스트 가상화 머신(530,540)을 실행하는 것을 예시한다.
한편, 제2 신호 처리 장치(170b) 내의 제2 프로세서(175b)는, 적어도 하나의 게스트 가상화 머신(520b,530b,540b)을 실행한다.
도면에서는, 제2 신호 처리 장치(170b) 내의 제2 프로세서(175b)가, 제3 내지 제5 게스트 가상화 머신(520b,530b,540b)을 실행하는 것을 예시하나, 이에 한정되지 않으며, 제3 내지 제4 게스트 가상화 머신(520b,530b)만을 실행하는 것도 가능하다.
한편, 본 발명의 실시예에 따른 차량용 디스플레이 장치(100) 내의 신호 처리 장치(170) 내의 프로세서(175)는, 서버 가상화 머신(520) 및 적어도 하나의 게스트 가상화 머신(530,540)을 실행하고, 제2 신호 처리 장치(170b) 내의 제2 프로세서(175b)는, 서버 가상화 머신의 실행 없이, 적어도 하나의 게스트 가상화 머신(520b,530b,540b)을 실행한다.
이에 따라, 신호 처리 장치(170) 내의 서버 가상화 머신(520)이, 신호 처리 장치(170) 내에서 실행되는 적어도 하나의 게스트 가상화 머신(530,540)과, 제2 신호 처리 장치(170b) 내에서 실행되는 적어도 하나의 게스트 가상화 머신(520b,530b,540b)을 효율적으로 제어할 수 있다.
따라서, 차량(200) 내의 복수의 신호 처리 장치(170,170b) 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다. 또한, 차량(200) 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치(170)에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 서버 가상화 머신(520)은, 리소스 관리를 위한 리소스 매니저(resource manager), 게스트 가상화 머신과의 데이터 통신을 위한 입출력 서버 인터페이스(522)를 구비할 수 있다.
한편, 제1 내지 제5 게스트 가상화 머신(530,540,520b,530b,540b)은, 각각 리소스 관리를 위한 리소스 매니저(resource manager), 서버 가상화 머신(520)과의 데이터 통신을 위한 입출력 클라이언트 인터페이스(532,542,522b,532b,542b)를 구비할 수 있다.
한편, 신호 처리 장치(170)는, 복수의 프로세서 코어(175a1~175a4), 캐쉬, 복수의 메모리(140a1~140a4), 위치 정보 데이터의 수신 또는 처리를 위한 위치 정보 드라이버(GS), 터치 입력 데이터의 수신 또는 처리를 위한 터치 드라이버(TU), 카메라 영상 데이터의 수신 또는 처리를 위한 카메라 드라이버(CA)를 구비할 수 있다.
한편, 신호 처리 장치(170)는, 신경망 처리 프로세스를 위한 신경망 프로세서(NPa), 그래픽 처리 프로세서를 위한 그래픽 프로세서(GPa), 고속 데이터 전송을 위한 고속 인터페이스(HSI)를 더 구비할 수 있다. 이때의 고속 인터페이스(HSI)는, PCIe, CCIX, 또는 CXL 등을 지원할 수 있다.
한편, 제2 신호 처리 장치(170b)는, 복수의 프로세서 코어(175b1~175b4), 캐쉬, 복수의 메모리(140b1~140b4)를 구비할 수 있다.
한편, 제2 신호 처리 장치(170b)는, 신경망 처리 프로세스를 위한 신경망 프로세서(NPb), 그래픽 처리 프로세서를 위한 그래픽 프로세서(GPb), 고속 데이터 전송을 위한 고속 인터페이스(HSIb)를 더 구비할 수 있다. 이때의 고속 인터페이스(HSIb)는, PCIe, CCIX, 또는 CXL 등을 지원할 수 있다.
한편, 서버 가상화 머신(520)은, 프로세서(175) 내에서 실행되는 게스트 가상화 머신(530)과, 제2 프로세서(175b) 내에서 실행되는 게스트 가상화 머신(520b,530b,540b)을 제어할 수 있다. 이에 따라, 차량(200) 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치(170)에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 서버 가상화 머신(520)은, 차량(200)의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를 수신하고 처리하며, 차량(200)의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 서버 인터페이스(522b)를 통해, 프로세서(175) 내의 적어도 하나의 게스트 가상화 머신(530,540) 내의 클라이언트 인터페이스(532,542)로 전송할 수 있다. 이에 따라, 신호 처리 장치(170) 내의 복수의 가상화 머신(520,530,540) 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 신호 처리 장치(170)와 제2 신호 처리 장치(170b)는 동일한 하이퍼바이저를 실행할 수 있다. 이에 따라, 차량(200) 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치(170)에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 서버 가상화 머신(520)은, 차량(200)의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 신호 처리 장치(170) 내의 제1 공유 메모리(508)에 기록되도록 제어하고, 신호 처리 장치(170) 내의 게스트 가상화 머신(530)은, 제1 공유 메모리(508)에 기록된 차량(200)의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출할 수 있다. 이에 따라, 신호 처리 장치(170) 내의 복수의 가상화 머신(520,530) 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 서버 가상화 머신(520)은, 차량(200)의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를 수신하고 처리하며, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이의 고속 인터페이스(HSI,HSIb)를 통해, 차량(200)의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 제2 신호 처리 장치(170b) 내의 적어도 하나의 게스트 가상화 머신(520b,530b,540b)으로 전송되도록 제어할 수 있다. 이에 따라, 차량(200) 내의 복수의 신호 처리 장치(170,170b) 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 서버 가상화 머신(520)은, 차량(200)의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 제2 신호 처리 장치(170b) 내의 제2 공유 메모리(508b)에 기록되도록 제어하고, 제2 신호 처리 장치(170b) 내의 적어도 하나의 게스트 가상화 머신(520b,530b,540b)은, 제2 공유 메모리(508b)에 기록된 차량(200)의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출할 수 있다. 이에 따라, 차량(200) 내의 복수의 신호 처리 장치(170,170b) 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 서버 가상화 머신(520)은, 차량(200)의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 신호 처리 장치(170) 내의 제1 공유 메모리(508)에 기록되도록 제어하고, 신호 처리 장치(170) 내의 제1 공유 메모리(508)와 제2 신호 처리 장치(170b) 내의 제2 공유 메모리(508b)가 결합된 경우, 신호 처리 장치(170) 내의 게스트 가상화 머신(530)은, 제1 공유 메모리(508)에 결합된 제2 공유 메모리(508b)를 통해, 차량(200)의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출할 수 있다.
즉, 한편, 신호 처리 장치(170)와 제2 신호 처리 장치(170b)는, 결합 공유 메모리(508)를 이용하여, 데이터를 전송하거나 수신할 수 있다. 이에 따라, 차량(200) 내의 복수의 신호 처리 장치(170,170b) 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
도 9 내지 도 19는 도 8의 설명에 참조되는 도면이다.
먼저, 도 9는 본 발명의 실시예에 따른 차량용 디스플레이 장치의 동작 방법을 도시한 순서도이다.
도면을 참조하면, 신호 처리 장치(170)는, 제2 신호 처리 장치(170b)가 전기적으로 연결되는 지 여부를 확인한다(S905).
예를 들어, 신호 처리 장치(170)는, 확장 모듈로서, 제2 신호 처리 장치(170b)가 접속되는 경우, 제2 신호 처리 장치(170b)에서 입력되는 신호에 기초하여, 제2 신호 처리 장치(170b)가 접속되는 것으로 판별할 수 있다.
다른 예로, 신호 처리 장치(170)는, 확장 모듈로서, 제2 신호 처리 장치(170b)가 접속되는 경우, 제2 신호 처리 장치(170b)로 데이터를 전송하고, 데이터 전송 이후, 전송 완료 메시지가 수신되는 경우, 제2 신호 처리 장치(170b)가 접속되는 것으로 판별할 수 있다.
다음, 신호 처리 장치(170)는, 제2 신호 처리 장치(170b)가 전기적으로 연결된 상태에서, 제2 신호 처리 장치(170b)가 인터페이스 프로토콜을 지원하는 지 여부를 판단할 수 있다(S910).
예를 들어, 신호 처리 장치(170)는, 제2 신호 처리 장치(170b) 내의 적어도 하나의 게스트 가상화 머신(520b,530b,540b)이 각각 입출력 클라이언트 인터페이스(522b,532b542b)을 구비하는 지 여부를 판단할 수 있다.
그리고, 신호 처리 장치(170)는, 제2 신호 처리 장치(170b) 내의 적어도 하나의 게스트 가상화 머신(520b,530b,540b)이 각각 입출력 클라이언트 인터페이스(522b,532b,542b)을 구비하는 경우, 다음 단계인 제920 단계(S920)를 수행할 수 있다.
다음, 신호 처리 장치(170)는, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되는 지 여부를 판단할 수 있다(S925).
신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되지 않는 경우, 제925 단계(S925)가 수행되며, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되는 경우, 제935 단계(S935)가 수행될 수 있다.
신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되지 않는 경우, 신호 처리 장치(170)는, 도 7a 또는 도 7b와 같이, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 중 사용량 등에 기초하여, 마스터 신호 처리 장치와 슬레이브 신호 처리 장치를 결정할 수 있다(S925).
예를 들어, 신호 처리 장치(170)의 사용량이 더 많은 경우, 신호 처리 장치(170)가 마스터 신호 처리 장치로 동작하고, 제2 신호 처리 장치(170b)가 슬레이브 신호 처리 장치로 동작할 수 있다.
다른 예로, 제2 신호 처리 장치(170b)의 사용량이 더 많은 경우, 제2 신호 처리 장치(170b)가 마스터 신호 처리 장치로 동작하고, 신호 처리 장치(170)가 슬레이브 신호 처리 장치로 동작할 수 있다.
한편, 제925 단계(S925)와 같이, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 중 사용량 등에 기초하여, 마스터 신호 처리 장치와 슬레이브 처리 장치로 각각 동작하는 경우, 신호 처리 장치(170)와 제2 신호 처리 장치(170b)는, 도 7a 또는 도 7b와 같이, 서로 다른 하이퍼바이저를 실행할 수 있다(S930).
도 7a 또는 도 7b와 같이, 신호 처리 장치(170)는 제1 하이퍼바이저(505)를 실행하고, 제2 신호 처리 장치(170b)는 제2 하이퍼바이저(505b)를 실행할 수 있다.
한편, 도 8과 같이, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되는 경우, 신호 처리 장치(170)는, 비균일 메모리 액세스(Non Uniform Memory Access; NUMA)가 지원되는 지 여부를 판단한다(S935).
비균일 메모리 액세스(Non Uniform Memory Access; NUMA)는, 프로세서(175)와 제2 프로세서9175b)에 각각 독립적인 메모리를 제공할 수 있다.
신호 처리 장치(170)는, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되며, 비균일 메모리 액세스(Non Uniform Memory Access; NUMA)가 지원되는 경우, 스패닝(spanning)이 지원되는 지 여부를 판단한다(S940).
한편, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되며, 비균일 메모리 액세스(Non Uniform Memory Access; NUMA)가 지원되며, 스패닝(spanning)이 지원되는 경우, 도 8과 같이, 신호 처리 장치(170)와 제2 신호 처리 장치(170b)는 동일한 하이퍼바이저를 실행할 수 있다(S945).
이에 따라, 차량(200) 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치(170)에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 제935 단계(S935)에서, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되나, 비균일 메모리 액세스(Non Uniform Memory Access; NUMA)가 지원되지 않는 경우, 제950 단계(S950)가 수행된다.
즉, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되며, 비균일 메모리 액세스가 지원되지 않는 경우, 신호 처리 장치(170)는 제1 하이퍼바이저(505)를 실행하고, 제2 신호 처리 장치(170b)는, 제2 하이퍼바이저(505b)를 실행할 수 있다.
한편, 제940 단계(S940)에서, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되며, 비균일 메모리 액세스(Non Uniform Memory Access; NUMA)가 지원되나 스패닝이 지원되지 않는 경우, 제950 단계(S950)가 수행된다.
즉, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되며, 비균일 메모리 액세스가 지원되며, 스패닝이 지원되지 않는 경우, 신호 처리 장치(170)는 제1 하이퍼바이저(505)를 실행하고, 제2 신호 처리 장치(170b)는, 제2 하이퍼바이저(505b)를 실행할 수 있다.
제950 단계(S950)에서, 신호 처리 장치(170)는, 도 7a 또는 도 7b와 같이, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 중 사용량 등에 기초하여, 마스터 신호 처리 장치와 슬레이브 신호 처리 장치를 결정할 수 있다(S950).
한편, 제950 단계(S950)와 같이, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 중 사용량 등에 기초하여, 마스터 신호 처리 장치와 슬레이브 처리 장치로 각각 동작하는 경우, 신호 처리 장치(170)와 제2 신호 처리 장치(170b)는, 도 7a 또는 도 7b와 같이, 서로 다른 하이퍼바이저를 실행할 수 있다(S955).
도 10은 본 발명의 다른 실시예에 따른 차량용 디스플레이 장치의 동작 방법을 도시한 순서도이다.
도면을 참조하면, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 사용할 입출력을 결정한다(S1010).
예를 들어, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 신호 처리 장치(170) 내의 위치 정보 드라이버(GS), 터치 드라이버(TU), 카메라 드라이버(CA), 신경망 프로세서(NPa), 또는 그래픽 프로세서(GPa), 제2 신호 처리 장치(170b) 내의 신경망 프로세서(NPb), 또는 그래픽 프로세서(GPb)중 어느 하나가 사용되는 지 여부를 결정할 수 있다.
다음, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 프로세서(175) 또는 제2 프로세서(175b)의 동작 할당을 위한 모니터링을 수행할 수 있다(S1013).
다음, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 사용할 입출력과, 사용할 신호 처리 장치의 위치가 동일한 지 여부를 판단할 수 있다(S1016).
예를 들어, 사용할 입출력이, 위치 정보 드라이버(GS)인 상태에서, 동일한 위치인 신호 처리 장치(170)가 사용되는 지 여부를 판단할 수 있다.
다른 예로, 사용할 입출력이, 위치 정보 드라이버(GS)인 상태에서, 다른 위치인 제2 신호 처리 장치(170b)가 사용되는 지 여부를 판단할 수 있다.
제1016 단계(S1016)에서, 일치하는 경우, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 사용할 출력을 포함하는 신호 처리 장치 내의 프로세서를 임시 할당할 수 있다(S1019).
예를 들어, 위치 정보 드라이버(GS)인 상태에서, 신호 처리 장치(170) 내의 프로세서(175)를 임시 할당할 수 있다.
제1016 단계(S1016)에서, 일치하지 않는 경우, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 사용할 출력을 포함하지 않는 다른 신호 처리 장치 내의 프로세서를 임시 할당할 수 있다(S1019).
예를 들어, 위치 정보 드라이버(GS)인 상태에서, 제2 신호 처리 장치(170b) 내의 제2 프로세서(175b)를 임시 할당할 수 있다.
다음, 제1019 단계(S1019) 또는 제1020 단계(S1020)에서 프로세서의 임시 할당 이후, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 각 프로세서(175,175b)의 사용률을 체크하고(S1023), 각 프로세서의 사용률이 기준치 초과인지 여부를 판단한다(S1026).
각 프로세서의 사용률이 기준치 초과인 경우, 프로세서의 리소스 또는 로드 분담 등을 위해, 제1028 단계(S1028)가 수행된다.
기준치 초과인 경우, 제1028 단계(S1028)에 따라, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 메모리 대역폭을 연산하고(S1028), 캐쉬 미싱 레이트(Cache Missing Rate)를 연산하고(S1030), 연산된 메모리 대역폭, 캐쉬 미싱 레이트(Cache Missing Rate)에 기초하여, 로컬 프로세서가 리모트 프로세서 보다 사용률이 더 큰지 여부를 판단하고(S1032), 해당하는 경우, 로컬 프로세서에, 리소스를 할당하고(S1035), 해당하지 않는 경우, 리모터 프로세서에 리소스를 할당한다(S1034).
즉, 서버 가상화 머신(520)은, 프로세서(175)와 제2 프로세서(175b)의 사용율, 메모리 대역폭, 캐쉬 미싱 레이트(Cache Missing Rate)에 기초하여, 프로세서(175) 또는 제2 프로세서(175b)에 할당할 리소스를 가변할 수 있다. 이에 따라, 차량(200) 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치(170)에서 리소스를 효율적으로 관리할 수 있게 된다.
한편, 제1026 단계(S1026)에서, 각 프로세서의 사용률이 기준치 이하인 경우, 각 프로세서에 리소스 또는 로드가 여유 있는 상태이므로, 기존 리소스 그대로 할당한다(S1038).
다음, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 각 프로세서(175,175b)의 리소스 할당을 종료한다(S1040).
다음, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 메모리 할당을 위한 모니터링을 수행한다(S1043).
다음, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 해당 입출력이 고속 인터페이스 지원이 필요한 지 여부를 판단하고(S1045), 해당하지 않는 경우, 로컬 메모리를 사용하도록 제어할 수 있다(S1048).
한편, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 해당 입출력이 고속 인터페이스 지원이 필요한 경우, 고속 인터페이스 출력이 기준치 초과인 지 여부를 판단하고(S1050), 해당하는 경우, 메모리 대역폭을 계산하고, 메모리를 비운다(S1055).
다음, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 로컬 프로세서가 리모트 프로세서 보다 사용률이 더 큰지 여부를 판단하고(S1058), 해당하는 경우, 로컬 메모리를 사용하고(S1048), 해당하지 않는 경우, 리모트 메모리를 사용한다(S1060).
이에 따라, 신호 처리 장치(170) 내의 프로세서(175)와 제2 신호 처리 장치(170b) 내의 제2 프로세서(175b) 사이의 리소스를 가급적 고르게 할당할 수 있게 된다.
나아가, 신호 처리 장치(170) 내의 메모리(140a1~140a4)와 제2 신호 처리 장치(170b) 내의 메모리(140b1~140b4) 사이의 리소스를 가급적 고르게 할당할 수 있게 된다.
한편, 프로세서(175) 또는 제2 프로세서(175b)는, 데이터의 입출력의 위치에 따라, 로컬 가상화 머신과 리모트 가상화 머신을 구분하여 제어할 수 있다. 이에 따라, 차량(200) 내의 복수의 디스플레이를 위한 복수의 신호 처리 장치(170)에서 리소스 관리를 효율적으로 관리할 수 있게 된다.
도 11은 도 10의 순서도에 따라, 입출력 별로 할당되는 프로세서와 메모리를 예시하는 도면이다.
예를 들어, 입출력 리소스가, 위치 정보 데이터의 수신 또는 처리를 위한 위치 정보 드라이버(GS)인 경우, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 복수의 프로세서 코어(175a1~175a4) 중 제1 프로세서 코어(175a1)와, 복수의 메모리(140a1~140a4) 중 제1 메모리(140a1)를 할당하고, 제1 게스트 가상화 머신(530)에서 활용되도록 제어할 수 있다.
다른 예로, 입출력 리소스가, 터치 입력 데이터의 수신 또는 처리를 위한 터치 드라이버(TU)인 경우, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 복수의 프로세서 코어(175a1~175a4) 중 제2 프로세서 코어(175a2)와, 복수의 메모리(140a1~140a4) 중 제2 메모리(140a2)를 할당하고, 제2 게스트 가상화 머신(540)에서 활용되도록 제어할 수 있다.
또 다른 예로, 입출력 리소스가, 제2 신호 처리 장치(170b) 내의 신경망 프로세서(NPb)인 경우, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 복수의 프로세서 코어(175b1~175b4) 중 제5 프로세서 코어(175b1)와, 복수의 메모리(140b1~140b4) 중 제5 메모리(140b1)를 할당하고, 제3 게스트 가상화 머신(520b)에서 활용되도록 제어할 수 있다.
또 다른 예로, 입출력 리소스가, 제2 신호 처리 장치(170b) 내의 그래픽 프로세서(GPb)인 경우, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 복수의 프로세서 코어(175b1~175b4) 중 제6 프로세서 코어(175b2)와, 복수의 메모리(140a1~140a4) 중 제3 메모리(140a3)를 할당하고, 제4 게스트 가상화 머신(540)에서 활용되도록 제어할 수 있다.
특히, 입출력 리소스가, 제2 신호 처리 장치(170b) 내의 그래픽 프로세서(GPb)인 경우, 프로세서 코어의 위치와 메모리의 위치가, 각각 신호 처리 장치(170)와, 제2 신호 처리 장치(170b)로 구분될 수 있다. 이에 따라, 프로세서와 메모리 내의 리소스를 효율적으로 관리할 수 있게 된다.
한편, 호 처리 장치(170)와, 제2 신호 처리 장치(170b) 사이에 고속 인터페이스의 지원이 가능하므로, 이러한 교차 리소스 관리가 가능하게 된다.
도 12는 도 8의 차량용 디스플레이 장치 내에서의 데이터 전송의 일예를 도시한 도면이다.
도면을 참조하면, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되며, 비균일 메모리 액세스(Non Uniform Memory Access; NUMA)가 지원되며, 스패닝(spanning)이 지원되는 경우, 도 8과 같이, 신호 처리 장치(170)와 제2 신호 처리 장치(170b)는 동일한 하이퍼바이저를 실행할 수 있다.
한편, 서버 가상화 머신(520)이 실행되는 신호 처리 장치(170) 내의 리소스를 내부의 게스트 가상화 머신에 전송할 경우, 공유 메모리(508)를 이용하여, 데이터를 전송할 수 있다.
예를 들어, 위치 정보 드라이버(GS)로부터의 위치 정보 데이터가 수신되는 경우, 입출력 서버 인터페이스(522) 내의 위치 정보 인터페이스는, 공유 메모리(508)에 위치 정보 데이터가 기록되도록 제어하며(Skd), 제1 게스트 가상화 머신(530) 내의 입출력 클라이언트 인터페이스(532)는, 공유 메모리(508)에 기록된 위치 정보 데이터를 독출할 수 있다(Skc).
이와 유사하게, 터치 드라이버(TU)로부터의 터치 입력 데이터 또는 카메라 드라이버(CA)로부터의 카메라 영상 데이터가 수신되는 경우(Ska), 입출력 서버 인터페이스(522) 내의 터치 입력 인터페이스 또는 카메라 인터페이스는, 공유 메모리(508)에 터치 입력 데이터 또는 카메라 영상 데이터가 기록되도록 제어하며, 제1 게스트 가상화 머신(530) 내의 입출력 클라이언트 인터페이스(532)는, 공유 메모리(508)에 기록된 터치 입력 데이터 또는 카메라 영상 데이터를 독출할 수 있다.
한편, 서버 가상화 머신(520)이 실행되는 신호 처리 장치(170) 내의 리소스를 제2 신호 처리 장치(170b) 내부의 게스트 가상화 머신에 전송할 경우, 고속 인터페이스와 제2 공유 메모리(508b)를 이용하여, 데이터를 전송할 수 있다.
예를 들어, 카메라 드라이버(CA)로부터의 카메라 영상 데이터가 수신되는 경우(Skb), 입출력 서버 인터페이스(522) 내의 카메라 인터페이스는, 고속 인터페이스(HCI, HCIb)를 통해, 제2 신호 처리 장치(170b)로 카메라 영상 데이터를 전송하고(Skg), 제2 공유 메모리(508b) 내에 카메라 영상 데이터가 기록되도록 제어한다(Skf).
이에 따라, 제3 게스트 가상화 머신(520b) 내의 입출력 클라이언트 인터페이스(522b)는, 제2 공유 메모리(508b)에 기록된 터치 입력 데이터 또는 카메라 영상 데이터를 독출할 수 있다(Ske).
의 수신 또는 처리를 위한 위치 정보 드라이버(GS), 터치 입력 데이터의 수신 또는 처리를 위한 터치 드라이버(TU), 카메라 영상 데이터의 수신 또는 처리를 위한 카메라 드라이버(CA)를
도 13a는 도 7a 또는 도 7b의 차량용 디스플레이 장치 내에서의 데이터 전송의 다른 예를 도시한 도면이다.
도면을 참조하면, 차량용 디스플레이 장치(100k) 내의 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)가 지원되는 경우, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 중 사용량 등에 기초하여, 마스터 신호 처리 장치와 슬레이브 처리 장치로 각각 동작할 수 있다.
한편, 서버 가상화 머신(520)은, 공유 메모리(508)를 이용하여, 제1 게스트 가상화 머신(530) 또는 제2 게스트 가상화 머신(540)으로 데이터를 전송될 수 있다.
한편, 서버 가상화 머신(520)은, 신호 처리 장치(170)와 제2 신호 처리 장치(170b) 사이에 고속 인터페이스(HSI,HSIb)를 통해, 데이터가 전송되도록 제어할 수 있다.
한편, 제2 신호 처리 장치(170b)는, 제2 서버 가상화 머신(520b)과, 복수으 게스트 가상화 머신(530b,540b)을 실행하며, 제2 서버 가상화 머신(520b)은, 제2 공유 메모리(508b)를 이용하여, 제3 게스트 가상화 머신(530b) 또는 제4 게스트 가상화 머신(540b)으로 데이터를 전송될 수 있다.
도 13a와 같이, 각 신호 처리 장치(170,170b) 내에 서버 가상화 머신(520,520b)을 실행하게 되면, 각 서버 가상화 머신(520,520b) 사이의 실행시의 충돌이 발생하여, 데이터 전송시의 전송 효율이 저하될 수 있다.
도 13b는 도 8의 차량용 디스플레이 장치 내에서의 데이터 전송의 다른 예를 도시한 도면이다.
도면을 참조하면, 본 발명의 실시예에 따른 차량용 디스플레이 장치(100) 내의 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 공유 메모리(508)를 이용하여, 데이터를 제1 게스트 가상화 머신(530) 또는 제2 게스트 가상화 머신(540)로 전송할 수 있다. 차량(200) 내의 복수의 가상화 머신 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
한편, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 고속 인터페이스(HCI, HCIb)와, 제2 공유 메모리(508b)를 이용하여, 데이터를 제3 게스트 가상화 머신(520b) 또는 제4 게스트 가상화 머신(530b) 또는 제5 게스트 가상화 머신(540b)로 전송할 수 있다. 차량(200) 내의 복수의 신호 처리 장치(170,170b) 사이의 데이터 전송시의 전송 효율을 증대할 수 있게 된다.
도 14는 도 8의 차량용 디스플레이 장치 내에서의 카메라 데이터 전송의 일예를 도시하는 도면이다.
도면을 참조하면, 서버 가상화 머신(520)은, 카메라(185)로부터의 카메라 데이터(1310)를 제2 신호 처리 장치(170b)에서만 처리하기 위해, 고속 인터페이스(HCI,HICb)를 이용하여, 제2 신호 처리 장치(175b)로 전송되도록 제어하고(Sjc), 제2 공유 메모리(508b)에 기록되도록 제어할 수 있다(Sje).
다음, 서버 가상화 머신(520)은, 카메라 데이터(1310)의 일부(130b)를 제2 공유 메모리(508b)의 제1 버퍼에 기록하고, 카메라 데이터(1310)의 다른 일부(130c)를 제2 공유 메모리(508b)의 제2 버퍼하고, 카메라 데이터(1310)의 또 다른 일부(130d)를 제2 공유 메모리(508b)의 제3 버퍼에 기록하도록 제어할 수 있다.
이에, 제2 신호 처리 장치(170b) 내의 제3 내지 제5 게스트 가상화 머신(520b,530b,540b)은, 각각 카메라 데이터(1310)의 일부(130b), 다른 일부(130c), 또 다른 일부(130d)를, 각각 제2 공유 메모리(508b)로부터 독출하고, 이에 대한 처리를 수행할 수 있다.
예를 들어, 제2 신호 처리 장치(170b) 내의 제3 내지 제5 게스트 가상화 머신(520b,530b,540b)은, 각각 전달받은 영상 데이터(130b,130c,130d)에 대한 오브젝트 검출을 수행하고, 오브젝트 검출된 영상 데이터가 제2 공유 메모리(508b)에 기록되도록 제어할 수 있다. 이에 따라, 데이터 처리시의 로드 분담이 수행되게 된다.
그리고, 서버 가상화 머신(520)은, 제2 공유 메모리(508b)에 기록된 데이터를 다시 독출하여, 공유 메모리(508)로 전송하도록 제어하고, 결국 공유 메모리(508)를 통해, 오브젝트 검출된 영상 데이터를 수신할 수 있다.
한편, 서버 가상화 머신(520)은, 오브젝트 검출 처리된 영상 데이터를 수신하여, 디스플레이(180a 또는 180b 또는 180c)에 처리된 영상(1315)가 표시되도록 제어할 수 있다.
한편, 도 14와 달리, 서버 가상화 머신(520)은, 카메라(185)로부터의 카메라 데이터(1310)를, 제2 신호 처리 장치(175b)는 물론, 신호 처리 장치(175)에서도 처리되도록 제어할 수 있다.
예를 들어, 서버 가상화 머신(520)은, 카메라 데이터(1310)를 신호 처리 장치(170) 내의 제1 공유 메모리(508)와 제2 신호 처리 장치(170b) 내의 제2 공유 메모리(508b) 중 적어도 하나에 기록하도록 제어하고, 제1 프로세서(175) 내의 게스트 가상화 머신(530)은, 제1 공유 메모리(508)에 기록된 카메라 데이터의 일부를 수신하여 처리하고, 처리된 데이터를 제1 공유 메모리(508)에 기록하거나, 제2 프로세서(175b) 내의 적어도 하나의 게스트 가상화 머신(520b,530b,540b)은, 제2 공유 메모리(508b)에 기록된 카메라 데이터의 다른 일부를 수신하여 처리하고, 처리된 데이터를 제2 공유 메모리(508b)에 기록할 수 있다. 이에 따라, 카메라 데이터의 처리시의 로드 분담을 수행할 수 있게 된다.
도 15는 도 8의 차량용 디스플레이 장치 내에서의 카메라 데이터 전송의 다른 예를 도시하는 도면이다.
도면을 참조하면, 서버 가상화 머신(520)은, 카메라 데이터를 신호 처리 장치(170) 내의 제1 공유 메모리(508)에 기록하도록 제어하고(Skd), 제1 프로세서(175) 내의 게스트 가상화 머신(530)은, 제1 공유 메모리(508)에 기록된 카메라 데이터를 수신하여 처리하고, 처리된 데이터를 제1 공유 메모리(508)에 기록할 수 있다(Ske).
한편, 제2 신호 처리 장치(170b)는, 고속 인터페이스(HCI,HCib)를 통해, 1 공유 메모리(508)에 기록된 카메라 데이터를 수신하고, 제2 프로세서(175b)는, 신경망 처리 프로세스를 통해, 카메라 데이터를 증강 현실 처리하고, 증강 현실 처리된 데이터를 공유 메모리(508) 또는 제2 공유 메모리(508b)에 기록하도록 제어할 수 있다. 이에 따라, 카메라 데이터의 처리시의 로드 분담을 수행할 수 있게 된다.
한편, 서버 가상화 머신(520)은, 증강 현실 처리된 데이터와 처리된 카메라 데이터를 합성하여, 합성된 영상을, 디스플레이(180a 또는 180b 또는 180c)에 표시하도록 제어할 수 있다. 이에 따라, 신속하게 증강 현실 처리된 영상(1400)을 표시할 수 있게 된다.
한편, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (20)

  1. 차량에 장착되는 제1 디스플레이 및 제2 디스플레이;
    상기 제1 디스플레이 또는 제2 디스플레이 중 적어도 하나를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치;
    신호 처리를 수행하는 제2 프로세서를 포함하는 제2 신호 처리 장치;를 포함하고,
    상기 신호 처리 장치 내의 상기 프로세서는, 서버 가상화 머신 및 게스트 가상화 머신을 실행하고,
    상기 제2 신호 처리 장치 내의 상기 제2 프로세서는, 적어도 하나의 게스트 가상화 머신을 실행하는 것을 특징으로 하는 차량용 디스플레이 장치.
  2. 제1항에 있어서,
    상기 차량에 장착되는 제3 디스플레이;를 더 포함하고,
    상기 제2 신호 처리 장치 내의 상기 제2 프로세서는, 상기 제3 디스플레이를 위한 신호 처리를 수행하는 것을 특징으로 하는 차량용 디스플레이 장치.
  3. 제1항에 있어서,
    상기 제2 신호 처리 장치 내의 상기 제2 프로세서는, 상기 프로세서에 의해 실행되는 상기 서버 가상화 머신에 기초하여, 상기 적어도 하나의 게스트 가상화 머신을 실행하는 것을 특징으로 하는 차량용 디스플레이 장치.
  4. 제1항에 있어서,
    상기 신호 처리 장치와 상기 제2 신호 처리 장치는, 결합 공유 메모리를 이용하여, 데이터를 전송하거나 수신하는 것을 특징으로 하는 차량용 디스플레이 장치.
  5. 제1항에 있어서,
    상기 서버 가상화 머신은,
    상기 프로세서 내에서 실행되는 게스트 가상화 머신과, 상기 제2 프로세서 내에서 실행되는 게스트 가상화 머신을 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  6. 제1항에 있어서,
    상기 신호 처리 장치와 상기 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되지 않는 경우,
    상기 신호 처리 장치가 마스터 신호 처리 장치로 동작하고, 상기 제2 신호 처리 장치가, 슬레이브 신호 처리 장치로 동작하는 것을 특징으로 하는 차량용 디스플레이 장치.
  7. 제1항에 있어서,
    상기 신호 처리 장치와 상기 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되며, 비균일 메모리 액세스가 지원되지 않는 경우, 상기 신호 처리 장치는 제1 하이퍼바이저를 실행하고, 상기 제2 신호 처리 장치는, 제2 하이퍼바이저를 실행하는 것을 특징으로 하는 차량용 디스플레이 장치.
  8. 제1항에 있어서,
    상기 신호 처리 장치와 상기 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되며, 비균일 메모리 액세스가 지원되며, 스패닝이 지원되는 경우, 상기 신호 처리 장치와 상기 제2 신호 처리 장치는 동일한 하이퍼바이저를 실행하는 것을 특징으로 하는 차량용 디스플레이 장치.
  9. 제1항에 있어서,
    상기 신호 처리 장치와 상기 제2 신호 처리 장치 사이에 고속 인터페이스가 지원되며, 비균일 메모리 액세스가 지원되며, 스패닝이 지원되지 않는 경우, 상기 신호 처리 장치는 제1 하이퍼바이저를 실행하고, 상기 제2 신호 처리 장치는, 제2 하이퍼바이저를 실행하는 것을 특징으로 하는 차량용 디스플레이 장치.
  10. 제1항에 있어서,
    상기 서버 가상화 머신은,
    상기 프로세서 내에서 실행되는 게스트 가상화 머신과, 상기 제2 프로세서 내에서 실행되는 게스트 가상화 머신에 대한 리소스 관리를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  11. 제1항에 있어서,
    상기 서버 가상화 머신은,
    상기 프로세서와 상기 제2 프로세서의 사용율, 메모리 대역폭, 캐쉬 미싱 레이트에 기초하여, 상기 프로세서 또는 상기 제2 프로세서에 할당할 리소스를 가변하는 것을 특징으로 하는 차량용 디스플레이 장치.
  12. 제1항에 있어서,
    상기 프로세서 또는 상기 제2 프로세서는,
    데이터의 입출력의 위치에 따라, 로컬 가상화 머신과 리모트 가상화 머신을 구분하여 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  13. 제1항에 있어서,
    상기 서버 가상화 머신은,
    차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를 수신하고 처리하며, 상기 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 서버 인터페이스를 통해, 상기 프로세서 내의 게스트 가상화 머신 내의 클라이언트 인터페이스로 전송하는 것을 특징으로 하는 차량용 디스플레이 장치.
  14. 제1항에 있어서,
    상기 서버 가상화 머신은,
    차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 상기 신호 처리 장치 내의 제1 공유 메모리에 기록되도록 제어하고,
    상기 신호 처리 장치 내의 게스트 가상화 머신은, 상기 제1 공유 메모리에 기록된 상기 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출하는 것을 특징으로 하는 차량용 디스플레이 장치.
  15. 제1항에 있어서,
    상기 서버 가상화 머신은,
    차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를 수신하고 처리하며,
    상기 신호 처리 장치와 상기 제2 신호 처리 장치 사이의 고속 인터페이스를 통해, 상기 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 상기 제2 신호 처리 장치 내의 게스트 가상화 머신으로 전송되도록 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  16. 제1항에 있어서,
    상기 서버 가상화 머신은,
    차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 상기 제2 신호 처리 장치 내의 제2 공유 메모리에 기록되도록 제어하고,
    상기 제2 신호 처리 장치 내의 게스트 가상화 머신은, 상기 제2 공유 메모리에 기록된 상기 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출하는 것을 특징으로 하는 차량용 디스플레이 장치.
  17. 제1항에 있어서,
    상기 서버 가상화 머신은,
    차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 상기 신호 처리 장치 내의 제1 공유 메모리에 기록되도록 제어하고,
    상기 신호 처리 장치 내의 제1 공유 메모리와 상기 제2 신호 처리 장치 내의 제2 공유 메모리가 결합된 경우, 상기 신호 처리 장치 내의 게스트 가상화 머신은, 상기 제1 공유 메모리에 결합된 상기 제2 공유 메모리를 통해, 상기 차량의 휠 속도 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 또는 터치 입력 데이터를, 독출하는 것을 특징으로 하는 차량용 디스플레이 장치.
  18. 제1항에 있어서,
    상기 서버 가상화 머신은,
    카메라 데이터를 상기 신호 처리 장치 내의 제1 공유 메모리와 상기 제2 신호 처리 장치 내의 제2 공유 메모리 중 적어도 하나에 기록하도록 제어하고,
    상기 제1 프로세서 내의 게스트 가상화 머신은,
    상기 제1 공유 메모리에 기록된 상기 카메라 데이터의 일부를 수신하여 처리하고, 처리된 데이터를 상기 제1 공유 메모리에 기록하거나,
    상기 제2 프로세서 내의 적어도 하나의 게스트 가상화 머신은,
    상기 제2 공유 메모리에 기록된 상기 카메라 데이터의 다른 일부를 수신하여 처리하고, 처리된 데이터를 상기 제2 공유 메모리에 기록하는 것을 특징으로 하는 차량용 디스플레이 장치.
  19. 제1항에 있어서,
    상기 서버 가상화 머신은,
    카메라 데이터를 상기 신호 처리 장치 내의 제1 공유 메모리에 기록하도록 제어하고,
    상기 제1 프로세서 내의 게스트 가상화 머신은,
    상기 제1 공유 메모리에 기록된 상기 카메라 데이터를 수신하여 처리하고, 처리된 데이터를 상기 제1 공유 메모리에 기록하며,
    상기 제2 신호 처리 장치 내의 상기 제2 프로세서는, 신경망 처리 프로세스를 통해, 상기 카메라 데이터를 증강 현실 처리하고, 상기 증강 현실 처리된 데이터를 상기 공유 메모리 또는 제2 공유 메모리에 기록하도록 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  20. 차량에 장착되는 제1 디스플레이 및 제2 디스플레이;
    상기 제1 디스플레이 또는 제2 디스플레이 중 적어도 하나를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치;
    신호 처리를 수행하는 제2 프로세서를 포함하는 제2 신호 처리 장치;를 포함하고,
    상기 신호 처리 장치와 상기 제2 신호 처리 장치 사이에, 데이터 전송이 수행되며, 상기 신호 처리 장치와 상기 제2 신호 처리 장치는 동일한 하이퍼바이저를 실행하는 것을 특징으로 하는 차량용 디스플레이 장치.
PCT/KR2022/000478 2022-01-11 2022-01-11 차량용 디스플레이 장치 WO2023136369A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2022/000478 WO2023136369A1 (ko) 2022-01-11 2022-01-11 차량용 디스플레이 장치
EP22920702.2A EP4300302A1 (en) 2022-01-11 2022-01-11 Display device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/000478 WO2023136369A1 (ko) 2022-01-11 2022-01-11 차량용 디스플레이 장치

Publications (1)

Publication Number Publication Date
WO2023136369A1 true WO2023136369A1 (ko) 2023-07-20

Family

ID=87279253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/000478 WO2023136369A1 (ko) 2022-01-11 2022-01-11 차량용 디스플레이 장치

Country Status (2)

Country Link
EP (1) EP4300302A1 (ko)
WO (1) WO2023136369A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180083572A (ko) 2017-01-13 2018-07-23 삼성전자주식회사 전자장치 및 그 제어방법
JP6523298B2 (ja) * 2014-01-06 2019-05-29 ジョンソン コントロールズ テクノロジー カンパニーJohnson Controls Technology Company コンピュータシステムと車両インターフェースシステム
KR20190109021A (ko) * 2018-03-16 2019-09-25 현대모비스 주식회사 가상 운영체제를 이용한 제어기기의 표시 제어 장치 및 방법
KR20200110229A (ko) * 2019-03-13 2020-09-23 콘티넨탈 오토모티브 게엠베하 차량 시스템, 차량 및 이러한 차량 시스템을 동작시키기 위한 방법
KR102181589B1 (ko) * 2020-02-05 2020-12-08 에이치에이치홀딩스 주식회사 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템
JP2021162602A (ja) * 2020-03-30 2021-10-11 パナソニックIpマネジメント株式会社 表示制御装置、表示制御システム、及び表示制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6523298B2 (ja) * 2014-01-06 2019-05-29 ジョンソン コントロールズ テクノロジー カンパニーJohnson Controls Technology Company コンピュータシステムと車両インターフェースシステム
KR20180083572A (ko) 2017-01-13 2018-07-23 삼성전자주식회사 전자장치 및 그 제어방법
KR20190109021A (ko) * 2018-03-16 2019-09-25 현대모비스 주식회사 가상 운영체제를 이용한 제어기기의 표시 제어 장치 및 방법
KR20200110229A (ko) * 2019-03-13 2020-09-23 콘티넨탈 오토모티브 게엠베하 차량 시스템, 차량 및 이러한 차량 시스템을 동작시키기 위한 방법
KR102181589B1 (ko) * 2020-02-05 2020-12-08 에이치에이치홀딩스 주식회사 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템
JP2021162602A (ja) * 2020-03-30 2021-10-11 パナソニックIpマネジメント株式会社 表示制御装置、表示制御システム、及び表示制御方法

Also Published As

Publication number Publication date
EP4300302A1 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
WO2022181960A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2016035990A1 (en) Audio device
WO2021225278A1 (ko) 전자 장치 및 전자 장치에서 배터리 공유 방법
WO2023136369A1 (ko) 차량용 디스플레이 장치
WO2023101070A1 (ko) 차량용 통신 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2023136376A1 (ko) 차량용 디스플레이 장치
WO2024034709A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024085283A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023195559A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024034708A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2022240217A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 통신 장치
WO2022103093A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023113079A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024080419A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023136374A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024034750A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 증강현실 장치
WO2023113078A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023136373A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023277634A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 통신 장치
WO2023239009A1 (ko) 차량의 신호 처리 장치 및 이를 구비하는 차량용 통신 장치용 통신 장치
WO2023191195A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023043000A1 (ko) 가상 사설 네트워크를 통해 통신하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체
WO2024071942A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2024071475A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024071476A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920702

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022920702

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022920702

Country of ref document: EP

Effective date: 20230930