WO2024071945A1 - 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치 - Google Patents

신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치 Download PDF

Info

Publication number
WO2024071945A1
WO2024071945A1 PCT/KR2023/014737 KR2023014737W WO2024071945A1 WO 2024071945 A1 WO2024071945 A1 WO 2024071945A1 KR 2023014737 W KR2023014737 W KR 2023014737W WO 2024071945 A1 WO2024071945 A1 WO 2024071945A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
display
signal processing
processing device
image
Prior art date
Application number
PCT/KR2023/014737
Other languages
English (en)
French (fr)
Inventor
이철희
박남용
이동규
윤태석
정상경
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2024071945A1 publication Critical patent/WO2024071945A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023—Avoiding failures by using redundant parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5007—Internet protocol [IP] addresses

Definitions

  • the present disclosure relates to a signal processing device and a vehicle display device equipped with the same, and more specifically, to a signal processing device capable of stably displaying images on a network display and a vehicle display device provided therewith.
  • a vehicle is a device that moves the user in the desired direction.
  • a representative example is a car.
  • a vehicle signal processing device is installed inside the vehicle.
  • the problem that the present disclosure aims to solve is to provide a signal processing device that can stably display images on a network display and a vehicle display device equipped with the same.
  • Another problem that the present disclosure aims to solve is to provide a signal processing device that can stably display an image when a display is added and a vehicle display device equipped with the same.
  • a signal processing device and a vehicle display device including the same include a processor that controls at least one display connected to a network port, and the processor displays graphic image-related data or video on the display. Controls data transmission.
  • the processor can control to transmit graphic image-related data when transmission of graphic image-related data to the display is possible, and to transmit image data when transmission of graphic image-related data to the display is not possible.
  • the processor may include a gateway manager that performs network management for displays connected to the network and a window manager that manages settings for images displayed on the display.
  • the processor can control transmission of graphic image-related data or video data to the display through Ethernet communication.
  • the processor may execute a plurality of virtualization machines on a hypervisor, and control a first virtualization machine among the plurality of virtualization machines to transmit graphic image-related data or image data to a display.
  • the first virtual machine may run a gateway manager that performs network management for a display connected to the network and a window manager that manages settings for images displayed on the display.
  • the first virtual machine can control to transmit graphic image-related data or video data to the plurality of displays.
  • the first virtual machine can be controlled to output the second image data to the cluster display connected to the display port.
  • the second virtualization machine among the plurality of virtualization machines transmits image source data to the first virtualization machine, and the first virtualization machine controls the display to transmit graphic image-related data or image data based on the image source data. can do.
  • the first virtual machine may receive information about a second display additionally connected to the network and control transmission of graphic image-related data or video data to the second display.
  • the first virtual machine can control the size or resolution of graphic image-related data or image data transmitted to the display and the second display, respectively.
  • graphic image-related data may include graphic variable data and drawing command data.
  • the transmitted graphic variable data may include address information data within the memory of the signal processing device indicated by the pointer data.
  • the first virtual machine may synchronize the memory corresponding to the processor and the memory corresponding to the display.
  • the first virtual machine may control the difference data between previous data and current data recorded in the memory corresponding to the processor to be transmitted to the memory corresponding to the display.
  • the first virtual machine when synchronizing the memory, operates when the first address area in the memory based on the first pointer data overlaps at least partially with the second address area in the memory based on the previously synchronized second pointer data.
  • third pointer data corresponding to the third address area including the area, the first address area, and the second address area, and control to transmit graphic image-related data including the generated third pointer data.
  • the first virtual machine can be controlled to transmit graphic image-related data or video data to a display connected to the area signal processing device.
  • a signal processing device and a vehicle display device including the same include a processor that controls at least one display connected to a network port, and the processor provides graphic image-related data or video data to the display. is controlled to transmit, and the second image data is output to the cluster display connected to the display port.
  • a signal processing device and a vehicle display device including the same include a processor that controls at least one display connected to a network port, and the processor displays graphic image-related data or video on the display. Controls data transmission. Accordingly, images can be displayed stably on the network display.
  • the processor can control to transmit graphic image-related data when transmission of graphic image-related data to the display is possible, and to transmit image data when transmission of graphic image-related data to the display is not possible. Accordingly, images can be displayed stably on the network display.
  • the processor may include a gateway manager that performs network management for displays connected to the network and a window manager that manages settings for images displayed on the display. Accordingly, images can be displayed stably on the network display.
  • the processor can control transmission of graphic image-related data or video data to the display through Ethernet communication. Accordingly, images can be displayed stably on the network display.
  • the processor may execute a plurality of virtualization machines on a hypervisor, and control a first virtualization machine among the plurality of virtualization machines to transmit graphic image-related data or video data to a display. Accordingly, images can be displayed stably on a network display.
  • the first virtual machine may run a gateway manager that performs network management for a display connected to the network and a window manager that manages settings for images displayed on the display. Accordingly, images can be displayed stably on a network display.
  • the first virtual machine can control to transmit graphic image-related data or video data to the plurality of displays. Accordingly, images can be displayed stably on the network display. In particular, it is possible to display images stably when adding a display.
  • the first virtual machine can be controlled to output the second image data to the cluster display connected to the display port. Accordingly, it is possible to stably display images on a cluster display connected to the display port.
  • the second virtualization machine among the plurality of virtualization machines transmits image source data to the first virtualization machine, and the first virtualization machine controls the display to transmit graphic image-related data or image data based on the image source data. can do. Accordingly, images can be displayed stably on a network display.
  • the first virtual machine may receive information about a second display additionally connected to the network and control transmission of graphic image-related data or video data to the second display. Accordingly, images can be displayed stably even when a display is added.
  • the first virtual machine can control the size or resolution of graphic image-related data or image data transmitted to the display and the second display, respectively. Accordingly, images can be displayed stably on the network display.
  • graphic image-related data may include graphic variable data and drawing command data. Accordingly, images can be displayed stably on the network display.
  • the transmitted graphic variable data may include address information data within the memory of the signal processing device indicated by the pointer data. Accordingly, images can be displayed stably on a network display.
  • the first virtual machine may synchronize the memory corresponding to the processor and the memory corresponding to the display. Accordingly, images can be displayed stably on the network display.
  • the first virtual machine may control the difference data between previous data and current data recorded in the memory corresponding to the processor to be transmitted to the memory corresponding to the display. Accordingly, images can be displayed stably on the network display.
  • the first virtual machine when synchronizing the memory, operates when the first address area in the memory based on the first pointer data overlaps at least partially with the second address area in the memory based on the previously synchronized second pointer data.
  • third pointer data corresponding to the third address area including the area, the first address area, and the second address area, and control to transmit graphic image-related data including the generated third pointer data. . Accordingly, images can be displayed stably on a network display.
  • the first virtual machine can be controlled to transmit graphic image-related data or video data to a display connected to the area signal processing device. Accordingly, images can be displayed stably on the network display.
  • a signal processing device and a vehicle display device including the same include a processor that controls at least one display connected to a network port, and the processor provides graphic image-related data or video data to the display. is controlled to transmit, and the second image data is output to the cluster display connected to the display port. Accordingly, images can be displayed stably on both the network display and the cluster display connected to the display port.
  • FIG. 1 is a diagram showing an example of the exterior and interior of a vehicle.
  • FIGS. 2 to 2C are diagrams showing various architectures of a vehicle communication gateway.
  • FIG. 3A is a diagram illustrating an example of the arrangement of a vehicle display device inside a vehicle.
  • FIG. 3B is a diagram illustrating another example of the arrangement of a vehicle display device inside a vehicle.
  • FIG. 4 is an example of an internal block diagram of the vehicle display device of FIG. 3B.
  • FIGS. 5A to 5D are diagrams illustrating various examples of vehicle display devices.
  • Figure 6 is an example of a block diagram of a vehicle display device according to an embodiment of the present disclosure.
  • FIGS. 7A to 7B are diagrams referenced in the description of a signal processing device related to the present disclosure.
  • Figure 8A is an example of a signal processing device according to an embodiment of the present disclosure.
  • Figure 8b is another example of a signal processing device according to an embodiment of the present disclosure.
  • Figure 9 is another example of a block diagram of a vehicle display device according to an embodiment of the present disclosure.
  • FIGS. 10A to 11 are diagrams referenced in the description of FIG. 9 .
  • Figure 12 is a flowchart showing a method of operating a vehicle display device according to an embodiment of the present disclosure.
  • FIGS. 13A to 16E are diagrams referenced in the description of the operation of FIG. 9 or FIG. 12 .
  • Figure 17 is an example of an internal block diagram of a data transmission device and a data reception device that transmits graphic image-related data according to an embodiment of the present disclosure.
  • FIG. 18A is a flowchart showing a method of operating a data transmission device according to an embodiment of the present disclosure.
  • FIGS. 18B to 20D are diagrams referenced to explain various examples of the operating method of the data transmission device of FIG. 18A.
  • module and “part” for components used in the following description are simply given in consideration of the ease of writing this specification, and do not in themselves give any particularly important meaning or role. Accordingly, the terms “module” and “unit” may be used interchangeably.
  • FIG. 1 is a diagram showing an example of the exterior and interior of a vehicle.
  • the vehicle 200 is operated by a plurality of wheels 103FR, 103FL, and 103RL rotated by a power source and a steering wheel 150 to control the direction of movement of the vehicle 200.
  • the vehicle 200 may be further equipped with a camera 195 for acquiring images in front of the vehicle.
  • the vehicle 200 may be equipped with a plurality of displays 180a and 180b inside for displaying images, information, etc.
  • a cluster display 180a and an Audio Video Navigation (AVN) display 180b are illustrated as a plurality of displays 180a and 180b.
  • AVB Audio Video Navigation
  • HUD Head Up Display
  • the AVN (Audio Video Navigation) display 180b may also be called a center information display.
  • the vehicle 200 described in this specification may be a concept that includes all vehicles including an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source. there is.
  • FIGS. 2 to 2C are diagrams showing various architectures of a vehicle communication gateway.
  • Figure 2 is a diagram showing the first architecture of a vehicle communication gateway.
  • the first architecture 300a may correspond to a zone-based architecture.
  • sensor devices and processors inside the vehicle may be placed in each of the plurality of zones (Z1 to Z4), and in the central area of the plurality of zones (Z1 to Z4), a vehicle communication gateway ( A signal processing device 170a including GWDa) may be disposed.
  • the signal processing device 170a may further include an autonomous driving control module (ACC), a cockpit control module (CPG), etc., in addition to the vehicle communication gateway (GWDa).
  • ACC autonomous driving control module
  • CPG cockpit control module
  • GWDa vehicle communication gateway
  • the vehicle communication gateway (GWDa) in the signal processing device 170a may be a High Performance Computing (HPC) gateway.
  • HPC High Performance Computing
  • the signal processing device 170a of FIG. 2 is an integrated HPC and can exchange data with an external communication module (not shown) or a processor (not shown) within a plurality of zones (Z1 to Z4).
  • FIG. 3A is a diagram illustrating an example of the arrangement of a vehicle display device inside a vehicle.
  • cluster display 180a
  • AVN Audio Video Navigation
  • Rear Seat Entertainment display 180c, 180d
  • room mirror display not shown
  • FIG. 3B is a diagram illustrating another example of the arrangement of a vehicle display device inside a vehicle.
  • the vehicle display device 100 performs signal processing to display images, information, etc. on a plurality of displays 180a to 180b, and a plurality of displays 180a to 180b, and at least one A signal processing device 170 that outputs an image signal to the displays 180a to 180b may be provided.
  • the first display (180a) is a cluster display (180a) for displaying driving status, operation information, etc.
  • the second display (180b) is a cluster display (180a) for displaying vehicle operation information, navigation maps, and various other displays. It may be an AVN (Audio Video Navigation) display 180b for displaying entertainment information or images.
  • AVN Audio Video Navigation
  • the signal processing device 170 has a processor 175 therein, and can execute first to third virtualization machines (not shown) on a hypervisor (not shown) within the processor 175.
  • a second virtualization machine (not shown) may operate for the first display 180a, and a third virtualization machine (not shown) may operate for the second display 180b.
  • the first virtualization machine (not shown) in the processor 175 shares the hypervisor 505 based on the second virtualization machine (not shown) and the third virtualization machine (not shown) to transmit the same data.
  • the memory 508 can be controlled to be set. Accordingly, the same information or the same image can be displayed in synchronization on the first display 180a and the second display 180b within the vehicle.
  • the first virtual machine (not shown) in the processor 175 shares at least part of the data with the second virtual machine (not shown) and the third virtual machine (not shown) for data sharing processing. Accordingly, data can be shared and processed by multiple virtual machines for multiple displays within the vehicle.
  • the first virtual machine (not shown) in the processor 175 receives and processes wheel speed sensor data of the vehicle into at least one of a second virtual machine (not shown) or a third virtual machine (not shown). , the processed wheel speed sensor data can be transmitted. Accordingly, it is possible to share the vehicle's wheel speed sensor data with at least one virtual machine, etc.
  • the vehicle display device 100 may further include a Rear Seat Entertainment display 180c for displaying driving status information, simple navigation information, and various entertainment information or images. You can.
  • the signal processing device 170 executes a fourth virtualization machine (not shown) in addition to the first to third virtualization machines (not shown) on the hypervisor (not shown) in the processor 175, and performs RSE
  • the display 180c can be controlled.
  • some of the plurality of displays 180a to 180c may operate based on Linux OS, and others may operate based on web OS.
  • the signal processing device 170 can control displays 180a to 180c operating under various operating systems (OS) to display the same information or the same image in synchronization.
  • OS operating systems
  • the vehicle speed indicator 212a and the vehicle internal temperature indicator 213a are displayed on the first display 180a, and a plurality of applications and the vehicle speed indicator 212b are displayed on the second display 180b.
  • a home screen 222 including a vehicle interior temperature indicator 213b is displayed, and a second home screen 222b including a plurality of applications and a vehicle interior temperature indicator 213c is displayed on the third display 180c. Example of what is displayed.
  • FIG. 4 is an example of an internal block diagram of the vehicle display device of FIG. 3B.
  • a vehicle display device 100 includes an input unit 110, a communication unit 120 for communication with an external device, and a plurality of communication modules (EMa to EMd) for internal communication. , it may be provided with a memory 140, a signal processing device 170, a plurality of displays (180a to 180c), an audio output unit 185, and a power supply unit 190.
  • a plurality of communication modules may be respectively disposed in a plurality of zones (Z1 to Z4) in FIG. 2 .
  • the signal processing device 170 may be provided with a communication switch 736b therein for data communication with each communication module (EM1 to EM4).
  • Each communication module may perform data communication with a plurality of sensor devices (SN) or ECU (770) or area signal processing device (170Z).
  • the plurality of sensor devices SN may include a camera 195, LIDAR 196, radar 197, or location sensor 198.
  • the input unit 110 may be equipped with physical buttons, pads, etc. for button input, touch input, etc.
  • the input unit 110 may be equipped with a microphone (not shown) for user voice input.
  • the communication unit 120 can exchange data with the mobile terminal 800 or the server 900 in a wireless manner.
  • the communication unit 120 can exchange data wirelessly with the vehicle driver's mobile terminal.
  • various data communication methods such as Bluetooth, WiFi, WiFi Direct, and APiX are possible.
  • the communication unit 120 may receive weather information, road traffic situation information, for example, Transport Protocol Expert Group (TPEG) information, from the mobile terminal 800 or the server 900.
  • TPEG Transport Protocol Expert Group
  • the communication unit 120 may be equipped with a mobile communication module (not shown).
  • a plurality of communication modules receive sensor data, etc. from the ECU (770), sensor device (SN), or area signal processing device (170Z), and transmit the received sensor data to the signal processing device (170). Can be transmitted.
  • sensor data includes vehicle direction data, vehicle location data (GPS data), vehicle angle data, vehicle speed data, vehicle acceleration data, vehicle tilt data, vehicle forward/backward data, battery data, fuel data, tire data, vehicle It may include at least one of lamp data, vehicle interior temperature data, and vehicle interior humidity data.
  • These sensor data include heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/reverse sensor, wheel sensor, vehicle speed sensor, It can be obtained from a vehicle body tilt sensor, battery sensor, fuel sensor, tire sensor, steering sensor by steering wheel rotation, vehicle interior temperature sensor, vehicle interior humidity sensor, etc.
  • the position module may include a GPS module or a location sensor 198 for receiving GPS information.
  • At least one of the plurality of communication modules may transmit location information data sensed by the GPS module or the location sensor 198 to the signal processing device 170.
  • At least one of the plurality of communication modules receives vehicle front image data, vehicle side image data, vehicle rear image data, and vehicle surroundings from the camera 195, lidar 196, or radar 197. Obstacle distance information, etc. may be received, and the received information may be transmitted to the signal processing device 170.
  • the memory 140 may store various data for the overall operation of the vehicle display device 100, such as a program for processing or controlling the signal processing device 170.
  • the memory 140 may store data related to a hypervisor and first to third virtualization machines for execution in the processor 175.
  • the audio output unit 185 converts the electrical signal from the signal processing device 170 into an audio signal and outputs it. For this purpose, speakers, etc. may be provided.
  • the power supply unit 190 can supply power required for the operation of each component under the control of the signal processing device 170.
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • the signal processing device 170 controls the overall operation of each unit within the vehicle display device 100.
  • the signal processing device 170 may include a processor 175 that performs signal processing for the vehicle displays 180a and 180b.
  • the processor 175 may execute first to third virtualization machines (not shown) on a hypervisor (not shown) within the processor 175.
  • the first virtual machine (not shown) may be called a Server Virtual Machine (Server Virtual maschine), and the second to third virtual machines (not shown) may be referred to as Server Virtual maschine. ) can be named a Guest Virtual maschine.
  • Server Virtual maschine a Server Virtual Machine
  • Guest Virtual maschine a Guest Virtual maschine.
  • a first virtualization machine (not shown) in processor 175 may store sensor data from a plurality of sensor devices, such as vehicle sensor data, location information data, camera image data, audio data, or touch input data. can be received, processed or processed and output.
  • the first virtual machine directly receives CAN data, Ethernet data, audio data, radio data, USB data, and wireless communication data for the second to third virtual machines (not shown). and can be processed.
  • the first virtualization machine may transmit the processed data to the second to third virtualization machines (not shown).
  • the first virtual machine (not shown) among the first to third virtual machines (not shown) receives sensor data, communication data, or external input data from a plurality of sensor devices, and performs signal processing.
  • the burden of signal processing on other virtual machines is reduced, 1:N data communication becomes possible, and synchronization during data sharing becomes possible.
  • the first virtualization machine (not shown) records data in the shared memory 508 and controls the same data to be shared with the second virtualization machine (not shown) and the third virtualization machine (not shown). .
  • a first virtualization machine (not shown) records vehicle sensor data, the location information data, the camera image data, or the touch input data to the shared memory 508, and writes the second virtualization machine (not shown) to the shared memory 508. ) and a third virtual machine (not shown) can be controlled to share the same data. Accordingly, sharing of data in a 1:N manner becomes possible.
  • the first virtualization machine (not shown) in the processor 175 shares the hypervisor 505 based on the second virtualization machine (not shown) and the third virtualization machine (not shown) to transmit the same data.
  • the memory 508 can be controlled to be set.
  • the signal processing device 170 can process various signals, such as audio signals, video signals, and data signals.
  • the signal processing device 170 may be implemented in the form of a system on chip (SOC).
  • the signal processing device 170 in the display device 100 of FIG. 4 may be the same as the signal processing devices 170, 170a1, and 170a2 of the vehicle display device shown in FIG. 5A and below.
  • FIGS. 5A to 5D are diagrams illustrating various examples of vehicle display devices.
  • FIG. 5A shows an example of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 800a includes signal processing devices 170a1 and 170a2 and a plurality of region signal processing devices 170Z1 to 170Z4.
  • the signal processing devices 170a1 and 170a2 may also be called HPC (High Performance Computing) signal processing devices.
  • the plurality of area signal processing devices 170Z1 to 170Z4 are disposed in each area Z1 to Z4 and can transmit sensor data to the signal processing devices 170a1 and 170a2.
  • the signal processing devices 170a1 and 170a2 receive data by wire from a plurality of area signal processing devices 170Z1 to 170Z4 or the communication device 120.
  • data is exchanged between the signal processing devices 170a1 and 170a2 and a plurality of area signal processing devices 170Z1 to 170Z4 based on wired communication, and the signal processing devices 170a1 and 170a2 and the server 400 are wirelessly connected.
  • data is exchanged based on wireless communication between the communication device 120 and the server 400, and the signal processing devices 170a1 and 170a2 and the communication device 120 are, Data can be exchanged based on wired communication.
  • data received by the signal processing devices 170a1 and 170a2 may include camera data or sensor data.
  • sensor data within a vehicle includes vehicle wheel speed data, vehicle direction data, vehicle location data (GPS data), vehicle angle data, vehicle speed data, vehicle acceleration data, vehicle tilt data, vehicle forward/reverse data, and battery. It may include at least one of data, fuel data, tire data, vehicle lamp data, vehicle interior temperature data, vehicle interior humidity data, vehicle exterior radar data, and vehicle exterior lidar data.
  • camera data may include camera data outside the vehicle and camera data inside the vehicle.
  • the signal processing devices 170a1 and 170a2 may execute a plurality of virtual machines 820, 830, and 840 based on safety.
  • a processor 175 in the signal processing device 170a executes a hypervisor 505, and on the hypervisor 505, according to automotive safety integrity levels (Automotive SIL (ASIL)), first to third Executing virtual machines (820 to 840) is illustrated.
  • ASIL Automotive SIL
  • the first virtual machine 820 may be a virtual machine corresponding to Quality Management (QM), which is the lowest safety level and non-mandatory level in the Automotive Safety Integrity Level (ASIL).
  • QM Quality Management
  • ASIL Automotive Safety Integrity Level
  • the first virtual machine 820 can run an operating system 822, a container runtime 824 on the operating system 822, and containers 827 and 829 on the container runtime 824.
  • the second virtual machine 820 is an automotive safety integrity level (ASIL) corresponding to ASIL A or ASIL B, where the sum of severity, exposure, and controllability is 7 or 8. It could be a virtual machine.
  • ASIL automotive safety integrity level
  • the second virtual machine 820 may run an operating system 832, a container runtime 834 on the operating system 832, and containers 837 and 839 on the container runtime 834.
  • the third virtual machine 840 is an automotive safety integrity level (ASIL) corresponding to ASIL C or ASIL D, where the sum of severity, exposure, and controllability is 9 or 10. It could be a virtual machine.
  • ASIL automotive safety integrity level
  • ASIL D can correspond to grades requiring the highest safety level.
  • the third virtual machine 840 can run the safety operating system 842 and the application 845 on the operating system 842.
  • the third virtual machine 840 may run the safety operating system 842, the container runtime 844 on the safety operating system 842, and the container 847 on the container runtime 844.
  • the third virtual machine 840 may be executed through a separate core rather than the processor 175. This will be described later with reference to FIG. 5B.
  • FIG. 5B shows another example of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 800b includes signal processing devices 170a1 and 170a2 and a plurality of region signal processing devices 170Z1 to 170Z4.
  • the vehicle display device 800b of FIG. 5B is similar to the vehicle display device 800a of FIG. 5A, but the signal processing device 170a1 has some differences from the signal processing device 170a1 of FIG. 5A.
  • the signal processing device 170a1 may include a processor 175 and a second processor 177.
  • the processor 175 in the signal processing device 170a1 executes a hypervisor 505, and on the hypervisor 505, according to an automotive safety integrity level (Automotive SIL (ASIL)), first to second virtualization machines ( 820 ⁇ 830).
  • ASIL Automotive SIL
  • the first virtual machine 820 can run an operating system 822, a container runtime 824 on the operating system 822, and containers 827 and 829 on the container runtime 824.
  • the second virtual machine 820 may run an operating system 832, a container runtime 834 on the operating system 832, and containers 837 and 839 on the container runtime 834.
  • the second processor 177 in the signal processing device 170a1 may execute the third virtual machine 840.
  • the third virtual machine 840 can execute the safety operating system 842, Autosa 845 on the operating system 842, and application 845 on Autosa 845. That is, unlike FIG. 5A, Autosa 846 on the operating system 842 can be further executed.
  • the third virtual machine 840 may run the safety operating system 842, the container runtime 844 on the safety operating system 842, and the container 847 on the container runtime 844, similar to FIG. 5A. there is.
  • the third virtual machine 840 which requires a high security level, is preferably executed on a second processor 177, which is a different core or different processor, unlike the first to second virtual machines 820 to 830. .
  • the second signal processing device 170a2 which serves as a backup, may operate.
  • the signal processing devices 170a1 and 170a2 can operate simultaneously, with the first signal processing device 170a operating as the main and the second signal processing device 170a2 operating as the sub. This will be described with reference to FIGS. 5C and 5D.
  • Figure 5C shows another example of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 800c includes signal processing devices 170a1 and 170a2 and a plurality of region signal processing devices 170Z1 to 170Z4.
  • the signal processing devices 170a1 and 170a2 may also be called HPC (High Performance Computing) signal processing devices.
  • the plurality of area signal processing devices 170Z1 to 170Z4 are disposed in each area Z1 to Z4 and can transmit sensor data to the signal processing devices 170a1 and 170a2.
  • the signal processing devices 170a1 and 170a2 receive data by wire from a plurality of area signal processing devices 170Z1 to 170Z4 or the communication device 120.
  • data is exchanged between the signal processing devices 170a1 and 170a2 and a plurality of area signal processing devices 170Z1 to 170Z4 based on wired communication, and the signal processing devices 170a1 and 170a2 and the server 400 are wirelessly connected.
  • data is exchanged based on wireless communication between the communication device 120 and the server 400, and the signal processing devices 170a1 and 170a2 and the communication device 120 are, Data can be exchanged based on wired communication.
  • data received by the signal processing devices 170a1 and 170a2 may include camera data or sensor data.
  • the processor 175 in the first signal processing device 170a1 among the signal processing devices 170a1 and 170a2 runs the hypervisor 505, and on the hypervisor 505, the safety virtualization machine 860 ) and a non-safety virtualization machine 870 can be run, respectively.
  • the processor 175b in the second signal processing device 170a2 among the signal processing devices 170a1 and 170a2 executes the hypervisor 505b, and operates the safety virtualization machine 880 on the hypervisor 505. ) can only be executed.
  • FIG. 5D shows another example of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 800d includes signal processing devices 170a1 and 170a2 and a plurality of region signal processing devices 170Z1 to 170Z4.
  • the vehicle display device 800d of FIG. 5D is similar to the vehicle display device 800c of FIG. 5C, but the second signal processing device 170a2 has some differences from the second signal processing device 170a2 of FIG. 5C.
  • the processor 175b in the second signal processing device 170a2 of FIG. 5D runs a hypervisor 505b, and on the hypervisor 505, a safety virtualization machine 880 and a non-safety virtualization machine ( 890) can be executed respectively.
  • the difference is that the processor 175b in the second signal processing device 170a2 further executes the non-safety virtualization machine 890.
  • safety and non-safety processing are separated between the first signal processing device 170a1 and the second signal processing device 170a2, thereby improving stability and processing speed. .
  • Figure 6 is an example of a block diagram of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 900 includes a signal processing device 170 and at least one display.
  • At least one display is exemplified by a cluster display 180a, an AVN display 180b, and a network display 180c and 180d.
  • the cluster display 180a and the AVN display 180b may each be connected to a display port.
  • the network displays 180c and 180d may be connected to the vehicle's internal network through network ports, respectively.
  • the network at this time may be an Ethernet network based on Ethernet communication.
  • the network displays 180c and 180d are illustrated as being connected to the third region signal processing device 170Z3 and the fourth region signal processing device 170Z4, respectively. However, in contrast, they are connected to other region signal processing devices or , it is also possible to directly connect to the signal processing device 170.
  • the vehicle display device 900 may further include a plurality of region signal processing devices 170Z1 to 170Z4.
  • the signal processing device 170 is a high-performance, centralized signal processing and control device having a plurality of CPUs 175, GPUs 178, and NPUs 179, and is a High Performance Computing (HPC) signal processing device or It can be called a central signal processing unit.
  • HPC High Performance Computing
  • the plurality of area signal processing devices 170Z1 to 170Z4 and the signal processing device 170 are connected with wired cables (CB1 to CB4).
  • the plurality of area signal processing devices 170Z1 to 170Z4 may be connected with wired cables (CBa to CBd), respectively.
  • the wired cable may include a CAN communication cable, an Ethernet communication cable, or a PCI Express cable.
  • the signal processing device 170 may include at least one processor (175, 178, 177) and a large-capacity storage device 925.
  • the signal processing device 170 may include a central processor 175 and 177, a graphics processor 178, and a neural processor 179.
  • sensor data may be transmitted to the signal processing device 170 from at least one of the plurality of area signal processing devices 170Z1 to 170Z4.
  • sensor data may be stored in the storage device 925 within the signal processing device 170.
  • the sensor data includes camera data, lidar data, radar data, vehicle direction data, vehicle location data (GPS data), vehicle angle data, vehicle speed data, vehicle acceleration data, vehicle tilt data, vehicle forward/backward data, It may include at least one of battery data, fuel data, tire data, vehicle lamp data, vehicle interior temperature data, and vehicle interior humidity data.
  • camera data from the camera 195a and lidar data from the lidar sensor 196 are input to the first area signal processing device 170Z1, and camera data and lidar data are input to the second area. In this example, it is transmitted to the signal processing device 170 via the signal processing device 170Z2 and the third area signal processing device 170Z3.
  • the data reading or writing speed to the storage device 925 is faster than the network speed when sensor data is transmitted to the signal processing device 170 from at least one of the plurality of area signal processing devices 170Z1 to 170Z4. Therefore, it is desirable to perform multi-path routing to prevent network bottlenecks from occurring.
  • the signal processing device 170 may perform multi-path routing based on a software defined network (SDN). Accordingly, it is possible to secure a stable network environment when reading or writing data in the storage device 925. Furthermore, since data can be transmitted to the storage device 925 using multiple paths, data can be transmitted by dynamically changing the network configuration.
  • SDN software defined network
  • Data communication between the signal processing device 170 and the plurality of area signal processing devices 170Z1 to 170Z4 in the vehicle display device 900 according to an embodiment of the present disclosure is performed using high-speed external components for high-bandwidth, low-latency communication. It is preferable that it is a connection (Peripheral Component Interconnect Express) communication.
  • connection Peripheral Component Interconnect Express
  • FIGS. 7A to 7B are diagrams referenced in the description of a signal processing device related to the present disclosure.
  • FIG. 7A illustrates a display device including a signal processing device related to the present disclosure.
  • the signal processing device 170x related to the present disclosure may execute or be equipped with an ADAS processing unit (ACC) and a cockpit processing unit (CPG).
  • ACC ADAS processing unit
  • CPG cockpit processing unit
  • the signal processing device 170x receives camera data from the plurality of cameras 195a to 195d and 195f through SerDes communication (VBb).
  • the signal processing device 170x receives camera data from some cameras 195e and sensor data from the lidar 197 or radar 196 through Ethernet communication (VBa).
  • the signal processing device 170x transmits each video signal to the plurality of displays 180a to 180c and 180m through SerDes communication (VBb).
  • FIG. 7B is a diagram illustrating the sudden communication of FIG. 8A.
  • the signal processing device 170x in the first circuit board BDx transmits the serially converted signal through the SerDes communication unit 671 to the second circuit board through the connector 672. It can be transmitted as (BDy).
  • the SerDes communication unit 674 in the second circuit board (BDy) can convert the input serial signal into a parallel signal and transmit the converted signal to the display 184X using a communication method such as I2C. there is.
  • this disclosure proposes a method of transmitting an image signal to a display through Ethernet communication in addition to SerDes communication. This will be described with reference to FIG. 8A and below.
  • Figure 8A is an example of a signal processing device according to an embodiment of the present disclosure.
  • the signal processing device 170 in the vehicle display device 800a includes an ADAS processing unit (ACC) that receives camera data and performs signal processing, and a cockpit processing unit that outputs an image signal. (CPG) can be implemented or equipped.
  • ACC ADAS processing unit
  • CPG cockpit processing unit that outputs an image signal.
  • the signal processing device 170 includes a processor 175 that receives camera data and performs signal processing or outputs an image signal.
  • an ADAS processing unit (ACC) or a cockpit processing unit (CPG) that outputs an image signal may be executed within the processor 175.
  • ACC ADAS processing unit
  • CPG cockpit processing unit
  • the signal processing device 170 receives camera data from the plurality of cameras 195a to 195e through Ethernet communication (VBa).
  • the signal processing device 170 receives camera data from some (195a to 195c) of the plurality of cameras (195a to 195e) via Ethernet communication (VBa) via the first area signal processing device (170Z1). ), you can receive it.
  • the signal processing device 170 receives camera data from other parts (195d to 195e) of the plurality of cameras (195a to 195e) via the second area signal processing device (170Z2) through Ethernet communication (VBa). You can receive it through .
  • the signal processing device 170 may receive camera data from some cameras 195f through SerDes communication (VBb).
  • the signal processing device 170 may receive sensor data from the lidar 197 or radar 196 via Ethernet communication (VBa) via the second area signal processing device 170Z2. .
  • the signal processing device 170 transmits each video signal to the plurality of displays 180a to 180c through SerDes communication (VBb).
  • the signal processing device 170 transmits a video signal to the display 180m connected to the network port through Ethernet communication (VBa).
  • the processor 175 in the signal processing device 170 controls to transmit graphic image-related data or video data to the display 180m, taking the Ethernet communication network status into consideration.
  • the processor 175 transmits graphic image-related data when transmission of graphic image-related data to the display 180m is possible, and when transmission of graphic image-related data to the display 180m is impossible, the processor 175 transmits graphic image-related data to the display 180m.
  • the processor 175 controls to transmit image data when transmission of image data to the display 180m is possible, and to transmit graphic image-related data when transmission of image data to the display 180m is not possible. can do. Accordingly, it is possible to display images stably on a network display (180ha). Accordingly, images can be displayed stably on a network display (180m).
  • Figure 8b is another example of a signal processing device according to an embodiment of the present disclosure.
  • the signal processing device 170 in the vehicle display device 800b includes an ADAS processing unit (ACC) that receives camera data and performs signal processing, and a cockpit processing unit that outputs an image signal. (CPG) can be implemented or equipped.
  • ACC ADAS processing unit
  • CPG cockpit processing unit that outputs an image signal.
  • the processor 175 in the signal processing device 170 may execute an ADAS processing unit (ACC) or a cockpit processing unit (CPG) that outputs an image signal.
  • ACC ADAS processing unit
  • CPG cockpit processing unit
  • the signal processing device 170 can transmit each video signal to a plurality of network displays 180d to 180i through Ethernet communication (VBa).
  • the signal processing device 170 transmits each video signal to some (180d to 1805f) of the plurality of network displays (180d to 180i) via the first area signal processing device (170Z1), and performs Ethernet communication. It can be transmitted via (VBa).
  • the signal processing device 170 receives camera data from some cameras 195mb via Ethernet communication (VBa) via the third region signal processing device 170Z3 and the second region signal processing device 170Z2. , can be received.
  • VBa Ethernet communication
  • the signal processing device 170 may receive camera data from some other cameras 195ma through SerDes communication (VBb).
  • the signal processing device 170 transmits each video signal to the plurality of displays 180a to 180c through SerDes communication (VBb).
  • the signal processing device 170 may transmit graphic image-related data or video data to a plurality of network displays 180d to 180i connected to an Ethernet network port, respectively. Accordingly, images can be displayed stably on a network display.
  • Figure 9 is another example of a block diagram of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 1100 includes a signal processing device 170 and at least one display (180ha) connected to a network port (NTa).
  • the vehicle display device 1100 may further include a plurality of area signal processing devices 170z1 to 170z4.
  • the signal processing device 170 obtains a processor (175 in FIG. 6) that controls at least one display 180ha connected to the network port NTa.
  • the processor 175 controls to transmit graphic image-related data or video data to the display 180ha.
  • the processor 175 may control transmission of graphic image-related data or image data to the display 180ha through Ethernet communication.
  • the processor 175 transmits graphic image-related data when transmission of graphic image-related data is possible to the display (180ha), and when transmission of graphic image-related data is not possible to the display (180ha), the processor 175 transmits graphic image-related data to the display (180ha). You can control data transmission. Accordingly, it is possible to display images stably on a network display (180ha).
  • the processor 175 controls to transmit image data when transmission of image data to the display 180ha is possible, and to transmit graphic image-related data when transmission of image data is not possible to the display 180ha. can do. Accordingly, it is possible to display images stably on a network display (180ha).
  • graphic image-related data may include graphic variable data and drawing command data.
  • the transmitted graphic variable data may include address information data within the memory of the signal processing device 170 indicated by the pointer data.
  • the signal processing device 170 may synchronize the memory corresponding to the processor 175 and the memory corresponding to the display 180ha.
  • the signal processing device 170 may control the difference data between previous data and current data recorded in the memory corresponding to the processor 175 to be transmitted to the memory corresponding to the display 180ha.
  • the signal processing device 170 operates when the first address area in the memory for the first pointer data overlaps at least partially with the second address area in the memory for the previously synchronized second pointer data.
  • third pointer data corresponding to a third address area including an overlapping area, a first address area, and a second address area may be generated, and graphic image-related data including the generated third pointer data may be transmitted.
  • the signal processing device 170 may transmit image data to the cluster display 180a connected to the display port DTa without transmitting graphic image-related data. Accordingly, images can be displayed stably on the cluster display 180a, which does not support Ethernet communication.
  • the signal processing device 170 may transmit video data to the AVN display 180b connected to the display port (DTa) without transmitting graphic image-related data. Accordingly, images can be displayed stably on the AVN display 180b, which does not support Ethernet communication.
  • the second network display (180hb) and the third network display (180hc) may be connected to the signal processing device 170 via the second area signal processing device 170z2.
  • the fourth network display (180hd) may be connected to the signal processing device 170 via the third region signal processing device 170z3.
  • the fifth network display (180he) and the sixth network display (180hf) may be connected to the signal processing device 170 via the third region signal processing device 170z3.
  • the processor 175 in the signal processing device 170 includes a gateway manager 772 that performs network management for at least one display (180ha to 180hf) connected to the network, and at least one display (180ha to 180hf). ) may be provided with a window manager 774 that manages settings for the image displayed.
  • the gateway manager 772 may assign a network address to at least one display (180ha to 180hf) connected to the network.
  • the gateway manager 772 can assign a new network address when adding a new network display.
  • the window manager 774 may set the size or resolution of graphic image-related data or video data based on the resolution of at least one display (180ha to 180hf) connected to the network or the size of the display.
  • the window manager 774 determines the size of graphic image-related data or video data.
  • the resolution can be controlled to be different. Accordingly, it is possible to stably display images suitable for network display.
  • the processor 175 in the signal processing device 170 may further include a virtual display generator 776 that generates content corresponding to a network display.
  • the virtual display generator 776 can generate content corresponding to the characteristics of a network display.
  • the processor 170 in the signal processing device 170 may execute a hypervisor (505 in FIG. 10A) and execute a plurality of virtualization machines (810 and 850 in FIG. 10A) on the hypervisor. This will be described with reference to FIG. 10A and below.
  • FIGS. 10A to 11 are diagrams referenced in the description of FIG. 9 .
  • FIG. 10A is a diagram illustrating an example of transmission of video data.
  • the processor 170 in the signal processing device 170 may execute a plurality of virtualization machines 810 and 850 on the hypervisor 505.
  • the first virtual machine 810 among the plurality of virtualization machines 810 and 850 may be controlled to transmit graphic image-related data or video data to the display 180hd.
  • the drawing illustrates that the first virtual machine 810 transmits image data to the display 180hd.
  • the first virtual machine 810 includes a gateway manager 825 that performs network management for the display 180hd connected to the network, and a window manager that manages settings for the image displayed on the display 180hd ( 842) can be executed.
  • the first virtual machine 810 can control to transmit graphic image-related data or video data to the plurality of displays 180hd and 180n. .
  • the drawing illustrates that the first virtual machine 810 transmits image data to a plurality of displays 180hd and 180n, respectively.
  • the second virtualization machine 850 transmits image source data to the first virtualization machine 810, and the first virtualization machine 810 transmits image source data to the display 180hd. It can be controlled to transmit based graphic image-related data or video data.
  • the first virtualization machine 810 receives information about the second display 180n additionally connected to the network, and the second display 180n This can be controlled to transmit graphic image-related data or video data.
  • the gateway manager 825 in the first virtual machine 810 recognizes the added second display 180n and sets the settings of the recognized second display 180n to the window in the first virtual machine 810. It can be transmitted to the manager (842).
  • the window manager 842 can create a virtual window for the second display 180n and request and receive applications or data necessary for content creation from the cloud, etc.
  • the window manager 842 can control image data for the second display 180n to be compressed and transmitted.
  • the first virtual machine 810 transmits graphic image-related data or video data to the display 180hd and the second display 180n, respectively.
  • the size or resolution can be controlled to be different. Accordingly, images can be displayed stably on the network display (180hd).
  • the image data in FIG. 10A may be a captured image.
  • the second virtual machine 850 may run an encoder 852 and a video capture server 855, and the video capture server 855 in the second virtual machine 850 may transfer the captured image data to the first virtual machine. It can be sent to (810).
  • the video capture client 823 in the first virtual machine 810 receives the captured image data, and the window manager 842 in the application 840 in the first virtual machine 810 creates a window.
  • the unit 841 may output image data corresponding to a window created for the first display 180hd or the second display 180n.
  • the encoder 845 in the first virtual machine 810 may compress the image data and transmit it to the Ethernet driver 811 in the hypervisor 505.
  • the Ethernet driver 811 in the hypervisor 505 can transmit compressed image data to the first network display 180hd connected to the first area signal processing device 170z1 through Ethernet communication. Accordingly, compressed image data can be stably transmitted to the first network display 180hd, and ultimately images can be stably displayed on the first network display 180hd.
  • the Ethernet driver 811 in the hypervisor 505 can transmit compressed image data to the second network display 180n connected to the n-th region signal processing device 170zn through Ethernet communication. Accordingly, compressed image data can be stably transmitted to the second network display 180n, and ultimately images can be stably displayed on the second network display 180n.
  • the first virtual machine 810 can be controlled to output separate second image data rather than graphic image-related data to the cluster display 180a connected to the display port (DTa). Accordingly, it is possible to stably display images on the cluster display 180a connected to the display port DTa.
  • the first virtual machine 810 may synchronize the memory corresponding to the processor 175 and the memory corresponding to the display 180hd. Accordingly, images can be displayed stably on the network display (180hd).
  • the first virtual machine 810 may control the difference data between previous data and current data recorded in the memory corresponding to the processor 175 to be transmitted to the memory corresponding to the display 180hd. Accordingly, images can be displayed stably on the network display (180hd).
  • the first virtual machine 810 when synchronizing the memory, causes the first address area in the memory based on the first pointer data to at least partially overlap with the second address area in the memory based on the previously synchronized second pointer data.
  • control is made to generate third pointer data corresponding to a third address area including an overlapping area, a first address area, and a second address area, and to transmit data related to a graphic image including the generated third pointer data. can do. Accordingly, images can be displayed stably on the network display (180hd).
  • the first virtual machine 810 may control to transmit graphic image-related data or image data to the display 180hd connected to the area signal processing device 170z. Accordingly, images can be displayed stably on the network display (180hd).
  • FIG. 10B is a diagram illustrating another example of transmission of video data.
  • the virtio GPU front end 852 in the second virtual machine 850 may transmit image data to the virtio GPU back end 812 in the first virtual machine 810.
  • command renderer 832 in the application 844 in the first virtual machine 810 may transmit received image data to the window manager 842.
  • the window manager 842 in the first virtual machine 810 may output image data corresponding to a window created for the first display 180hd or the second display 180n.
  • the encoder 845 in the application 844 in the first virtual machine 810 encodes the image data output from the window manager 842 and transmits it to the Ethernet driver 811 in the hypervisor 505. .
  • the Ethernet driver 811 in the hypervisor 505 can transmit compressed image data to the second network display 180n connected to the n-th region signal processing device 170zn through Ethernet communication. Accordingly, compressed image data can be stably transmitted to the second network display 180n, and ultimately images can be stably displayed on the second network display 180n.
  • FIG. 10C is a diagram illustrating an example of transmission of graphic image-related data.
  • the virtio GPU front end 852 in the second virtual machine 850 may transmit image data to the virtio GPU back end 812 in the first virtual machine 810.
  • command renderer 832 in the application 844 in the first virtual machine 810 may transmit received image data to the window manager 842.
  • the window manager 842 in the first virtual machine 810 may output image data corresponding to a window created for the first display 180hd or the second display 180n.
  • the image data output from the window manager 842 is input to the command generator 836 through the window 841, etc., and the command generator 836 can convert the image data into graphic image-related data. .
  • graphic image-related data may include graphic variable data and drawing command data.
  • graphic image-related data output from the command generator 836 may be transmitted to the Ethernet driver 811 in the hypervisor 505 via the command network proxy in the first virtual machine 810.
  • Ethernet driver 811 in the hypervisor 505 may transmit graphic image-related data to the first network display 180hd connected to the first region signal processing device 170z1 through Ethernet communication.
  • the Ethernet driver 811b and the command receiver 832b in the first network display 180hd receive graphic image-related data, and the display framework 842b, openGL ES 847b, GPU driver 813b, and display driver Through (812b), it is converted into video data.
  • data related to graphic images can be stably transmitted to the first network display 180hd, and ultimately images can be stably displayed on the first network display 180hd.
  • Figure 10d is a diagram showing image data and graphic image-related data being transmitted, respectively.
  • the first virtual machine 810 may transmit image data to the second network display 180n, as shown in FIG. 10B.
  • compressed image data can be stably transmitted to the second network display 180n, and ultimately images can be stably displayed on the second network display 180n.
  • the first virtual machine 810 may transmit graphic image-related data to the first network display 180hd, as shown in FIG. 10C.
  • data related to graphic images can be stably transmitted to the first network display 180hd, and ultimately images can be stably displayed on the first network display 180hd.
  • FIG. 10E is a diagram illustrating another example of transmission of graphic image-related data.
  • the virtio GPU front end 852 in the second virtual machine 850 may transmit image data to the virtio GPU back end 812 in the first virtual machine 810.
  • command renderer 832 in the application 844 in the first virtual machine 810 may transmit received image data to the window manager 842.
  • the window manager 842 in the first virtual machine 810 may output image data corresponding to a window created for the first display 180hd or the second display 180n.
  • the image data output from the window manager 842 is input to the command generator 836 through the window 841, etc., and the command generator 836 can convert the image data into graphic image-related data. .
  • graphic image-related data output from the command generator 836 may be transmitted to the Ethernet driver 811 in the hypervisor 505 via the command network proxy in the first virtual machine 810.
  • the Ethernet driver 811 in the hypervisor 505 may transmit graphic image-related data to the second network display 180n connected to the n-th region signal processing device 170zn through Ethernet communication.
  • data related to graphic images can be stably transmitted to the second network display 180n, and ultimately, images can be stably displayed on the second network display 180n.
  • Figure 11 is another example of a block diagram of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 1200 may include a signal processing device 170 and a network display 180z.
  • the signal processing device 170 may execute a plurality of virtual machines 810 and 850.
  • the virtio GPU front end 852 in the second virtual machine 850 may transmit image data to the virtio GPU back end 812 in the first virtual machine 810.
  • command renderer 832 in the application 844 in the first virtual machine 810 may transmit received image data to the window manager 842.
  • the window manager 842 in the first virtual machine 810 may output image data corresponding to a window created for the network display 180z.
  • the image data output from the window manager 842 is input to the command generator 836 through the window 841, etc., and the command generator 836 can convert the image data into graphic image-related data. .
  • graphic image-related data output from the command generator 836 may be transmitted to the Ethernet driver 811 in the hypervisor 505 via the command network proxy 838 in the first virtualization machine 810. .
  • Ethernet driver 811 in the hypervisor 505 can transmit graphic image-related data to the network display 180z connected to the network port via an Ethernet switch (ESH) through Ethernet communication.
  • ESH Ethernet switch
  • Ethernet driver 811b and the command receiver 832b in the network display 180z receive graphic image-related data, and the display framework 842b, openGL ES 847b, GPU driver 813b, and display driver Through (812b), it is converted into video data.
  • data related to graphic images can be stably transmitted to the network display (180z), and ultimately images can be stably displayed on the network display (180z).
  • the virtio GPU front end 852 in the second virtual machine 850 may transmit image data to the virtio GPU back end 812 in the first virtual machine 810.
  • command renderer 832 in the application 844 in the first virtual machine 810 may transmit received image data to the window manager 842.
  • the window manager 842 in the first virtual machine 810 may output image data corresponding to a window created for the network display 180z.
  • the encoder 845 in the first virtual machine 810 may encode the image data output from the window manager 842 and transmit it to the Ethernet driver 811 in the hypervisor 505.
  • Ethernet driver 811 in the hypervisor 505 can transmit compressed image data to the network display 180z connected to the network terminal through Ethernet communication.
  • compressed video data can be stably transmitted to the network display 180z, and ultimately images can be stably displayed on the network display 180z.
  • the signal processing device 170 transmits graphic image-related data when transmission of graphic image-related data is possible to the network display 180z, and when transmission of graphic image-related data is not possible to the network display 180z. , can be controlled to transmit video data.
  • the signal processing device 170 determines whether execution of the display framework 842b, openGL ES 847b, etc. is possible on the network display 180z, and executes the command receiver 832b. If possible, it may be determined that transmission of graphic image-related data to the network display 180z is possible.
  • the signal processing device 170 provides graphics to the network display 180z
  • the command receiver 832b provides graphics to the network display 180z when execution of the display framework 842b, openGL ES 847b, etc. is not possible. It can be determined that transmission of image-related data is possible.
  • the signal processing device 170 transmits image data to the network display 180z when transmission of image data is possible, and transmits graphic image-related data to the network display 180z when transmission of image data is not possible. You can control transmission. Accordingly, images can be displayed stably on the network display (180hd).
  • the signal processing device 170 checks the network status during Ethernet communication, for example, network bandwidth or network speed, and determines that transmission of video data is possible if the bandwidth is greater than the standard value or the speed is greater than the standard value. can do.
  • the signal processing device 170 checks the network status during Ethernet communication, for example, network bandwidth or network speed, and determines that video data cannot be transmitted if the bandwidth is less than the standard value or the speed is less than the standard value. You can judge.
  • Figure 12 is a flowchart showing a method of operating a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device can operate to ensure safety when changing safety requirements displayed on the display.
  • the signal processing device 170 transmits screen data for a network display connected to the area signal processing device 170z (S1010).
  • the area signal processing device 170z receives screen data (S1011), and the network display connected to the area signal processing device 170z displays an image based on the screen data (S1013).
  • the signal processing device 170 changes the safety requirements according to the change in safety requirements (S1015) and transmits the safety requirements and resources (S1020).
  • the area signal processing device 170z receives the safety requirements and resources (S1021) and updates the safety requirements and resources.
  • the signal processing device 170 transmits safety data (S1025).
  • the area signal processing device 170z receives safety data (S1021) and monitors the screen data and safety data to check whether there is an error (S1027).
  • the area signal processing device 170z recovers the safety-related error (S1029), synthesizes screen data and safety data (S1030), and controls the synthesized image to be displayed on the network display (S1035) .
  • screen data may be transmitted according to the transmission method of compressed image data described in FIGS. 10A to 10E
  • safety data may be transmitted according to the transmission method of graphic image-related data described in FIGS. 10A to 10E. can be transmitted.
  • the network display is also capable of displaying graphic image-related data on compressed image data. Accordingly, it is possible to display safety data stably while displaying images stably.
  • Figure 13a is a diagram showing a vehicle display device.
  • the vehicle display device 1000 includes a first central signal processing unit 170a1, a second central signal processing unit 170a2, first to fourth region signal processing units 170z1 to 170z4, and a network display. (180b) may be included.
  • the drawing illustrates that the network display 180b is connected to the second area signal processing device 170z2.
  • the first central signal processing unit 170a1 generates and transmits the screen data IGa of FIG. 12, and the network display 180b receives the screen data via the second area signal processing unit 170z2. can do.
  • Figure 13B illustrates screen 1305 without safety data.
  • the first central signal processing unit 170a1 sends screen data (IGa) corresponding to the screen 1305 without safety data via the second area signal processing unit 170z2 to the network display ( 180b).
  • the screen data (IGa) without safety data may be transmitted according to either the compressed image data transmission method or the graphic image-related data transmission method described in FIGS. 10A to 10E.
  • the network display 180b can stably display the screen 1305 without safety data.
  • FIG. 13C illustrates a screen 1310 with safety data (ICb) added.
  • safety data may be data related to seat belt attachment.
  • the first central signal processing unit 170a1 sends screen data IGa and safety data ICb corresponding to the screen 1305 without safety data, respectively, to the second area signal processing unit 170z2. ) can be transmitted to the network display (180b).
  • the screen data (IGa) without safety data may be transmitted according to either the compressed image data transmission method or the graphic image-related data transmission method described in FIGS. 10A to 10E.
  • safety data (ICb) may be transmitted according to any one of the graphic image-related data transmission methods described in FIGS. 10A to 10E.
  • the network display 180b can combine the screen data IGa and the safety data ICb and stably display the screen 1310 to which the safety data ICb is added.
  • 14A is a flow chart illustrating safety data transmission and display.
  • the signal processing device 170 starts an operation to display an image on the display 180 (S1405), generates a screen transfer request (S1407), and transmits the screen data to the area signal processing device 170z. Transmit to (S1409).
  • the area signal processing device 170z receives screen data (S1409) and transmits it to the network display 180 connected to the area signal processing device 170z (S1410). Accordingly, the network display 180 displays images based on screen data.
  • the signal processing device 170 receives a screen change request when a safety-related screen change is required (S1411), generates safety data corresponding to the change in safety requirements (S1413), and transmits the safety data to the area signal processing device (S1413). 170z) (S1415).
  • coordinate information of safety data, image information, etc. may be transmitted to the area signal processing device 170z.
  • the area signal processing device 170z may update safety requirements based on safety data (S1417).
  • the signal processing device 170 when the first safety condition occurs (S1421), the signal processing device 170 generates first safety condition information (S1423) and transmits the first related data to the area signal processing device 170z ( S1425).
  • the area signal processing device 170z may perform monitoring while transmitting the first related data to the network display 180 (S1429).
  • safety data based on the first related data can be stably displayed on the network display 180.
  • the signal processing device 170 When the second safety condition occurs (S1431), the signal processing device 170 generates second safety condition information (S1433) and transmits the second related data to the area signal processing device 170z ( S1435).
  • the area signal processing device 170z may control error recovery to be performed when an error is confirmed while receiving and monitoring the second related data (S1437).
  • the signal processing device 170 When the third safety condition occurs (S1441), the signal processing device 170 generates third safety condition information (S1443) and transmits fourth related data to the area signal processing device 170z ( S1445).
  • the area signal processing device 170z may perform monitoring while transmitting third related data to the network display 180 (S1449).
  • safety data based on third-related data can be stably displayed on the network display 180.
  • 14B and 14C are diagrams illustrating the movement display of safety data.
  • FIG. 14B illustrates that safety data is displayed on the cluster display 180a and no safety data is displayed on the passenger seat display 180P.
  • the vehicle display device 1000 includes a central signal processing unit (170a, 170b), a plurality of area signal processing units (170z1 to 170z4), a cluster display (180a), and a passenger seat display (180P). It can be provided.
  • the first central signal processing unit 170a sends screen data (IGa) and safety data (ICa, ICb, ICm, ICbn) to the second area signal processing unit 170z2. It can be transmitted to the cluster display 180a, which is a network display, via .
  • the cluster display 180a can display images based on screen data (IGa) and safety icons based on safety data (ICa, ICb, ICm, ICbn).
  • safety icons, etc. are not displayed on the passenger seat display 180P.
  • FIG. 14C illustrates that at least a portion of safety data is moved to the passenger seat display 180P.
  • the first central signal processing unit 170a transmits at least a portion (ICa, ICb) of the safety data (ICa, ICb, ICm, ICbn) via the first area signal processing unit 170z1, It can be transmitted to the passenger seat display (180P), which is a network display.
  • At least part (ICa, ICb) of the data (ICa, ICb, ICm, ICbn) can be displayed on the passenger seat display 180P.
  • 15A is a diagram illustrating various examples of transmission of graphic image-related data.
  • the first central signal processing unit 170a in the vehicle display device 1000 when the safety level is Sm1>Sm2>Sm3>Sm4>Sm5, the first central signal processing unit 170a in the vehicle display device 1000 generates graphic data Sm1 corresponding to the first safety level. can be transmitted to the cluster display 180a via the first region signal processing device 170z1 and the second region signal processing device 170z2.
  • the first central signal processing unit 170a may transmit graphic data Sm2 corresponding to the second safety level to the cluster display 180a via the second area signal processing unit 170z2.
  • the first central signal processing unit 170a may transmit graphic data Sm3 corresponding to the third safety level to the cluster display 180a via the second area signal processing unit 170z2.
  • the first central signal processing unit 170a sends graphic data Sm4 corresponding to the fourth safety level via the first area signal processing unit 170z1 and the second area signal processing unit 170z2, It can be transmitted to the cluster display 180a.
  • the first central signal processing unit 170a sends graphic data Sm5 corresponding to the fifth safety level to the third area signal processing unit 170z3, the fourth area signal processing unit 170z4, and the second area. It can be transmitted to the cluster display 180a via the signal processing device 170z2.
  • FIG. 15B illustrates graphic data displayed on the display corresponding to FIG. 15A.
  • graphic data Sm1 corresponding to the first safety level and graphic data Sm2 corresponding to the second safety level may be displayed on the cluster display 180a as safety graphics 1510.
  • graphic data Sm3 corresponding to the third safety level may be displayed on the cluster display 180a as a speed graphic 1520.
  • graphic data Sm4 corresponding to the fourth safety level and graphic data Sm5 corresponding to the fifth safety level may be displayed on the cluster display 180a as road graphics 1530.
  • the safety graphic 1510 may correspond to safety graphic data
  • the speed graphic 1520 may correspond to non-safety low-capacity graphic data
  • the road graphic 1530 may correspond to non-safety large-capacity graphic data.
  • FIG. 15C is a diagram illustrating safety levels of a plurality of graphic data of FIGS. 15A to 15B.
  • graphic data Sm1 corresponding to the first safety level and graphic data Sm2 corresponding to the second safety bell may correspond to safety graphic data.
  • graphic data (Sm3) corresponding to the third safety level may correspond to nons safety low-capacity graphic data.
  • the graphic data (Sm4) corresponding to the fourth safety level and the graphic data (Sm5) corresponding to the fifth safety bell may correspond to non-safety large-capacity graphic data.
  • FIG. 15D is a diagram illustrating the synthesis of first to fifth graphic data (Sm1 to Sm5).
  • graphic data (Sm3) corresponding to the third safety level is arranged on graphic data (Sm4) corresponding to the fourth safety level and graphic data (Sm5) corresponding to the fifth safety level, Graphic data (Sm1) corresponding to the first safety level may be placed on graphic data (Sm3) corresponding to safety level 3.
  • graphic data (Sm3) corresponding to the third safety level is disposed on the graphic data (Sm4) corresponding to the fourth safety level and graphic data (Sm5) corresponding to the fifth safety level, and the third safety level Graphic data (Sm2) corresponding to the second safety level may be disposed on the graphic data (Sm3) corresponding to.
  • Figures 16A to 16E are diagrams referenced in the description of data transmission in the safety area and non-safety area.
  • FIG. 16A illustrates that among a plurality of frame data, odd-numbered frame data is transmitted through the A path, and even-numbered frame data is divided into the B path.
  • the signal processing device 170 may separate paths for odd-numbered frame data and even-numbered frame data when transmitting graphic image-related data or video data.
  • Figure 16b illustrates dividing one frame data into a plurality of areas and dividing the paths according to the bandwidth of each path.
  • the signal processing device 170 when transmitting graphic image-related data or video data, the signal processing device 170 separates frame data into a plurality of areas, for example, a plurality of tile areas, and uses the separated areas for each transmission. Can be separated by path.
  • Figure 16c illustrates single-path transmission and multi-path transmission during data transmission.
  • from the source to N2 can be transmitted through multiple paths, from N2 to N10 can be transmitted through a single path, and from N10 to the destination can be transmitted through multiple paths.
  • the signal processing device 170 may set an optimal path by considering bandwidth or speed during multi-path transmission as shown in the figure.
  • FIG. 16D is a diagram illustrating an example of multi-path selection.
  • the first path may be a path to a source, N1, N2, N10, or a destination.
  • the second path may be a path to a source, N7, N8, N9, N2, N10, N11, or a destination.
  • the synthetic route may be a route that combines the first route and the second route.
  • the signal processing device 170 may synthesize the first path, the second path, etc., and transmit graphic image-related data or video data through the synthesized path. Accordingly, efficient data transmission is possible.
  • FIG. 16D is a diagram showing an example of a warning change.
  • the first path may be a path to a source, N1, N2, N10, or a destination.
  • the second path may be a path to a source, N1, N2, N10, N3, or a destination.
  • the route is reset to the route of N10, N3, and the destination, as in the second route. You can search and transmit.
  • the signal processing device 170 may transmit graphic image-related data or video data through the second path reset by considering the bandwidth or speed when transmitting the first path. Accordingly, efficient data transmission is possible.
  • the data transmission device 2100 of FIGS. 17 to 20D may be the signal processing device 170 described above, and the data reception device 2600 may be the network display 180.
  • Figure 17 is an example of an internal block diagram of a data transmission device and a data reception device that transmits graphic image-related data according to an embodiment of the present disclosure.
  • the data transmission device 2100 of FIG. 17 includes a memory 2160, a memory manager 2510, an instruction distribution unit 2515, a graphics processor 2520, a compiler 2532, and an encoder 2534. , and may include a transmission unit 2536.
  • a processor may receive it and generate a drawing command to draw a graphic image. there is.
  • the command distributor 2515 transmits a drawing command to the graphics processor 2520, and the graphics processor 2520 generates a corresponding graphic image based on the drawing command. You can. Then, the generated graphic image can be transmitted to a display (not shown) and displayed.
  • the command distribution unit 2515 may transmit a drawing command to the memory manager 2510.
  • the memory cache manager 2510 is for managing memory, a memory cache 2512 for managing graphic variable data in the memory 2510, and a history cache for managing history data in the memory 2510.
  • a cache 2514 may be provided.
  • the memory cache 2512 can be controlled to temporarily store other graphic variable data in response to a received drawing command and then record it in a predetermined address area in the memory.
  • the graphic variable data is pointer data
  • address area data within the memory can be managed.
  • the history cache 2514 can temporarily store history data for each object when there are a plurality of objects in a graphic image to be drawn, and then control it to be stored in memory.
  • the memory manager 2510 may transfer the received graphic image-related data and the graphic variable data stored in the memory 2160 to the compiler 2532 in order to share the graphic image with the data receiving device.
  • graphic variable data or history data stored in the memory 2160 may be used.
  • the compiler (command compiler) 2532 can synthesize graphic variable data and graphic image-related data.
  • the synthesized graphic image-related data may be encoded in a compressor 2534 and transmitted to the data receiving device 2600 through a transmission unit 2536.
  • the data receiving device 2600 of FIG. 17 includes a memory 2660, a memory manager 2610, a rendering unit 2615, a graphics processor 2620, a parser 2632, a decoding unit 2634, and a receiving unit ( sender)(2636).
  • the receiver 2636 receives encoded graphic image-related data in response to the transmitter 2536.
  • the decompressor 2634 decodes the encoded graphic image-related data received from the transmission unit 2536, and the parser 2632 generates graphic variables from the decoded graphic image-related data. Data, and data related to graphic images can be extracted.
  • the extracted graphic variable data and graphic image-related data are transmitted to the memory manager (address converter) 2610, of which the graphic image-related data is transmitted to the rendering unit 2615 for graphic display, and the graphic variable data is transmitted to memory 2660.
  • the graphics processor 2620 generates a graphic image based on graphic image-related data and graphic variable data. And, the generated graphic image can be transmitted and displayed on the display of the video display device.
  • the synchronized data transmission device 2100 and data reception device 2600 can share the same graphic image.
  • graphic images for videos can be shared in real time.
  • data transmission is efficient by transmitting graphic image-related data for creating graphic images and graphic variable data needed to create graphic images, rather than transmitting graphic image data itself. becomes possible to perform.
  • FIG. 18A is a flowchart showing a method of operating a data transmission device according to an embodiment of the present disclosure
  • FIGS. 18B to 20D are diagrams referenced to explain various examples of an operating method of the data transmission device of FIG. 18A.
  • the data transmission device 2100 can receive an input signal (S2610).
  • the data transmission device 2100 may receive a touch input as an example of a user input.
  • the data transmission device 2100 may receive various inputs, such as voice input, key input, and gesture input.
  • the received user input signal may be transmitted to a processor (not shown) within the data transmission device 2100.
  • a processor (not shown) in the data transmission device 2100 may generate graphic image-related data corresponding to a user input signal.
  • a processor in the data transmission device 2100 may generate a graphic image that moves the car image in the graphic image to the left or right.
  • the generation of the graphic image involves the processor generating a drawing command to draw a graphic image in response to a user input signal, and using the generated drawing command and graphic variable data stored in the memory 2160.
  • the graphics processor 2520 can generate a graphic image.
  • the generated graphic image-related data is transmitted to an external data receiving device (S2630).
  • the memory manager 2510 may transfer received graphic image-related data and graphic variable data stored in the memory 2160 to the compiler 2532.
  • the compiler (command compiler) 2532 can synthesize graphic variable data and graphic image-related data.
  • the synthesized graphic image-related data may be encoded in a compressor 2534 and transmitted to the data receiving device 2600 through a transmission unit 2536.
  • the data transmission device 2100 may display a graphic image processed by the graphics processor 2520 on a display (not shown) in response to the generated graphic image-related data.
  • the data receiving device 2600 which is a data receiving device, can display a graphic image processed by the graphics processor 2620 on the display in response to received graphic image-related data.
  • FIG. 19A illustrates that graphic image-related data 2820a, including graphic image-related data and graphic variable data, is transmitted from the data transmission device 2100 to the data reception device 2600.
  • the graphic image-related data may be data (opcode data) corresponding to a function ('Func1()'), and the graphic variable data may be data corresponding to variables ('a', 'b'). .
  • the graphics processor 2520 may perform the drawing function 2810a using graphic image-related data and graphic variable data.
  • the data receiving device 2600 extracts graphic image-related data ('Func1()') and graphic variable data ('a', 'b') from the received graphic image-related data 2820b, and extracts them.
  • the drawing function 2810b can be performed in the graphics processor 2620 in the image display device.
  • the processor of the data transmission device 2100 determines whether the graphic variable data includes pointer data (S2710) and, if applicable, performs memory synchronization.
  • the processor of the data transmission device 2100 generates differential memory data that is the difference between current memory data and previous memory data (S2720). Then, the transmission unit 2536 of the data transmission device 2100 transmits the differential memory data to the data reception device (S2730).
  • the pointer data represents data for the corresponding address area, not the current data stored in memory, so memory synchronization must be performed between the data transmitting device and the data receiving device. do.
  • Figure 19b shows that when pointer data ('ptr') indicating a predetermined address area 2835a in the memory 2160 is included in the graphic variable data, the memory 2160 of the data transmission device 2100 and the data reception device ( The memory 2660 of 2600 performs synchronization, and then, in the data transmission device 2100, graphic image-related data 2840a including graphic image-related data and graphic variable data is transmitted to the data receiving device 2600. This example is transmitted to .
  • the graphic image-related data may be data (opcode data) corresponding to a function ('Func2()'), and the graphic variable data may be data corresponding to variables ('char*', 'ptr'). there is.
  • the transmitted graphic variable data may be address information data of the predetermined address area 2835a. As a result, the data amount of transmitted graphic variable data can be reduced.
  • the graphics processor 2520 may perform the drawing function 2830a using graphic image-related data and graphic variable data.
  • Memory synchronization may mean matching the data values in each address area in the memory 2160 of the data transmission device 2100 and the data values in each address area in the memory 2660 of the data reception device 2600. .
  • the data value in the address area 2835a indicated by the pointer data ('ptr') in the memory 2160 of the data transmission device 2100, and the pointer data may mean matching the data values within the address area 2835b indicated by 'ptr'').
  • the data value within the address area 2835a indicated by the pointer data ('ptr') is transmitted first before other graphic variable data, thereby improving the accuracy of memory access by the received pointer data.
  • the data receiving device 2600 synchronizes the memory 2160 with the memory 2660 of the data transmitting device 2100, and then selects the graphic image related data ('Func2()) from the received graphic image related data 2840b.
  • graphic image related data ('Func2())
  • graphic variable data ('char*', 'ptr') can be extracted and used to perform the drawing function 2830b in the graphics processor 2620 in the video display device.
  • the data receiving device 2600 generates pointer data ('ptr'') using the data value in the address area 2835a indicated by the pointer data ('ptr') received from the data transmitting device 2100. It is possible to use the data value of the address area 2835b corresponding to the pointer data ('ptr'').
  • the data receiving device 2600 provides pointer data ('ptr') from the data transmission device 2100, self-generated pointer data ('ptr' '), or an address corresponding to the pointer data ('ptr').
  • Pointer data 'ptr'
  • self-generated pointer data 'ptr' '
  • an address corresponding to the pointer data 'ptr'.
  • Data in the area and data in the address area corresponding to the self-generated pointer data ('ptr' ') can be managed within the hash table 2837.
  • the data value in the address area 2835a indicated by the pointer data ('ptr') in the memory 2160 of the data transmission device 2100 and the data value in the address area 2835a of the data reception device 2600 In order to match the data value in the address area 2835b indicated by the pointer data ('ptr'') in the memory 2660, it is possible to transmit differential data that is the difference between the previous memory data and the current memory data.
  • Figure 19c illustrates transmitting differential data from memory during memory synchronization.
  • the processor stores the data value of the address area 2857a corresponding to the previous pointer data (ptr_prev) in the memory 2160 and the address area (ptr) corresponding to the current pointer data (ptr) in the memory 2160.
  • Differential data 2859a which is the difference between the data values of 2855a
  • the transmission unit 2536 can transmit the calculated differential data 2859a to the data receiving device 2600.
  • the data receiving device 2600 may generate pointer data ('ptr'') corresponding to the difference data 2859a received from the data transmitting device 2100, and may generate pointer data ('ptr'') corresponding to the pointer data ('ptr'').
  • the data value of the address area (2856b) can be used.
  • FIG. 19D illustrates a memory synchronization method when address areas in the memory due to a plurality of pointer data overlap during memory synchronization.
  • the processor when synchronizing the memory, changes the first address area 2865a in the memory by the first pointer data (ptr) to the second address area in the memory by the previously synchronized second pointer data (ptr2).
  • Third pointer data corresponding to (2867a) and, when at least partially overlapping, the third address area 2870a including the overlapping area 2869a, the first address area 2865a, and the second address area 2867a. (ptr3) can be created.
  • the processor may generate command data related to pointer data generation for controlling the memory 2160.
  • the transmission unit 2536 may transmit command data related to third pointer data generation to the data reception device 2600.
  • the graphic image-related data transmitted to the data receiving device 2600 may further include command data related to memory control in addition to graphic variable data and graphic command data.
  • the command data related to memory control is data for controlling the memory 2160 of the data transmission device 2100 or the memory 2600 of the data reception device 2600, and includes generation command data, delete command data, and differential command data. (diff), xor operation instruction data, historing instruction data, etc. may be included.
  • the creation command data may include the memory start address, size, and variable data
  • the delete command data may include the memory start address
  • the differential command data (diff) may include the memory start address, offset, size, and diff.
  • the xor operation command data may include the memory start address, offset, size, and xor data
  • the history command data may include the memory start address, offset, size, and history index. .
  • the transmission unit 2536 may transmit graphic variable data related to the generated third pointer data (ptr3) to the data reception device 2600.
  • the graphic variable data transmitted from the transmission unit 2536 may be address information data of the predetermined address area 2870a. As a result, the data amount of transmitted graphic variable data can be reduced.
  • the data reception device 2600 generates pointer data ('ptr3'') using the data value in the address area 2870a indicated by the third pointer data (ptr3) received from the data transmission device 2100. It is possible to use the data value of the address area 2866b corresponding to the pointer data ('ptr3'').
  • the data receiving device 2600 when synchronizing memory, the data receiving device 2600 generates pointer data ('ptr3') corresponding to the third pointer data (ptr3), rather than pointer data ('ptr' ') corresponding to the first pointer data (ptr).
  • '' the accuracy of memory synchronization can be improved.
  • FIGS. 20A to 20D are diagrams referenced to explain various examples of memory synchronization techniques.
  • Figure 20A illustrates an example of previous data 2910 and current data 2920 in memory. The difference appears as 'B' for previous data and 'C' for current data.
  • the processor can compare the previous data 2910 and the current data 2920 in int or byte units, detect the difference, attach a header, and generate difference data.
  • the header may include location information and size information of the difference. Meanwhile, since there are many cases where data is changed at a certain interval (stride), the header may further include interval information (stride).
  • Figure 20A illustrates an example of such differential data 2930.
  • Difference data 2930 includes location information (offset) indicating a position where no difference occurred, the size of the part where the difference occurred or the number of consecutive times (size), the interval where the difference occurred (stride), the number of times the difference occurred (count), Additionally, data values (changed data) according to differences may be included.
  • the previous data 2910 and the current data 2920 are at the 11th point, and the value of 'B' has been changed to 'C', so the difference data 2930 has an offset of '10', a size of '1', For example, stride is '1', count is '1', and changed data is 'C'.
  • FIG. 20B illustrates another example of previous data 2940 and current data 2950 in memory.
  • the difference data 2960 is offset is '1'
  • size is '1'
  • stride is '2'
  • count is '5'
  • changed data is 'BDDBB'. Illustrate.
  • the difference data when generating difference data and detecting a difference by comparing int or byte units, the difference data may become larger than the original data.
  • the xor result can be generated as difference data using the xor operator.
  • Figure 20c illustrates that the previous data 2970 of the memory is 'ABCDEFG' and the current data 2980 is 'CBDEEGG'.
  • Figure 20d illustrates a method of generating difference data using the xor operator.
  • Figure 20d illustrates that the previous data 2915 of the memory is '10101010' and the current data 2916 is '11101110'.
  • the same bit is changed to 0, which can increase efficiency when applying the compression algorithm later.
  • the difference data 2917 obtained by the xor operation may be '11101110', and when transmitting data, compressed data 2918 of '11101110' may be transmitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 개시의 일 실시예에 따른 신호 처리 장치는, 네트워크 포트에 접속되는 적어도 하나의 디스플레이를 제어하는 프로세서;를 구비하고, 프로세서는, 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어한다. 이에 의해, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.

Description

신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
본 개시는 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치에 관한 것이며, 더욱 상세하게는 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있는 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 차량 내부에 차량용 신호 처리 장치가 탑재되고 있다.
한편, 차량 내부의 탑승자를 위해, 차량 내에 배치되는 디스플레이의 개수가 증가하는 추세이다.
나아가, 추가적으로 차량 내에 디스플레이를 장착하려는 경향이 증대되고 있다.
이와 같이, 차량에 배치되는 디스플레이의 개수가 증가되거나, 디스플레이가 추가로 장착되는 경우, 신호 처리 장치의 신호 처리 부담이 증가하게 되며, 나아가, 기존의 서데스(SerDes) 방식 기반의 영상 신호 전송시, 영상 신호 전송 등이 불안정해 지는 등의 단점이 있다.
본 개시가 해결하고자 하는 과제는, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있는 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치를 제공하는 것이다.
본 개시가 해결하고자 하는 다른 과제는, 디스플레이 추가시에 안정적으로 영상을 표시할 수 있는 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치를 제공하는 것이다.
본 개시의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치는, 네트워크 포트에 접속되는 적어도 하나의 디스플레이를 제어하는 프로세서;를 구비하고, 프로세서는, 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어한다.
한편, 프로세서는, 디스플레이에 그래픽 이미지 관련 데이터의 전송이 가능한 경우, 그래픽 이미지 관련 데이터를 전송하고, 디스플레이에, 그래픽 이미지 관련 데이터의 전송이 불가능한 경우, 영상 데이터를 전송하도록 제어할 수 있다.
한편, 프로세서는, 네트워크에 접속되는 디스플레이에 대한 네트워크 관리를 수행하는 게이트웨이 매니저와, 디스플레이에 표시되는 영상에 대한 설정을 관리하는 윈도우 매니저를 구비할 수 있다.
한편, 프로세서는, 이더넷 통신을 통해, 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다.
한편, 프로세서는, 하이퍼바이저 상에 복수의 가상화 머신을 실행하고, 복수의 가상화 머신 중 제1 가상화 머신은, 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다.
한편, 제1 가상화 머신은, 네트워크에 접속되는 디스플레이에 대한 네트워크 관리를 수행하는 게이트웨이 매니저와, 디스플레이에 표시되는 영상에 대한 설정을 관리하는 윈도우 매니저를 실행할 수 있다.
한편, 제1 가상화 머신은, 네트워크에 복수의 디스플레이가 접속되는 경우, 복수의 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다.
한편, 제1 가상화 머신은, 디스플레이 포트에 접속되는 클러스터 디스플레이에, 제2 영상 데이터를 출력하도록 제어할 수 있다.
한편, 복수의 가상화 머신 중 제2 가상화 머신은, 제1 가상화 머신으로 영상 소스 데이터를 전송하고, 제1 가상화 머신은, 디스플레이에, 영상 소스 데이터에 기초한 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다.
한편, 제1 가상화 머신은, 네트워크에 추가 접속되는 제2 디스플레이에 대한 정보를 수신하고, 제2 디스플레이로, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다.
한편, 제1 가상화 머신은, 디스플레이와 제2 디스플레이의 해상도가 다른 경우, 디스플레이와 제2 디스플레이에 각각 전송되는 그래픽 이미지 관련 데이터 또는 영상 데이터의 사이즈 또는 해상도가 다르도록 제어할 수 있다.
한편, 그래픽 이미지 관련 데이터는, 그래픽 변수 데이터, 및 드로잉 커맨드 데이터를 포함할 수 있다.
한편, 전송되는 그래픽 변수 데이터는, 포인터 데이터가 나타내는 신호 처리 장치의 메모리 내의 주소 정보 데이터를 포함할 수 있다.
한편, 제1 가상화 머신은, 그래픽 변수 데이터가 포인터 데이터를 포함하는 경우, 프로세서에 대응하는 메모리와, 디스플레이에 대응하는 메모리를 동기화시킬 수 있다.
한편, 제1 가상화 머신은, 프로세서에 대응하는 메모리에 기록된 이전 데이터와 현재 데이터의 차분 데이터를, 디스플레이에 대응하는 메모리로 전송하도록 제어할 수 있다.
한편, 제1 가상화 머신은, 메모리 동기화시, 제1 포인터 데이터에 의한 메모리 내의 제1 주소 영역이, 기 동기화된 제2 포인터 데이터에 의한 메모리 내의 제2 주소 영역과, 적어도 일부 중첩되는 경우, 중첩되는 영역, 제1 주소 영역 및 제2 주소 영역을 포함하는 제3 주소 영역에 대응하는 제3 포인터 데이터를 생성하고, 생성된 제3 포인터 데이터를 포함하는 그래픽 이미지 관련 데이터를 전송하도록 제어할 수 있다.
한편, 제1 가상화 머신은, 영역 신호 처리 장치에 접속되는 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다.
본 개시의 디른 실시예에 따른 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치는, 네트워크 포트에 접속되는 적어도 하나의 디스플레이를 제어하는 프로세서를 구비하고, 프로세서는, 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어하고, 디스플레이 포트에 접속되는 클러스터 디스플레이에, 제2 영상 데이터를 출력하도록 제어한다.
본 개시의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치는, 네트워크 포트에 접속되는 적어도 하나의 디스플레이를 제어하는 프로세서;를 구비하고, 프로세서는, 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어한다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 프로세서는, 디스플레이에 그래픽 이미지 관련 데이터의 전송이 가능한 경우, 그래픽 이미지 관련 데이터를 전송하고, 디스플레이에, 그래픽 이미지 관련 데이터의 전송이 불가능한 경우, 영상 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 프로세서는, 네트워크에 접속되는 디스플레이에 대한 네트워크 관리를 수행하는 게이트웨이 매니저와, 디스플레이에 표시되는 영상에 대한 설정을 관리하는 윈도우 매니저를 구비할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 프로세서는, 이더넷 통신을 통해, 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 프로세서는, 하이퍼바이저 상에 복수의 가상화 머신을 실행하고, 복수의 가상화 머신 중 제1 가상화 머신은, 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신은, 네트워크에 접속되는 디스플레이에 대한 네트워크 관리를 수행하는 게이트웨이 매니저와, 디스플레이에 표시되는 영상에 대한 설정을 관리하는 윈도우 매니저를 실행할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신은, 네트워크에 복수의 디스플레이가 접속되는 경우, 복수의 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다. 특히, 디스플레이 추가시에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신은, 디스플레이 포트에 접속되는 클러스터 디스플레이에, 제2 영상 데이터를 출력하도록 제어할 수 있다. 이에 따라, 디스플레이 포트에 접속되는 클러스터 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 복수의 가상화 머신 중 제2 가상화 머신은, 제1 가상화 머신으로 영상 소스 데이터를 전송하고, 제1 가상화 머신은, 디스플레이에, 영상 소스 데이터에 기초한 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신은, 네트워크에 추가 접속되는 제2 디스플레이에 대한 정보를 수신하고, 제2 디스플레이로, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다. 이에 따라, 디스플레이 추가시에도 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신은, 디스플레이와 제2 디스플레이의 해상도가 다른 경우, 디스플레이와 제2 디스플레이에 각각 전송되는 그래픽 이미지 관련 데이터 또는 영상 데이터의 사이즈 또는 해상도가 다르도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 그래픽 이미지 관련 데이터는, 그래픽 변수 데이터, 및 드로잉 커맨드 데이터를 포함할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 전송되는 그래픽 변수 데이터는, 포인터 데이터가 나타내는 신호 처리 장치의 메모리 내의 주소 정보 데이터를 포함할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신은, 그래픽 변수 데이터가 포인터 데이터를 포함하는 경우, 프로세서에 대응하는 메모리와, 디스플레이에 대응하는 메모리를 동기화시킬 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신은, 프로세서에 대응하는 메모리에 기록된 이전 데이터와 현재 데이터의 차분 데이터를, 디스플레이에 대응하는 메모리로 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신은, 메모리 동기화시, 제1 포인터 데이터에 의한 메모리 내의 제1 주소 영역이, 기 동기화된 제2 포인터 데이터에 의한 메모리 내의 제2 주소 영역과, 적어도 일부 중첩되는 경우, 중첩되는 영역, 제1 주소 영역 및 제2 주소 영역을 포함하는 제3 주소 영역에 대응하는 제3 포인터 데이터를 생성하고, 생성된 제3 포인터 데이터를 포함하는 그래픽 이미지 관련 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신은, 영역 신호 처리 장치에 접속되는 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
본 개시의 디른 실시예에 따른 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치는, 네트워크 포트에 접속되는 적어도 하나의 디스플레이를 제어하는 프로세서를 구비하고, 프로세서는, 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어하고, 디스플레이 포트에 접속되는 클러스터 디스플레이에, 제2 영상 데이터를 출력하도록 제어한다. 이에 따라, 네트워크 디스플레이와, 디스플레이 포트에 접속되는 클러스터 디스플레이에, 각각, 안정적으로 영상을 표시할 수 있게 된다.
도 1은 차량 외부 및 차량 내부의 일예를 도시한 도면이다.
도 2 내지 도 2c는 차량용 통신 게이트웨이의 다양한 아키텍쳐를 도시한 도면이다.
도 3a는 차량 내부의 차량용 디스플레이 장치의 배치의 일예를 도시한 도면이다.
도 3b는 차량 내부의 차량용 디스플레이 장치의 배치의 다른 예를 도시한 도면이다.
도 4는 도 3b의 차량용 디스플레이 장치의 내부 블록도의 일예이다.
도 5a 내지 도 5d는 차량용 디스플레이 장치의 다양한 예를 도시하는 도면이다.
도 6은 본 개시의 실시예에 따른 차량용 디스플레이 장치의 블록도의 일 예이다.
도 7a 내지 도 7b는 본 개시와 관련한 신호 처리 장치의 설명에 참조되는 도면이다.
도 8a는 본 개시의 실시예에 따른 신호 처리 장치의 일예이다.
도 8b는 본 개시의 실시예에 따른 신호 처리 장치의 다른 예이다.
도 9는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 블록도의 다른 예이다.
도 10a 내지 도 11은 도 9의 설명에 참조되는 도면이다.
도 12는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 동작 방법을 나타내는 순서도이다.
도 13a 내지 도 16e는 도 9 또는 도 12의 동작 설명에 참조되는 도면이다.
도 17은 본 개시의 일 실시예에 따른 그래픽 이미지 관련 데이터를 전송하는 데이터 전송 장치와 데이터 수신 장치의 내부 블록도의 일예이다.
도 18a는 본 개시의 일 실시예에 따른 데이터 전송 장치의 동작방법을 보여주는 순서도이다.
도 18b 내지 도 20d는 도 18a의 데이터 전송 장치의 동작방법의 다양한 예를 설명하기 위해 참조되는 도면이다.
이하에서는 도면을 참조하여 본 개시를 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 차량 외부 및 차량 내부의 일예를 도시한 도면이다.
도면을 참조하면, 차량(200)은, 동력원에 의해 회전하는 복수의 바퀴(103FR,103FL,103RL,.), 차량(200)의 진행 방향을 조절하기 위한 스티어링휠(150)에 의해 동작한다.
한편, 차량(200)은, 차량 전방의 영상 획득을 위한 카메라(195) 등을 더 구비할 수 있다.
한편, 차량(200)은, 내부에 영상, 정보 등의 표시를 위한 복수의 디스플레이(180a,180b)를 구비할 수 있다.
도 1에서는, 복수의 디스플레이(180a,180b)로, 클러스터 디스플레이(180a), AVN(Audio Video Navigation) 디스플레이(180b)를 예시한다. 그 외, HUD(Head Up Display) 등도 가능하다.
한편, AVN(Audio Video Navigation) 디스플레이(180b)는, 센터 정보 디스플레이(Center Information Dislpay)라 명명할 수도 있다.
한편, 본 명세서에서 기술되는 차량(200)은, 동력원으로서 엔진을 구비하는 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
도 2 내지 도 2c는 차량용 통신 게이트웨이의 다양한 아키텍쳐를 도시한 도면이다.
먼저, 도 2는 차량용 통신 게이트웨이의 제1 아키텍쳐를 도시한 도면이다.
도면을 참조하면, 제1 아키텍쳐(300a)는, 존(zone) 기반의 아키텍쳐에 대응할 수 있다.
이에 따라, 복수의 존(zone)(Z1~Z4)에, 각각 차량 내부의 센서 장치와 프로세서가 배치될 수 있으며, 복수의 존(zone)(Z1~Z4)의 중앙 영역에, 차량용 통신 게이트웨이(GWDa)를 포함하는 신호 처리 장치(170a)가 배치될 수 있다.
한편, 신호 처리 장치(170a)는, 차량용 통신 게이트웨이(GWDa) 외에, 추가로, 자율 주행 제어 모듈(ACC), 칵핏 제어 모듈(CPG) 등을 더 포함할 수 있다.
이러한, 신호 처리 장치(170a) 내의 차량용 통신 게이트웨이(GWDa)는, HPC(High Performance Computing) 게이트웨이일 수 있다.
즉, 도 2의 신호 처리 장치(170a)는 통합형 HPC로서, 외부의 통신 모듈(미도시) 또는 복수의 존(zone)(Z1~Z4) 내의 프로세서(미도시)와 데이터를 교환할 수 있다.
도 3a는 차량 내부의 차량용 디스플레이 장치의 배치의 일예를 도시한 도면이다.
도면을 참조하면, 차량 내부에는, 클러스터 디스플레이(180a), AVN(Audio Video Navigation) 디스플레이(180b), 뒷 좌석 엔터테인먼트(Rear Seat Entertainment) 디스플레이(180c,180d), 룸미러 디스플레이(미도시) 등이 장착될 수 있다.
도 3b는 차량 내부의 차량용 디스플레이 장치의 배치의 다른 예를 도시한 도면이다.
본 개시의 실시예에 따른 차량용 디스플레이 장치(100)는, 복수의 디스플레이(180a~180b), 및 복수의 디스플레이(180a~180b)에 영상, 정보 등을 표시하기 위한 신호 처리를 수행하고, 적어도 하나의 디스플레이(180a~180b)에 영상 신호를 출력하는 신호 처리 장치(170)를 구비할 수 있다.
복수의 디스플레이(180a~180b) 중 제1 디스플레이(180a)는, 주행 상태, 동작 정보 등의 표시를 위한 클러스터 디스플레이(180a)이고, 제2 디스플레이(180b)는, 챠량 운행 정보, 네비게이션 지도, 다양한 엔터테인먼트 정보 또는 영상의 표시를 위한 AVN(Audio Video Navigation) 디스플레이(180b)일 수 있다.
신호 처리 장치(170)는, 내부에 프로세서(175)를 구비하며, 프로세서(175) 내의 하이퍼바이저(미도시) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(미도시)을 실행할 수 있다.
제2 가상화 머신(미도시)은 제1 디스플레이(180a)를 위해 동작하며, 제3 가상화 머신(미도시)은, 제2 디스플레이(180b)를 위해 동작할 수 있다.
한편, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 제2 가상화 머신(미도시) 및 제3 가상화 머신(미도시)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어할 수 있다. 이에 따라, 차량 내의 제1 디스플레이(180a)와 제2 디스플레이(180b)에 동일한 정보 또는 동일한 영상을 동기화하여 표시할 수 있게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 데이터 분담 처리를 위해, 제2 가상화 머신(미도시)과 제3 가상화 머신(미도시)에 데이터의 적어도 일부를 공유한다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 가상화 머신에서 데이터를 분담하여 처리할 수 있게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 차량의 휠 속도 센서 데이터를 수신하고, 처리하여, 제2 가상화 머신(미도시) 또는 제3 가상화 머신(미도시) 중 적어도 하나로, 처리된 휠 속도 센서 데이터를 전송할 수 있다. 이에 따라, 차량의 휠 속도 센서 데이터를, 적어도 하나의 가상화 머신 등에 공유할 수 있게 된다.
한편, 본 개시의 실시예에 따른 차량용 디스플레이 장치(100)는, 주행 상태 정보, 간이 네비게이션 정보, 다양한 엔터테인먼트 정보 또는 영상의 표시를 위한 뒷 좌석 엔터테인먼트(Rear Seat Entertainment) 디스플레이(180c)를 더 구비할 수 있다.
신호 처리 장치(170)는, 프로세서(175) 내의 하이퍼바이저(미도시) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(미도시) 외에 추가로 제4 가상화 머신(미도시)를 실행하여, RSE 디스플레이(180c)를 제어할 수 있다.
이에 따라, 하나의 신호 처리 장치(170)를 이용하여, 다양한 디스플레이(180a~180c)를 제어할 수 있게 된다.
한편, 복수의 디스플레이(180a~180c) 중 일부는, 리눅스 OS 기반 하에 동작하며, 다른 일부는 웹 OS 기반 하에 동작할 수 있다.
본 개시의 실시예에 따른 신호 처리 장치(170)는, 다양한 운영 체제(Operating system;OS) 하에 동작하는 디스플레이(180a~180c)에서도, 동일한 정보 또는 동일한 영상을 동기화하여 표시하도록 제어할 수 있다.
한편, 도 3b에서는, 제1 디스플레이(180a)에, 차량 속도 인디케이터(212a), 차량 내부 온도 인디케이터(213a)가 표시되고, 제2 디스플레이(180b)에, 복수의 애플리케이션과 차량 속도 인디케이터(212b)와 차량 내부 온도 인디케이터(213b)를 포함하는 홈 화면(222)이 표시되고, 제3 디스플레이(180c)에, 복수의 애플리케이션과 차량 내부 온도 인디케이터(213c)를 포함하는 제2 홈 화면(222b)이 표시되는 것을 예시한다.
도 4는 도 3b의 차량용 디스플레이 장치의 내부 블록도의 일예이다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(100)는, 입력부(110), 외부 장치와의 통신을 위한 통신부(120), 내부 통신을 위한 복수의 통신 모듈(EMa~EMd), 메모리(140), 신호 처리 장치(170), 복수의 디스플레이(180a~180c), 오디오 출력부(185), 전원 공급부(190)를 구비할 수 있다.
복수의 통신 모듈(EMa~EMd)은, 예를 들어, 도 2의 복수의 존(zone)(Z1~Z4)에 각각 배치될 수 있다.
한편, 신호 처리 장치(170)는, 내부에, 각 통신 모듈(EM1~EM4)과의 데이터 통신을 위한 통신 스위치(736b)를 구비할 수 있다.
각 통신 모듈(EM1~EM4)은, 복수의 센서 장치(SN) 또는 ECU(770) 또는 영역 신호 처리 장치(170Z)와 데이터 통신을 수행할 수 있다.
한편, 복수의 센서 장치(SN)는, 카메라(195), 라이다(196), 레이더(197) 또는 위치 센서(198)를 포함할 수 있다.
입력부(110)는, 버튼 입력, 터치 입력 등을 위한 물리적인 버튼, 패드 등을 구비할 수 있다.
한편, 입력부(110)는, 사용자 음성 입력을 위한 마이크(미도시)를 구비할 수 있다.
통신부(120)는, 이동 단말기(800) 또는 서버(900)와 무선(wireless) 방식으로, 데이터를 교환할 수 있다.
특히, 통신부(120)는, 차량 운전자의 이동 단말기와, 무선으로 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는, 블루투스(Bluetooth), WiFi, WiFi Direct, APiX 등 다양한 데이터 통신 방식이 가능하다.
통신부(120)는, 이동 단말기(800) 또는 서버(900)로부터, 날씨 정보, 도로의 교통 상황 정보, 예를 들어, TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다. 이를 위해, 통신부(120)는, 이동 통신 모듈(미도시)를 구비할 수 있다.
복수의 통신 모듈(EM1~EM4)은, ECU(770) 또는 센서 장치(SN) 또는 영역 신호 처리 장치(170Z)로부터, 센서 데이터 등을 수신하고, 수신한 센서 데이터를 신호 처리 장치(170)로 전송할 수 있다.
여기서, 센서 데이터는, 차량 방향 데이터, 차량 위치 데이터(GPS 데이터), 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 차량 전진/후진 데이터, 배터리 데이터, 연료 데이터, 타이어 데이터, 차량 램프 데이터, 차량 내부 온도 데이터, 차량 내부 습도 데이터 중 적어도 하나를 포함할 수 있다.
이러한 센서 데이터는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서 등으로부터 획득될 수 있다.
한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈 또는 위치 센서(198)을 포함할 수 있다.
한편, 복수의 통신 모듈(EM1~EM4) 중 적어도 하나는, GPS 모듈 또는 위치 센서(198)에서 센싱된 위치 정보 데이터를 신호 처리 장치(170)로 전송할 수 있다.
한편, 복수의 통신 모듈(EM1~EM4) 중 적어도 하나는, 카메라(195) 또는 라이다(196) 또는 레이더(197) 등으로부터 차량 전방 영상 데이터, 차량 측방 영상 데이터, 차량 후방 영상 데이터, 차량 주변 장애물 거리 정보 등을 수신하고, 수신한 정보를 신호 처리 장치(170)로 전송할 수 있다.
메모리(140)는, 신호 처리 장치(170)의 처리 또는 제어를 위한 프로그램 등, 차량용 디스플레이 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
예를 들어, 메모리(140)는, 프로세서(175) 내에서 실행하기 위한, 하이퍼바이저, 제1 가상화 머신 내지 제3 가상화 머신에 관한 데이터를 저장할 수 있다.
오디오 출력부(185)는, 신호 처리 장치(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 스피커 등을 구비할 수 있다.
전원 공급부(190)는, 신호 처리 장치(170)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
신호 처리 장치(170)는, 차량용 디스플레이 장치(100) 내의 각 유닛의 전반적인 동작을 제어한다.
예를 들어, 신호 처리 장치(170)는, 차량용 디스플레이(180a,180b)를 위한 신호 처리를 수행하는 프로세서(175)를 포함할 수 있다.
프로세서(175)는, 프로세서(175) 내의 하이퍼바이저(미도시) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(미도시)을 실행할 수 있다.
제1 가상화 머신 내지 제3 가상화 머신(미도시) 중 제1 가상화 머신(미도시)은, 서버 가상화 머신(Server Virtual Maschine)이라 명명할 수 있으며, 제2 가상화 머신 내지 제3 가상화 머신(미도시)은 게스트 가상화 머신(Guest Virtual Maschine)이라 명명할 수 있다.
예를 들어, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 복수의 센서 장치로부터의 센서 데이터, 예를 들어, 차량 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 오디오 데이터 또는 터치 입력 데이터를 수신하고, 처리 또는 가공하여 출력할 수 있다.
이와 같이, 제1 가상화 머신(미도시)에서 대부분의 데이터 처리를 수행함으로써, 1:N 방식의 데이터의 공유가 가능하게 된다.
다른 예로, 제1 가상화 머신(미도시)은, 제2 가상화 머신 내지 제3 가상화 머신(미도시)을 위해, CAN 데이터, 이더넷 데이터, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터를 직접 수신하고 처리할 수 있다.
그리고, 제1 가상화 머신(미도시)은, 처리된 데이터를 제2 가상화 머신 내지 제3 가상화 머신(미도시)으로 전송할 수 있다.
이에 따라, 제1 가상화 머신 내지 제3 가상화 머신(미도시) 중 제1 가상화 머신(미도시)만, 복수의 센서 장치로부터의 센서 데이터, 통신 데이터, 또는 외부 입력 데이터를 수신하여, 신호 처리를 수행할 수행함으로써, 다른 가상화 머신에서의 신호 처리 부담이 경감되며, 1:N 데이터 통신이 가능하게 되어, 데이터 공유시의 동기화가 가능하게 된다.
한편, 제1 가상화 머신(미도시)은, 데이터를 공유 메모리(508)에 기록하여, 제2 가상화 머신(미도시) 및 제3 가상화 머신(미도시)으로 동일한 데이터를 공유하도록 제어할 수 있다.
예를 들어, 제1 가상화 머신(미도시)은, 차량 센서 데이터, 상기 위치 정보 데이터, 상기 카메라 영상 데이터, 또는 상기 터치 입력 데이터를 공유 메모리(508)에 기록하여, 제2 가상화 머신(미도시) 및 제3 가상화 머신(미도시)으로 동일한 데이터를 공유하도록 제어할 수 있다. 이에 따라, 1:N 방식의 데이터의 공유가 가능하게 된다.
결국, 제1 가상화 머신(미도시)에서 대부분의 데이터 처리를 수행함으로써, 1:N 방식의 데이터의 공유가 가능하게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 제2 가상화 머신(미도시) 및 제3 가상화 머신(미도시)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어할 수 있다.
한편, 신호 처리 장치(170)는, 오디오 신호, 영상 신호, 데이터 신호 등 다양한 신호를 처리할 수 있다. 이를 위해, 신호 처리 장치(170)는, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있다.
한편, 도 4의 디스플레이 장치(100) 내의 신호 처리 장치(170)는, 도 5a 이하 등의 차량용 디스플레이 장치의 신호 처리 장치(170,170a1,170a2)와 동일할 수 있다.
도 5a 내지 도 5d는 차량용 디스플레이 장치의 다양한 예를 도시하는 도면이다.
도 5a는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 일예를 도시한다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(800a)는, 신호 처리 장치(170a1,170a2), 복수의 영역 신호 처리 장치(170Z1~170Z4)를 포함한다.
한편, 도면에서는, 신호 처리 장치(170a1,170a2)로 2개를 예시하나, 이는 백업 등을 위해서 예시한 것이며, 1개도 가능하다.
한편, 신호 처리 장치(170a1,170a2)는, HPC(High Performance Computing) 신호 처리 장치로 명명될 수도 있다.
복수의 영역 신호 처리 장치(170Z1~170Z4)는, 각 영역(Z1~Z4)에 배치되어, 센서 데이터를, 신호 처리 장치(170a1,170a2)로 전송할 수 있다.
신호 처리 장치(170a1,170a2)는, 복수의 영역 신호 처리 장치(170Z1~170Z4) 또는 통신 장치(120)로부터 유선으로 데이터를 수신한다.
도면에서는, 신호 처리 장치(170a1,170a2)와 복수의 영역 신호 처리 장치(170Z1~170Z4) 사이에서 유선 통신에 기반하여 데이터를 교환하고, 신호 처리 장치(170a1,170a2)와 서버(400)는 무선 통신에 기반하여 데이터를 교환하는 것을 예시하나, 통신 장치(120)와 서버(400) 사이에서 무선 통신에 기반하여 데이터를 교환하고, 신호 처리 장치(170a1,170a2)와 통신 장치(120)는, 유선 통신에 기반하여 데이터를 교환할 수 있다.
한편, 신호 처리 장치(170a1,170a2)에 수신되는 데이터는, 카메라 데이터 또는 센서 데이터를 포함할 수 있다.
예를 들어, 차량 내의 센서 데이터는, 차량 휠 속도 데이터, 차량 방향 데이터, 차량 위치 데이터(GPS 데이터), 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 차량 전진/후진 데이터, 배터리 데이터, 연료 데이터, 타이어 데이터, 차량 램프 데이터, 차량 내부 온도 데이터, 차량 내부 습도 데이터, 차량 외부 레이더 데이터, 차량 외부 라이다 데이터 중 적어도 하나를 포함할 수 있다.
한편, 카메라 데이터는, 차량 외부 카메라 데이터, 차량 내부 카메라 데이터를 포함할 수 있다.
한편, 신호 처리 장치(170a1,170a2)는, 세이프티(safety) 기준으로 복수의 가상화 머신(820,830,840)을 실행할 수 있다.
도면에서는, 신호 처리 장치(170a) 내의 프로세서(175)가, 하이퍼바이저(505)를 실행하고, 하이퍼바이저(505) 상에서, 자동차 안전 무결성 수준(Automotive SIL;ASIL)에 따라, 제1 내지 제3 가상화 머신(820~840)을 실행하는 것을 예시한다.
제1 가상화 머신(820)은, 자동차 안전 무결성 수준(ASIL)에서 가장 낮은 안전 레벨이며 강제성이 없는 등급인, QM(Quality Management)에 대응하는 가상화 머신일 수 있다.
제1 가상화 머신(820)은, 운영 체제(822), 운영 체제(822) 상의 컨테이너 런타임(824), 컨테이너 런타임(824) 상의 컨테이너(827,829)를 실행할 수 있다.
제2 가상화 머신(820)은, 자동차 안전 무결성 수준(ASIL)에서, 심각도 (Severity), 발생 빈도 (Exposure) 및 제어 가능성 (Contrallability)의 합이 7 또는 8인, ASIL A 또는 ASIL B에 대응하는 가상화 머신일 수 있다.
제2 가상화 머신(820)은, 운영 체제(832), 운영 체제(832) 상의 컨테이너 런타임(834), 컨테이너 런타임(834) 상의 컨테이너(837,839)를 실행할 수 있다.
제3 가상화 머신(840)은, 자동차 안전 무결성 수준(ASIL)에서, 심각도 (Severity), 발생 빈도 (Exposure) 및 제어 가능성 (Contrallability)의 합이 9 또는 10인, ASIL C 또는 ASIL D에 대응하는 가상화 머신일 수 있다.
한편, ASIL D는, 가장 높은 안전 레벨을 요구하는 등급에 대응할 수 있다.
제3 가상화 머신(840)은, 세이프티 운영 체제(842), 운영 체제(842) 상의 어플리케이션(845)를 실행할 수 있다.
한편, 제3 가상화 머신(840)은, 세이프티 운영 체제(842), 세이프티 운영 체제(842) 상의 컨테이너 런타임(844), 컨테이너 런타임(844) 상의 컨테이너(847)를 실행할 수도 있다.
한편, 도면과 달리, 제3 가상화 머신(840)은, 프로세서(175)가 아닌, 별도의 코어를 통해 실행되는 것도 가능하다. 이에 대해서는 도 5b를 참조하여 후술한다.
도 5b는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 다른 예를 도시한다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(800b)는, 신호 처리 장치(170a1,170a2), 복수의 영역 신호 처리 장치(170Z1~170Z4)를 포함한다.
도 5b의 차량용 디스플레이 장치(800b)는, 도 5a의 차량용 디스플레이 장치(800a)와 유사하나, 신호 처리 장치(170a1)가 도 5a의 신호 처리 장치(170a1)와 일부 차이가 있다.
그 차이를 중심으로 기술하면, 신호 처리 장치(170a1)는, 프로세서(175)와 제2 프로세서(177)를 구비할 수 있다.
신호 처리 장치(170a1) 내의 프로세서(175)는, 하이퍼바이저(505)를 실행하고, 하이퍼바이저(505) 상에서, 자동차 안전 무결성 수준(Automotive SIL;ASIL)에 따라, 제1 내지 제2 가상화 머신(820~830)을 실행한다.
제1 가상화 머신(820)은, 운영 체제(822), 운영 체제(822) 상의 컨테이너 런타임(824), 컨테이너 런타임(824) 상의 컨테이너(827,829)를 실행할 수 있다.
제2 가상화 머신(820)은, 운영 체제(832), 운영 체제(832) 상의 컨테이너 런타임(834), 컨테이너 런타임(834) 상의 컨테이너(837,839)를 실행할 수 있다.
한편, 신호 처리 장치(170a1) 내의 제2 프로세서(177)는, 제3 가상화 머신(840)을 실행할 수 있다.
제3 가상화 머신(840)은, 세이프티 운영 체제(842), 운영 체제(842) 상의 오토사(845), 오토사(845) 상의 어플리케이션(845)를 실행할 수 있다. 즉, 도 5a와 달리, 운영 체제(842) 상의 오토사(846)를 더 실행할 수 있다.
한편, 제3 가상화 머신(840)은, 도 5a와 유사하게, 세이프티 운영 체제(842), 세이프티 운영 체제(842) 상의 컨테이너 런타임(844), 컨테이너 런타임(844) 상의 컨테이너(847)를 실행할 수도 있다.
한편, 높은 안전 레벨을 요구하는 제3 가상화 머신(840)은, 제1 내지 제2 가상화 머신(820~830)과 달리, 다른 코어 또는 다른 프로세서인 제2 프로세서(177)에서 실행되는 것이 바람직하다.
한편, 도 5a와 도 5b의 신호 처리 장치(170a1,170a2)는, 제1 신호 처리 장치(170a)의 이상시, 백업용인 제2 신호 처리 장치(170a2)가 동작할 수 있다.
이와 달리, 신호 처리 장치(170a1,170a2)가 동시에 동작하며, 그 중 제1 신호 처리 장치(170a)가 메인으로 동작하고, 제2 신호 처리 장치(170a2)가 서브로 동작하는 것도 가능하다. 이에 대해서는 도 5c와 도 5d를 참조하여 기술한다.
도 5c는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 또 다른 예를 도시한다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(800c)는, 신호 처리 장치(170a1,170a2), 복수의 영역 신호 처리 장치(170Z1~170Z4)를 포함한다.
한편, 도면에서는, 신호 처리 장치(170a1,170a2)로 2개를 예시하나, 이는 백업 등을 위해서 예시한 것이며, 1개도 가능하다.
한편, 신호 처리 장치(170a1,170a2)는, HPC(High Performance Computing) 신호 처리 장치로 명명될 수도 있다.
복수의 영역 신호 처리 장치(170Z1~170Z4)는, 각 영역(Z1~Z4)에 배치되어, 센서 데이터를, 신호 처리 장치(170a1,170a2)로 전송할 수 있다.
신호 처리 장치(170a1,170a2)는, 복수의 영역 신호 처리 장치(170Z1~170Z4) 또는 통신 장치(120)로부터 유선으로 데이터를 수신한다.
도면에서는, 신호 처리 장치(170a1,170a2)와 복수의 영역 신호 처리 장치(170Z1~170Z4) 사이에서 유선 통신에 기반하여 데이터를 교환하고, 신호 처리 장치(170a1,170a2)와 서버(400)는 무선 통신에 기반하여 데이터를 교환하는 것을 예시하나, 통신 장치(120)와 서버(400) 사이에서 무선 통신에 기반하여 데이터를 교환하고, 신호 처리 장치(170a1,170a2)와 통신 장치(120)는, 유선 통신에 기반하여 데이터를 교환할 수 있다.
한편, 신호 처리 장치(170a1,170a2)에 수신되는 데이터는, 카메라 데이터 또는 센서 데이터를 포함할 수 있다.
한편, 신호 처리 장치(170a1,170a2) 중 제1 신호 처리 장치(170a1) 내의 프로세서(175)는, 하이퍼바이저(505)를 실행하고, 하이퍼바이저(505) 상에서, 세이프티(safety) 가상화 머신(860)과, non-safety 가상화 머신(870)을 각각 실행할 수 있다.
한편, 신호 처리 장치(170a1,170a2) 중 제2 신호 처리 장치(170a2) 내의 프로세서(175b)는, 하이퍼바이저(505b)를 실행하고, 하이퍼바이저(505) 상에서, 세이프티(safety) 가상화 머신(880)만을 실행할 수 있다.
이러한 방식에 의하면, 세이프티(safety)에 대한 처리가 제1 신호 처리 장치(170a1)와 제2 신호 처리 장치(170a2)가 분리되므로, 안정성 및 처리 속도 향상을 도모할 수 있게 된다.
한편, 제1 신호 처리 장치(170a1)와 제2 신호 처리 장치(170a2) 사이에는 고속의 네트워크 통신이 수행될 수 있다.
도 5d는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 또 다른 예를 도시한다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(800d)는, 신호 처리 장치(170a1,170a2), 복수의 영역 신호 처리 장치(170Z1~170Z4)를 포함한다.
도 5d의 차량용 디스플레이 장치(800d)는, 도 5c의 차량용 디스플레이 장치(800c)와 유사하나, 제2 신호 처리 장치(170a2)가 도 5c의 제2 신호 처리 장치(170a2)와 일부 차이가 있다.
도 5d의 제2 신호 처리 장치(170a2) 내의 프로세서(175b)는, 하이퍼바이저(505b)를 실행하고, 하이퍼바이저(505) 상에서, 세이프티(safety) 가상화 머신(880)과 non-safety 가상화 머신(890)을 각각 실행할 수 있다.
즉, 도 5c와 달리, 제2 신호 처리 장치(170a2) 내의 프로세서(175b)가, non-safety 가상화 머신(890)을 더 실행하는 것에 그 차이가 있다.
이러한 방식에 의하면, 세이프티(safety)와 non-safety에 대한 처리가, 제1 신호 처리 장치(170a1)와 제2 신호 처리 장치(170a2)가 분리되므로, 안정성 및 처리 속도 향상을 도모할 수 있게 된다.
도 6은 본 개시의 실시예에 따른 차량용 디스플레이 장치의 블록도의 일 예이다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(900)는, 신호 처리 장치(170)와 적어도 하나의 디스플레이를 구비한다.
도면에서는, 적어도 하나의 디스플레이로, 클러스터 디스플레이(180a)와, AVN 디스플레이(180b), 네트워크 디스플레이(180c,180d)를 예시한다.
한편, 클러스터 디스플레이(180a)와, AVN 디스플레이(180b)는, 각각 디스플레이 포트에 연결될 수 있다.
한편, 네트워크 디스플레이(180c,180d)는, 각각 네트워크 포트를 통해, 차량 내부 네트워크에 연결될 수 있다. 이때의 네트워크는, 이더넷 통신 기반의 이더넷 네트워크일 수 있다.
도면에서는, 네트워크 디스플레이(180c,180d)는, 각각 제3 영역 신호 처리 장치(170Z3), 제4 영역 신호 처리 장치(170Z4)에 접속되는 것을 예시하나, 이와 달리, 다른 영역 신호 처리 장치에 접속되거나, 바로 신호 처리 장치(170)에 접속되는 것도 가능하다.
한편, 차량용 디스플레이 장치(900)는, 복수의 영역 신호 처리 장치(170Z1~170Z4)를 더 구비할 수 있다.
이때의 신호 처리 장치(170)는, 복수의 CPU(175), GPU(178), NPU(179) 등을 갖는 고성능의 중앙 집중식 신호 처리 및 제어 장치로서, HPC(High Performance Computing) 신호 처리 장치 또는 중앙 신호 처리 장치라 명명할 수 있다.
복수의 영역 신호 처리 장치(170Z1~170Z4)와 신호 처리 장치(170) 사이는 유선 케이블(CB1~CB4)로 연결된다.
한편, 복수의 영역 신호 처리 장치(170Z1~170Z4) 사이에는, 각각 유선 케이블(CBa~CBd)로 연결될 수 있다.
이때의 유선 케이블(CBa~CBd)은, 캔(CAN) 통신 케이블 또는 이더넷(Ethernet) 통신 케이블 또는 PCI Express 케이블을 포함할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 적어도 하나의 프로세서(175,178,177)와, 대용량의 저장 장치(925)를 구비할 수 있다.
예를 들어, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 중앙 프로세서(175, 177), 그래픽 프로세서(178), 및 뉴럴 프로세서(179)를 포함할 수 있다.
한편, 복수의 영역 신호 처리 장치(170Z1~170Z4) 중 적어도 하나에서 센서 데이터가, 신호 처리 장치(170)로 전송될 수 있다. 특히, 센서 데이터가, 신호 처리 장치(170) 내의 저장 장치(925)로 저장될 수 있다.
이때의 센서 데이터는, 카메라 데이터, 라이다 데이터, 레이더 데이터, 차량 방향 데이터, 차량 위치 데이터(GPS 데이터), 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 차량 전진/후진 데이터, 배터리 데이터, 연료 데이터, 타이어 데이터, 차량 램프 데이터, 차량 내부 온도 데이터, 차량 내부 습도 데이터 중 적어도 하나를 포함할 수 있다.
도면에서는, 카메라(195a)로부터의 카메라 데이터와, 라이다 센서(196)로부터의 라이다 데이터가, 제1 영역 신호 처리 장치(170Z1)로 입력되고, 카메라 데이터와 라이다 데이터가, 제2 영역 신호 처리 장치(170Z2)와 제3 영역 신호 처리 장치(170Z3) 등을 경유하여, 신호 처리 장치(170)로 전송되는 것을 예시한다.
한편, 저장 장치(925)로의 데이터 읽기 속도 또는 쓰기 속도가, 복수의 영역 신호 처리 장치(170Z1~170Z4) 중 적어도 하나에서 센서 데이터가, 신호 처리 장치(170)로 전송될 때의 네트워크 속도 보다 빠르므로, 네트워크 병목 현상이 발생하지 않도록, 멀티 패쓰 라우팅이 수행되는 것이 바람직하다.
이를 위해 본 개시의 실시예에 따른 신호 처리 장치(170)는, 소프트웨어 정의 네트워크(Software Defined Network; SDN) 기반의 멀티 패쓰 라우팅을 수행할 수 있다. 이에 따라, 저장 장치(925)의 데이터 읽기 또는 쓰기시의 안정적인 네트워크 환경을 확보할 수 있게 된다. 나아가, 다중 경로를 사용하여 저장 장치(925)로 데이터를 전송할 수 있으므로, 동적으로 네트워크 구성을 변경하여 데이터를 전송할 수 있게 된다.
본 개시의 실시예에 따른 차량용 디스플레이 장치(900) 내의 복수의 영역 신호 처리 장치(170Z1~170Z4)와 신호 처리 장치(170) 사이의 데이터 통신은, 고대역 저지연의 통신을 위해, 외장 컴포넌트 고속 연결(Peripheral Component Interconnect Express) 통신인 것이 바람직하다.
도 7a 내지 도 7b는 본 개시와 관련한 신호 처리 장치의 설명에 참조되는 도면이다.
도 7a는 본 개시와 관련한 신호 처리 장치를 포함하는 디스플레이 장치를 예시한다.
도면을 참조하면, 본 개시와 관련한 신호 처리 장치(170x)는, ADAS 처리부(ACC), 칵핏 처리부(CPG)를 실행 또는 구비할 수 있다.
이를 위해, 신호 처리 장치(170x)는, 복수의 카메라(195a~195d, 195f)로부터의 카메라 데이터를, 서데스(SerDes) 통신(VBb)을 통해, 수신한다.
한편, 신호 처리 장치(170x)는, 일부 카메라(195e)로부터의 카메라 데이터와, 라이더(197) 또는 레이더(196)로부터의 센서 데이터를, 이더넷 통신(VBa)을 통해, 수신한다.
한편, 신호 처리 장치(170x)는, 복수의 디스플레이(180a~180c,180m)에, 각 영상 신호를, 서데스(SerDes) 통신(VBb)을 통해, 전송한다.
도 7b는 도 8a의 서데스 통신을 예시하는 도면이다.
도면을 참조하면, 제1 회로 보드(BDx) 내의 신호 처리 장치(170x)는, 서데스(SerDes) 통신부(671)를 통해, 직렬 변환된 신호를 커텍터(672)를 통해, 제2 회로 보드(BDy)로 전송할 수 있다.
한편, 제2 회로 보드(BDy) 내의 서데스(SerDes) 통신부(674)를, 입력되는 직렬 신호를 병렬 신호로 변환하여 변환된 신호를, I2C 등의 통신 방식으로, 디스플레이(184X)에 전송할 수 있다.
이러한, 서데스(SerDes) 통신에 의하면, 디스플레이의 개수가 증가하거나, 해상도가 증가할수록, 대역폭 등의 한계가 있어, 대응하는 영상 신호의 전송가 어렵다는 단점이 있다.
나아가, 서데스(SerDes) 통신에 의하면, 추가 디스플레이에 대한 영상 신호 전송 등이 어렵다는 문제가 있다.
이에 본 개시에서는, 서데스(SerDes) 통신 외에, 이더넷 통신을 통해, 영상 신호를 디스플레이에 전송하는 방안을 제안한다. 이에 대해서는 도 8a 이하를 참조하여 기술한다.
도 8a는 본 개시의 실시예에 따른 신호 처리 장치의 일예이다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(800a) 내의 신호 처리 장치(170)는, 카메라 데이터를 수신하여 신호 처리를 수행하는 ADAS 처리부(ACC), 영상 신호를 출력하는 칵핏 처리부(CPG)를 실행 또는 구비할 수 있다.
이를 위해, 신호 처리 장치(170)는, 카메라 데이터를 수신하여 신호 처리를 수행하거나, 영상 신호를 출력하는 프로세서(175)를 구비한다.
예를 들어, 프로세서(175) 내에, ADAS 처리부(ACC) 또는 영상 신호를 출력하는 칵핏 처리부(CPG)를 실행할 수 있다.
한편, 신호 처리 장치(170)는, 복수의 카메라(195a~195e)로부터의 카메라 데이터를, 이더넷 통신(VBa)을 통해, 수신한다.
예를 들어, 신호 처리 장치(170)는, 복수의 카메라(195a~195e) 중 일부(195a~195c)로부터의 카메라 데이터를, 제1 영역 신호 처리 장치(170Z1)을 경유하여, 이더넷 통신(VBa)을 통해, 수신할 수 잇다.
한편, 신호 처리 장치(170)는, 복수의 카메라(195a~195e) 중 다른 일부(195d~195e)로부터의 카메라 데이터를, 제2 영역 신호 처리 장치(170Z2)을 경유하여, 이더넷 통신(VBa)을 통해, 수신할 수 잇다.
한편, 신호 처리 장치(170)는, 일부 카메라(195f)로부터의 카메라 데이터를, 서데스(SerDes) 통신(VBb)을 통해, 수신할 수 있다.
한편, 신호 처리 장치(170)는, 라이더(197) 또는 레이더(196)로부터의 센서 데이터를, 제2 영역 신호 처리 장치(170Z2)을 경유하여, 이더넷 통신(VBa)을 통해, 수신할 수 있다.
한편, 신호 처리 장치(170)는, 복수의 디스플레이(180a~180c)에, 각 영상 신호를, 서데스(SerDes) 통신(VBb)을 통해, 전송한다.
한편, 신호 처리 장치(170)는, 네트워크 포트에 접속되는 디스플레이(180m) 에, 영상 신호를, 이더넷 통신(VBa)을 통해, 전송한다.
이때, 신호 처리 장치(170) 내의 프로세서(175)는, 이더넷 통신 네트워크 상태를 고려하여, 디스플레이(180m)에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어한다.
예를 들어, 프로세서(175)는, 디스플레이(180m)에 그래픽 이미지 관련 데이터의 전송이 가능한 경우, 그래픽 이미지 관련 데이터를 전송하고, 디스플레이(180m)에, 그래픽 이미지 관련 데이터의 전송이 불가능한 경우, 영상 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이(180m)에 안정적으로 영상을 표시할 수 있게 된다.
다른 예로, 프로세서(175)는, 디스플레이(180m)에 영상 데이터의 전송이 가능한 경우, 영상 데이터를 전송하고, 디스플레이(180m)에, 영상 데이터의 전송이 불가능한 경우, 그래픽 이미지 관련 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이(180ha)에 안정적으로 영상을 표시할 수 있게 된다. 이에 따라, 네트워크 디스플레이(180m)에 안정적으로 영상을 표시할 수 있게 된다.
도 8b는 본 개시의 실시예에 따른 신호 처리 장치의 다른 예이다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(800b) 내의 신호 처리 장치(170)는, 카메라 데이터를 수신하여 신호 처리를 수행하는 ADAS 처리부(ACC), 영상 신호를 출력하는 칵핏 처리부(CPG)를 실행 또는 구비할 수 있다.
예를 들어, 신호 처리 장치(170) 내의 프로세서(175)는, ADAS 처리부(ACC) 또는 영상 신호를 출력하는 칵핏 처리부(CPG)를 실행할 수 있다.
한편, 신호 처리 장치(170)는, 복수의 네트워크 디스플레이(180d~180i)로, 각 영상 싱호를, 이더넷 통신(VBa)을 통해, 전송할 수 있다.
예를 들어, 신호 처리 장치(170)는, 복수의 네트워크 디스플레이(180d~180i) 중 일부(180d~1805f)로, 각 영상 신호를, 제1 영역 신호 처리 장치(170Z1)을 경유하여, 이더넷 통신(VBa)을 통해, 전송할 수 잇다.
한편, 신호 처리 장치(170)는, 일부 카메라(195mb)로부터의 카메라 데이터를, 제3 영역 신호 처리 장치(170Z3)와 제2 영역 신호 처리 장치(170Z2를 경유하여, 이더넷 통신(VBa)을 통해, 수신할 수 잇다.
한편, 신호 처리 장치(170)는, 다른 일부 카메라(195ma)로부터의 카메라 데이터를, 서데스(SerDes) 통신(VBb)을 통해, 수신할 수 있다.
한편, 신호 처리 장치(170)는, 복수의 디스플레이(180a~180c)에, 각 영상 신호를, 서데스(SerDes) 통신(VBb)을 통해, 전송한다.
한편, 신호 처리 장치(170)는, 이더넷 네트워크 포트에 접속되는 복수의 네트워크 디스플레이(180d~180i)로 각각 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송할 수 있다. 이에 따라, 네트워크 디스플레이에 안정적으로 영상을 표시할 수 있게 된다.
도 9는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 블록도의 다른 예이다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(1100)는, 신호 처리 장치(170)와, 네트워크 포트(NTa)에 접속되는 적어도 하나의 디스플레이(180ha)를 구비한다.
한편, 차량용 디스플레이 장치(1100)는, 복수의 영역 신호 처리 장치(170z1~170z4)를 더 구비할 수 있다.
신호 처리 장치(170)는, 네트워크 포트(NTa)에 접속되는 적어도 하나의 디스플레이(180ha)를 제어하는 프로세서(도 6의 175)를 구한다.
한편, 프로세서(175)는, 디스플레이(180ha)에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어한다.
특히, 프로세서(175)는, 이더넷 통신을 통해, 디스플레이(180ha)에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다.
예를 들어, 프로세서(175)는, 디스플레이(180ha)에 그래픽 이미지 관련 데이터의 전송이 가능한 경우, 그래픽 이미지 관련 데이터를 전송하고, 디스플레이(180ha)에, 그래픽 이미지 관련 데이터의 전송이 불가능한 경우, 영상 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이(180ha)에 안정적으로 영상을 표시할 수 있게 된다.
다른 예로, 프로세서(175)는, 디스플레이(180ha)에 영상 데이터의 전송이 가능한 경우, 영상 데이터를 전송하고, 디스플레이(180ha)에, 영상 데이터의 전송이 불가능한 경우, 그래픽 이미지 관련 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이(180ha)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 그래픽 이미지 관련 데이터는, 그래픽 변수 데이터, 및 드로잉 커맨드 데이터를 포함할 수 있다.
한편, 전송되는 그래픽 변수 데이터는, 포인터 데이터가 나타내는 신호 처리 장치(170)의 메모리 내의 주소 정보 데이터를 포함할 수 있다.
한편, 신호 처리 장치(170)는, 그래픽 변수 데이터가 포인터 데이터를 포함하는 경우, 프로세서(175)에 대응하는 메모리와, 디스플레이(180ha)에 대응하는 메모리를 동기화시킬 수 있다.
한편, 신호 처리 장치(170)는, 프로세서(175)에 대응하는 메모리에 기록된 이전 데이터와 현재 데이터의 차분 데이터를, 디스플레이(180ha)에 대응하는 메모리로 전송하도록 제어할 수 있다.
한편, 신호 처리 장치(170)는, 메모리 동기화시, 제1 포인터 데이터에 의한 메모리 내의 제1 주소 영역이, 기 동기화된 제2 포인터 데이터에 의한 메모리 내의 제2 주소 영역과, 적어도 일부 중첩되는 경우, 중첩되는 영역, 제1 주소 영역 및 제2 주소 영역을 포함하는 제3 주소 영역에 대응하는 제3 포인터 데이터를 생성하고, 생성된 제3 포인터 데이터를 포함하는 그래픽 이미지 관련 데이터를 전송할 수 있다.
한편, 신호 처리 장치(170)는, 디스플레이 포트(DTa)에 접속되는 클러스터 디스플레이(180a)에, 그래픽 이미지 관련 데이터를 전송하지 않고, 영상 데이터를 전송할 수 있다. 이에 따라, 이더넷 통신이 지원되지 않는 클러스터 디스플레이(180a)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 신호 처리 장치(170)는, 디스플레이 포트(DTa)에 접속되는 AVN 디스플레이(180b)에, 그래픽 이미지 관련 데이터를 전송하지 않고, 영상 데이터를 전송할 수 있다. 이에 따라, 이더넷 통신이 지원되지 않는 AVN 디스플레이(180b)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 도면에서는, 신호 처리 장치에(170)에 직접 접속되는, 제1 네트워크 디스플레이(180ha)외에, 추가로 각 영역에 접속되는 네트워크 디스플레이를 예시한다.
제2 네트워크 디스플레이((180hb)와 제3 네트워크 디스플레이((180hc)는, 제2 영역 신호 처리 장치(170z2)를 경유하여, 신호 처리 장치에(170)에 접속될 수 있다.
제4 네트워크 디스플레이((180hd)는, 제3 영역 신호 처리 장치(170z3)를 경유하여, 신호 처리 장치에(170)에 접속될 수 있다.
제5 네트워크 디스플레이((180he)와 제6 네트워크 디스플레이((180hf)는, 제3 영역 신호 처리 장치(170z3)를 경유하여, 신호 처리 장치에(170)에 접속될 수 있다.
한편, 신호 처리 장치(170) 내의 프로세서(175)는, 네트워크에 접속되는 적어도 하나의 디스플레이(180ha~180hf)에 대한 네트워크 관리를 수행하는 게이트웨이 매니저(772)와, 적어도 하나의 디스플레이(180ha~180hf)에 표시되는 영상에 대한 설정을 관리하는 윈도우 매니저(774)를 구비할 수 있다.
예를 들어, 게이트웨이 매니저(772)는, 네트워크에 접속되는 적어도 하나의 디스플레이(180ha~180hf)의 네트워크 주소를 할당할 수 있다.
또한, 게이트웨이 매니저(772)는, 신규의 네트워크 디스플레이의 추가시, 새로운 네트워크 주소를 할당할 수 있다.
윈도우 매니저(774)는, 네트워크에 접속되는 적어도 하나의 디스플레이(180ha~180hf)의 해상도, 또는 디스플레이의 사이즈 등에 기초하여, 그래픽 이미지 관련 데이터 또는 영상 데이터의 사이즈 또는 해상도를 설정할 수 있다.
예를 들어, 윈도우 매니저(774)는, 네트워크에 접속되는 제1 네트워크 디스플레이(180ha)와 제2 네트워크 디스플레이(180hb)의 해상도, 또는 디스플레이의 사이즈가 다른 경우, 그래픽 이미지 관련 데이터 또는 영상 데이터의 사이즈 또는 해상도를가 다르도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이 적합한 영상을 안정적으로 표시할 수 있게 된다
한편, 신호 처리 장치(170) 내의 프로세서(175)는, 네트워크 디스플레이에 대응하는 컨텐츠를 생성하는 가상 디스플레이 생성부(776)를 더 구비할 수 있다.
특히, 가상 디스플레이 생성부(776)는, 네트워크 디스플레이의 특성에 대응하는 컨텐츠를 생성할 수 있다.
한편, 신호 처리 장치(170) 내의 프로세서(170)는, 하이퍼바이저(도 10a의 505)를 실행하고, 하이퍼바이저 상에, 복수의 가상화 머신(도 10a의 810,850)을 실행할 수 있다. 이에 대해서는 도 10a 이하를 참조하여 기술한다.
도 10a 내지 도 11은 도 9의 설명에 참조되는 도면이다.
먼저, 도 10a는 영상 데이터의 전송의 일예를 예시하는 도면이다.
도면을 참조하면, 신호 처리 장치(170) 내의 프로세서(170)는, 하이퍼바이저(505) 상에 복수의 가상화 머신(810,850)을 실행할 수 있다.
한편, 복수의 가상화 머신(810,850) 중 제1 가상화 머신(810)은, 디스플레이(180hd)에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다.
도면에서는, 제1 가상화 머신(810)이, 디스플레이(180hd)에, 영상 데이터를 전송하는 것을 예시한다.
한편, 제1 가상화 머신(810)은, 네트워크에 접속되는 디스플레이(180hd)에 대한 네트워크 관리를 수행하는 게이트웨이 매니저(825)와, 디스플레이(180hd)에 표시되는 영상에 대한 설정을 관리하는 윈도우 매니저(842)를 실행할 수 있다.
한편, 제1 가상화 머신(810)은, 네트워크에 복수의 디스플레이(180hd,180n)가 접속되는 경우, 복수의 디스플레이(180hd,180n)에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다.
도면에서는, 제1 가상화 머신(810)이, 복수의 디스플레이(180hd,180n)에, 각각 영상 데이터를 전송하는 것을 예시한다.
한편, 복수의 가상화 머신 중 제2 가상화 머신(850)은, 제1 가상화 머신(810)으로 영상 소스 데이터를 전송하고, 제1 가상화 머신(810)은, 디스플레이(180hd)에, 영상 소스 데이터에 기초한 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다.
한편, 도면에서의 제2 디스플레이(180n)가 추가 접속되는 경우, 제1 가상화 머신(810)은, 네트워크에 추가 접속되는 제2 디스플레이(180n)에 대한 정보를 수신하고, 제2 디스플레이(180n)로, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다.
특히, 제1 가상화 머신(810) 내의 게이트웨이 매니저(825)는, 추가되는 제2 디스플레이(180n)를 인식하고, 인식되는 제2 디스플레이(180n)의 설정값을 제1 가상화 머신(810) 내의 윈도우 매니저(842)로 전송할 수 있다.
한편, 윈도우 매니저(842)는, 제2 디스플레이(180n)를 위한 가상의 윈도우를 생성하고, 컨텐츠 생성에 필요한 애플리케이션 또는 데이터를 클라우드 등에 요청하여 수신할 수 있다.
한편, 윈도우 매니저(842)는, 제2 디스플레이(180n)를 위한 영상 데이터를 압축하여 전송하도록 제어할 수 있다.
한편, 제1 가상화 머신(810)은, 디스플레이(180hd)와 제2 디스플레이(180n)의 해상도가 다른 경우, 디스플레이(180hd)와 제2 디스플레이(180n)에 각각 전송되는 그래픽 이미지 관련 데이터 또는 영상 데이터의 사이즈 또는 해상도가 다르도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이(180hd)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 도 10a에서의 영상 데이터는 캡쳐된 영상일 수 있다.
제2 가상화 머신(850)은 인코더(852)와, 비디오 캡쳐 서버(855)를 실행할 수 있으며, 제2 가상화 머신(850) 내의 비디오 캡쳐 서버(855)는, 캡쳐된 영상 데이터를 제1 가상화 머신(810)으로 전송할 수 있다.
이에 대응하여, 제1 가상화 머신(810) 내의 비디오 캡쳐 클라이언트(823)는, 캡쳐된 영상 데이터를 수신하며, 제1 가상화 머신(810) 내의 애플리케이션(840) 내의 윈도우 매니저(842)는, 윈도우 생성부(841)에서, 제1 디스플레이(180hd) 또는 제2 디스플레이(180n)를 위해 생성된 윈도우에 대응하는 영상 데이터를 출력할 수 있다.
그리고, 제1 가상화 머신(810) 내의 인코더(845)는 영상 데이터를 압축하고, 하이퍼바이저(505) 내의 이더넷 드라이버(811)로 전송할 수 있다.
한편, 하이퍼바이저(505) 내의 이더넷 드라이버(811)는, 이더넷 통신을 통해, 제1 영역 신호 처리 장치(170z1)에 접속되는 제1 네트워크 디스플레이(180hd)로, 압축된 영상 데이터를 전송할 수 있다. 이에 따라, 제1 네트워크 디스플레이(180hd)로, 압축된 영상 데이터를 안정적으로 전송할 수 있게 되며, 결국, 제1 네트워크 디스플레이(180hd)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 하이퍼바이저(505) 내의 이더넷 드라이버(811)는, 이더넷 통신을 통해, 제n 영역 신호 처리 장치(170zn)에 접속되는 제2 네트워크 디스플레이(180n)로, 압축된 영상 데이터를 전송할 수 있다. 이에 따라, 제2 네트워크 디스플레이(180n)로, 압축된 영상 데이터를 안정적으로 전송할 수 있게 되며, 결국, 제2 네트워크 디스플레이(180n)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신(810)은, 디스플레이 포트(DTa)에 접속되는 클러스터 디스플레이(180a)에, 그래픽 이미지 관련 데이터가 아닌 별도의 제2 영상 데이터를 출력하도록 제어할 수 있다. 이에 따라, 디스플레이 포트(DTa)에 접속되는 클러스터 디스플레이(180a)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신(810)은, 그래픽 변수 데이터가 포인터 데이터를 포함하는 경우, 프로세서(175)에 대응하는 메모리와, 디스플레이(180hd)에 대응하는 메모리를 동기화시킬 수 있다. 이에 따라, 네트워크 디스플레이(180hd)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신(810)은, 프로세서(175)에 대응하는 메모리에 기록된 이전 데이터와 현재 데이터의 차분 데이터를, 디스플레이(180hd)에 대응하는 메모리로 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이(180hd)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신(810)은, 메모리 동기화시, 제1 포인터 데이터에 의한 메모리 내의 제1 주소 영역이, 기 동기화된 제2 포인터 데이터에 의한 메모리 내의 제2 주소 영역과, 적어도 일부 중첩되는 경우, 중첩되는 영역, 제1 주소 영역 및 제2 주소 영역을 포함하는 제3 주소 영역에 대응하는 제3 포인터 데이터를 생성하고, 생성된 제3 포인터 데이터를 포함하는 그래픽 이미지 관련 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이(180hd)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신(810)은, 영역 신호 처리 장치(170z)에 접속되는 디스플레이(180hd)에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이(180hd)에 안정적으로 영상을 표시할 수 있게 된다.
도 10b는 영상 데이터의 전송의 다른 예를 예시하는 도면이다.
도면을 참조하면, 제2 가상화 머신(850) 내의 virtio gpu front end(852)는, 제1 가상화 머신(810) 내의 virtio gpu back end(812)로, 영상 데이터를 전송할 수 있다.
한편, 제1 가상화 머신(810) 내의 애플리케이션(844) 내의 커맨드 렌더러(832)는, 수신되는 영상 데이터를 윈도우 매니저(842)로 전달할 수 있다.
한편, 제1 가상화 머신(810) 내의 윈도우 매니저(842)는, 제1 디스플레이(180hd) 또는 제2 디스플레이(180n)를 위해 생성된 윈도우에 대응하는 영상 데이터를 출력할 수 있다.
다음, 제1 가상화 머신(810) 내의 애플리케이션(844) 내의 인코더(845)는, 윈도우 매니저(842)에서 출력되는 영상 데이터를 인코딩하여, 하이퍼바이저(505) 내의 이더넷 드라이버(811)로 전송할 수 있다.
한편, 하이퍼바이저(505) 내의 이더넷 드라이버(811)는, 이더넷 통신을 통해, 제n 영역 신호 처리 장치(170zn)에 접속되는 제2 네트워크 디스플레이(180n)로, 압축된 영상 데이터를 전송할 수 있다. 이에 따라, 제2 네트워크 디스플레이(180n)로, 압축된 영상 데이터를 안정적으로 전송할 수 있게 되며, 결국, 제2 네트워크 디스플레이(180n)에 안정적으로 영상을 표시할 수 있게 된다.
도 10c는 그래픽 이미지 관련 데이터의 전송의 일예를 예시하는 도면이다.
도면을 참조하면, 제2 가상화 머신(850) 내의 virtio gpu front end(852)는, 제1 가상화 머신(810) 내의 virtio gpu back end(812)로, 영상 데이터를 전송할 수 있다.
한편, 제1 가상화 머신(810) 내의 애플리케이션(844) 내의 커맨드 렌더러(832)는, 수신되는 영상 데이터를 윈도우 매니저(842)로 전달할 수 있다.
한편, 제1 가상화 머신(810) 내의 윈도우 매니저(842)는, 제1 디스플레이(180hd) 또는 제2 디스플레이(180n)를 위해 생성된 윈도우에 대응하는 영상 데이터를 출력할 수 있다.
한편, 윈도우 매니저(842)에서 출력되는 영상 데이터는, 윈도우(841) 등을 거쳐, 커맨드 생성기(836)로 입력되며, 커맨드 생성기(836)는, 영상 데이터를 그래픽 이미지 관련 데이터로 변환할 수 있다.
이때의 그래픽 이미지 관련 데이터는, 그래픽 변수 데이터, 및 드로잉 커맨드 데이터를 포함할 수 있다.
한편, 커맨드 생성기(836)에서 출력되는 그래픽 이미지 관련 데이터는, 제1 가상화 머신(810) 내의 커맨드 네트워크 프록시를 경유하여, 하이퍼바이저(505) 내의 이더넷 드라이버(811)로 전송될 수 있다.
한편, 하이퍼바이저(505) 내의 이더넷 드라이버(811)는, 이더넷 통신을 통해, 제1 영역 신호 처리 장치(170z1)에 접속되는 제1 네트워크 디스플레이(180hd)로, 그래픽 이미지 관련 데이터를 전송할 수 있다.
제1 네트워크 디스플레이(180hd) 내의 이더넷 드라이버(811b)와 커맨드 리시버(832b)는, 그래픽 이미지 관련 데이터를 수신하고, 디스플레이 프레임워크(842b), openGL ES(847b), GPU 드라이버(813b), 디스플레이 드라이버(812b)를 거쳐, 영상 데이터로 변환된다.
이에 따라, 제1 네트워크 디스플레이(180hd)로, 그래픽 이미지 관련 데이터를 안정적으로 전송할 수 있게 되며, 결국, 제1 네트워크 디스플레이(180hd)에 안정적으로 영상을 표시할 수 있게 된다.
도 10d는 영상 데이터와 그래픽 이미지 관련 데이터가 각각 전송되는 것을 도면이다.
도면을 참조하면, 제1 가상화 머신(810)은, 영상 데이터를, 도 10b와 같이, 제2 네트워크 디스플레이(180n)로, 전송할 수 있다.
이에 따라, 제2 네트워크 디스플레이(180n)로, 압축된 영상 데이터를 안정적으로 전송할 수 있게 되며, 결국, 제2 네트워크 디스플레이(180n)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 제1 가상화 머신(810)은, 그래픽 이미지 관련 데이터를, 도 10c와 같이, 제1 네트워크 디스플레이(180hd)로, 전송할 수 있다.
이에 따라, 제1 네트워크 디스플레이(180hd)로, 그래픽 이미지 관련 데이터를 안정적으로 전송할 수 있게 되며, 결국, 제1 네트워크 디스플레이(180hd)에 안정적으로 영상을 표시할 수 있게 된다.
도 10e는 그래픽 이미지 관련 데이터의 전송의 다른 예를 예시하는 도면이다.
도면을 참조하면, 제2 가상화 머신(850) 내의 virtio gpu front end(852)는, 제1 가상화 머신(810) 내의 virtio gpu back end(812)로, 영상 데이터를 전송할 수 있다.
한편, 제1 가상화 머신(810) 내의 애플리케이션(844) 내의 커맨드 렌더러(832)는, 수신되는 영상 데이터를 윈도우 매니저(842)로 전달할 수 있다.
한편, 제1 가상화 머신(810) 내의 윈도우 매니저(842)는, 제1 디스플레이(180hd) 또는 제2 디스플레이(180n)를 위해 생성된 윈도우에 대응하는 영상 데이터를 출력할 수 있다.
한편, 윈도우 매니저(842)에서 출력되는 영상 데이터는, 윈도우(841) 등을 거쳐, 커맨드 생성기(836)로 입력되며, 커맨드 생성기(836)는, 영상 데이터를 그래픽 이미지 관련 데이터로 변환할 수 있다.
한편, 커맨드 생성기(836)에서 출력되는 그래픽 이미지 관련 데이터는, 제1 가상화 머신(810) 내의 커맨드 네트워크 프록시를 경유하여, 하이퍼바이저(505) 내의 이더넷 드라이버(811)로 전송될 수 있다.
한편, 하이퍼바이저(505) 내의 이더넷 드라이버(811)는, 이더넷 통신을 통해, 제n 영역 신호 처리 장치(170zn)에 접속되는 제2 네트워크 디스플레이(180n)로, 그래픽 이미지 관련 데이터를 전송할 수 있다.
이에 따라, 제2 네트워크 디스플레이(180n)로, 그래픽 이미지 관련 데이터를 안정적으로 전송할 수 있게 되며, 결국, 제2 네트워크 디스플레이(180n)에 안정적으로 영상을 표시할 수 있게 된다.
도 11은 본 개시의 실시예에 따른 차량용 디스플레이 장치의 블록도의 또 다른 예이다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(1200)는, 신호 처리 장치(170)와 네트워크 디스플레이(180z)를 구비할 수 있다.
신호 처리 장치(170)는 복수의 가상화 머신(810,850)을 실행할 수 있다.
제2 가상화 머신(850) 내의 virtio gpu front end(852)는, 제1 가상화 머신(810) 내의 virtio gpu back end(812)로, 영상 데이터를 전송할 수 있다.
한편, 제1 가상화 머신(810) 내의 애플리케이션(844) 내의 커맨드 렌더러(832)는, 수신되는 영상 데이터를 윈도우 매니저(842)로 전달할 수 있다.
한편, 제1 가상화 머신(810) 내의 윈도우 매니저(842)는, 네트워크 디스플레이(180z)를 위해 생성된 윈도우에 대응하는 영상 데이터를 출력할 수 있다.
한편, 윈도우 매니저(842)에서 출력되는 영상 데이터는, 윈도우(841) 등을 거쳐, 커맨드 생성기(836)로 입력되며, 커맨드 생성기(836)는, 영상 데이터를 그래픽 이미지 관련 데이터로 변환할 수 있다.
한편, 커맨드 생성기(836)에서 출력되는 그래픽 이미지 관련 데이터는, 제1 가상화 머신(810) 내의 커맨드 네트워크 프록시(838)를 경유하여, 하이퍼바이저(505) 내의 이더넷 드라이버(811)로 전송될 수 있다.
한편, 하이퍼바이저(505) 내의 이더넷 드라이버(811)는, 이더넷 통신을 통해, 이더넷 스위치(ESH)를 경유하여, 네트워크 포트에 접속되는 네트워크 디스플레이(180z)로, 그래픽 이미지 관련 데이터를 전송할 수 있다.
한편, 네트워크 디스플레이(180z) 내의 이더넷 드라이버(811b)와 커맨드 리시버(832b)는, 그래픽 이미지 관련 데이터를 수신하고, 디스플레이 프레임워크(842b), openGL ES(847b), GPU 드라이버(813b), 디스플레이 드라이버(812b)를 거쳐, 영상 데이터로 변환된다.
이에 따라, 네트워크 디스플레이(180z)로, 그래픽 이미지 관련 데이터를 안정적으로 전송할 수 있게 되며, 결국, 네트워크 디스플레이(180z)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 네트워크 디스플레이(180z)에, 그래픽 이미지 관련 데이터가 아닌, 영상 데이터를 전송하는 것도 가능하다.
예를 들어, 제2 가상화 머신(850) 내의 virtio gpu front end(852)는, 제1 가상화 머신(810) 내의 virtio gpu back end(812)로, 영상 데이터를 전송할 수 있다.
한편, 제1 가상화 머신(810) 내의 애플리케이션(844) 내의 커맨드 렌더러(832)는, 수신되는 영상 데이터를 윈도우 매니저(842)로 전달할 수 있다.
한편, 제1 가상화 머신(810) 내의 윈도우 매니저(842)는, 네트워크 디스플레이(180z)를 위해 생성된 윈도우에 대응하는 영상 데이터를 출력할 수 있다.
다음, 제1 가상화 머신(810) 내의 인코더(845)는, 윈도우 매니저(842)에서 출력되는 영상 데이터를 인코딩하여, 하이퍼바이저(505) 내의 이더넷 드라이버(811)로 전송할 수 있다.
한편, 하이퍼바이저(505) 내의 이더넷 드라이버(811)는, 이더넷 통신을 통해, 네트워크 단자에 접속되는 네트워크 디스플레이(180z)로, 압축된 영상 데이터를 전송할 수 있다.
이에 따라, 네트워크 디스플레이(180z)로, 압축된 영상 데이터를 안정적으로 전송할 수 있게 되며, 결국, 네트워크 디스플레이(180z)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 신호 처리 장치(170)는, 네트워크 디스플레이(180z)에 그래픽 이미지 관련 데이터의 전송이 가능한 경우, 그래픽 이미지 관련 데이터를 전송하고, 네트워크 디스플레이(180z)에, 그래픽 이미지 관련 데이터의 전송이 불가능한 경우, 영상 데이터를 전송하도록 제어할 수 있다.
예를 들어, 신호 처리 장치(170)는, 네트워크 디스플레이(180z)에, 커맨드 리시버(832b)는, 디스플레이 프레임워크(842b), openGL ES(847b) 등의 실행이 가능한 지 여부를 판단하고, 실행 가능한 경우, 네트워크 디스플레이(180z)에 그래픽 이미지 관련 데이터의 전송이 가능한 것으로 판단할 수 있다.
한편, 신호 처리 장치(170)는, 네트워크 디스플레이(180z)에, 커맨드 리시버(832b)는, 디스플레이 프레임워크(842b), openGL ES(847b) 등의 실행이 불가능한 경우, 네트워크 디스플레이(180z)에 그래픽 이미지 관련 데이터의 전송이 가능한 것으로 판단할 수 있다.
한편, 신호 처리 장치(170)는, 네트워크 디스플레이(180z)에 영상 데이터의 전송이 가능한 경우, 영상 데이터를 전송하고, 네트워크 디스플레이(180z)에, 영상 데이터의 전송이 불가능한 경우, 그래픽 이미지 관련 데이터를 전송하도록 제어할 수 있다. 이에 따라, 네트워크 디스플레이(180hd)에 안정적으로 영상을 표시할 수 있게 된다.
한편, 신호 처리 장치(170)는, 이더넷 통신시의 네트워크 상태, 예를 들어, 네트워크 대역폭 또는 내트워크 속도 등을 체크하고, 기준치 이상의 대억폭 또는 기준 속도 이상인 경우, 영상 데이터의 전송이 가능한 것으로 판단할 수 있다.
한편, 신호 처리 장치(170)는, 이더넷 통신시의 네트워크 상태, 예를 들어, 네트워크 대역폭 또는 내트워크 속도 등을 체크하고, 기준치 미만의 대억폭 또는 기준 속도 미만인 경우, 영상 데이터의 전송이 불가능한 것으로 판단할 수 있다.
도 12는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 동작 방법을 나타내는 순서도이다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치는, 디스플레이에 표시하는 안전 요구 사양 변경시의 세이프티를 보장하도록 동작할 수 있다.
먼저, 신호 처리 장치(170)는, 영역 신호 처리 장치(170z)에 접속되는 네트워크 디스플레이를 위해, 화면 데이터를 전송한다(S1010).
이에 대응하여, 영역 신호 처리 장치(170z)는, 화면 데이터를 수신하고(S1011), 영역 신호 처리 장치(170z)에 접속되는 네트워크 디스플레이는, 화면 데이터에 기반하여 영상을 표시한다(S1013).
한편, 신호 처리 장치(170)는, 안전 요구 사항 변경에 따라, 안전 요구 사항 변경을 수행하고(S1015), 안전 요구 사항 및 자원을 전송한다(S1020).
이에 대응하여, 영역 신호 처리 장치(170z)는, 안전 요구 사항 및 자원을 수신하고(S1021), 안전 요구 사항 및 자원을 업데이트한다.
다음, 신호 처리 장치(170)는, 안전 데이터를 전송한다(S1025).
이에 대응하여, 영역 신호 처리 장치(170z)는, 안전 데이터를 수신하고(S1021), 화면 데이터와 안전 데이터를 모니터링하여 오류가 있는 지 여부를 확인한다(S1027).
오류가 있는 경우, 영역 신호 처리 장치(170z)는, 안전 관려 오류를 복구하고(S1029), 화면 데이터와 안전 데이터를 합성하고(S1030), 합성된 영상을 네트워크 디스플레이에 표시되도록 제어한다(S1035).
이에 따라, 오류가 없는 합성된 영상을 안정적으로 네트워크 디스플레이에 표시할 수 있게 된다.
한편, 화면 데이터는, 도 10a 내지 도 10e에서 기술한 압축된 영상 데이터의 전송 방식에 따라 전송될 수 있으며, 안전 데이터는, 도 10a 내지 도 10e에서 기술한 그래픽 이미지 관련 데이터의 전송 방식에 따라, 전송될 수 있다.
즉, 네트워크 디스플레이는, 압축된 영상 데이터 상에 그래픽 이미지 관련 데이터를 표시하는 것도 가능하다. 이에 따라, 영상을 안정적으로 표시하면서, 안전 데이터를 안정적으료 표시할 수 있게 된다.
도 13a는 차량용 디스플레이 장치를 도시한 도면이다.
도면을 참조하면, 차량용 디스플레이 장치(1000)는, 제1 중앙 신호 처리 장치(170a1), 제2 중앙 신호 처리 장치(170a2), 제1 내지 제4 영역 신호 처리 장치(170z1~170z4), 네트워크 디스플레이(180b)를 포함할 수 있다.
도면에서는, 네트워크 디스플레이(180b)가, 제2 영역 신호 처리 장치(170z2)에 접속되는 것을 예시한다.
제1 중앙 신호 처리 장치(170a1)는, 도 12의 화면 데이터(IGa)의 생성 및 전송을 수행하며, 네트워크 디스플레이(180b)는, 제2 영역 신호 처리 장치(170z2)를 경유하여 화면 데이터를 수신할 수 있다.
도 13b는 안전 데이터가 없는 화면(1305)을 예시한다.
도면을 참조하면, 제1 중앙 신호 처리 장치(170a1)는, 안전 데이터가 없는 화면(1305)에 대응하는 화면 데이터(IGa)를, 제2 영역 신호 처리 장치(170z2)를 경유하여, 네트워크 디스플레이(180b)로 전송할 수 있다.
이때, 안전 데이터가 없는 화면 데이터(IGa)는, 도 10a 내지 도 10e에서 기술한 압축된 영상 데이터의 전송 방식 또는 그래픽 이미지 관련 데이터의 전송 방식 중 어느 하나에 따라, 전송될 수 있다.
이에 따라, 네트워크 디스플레이(180b)는, 안전 데이터가 없는 화면(1305)을 안정적으로 표시할 수 있게 된다.
도 13c는 안전 데이터(ICb)가 부가된 화면(1310)을 예시한다.
도면을 참조하면, 안전 데이터(ICb)는, 안전 벨트 부착 관련 데이터일 수 있다.
도면을 참조하면, 제1 중앙 신호 처리 장치(170a1)는, 안전 데이터가 없는 화면(1305)에 대응하는 화면 데이터(IGa)와, 안전 데이터(ICb)를 각각, 제2 영역 신호 처리 장치(170z2)를 경유하여, 네트워크 디스플레이(180b)로 전송할 수 있다.
이때, 안전 데이터가 없는 화면 데이터(IGa)는, 도 10a 내지 도 10e에서 기술한 압축된 영상 데이터의 전송 방식 또는 그래픽 이미지 관련 데이터의 전송 방식 중 어느 하나에 따라, 전송될 수 있다.
한편, 안전 데이터(ICb)는, 도 10a 내지 도 10e에서 기술한 그래픽 이미지 관련 데이터의 전송 방식 중 어느 하나에 따라, 전송될 수 있다.
이에 따라, 네트워크 디스플레이(180b)는, 화면 데이터(IGa)와, 안전 데이터(ICb)를 합성하여, 안전 데이터(ICb)가 부가된 화면(1310)을 안정적으로 표시할 수 있게 된다.
도 14a는 안전 데이터 전송 및 표시를 나타내는 순서도이다.
도면을 참조하면, 신호 처리 장치(170)는, 디스플레이(180)에 영상 표시를 위한 동작을 시작하고(S1405), 화면 전달 요청을 생성하여(S1407), 화면 데이터를 영역 신호 처리 장치(170z)로 전송한다(S1409).
이에 대응하여, 영역 신호 처리 장치(170z)는, 화면 데이터를 수신하고(S1409), 영역 신호 처리 장치(170z)에 접속되는 네트워크 디스플레이(180)에 전달한다(S1410). 이에 따라, 네트워크 디스플레이(180)는, 화면 데이터에 기반하여 영상을 표시한다.
다음, 신호 처리 장치(170)는, 세이프티 관련 화면 변경 필요시 화면 변경 요청을 수신하고(S1411), 세이프티 요구 사항 변경에 대응하는 안전 데이터를 생성하고(S1413), 안전 데이터를 영역 신호 처리 장치(170z)로 전송한다(S1415).
이때, 안전 데이터의 좌표 정보, 이미지 정보 등이, 영역 신호 처리 장치(170z)로 전송될 수 있다.
이에 대응하여, 영역 신호 처리 장치(170z)는, 안전 데이터에 기반한 안전 요구 사항을 업데이트할 수 있다(S1417).
한편, 제1 안전 조건이 발생하는 경우(S1421), 신호 처리 장치(170)는, 제1 안전 조건 정보를 생성하고(S1423), 제1 관련 데이터를 영역 신호 처리 장치(170z)로 전송한다(S1425).
이에 대응하여, 영역 신호 처리 장치(170z)는, 제1 관련 데이터를 네트워크 디스플레이(180)로 전송하면서 모니터링을 수행할 수 있다(S1429).
이에 따라, 제1 관련 데이터에 기반한 안전 데이터가, 네트워크 디스플레이(180)에 안정적으로 표시될 수 있게 된다.
다음, 제2 안전 조건이 발생하는 경우(S1431), 신호 처리 장치(170)는, 제2 안전 조건 정보를 생성하고(S1433), 제2 관련 데이터를 영역 신호 처리 장치(170z)로 전송한다(S1435).
이에 대응하여, 영역 신호 처리 장치(170z)는, 제2 관련 데이터를 수신하고 모니터링하면서 오류가 확인되는 경우(S1437), 오류 복구가 수행되도록 제어할 수 있다.
다음, 제3 안전 조건이 발생하는 경우(S1441), 신호 처리 장치(170)는, 제3 안전 조건 정보를 생성하고(S1443), 제4 관련 데이터를 영역 신호 처리 장치(170z)로 전송한다(S1445).
이에 대응하여, 영역 신호 처리 장치(170z)는, 제3 관련 데이터를 네트워크 디스플레이(180)로 전송하면서 모니터링을 수행할 수 있다(S1449).
이에 따라, 제3 관련 데이터에 기반한 안전 데이터가, 네트워크 디스플레이(180)에 안정적으로 표시될 수 있게 된다.
도 14b와 도 14c는 안전 데이터의 이동 표시를 예시하는 도면이다.
도 14b는 클러스터 디스플레이(180a)에 안전 데이터가 표시되고, 보조석 디스플레이(180P)에 안전 데이터가 표시되지 않는 것을 예시한다.
도면을 참조하면, 차량용 디스플레이 장치(1000)는, 중앙 신호 처리 장치(170a,170b)와, 복수의 영역 신호 처리 장치(170z1~170z4)와, 클러스터 디스플레이(180a)와, 보조석 디스플레이(180P)를 구비할 수 있다.
중앙 신호 처리 장치(170a,170b) 중 제1 중앙 신호 처리 장치(170a)는, 화면 데이터(IGa)와, 안전 데이터(ICa,ICb,ICm,ICbn)를, 제2 영역 신호 처리 장치(170z2)를 경유하여, 네트워크 디스플레이인 클러스터 디스플레이(180a)로 전송할 수 있다.
이에 따라, 클러스터 디스플레이(180a)는, 화면 데이터(IGa)에 기반한 영상과, 안전 데이터(ICa,ICb,ICm,ICbn)에 기반한 안전 아이콘 등을 표시할 수 있게 된다.
한편, 보조석 디스플레이(180P)에는, 안전 아이콘 등이 표시되지 않게 된다.
도 14c는 안전 데이터의 적어도 일부가 보조석 디스플레이(180P)로 이동하는 것을 예시한다.
도면을 참조하면, 제1 중앙 신호 처리 장치(170a)는, 안전 데이터(ICa,ICb,ICm,ICbn)의 적어도 일부(ICa,ICb)를, 제1 영역 신호 처리 장치(170z1)를 경유하여, 네트워크 디스플레이인 보조석 디스플레이(180P)로 전송할 수 있다.
이에 따라, 데이터(ICa,ICb,ICm,ICbn)의 적어도 일부(ICa,ICb)를, 보조석 디스플레이(180P)에서 표시할 수 있게 된다.
도 15a는 그래픽 이미지 관련 데이터의 전송의 다양한 예를 예시하는 도면이다.
도면을 참조하면, 안전 레벨이 Sm1>Sm2>Sm3>Sm4>Sm5 인 경우, 차량용 디스플레이 장치(1000) 내의 제1 중앙 신호 처리 장치(170a)는, 제1 안전 레벨에 대응하는 그래픽 데이터(Sm1)를, 제1 영역 신호 처리 장치(170z1)와 제2 영역 신호 처리 장치(170z2)를 경유하여, 클러스터 디스플레이(180a)로 전송할 수 있다.
그리고, 제1 중앙 신호 처리 장치(170a)는, 제2 안전 레벨에 대응하는 그래픽 데이터(Sm2)를, 제2 영역 신호 처리 장치(170z2)를 경유하여, 클러스터 디스플레이(180a)로 전송할 수 있다.
그리고, 제1 중앙 신호 처리 장치(170a)는, 제3 안전 레벨에 대응하는 그래픽 데이터(Sm3)를, 제2 영역 신호 처리 장치(170z2)를 경유하여, 클러스터 디스플레이(180a)로 전송할 수 있다.
그리고, 제1 중앙 신호 처리 장치(170a)는, 제4 안전 레벨에 대응하는 그래픽 데이터(Sm4)를, 제1 영역 신호 처리 장치(170z1)와 제2 영역 신호 처리 장치(170z2)를 경유하여, 클러스터 디스플레이(180a)로 전송할 수 있다.
그리고, 제1 중앙 신호 처리 장치(170a)는, 제5 안전 레벨에 대응하는 그래픽 데이터(Sm5)를, 제3 영역 신호 처리 장치(170z3)와 제4 영역 신호 처리 장치(170z4)와 제2 영역 신호 처리 장치(170z2)를 경유하여, 클러스터 디스플레이(180a)로 전송할 수 있다.
도 15b는 도 15a에 대응하여 디스플레이에 표시되는 그래픽 데이터를 예시한다.
도면을 참조하면, 제1 안전 레벨에 대응하는 그래픽 데이터(Sm1)와 제2 안전 레벨에 대응하는 그래픽 데이터(Sm2)는, 안전 그래픽(1510)으로서, 클러스터 디스플레이(180a)에 표시될 수 있다.
한편, 제3 안전 레벨에 대응하는 그래픽 데이터(Sm3)는, 속도 그래픽(1520)으로서, 클러스터 디스플레이(180a)에 표시될 수 있다.
한편, 제4 안전 레벨에 대응하는 그래픽 데이터(Sm4)와 제5 안전 레벨에 대응하는 그래픽 데이터(Sm5)는, 도로 그래픽(1530)으로서, 클러스터 디스플레이(180a)에 표시될 수 있다.
한편, 안전 그래픽(1510)은, 세이프티 그래픽 데이터에 대응하며, 속도 그래픽(1520)은, non safety 저용량 그래픽 데이터에 대응하며, 도로 그래픽(1530)은, non safety 대용량 그래픽 데이터에 대응할 수 있다.
도 15c는 도 15a 내지 도 15b의 복수의 그래픽 데이터의 안전 레벨을 예시하는 도면이다.
도면을 참조하면, 제1 안전 레벨에 대응하는 그래픽 데이터(Sm1)과 제2 안전 벨에 대응하는 그래픽 데이터(Sm2)는, 세이프티 그래픽 데이터에 대응할 수 있다.
한편, 제3 안전 레벨에 대응하는 그래픽 데이터(Sm3)는, nons safety 저용량 그래픽 데이터에 대응할 수 있다.
한편, 제4 안전 레벨에 대응하는 그래픽 데이터(Sm4)과 제5 안전 벨에 대응하는 그래픽 데이터(Sm5)는, non safety 대용량 그래픽 데이터에 대응할 수 있다.
도 15d는 제1 내지 제5 그래픽 데이터(Sm1~Sm5)의 합성을 예시하는 도면이다.
도면을 참조하면, 제4 안전 레벨에 대응하는 그래픽 데이터(Sm4)와 제5 안전 레벨에 대응하는 그래픽 데이터(Sm5) 상에, 제3 안전 레벨에 대응하는 그래픽 데이터(Sm3)가 배치되며, 제3 안전 레벨에 대응하는 그래픽 데이터(Sm3) 상에 제1 안전 레벨에 대응하는 그래픽 데이터(Sm1)가 배치될 수 있다.
또는, 제4 안전 레벨에 대응하는 그래픽 데이터(Sm4)와 제5 안전 레벨에 대응하는 그래픽 데이터(Sm5) 상에, 제3 안전 레벨에 대응하는 그래픽 데이터(Sm3)가 배치되며, 제3 안전 레벨에 대응하는 그래픽 데이터(Sm3) 상에 제2 안전 레벨에 대응하는 그래픽 데이터(Sm2)가 배치될 수 있다.
도 16a 내지 도 16e는 세이프티 영역과 non safety 영역의 데이터 전달 설명에 참조되는 도면이다.
도 16a는 복수의 프레임 데이터가 중 홀수 프레임 데이터는 A 경로로 전송되고, 짝수 프레임 데이터는 B 경로로 분할하는 것을 예시한다.
도면을 참조하면, 신호 처리 장치(170)는, 그래픽 이미지 관련 데이터 또는 영상 데이터 전송시, 홀수 프레임 데이터와 짝수 프레임 데이터의 경로를 분리할 수 있다.
도 16b는 하나의 프레임 데이터를 복수의 영역으로 분리하여, 경로별 대역폭 등에 따라 경로를 분리하는 것을 예시한다.
도면을 참조하면, 신호 처리 장치(170)는, 그래픽 이미지 관련 데이터 또는 영상 데이터 전송시, 프레임 데이터를 복수의 영역, 예를 들어, 복수의 타일 영역으로 분리하고, 분리된 영역을, 각각의 전송 경로로 분리할 수 있다.
도 16c는 데이터 전송시의 단일 경로 전송과 다중 경로 전송을 예시한다.
도면을 참조하면, 소스(source)에서 N2까지는 다중 경로로 전송되며, N2에서 N10은 단일 경로로 전송되며, N10에서 목적지(destination) 까지는 다중 경로로 전송될 수 있다.
신호 처리 장치(170)는, 도면과 같은, 다중 경로 전송시, 대역폭 또는 속도 등을 고려하여, 최적의 경로를 설정할 수 있다.
도 16d는 다중 경로 선택의 일예를 도시하는 도면이다.
도면을 참조하면, 제1 경로는, 소스, N1, N2, N10, 목적지(destination) 까지의 경로일 수 있다.
제2 경로는, 소스, N7, N8, N9, N2, N10, N11,목적지(destination) 까지의 경로일 수 있다.
합성 경로는, 제1 경로와 제2 경로를 합성한 경로일 수 있다.
신호 처리 장치(170)는, 제1 경로, 제2 경로 등을 합성하여, 합성한 경로로, 그래픽 이미지 관련 데이터 또는 영상 데이터 전송할 수 있다. 이에 따라, 효율적인 데이터 전송이 가능하게 된다.
도 16d는 경고 변경의 일예를 도시하는 도면이다.
도면을 참조하면, 제1 경로는, 소스, N1, N2, N10, 목적지(destination) 까지의 경로일 수 있다.
제2 경로는, 소스, N1, N2, N10, N3,목적지(destination) 까지의 경로일 수 있다.
특히, 제1 경로 중에, N10과 목적지(destination) 사이의 대역폭이 소정치 미만이거나, 속도가 소정 속도 미만인 경우, 경로를 재설정하여, 제2 경로와 같이, N10, N3,목적지(destination)의 경로를 탐색하여 전송할 수 있다.
즉, 신호 처리 장치(170)는, 제1 경로 전송시에 대여폭 또는 속도 등을 고려하여, 재설정한 제2 경로로, 그래픽 이미지 관련 데이터 또는 영상 데이터 전송할 수 있다. 이에 따라, 효율적인 데이터 전송이 가능하게 된다.
한편, 그래픽 이미지 관련 데이터의 전송 등의 설명을 위해, 도 17 이하 참조하여 보다 상세히 기술한다.
한편, 도 17 내지 도 20d의 데이터 전송 장치(2100)는, 상술한 신호 처리 장치(170)이고, 데이터 수신 장치(2600)는, 네트워크 디스플레이(180)일 수 있다.
도 17은 본 개시의 일 실시예에 따른 그래픽 이미지 관련 데이터를 전송하는 데이터 전송 장치와 데이터 수신 장치의 내부 블록도의 일예이다.
도면을 참조하면, 도 17의 데이터 전송 장치(2100)는, 메모리(2160), 메모리 관리자(2510), 명령 분배부(2515), 그래픽 프로세서(2520), 컴파일러(2532), 부호화부(2534), 및 전송부(2536)를 포함할 수 있다.
데이터 전송 장치(2100)의 사용자 입력부(미도시)를 통해, 사용자 입력 신호가 입력되는 경우, 프로세서(미도시)는, 이를 수신하고, 그래픽 이미지를 드로잉하라는 드로잉 커맨드(drawing command)를 생성할 수 있다.
이에 따라, 명령 분배부(distributor)(2515)는, 드로잉 커맨드(drawing command)를 그래픽 프로세서(2520)로 전달하고, 그래픽 프로세서(2520)는, 드로잉 커맨드에 기초하여, 해당하는 그래픽 이미지를 생성할 수 있다. 그리고, 생성된 그래픽 이미지를 디스플레이(미도시)로 전달하여, 표시되도록 할 수 있다.
한편, 데이터 수신 장치와 동기화된 상태에서, 사용자 입력 신호가 입력되는 경우, 명령 분배부(2515)는, 드로잉 커맨드(drawing command)를 메모리 관리자(2510)으로 전달할 수 있다.
메모리 관리자(memory cache manager)(2510)는, 메모리를 관리하기 위한 것으로서, 메모리(2510) 내의 그래픽 변수 데이터를 관리하기 위한 메모리 캐쉬(2512), 및 메모리(2510) 내의 히스토리 데이터를 관리하기 위한 히스토리 캐쉬(2514)를 구비할 수 있다.
메모리 캐쉬(memory cache)(2512)는, 수신되는 드로잉 커맨드에 다른 그래픽 변수 데이터를, 일시 저장하였다가, 메모리 내의 소정 주소 영역에 기록하도록 제어할 수 있다. 특히, 그래픽 변수 데이터가 포인터(pointer) 데이터인 경우, 메모리 내의 주소 영역 데이터를 관리할 수 있다.
한편, 히스토리 캐쉬(history cache)(2514)는, 드로잉할 그래픽 이미지 내에 복수의 오브젝트가 있는 경우, 각 오브젝트 별 히스토리 데이터를, 일시 저장하였다가, 메모리 내에 저장되도록 제어할 수 있다.
한편, 메모리 관리자(2510)는, 데이터 수신 장치와의 그래픽 이미지 공유를 위해, 수신되는 그래픽 이미지 관련 데이터와, 메모리(2160)에 저장되고 있는 그래픽 변수 데이터를 컴파일러(2532)로 전달할 수 있다.
한편, 도면에서 도시 하지 않았지만, 그래픽 프로세서(2520)에서 드로잉 커맨드에 기초하여, 해당하는 그래픽 이미지를 생성시, 메모리(2160)에 저장되는 그래픽 변수 데이터 또는 히스토리 데이터 등이 사용될 수 있다.
컴파일러(command compiler)(2532)는, 그래픽 변수 데이터, 및 그래픽 이미지 관련 데이터를 합성할 수 있다. 합성된 그래픽 이미지 관련 데이터는, 부호화부(compressor)(2534)에서 부호화되어, 전송부(2536)를 통해, 데이터 수신 장치(2600)로 전송될 수 있다.
한편, 도 17의 데이터 수신 장치(2600)는, 메모리(2660), 메모리 관리자(2610), 렌더링부(2615), 그래픽 프로세서(2620), 파서(2632), 복호화부(2634), 및 수신부(sender)(2636)를 포함할 수 있다.
수신부(receiver)(2636)는, 전송부(2536)에 대응하여, 부호화된 그래픽 이미지 관련 데이터를 수신한다. 그리고, 복호화부(decompressor)(2634)는, 전송부(2536)에서 수신되는 부호화된 그래픽 이미지 관련 데이터를 복호화하고, 파서(command parser)(2632)는, 복호화된 그래픽 이미지 관련 데이터에서, 그래픽 변수 데이터, 및 그래픽 이미지 관련 데이터를 추출할 수 있다.
추출된 그래픽 변수 데이터, 및 그래픽 이미지 관련 데이터는, 메모리 관리자(address converter)(2610)로 전달되고, 이 중 그래픽 이미지 관련 데이터는, 그래픽 표시를 위한 렌더링부(2615)로 전달되고, 그래픽 변수 데이터는, 메모리(2660)에 전달된다. 그리고, 그래픽 프로세서(2620)에서, 그래픽 이미지 관련 데이터와 그래픽 변수 데이터에 기초하여, 그래픽 이미지를 생성한다. 그리고, 생성된 그래픽 이미지는, 영상표시장치의 디스플레이에 전달되어 표시될 수 있다.
이러한 과정을 거쳐, 동기화된 데이터 전송 장치(2100)와 데이터 수신 장치(2600)는 동일한 그래픽 이미지를 공유할 수 있게 된다. 특히, 동영상에 대한 그래픽 이미지를, 실시간으로 공유할 수 있게 된다.
이때, 데이터 전송의 효율을 위해, 그래픽 이미지 데이터 그 자체를 전송하는 것이 아닌, 그래픽 이미지를 생성하기 위해 필요한, 그래픽 이미지 생성용 그래픽 이미지 관련 데이터와, 그래픽 변수 데이터를 전송함으로써, 데이터 전송을 효율적으로 수행할 수 있게 된다.
도 18a는 본 개시의 일 실시예에 따른 데이터 전송 장치의 동작방법을 보여주는 순서도이고, 도 18b 내지 도 20d는 도 18a의 데이터 전송 장치의 동작방법의 다양한 예를 설명하기 위해 참조되는 도면이다.
먼저, 데이터 전송 장치(2100)는, 입력 신호를 수신할 수 있다(S2610).
예를 들어, 데이터 전송 장치(2100)는, 사용자 입력의 일예로 터치 입력을 수신할 수 있다.
다른 예로, 데이터 전송 장치(2100)는, 음성 입력, 키 입력, 제스쳐 입력 등 다양한 입력을 수신할 수 있다.
한편, 수신되는 사용자 입력 신호는, 데이터 전송 장치(2100) 내의 프로세서(미도시)로 전달될 수 있다.
다음, 입력 신호에 대응하는 그래픽 이미지 관련 데이터를 생성한다(S2620).
데이터 전송 장치(2100) 내의 프로세서(미도시)는, 사용자 입력 신호에 대응하는 그래픽 이미지 관련 데이터를 생성할 수 있다.
예를 들어, 터치 입력이 있는 경우, 데이터 전송 장치(2100) 내의 프로세서(미도시)는, 그래픽 이미지 내의 자동차 이미지를 좌로 이동 또는 우로 이동하는 그래픽 이미지를 생성할 수 있다.
이때, 그래픽 이미지의 생성은, 사용자 입력 신호에 대응하여, 프로세서가, 그래픽 이미지를 드로잉하라는 드로잉 커맨드(drawing command)를 생성하고, 생성된 드로잉 커맨드, 및 메모리(2160)에 저장된 그래픽 변수 데이터를 사용하여, 그래픽 프로세서(2520)가, 그래픽 이미지를 생성할 수 있다.
다음, 생성되는 그래픽 이미지 관련 데이터를 외부의 데이터 수신 장치로 전송한다(S2630).
그래픽 이미지 공유를 위해, 메모리 관리자(2510)는, 수신되는 그래픽 이미지 관련 데이터와, 메모리(2160)에 저장되고 있는 그래픽 변수 데이터를 컴파일러(2532)로 전달할 수 있다.
그리고, 컴파일러(command compiler)(2532)는, 그래픽 변수 데이터, 및 그래픽 이미지 관련 데이터를 합성할 수 있다. 합성된 그래픽 이미지 관련 데이터는, 부호화부(compressor)(2534)에서 부호화되어, 전송부(2536)를 통해, 데이터 수신 장치(2600)로 전송될 수 있다.
다음, 생성되는 그래픽 이미지 관련 데이터에 대응하는 그래픽 이미지를 표시한다(S2640).
데이터 전송 장치(2100)는, 생성되는 그래픽 이미지 관련 데이터에 대응하여, 그래픽 프로세서(2520)에 처리된 그래픽 이미지를, 디스플레이(미도시)에 표시할 수 있다.
한편, 데이터 수신 장치인 데이터 수신 장치(2600)는, 수신되는 그래픽 이미지 관련 데이터에 대응하여, 동일하게 그래픽 프로세서(2620)에서 처리된 그래픽 이미지를, 디스플레이에 표시할 수 있다.
이에 의해, 두 장치 간에, 그래픽 이미지 공유를 간단하게 수행할 수 있게 된다. 나아가, 그래픽 이미지를 실시간으로 공유할 수 있게 된다.
도 19a는, 데이터 전송 장치(2100)에서, 그래픽 이미지 관련 데이터와 그래픽 변수 데이터를 포함하는 그래픽 이미지 관련 데이터(2820a)가, 데이터 수신 장치(2600)로 전송되는 것을 예시한다.
여기서, 그래픽 이미지 관련 데이터는, 함수('Func1()')에 대응하는 데이터(opcode data)일 수 있으며, 그래픽 변수 데이터는, 변수('a', 'b')에 대응하는 데이터일 수 있다.
한편, 그래픽 프로세서(2520)는, 그래픽 이미지 관련 데이터와 그래픽 변수 데이터를 이용하여, 드로잉 기능(2810a)을 수행할 수 있다.
한편, 데이터 수신 장치(2600)는, 수신되는 그래픽 이미지 관련 데이터(2820b)에서 그래픽 이미지 관련 데이터('Func1()')와, 그래픽 변수 데이터('a', 'b')를 추출하고, 이들을 이용하여, 영상표시장치 내의 그래픽 프로세서(2620)에서, 드로잉 기능(2810b)을 수행할 수 있다.
한편, 그래픽 이미지 관련 데이터 중 그래픽 변수 데이터가 포인터 데이터인 경우, 도 18b의 순서도가 적용될 수 있다.
도 18b을 참조하면, 데이터 전송 장치(2100)의 프로세서는, 그래픽 변수 데이터가 포인터(pointer) 데이터를 포함하는 지 여부를 판단하고(S2710), 해당하는 경우, 메모리 동기화를 수행한다.
데이터 전송 장치(2100)의 프로세서는, 현재 메모리 데이터와 이전 메모리 데이터와의 차이인 차분 메모리 데이터를 생성한다(S2720). 그리고, 데이터 전송 장치(2100)의 전송부(2536)는, 차분 메모리 데이터를 데이터 수신 장치로 전송한다(S2730).
그래픽 변수 데이터가 포인터(pointer) 데이터를 포함하는 경우, 포인터 데이터는, 메모리 내에 저장된 현재 데이터가 아닌, 해당 주소 영역에 대한 데이터를 나타내므로, 데이터 송신 장치와 데이터 수신 장치 사이의 메모리 동기화가 수행되어야 한다.
한편, 메모리 동기화시, 메모리 내에 저장된 현재 메모리 데이터를 모두 공유하는 것은, 데이터 전송 양이 많아지므로, 이전 메모리 데이터와 현재 메모리 데이터의 차이인 차분 메모리 데이터를 전송하는 것이 바람직하다.
도 19b는, 그래픽 변수 데이터 내에, 메모리(2160) 내의 소정 주소 영역(2835a)을 나타내는 포인터 데이터('ptr')가 포함되는 경우, 데이터 전송 장치(2100)의 메모리(2160)와 데이터 수신 장치(2600)의 메모리(2660)가 동기화를 수행하고, 그 이후, 데이터 전송 장치(2100)에서, 그래픽 이미지 관련 데이터와 그래픽 변수 데이터를 포함하는 그래픽 이미지 관련 데이터(2840a)가, 데이터 수신 장치(2600)로 전송되는 것을 예시한다.
여기서, 그래픽 이미지 관련 데이터는, 함수('Func2()')에 대응하는 데이터(opcode data)일 수 있으며, 그래픽 변수 데이터는, 변수('char*', 'ptr')에 대응하는 데이터일 수 있다.
포인터 데이터('ptr')는 소정 주소 영역(2835a)을 나타내므로, 전송되는 그래픽 변수 데이터는, 소정 주소 영역(2835a)의 주소 정보 데이터일 수 있다. 이에 의해, 전송되는 그래픽 변수 데이터의 데이터 양이 줄어들 수 있게 된다.
한편, 그래픽 프로세서(2520)는, 그래픽 이미지 관련 데이터와 그래픽 변수 데이터를 이용하여, 드로잉 기능(2830a)을 수행할 수 있다.
메모리 동기화는, 데이터 전송 장치(2100)의 메모리(2160) 내의 각 주소 영역 내의 데이터 값과, 데이터 수신 장치(2600)의 메모리(2660) 내의 각 주소 영역 내의 데이터 값을 일치시키는 것을 의미할 수 있다.
특히, 데이터 전송 장치(2100)의 메모리(2160) 내의, 포인터 데이터('ptr')가 나타내는 주소 영역(2835a) 내의 데이터 값과, 데이터 수신 장치(2600)의 메모리(2660) 내의, 포인터 데이터('ptr'')가 나타내는 주소 영역(2835b) 내의 데이터 값을 일치시키는 것을 의미할 수 있다.
이러한 메모리 동기화시, 포인터 데이터('ptr')가 나타내는 주소 영역(2835a) 내의 데이터 값을, 다른 그래픽 변수 데이터에 앞서 먼저 전송함으로써, 이후, 수신되는 포인터 데이터에 의한 메모리 억세스의 정확성이 향상되게 된다.
한편, 데이터 수신 장치(2600)는, 데이터 전송 장치(2100)의 메모리(2160)와 메모리(2660)를 동기화한 후, 수신되는 그래픽 이미지 관련 데이터(2840b)에서 그래픽 이미지 관련 데이터('Func2()')와, 그래픽 변수 데이터('char*', 'ptr')를 추출하고, 이들을 이용하여, 영상표시장치 내의 그래픽 프로세서(2620)에서, 드로잉 기능(2830b)을 수행할 수 있다.
한편, 데이터 수신 장치(2600)는, 데이터 전송 장치(2100)에서 수신되는 포인터 데이터('ptr')가 나타내는 주소 영역(2835a) 내의 데이터 값을 이용하여, 포인터 데이터('ptr'')를 생성할 수 있으며, 포인터 데이터('ptr'')에 대응하는 주소 영역(2835b)의 데이터 값을 사용할 수 있다.
한편, 데이터 수신 장치(2600)는, 데이터 전송 장치(2100)로부터의 포인터 데이터('ptr')와 자체 생성된 포인터 데이터('ptr' '), 또는 포인터 데이터('ptr')에 대응하는 주소 영역의 데이터와 자체 생성된 포인터 데이터('ptr' ')에 대응하는 주소 영역의 데이터를 해쉬 테이블(2837) 내에서 관리될 수 있다.
도 19b에서 설명한 바와 같이, 메모리 동기화시, 데이터 전송 장치(2100)의 메모리(2160) 내의, 포인터 데이터('ptr')가 나타내는 주소 영역(2835a) 내의 데이터 값과, 데이터 수신 장치(2600)의 메모리(2660) 내의, 포인터 데이터('ptr'')가 나타내는 주소 영역(2835b) 내의 데이터 값을 일치시키기 위해, 이전 메모리 데이터와 현재 메모리 데이터와의 차이인 차분 데이터를 전송하는 것이 가능하다.
도 19c는 메모리 동기화시, 메모리에서 차분 데이터를 전송하는 것을 예시한다.
도 19c를 참조하면, 프로세서는, 메모리(2160) 내의 이전 포인터 데이터(ptr_prev)에 대응하는 주소 영역(2857a)의 데이터 값과, 메모리(2160) 내의 현재 포인터 데이터(ptr)에 대응하는 주소 영역(2855a)의 데이터 값의 차이인 차분 데이터(differential)(2859a)를 연산할 수 있으며, 전송부(2536)는, 연산된 차분 데이터(2859a)를 데이터 수신 장치(2600)로 전송할 수 있다. 이에 의해, 메모리 동기화시, 데이터 전송 효율이 향상되게 된다.
데이터 수신 장치(2600)는, 데이터 전송 장치(2100)에서 수신되는 차분 데이터(2859a)에 대응하는 포인터 데이터('ptr'')를 생성할 수 있으며, 포인터 데이터('ptr'')에 대응하는 주소 영역(2856b)의 데이터 값을 사용할 수 있다.
한편, 도 19d는, 메모리 동기화시, 복수의 포인터 데이터에 의한 메모리 내의 주소 영역이 중첩되는 경우의 메모리 동기화 방법을 예시한다.
도면을 참조하면, 프로세서는, 메모리 동기화시, 제1 포인터 데이터(ptr)에 의한 메모리 내의 제1 주소 영역(2865a)이, 기 동기화된 제2 포인터 데이터(ptr2)에 의한 메모리 내의 제2 주소 영역(2867a)과, 적어도 일부 중첩되는 경우, 중첩되는 영역(2869a), 제1 주소 영역(2865a) 및 제2 주소 영역(2867a)을 포함하는 제3 주소 영역(2870a)에 대응하는 제3 포인터 데이터(ptr3)를 생성할 수 있다.
이러한 제3 포인터 데이터 생성과 관련하여, 프로세서는, 메모리(2160) 제어를 위한, 포인터 데이터 생성에 관한 명령 데이터를 생성할 수 있다.
그리고, 전송부(2536)는, 제3 포인터 데이터 생성에 관한 명령 데이터를, 데이터 수신 장치(2600)로 전송할 수 있다.
즉, 데이터 수신 장치(2600)로 전송되는 그래픽 이미지 관련 데이터는, 그래픽 변수 데이터, 및 그래픽 명령 데이터 외에, 추가적으로, 메모리 제어에 관한 명령 데이터를 더 포함할 수 있다.
메모리 제어에 관한 명령 데이터는, 데이터 전송 장치(2100)의 메모리(2160) 제어 또는 데이터 수신 장치(2600)의 메모리(2600) 제어를 위한 데이터로서, 생성 명령 데이터 외에, 삭제 명령 데이터, 차분 명령 데이터(diff), xor 연산 명령 데이터, 히스토링 명령 데이터 등을 포함할 수 있다.
생성 명령 데이터는, 메모리 시작주소, size, 변수 데이터를 포함할 수 있으며, 삭제 명령 데이터는, 메모리 시작주소를 포함할 수 있으며, 차분 명령 데이터(diff)는, 메모리 시작주소, offset, size, diff데이터를 포함할 수 있으며, xor 연산 명령 데이터는, 메모리 시작주소, offset, size, xor데이터를 포함할 수 있으며, 히스토링 명령 데이터는, 메모리 시작주소, offset, size, history index를 포함할 수 있다.
한편, 전송부(2536)는, 생성된 제3 포인터 데이터(ptr3)와 관련한, 그래픽 변수 데이터를, 데이터 수신 장치(2600)로 전송할 수도 있다.
제3 포인터 데이터('ptr3')는 소정 주소 영역(2870a)을 나타내므로, 전송부(2536)에서 전송되는 그래픽 변수 데이터는, 소정 주소 영역(2870a)의 주소 정보 데이터일 수 있다. 이에 의해, 전송되는 그래픽 변수 데이터의 데이터 양이 줄어들 수 있게 된다.
한편, 데이터 수신 장치(2600)는, 데이터 전송 장치(2100)에서 수신되는 제3 포인터 데이터(ptr3)가 나타내는 주소 영역(2870a) 내의 데이터 값을 이용하여, 포인터 데이터('ptr3'')를 생성할 수 있으며, 포인터 데이터('ptr3'')에 대응하는 주소 영역(2866b)의 데이터 값을 사용할 수 있다.
특히, 데이터 수신 장치(2600)는, 메모리 동기화시, 제1 포인터 데이터(ptr)에 대응하는 포인터 데이터('ptr' ')가 아닌, 제3 포인터 데이터(ptr3)에 대응하는 포인터 데이터('ptr3'')를 사용함으로써, 메모리 동기화의 정확성을 향상시킬 수 있게 된다.
도 20a 내지 도 20d는 메모리 동기화 기법의 다양한 예를 설명하기 위해 참조되는 도면이다.
먼저, 도 20a는 메모리의 이전 데이터(2910)와 현재 데이터(2920)의 일예를 예시한다. 그 차이는, 이전 데이터의 'B'와 현재 데이터의 'C' 로서 나타난다.
이에 따라, 프로세서는, 이전 데이터(2910)와 현재 데이터(2920)를 int나 byte단위로 비교하여, 차이를 검출하고, 헤더를 붙여, 차분 데이터를 생성할 수 있다. 헤더는, 차이가 나는 부분의 위치 정보, 크기 정보 등이 포함될 수 있다. 한편, 데이터는, 일정 간격(stride)을 가지고 변경되는 케이스가 많기 때문에, 헤더는, 간격 정보(stride)를 더 포함할 수도 있다.
도 20a는, 이러한 차분 데이터(2930)의 일예를 예시한다.
차분 데이터(2930)는, 차이가 발생하지 않은 위치를 나타내는 위치 정보(offset), 차이가 발생한 부분의 크기 또는 연속 횟수(size), 차이가 발생한 간격(stride), 차이가 발생한 횟수(count), 그리고, 차이에 따른 데이터 값(changed data)를 포함할 수 있다.
도면에서는, 이전 데이터(2910)와 현재 데이터(2920)가 11 번째에서, 'B' 값이 'C'으로 변경되었으므로, 차분 데이터(2930)가, offset은 '10', size는 '1', stride는 '1', count는, '1', 그리고, changed data는 'C'인 것을 예시한다.
다음, 도 20b는 메모리의 이전 데이터(2940)와 현재 데이터(2950)의 다른 예를 예시한다. 도 20a와 동일한 방식에 따라, 차분 데이터(2960)가, offset은 '1', size는 '1', stride는 '2', count는, '5', 그리고, changed data는 'BDDBB'인 것을 예시한다.
한편, 도 20a와 도 20b와 같이, 차분 데이터 생성시, int나 byte단위로 비교하여, 차이를 검출하는 경우, 차분 데이터가 원래 데이터 보다 더 커지는 경우가 발생할 수 있다. 이러한 경우는, xor 연산자를 이용하여, xor 결과값을 차분 데이터로 생성할 수도 있다.
도 20c는 메모리의 이전 데이터(2970)가 'ABCDEFG'이고, 현재 데이터(2980)가 'CBDEEGG'인 것을 예시한다.
도 20a와 도 20b와 같이, 차분 데이터 생성시, int나 byte단위로 비교하면, 음영부분과 같은 차이가 발생한다. 이러한 차이는, 그 간격도 일정하지 않으므로, 결국, 차분 데이터가 원래 데이터 보다 더 커질 수 있게 된다.
이러한 경우, xor 연산자를 이용하여 차분 데이터를 생성하는 것이 더 효과적일 수 있다.
도 20d는 xor 연산자를 이용하여 차분 데이터를 생성하는 방법을 예시한다.
도 20d는 메모리의 이전 데이터(2915)가 '10101010'이고, 현재 데이터(2916)가 '11101110'인 것을 예시한다. xor 연산을 수행하면 같은 비트는 0으로 변경되기 때문에, 이후 압축 알고리즘 적용 시 효율을 높여줄 수 있게 된다.
이에 따라, xor 연산에 의한 차분 데이터(2917)는, '11101110'일 수 있으며, 데이터 전송시, '11101110'의 압축된 데이터(2918)를 전송할 수 있다.
이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (19)

  1. 네트워크 포트에 접속되는 적어도 하나의 디스플레이를 제어하는 프로세서;를 구비하고,
    상기 프로세서는,
    상기 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어하는 신호 처리 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이에 상기 그래픽 이미지 관련 데이터의 전송이 가능한 경우, 상기 그래픽 이미지 관련 데이터를 전송하고,
    상기 디스플레이에, 상기 그래픽 이미지 관련 데이터의 전송이 불가능한 경우, 상기 영상 데이터를 전송하도록 제어하는 것인 신호 처리 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    네트워크에 접속되는 상기 디스플레이에 대한 네트워크 관리를 수행하는 게이트웨이 매니저;
    상기 디스플레이에 표시되는 영상에 대한 설정을 관리하는 윈도우 매니저;를 구비하는 것인 신호 처리 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    이더넷 통신을 통해, 상기 디스플레이에, 상기 그래픽 이미지 관련 데이터 또는 상기 영상 데이터를 전송하도록 제어하는 것인 신호 처리 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    하이퍼바이저 상에 복수의 가상화 머신을 실행하고,
    상기 복수의 가상화 머신 중 제1 가상화 머신은,
    상기 디스플레이에, 상기 그래픽 이미지 관련 데이터 또는 상기 영상 데이터를 전송하도록 제어하는 것인 신호 처리 장치.
  6. 제5항에 있어서,
    상기 제1 가상화 머신은,
    네트워크에 접속되는 상기 디스플레이에 대한 네트워크 관리를 수행하는 게이트웨이 매니저와,
    상기 디스플레이에 표시되는 영상에 대한 설정을 관리하는 윈도우 매니저를 실행하는 것인 신호 처리 장치.
  7. 제5항에 있어서,
    상기 제1 가상화 머신은,
    네트워크에 복수의 디스플레이가 접속되는 경우, 상기 복수의 디스플레이에, 상기 그래픽 이미지 관련 데이터 또는 상기 영상 데이터를 전송하도록 제어하는 것인 신호 처리 장치.
  8. 제5항에 있어서,
    상기 제1 가상화 머신은,
    디스플레이 포트에 접속되는 클러스터 디스플레이에, 제2 영상 데이터를 출력하도록 제어하는 것인 신호 처리 장치.
  9. 제5항에 있어서,
    상기 복수의 가상화 머신 중 제2 가상화 머신은,
    상기 제1 가상화 머신으로 영상 소스 데이터를 전송하고,
    상기 제1 가상화 머신은,
    상기 디스플레이에, 상기 영상 소스 데이터에 기초한 상기 그래픽 이미지 관련 데이터 또는 상기 영상 데이터를 전송하도록 제어하는 것인 신호 처리 장치.
  10. 제5항에 있어서,
    상기 제1 가상화 머신은,
    네트워크에 추가 접속되는 제2 디스플레이에 대한 정보를 수신하고,
    상기 제2 디스플레이로, 상기 그래픽 이미지 관련 데이터 또는 상기 영상 데이터를 전송하도록 제어하는 것인 신호 처리 장치.
  11. 제10항에 있어서,
    상기 제1 가상화 머신은,
    상기 디스플레이와 상기 제2 디스플레이의 해상도가 다른 경우, 상기 디스플레이와 상기 제2 디스플레이에 각각 전송되는 상기 그래픽 이미지 관련 데이터 또는 상기 영상 데이터의 사이즈 또는 해상도가 다르도록 제어하는 것인 신호 처리 장치.
  12. 제5항에 있어서,
    상기 그래픽 이미지 관련 데이터는,
    그래픽 변수 데이터, 및 드로잉 커맨드 데이터를 포함하는 것인 신호 처리 장치.
  13. 제12항에 있어서,
    상기 전송되는 그래픽 변수 데이터는,
    상기 포인터 데이터가 나타내는 상기 신호 처리 장치의 메모리 내의 주소 정보 데이터를 포함하는 것인 신호 처리 장치.
  14. 제12항에 있어서,
    상기 제1 가상화 머신은,
    상기 그래픽 변수 데이터가 포인터 데이터를 포함하는 경우, 상기 프로세서에 대응하는 메모리와, 상기 디스플레이에 대응하는 메모리를 동기화시키는 것인 신호 처리 장치.
  15. 제12항에 있어서,
    상기 제1 가상화 머신은,
    상기 프로세서에 대응하는 메모리에 기록된 이전 데이터와 현재 데이터의 차분 데이터를, 상기 디스플레이에 대응하는 메모리로 전송하도록 제어하는 것인 신호 처리 장치.
  16. 제14항에 있어서,
    상기 제1 가상화 머신은,
    상기 메모리 동기화시, 제1 포인터 데이터에 의한 메모리 내의 제1 주소 영역이, 기 동기화된 제2 포인터 데이터에 의한 상기 메모리 내의 제2 주소 영역과, 적어도 일부 중첩되는 경우, 상기 중첩되는 영역, 상기 제1 주소 영역 및 제2 주소 영역을 포함하는 제3 주소 영역에 대응하는 제3 포인터 데이터를 생성하고,
    상기 생성된 제3 포인터 데이터를 포함하는 그래픽 이미지 관련 데이터를 전송하도록 제어하는 것인 신호 처리 장치.
  17. 제5항에 있어서,
    상기 제1 가상화 머신은,
    영역 신호 처리 장치에 접속되는 상기 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어하는 것인 신호 처리 장치.
  18. 네트워크 포트에 접속되는 적어도 하나의 디스플레이를 제어하는 프로세서;를 구비하고,
    상기 프로세서는,
    상기 디스플레이에, 그래픽 이미지 관련 데이터 또는 영상 데이터를 전송하도록 제어하고,
    디스플레이 포트에 접속되는 클러스터 디스플레이에, 제2 영상 데이터를 출력하도록 제어하는 신호 처리 장치.
  19. 적어도 하나의 디스플레이;
    상기 디스플레이에 영상 신호를 출력하는 신호 처리 장치;를 포함하고,
    상기 신호 처리 장치는,
    제1항 내지 제18항의 신호 처리 장치를 포함하는 차량용 디스플레이 장치.
PCT/KR2023/014737 2022-09-27 2023-09-26 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치 WO2024071945A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220122192 2022-09-27
KR10-2022-0122192 2022-09-27
KR10-2023-0072877 2023-06-07
KR20230072877 2023-06-07

Publications (1)

Publication Number Publication Date
WO2024071945A1 true WO2024071945A1 (ko) 2024-04-04

Family

ID=90478500

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/014737 WO2024071945A1 (ko) 2022-09-27 2023-09-26 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치

Country Status (1)

Country Link
WO (1) WO2024071945A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200356519Y1 (ko) * 2004-04-12 2004-07-15 주식회사 현대오토넷 다중 모니터의 터치 스크린 신호 전송시스템
KR20110056843A (ko) * 2009-11-23 2011-05-31 삼성전자주식회사 가상 머신 간 화면 전환 장치 및 방법
KR20190031050A (ko) * 2017-09-15 2019-03-25 엘지전자 주식회사 차량 제어 장치 및 그것을 포함하는 차량
KR101977092B1 (ko) * 2017-12-11 2019-08-28 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR20200063291A (ko) * 2018-11-16 2020-06-05 삼성전자주식회사 차량의 디스플레이 제어 방법 및 이를 위한 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200356519Y1 (ko) * 2004-04-12 2004-07-15 주식회사 현대오토넷 다중 모니터의 터치 스크린 신호 전송시스템
KR20110056843A (ko) * 2009-11-23 2011-05-31 삼성전자주식회사 가상 머신 간 화면 전환 장치 및 방법
KR20190031050A (ko) * 2017-09-15 2019-03-25 엘지전자 주식회사 차량 제어 장치 및 그것을 포함하는 차량
KR101977092B1 (ko) * 2017-12-11 2019-08-28 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR20200063291A (ko) * 2018-11-16 2020-06-05 삼성전자주식회사 차량의 디스플레이 제어 방법 및 이를 위한 전자 장치

Similar Documents

Publication Publication Date Title
WO2013100350A1 (en) Image processing apparatus, upgrade apparatus, display system including the same, and control method thereof
WO2019132344A1 (en) Method for controlling earpiece and electronic device for supporting the same
WO2022181922A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2021002696A1 (en) Method for transferring subscription and electronic device for supporting the same
WO2024071945A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2024071947A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2024071942A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2023136374A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024085284A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024085580A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2024034751A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 증강현실 장치
WO2024071475A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2022098103A1 (ko) 차량용 디스플레이 장치
WO2023113078A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024034709A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023239008A1 (ko) 차량의 신호 처리 장치 및 이를 구비하는 차량용 통신 장치용 통신 장치
WO2024085283A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023136376A1 (ko) 차량용 디스플레이 장치
WO2024071476A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023191222A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2020218666A1 (ko) 복수의 무선 라이팅 디바이스들의 제어 방법 및 장치
WO2024034708A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023136369A1 (ko) 차량용 디스플레이 장치
WO2023195559A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023101070A1 (ko) 차량용 통신 장치 및 이를 구비하는 차량용 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23873060

Country of ref document: EP

Kind code of ref document: A1